Гаворка ў рэжыме ўводу і вываду (STT / TTS)
Кіраванне AiHummer вымаўленне ўнутры і звонку скрынкі — няма неабходнасці ў платным API для распазнавання маўлення. Увайшчы аўдыякліп перапісваецца ў тэкст (STT), тэкст запускае звычайны ход агента, а адказ агучваецца (TTS). Абодва рухавікі бясплатна і мясцовы і балатавацца як бокавыя калёсы: faster-whisper для транскрыпцыі і edge-tts для сінтэзу
Як працуе паварот голасам
Паварот голасу — гэта звычайны паварот агента з уключаным аўдыё на абодвух канцах:
- Шлюз адпраўляе ўваходны аўдыёсігнал на STT сайдкар (
:8001, faster-whisper) і атрымлівае тэкст назад. - Гэты тэкст запускае звычайнае выкліканне функцый — той жа маршрутызатар, аркестратар інструменты і памяць як тэкставая перадача
- Тэкст адказу адпраўляецца на TTS сайдкар (
:8002, edge-tts) і Гавораны аўдыёсігнал вяртаецца абаненту.
Гэта адкрыта як адзін канчатковы пункт. POST /v1/voice/turn, таму канал або кліент могуць перадаваць і прымаць аўдыё, не каардынуючы самі ўсе крокі.
Канечныя пункты
| Метад | Канчатковая кропка | Мэта |
|---|---|---|
POST |
/v1/voice/turn |
Аўдыё ўваход → ход агента → аўдыё выхад |
GET |
/v1/voice/config |
Бягучая канфігурацыя голасу (рухавікі, ручкі наладкі) |
POST /v1/voice/turn HTTP/1.1
Host: localhost:8780
Content-Type: application/json
{
"audio": "<base64-encoded clip>",
"format": "wav"
}
[!NOTE] Асаблівасці маўлення з’яўляюцца часткай ядро — яны не прывязаныя да SIP-плагіна. SIP-канал выкарыстоўвае тыя ж рухавікі STT/TTS для свайго
localрушчык, але голас in/out працуе для любога кліента, які тэлефануе/v1/voice/turn.
Галасавыя багажнікі
| Порт | Сідкары | Двигатель | Роля | Злучаны з |
|---|---|---|---|---|
| 8001 | СТТ | хутчэй-шаптаць | маўленне → тэкст | AIHUMMER_STT_URL |
| 8002 | ТТS | edge-tts | тэкст → маўленне | AIHUMMER_TTS_URL |
Абодва рухавікі бясплатныя і лакальныя: нічога не адпраўляецца да платнага пастаўшчыка голасу. Як і ў кожнага сайдкара, шлюз дасягае іх. па URLтак што вы можаце запускаць іх побач з шлюзам або ўказваць на агульны экземпляр.
Праводка
Усталёўшчык на хостынгу аўтаматычна задае URL для STT і TTS. Яны такія наладкі каталога — змяніць іх праз адміністрацыйны інтэрфейс (Кіраванне → Налады) або з aihummer settings set; gateway.env выкарыстоўваецца толькі з bootstrap і ігнаруецца для гэтых:
# Voice in/out (auto-configured by the installer)
aihummer settings set AIHUMMER_STT_URL http://127.0.0.1:8001
aihummer settings set AIHUMMER_TTS_URL http://127.0.0.1:8002
[!TIP] Паколькі кожны сайдкар — гэта проста URL, некалькі шлюзаў могуць выкарыстоўваць адзін STT/TTS прыклад. Цэнтралізуйце больш цяжкія сэрвісы размовы замест таго, каб запускаць асобную копію на кожнага гаспадар
Настройка аўдыясцежкі
Рэгулятары якасці гуку знаходзяцца ў СМІ · Голас група налад і можа быць сканфігураваная з вэб-інтэрфейсу адміністратара — паўторнае разгортванне не патрабуецца. Яны ахопліваюць шлях рэальнага часу аудыё:
| ручка | Што яно кантралюе |
|---|---|
| Дуплекс | Поўны дуплекс (слухаць падчас размовы) супраць паўдуплексу |
| АЭК | Акустычнае скасаванне эха |
| Прыглушэнне шуму | Фільтруе фонавы шум перад рэкаганаваннем маўлення |
| АГК | Аўтаматычнае кіраванне ўзроўнем (нармалізацыя ўзроўню) |
| Парог VAD | Адчувальнасць выяўлення голаснай актыўнасці |
| Уварванне | Няхай званок перапыніць агента падчас адказу |
GET /v1/voice/config вяртае эфектыўную канфігурацыю, каб кліент мог даведацца пра актыўныя рухавікі і гэтыя налады.
Куды далей
- Транспартная мадэль, якая ляжыць у аснове гэтых паслуг: Бакавыя калёсы.
- Пераклад прамовы і разуменне відэа Пераклад прамоў і відэа.
- Голас на тэлефоннай лініі: SIP тэлефанія.