AiHummer
Қазақша▾
Кіру
v1.0.x▾
v1.0.xstable
{ }Swagger
Дауыс/Сөйлеуді кіргізу мен шығару (STT / TTS)

Сөйлеуді кіргізу мен шығару (STT / TTS)

v1.0.x · жаңартылды 2026-06-26

AiHummer сөйлеуді кіргізу мен шығаруды қораптан шыққан бойда өңдейді — ақылы сөйлеу API қажет емес. Кіріс аудиоклип транскрипцияланады (STT), мәтін қарапайым агент кезегін басқарады, ал жауап дауыспен қайтарылады (TTS). Екі қозғалтқыш та тегін әрі жергілікті және sidecar ретінде жұмыс істейді: транскрипция үшін faster-whisper және синтез үшін edge-tts.

Дауыс кезегі қалай жұмыс істейді

Дауыс кезегі — екі ұшында да аудио бар қарапайым агент кезегі:

  1. Gateway кіріс аудионы STT sidecar-ына (:8001, faster-whisper) жібереді және мәтінді кері алады.
  2. Бұл мәтін әдеттегі функция шақыру кезегін басқарады — мәтіндік хабарламамен бірдей router, orchestrator, құралдар және жады.
  3. Жауап мәтіні TTS sidecar-ына (:8002, edge-tts) жіберіледі және айтылған аудио қоңырау шалушыға қайтарылады.

Бұл бір ғана endpoint, POST /v1/voice/turn ретінде ұсынылады, осылайша арна немесе клиент қадамдарды өзі оркестрлемей-ақ аудионы тапсырып, аудио ала алады.

Endpoint-тар

Әдіс Endpoint Мақсаты
POST /v1/voice/turn Аудио кіру → агент кезегі → аудио шығу
GET /v1/voice/config Ағымдағы дауыс конфигурациясы (қозғалтқыштар, баптау тұтқалары) 
POST /v1/voice/turn HTTP/1.1
Host: localhost:8780
Content-Type: application/json

{
  "audio": "<base64-encoded clip>",
  "format": "wav"
}

[!NOTE] Сөйлеу мүмкіндіктері core бөлігі — олар SIP плагинімен байланысты емес. SIP арнасы өзінің local қозғалтқышы үшін осы STT/TTS қозғалтқыштарын пайдаланады, бірақ дауысты кіргізу/шығару /v1/voice/turn шақыратын кез келген клиент үшін жұмыс істейді.

Дауыс sidecar-лары

Порт Sidecar Қозғалтқыш Рөл Қосылған
8001 STT faster-whisper сөйлеу → мәтін AIHUMMER_STT_URL
8002 TTS edge-tts мәтін → сөйлеу AIHUMMER_TTS_URL

Екі қозғалтқыш та тегін әрі жергілікті: ешнәрсе ақылы сөйлеу жеткізушісіне жіберілмейді. Әрбір sidecar сияқты, gateway оларға URL арқылы жетеді, сондықтан сіз оларды gateway-дің қасында іске қоса аласыз немесе ортақ инстансқа бағыттай аласыз.

Қосу

Хост-нативті орнатушы STT және TTS URL-дерін сіз үшін орнатады. Айнымалылар:

# gateway.env — voice in/out (auto-set by the installer)
AIHUMMER_STT_URL=http://127.0.0.1:8001
AIHUMMER_TTS_URL=http://127.0.0.1:8002

[!TIP] Әрбір sidecar тек URL болғандықтан, бірнеше gateway бір STT/TTS инстансын бөлісе алады. Хост сайын көшірме іске қосудың орнына ауырлау сөйлеу сервистерін орталықтандырыңыз.

Аудио жолын баптау

Дауыс сапасының тұтқалары “Media · Voice” баптаулар тобында орналасқан және веб әкімші UI-ден конфигурацияланады — қайта орналастыру қажет емес. Олар нақты уақыттағы аудио жолын қамтиды:

Тұтқа Нені басқарады
Duplex Толық дуплекс (сөйлеп тұрып тыңдау) vs жартылай дуплекс
AEC Акустикалық эхоны жою
Noise suppression STT-ге дейінгі фондық шуды сүзу
AGC Автоматты күшейту бақылауы (деңгейді нормализациялау)
VAD threshold Дауыс белсенділігін анықтау сезімталдығы
Barge-in Қоңырау шалушыға агентті жауап ортасында үзуге рұқсат ету

GET /v1/voice/config тиімді конфигурацияны қайтарады, осылайша клиент белсенді қозғалтқыштар мен осы баптауларды анықтай алады.

Әрі қарай қайда