Kalba į vidų ir išorę (STT / TTS)
AiHummer rankenos kalba į dėžutę ir kalba iš dėžutės — nereikia mokamos kalbos API. Gaunamas garso įrašas transkribuojamas (STT), tekstas valdo įprastą agento atsakymą, o atsakymas ištariamas atgal (TTS). Abu varikliai yra nemokamas ir vietinis ir paleisti kaip šoninės transporto priemonės: faster-whisper transkripcijai ir edge-tts sintezei.
Kaip veikia balso keitimas
Balso perėjimas yra įprastas agento perėjimas, kai abiejose pusėse yra garsas:
- Šliuzas siunčia gaunamą garso signalą į STT šoninė karieta (
:8001, faster-whisper) ir gauna atgal tekstą. - Tas tekstas skatina įprastą funkcijų kvietimo eigą — tas pats maršrutizatorius, režisierius, įrankiai ir atmintis kaip tekstinė žinutė.
- Atsakymo tekstas siunčiamas adresatui TTS pagalbinė programa (
:8002, edge-tts) ir kalbėta garso įrašas grąžinamas skambinančiajam.
Tai pateikiama kaip vienas galinis taškas, POST /v1/voice/turn, taigi kanalas ar klientas gali perduoti garsą ir gauti garsą neprivalėdamas pats koordinuoti žingsnių.
Galiniai taškai
| Metodas | Galinis taškas | Tikslas |
|---|---|---|
POST |
/v1/voice/turn |
Garsas į → agento veiksmas → garsas iš |
GET |
/v1/voice/config |
Dabartinė balso konfigūracija (varikliai, reguliavimo rankenėlės) |
POST /v1/voice/turn HTTP/1.1
Host: localhost:8780
Content-Type: application/json
{
"audio": "<base64-encoded clip>",
"format": "wav"
}
[!NOTE] Kalbos ypatybės yra dalis branduolys — jie nėra susieti su SIP įskiepiu. SIP kanalas naudoja šiuos pačius STT/TTS variklius savo
localvariklis, bet balsas į/iš veikia bet kuriam klientui, kuris skambina/v1/voice/turn.
Balso šoninės transporto priemonės
| Uostas | Šoninė priekaba | Variklis | Vaidmuo | Sujungtas laidais |
|---|---|---|---|---|
| 8001 | STT | greitesnis-šnipas | kalba → tekstas | AIHUMMER_STT_URL |
| 8002 | TTS | edge-tts | tekstas → kalba | AIHUMMER_TTS_URL |
Abu varikliai yra nemokami ir vietiniai: niekas nėra siunčiama mokamam balso paslaugų teikėjui. Kaip ir su kiekvienu šalutiniu įrenginiu, prieigos taškas juos pasiekia pagal URL, todėl galite juos vykdyti šalia vartų ar nurodyti bendrą instanciją.
Laidų instaliacija
Svečio-vietinis diegėjas nustato jums STT ir TTS URL adresus. Jie yra katalogo nustatymai — pakeiskite juos per administratoriaus sąsają (Valdymas → Nustatymai) arba su aihummer settings set; gateway.env yra tik bootstrap ir ignoruojamas šiems:
# Voice in/out (auto-configured by the installer)
aihummer settings set AIHUMMER_STT_URL http://127.0.0.1:8001
aihummer settings set AIHUMMER_TTS_URL http://127.0.0.1:8002
[!TIP] Kadangi kiekvienas šalutinis vežimėlis yra tik URL, kelios vartai gali dalytis vienu STT/TTS pavyzdys. Centralizuokite sunkesnes kalbos paslaugas vietoj to, kad paleistumėte kopiją kiekvienai šeimininkas.
Garso kelio derinimas
Balso kokybės rankenėlės gyvena Medija · Balsas nustatymų grupė ir gali būti konfigūruojama per žiniatinklio administravimo sąsają — perkrovimo neprireikia. Jie apima realaus laiko garso kelią:
| Rankena | Kuo jis valdo |
|---|---|
| Dupleksas | Pilnas duplexas (klauso kalbėdamas) vs pusinis duplexas |
| AEC | Akustinio aidų šalinimas |
| Triukšmo slopinimas | Filtruoja foninį triukšmą prieš STT |
| AGC | Automatinė stiprinimo kontrolė (lygio normalizavimas) |
| VAD ribinė reikšmė | Balso veiklos aptikimo jautrumas |
| Įsibrauti | Leiskite skambinančiajam pertraukti agentą viduryje atsakymo |
GET /v1/voice/config grąžina veiksmingą konfigūraciją, kad klientas galėtų sužinoti apie aktyvius variklius ir šiuos nustatymus.
Kur toliau
- Transporto modelis, esantis už šių paslaugų: Šoninės transporto priemonės.
- Kalbos vertimas ir vaizdo supratimas: Kalbos vertimas ir vaizdo įrašas.
- Balsas telefono linijoje: SIP telefonija.