Puheentunnistus ja video

audio in ─▶ STT ─▶ translate (LLM) ─▶ TTS ─▶ audio out

POST /v1/voice/translate?target=en HTTP/1.1
Host: localhost:8780
Content-Type: audio/ogg

<binary audio>

# Optional video sidecar
aihummer settings set AIHUMMER_VIDEO_URL http://127.0.0.1:8005

Yli [puhe sisään ja ulos](/fi/v1.0/voice/stt-tts), AiHummer tarjoaa kaksi lisämediatyyppiä: **puheentunnistus käännös** ja **videon ymmärtäminen**. Molemmat toimivat **vapaa/paikallinen moottorit**: käännös koostetaan STT/TTS-sivukeistä ja LLM:stä, joka sinulla jo on, kun taas video toimii omana yksikkönään [sivuvaunu](/fi/v1.0/architecture/sidecars) saavutettu URL-osoitteella. > [!NOTE] > Puhujien erottelu ja äänen kloonaaminen ovat **ei** osa tuotteesta — ne > kyvyt poistettiin. Jos näit ne vanhemmassa materiaalissa, älä suunnittele > heidän ympärillään: äänipino on STT, TTS, äänen vuoro (`/v1/voice/turn`), > puheentunnistus ja videon ymmärtäminen. ## Puheentunnistus käännös Puheentunnistusmuunnos muuttaa äänen yhdestä kielestä puhutuksi ääneksi toisella kielellä, jotta asiakaspalvelija voi palvella soittajia eri kielillä. Se on **puhtaan käännöksen putkisto ilman agentin vuoroa**: saapuva ääni muunnetaan tekstiksi (STT), teksti käännetään yhdellä LLM-suotimella, ja käännös luetaan takaisin (TTS). ```text audio in ─▶ STT ─▶ translate (LLM) ─▶ TTS ─▶ audio out ``` Ei tarvita ylimääräistä sidecaria: putki käyttää samoja ilmaisia/paikallisia sidecareja kuin äänivuoro — faster-whisper (`:8001`) ja edge-tts (`:8002`) — plus määrittämäsi LLM-palveluntarjoaja. | Asia | Arvo | |---|---| | Päätepiste | `POST /v1/voice/translate?target=<lang>` | | `target` parametri | Kohdekieli (BCP-47 tai tavallinen kielinimi); **vaadittu** | | Syöte | Ääni pyyntötekstissä (`Content-Type`, oletusarvona `audio/ogg`) | | Tulos | Käännetty ääni (`audio/mpeg`) | | Vastausotsikot | `X-Voice-Transcript` — lähdeteksti, `X-Voice-Reply` — käännös | | Vaatii | STT, TTS ja LLM-palveluntarjoaja konfiguroitu | ```http POST /v1/voice/translate?target=en HTTP/1.1 Host: localhost:8780 Content-Type: audio/ogg <binary audio> ``` ## Videon ymmärtäminen Videon ymmärtäminen poimii, mitä klippi sisältää, demultiplexaamalla äänen ja näytteistämällä avainkehyksiä **ffmpeg** — on **ei ML-mallia** tässä sivuvaunussa; se valmistaa äänen ja kehykset agentin vuoroa varten. | Asia | Arvo | |---|---| | Tuettu | ffmpeg (demux + avainkehykset, ei ML) | | Sidecar-portti | `:8005` | | Päätepiste | `POST /v1/video/understand` | | Johdotettu | `AIHUMMER_VIDEO_URL` | ## Johdotus Puheentunnistuksen käännös ei tarvitse omaa muuttujaa: se on aktiivinen heti, kun STT, TTS ja LLM-palveluntarjoaja on määritetty. Videon ymmärtäminen on mahdollista sen sivuprofiilin URL-osoitteen avulla — a **luettelon asetus** asetat hallintakäyttöliittymästä (**Hallinta → Asetukset**) tai kanssa `aihummer settings set` (`gateway.env` on vain bootstrap ja sitä ei oteta huomioon); isäntäkohtainen asennusohjelma voi ottaa sen käyttöön tai osoittaa jo käynnissä olevaan instanssiin. ```bash # Optional video sidecar aihummer settings set AIHUMMER_VIDEO_URL http://127.0.0.1:8005 ``` > [!TIP] > Ominaisuudet ovat riippumattomia — ota käyttöön vain ne, joita tarvitset. Käyttöönotto > joka tarvitsee vain transkriptiota ja synteesiä, voi ajaa STT/TTS-paria itsenäisesti ja > jätä videon sivuvaunu määrittämättä. ## Minne seuraavaksi - Oletusarvoinen puhepolku: [Puhe sisään ja ulos](/fi/v1.0/voice/stt-tts). - Kuinka sivuvaunut on johdotettu ja jaettu: [Sivuvaunut](/fi/v1.0/architecture/sidecars).