Diarizare, traducere, clonare și video

v1.0.x · actualizat 2026-06-26

Pe lângă vorbirea intrare și ieșire, AiHummer oferă patru capabilități media suplimentare, opționale: diarizarea vorbitorilor, traducerea vorbirii, clonarea vocii și înțelegerea video. Fiecare rulează offline pe motoare gratuite/locale ca un sidecar accesat prin URL.

[!NOTE] Acestea sunt funcții core / sidecar, nu funcții SIP. Canalul SIP în sine suportă doar STT, TTS, barge-in, DTMF și înregistrare — diarizarea, traducerea și clonarea vocii aparțin core voice, expuse la /v1/voice/*.

Diarizarea vorbitorilor

Diarizarea răspunde la „cine a vorbit și când“ într-un clip audio cu mai mulți vorbitori. Ea rulează pyannote speaker-diarization-3.1, offline, în sidecar-ul de diarizare.

Element	Valoare
Motor	pyannote `speaker-diarization-3.1` (offline)
Port sidecar	`:8003`
Endpoint	`POST /v1/voice/diarize`
Conectat cu	`AIHUMMER_DIARIZE_URL`

Traducerea vorbirii

Traducerea convertește vorbirea (sau transcrierea ei) dintr-o limbă în alta astfel încât un agent să poată servi apelanți din limbi diferite.

Element	Valoare
Endpoint	`POST /v1/voice/translate`

Clonarea vocii

Clonarea vocii sintetizează vorbirea într-o voce țintă. Ea rulează OpenVoice V2 cu MeloTTS — offline și licențiat MIT — în sidecar-ul de clonare a vocii.

Element	Valoare
Motor	OpenVoice V2 + MeloTTS (offline, MIT)
Port sidecar	`:8004`
Endpoint	`POST /v1/voice/clone`
Conectat cu	`AIHUMMER_VOICECLONE_URL`

Înțelegerea video

Înțelegerea video extrage ce conține un clip prin demultiplexarea audio și eșantionarea keyframe-urilor cu ffmpeg — nu există niciun model ML în acest sidecar; el pregătește audio și cadre pentru turul de agent.

Element	Valoare
Susținut de	ffmpeg (demux + keyframes, fără ML)
Port sidecar	`:8005`
Endpoint	`POST /v1/video/understand`
Conectat cu	`AIHUMMER_VIDEO_URL`

Conectare

Fiecare capabilitate este activă doar când URL-ul sidecar-ului său este setat. Instalatorul nativ pe gazdă le poate aproviziona, sau le poți îndrepta către instanțe pe care le rulezi deja.

# gateway.env — optional voice/video sidecars
AIHUMMER_DIARIZE_URL=http://127.0.0.1:8003
AIHUMMER_VOICECLONE_URL=http://127.0.0.1:8004
AIHUMMER_VIDEO_URL=http://127.0.0.1:8005

[!TIP] Aceste sidecar-uri sunt independente — activează doar pe cele de care ai nevoie. O implementare care are nevoie doar de transcriere și sinteză poate rula doar perechea STT/TTS și lasă diarize, voiceclone și video neconfigurate.

Unde mai departe

Calea implicită de vorbire: Vorbire intrare și ieșire.
Cum sunt conectate și partajate sidecar-urile: Sidecars.