Диаризация, аударма, клондау және видео

v1.0.x · жаңартылды 2026-06-26

Сөйлеуді кіргізу мен шығару бөлімінен тыс, AiHummer төрт қосымша, opt-in медиа мүмкіндігін ұсынады: сөйлеуші диаризациясы, сөйлеу аудармасы, дауыс клондау және видеоны түсіну. Әрқайсысы URL арқылы қолжетімді sidecar ретінде тегін/жергілікті қозғалтқыштарда офлайн жұмыс істейді.

[!NOTE] Бұлар — core / sidecar мүмкіндіктері, SIP мүмкіндіктері емес. SIP арнасының өзі тек STT, TTS, barge-in, DTMF және жазуды ғана қолдайды — диаризация, аударма және дауыс клондау core voice-қа жатады, олар /v1/voice/* мекенжайында ұсынылады.

Сөйлеуші диаризациясы

Диаризация бірнеше сөйлеушісі бар аудиоклипте “кім қашан сөйледі” сұрағына жауап береді. Ол pyannote speaker-diarization-3.1 қозғалтқышын diarize sidecar ішінде офлайн іске қосады.

Элемент	Мән
Қозғалтқыш	pyannote `speaker-diarization-3.1` (офлайн)
Sidecar порты	`:8003`
Endpoint	`POST /v1/voice/diarize`
Қосылған	`AIHUMMER_DIARIZE_URL`

Сөйлеу аудармасы

Аударма сөйлеуді (немесе оның транскриптін) бір тілден екінші тілге түрлендіреді, осылайша агент әртүрлі тілдердегі қоңырау шалушыларға қызмет көрсете алады.

Элемент	Мән
Endpoint	`POST /v1/voice/translate`

Дауыс клондау

Дауыс клондау сөйлеуді мақсатты дауыста синтездейді. Ол OpenVoice V2 және MeloTTS қозғалтқышын — офлайн әрі MIT-лицензияланған — voiceclone sidecar ішінде іске қосады.

Элемент	Мән
Қозғалтқыш	OpenVoice V2 + MeloTTS (офлайн, MIT)
Sidecar порты	`:8004`
Endpoint	`POST /v1/voice/clone`
Қосылған	`AIHUMMER_VOICECLONE_URL`

Видеоны түсіну

Видеоны түсіну ffmpeg арқылы аудионы demux жасап және кадрларды (keyframes) үлгілеу арқылы клиптің не қамтитынын шығарады — бұл sidecar-да ML модель жоқ; ол агент кезегі үшін аудио мен кадрларды дайындайды.

Элемент	Мән
Негізделген	ffmpeg (demux + keyframes, ML жоқ)
Sidecar порты	`:8005`
Endpoint	`POST /v1/video/understand`
Қосылған	`AIHUMMER_VIDEO_URL`

Қосу

Әрбір мүмкіндік тек оның sidecar URL-і орнатылған кезде белсенді. Хост-нативті орнатушы оларды қамтамасыз ете алады, немесе сіз оларды бұрыннан іске қосып жатқан инстанстарға бағыттай аласыз.

# gateway.env — optional voice/video sidecars
AIHUMMER_DIARIZE_URL=http://127.0.0.1:8003
AIHUMMER_VOICECLONE_URL=http://127.0.0.1:8004
AIHUMMER_VIDEO_URL=http://127.0.0.1:8005

[!TIP] Бұл sidecar-лар тәуелсіз — тек қажеттілерін қосыңыз. Тек транскрипция мен синтезді қажет ететін орналастыру STT/TTS жұбын жалғыз іске қоса алады және diarize, voiceclone мен video-ны конфигурацияланбаған күйде қалдыра алады.

Әрі қарай қайда

Әдепкі сөйлеу жолы: Сөйлеуді кіргізу мен шығару.
Sidecar-лар қалай қосылады және бөлісіледі: Sidecars.