Диаризация, котормо, клондоштуруу жана видео

v1.0.x · жаңыланды 2026-06-26

Сүйлөө кирүү жана чыгуудан тышкары, AiHummer төрт кошумча, опт-ин медиа мүмкүнчүлүгүн сунуштайт: сүйлөөчүлөрдү диаризациялоо, сүйлөө котормосу, үн клондоштуруу жана видео түшүнүү. Алардын ар бири URL аркылуу жетилген sidecar катары акысыз/ локалдык кыймылдаткычтарда оффлайн иштейт.

[!NOTE] Булар core / sidecar мүмкүнчүлүктөрү, SIP мүмкүнчүлүктөрү эмес. SIP каналы өзү STT, TTS, barge-in, DTMF жана жазууну гана колдойт — диаризация, котормо жана үн клондоштуруу /v1/voice/* дарегинде ачылган core үнгө таандык.

Сүйлөөчүлөрдү диаризациялоо

Диаризация бир нече сүйлөөчүсү бар аудио клипте “ким качан сүйлөдү” дегенге жооп берет. Ал pyannote speaker-diarization-3.1 менен, оффлайн, diarize sidecar’ында иштейт.

Элемент	Маани
Кыймылдаткыч	pyannote `speaker-diarization-3.1` (оффлайн)
Sidecar порту	`:8003`
Соңу	`POST /v1/voice/diarize`
Туташтырылган	`AIHUMMER_DIARIZE_URL`

Сүйлөө котормосу

Котормо сүйлөөнү (же анын транскриптин) бир тилден экинчи тилге айлантат, ошондуктан агент чалуучуларга ар кандай тилдерде кызмат кыла алат.

Элемент	Маани
Соңу	`POST /v1/voice/translate`

Үн клондоштуруу

Үн клондоштуруу максаттуу үндө сүйлөөнү синтездейт. Ал MeloTTS менен OpenVoice V2 — оффлайн жана MIT-лицензияланган — voiceclone sidecar’ында иштейт.

Элемент	Маани
Кыймылдаткыч	OpenVoice V2 + MeloTTS (оффлайн, MIT)
Sidecar порту	`:8004`
Соңу	`POST /v1/voice/clone`
Туташтырылган	`AIHUMMER_VOICECLONE_URL`

Видео түшүнүү

Видео түшүнүү аудиону демукстап жана ffmpeg менен ачкыч кадрларды үлгү алуу аркылуу клипте эмне камтылганын чыгарат — бул sidecar’да ML модели жок; ал агент кезеги үчүн аудио жана кадрларды даярдайт.

Элемент	Маани
Колдоого алынган	ffmpeg (демукс + ачкыч кадрлар, ML жок)
Sidecar порту	`:8005`
Соңу	`POST /v1/video/understand`
Туташтырылган	`AIHUMMER_VIDEO_URL`

Туташтыруу

Ар бир мүмкүнчүлүк анын sidecar URL’и орнотулганда гана активдүү. Хост-нативдүү орноткуч аларды даярдай алат, же сиз аларды иштеп жаткан инстанстарыңызга багыттай аласыз.

# gateway.env — optional voice/video sidecars
AIHUMMER_DIARIZE_URL=http://127.0.0.1:8003
AIHUMMER_VOICECLONE_URL=http://127.0.0.1:8004
AIHUMMER_VIDEO_URL=http://127.0.0.1:8005

[!TIP] Бул sidecar’дар көз карандысыз — керектүүлөрүн гана иштетиңиз. Транскрипция жана синтез гана керек болгон жайгаштыруу STT/TTS жубун жалгыз иштетип, diarize, voiceclone жана video’ну конфигурацияланбаган бойдон калтыра алат.

Кийинки кадам кайда

Демейки сүйлөө жолу: Сүйлөө кирүү жана чыгуу.
Sidecar’дар кантип туташтырылган жана бөлүшүлгөн: Sidecar’дар.