Тарҷумаи нутқ ва видео

audio in ─▶ STT ─▶ translate (LLM) ─▶ TTS ─▶ audio out

POST /v1/voice/translate?target=en HTTP/1.1
Host: localhost:8780
Content-Type: audio/ogg

<binary audio>

# Optional video sidecar
aihummer settings set AIHUMMER_VIDEO_URL http://127.0.0.1:8005

Берун [суханронӣ дохил ва хориҷ](/tg/v1.0/voice/stt-tts), AiHummer ду имконоти иловагӣ барои медиаро пешниҳод мекунад: **тарҷумаи суханронӣ** ва **дарки видео**Ҳар ду кор мекунанд **муҳаррикҳои озод/махаллӣ**Тарҷума аз ҷониби STT/TTS Sidecarҳо ва LLM, ки аллакай доред, ҷамъоварӣ мешавад, дар ҳоле ки видео ҳамчун худаш кор мекунад [саҳни канорӣ](/tg/v1.0/architecture/sidecars) бо URL дастрас шуд. > [!NOTE] > Тақсимбандии сухангӯ ва такрори овоз **не** иқсати маҳсулот — онҳое > қобилиятҳо бардошта шуданд. Агар шумо онҳоро дар маводи кӯҳна дида бошед, нақша накунед > дар атрофи онҳо: пайдарҳамии овоз STT, TTS, навбати овоз (`/v1/voice/turn`), > тарҷумаи нутқ ва фаҳмиши видео ## Тарҷумаи нутқ Тарҷумаи нутқ садо дар як забонро ба садо бо забони дигар табдил медиҳад, то агент метавонад ба зангзанандагон дар байни забонҳо хизмат кунад. Он як **салиқаи тарҷума бе дастгоҳи аген**: садоҳои воридшуда сабт карда мешаванд (STT), матн бо истифода аз такмили яквақтаи LLM тарҷума мешавад ва тарҷума бозгӯи овозӣ мешавад (TTS). ```text audio in ─▶ STT ─▶ translate (LLM) ─▶ TTS ─▶ audio out ``` Ҳеҷ гуна сайдкари иловагӣ лозим нест: равзанаи корӣ ҳамон сайдкарҳои озод/махаллӣеро истифода мебарад, ки навбати овозӣ — faster-whisper истифода мекунад.`:8001`) ва edge-tts (`:8002`) — ҳамчунин таъминкунандаи LLM-и шуморо, ки шумо танзим кардаед. | Мол | Арзиш | |---|---| | Нуқтаи охирин | `POST /v1/voice/translate?target=<lang>` | | `target` меъёр | Забони мақсад (BCP-47 ё номи оддии забон); **лазарем** | | Ворид | Аудио дар бадани дархост (`Content-Type`, ба маънии қаблӣ аст `audio/ogg`) | | Натиҷа | Аудиои тарҷумашуда (`audio/mpeg`) | | Сарлавҳаҳои посух | `X-Voice-Transcript` — матни манбаъ, `X-Voice-Reply` — тарҷума | | Талаб мекунад | STT, TTS ва таъминкунандаи LLM танзим карда шуданд | ```http POST /v1/voice/translate?target=en HTTP/1.1 Host: localhost:8780 Content-Type: audio/ogg <binary audio> ``` ## Фаҳмиши видео Фаҳмиши видео мундариҷаи клипро бо ҷудо кардани аудио ва намунакгирифтаи ҷадвалҳои асосӣ мебарорад **ffmpeg** — вуҷуд дорад **ҳеҷ модели ML** дар ин сайдкар; он аудио ва фреймҳоро барои гардиши агент омода мекунад. | Мол | Арзиш | |---|---| | Ҳимоятшуда аз ҷониби | ffmpeg (демукс + чаҳорчӯбаҳои калидӣ, бе ML) | | Порти тарафдор | `:8005` | | Нуқтаи охирин | `POST /v1/video/understand` | | Бо васлшуда | `AIHUMMER_VIDEO_URL` | ## Сими барқӣ Тарҷумаи нутқ ба тағйирёбандаи махсус ниёз надорад: он пас аз танзим шудани STT, TTS ва провайдери LLM фаъол мешавад. Фаҳмиши видео тавассути URL-и ҳамсояаш фаъол карда шудааст — як **танзими каталог** шумо аз интерфейси идоракунӣ муқаррар мекунед (**Идоракунӣ → Танзимот**) ё бо `aihummer settings set` (`gateway.env` танҳо барои bootstrap буда ва барои он нодида гирифта мешавад); насбкунандаи маҳалии мизбон метавонад онро таъмин кунад ё ба намунае, ки аллакай идора мекунед, ишора кунад. ```bash # Optional video sidecar aihummer settings set AIHUMMER_VIDEO_URL http://127.0.0.1:8005 ``` > [!TIP] > Қобилиятҳо мустақиланд — танҳо онҳое, ки лозимандро фаъол кунед. Як паҳнсозӣ > ки танҳо бояд транскрипт ва синтез шавад, метавонад ҷуфти STT/TTS-ро танҳо кор кунад ва > ҷонибдори видео-сафтаро бе конфигуратсия гузоред. ## Баъд ба куҷо - Роҳи гапзании пешфарз: [Суханронӣ дохил ва хориҷ](/tg/v1.0/voice/stt-tts). - Чӣ тавр паҳлӯҳо пайваст ва тақсим мешаванд: [Сайдкарҳо](/tg/v1.0/architecture/sidecars).