Ярианы орчуулга ба видео

audio in ─▶ STT ─▶ translate (LLM) ─▶ TTS ─▶ audio out

POST /v1/voice/translate?target=en HTTP/1.1
Host: localhost:8780
Content-Type: audio/ogg

<binary audio>

# Optional video sidecar
aihummer settings set AIHUMMER_VIDEO_URL http://127.0.0.1:8005

Дараа нь [яриа орж гарах](/mn/v1.0/voice/stt-tts), AiHummer нь хоёр нэмэлт медиа боломжийг санал болгодог: **илэрхийлэл орчуулга** болон **видео ойлголт**. Аль аль нь ажилладаг **чөлөөт/орон нутгийн хөдөлгүүрүүд**: орчуулга нь таны аль хэдийн эзэмшиж буй STT/TTS сайдкарууд болон LLM-аас бүрддэг, харин видео нь өөрийн гэсэн байдлаар ажилладаг [сайдкар](/mn/v1.0/architecture/sidecars) URL-аар хандсан. > [!NOTE] > Дуу хоолойн ялгах ба дуу хоолой хуулбарлах нь **гүй** бүтээгдэхүүний нэг хэсэг — тэдгээр > чадваруудыг устгасан. Хэрэв та үүнийг хуучин материалд харсан бол төлөвлөх хэрэггүй > тэдний эргэн тойронд: дууны стек нь STT, TTS, дууны ээлж (`/v1/voice/turn`), > илтгэл орчуулга ба видео ойлголт. ## Ярианы орчуулга Ярианы орчуулга нь нэг хэлний аудиог өөр хэл дээрх ярьсан аудиод хөрвүүлдэг тул оператор нь хэлнээс хамааралгүйгээр дуудлагыг үйлчлэх боломжтой болдог. Энэ нь **агент шилжүүлэггүй цэвэр орчуулгын дамжуулах хоолой**: орж ирж буй аудио бичлэгийг текст болгон хөрвүүлдэг (STT), текстийг нэг удаагийн LLM дуусаалт ашиглан орчуулдаг, орчуулсан текстийг дуу хэлбэрээр буцааж гаргадаг (TTS). ```text audio in ─▶ STT ─▶ translate (LLM) ─▶ TTS ─▶ audio out ``` Нэмэлт сайдкар шаардлагагүй: энэхүү дамжуулах хоолой нь дуу хоолойн ээлжийг ашигладагтой ижил үнэгүй/орон нутгийн сайдкарыг ашигладаг — faster-whisper.`:8001`) ба edge-tts (`:8002`) — нэмээд таны тохируулсан LLM үйлчилгээ үзүүлэгч. | Бараа | Үнэлэмж | |---|---| | Төгсгөл цэг | `POST /v1/voice/translate?target=<lang>` | | `target` параметр | Зорилтот хэл (BCP-47 эсвэл энгийн хэлний нэр); **шаардлагатай** | | Оролт | Хүсэлтийн биед байгаа дуу`Content-Type`, анхдагчаар тохируулагдана `audio/ogg`) | | Гаралт | Орчуулагдсан аудио (`audio/mpeg`) | | Хариулах толгойн мэдээлэл | `X-Voice-Transcript` — эх сурвалжийн текст, `X-Voice-Reply` — орчуулга | | Шаарддаг | STT, TTS ба LLM нийлүүлэгчийг тохируулсан | ```http POST /v1/voice/translate?target=en HTTP/1.1 Host: localhost:8780 Content-Type: audio/ogg <binary audio> ``` ## Видео ойлгох Видео ойлголт нь аудиог демюкс хийх ба гол кадруудыг сорьсноор клипэнд юу агуулагддагийг гаргаж авдаг **ffmpeg** — байна **машины сургалтын загваргүй** энэхүү сайдкар дээр; энэ нь төлөөлөгчийн ээлжид зориулж аудио болон кадрыг бэлддэг. | Бараа | Үнэлэмж | |---|---| | Дэмжигдсэн | ffmpeg (демукс + түлхүүр кадр, ML үгүй) | | Сайдкар порт | `:8005` | | Төгсгөл цэг | `POST /v1/video/understand` | | Утасласан | `AIHUMMER_VIDEO_URL` | ## Өрөх утас Ярианы орчуулгад тусгай хувьсагч хэрэггүй: STT, TTS болон LLM провайдерийг тохируулсны дараа идэвхждэг. Видео ойлголтыг түүний сайдкарын URL-ийн тусламжтай идэвхжүүлдэг — a **каталог тохиргоо** та админ UI-аас тохируулна (**Менежмент → Тохиргоо**) эсвэл үүнтэй хамт `aihummer settings set` (`gateway.env` зөвхөн bootstrap-ийн хувьд бөгөөд үүнийг үл тоомсорлож байна); хост-үндэсний суулгагч үүнийг хангаж чадна, эсвэл та аль хэдийн ажиллуулж байгаа нэгэн жишээг зааж өгч болно. ```bash # Optional video sidecar aihummer settings set AIHUMMER_VIDEO_URL http://127.0.0.1:8005 ``` > [!TIP] > Чадварууд бие даасан — зөвхөн хэрэгтэйгээ идэвхжүүлнэ үү. Нэгэн байршуулалт > зөвхөн бичлэг ба нийлэгжүүлэлт хэрэгтэй бол STT/TTS хосыг ганцаараа ажиллуулж болно ба > видео сайдкарг тохируулгагүй орхино уу. ## Дараа хаашаа явах вэ - Өгөгдсөн ярианы зам: [Яриа орж гарах](/mn/v1.0/voice/stt-tts). - Талын дугуйнууд хэрхэн утсаар холбогдож, хуваалцдаг: [Өөр дугуйтай сэлгэж явдаг тэрэг](/mn/v1.0/architecture/sidecars).