Помимо речи на входе и выходе, AiHummer предлагает две
дополнительные медиа-возможности: перевод речи и понимание видео. Обе
работают на свободных/локальных движках: перевод собирается из уже имеющихся
сайдкаров STT/TTS и LLM, а видео — как отдельный
сайдкар, доступный по URL.
[!NOTE]
Диаризации дикторов и клонирования голоса в продукте нет — эти возможности
были удалены. Если вы встречали их в старых материалах, не рассчитывайте на
них: голосовой стек — это STT, TTS, голосовой ход (/v1/voice/turn), перевод
речи и понимание видео.
Перевод речи
Перевод речи превращает аудио на одном языке в озвученный перевод на другом,
чтобы агент мог обслуживать звонящих на разных языках. Это чистый конвейер
перевода без хода агента: входящее аудио распознаётся (STT), текст переводится
одноразовым обращением к LLM, и перевод озвучивается (TTS).
аудио на входе ─▶ STT ─▶ перевод (LLM) ─▶ TTS ─▶ аудио на выходе
Отдельный сайдкар не нужен: конвейер использует те же свободные/локальные
сайдкары, что и голосовой ход, — faster-whisper (:8001) и edge-tts (:8002) —
плюс настроенного LLM-провайдера.
Параметр
Значение
Эндпоинт
POST /v1/voice/translate?target=<lang>
Параметр target
Целевой язык (BCP-47 или название языка); обязателен
Вход
Аудио в теле запроса (Content-Type, по умолчанию audio/ogg)
Выход
Переведённое аудио (audio/mpeg)
Заголовки ответа
X-Voice-Transcript — исходный текст, X-Voice-Reply — перевод
Требует
Настроенные STT, TTS и LLM-провайдер
POST /v1/voice/translate?target=en HTTP/1.1Host: localhost:8780Content-Type: audio/ogg<двоичное аудио>
Понимание видео
Понимание видео извлекает содержимое клипа, демультиплексируя аудио и выбирая
ключевые кадры с помощью ffmpeg — в этом сайдкаре нет ML-модели; он
готовит аудио и кадры для хода агента.
Параметр
Значение
Основа
ffmpeg (демукс + ключевые кадры, без ML)
Порт сайдкара
:8005
Эндпоинт
POST /v1/video/understand
Подключается через
AIHUMMER_VIDEO_URL
Подключение
Перевод речи не требует отдельной переменной: он активен, когда настроены STT,
TTS и LLM-провайдер. Понимание видео включается URL своего сайдкара — host-native
установщик может развернуть его, либо укажите на уже работающий экземпляр.
[!TIP]
Возможности независимы — включайте только нужные. Развёртыванию, которому
достаточно распознавания и синтеза, хватит пары STT/TTS; видео-сайдкар можно
оставить не настроенным.
Как сайдкары подключаются и используются совместно:
Сайдкары.
Помимо [речи на входе и выходе](/v1.0/voice/stt-tts), AiHummer предлагает две
дополнительные медиа-возможности: **перевод речи** и **понимание видео**. Обе
работают на **свободных/локальных движках**: перевод собирается из уже имеющихся
сайдкаров STT/TTS и LLM, а видео — как отдельный
[сайдкар](/v1.0/architecture/sidecars), доступный по URL.
> [!NOTE]
> Диаризации дикторов и клонирования голоса в продукте **нет** — эти возможности
> были удалены. Если вы встречали их в старых материалах, не рассчитывайте на
> них: голосовой стек — это STT, TTS, голосовой ход (`/v1/voice/turn`), перевод
> речи и понимание видео.
## Перевод речи
Перевод речи превращает аудио на одном языке в озвученный перевод на другом,
чтобы агент мог обслуживать звонящих на разных языках. Это **чистый конвейер
перевода без хода агента**: входящее аудио распознаётся (STT), текст переводится
одноразовым обращением к LLM, и перевод озвучивается (TTS).
```text
аудио на входе ─▶ STT ─▶ перевод (LLM) ─▶ TTS ─▶ аудио на выходе
```
Отдельный сайдкар не нужен: конвейер использует те же свободные/локальные
сайдкары, что и голосовой ход, — faster-whisper (`:8001`) и edge-tts (`:8002`) —
плюс настроенного LLM-провайдера.
| Параметр | Значение |
|---|---|
| Эндпоинт | `POST /v1/voice/translate?target=<lang>` |
| Параметр `target` | Целевой язык (BCP-47 или название языка); **обязателен** |
| Вход | Аудио в теле запроса (`Content-Type`, по умолчанию `audio/ogg`) |
| Выход | Переведённое аудио (`audio/mpeg`) |
| Заголовки ответа | `X-Voice-Transcript` — исходный текст, `X-Voice-Reply` — перевод |
| Требует | Настроенные STT, TTS и LLM-провайдер |
```http
POST /v1/voice/translate?target=en HTTP/1.1
Host: localhost:8780
Content-Type: audio/ogg
<двоичное аудио>
```
## Понимание видео
Понимание видео извлекает содержимое клипа, демультиплексируя аудио и выбирая
ключевые кадры с помощью **ffmpeg** — в этом сайдкаре **нет ML-модели**; он
готовит аудио и кадры для хода агента.
| Параметр | Значение |
|---|---|
| Основа | ffmpeg (демукс + ключевые кадры, без ML) |
| Порт сайдкара | `:8005` |
| Эндпоинт | `POST /v1/video/understand` |
| Подключается через | `AIHUMMER_VIDEO_URL` |
## Подключение
Перевод речи не требует отдельной переменной: он активен, когда настроены STT,
TTS и LLM-провайдер. Понимание видео включается URL своего сайдкара — host-native
установщик может развернуть его, либо укажите на уже работающий экземпляр.
```ini
# gateway.env — опциональный сайдкар видео
AIHUMMER_VIDEO_URL=http://127.0.0.1:8005
```
> [!TIP]
> Возможности независимы — включайте только нужные. Развёртыванию, которому
> достаточно распознавания и синтеза, хватит пары STT/TTS; видео-сайдкар можно
> оставить не настроенным.
## Куда дальше
- Базовый речевой тракт:
[Речь на входе и выходе](/v1.0/voice/stt-tts).
- Как сайдкары подключаются и используются совместно:
[Сайдкары](/v1.0/architecture/sidecars).
