AiHummer
Русский▾
ВойтиЛичный кабинет
v1.2.x▾
v1.2.xstablev1.1.xstablev1.0.xstable
{ }Swagger
Доступы и интеграции/BYOK и провайдеры LLM

BYOK и провайдеры LLM

v1.2.x · обновлено 2026-07-21

Для запуска и тестирования платный API‑ключ не нужен: без модели используется тестовый mock. Для рабочих ответов подключите локальную модель, поддерживаемый транспорт через подписку Codex/ChatGPT или собственный API‑ключ. Когда нужна конкретная модель, вы подключаете её сами — либо как конфигурацию на весь процесс, либо на арендатора через собственный ключ провайдера (BYOK, «bring your own key»).

Поддерживаемые провайдеры LLM

AiHummer общается с любым провайдером, у которого есть chat-API в стиле OpenAI (нативно), с остальными провайдерами — через внешний LLM-gateway, а также поддерживает транспорт через подписку ChatGPT. На практике это покрывает:

Провайдер Как подключается Примечания
OpenAI Нативный OpenAI-совместимый путь (AIHUMMER_OPENAI_*)
Любой endpoint стандарта OpenAI-API Тот же нативный путь: AIHUMMER_OPENAI_BASE_URL Локальные модели, OpenRouter, OpenAI-совместимый API Gemini и т. п.
Anthropic Пресет Anthropic в Web UI (OpenAI-совместимый) или через LLM-gateway (AIHUMMER_LLM_*) Модели Claude; подключается из брендового выбора провайдера, либо ключ держит sidecar-gateway
Транспорт Codex / подписка ChatGPT Транспорт на базе подписки (AIHUMMER_CODEX_*) Использует подписку ChatGPT вместо тарифицируемого API-ключа

[!WARNING] Для запуска и тестирования платный API‑ключ не нужен: если модель не настроена, используется детерминированная тестовая модель (mock) — шлюз запускается и отвечает, но такой ответ годится только для проверки маршрута. Для рабочих ответов подключите локальную модель, поддерживаемый транспорт через подписку или собственный API‑ключ. BYOK и платные ключи полностью опциональны.

Подключение модели через настройки

Ключи модели — это параметры каталога настроек (хранятся в БД): задавайте их в веб-интерфейсе («Управление → Настройки») или командой aihummer settings set, а не в gateway.env. Есть два независимых пути подключения — не смешивайте их переменные.

(а) Нативный OpenAI-совместимый путь. Шлюз сам обращается к OpenAI-совместимому endpoint и сам передаёт ключ:

aihummer settings set AIHUMMER_OPENAI_API_KEY sk-...
aihummer settings set AIHUMMER_OPENAI_BASE_URL https://api.openai.com/v1
aihummer settings set AIHUMMER_OPENAI_MODEL gpt-4o-mini

Тот же путь работает для локального OpenAI-совместимого сервера, OpenRouter или OpenAI-совместимого endpoint Gemini — просто укажите его AIHUMMER_OPENAI_BASE_URL.

(б) Путь через LLM-gateway. AIHUMMER_LLM_GATEWAY_URL — это базовый URL OpenAI-совместимого endpoint (та же настройка, что и в разделе Конфигурация). Укажите её на gateway-sidecar, который сам держит ключи провайдеров (API-ключ через AiHummer не проходит), либо напрямую на OpenAI-совместимый API провайдера (тогда вы дополнительно задаёте ключ этого провайдера). Это отличается от нативного AIHUMMER_OPENAI_BASE_URL из пути (а):

aihummer settings set AIHUMMER_LLM_GATEWAY_URL http://127.0.0.1:8090
aihummer settings set AIHUMMER_LLM_PROVIDER anthropic
aihummer settings set AIHUMMER_LLM_MODEL claude-sonnet-4-5

[!WARNING] Пути не комбинируются: сочетание AIHUMMER_LLM_GATEWAY_URL с AIHUMMER_OPENAI_API_KEY ничего не даёт — на gateway-пути ключ не передаётся, sidecar использует собственные ключи.

Если не настроен ни один путь, используется детерминированная тестовая модель (mock).

[!NOTE] Подписка ChatGPT/Codex и API‑ключ OpenAI — это разные способы доступа и биллинга. Транспорт Codex использует вашу подписку ChatGPT (оплата подписки, лимиты подписки, вход через OAuth), а AIHUMMER_OPENAI_API_KEY — это тарифицируемый API‑ключ платформы OpenAI с пооперационной оплатой. Один не заменяет другой, и подключаются они разными настройками.

BYOK: ключи на арендатора

Если переменные окружения настраивают одну модель на весь процесс, то BYOK позволяет каждому арендатору задать свои собственные доступы к LLM. Ключи BYOK управляются через admin API:

GET  /v1/admin/byok
POST /v1/admin/byok

Ключи BYOK хранятся в зашифрованном хранилище секретов, как и любой другой доступ — их значения маскируются, не передаются в журналы и не попадают в контекст модели. Именно это позволяет multitenant-развёртыванию полностью разделять биллинг моделей и ключевой материал между клиентами.

Что выбрать: общие настройки или BYOK

  • Используйте настройки AIHUMMER_OPENAI_* / AIHUMMER_LLM_* для одно-арендаторной модели или модели по умолчанию, которую должен использовать весь шлюз.
  • Используйте BYOK, когда разным арендаторам нужны разные ключи, разные провайдеры или раздельный биллинг — ключ на арендатора переопределяет значение по умолчанию для этого арендатора.

[!TIP] Поскольку принимается любой endpoint стандарта OpenAI-API, вы можете указать в AIHUMMER_OPENAI_BASE_URL локальный сервер модели, OpenRouter или OpenAI-совместимый endpoint Gemini, ничего больше не меняя в AiHummer.

Связь с остальной моделью доступов

Ключи BYOK — это доступы к модели, и они живут в том же зашифрованном хранилище секретов, что и подключения и общие/персональные секреты. Разница в области доступа: BYOK отвечает на вопрос какую модель и ключ использует этот арендатор, а персональная/общая область доступа отвечает под чьими доступами выполняется конкретный вызов инструмента.

Куда дальше