BYOK және LLM провайдерлері

AIHUMMER_LLM_PROVIDER=openai
AIHUMMER_LLM_MODEL=gpt-4o-mini
AIHUMMER_LLM_GATEWAY_URL=https://api.openai.com/v1
AIHUMMER_OPENAI_API_KEY=sk-...

AIHUMMER_LLM_PROVIDER=openai
AIHUMMER_LLM_MODEL=qwen2.5-instruct
AIHUMMER_LLM_GATEWAY_URL=http://127.0.0.1:8080/v1

GET  /v1/admin/byok
POST /v1/admin/byok

AiHummer ешқашан ақылы модельді *талап етпейді*. Бастапқы күйінде ол тегін және жергілікті модельдерде және Codex/ChatGPT-жазылым транспортында жұмыс істейді, ал егер ешқандай модель жалғанбаса, рантайм детерминирленген мокқа қайта оралады, сондықтан платформа бәрібір іске қосылады және сыналуы мүмкін. Нақты бір модельді қалаған кезде, оны өзіңіз алып келесіз — не процесс деңгейіндегі конфигурация ретінде, не әр тенант бойынша **BYOK** ("өз кілтіңізді алып келу") арқылы. ## Қолдау көрсетілетін LLM провайдерлері AiHummer OpenAI стиліндегі чат API ұсынатын кез келген провайдермен, сондай-ақ Anthropic және ChatGPT-жазылым транспортымен сөйлеседі. Тәжірибеде бұл мыналарды қамтиды: | Провайдер | Қалай жалғанады | Ескертпелер | |---|---|---| | **Anthropic** | Нативті Anthropic API | Claude модельдері | | **OpenAI** | OpenAI чат API | | | **Кез келген OpenAI-API-стандартты эндпоинт** | OpenAI-үйлесімді шлюз URL | Жергілікті модельдер, OpenRouter, Gemini-дің OpenAI-үйлесімді API-і, т.б. | | **Codex / ChatGPT-жазылым транспорты** | Жазылымға негізделген транспорт | Өлшенетін API кілттің орнына ChatGPT жазылымын пайдаланады | > [!WARNING] > Ешқандай ақылы модель API ешқашан міндетті емес. AiHummer тегін/жергілікті > модельдерде және Codex/ChatGPT-жазылым транспортында жұмыс істейді, ал **егер > ешқандай модель конфигурацияланбаса, рантайм детерминирленген мокты > пайдаланады** — шлюз бәрібір іске қосылады және жауап береді. BYOK және ақылы > кілттер толығымен қосымша. ## Модельді орта айнымалылары арқылы жалғау Модель төрт орта айнымалысымен таңдалады. Провайдер мен модельді орнатыңыз, OpenAI-үйлесімді эндпоинттер үшін шлюз URL-іне нұсқаңыз және эндпоинт оны қажет етсе ғана кілт беріңіз: ```ini AIHUMMER_LLM_PROVIDER=openai AIHUMMER_LLM_MODEL=gpt-4o-mini AIHUMMER_LLM_GATEWAY_URL=https://api.openai.com/v1 AIHUMMER_OPENAI_API_KEY=sk-... ``` Жергілікті OpenAI-үйлесімді сервер үшін шлюз URL-ін соған нұсқаңыз, ал кілт әдетте қажет емес: ```ini AIHUMMER_LLM_PROVIDER=openai AIHUMMER_LLM_MODEL=qwen2.5-instruct AIHUMMER_LLM_GATEWAY_URL=http://127.0.0.1:8080/v1 ``` Егер `AIHUMMER_LLM_PROVIDER` / `AIHUMMER_LLM_MODEL` болмаса, детерминирленген мок пайдаланылады. ## BYOK: әр тенант бойынша кілттер Орта айнымалылары жалғыз процесс деңгейіндегі модельді конфигурацияласа, **BYOK** әр тенантқа өзінің LLM тіркелгі деректерін беруге мүмкіндік береді. BYOK кілттері админ API-інен басқарылады: ```http GET /v1/admin/byok POST /v1/admin/byok ``` BYOK кілттері кез келген басқа тіркелгі деректер сияқты шифрланған сейфте сақталады — олар ешқашан логтарға жазылмайды немесе модель контекстінде көрсетілмейді. Дәл осы көп тенантты орналастыруға әр клиенттің модель есебі мен кілт материалын толығымен бөлек ұстауға мүмкіндік береді. ## Env мен BYOK арасында таңдау - Бүкіл шлюз пайдалануы тиіс жалғыз тенантты немесе әдепкі модель үшін **`AIHUMMER_LLM_*` орта айнымалыларын** пайдаланыңыз. - Әртүрлі тенанттар әртүрлі кілттерді, әртүрлі провайдерлерді пайдалануы немесе бөлек есептелуі тиіс болғанда **BYOK** пайдаланыңыз — әр тенант бойынша кілт сол тенант үшін әдепкіні басып озады. > [!TIP] > Кез келген OpenAI-API-стандартты эндпоинт қабылданатындықтан, AiHummer-де басқа > ештеңені өзгертпей-ақ жергілікті модель серверін, OpenRouter-ді немесе > Gemini-дің OpenAI-үйлесімді эндпоинтін `AIHUMMER_LLM_GATEWAY_URL` артына > қоюыңызға болады. ## Бұл қалған қол жеткізу моделіне қалай қатысты BYOK кілттері — модель тіркелгі деректері және олар [Қосылымдар](/kk/v1.0/access/connections-oauth2) және ортақ/жеке құпиялармен бір шифрланған сейфте сақталады. Айырмашылығы — ауқымда: BYOK *бұл тенант қай модель мен кілтті пайдаланатынын* жауап берсе, [жеке мен ортақ](/kk/v1.0/access/personal-vs-shared) ауқымы *берілген құрал шақыруы кімнің тіркелгі деректерімен орындалатынын* жауап береді. ## Келесі қайда - [Жеке мен ортақ тіркелгі деректері](/kk/v1.0/access/personal-vs-shared) - [Қосылымдар (әр пайдаланушы бойынша OAuth2)](/kk/v1.0/access/connections-oauth2) - [Кіріспе](/kk/v1.0/getting-started/introduction) — ақылы-модельдер-жоқ принципі контексте.