BYOK жана LLM провайдерлери

AIHUMMER_LLM_PROVIDER=openai
AIHUMMER_LLM_MODEL=gpt-4o-mini
AIHUMMER_LLM_GATEWAY_URL=https://api.openai.com/v1
AIHUMMER_OPENAI_API_KEY=sk-...

AIHUMMER_LLM_PROVIDER=openai
AIHUMMER_LLM_MODEL=qwen2.5-instruct
AIHUMMER_LLM_GATEWAY_URL=http://127.0.0.1:8080/v1

GET  /v1/admin/byok
POST /v1/admin/byok

AiHummer эч качан акылуу моделди *талап кылбайт*. Кутудан чыга салып ал акысыз жана локалдык моделдерде жана Codex/ChatGPT-жазылуу транспортунда иштейт, ал эми эч кандай модель такыр туташтырылбаса, рантайм детерминисттик мокко түшөт, ошондуктан платформа баары бир жүктөлүп, тестке жарактуу бойдон калат. Сиз белгилүү бир моделди кааласаңыз, аны өзүңүз алып келесиз — же процесс боюнча конфигурация катары, же ар бир арендатор боюнча **BYOK** ("өзүңүздүн ачкычыңызды алып келиңиз") менен. ## Колдоого алынган LLM провайдерлери AiHummer OpenAI-стилиндеги чат API чыгарган каалаган провайдер менен, ошондой эле Anthropic жана ChatGPT-жазылуу транспорту менен сүйлөшөт. Иш жүзүндө бул төмөнкүлөрдү камтыйт: | Провайдер | Кантип туташат | Эскертүүлөр | |---|---|---| | **Anthropic** | Нативдик Anthropic API | Claude моделдери | | **OpenAI** | OpenAI чат API | | | **Каалаган OpenAI-API-стандартындагы эндпоинт** | OpenAI-шайкеш шлюз URL | Локалдык моделдер, OpenRouter, Geminiдин OpenAI-шайкеш API ж.б. | | **Codex / ChatGPT-жазылуу транспорту** | Жазылууга негизделген транспорт | Ченелип кетүүчү API ачкычынын ордуна ChatGPT жазылуусун колдонот | > [!WARNING] > Эч кандай акылуу модель API эч качан милдеттүү эмес. AiHummer акысыз/локалдык моделдерде жана > Codex/ChatGPT-жазылуу транспортунда иштейт, жана **эч кандай модель конфигурацияланбаса > рантайм детерминисттик мокту колдонот** — шлюз баары бир жүктөлүп, жооп берет. > BYOK жана акылуу ачкычтар толугу менен ыктыярдуу. ## Моделди айлана-чөйрө өзгөрмөлөрү менен туташтыруу Модель төрт айлана-чөйрө өзгөрмөсү менен тандалат. Провайдер жана моделди коюңуз, OpenAI-шайкеш эндпоинттер үчүн шлюз URLине багыттаңыз жана эндпоинт талап кылса гана ачкыч бериңиз: ```ini AIHUMMER_LLM_PROVIDER=openai AIHUMMER_LLM_MODEL=gpt-4o-mini AIHUMMER_LLM_GATEWAY_URL=https://api.openai.com/v1 AIHUMMER_OPENAI_API_KEY=sk-... ``` Локалдык OpenAI-шайкеш сервер үчүн шлюз URLин ага багыттаңыз, ачкыч адатта керек эмес: ```ini AIHUMMER_LLM_PROVIDER=openai AIHUMMER_LLM_MODEL=qwen2.5-instruct AIHUMMER_LLM_GATEWAY_URL=http://127.0.0.1:8080/v1 ``` Эгер `AIHUMMER_LLM_PROVIDER` / `AIHUMMER_LLM_MODEL` жок болсо, детерминисттик мок колдонулат. ## BYOK: ар бир арендатор боюнча ачкычтар Айлана-чөйрө өзгөрмөлөрү бир процесс боюнча жалпы моделди конфигурациялаган жерде, **BYOK** ар бир арендаторго өзүнүн LLM эсептик маалыматтарын берүүгө мүмкүндүк берет. BYOK ачкычтары админ API аркылуу башкарылат: ```http GET /v1/admin/byok POST /v1/admin/byok ``` BYOK ачкычтары башка бардык эсептик маалыматтар сыяктуу шифрленген сейфте сакталат — алар эч качан журналдарга жазылбайт же модель контекстинде көрсөтүлбөйт. Бул көп арендаторлуу жайылтуунун ар бир кардардын модель эсебин жана ачкыч материалын толугу менен бөлүп турушуна мүмкүндүк берет. ## env жана BYOK ортосунда тандоо - Бүтүндөй шлюз колдонушу керек болгон бир арендаторлуу же демейки модель үчүн **`AIHUMMER_LLM_*` айлана-чөйрө өзгөрмөлөрүн** колдонуңуз. - Ар башка арендаторлор ар башка ачкычтарды, ар башка провайдерлерди колдонушу же өзүнчө эсептелиши керек болгондо **BYOK** колдонуңуз — ар бир арендатор боюнча ачкыч ал арендатор үчүн демейкини жокко чыгарат. > [!TIP] > Каалаган OpenAI-API-стандартындагы эндпоинт кабыл алынгандыктан, сиз локалдык модель > серверин, OpenRouterди же Geminiдин OpenAI-шайкеш эндпоинтин `AIHUMMER_LLM_GATEWAY_URL` > артына AiHummerдеги башка эч нерсени өзгөртпөстөн коё аласыз. ## Бул калган жетки моделине кантип байланышат BYOK ачкычтары модель эсептик маалыматтары болуп саналат жана [Туташуулар](/ky/v1.0/access/connections-oauth2) жана жалпы/жеке сырлар менен ошол эле шифрленген сейфте жашайт. Айырмасы — масштабда: BYOK *бул арендатор кайсы моделди жана ачкычты колдонорун* жооп берет, ал эми [жеке жана жалпы](/ky/v1.0/access/personal-vs-shared) масштабы *белгилүү бир инструмент чакыруусу кимдин эсептик маалыматтары менен иштээрин* жооп берет. ## Андан ары кайда - [Жеке жана жалпы эсептик маалыматтар](/ky/v1.0/access/personal-vs-shared) - [Туташуулар (ар бир колдонуучу боюнча OAuth2)](/ky/v1.0/access/connections-oauth2) - [Киришүү](/ky/v1.0/getting-started/introduction) — акылуу-моделдер-жок принциби контекстте.