BYOK və LLM provayderləri
AiHummer heç vaxt ödənişli model tələb etmir. Qutudan çıxan kimi o, pulsuz və lokal modellərlə və Codex/ChatGPT-abunəlik transportu ilə işləyir, və əgər heç bir model qoşulmayıbsa, runtime determinist mok-a geri çəkilir ki, platforma yenə də işə düşsün və test edilə bilsin. Konkret bir model istədiyiniz zaman, onu özünüz gətirirsiniz — ya proses-miqyaslı konfiqurasiya kimi, ya da hər tenant üzrə BYOK (“öz açarını gətir”) ilə.
Dəstəklənən LLM provayderləri
AiHummer OpenAI-üslublu chat API-ni təqdim edən istənilən provayder ilə, üstəlik Anthropic və ChatGPT-abunəlik transportu ilə danışır. Praktikada bu, aşağıdakıları əhatə edir:
| Provayder | Necə qoşulur | Qeydlər |
|---|---|---|
| Anthropic | Yerli Anthropic API | Claude modelləri |
| OpenAI | OpenAI chat API | |
| İstənilən OpenAI-API-standart endpoint | OpenAI-uyğun gateway URL | Lokal modellər, OpenRouter, Gemini-nin OpenAI-uyğun API-si və s. |
| Codex / ChatGPT-abunəlik transportu | Abunəlik əsaslı transport | Sayğaclı API açarı əvəzinə ChatGPT abunəliyindən istifadə edir |
[!WARNING] Heç bir ödənişli model API-si heç vaxt məcburi deyil. AiHummer pulsuz/lokal modellərlə və Codex/ChatGPT-abunəlik transportu ilə işləyir, və əgər heç bir model konfiqurasiya edilməyibsə, runtime determinist mok-dan istifadə edir — gateway yenə də işə düşür və cavab verir. BYOK və ödənişli açarlar tamamilə könüllüdür.
Bir modeli mühit dəyişənləri ilə qoşmaq
Model dörd mühit dəyişəni ilə seçilir. Provayderi və modeli təyin edin, OpenAI-uyğun endpoint-lər üçün gateway URL-ə yönəldin, və açarı yalnız endpoint-in ehtiyacı varsa təqdim edin:
AIHUMMER_LLM_PROVIDER=openai
AIHUMMER_LLM_MODEL=gpt-4o-mini
AIHUMMER_LLM_GATEWAY_URL=https://api.openai.com/v1
AIHUMMER_OPENAI_API_KEY=sk-...
Lokal OpenAI-uyğun server üçün gateway URL-i ona yönəldin, açar isə adətən lazım deyil:
AIHUMMER_LLM_PROVIDER=openai
AIHUMMER_LLM_MODEL=qwen2.5-instruct
AIHUMMER_LLM_GATEWAY_URL=http://127.0.0.1:8080/v1
Əgər AIHUMMER_LLM_PROVIDER / AIHUMMER_LLM_MODEL mövcud deyilsə, determinist
mok istifadə olunur.
BYOK: hər tenant üzrə açarlar
Mühit dəyişənləri tək bir proses-miqyaslı modeli konfiqurasiya etdiyi halda, BYOK hər tenant-a öz LLM kimlik məlumatlarını təqdim etməyə imkan verir. BYOK açarları admin API-dən idarə olunur:
GET /v1/admin/byok
POST /v1/admin/byok
BYOK açarları, hər bir digər kimlik məlumatı kimi, şifrələnmiş seyfdə saxlanılır — onlar heç vaxt loglara yazılmır və ya model kontekstində görünmür. Bu, çoxtenantlı yerləşdirmənin hər müştərinin model billinqini və açar materialını tam ayrı saxlamasına imkan verən şeydir.
Env və BYOK arasında seçim
- Bütün gateway-in istifadə etməli olduğu tək-tenantlı və ya defolt model üçün
AIHUMMER_LLM_*mühit dəyişənlərindən istifadə edin. - Fərqli tenant-lar fərqli açarlar, fərqli provayderlər istifadə etməli olduqda və ya ayrıca billinq olunmalı olduqda BYOK istifadə edin — hər tenant üzrə açar həmin tenant üçün defoltu üstələyir.
[!TIP] İstənilən OpenAI-API-standart endpoint qəbul edildiyi üçün, AiHummer-də başqa heç nəyi dəyişmədən
AIHUMMER_LLM_GATEWAY_URLarxasına lokal model serveri, OpenRouter, və ya Gemini OpenAI-uyğun endpoint qoya bilərsiniz.
Bunun giriş modelinin qalan hissəsi ilə əlaqəsi
BYOK açarları model kimlik məlumatlarıdır və Bağlantılar və paylaşılan/şəxsi gizli açarlarla eyni şifrələnmiş seyfdə yaşayır. Fərq miqyasdadır: BYOK bu tenant-ın hansı modeli və açarı istifadə etdiyi sualına cavab verir, halbuki şəxsi vs paylaşılan miqyası müəyyən bir alət çağırışının kimin kimlik məlumatları ilə işlədiyi sualına cavab verir.
Sonra haraya
- Şəxsi vs paylaşılan kimlik məlumatları
- Bağlantılar (hər istifadəçi üzrə OAuth2)
- Giriş — ödənişsiz-modellər prinsipi kontekstdə.