BYOK og LLM-leverandører
AiHummer krever aldri en betalt modell. Rett ut av boksen kjører den på gratis og lokale modeller og en Codex/ChatGPT-abonnementtransport, og hvis ingen modell er koblet til i det hele tatt, går kjøretiden tilbake til en deterministisk mock slik at plattformen fortsatt starter og kan testes. Når du vil ha en spesifikk modell, bringer du den selv — enten som en prosessomfattende konfigurasjon eller, per leietaker, med BYOK («ta med din egen nøkkel»).
Støttede LLM-leverandører
AiHummer snakker direkte med enhver leverandør som tilbyr en OpenAI-lignende chatte-API, når andre leverandører gjennom en ekstern LLM-gateway, og støtter ChatGPT-abonnementstransporten. I praksis dekker det:
| Leverandør | Hvordan det kobler seg | Notater |
|---|---|---|
| OpenAI | Opprinnelig OpenAI-kompatibel sti (AIHUMMER_OPENAI_*) |
|
| Enhver OpenAI-API-standardendepunkt | Den samme opprinnelige banen: AIHUMMER_OPENAI_BASE_URL |
Lokale modeller, OpenRouter, Geminis OpenAI-kompatible API, osv. |
| Antropisk | Web-UI Antropisk forhåndsinnstilling (OpenAI-kompatibel) eller via LLM-gatewayen (AIHUMMER_LLM_*) |
Claude-modeller; koble den fra den merkevarevalgte leverandøren, eller la sidecar-gatewayen holde nøkkelen |
| Codex / ChatGPT-abonnements transport | Abonnementsbasert transport (AIHUMMER_CODEX_*) |
Bruker et ChatGPT-abonnement i stedet for en målt API-nøkkel |
[!WARNING] Ingen betalt modell-API er noensinne obligatorisk. AiHummer fungerer med gratis/lokale modeller og Codex/ChatGPT-abonnementstransporten, og hvis ingen modell er konfigurert, kjøring bruker en deterministisk mock — porten starter fortsatt og svarer. BYOK og betalte nøkler er helt valgfrie.
Koble til en modell med innstillinger
LLM-nøklene er innstillinger-katalog knobs (lagret i databasen): sett dem i administrasjonsgrensesnittet (Administrasjon → Innstillinger) eller med aihummer settings set, ikke i gateway.env. Det er to uavhengige ledningsveier — ikke bland variablene deres.
(a) Den opprinnelige OpenAI-kompatible banen. Gatewayen kaller et OpenAI-kompatibelt endepunkt selv og sender nøkkelen selv:
aihummer settings set AIHUMMER_OPENAI_API_KEY sk-...
aihummer settings set AIHUMMER_OPENAI_BASE_URL https://api.openai.com/v1
aihummer settings set AIHUMMER_OPENAI_MODEL gpt-4o-mini
Den samme banen fungerer for en lokal OpenAI-kompatibel server, OpenRouter eller Geminis OpenAI-kompatible endepunkt — bare pek AIHUMMER_OPENAI_BASE_URL på det.
(b) LLM-gateway-stien. AIHUMMER_LLM_GATEWAY_URL er grunn-URL-en til et OpenAI-kompatibelt endepunkt — dette er den samme innstillingen som vises i Konfigurasjon. Pek det mot en gateway-sidecar som holder leverandørnøklene selv (ingen API-nøkkel går gjennom AiHummer), eller direkte hos en leverandørs OpenAI-kompatible API (i så fall oppgir du også den leverandørens nøkkel). Det er forskjellig fra den native AIHUMMER_OPENAI_BASE_URL i bane (a):
aihummer settings set AIHUMMER_LLM_GATEWAY_URL http://127.0.0.1:8090
aihummer settings set AIHUMMER_LLM_PROVIDER anthropic
aihummer settings set AIHUMMER_LLM_MODEL claude-sonnet-4-5
[!WARNING] Stiene kombineres ikke: paring
AIHUMMER_LLM_GATEWAY_URLmedAIHUMMER_OPENAI_API_KEYgjør ingenting — ingen tast videresendes på gatewayen sti; sidevognen bruker sine egne nøkler.
Hvis ingen av stiene er konfigurert, brukes den deterministiske mocken.
BYOK: nøkler per leietaker
Der miljøvariablene konfigurerer en enkelt prosessomfattende modell, BYOK la hver leietaker levere sine egne LLM-legitimasjoner. BYOK-nøkler administreres fra administrasjons-API-en:
GET /v1/admin/byok
POST /v1/admin/byok
BYOK-nøkler lagres i det krypterte hvelvet, akkurat som alle andre legitimasjoner — de blir aldri skrevet til logger eller vist i modellens kontekst. Dette er det som gjør at en flerbrukerutplassering kan holde hver kundes modellfakturering og nøkkelmateriell helt adskilt.
Å velge mellom delte innstillinger og BYOK
- Bruk
AIHUMMER_OPENAI_*/AIHUMMER_LLM_*innstillinger for en enkelt-leietaker eller standardmodell som hele gatewayen bør bruke. - Bruk BYOK når forskjellige leietakere må bruke forskjellige nøkler, forskjellige leverandører, eller faktureres separat — nøkkelen per leietaker overstyrer standarden for den leietakeren.
[!TIP] Siden enhver OpenAI-API-standardendepunkt aksepteres, kan du peke
AIHUMMER_OPENAI_BASE_URLpå en lokal modellserver, OpenRouter eller en Gemini OpenAI-kompatibelt endepunkt uten å endre noe annet i AiHummer.
Hvordan dette relaterer seg til resten av tilgangsmodellen
BYOK-nøkler er modelllegitimasjon og befinner seg i den samme krypterte hvelvet som Kontakter og delte/personlige hemmeligheter. Forskjellen er omfang: BYOK svarer hvilken modell og nøkkel denne leietakeren bruker, mens personlig vs delt omfangsvar hvilke legitimationsopplysninger en gitt verktøyoppringning kjører med.
Hvor til neste
- Personlige vs delte legitimasjoner
- Tilkoblinger (per-bruker OAuth2)
- Introduksjon — de ikke-betalte-modellene prinsipp i kontekst.