BYOK & LLM-leverandører — AiHummer Dokumenter

AiHummer kræver aldrig en betalt model. Direkte fra boksen kører den på gratis og lokale modeller samt en Codex/ChatGPT-abonnementsforbindelse, og hvis ingen model er tilsluttet overhovedet, falder runtime tilbage til en deterministisk mock, så platformen stadig starter og kan testes. Når du ønsker en specifik model, medbringer du den selv — enten som en procesomfattende konfiguration eller, pr. lejer, med BYOK (medbring din egen nøgle).

Understøttede LLM-udbydere

AiHummer taler direkte til enhver udbyder, der udstiller en OpenAI-lignende chat-API, når andre udbydere gennem en ekstern LLM-gateway, og understøtter ChatGPT-abonnements transport. I praksis dækker det:

Udbyder	Hvordan det forbinder	Noter
OpenAI	Indfødt OpenAI-kompatibel sti (`AIHUMMER_OPENAI_*`)
Enhver OpenAI-API-standardendpoint	Den samme oprindelige sti: `AIHUMMER_OPENAI_BASE_URL`	Lokale modeller, OpenRouter, Geminis OpenAI-kompatible API osv.
Antropisk	Web-brugergrænseflade Antropisk forudindstilling (OpenAI-kompatibel) eller via LLM-gatewayen (`AIHUMMER_LLM_*`)	Claude-modeller; forbind den fra den mærkevareudbydervælger, eller lad sidecar-gatewayen holde nøglen
Codex / ChatGPT-abonnements transport	Abonnementsbaseret transport (`AIHUMMER_CODEX_*`)	Bruger et ChatGPT-abonnement i stedet for en målt API-nøgle

[!WARNING] Ingen betalingsmodel-API er nogensinde obligatorisk. AiHummer fungerer med gratis/lokale modeller og Codex/ChatGPT-abonnements transporten, og hvis ingen model er konfigureret runtime bruger en deterministisk mock — gatewayen starter stadig og reagerer. BYOK og betalte nøgler er helt valgfrie.

Ledning af en model med indstillinger

LLM-nøglerne er indstillingskatalog knopper (gemt i databasen): indstil dem i admin-brugergrænsefladen (Administration → Indstillinger) eller med aihummer settings set, ikke i gateway.env. Der er to uafhængige ledningsveje — bland ikke deres variabler.

(a) Den oprindelige OpenAI-kompatible sti. Gatewayen kalder selv en OpenAI-kompatibel endpoint og sender selv nøglen:

aihummer settings set AIHUMMER_OPENAI_API_KEY sk-...
aihummer settings set AIHUMMER_OPENAI_BASE_URL https://api.openai.com/v1
aihummer settings set AIHUMMER_OPENAI_MODEL gpt-4o-mini

Den samme sti fungerer for en lokal OpenAI-kompatibel server, OpenRouter eller Geminis OpenAI-kompatible endepunkt — bare peg AIHUMMER_OPENAI_BASE_URL på det.

(b) LLM-gateway-stien. AIHUMMER_LLM_GATEWAY_URL er basis-URL’en for en OpenAI-kompatibel endpoint — dette er den samme indstilling, der vises i Konfiguration. Peg det mod en gateway-sidecar, der holder leverandørnøglerne selv (ingen API-nøgle går gennem AiHummer), eller direkte hos en udbyders OpenAI-kompatible API (i så fald leverer du også den udbyders nøgle). Det adskiller sig fra den native AIHUMMER_OPENAI_BASE_URL i sti (a):

aihummer settings set AIHUMMER_LLM_GATEWAY_URL http://127.0.0.1:8090
aihummer settings set AIHUMMER_LLM_PROVIDER anthropic
aihummer settings set AIHUMMER_LLM_MODEL claude-sonnet-4-5

[!WARNING] Stierne kombineres ikke: parring AIHUMMER_LLM_GATEWAY_URL med AIHUMMER_OPENAI_API_KEY gør ingenting — ingen tast videresendes på gatewayen sti; sidevognen bruger sine egne nøgler.

Hvis ingen af stierne er konfigureret, bruges den deterministiske mock.

BYOK: nøgler per lejer

Hvor miljøvariablerne konfigurerer en enkelt procesomfattende model, BYOK lader hver lejer levere sine egne LLM-legitimationsoplysninger. BYOK-nøgler administreres fra admin-API’en:

GET  /v1/admin/byok
POST /v1/admin/byok

BYOK-nøgler gemmes i det krypterede hvælving, ligesom alle andre legitimationsoplysninger — de bliver aldrig skrevet til logfiler eller vist i modelkonteksten. Dette gør det muligt for en multitenant-implementering at holde hver kundes modeludgifter og nøglemateriale fuldstændigt adskilt.

Valg mellem delte indstillinger og BYOK

Brug AIHUMMER_OPENAI_* / AIHUMMER_LLM_* indstillinger for en enkelt-lejer eller standardmodel, som hele gatewayen bør bruge.
Brug BYOK når forskellige lejere skal bruge forskellige nøgler, forskellige udbydere, eller faktureres separat — den per-lejer nøgle tilsidesætter standarden for den lejer.

[!TIP] Fordi enhver OpenAI-API-standardendepunkt accepteres, kan du pege AIHUMMER_OPENAI_BASE_URL på en lokal modelserver, OpenRouter eller en Gemini OpenAI-kompatibel endpoint uden at ændre noget som helst andet i AiHummer.

Hvordan dette relaterer til resten af adgangsmodellen

BYOK-nøgler er modellegitimationsoplysninger og ligger i det samme krypterede hvælving som Forbindelser og delte/personlige hemmeligheder. Forskellen er omfang: BYOK svarer på hvilken model og nøgle denne lejer bruger, mens personlig vs delt omfangsbesvarelser hvor hvis legitimationsoplysninger et givet værktøjskald kører med.

Hvor til næste

Personlige vs delte legitimationsoplysninger
Forbindelser (per-bruger OAuth2)
Introduktion — de ikke-betalte modeller princip i kontekst.