AiHummer
Norsk
Logg påKonto
v1.2.x
{ }Swagger

BYOK og LLM-leverandører

v1.2.x · oppdatert 2026-07-05

AiHummer krever aldri en betalt modell. Rett ut av boksen kjører den på gratis og lokale modeller og en Codex/ChatGPT-abonnementtransport, og hvis ingen modell er koblet til i det hele tatt, går kjøretiden tilbake til en deterministisk mock slik at plattformen fortsatt starter og kan testes. Når du vil ha en spesifikk modell, bringer du den selv — enten som en prosessomfattende konfigurasjon eller, per leietaker, med BYOK («ta med din egen nøkkel»).

Støttede LLM-leverandører

AiHummer snakker direkte med enhver leverandør som tilbyr en OpenAI-lignende chatte-API, når andre leverandører gjennom en ekstern LLM-gateway, og støtter ChatGPT-abonnementstransporten. I praksis dekker det:

Leverandør Hvordan det kobler seg Notater
OpenAI Opprinnelig OpenAI-kompatibel sti (AIHUMMER_OPENAI_*)
Enhver OpenAI-API-standardendepunkt Den samme opprinnelige banen: AIHUMMER_OPENAI_BASE_URL Lokale modeller, OpenRouter, Geminis OpenAI-kompatible API, osv.
Antropisk Web-UI Antropisk forhåndsinnstilling (OpenAI-kompatibel) eller via LLM-gatewayen (AIHUMMER_LLM_*) Claude-modeller; koble den fra den merkevarevalgte leverandøren, eller la sidecar-gatewayen holde nøkkelen
Codex / ChatGPT-abonnements transport Abonnementsbasert transport (AIHUMMER_CODEX_*) Bruker et ChatGPT-abonnement i stedet for en målt API-nøkkel

[!WARNING] Ingen betalt modell-API er noensinne obligatorisk. AiHummer fungerer med gratis/lokale modeller og Codex/ChatGPT-abonnementstransporten, og hvis ingen modell er konfigurert, kjøring bruker en deterministisk mock — porten starter fortsatt og svarer. BYOK og betalte nøkler er helt valgfrie.

Koble til en modell med innstillinger

LLM-nøklene er innstillinger-katalog knobs (lagret i databasen): sett dem i administrasjonsgrensesnittet (Administrasjon → Innstillinger) eller med aihummer settings set, ikke i gateway.env. Det er to uavhengige ledningsveier — ikke bland variablene deres.

(a) Den opprinnelige OpenAI-kompatible banen. Gatewayen kaller et OpenAI-kompatibelt endepunkt selv og sender nøkkelen selv:

aihummer settings set AIHUMMER_OPENAI_API_KEY sk-...
aihummer settings set AIHUMMER_OPENAI_BASE_URL https://api.openai.com/v1
aihummer settings set AIHUMMER_OPENAI_MODEL gpt-4o-mini

Den samme banen fungerer for en lokal OpenAI-kompatibel server, OpenRouter eller Geminis OpenAI-kompatible endepunkt — bare pek AIHUMMER_OPENAI_BASE_URL på det.

(b) LLM-gateway-stien. AIHUMMER_LLM_GATEWAY_URL er grunn-URL-en til et OpenAI-kompatibelt endepunkt — dette er den samme innstillingen som vises i Konfigurasjon. Pek det mot en gateway-sidecar som holder leverandørnøklene selv (ingen API-nøkkel går gjennom AiHummer), eller direkte hos en leverandørs OpenAI-kompatible API (i så fall oppgir du også den leverandørens nøkkel). Det er forskjellig fra den native AIHUMMER_OPENAI_BASE_URL i bane (a):

aihummer settings set AIHUMMER_LLM_GATEWAY_URL http://127.0.0.1:8090
aihummer settings set AIHUMMER_LLM_PROVIDER anthropic
aihummer settings set AIHUMMER_LLM_MODEL claude-sonnet-4-5

[!WARNING] Stiene kombineres ikke: paring AIHUMMER_LLM_GATEWAY_URL med AIHUMMER_OPENAI_API_KEY gjør ingenting — ingen tast videresendes på gatewayen sti; sidevognen bruker sine egne nøkler.

Hvis ingen av stiene er konfigurert, brukes den deterministiske mocken.

BYOK: nøkler per leietaker

Der miljøvariablene konfigurerer en enkelt prosessomfattende modell, BYOK la hver leietaker levere sine egne LLM-legitimasjoner. BYOK-nøkler administreres fra administrasjons-API-en:

GET  /v1/admin/byok
POST /v1/admin/byok

BYOK-nøkler lagres i det krypterte hvelvet, akkurat som alle andre legitimasjoner — de blir aldri skrevet til logger eller vist i modellens kontekst. Dette er det som gjør at en flerbrukerutplassering kan holde hver kundes modellfakturering og nøkkelmateriell helt adskilt.

Å velge mellom delte innstillinger og BYOK

  • Bruk AIHUMMER_OPENAI_* / AIHUMMER_LLM_* innstillinger for en enkelt-leietaker eller standardmodell som hele gatewayen bør bruke.
  • Bruk BYOK når forskjellige leietakere må bruke forskjellige nøkler, forskjellige leverandører, eller faktureres separat — nøkkelen per leietaker overstyrer standarden for den leietakeren.

[!TIP] Siden enhver OpenAI-API-standardendepunkt aksepteres, kan du peke AIHUMMER_OPENAI_BASE_URL på en lokal modellserver, OpenRouter eller en Gemini OpenAI-kompatibelt endepunkt uten å endre noe annet i AiHummer.

Hvordan dette relaterer seg til resten av tilgangsmodellen

BYOK-nøkler er modelllegitimasjon og befinner seg i den samme krypterte hvelvet som Kontakter og delte/personlige hemmeligheter. Forskjellen er omfang: BYOK svarer hvilken modell og nøkkel denne leietakeren bruker, mens personlig vs delt omfangsvar hvilke legitimationsopplysninger en gitt verktøyoppringning kjører med.

Hvor til neste