BYOK ir LLM tiekėjai — AiHummer Dokumentai

AiHummer niekada nereikalauja mokamo modelio. Iš karto po įdiegimo jis veikia su nemokamais ir vietiniais modeliais bei su Codex/ChatGPT prenumeratos transportu, o jei joks modelis nėra prijungtas, vykdymo laikas grįžta prie deterministinio imitatoriaus, todėl platforma vis tiek paleidžiama ir galima ją testuoti. Kai norite konkretaus modelio, jūs jį atsinešate patys — arba kaip visos sistemos konfigūraciją, arba, kiekvienam nuomininkui, su ATSENEK SAVO RAKTUS (atsineškite savo raktą)

Palaikomi LLM teikėjai

AiHummer natūraliai bendrauja su bet kuriuo tiekėju, kuris teikia „OpenAI“ stiliaus pokalbių API, pasiekia kitus tiekėjus per išorinį LLM vartus ir palaiko „ChatGPT“ prenumeratos transportą. Praktikoje tai apima:

Teikėjas	Kaip tai jungiasi	Pastabos
OpenAI	Gimtasis OpenAI suderinamas kelias (`AIHUMMER_OPENAI_*`)
Bet kuris OpenAI API standartinis galinis taškas	Tas pats vietinis kelias: `AIHUMMER_OPENAI_BASE_URL`	Vietiniai modeliai, OpenRouter, Gemini OpenAI suderinamas API ir kt.
Antropinis	Tinklo naudotojo sąsaja Antropinis iš anksto nustatytas (suderinamas su OpenAI) arba per LLM vartus (`AIHUMMER_LLM_*`)	Claude modeliai; prijunkite jį iš prekės ženklo tiekėjo pasirinkimo, arba leiskite šoninės plokštės vartams laikyti raktą
Kodeksas / ChatGPT prenumeratos transportas	Transportas pagal prenumeratą (`AIHUMMER_CODEX_*`)	Naudoja ChatGPT prenumeratą, o ne matuoto API raktą

[!WARNING] Jokio apmokamo modelio API niekada nėra privaloma. AiHummer veikia su nemokamais/vietiniais modeliais ir Codex/ChatGPT prenumeratos transportas, ir jei nė vienas modelis nėra sukonfigūruotas vykdymo laikas naudoja deterministinį imitaciją — vartai vis tiek įsijungia ir atsako. BYOK ir mokamos raktai yra visiškai neprivalomi.

Modelio su nustatymais sujungimas laidais

LLM raktai yra nustatymai-katalogas mygtukai (saugomi duomenų bazėje): nustatykite juos administratoriaus sąsajoje (Valdymas → Nustatymai) arba su aihummer settings set, ne gateway.env. Yra du nepriklausomi laidų keliai — nemaišykite jų kintamųjų.

(a) Vietinis OpenAI suderinamas kelias. Vartai patys kreipiasi į OpenAI suderinamą galinį tašką ir patys perduoda raktą:

aihummer settings set AIHUMMER_OPENAI_API_KEY sk-...
aihummer settings set AIHUMMER_OPENAI_BASE_URL https://api.openai.com/v1
aihummer settings set AIHUMMER_OPENAI_MODEL gpt-4o-mini

Tas pats kelias veikia vietiniam OpenAI suderinamam serveriui, OpenRouter arba Gemini OpenAI suderinamam galutiniam taškui — tiesiog nurodykite AIHUMMER_OPENAI_BASE_URL prie to.

(b) LLM vartų kelias. AIHUMMER_LLM_GATEWAY_URL yra OpenAI suderinamo galinio taško pagrindinis URL – tai tas pats nustatymas, parodytas Konfigūracija. Nukreipkite jį į vartų šoninės dalies modulį, kuris laiko paslaugų teikėjo raktus pats (joks API raktas nepraeina per AiHummer), arba tiesiogiai pas tiekėjo OpenAI suderinamą API (tokiu atveju jūs taip pat pateikiate to tiekėjo raktą). Tai skiriasi nuo natyvios AIHUMMER_OPENAI_BASE_URL kelyje (a):

aihummer settings set AIHUMMER_LLM_GATEWAY_URL http://127.0.0.1:8090
aihummer settings set AIHUMMER_LLM_PROVIDER anthropic
aihummer settings set AIHUMMER_LLM_MODEL claude-sonnet-4-5

[!WARNING] Kelių nesujungiamos: poravimas AIHUMMER_LLM_GATEWAY_URL su AIHUMMER_OPENAI_API_KEY neveikia — joks raktas nėra perduodamas per vartus kelias; šoninis vežimėlis naudoja savo raktus.

Jei nėra sukonfigūruotas nei vienas kelias, naudojamas deterministinis maketas.

BYOK: nuomininko raktai

Kur aplinkos kintamieji konfigūruoja vieną visą procesą apimantį modelį, ATSENEK SAVO RAKTUS leiskite kiekvienam nuomininkui pateikti savo LLM kredencialus. BYOK raktai tvarkomi per administratoriaus API:

GET  /v1/admin/byok
POST /v1/admin/byok

BYOK raktai saugomi užšifruotame seife, taip pat kaip ir visi kiti kredencialai — jie niekada nėra įrašomi į žurnalus ar rodomi modelio kontekste. Tai leidžia daugiaprogramiam diegimui išlaikyti kiekvieno kliento modelio atsiskaitymus ir raktų medžiagą visiškai atskirai.

Pasirinkimas tarp bendrų nustatymų ir BYOK

Naudokite AIHUMMER_OPENAI_* / AIHUMMER_LLM_* nustatymai už vieno nuomininko arba numatytasis modelis, kurį turėtų naudoti visas vartų įrenginys.
Naudoti ATSENEK SAVO RAKTUS kai skirtingi nuomininkai turi naudoti skirtingus raktus, skirtingi paslaugų teikėjai arba apmokestinami atskirai – nuomininko raktas nustato pirmenybę prieš numatytąjį tam nuomininkui.

[!TIP] Kadangi priimamas bet koks OpenAI-API standartinis galinis taškas, galite nurodyti AIHUMMER_OPENAI_BASE_URL vietiniame modelio serveryje, OpenRouter arba Gemini OpenAI suderinamas galinis taškas nekeičiant nieko kito AiHummer.

Kaip tai susiję su likusia prieigos modelio dalimi

BYOK raktai yra modelio kredencialai ir jie laikomi tame pačiame užšifruotame seife kaip Ryšiai ir dalijamąsias/asmenines paslaptis. Skirtumas yra mastas: BYOK atsako kokį modelį ir raktą šis nuomininkas naudoja, tuo tarpu asmeninis prieš bendrinį apimties atsakymai su kurio kredencialais vykdomas tam tikras įrankio kvietimas.

Kur toliau

Asmeniniai prieš bendrus prisijungimo duomenis
Jungtys (pagal vartotoją OAuth2)
Įvadas — nemokami modeliai principas kontekste.