Stebimumas
AiHummer stebimumas turi dvi paviršiai: vartai tarnauja kaip Prometėjas GET /metrics galinį tašką galite nuskaityti dėl pagrindų, ir jis gali pasirinktinai siųsti telemetriją per OTLP į nustatytą OpenTelemetry galinį tašką. Nuskaityti /metrics pradiniam stebėjimui; norint gauti pėdsakus ir išsamias metrikas nukreipkite AiHummer į savo OTLP kolektorių ir vizualizuokite duomenis naudodami komplekte esančias Grafana ataskaitas.
[!NOTE] pprof (
/debug/pprof) yra ne atviras.
Prometėjas /metrics galinis taškas
GET /metrics teikia Prometėjo teksto formato metrikas be papildomo nustatymo. Eksponuojami tik nesaugūs indikatoriai — diegimo informacija, proceso veikimo laikas ir vykdymo trukmė, DB ryšių baseino būsena ir paruoštumo indikatorius; jokių nuomininkų duomenų, jokių paslapčių, jokių žymų pagal užklausą. Traceriams ir išsamiosioms metrikoms naudokite OTLP push.
OTLP stumti
Nustatykite vieną kintamąjį, kad įjungtumėte telemetriją:
# gateway.env — export telemetry to your OTLP collector
AIHUMMER_OTEL_ENDPOINT=http://otel-collector:4317
Su AIHUMMER_OTEL_ENDPOINT nustatytas, tinklo vartai siunčia telemetriją į tą rinktuvą. Iš ten nukreipkite ją į savo serverį (Tempo, metrikų saugykla, žurnalai) ir į Grafaną.
Panikų ir klaidų tvarkymas
Klaidų ataskaitos niekada nesiunčiamos niekur į išorę: vartai neturi jokio išorinio klaidų sekiklio kliento ir jokio išorinio DSN — duomenys apie jūsų klaidas niekada nepalieka jūsų perimetro.
Vis dėlto atsparumas panikoms yra visiškas:
- panika HTTP tvarkyklėje virsta įprastu klaidos atsakymu (500 su
AIH-…vokeliu) — procesas nežūva ir toliau aptarnauja likusias užklausas; - panika foninėje gorutinoje taip pat perimama ir nepargriauna vartų.
Abu atvejai patenka į struktūrizuotą žurnalą — skaitykite juos puslapyje „Žurnalai“ (žemiau) arba per journalctl.
Tiesioginiai įrašai administravimo sąsajoje
Administratoriaus sąsajos “Žurnalai” puslapis yra tiesioginė vartų žurnalo istorija: naujos eilutės automatiškai įtraukiamos kas kelias sekundes, su automatinio slinkimo funkcija, kai esate apačioje. Įrankių juostoje yra linijinė paieška ir a lygio filtras (visi / klaidos / įspėjimai / informacija / derinimas). Keletas kitų puslapių (Skydelis, Sesijos, Kanalai) taip pat automatiškai atnaujinami, o ilgi sąrašai (auditai, pakeitimai, pranešimai ir pan.) užkraunami puslapis po puslapio su mygtuku „Rodyti daugiau“.
Pilni kiekvienos paslaugos žurnalai vis dar gyvi systemd — aihummer logs [unit] arba journalctl -u aihummer-gateway.
Grafana informacijos suvestinės
Paruošti Grafana prietaisų skydeliai pristatomi su versija. Importuokite juos į savo Grafana egzempliorių, kad gautumėte operacines peržiūras be panelių kūrimo nuo nulio.
Ką žiūrėti
Tai signalai, kurie parodo, kad sistema yra sveika ir apsisukimai vyksta:
| Signalas | Kodėl tai svarbu |
|---|---|
| Posūkio delsimas | Agentų posūkių viso proceso reagavimo gebėjimas |
| Klaidų dažnis | Nepavyksta posūkiai / prašymai — pirmasis problemos požymis |
| Pristatymo nuostatos | Ar atsakymai iš tikrųjų pasiekia kanalus |
| Laukiantys pristatymai | Nepasiekiamų atsakymų kaupimasis; nuolatinė augimo tendencija reiškia, kad pristatymas sustojo |
Ilgalaikis padidėjimas laukiami arba kartotiniai nepavykę pristatymai tai aiškiausias ankstyvas įspėjimas, kad pristatymas stringa — stebėkite tai diegimų ir incidentų metu.
Sistemos galiniai taškai
Kartu su OTLP, vartai atskleidžia mažus HTTP galinius taškus, naudingus tyrimams, laikrodžiams ir kliento diagnostikai:
| Metodas | Galinis taškas | Tikslas |
|---|---|---|
GET |
/metrics |
Prometėjo metrikos (kūrimas, vykdymo laikas, DB baseinas, pasirengimas) |
GET |
/healthz |
Gyvybingumas + versija |
GET |
/readyz |
Pasirengimas (tikrina Postgres; 503, jei neveikia) |
GET |
/v1/ping |
Lengvas pasiekiamumo patikrinimas |
GET |
/v1/time |
Serverio laikas |
POST |
/v1/client-log |
Fiksuoti kliento pusės žurnalo įvykius |
Sveikatos ir parengties tikrinimai yra išsamiai aprašyti systemd ir sveikatos patikrinimai.
Kur toliau
- Zondai ir gamybos priešskrydžio kontrolinis sąrašas: systemd ir sveikatos patikrinimai.
- Ką stebėti diegiant nuolatinį atnaujinimą: Atnaujinimo politika.