Tak dneska jsem doma pracoval na svém domácím serveru, náhodou jsem se s monitoringu dozvěděl, že nějaké služby neběží. Protože můj domácí Kubernetes server je spíše na hraní, ale hostuje i nějaké veřejné věci, chodí mi zprávy z Nagiosu jednou za 24 hodin, tak aby mě to moc nerušilo, ale zároveň tak, abych si uvědomoval potřebu to řešit.

Když jsem se na server tak díval zjistil jsem, že mi nějaké PODy popadaly. Trošku jsem to procházel, ale netušil jsem proč, restart nepomáhal. Tak jsem si chvilku povídal s ChatGPT a došly jsme k závěru, že PODy zabíjí OOM killer, prostě na serveru není pamět, i když tam mám 20GB RAM. Nicméně mi došlo, že problémy s pamětí se objevily poté, co jsem začal pracovat s Istio, tak jsem ho vypnul včetně všech injectorů, a uvolnilo se tím hodně paměti. Po restartu PODů to ovšem stále nenabíhalo, tak když jsem to procházel více, došlo mi, že OOM killer zabil i NFS server, kde byly uloženy soubory pro PODy, po restartu se mi podařilo vše obnovit.

Když se nad tím tak zamýšlím, tak paměť na serveru v Nagiosu budu muset sledovat taky, a ideálně přidat do LOKI, aby to procházelo i systémové logy, a hledalo to “Out of Memory” a případně posílalo upozornění do mailu, či na Slack.

Na to samozřejmě nemám teď tolik času (jedná se o hobby projekt), navíc včera jsem několik hodin řešil hnízdo zásuvek a kabelů pod počítačem, které stále není úplně dořešeno, jednu zásuvku jsem přimontoval přes šrouby na stůl. Pak jsem uvažoval trošku o tom, jaké jsou prodlužky v prodlužce, ale dostávám se k dlouhodobějšímu problému, a to k předělání elektřiny v celém bytě.

Občas si říkám, kéž by se dal čas natahovat. Do toho mi v práci běží jeden projekt, taková oprava v Azure, která musí být do měsíce hotova, jinak máme fakt velký problém.

Tak snad příště napíšu více pozitivních zpráv.

Foto: Přimontovaná zásuvka#

Zásuvka