Monitoring di llama.cpp con Prometheus e Grafana...
Introduzione — Sperimenta in piccolo, sogna in grande
Da qualche mese uno dei mini PC nel mio homelab sta subendo un po’ di maltrattamenti o, per meglio dire, sta venendo utilizzato un po’ oltre quelle che erano le sue specifiche di utilizzo atteso. Gli faccio fare cose per cui non è stato progettato: caricare LLM, processare prompt, generare testo e analizzare immagini. Roba da PC serio, con GPU discreta insomma, ma lui non lo sa e funziona lo stesso.
