Mein NVIDIA Jetson AGX Orin (64 GB RAM, 456 GB Disk, JetPack 7.0, Ubuntu 24.04) ist der Inferenz-Knoten meines Homelab-Clusters — und er ist bewusst nur das: ein Ollama-Server hinter Tailscale, ohne Telegram, ohne Speicher für Keys.
Die Architektur-Idee: Least Privilege auch für Geräte
Der Cluster besteht aus einem Master-VPS (Orchestrierung, Gateways, Config-Master) und dem AGX als reinem Inferenz-Client. Die Konfiguration (.env mit allen Provider-Keys) existiert nur auf dem Master — der AGX bekommt eine automatische Lesekopie per inotify-Trigger, scp-Transfer und md5-Verifikation. Manuelle Änderungen auf dem AGX werden beim nächsten Push überschrieben.
Warum das wichtig ist: Kompromittiert jemand den AGX, bekommt er keine Schreibrechte auf die zentrale Konfiguration. Das gleiche Prinzip wie beim Agenten-Mailbox-Design — der Angriffsfläche nach unten folgen.
Tailscale verbindet alles
Alle Knoten hängen in einem Tailscale-Mesh. Der Monitor-VPS ist zusätzlich öffentlich erreichbar (Watchdog + Dashboard), der AGX bleibt hinter dem Tailnet. SSH-Sprünge laufen definiert, kein offenes Port-Knacken im Heimnetz.
Gemessene Leistung (keine Marketingzahlen)
| Metrik | Wert |
|---|---|
| qwen3.8:27b auf AGX — TTFT | 0,89 s |
| qwen3.8:27b — Durchsatz | 9,8 tok/s |
| 200 Tokens dauern | 21,5 s |
| glm-5.3 (Cloud) zum Vergleich | 244 tok/s (25× schneller) |
Die Lektion: GPU-Takt und Modellquantisierung schlagen TOPS-Zahlen. Ein 17-GB-Modell mit Q4-Quant auf 64 GB RAM läuft flüssig — aber lokal ist lokal, und 9,8 tok/s reichen für Cron-Jobs und Hintergrundinferenz völlig.
Was ich demnächst messe: Tokens/s über mehrere Modelle hinweg (gleiche Prompts), Leistungsaufnahme in Watt über Tage via jtop-Logging, und der Vergleich Orin Nano vs. AGX bei identischem Modell.