LLMs lokal auf Jetson: Ollama, llama.cpp, Benchmarks
Vom frisch geflashten JetPack zu laufenden LLMs — ohne Cloud, ohne Abo. Hier der minimale Weg. Schritt 1: Ollama installieren curl -fsSL https://ollama.com/install.sh | sh sudo systemctl enable –now ollama Dauert ca. 2 Minuten. Ollama erkennt die Orin-GPU automatisch (CUDA ist mit JetPack schon da). Schritt 2: Ein Modell ziehen ollama pull llama3.2:3b # 2 … Weiterlesen
Mein NVIDIA Jetson AGX Orin (64 GB RAM, 456 GB Disk, JetPack 7.0, Ubuntu 24.04) ist der Inferenz-Knoten meines Homelab-Clusters — und er ist bewusst nur das: ein Ollama-Server hinter Tailscale, ohne Telegram, ohne Speicher für Keys. Die Architektur-Idee: Least Privilege auch für Geräte Der Cluster besteht aus einem Master-VPS (Orchestrierung, Gateways, Config-Master) und dem … Weiterlesen
Der Hauptgrund, einen Jetson zu kaufen: LLMs ohne Cloud betreiben. Hier meine Messwerte, keine Marketingzahlen. Ollama installieren curl -fsSL https://ollama.com/install.sh | sh ollama pull llama3.2:3b # kleines Modell für den Einstieg Was realistisch läuft Am besten laufen quantisierte Modelle (Q4/Q8 GGUF). Wichtigste Regel aus der Praxis: GPU-Takt > TOPS-Zahl — ein Modell mit hohem Takt … Weiterlesen