Schritt-für-Schritt-Anleitungen
Vom frisch geflashten JetPack zu laufenden LLMs — ohne Cloud, ohne Abo. Hier der minimale Weg. Schritt 1: Ollama installieren curl -fsSL https://ollama.com/install.sh | sh sudo systemctl enable –now ollama Dauert ca. 2 Minuten. Ollama erkennt die Orin-GPU automatisch (CUDA ist mit JetPack schon da). Schritt 2: Ein Modell ziehen ollama pull llama3.2:3b # 2 … Weiterlesen
Mein NVIDIA Jetson AGX Orin (64 GB RAM, 456 GB Disk, JetPack 7.0, Ubuntu 24.04) ist der Inferenz-Knoten meines Homelab-Clusters — und er ist bewusst nur das: ein Ollama-Server hinter Tailscale, ohne Telegram, ohne Speicher für Keys. Die Architektur-Idee: Least Privilege auch für Geräte Der Cluster besteht aus einem Master-VPS (Orchestrierung, Gateways, Config-Master) und dem … Weiterlesen
Der Jetson Orin Nano Super ist seit Ende 2024 der Einstiegs-Jetson: 67 TOPS (INT8) für 249 USD. NVIDIA hat die Taktraten erhöht und den Preis halbiert — für lokale KI-Projekte der beste Einstieg. Was du brauchst Jetson Orin Nano Super Developer Kit MicroSD-Karte (64 GB empfohlen, A2-Klasse) oder NVMe-SSD USB-C-Netzteil (mindestens 45 W — schwächere … Weiterlesen
Willkommen! Auf diesem Blog geht es um NVIDIA Jetson — die kleinen KI-Computer von NVIDIA: Einrichtung, Tutorials, Benchmarks und der Betrieb von lokalen KI-Modellen. Mein Ansatz: Messen statt glauben. Alle Anleitungen stammen aus realen Setups — kein Kopieren von Herstellerangaben, sondern echte Werte: Watt, Token/s, Temperaturen. Was dich erwartet Jetson Orin — Einrichtung mit JetPack, … Weiterlesen