Möchten Sie künstliche Intelligenz direkt vor Ort (am sogenannten Edge) nutzen, ohne aufwendige Cloud-Verbindungen? Mit dem neuen NVIDIA Jetson Orin Nano 2 gelingt Ihnen ein leistungsstarker und gleichzeitig energieeffizienter Einstieg in die Welt der modernen KI. Warum lohnt sich der Kauf? Verdoppelte KI-Leistung Im Vergleich zum Vorgänger liefert das neue Modul dank verbesserter Technologie eine … Weiterlesen
Kurzer Stand der JetPack-Welt, ohne Marketing — gemessen, wo möglich. JetPack 7.2/7.2.1 JetPack 7.2 brachte die großen Neuheiten der GTC-Ankündigungen: Agent-Skills für Video-Workflows und ein frisches CUDA-Stack. 7.2.1 ist ein Wartungsrelease (Bugfixes, Stabilität im Inferencing-Stack). Für Orin-Besitzer: Update lohnt sich, Breaking Changes sind keine bekannt. Jetson Orin Nano 2 — angekündigt NVIDIA hat den Nachfolger … Weiterlesen
Vom frisch geflashten JetPack zu laufenden LLMs — ohne Cloud, ohne Abo. Hier der minimale Weg. Schritt 1: Ollama installieren curl -fsSL https://ollama.com/install.sh | sh sudo systemctl enable –now ollama Dauert ca. 2 Minuten. Ollama erkennt die Orin-GPU automatisch (CUDA ist mit JetPack schon da). Schritt 2: Ein Modell ziehen ollama pull llama3.2:3b # 2 … Weiterlesen
Mein NVIDIA Jetson AGX Orin (64 GB RAM, 456 GB Disk, JetPack 7.0, Ubuntu 24.04) ist der Inferenz-Knoten meines Homelab-Clusters — und er ist bewusst nur das: ein Ollama-Server hinter Tailscale, ohne Telegram, ohne Speicher für Keys. Die Architektur-Idee: Least Privilege auch für Geräte Der Cluster besteht aus einem Master-VPS (Orchestrierung, Gateways, Config-Master) und dem … Weiterlesen
Der Hauptgrund, einen Jetson zu kaufen: LLMs ohne Cloud betreiben. Hier meine Messwerte, keine Marketingzahlen. Ollama installieren curl -fsSL https://ollama.com/install.sh | sh ollama pull llama3.2:3b # kleines Modell für den Einstieg Was realistisch läuft Am besten laufen quantisierte Modelle (Q4/Q8 GGUF). Wichtigste Regel aus der Praxis: GPU-Takt > TOPS-Zahl — ein Modell mit hohem Takt … Weiterlesen
Der Jetson Orin Nano Super ist seit Ende 2024 der Einstiegs-Jetson: 67 TOPS (INT8) für 249 USD. NVIDIA hat die Taktraten erhöht und den Preis halbiert — für lokale KI-Projekte der beste Einstieg. Was du brauchst Jetson Orin Nano Super Developer Kit MicroSD-Karte (64 GB empfohlen, A2-Klasse) oder NVMe-SSD USB-C-Netzteil (mindestens 45 W — schwächere … Weiterlesen
Willkommen! Auf diesem Blog geht es um NVIDIA Jetson — die kleinen KI-Computer von NVIDIA: Einrichtung, Tutorials, Benchmarks und der Betrieb von lokalen KI-Modellen. Mein Ansatz: Messen statt glauben. Alle Anleitungen stammen aus realen Setups — kein Kopieren von Herstellerangaben, sondern echte Werte: Watt, Token/s, Temperaturen. Was dich erwartet Jetson Orin — Einrichtung mit JetPack, … Weiterlesen