Lokale KI in fünf Schichten: was Modellstarter leisten und wo Fleet Navigator ansetzt

Stand: 1. August 2026. Diese Seite wird vierteljährlich geprüft. Ollama und LM Studio entwickeln sich schneller als diese Seite, im Zweifel gilt deren Dokumentation.

Kurz vorweg

Wenn du eine lokale KI laufen lassen und den Rest selbst bauen willst, ist Ollama das richtige Werkzeug. Es ist ausgereift, quelloffen und hat ein Ökosystem, gegen das wir nicht antreten. Wer eine Oberfläche zum Suchen und Ausprobieren von Modellen will, nimmt LM Studio. Wer dabei offenen Quelltext braucht, nimmt Jan. Wer eigene Dokumente durchsuchbar machen und nichts bezahlen will, sieht sich AnythingLLM und Open WebUI an.

Diese Seite ist für den Fall danach: wenn du an einem festen Dokumentenbestand arbeitest und wissen musst, woher eine Antwort stammt.

In eigener Sache: Fleet Navigator ist in der Beta. Alles, was hier beschrieben wird, läuft im täglichen Einsatz, bislang nur bei mir selbst. Die anderen Programme haben Jahre an Erprobung durch Zehntausende hinter sich. Wer eine ausgereifte Anwendung sucht, ist dort besser aufgehoben. Wer früh dabei sein will: Die kostenlose Light-Edition enthält alle hier beschriebenen Grundfunktionen, solange du allein an einem Rechner arbeitest.

Fünf Schichten

Zwischen deiner Frage und der fertigen Antwort liegen fünf Schichten. Wer Werkzeuge vergleicht, ohne sie zu trennen, vergleicht Dinge, die nie dasselbe versprochen haben.

Schicht 0, das Modell. Eine Datei mit Gewichten: Qwen, Llama, Gemma. Sie kann formulieren und weiß nichts über deinen Bestand. Kommt bei allen Programmen aus derselben Quelle.

Schicht 1, die Ausführung. Etwas lädt die Gewichte in den Speicher und erzeugt Text. Hier sitzen Ollama, LM Studio und Jan. Sie beantworten die Frage, wo gerechnet wird. Die Antwort lautet: auf deinem Gerät, und sie ist richtig.

Schicht 2, der Wissenszugang. Das Modell soll über Unterlagen sprechen, die es nie gesehen hat. Dokumente werden zerlegt, eingebettet, zur Laufzeit durchsucht. Entscheidend ist hier, woraus gesucht wird.

Schicht 3, die Antwortdisziplin. Was passiert bei schlechter Fundlage? Der übliche Aufbau formuliert weiter, weil das Modell darauf trainiert ist, hilfreich zu wirken. Zurückhaltung gegen diesen Zug muss gebaut werden.

Schicht 4, Nachweis und Betrieb. Drei Jahre später fragt jemand, worauf eine Auskunft beruhte. Hier zählt, ob es ein Protokoll gibt, ob Bestände getrennt waren und wer im Schadensfall Ansprechpartner ist.

Jede Schicht kann die darunterliegende austauschen. Keine Schicht kann eine darüberliegende nachrüsten.

Worum es bei uns geht

Fleet Navigator arbeitet auf den Schichten 2 bis 4. Das Modell ist eine Einstellung, austauschbar. Gebaut ist das Programm um die Frage, wie eine Antwort an eine Stelle im eigenen Bestand gebunden bleibt. Vier Eigenschaften machen den Kern aus:

Bindung an die Fundstelle. Jeder Satz einer Antwort hängt an einer Stelle im Bestand. Wo keine Stelle ist, kommt keine Antwort. Das Programm sagt dann, dass es nichts gefunden hat, statt plausibel weiterzuschreiben.

Vier getrennte Suchräume. Chat, Projekt, Assistent, Global. Welcher Bestand durchsucht wird, steht vor dem Abruf fest. Dazu unten mehr, weil dieser Punkt der folgenreichste ist.

Assistenten mit eigenem Bestand. Ein Assistent rahmt jede einzelne Eingabe: vorn die Aufgabe, hinten Form und Belegpflicht. Er bringt seinen Quellenbestand und seinen Zugriffsbereich mit. Weitere Assistenten lädst du von fleet-navigator.eu nach, so wie du bei Ollama ein Modell nachlädst.

Eingebauter Prüfstand. Du legst eigene Testbögen an, lässt sie mehrfach laufen und siehst, wie sich verschiedene Modelle darauf verhalten.

Dazu kommt: Einbettung, Vektorspeicher, Dokumentenaufteilung und Oberfläche sind aufeinander abgestimmt und laufen nach der Installation. Ein besseres Modell setzt du ein, ohne die Bestände neu aufzubauen. Ab der Enterprise-Edition koppeln sich Zweitrechner und Gegenstellen in Textverarbeitung und Mailprogramm, Ende zu Ende verschlüsselt.

Was in Light steckt

Light ist die kostenlose Stufe. Bindung an die Fundstelle, vier Suchräume, Assistenten und Prüfstand sind enthalten. Beim ersten Start wird die Hardware geprüft und ein passendes Modell vorgeschlagen. Kein Modellname, keine Quantisierungsstufe, kein Terminal. Ein Assistent ist eingerichtet, ein zweiter kann geladen oder selbst erstellt werden.

Der Rahmen: eine Person, ein Rechner. Darin ist Light vollständig und bleibt dauerhaft kostenlos. Alles, was über einen Rechner hinausgeht, setzt eine höhere Stufe voraus. 16 GB Arbeitsspeicher reichen für die Grundnutzung; eine Grafikkarte wird genutzt, wenn das Modell vollständig hineinpasst, sonst läuft der Betrieb auf dem Hauptprozessor.

Die Gegenüberstellung, Schicht 1

Auf dieser Schicht sind wir Mitbewerber und verlieren an mehreren Stellen. Das steht hier so, weil es stimmt.

Diese Schicht ist voll besetzt. Msty, GPT4All, Cherry Studio, llamafile und LocalAI arbeiten am selben Problem und unterscheiden sich untereinander vor allem in Bedienkomfort und Modellkatalog. Ollama, LM Studio und Jan stehen hier stellvertretend, weil sie die drei üblichen Zugänge abdecken: Terminal und Schnittstelle, Katalogoberfläche, quelloffener Ersatz für die gewohnte Chatanwendung. Was in der Tabelle über sie gesagt wird, gilt der Sache nach auch für die übrigen.

Die Gegenüberstellung, Schichten 2 bis 4

Hier liegt der Grund, warum es diese Seite gibt. Die Einträge in den ersten drei Spalten sind keine Mängel. Diese Programme haben nie behauptet, auf diesen Schichten zu arbeiten.

Die ernstere Konkurrenz: Aufsätze auf Schicht 2

AnythingLLM, Open WebUI und GPT4All beantworten die Frage, woraus gesucht wird. AnythingLLM trennt Bestände über Workspaces und kommt der Sache am nächsten. PrivateGPT gehört genannt für Betrieb ohne jede Netzverbindung.

Zwischen diesen Programmen und uns bleibt kein breiter Graben, eine schmale Kante aus vier Punkten:

1. Was bei fehlender Fundstelle passiert: Weiterschreiben aus dem Modellgedächtnis oder Verweigerung.
2. Ob die Bindung am einzelnen Satz hängt oder an der Antwort als Ganzem.
3. Ob ein Protokoll entsteht, das später jemandem vorgelegt werden kann.
4. Ob ein Prüfstand im Programm sitzt, mit dem du das selbst nachmisst.

Dazu die Frage nach dem Vertragspartner, die keine technische ist. Wer diese Punkte nicht braucht, ist mit AnythingLLM oder Open WebUI gut bedient, und beide sind ausgereifter als wir.

Wo der Unterschied wirklich liegt

Alle genannten Programme zeigen inzwischen Quellen zur Antwort an. Der Unterschied liegt im Fall, in dem die Suche nichts Passendes findet. Das Modell bekommt dann wenig oder nichts vorgelegt und schreibt trotzdem eine Antwort. Sie stammt aus dem Modellgedächtnis, klingt genauso wie eine belegte Antwort und ist als ungedeckt nicht erkennbar. Genau dieser Fall ist der teure. Bei uns endet er in einer Verweigerung.

Der zweite Unterschied ist die Steuerung. Ein Systemprompt steht einmal am Anfang, und je länger ein Gespräch läuft, desto weniger wirkt er: Antworten werden länger, die Form rutscht, Zusätze aus dem Modellgedächtnis mischen sich unter die belegten Sätze. Ein Assistent rahmt jede einzelne Eingabe, bei der dreißigsten Frage genauso wie bei der ersten. Was das nicht leistet, gehört dazu: Ein Modell wird dadurch nicht klüger. Der Rahmen nimmt Spielraum, er schafft keine Fähigkeit.

Die vier Suchräume

Ein üblicher Aufbau kennt einen Bestand. Alles, was du einliest, landet darin, jede Frage sucht darüber. Sammlungen mit Filterung nach dem Abruf ändern am Prinzip nichts: gesucht wird zuerst über alles. Bei uns steht vor jeder Frage fest, welcher Bestand durchsucht wird.

Damit bleibt zwischen diesen Programmen und uns kein breiter Graben, sondern eine schmale Kante. Sie besteht aus vier Punkten: was bei fehlender Fundstelle passiert, ob die Bindung am einzelneDie ernstere Konkurrenz: Aufsätze auf Schicht 2

AnythingLLM, Open WebUI und GPT4All beantworten die Frage, woraus gesucht wird. AnythingLLM trennt Bestände über Workspaces und kommt der Sache am nächsten. PrivateGPT gehört genannt für Betrieb ohne jede Netzverbindung.

Zwischen diesen Programmen und uns bleibt kein breiter Graben, eine schmale Kante aus vier Punkten:

1. Was bei fehlender Fundstelle passiert: Weiterschreiben aus dem Modellgedächtnis oder Verweigerung.
2. Ob die Bindung am einzelnen Satz hängt oder an der Antwort als Ganzem.
3. Ob ein Protokoll entsteht, das später jemandem vorgelegt werden kann.
4. Ob ein Prüfstand im Programm sitzt, mit dem du das selbst nachmisst.

Dazu die Frage nach dem Vertragspartner, die keine technische ist. Wer diese Punkte nicht braucht, ist mit AnythingLLM oder Open WebUI gut bedient, und beide sind ausgereifter als wir.

Wo der Unterschied wirklich liegt

Alle genannten Programme zeigen inzwischen Quellen zur Antwort an. Der Unterschied liegt im Fall, in dem die Suche nichts Passendes findet. Das Modell bekommt dann wenig oder nichts vorgelegt und schreibt trotzdem eine Antwort. Sie stammt aus dem Modellgedächtnis, klingt genauso wie eine belegte Antwort und ist als ungedeckt nicht erkennbar. Genau dieser Fall ist der teure. Bei uns endet er in einer Verweigerung.

Der zweite Unterschied ist die Steuerung. Ein Systemprompt steht einmal am Anfang, und je länger ein Gespräch läuft, desto weniger wirkt er: Antworten werden länger, die Form rutscht, Zusätze aus dem Modellgedächtnis mischen sich unter die belegten Sätze. Ein Assistent rahmt jede einzelne Eingabe, bei der dreißigsten Frage genauso wie bei der ersten. Was das nicht leistet, gehört dazu: Ein Modell wird dadurch nicht klüger. Der Rahmen nimmt Spielraum, er schafft keine Fähigkeit.

Die vier Suchräume

Ein üblicher Aufbau kennt einen Bestand. Alles, was du einliest, landet darin, jede Frage sucht darüber. Sammlungen mit Filterung nach dem Abruf ändern am Prinzip nichts: gesucht wird zuerst über alles. Bei uns steht vor jeder Frage fest, welcher Bestand durchsucht wird.

Der Fall, um den es geht: Du arbeitest an einem Vorgang, die Suche findet dort wenig, dafür in einem anderen Vorgang umso mehr, weil dort ähnliche Formulierungen stehen. Die Antwort ist belegt, nennt eine Quelle und stammt aus dem falschen Vorgang. Der Formulierung siehst du das nicht an. Für private Bestände ist das ärgerlich. Bei Akten mit Verschwiegenheitspflicht ist der Übergriff von einem Bestand in den anderen der Vorgang, der nicht passieren darf, unabhängig davon, ob ihn jemand bemerkt. Ein vorher gesetzter Suchraum kann strukturell nicht überlaufen, Satz hängt oder an der Antwort als Ganzem, ob ein Protokoll entsteht, das später jemandem vorgelegt werden kann, und ob ein Prüfstand im Programm sitzt, mit dem du das alles selbst nachmisst. Dazu die letzte Zeile, die keine technische ist.

Wer diese vier Punkte nicht braucht, ist mit AnythingLLM oder Open WebUI gut bedient, und beide sind ausgereifter als wir.

Was das nicht leistet, gehört dazu: Ein Modell wird dadurch nicht klüger. Eine Aufgabe, die seine Fähigkeit übersteigt, scheitert weiterhin, und bei sehr langem Kontext lässt die Wirkung nach. Der Rahmen nimmt Spielraum, er schafft keine Fähigkeit.

Der dritte Unterschied ist die Trennung der Bestände, und er hat einen eigenen Abschnitt verdient.

Die vier Suchräume

Ein üblicher Aufbau kennt einen Bestand. Alles, was du einliest, landet darin, jede Frage sucht darüber. Sammlungen mit Filterung nach dem Abruf ändern am Prinzip nichts: gesucht wird zuerst über alles. Bei uns steht vor jeder Frage fest, welcher Bestand durchsucht wird.

Der Fall, um den es geht: Du arbeitest an einem Vorgang, die Suche findet dort wenig, dafür in einem anderen Vorgang umso mehr, weil dort ähnliche Formulierungen stehen. Die Antwort ist belegt, nennt eine Quelle und stammt aus dem falschen Vorgang. Der Formulierung siehst du das nicht an. Für private Bestände ist das ärgerlich. Bei Akten mit Verschwiegenheitspflicht ist der Übergriff von einem Bestand in den anderen der Vorgang, der nicht passieren darf, unabhängig davon, ob ihn jemand bemerkt. Ein vorher gesetzter Suchraum kann strukturell nicht überlaufen.

Die Mates: der Navigator kommt zur Arbeit

Bis hierhin beschreibt diese Seite ein Programm, das du öffnest. Ab der Enterprise-Edition dreht sich das um. Der Navigator läuft dann als Dienst auf einem Rechner im eigenen Netz, und die Programme, in denen du ohnehin arbeitest, docken bei ihm an. Wir nennen diese Gegenstellen Mates.

Ein Mate ist kein zweites Modell und keine zweite Installation. Er ist eine Gegenstelle ohne eigene Inferenz. Gerechnet wird auf dem Navigator-Rechner, der Bestand liegt dort, die Bindung an die Fundstelle entsteht dort, und das Protokoll entsteht ebenfalls dort. Der Mate schickt die Aufgabe hin und bekommt die belegte Antwort zurück.

Das ist der Grund, warum diese Bauform für Akten mit Verschwiegenheitspflicht überhaupt in Frage kommt. Ein Entwurf, den du im Mailprogramm erzeugst, läuft durch denselben Suchraum und dieselbe Belegpflicht wie eine Frage im Navigator-Fenster. Es gibt keinen zweiten Weg an der Prüfung vorbei, weil es keine zweite Inferenz gibt.

Die Kopplung läuft wie beim Zweitrechner: einmalig über einen Code, den ein Mensch auf beiden Seiten bestätigt, danach Ende zu Ende verschlüsselt. Welcher Mate welchen Suchraum erreichen darf, entscheidest du je Kopplung. Ein Mate im Sekretariat sieht damit nicht dieselben Bestände wie einer am Platz des Berufsträgers.

Messen statt behaupten

Der Satz, es halluziniere weniger, ist ohne Messachse wertlos. Wir messen die Unterscheidungsrate: korrekte Antwort bei echten Fragen mit belegbarer Antwort, korrekte Verweigerung bei Fallen (erfundene Paragrafen, erfundene Fundstellen, Fragen mit falscher Voraussetzung). Eine reine Verweigerungsquote sagt nichts; ein Programm, das alles ablehnt, sieht dort hervorragend aus und ist unbrauchbar.

Du musst uns das nicht glauben. Der Prüfstand ist Teil des Programms. Du legst einen Testbogen mit deinen Fragen, deinen Dokumenten und deinen Fallen an, trägst vorher die richtigen Antworten ein und lässt ihn mehrfach laufen. Mehrfache Durchläufe trennen Zufall von Verhalten: Ein Modell, das dieselbe Falle beim ersten Mal erkennt und beim vierten Mal beantwortet, ist unzuverlässig, und das siehst du nur beim Wiederholen. Denselben Bogen lässt du gegen verschiedene Modelle laufen. Das Ergebnis ist eine Zahl für deinen Bestand und deine Aufgabe. Die Aussage über Verlässlichkeit hängt damit an deiner Messung, nicht an unserer.

Wann du bei den anderen bleiben solltest

Du willst verschiedene Modelle vergleichen und mit Einstellungen arbeiten.

Du baust eine eigene Anwendung und brauchst eine Schnittstelle darunter.

Du brauchst das neueste Modell am Tag seiner Veröffentlichung.

Quelloffenheit ist für dich Bedingung.

Du willst lokal und über Cloud-Anbieter im selben Fenster arbeiten und die Wahl von Fall zu Fall treffen.

Du brauchst mehrere Nutzer mit Konten, Rollen und abgestuften Rechten.

Du arbeitest ohne festen Dokumentenbestand und willst vor allem formulieren, entwerfen und abwägen. Dafür ist die Bindung eine Fessel.

Wann diese Seite für dich gilt

Du arbeitest an einem Bestand, der gilt: Akten, Verträge, Leitlinien, Anleitungen, Verfahrensanweisungen.

Es kommt der Moment, in dem jemand fragt, wo das steht. Ein Mandant, ein Prüfer, ein Auditor, ein Gericht.

Du willst nicht selbst zusammenbauen, was Einbettung, Speicher, Aufteilung und Oberfläche zusammenhält.

Du willst getrennte Bestände, zwischen denen nichts überläuft.

Häufige Fragen

Ersetzt Fleet Navigator Ollama? Nein. Wer Modelle bereitstellen und eigene Anwendungen bauen will, bleibt bei Ollama. Die beiden arbeiten auf verschiedenen Schichten.

Und Jan? Jan sitzt auf derselben Schicht wie Ollama und LM Studio und macht dort seine Arbeit gut. Ein Punkt betrifft Berufsgeheimnisträger allerdings unmittelbar: Jan bringt Brücken zu Cloud-Anbietern von Haus aus mit, im selben Menü wie die lokalen Modelle. Für die meisten Nutzer ist das praktisch. Für eine Kanzlei heißt es, dass die Trennung an einer Einstellung hängt und nicht am Aufbau des Programms.

Kann ich meine vorhandenen Modelle weiterverwenden? GGUF-Modelle laufen. Die Auswahl ist enger als bei den anderen, weil jedes aufgenommene Modell gegen den Testbogen läuft, bevor es in die Liste kommt.

Warum ist der Quelltext nicht offen? Die Entscheidung darüber ist noch nicht abschließend getroffen. Sobald sie gefallen ist, steht die Antwort an dieser Stelle. Bis dahin gilt, was oben steht: Wer Quelloffenheit als Bedingung hat, ist bei Ollama oder Jan besser aufgehoben.

Was ist der Unterschied zwischen einem Assistenten und einem Systemprompt? Ein Systemprompt steht einmal am Anfang. Ein Assistent umschließt jede einzelne Eingabe, vorn mit der Aufgabe und hinten mit der Festlegung auf Form und Belegpflicht, und er bringt seinen Quellenbestand und seinen Zugriffsbereich mit. Beim Wechsel wechselt damit die Arbeitsumgebung und nicht nur der Tonfall. Zusätzliche Assistenten stehen auf fleet-navigator.eu zum Herunterladen bereit.

Kann ich das nicht selbst nachbauen? Im Prinzip ja. Das Rahmen einer Eingabe ist kein Geheimnis, und wer seine Anfragen selbst zusammensetzt, kann dasselbe erreichen. Der Aufwand liegt im Abstimmen: welcher Rahmen zu welcher Aufgabe passt und wo er anfängt zu schaden, findet man über Testläufe heraus und nicht über eine Vorlage.

Ich kann meinen Ollama-Server doch auch im Netz erreichbar machen. Wo ist der Unterschied? Im Sicherheitsmodell. Ein im Netz erreichbarer Dienst dieser Art nimmt Anfragen von jedem an, der die Adresse kennt, und der Verkehr läuft unverschlüsselt. Das gilt für die Schnittstellen von Ollama, LM Studio und Jan gleichermaßen. Wer das absichern will, stellt einen Reverse Proxy mit Zertifikat davor und pflegt ihn. Bei uns koppeln sich beide Seiten einmal über einen bestätigten Code, danach ist jede Nachricht verschlüsselt und nur gekoppelte Gegenstellen kommen durch. Im Heimnetz ist der Unterschied Bequemlichkeit. In einem Büronetz mit fremden Daten ist er etwas anderes.

Was unterscheidet einen Mate von einer Erweiterung, die an einer offenen Schnittstelle hängt? Die Erweiterung spricht mit einem Dienst, der jedem antwortet, der die Adresse kennt, und sie bringt ihre eigenen Regeln mit oder eben keine. Ein Mate ist gekoppelt, verschlüsselt und auf einen Suchraum berechtigt, und er erbt die Belegpflicht des Navigators, weil er selbst nicht rechnet. Der Unterschied zeigt sich nicht im Alltag, sondern in dem Moment, in dem jemand fragt, wie ein Entwurf im Mailprogramm zustande gekommen ist.

Arbeitet der Navigator nun ohne Netz oder nicht? Der Grundbetrieb läuft ohne Netzverbindung, und das ist die Voreinstellung. Wer ab Enterprise den Web Search Mate zuschaltet, verlässt diesen Zustand bewusst für diese eine Aufgabe. Was dabei aus dem Netz stammt, ist in der Antwort als Netzquelle gekennzeichnet und nicht mit einer Fundstelle aus deinem Bestand zu verwechseln.

Warum soll ich zahlen, wenn es das kostenlos gibt? Weil kostenlos für Schicht 1 gilt. Was darüber liegt, baust du selbst und pflegst du selbst. Für eine Person mit eigenen Unterlagen ist das ein vertretbarer Aufwand, und Light kostet dich auch bei uns nichts. Für ein Büro, das Nachweise schuldet, ist es die eigentliche Arbeit.

Was ist in Light nicht enthalten? Alles, was über einen Rechner hinausgeht. Die Andockpunkte in Textverarbeitung und Mailprogramm, die Kopplung mit einem zweiten Navigator, der Betrieb weiterer Arbeitsplätze und das Protokoll über gestellte Fragen und genutzte Belege setzen die Enterprise-Edition voraus. Light ist für eine Person an einem Rechner gedacht, und in diesem Rahmen ist es vollständig.

Wie viel Hardware brauche ich? Für Nachschlagen und Belegen aus dem eigenen Bestand reicht deutlich weniger, als für freies Formulieren nötig wäre. Ein Rechner mit 16 GB Arbeitsspeicher trägt die Grundnutzung, mehr Speicher erlaubt größere Modelle.

Ist das schneller? Nein. Darunter läuft dieselbe Art von Inferenz, auf Apple Silicon bei mehreren der genannten Programme über MLX. Bei reiner Ausgabegeschwindigkeit gibt es keinen Grund für einen Unterschied.

Was kann Fleet Navigator nicht? Freies Formulieren auf dem Niveau großer Modelle aus der Cloud. Mehrstufiges Abwägen über lange Zusammenhänge. Wer das braucht, braucht ein anderes Werkzeug, für diesen Teil der Arbeit oder insgesamt.

Dazu kommt der Reifegrad. Ein Programm, das bislang im Wesentlichen auf den Rechnern seines Entwicklers läuft, hat eine bestimmte Sorte Fehler noch vor sich: die, die erst auf fremder Hardware, mit fremden Dokumenten und in der ersten Stunde auftreten. Wenn du darauf triffst, schreib an info@fleet-data.de.

Weiterführend

• Ollama
• LM Studio
• Jan
• AnythingLLM
• Open WebUI
• Fleet Navigator Light herunterladen

Stand 1. August 2026. Angaben zu Ollama, LM Studio und Jan beziehen sich auf diesen Tag. Wenn dir eine Angabe veraltet oder falsch vorkommt, schreib an info@fleet-data.de, dann wird sie geprüft und korrigiert.

© 2026 Fleet Data & System Consulting UG | fleet-data.de