Lokale KI in fünf Schichten: was Modellstarter leisten und wo Fleet Navigator ansetzt
Stand: 1. August 2026. Diese Seite wird vierteljährlich geprüft. Ollama und LM Studio entwickeln sich schneller als diese Seite, im Zweifel gilt deren Dokumentation.
Kurz vorweg
Wenn du eine Lokale KI laufen lassen willst und dir den Rest selbst bauen willst, ist Ollama das richtige Werkzeug. Es ist ausgereift, quelloffen, läuft überall und hat ein Ökosystem, gegen das wir nicht antreten.
Wenn du eine Oberfläche willst, in der du Modelle suchst, lädst und ausprobierst, nimm LM Studio. Wenn dir dabei wichtig ist, dass der Quelltext offen liegt, nimm Jan. Wenn du deine eigenen Dokumente durchsuchbar machen und dabei nichts bezahlen willst, sieh dir AnythingLLM und Open WebUI an.
Diese Seite ist für den Fall danach: wenn du an einem festen Dokumentenbestand arbeitest und wissen musst, woher eine Antwort stammt.
In eigener Sache: Fleet Navigator ist in der Beta. Alles, was hier beschrieben wird, läuft und ist im täglichen Einsatz, allerdings bislang nur bei mir selbst. Die drei anderen Programme haben Jahre an Erprobung durch Zehntausende hinter sich. Wenn du eine ausgereifte Anwendung suchst, bist du dort besser aufgehoben. Wenn du früh dabei sein und mitreden willst, bist du hier richtig.
Wenn du früh dabei sein willst: Die kostenlose Light-Edition enthält alles, was hier an Grundfunktionen beschrieben wird, solange du allein an einem Rechner arbeitest.
Fünf Schichten
Zwischen deiner Frage und der fertigen Antwort liegen fünf Schichten. Wer Werkzeuge vergleicht, ohne sie zu trennen, vergleicht Dinge, die nie dasselbe versprochen haben. Deshalb steht dieses Bild vor der Tabelle und nicht dahinter.
Schicht 0, das Modell. Eine Datei mit Gewichten, Qwen, Llama oder Gemma. Sie kann formulieren und weiß nichts über deinen Bestand. Diese Schicht stellt keines der hier genannten Programme selbst her, sie kommt bei allen aus derselben Quelle.
Schicht 1, die Ausführung. Etwas muss die Gewichte in den Speicher laden und Text erzeugen, dazu kommen Modellverwaltung und Oberfläche. Hier sitzen Ollama, LM Studio und Jan. Sie beantworten eine Frage: wo gerechnet wird. Die Antwort lautet, auf deinem Gerät, und sie ist richtig.
Schicht 2, der Wissenszugang. Das Modell soll über Unterlagen sprechen, die es nie gesehen hat. Also werden Dokumente zerlegt, eingebettet und zur Laufzeit nach passenden Stellen durchsucht. Entscheidend ist hier nicht, ob gesucht wird, sondern woraus. Ein einziger Bestand für alles liefert bei jeder Frage die Nachbarschaft mit.
Schicht 3, die Antwortdisziplin. Jetzt liegen Fundstellen und Frage zusammen vor dem Modell, und es entscheidet sich, was bei schlechter Fundlage passiert. Der übliche Aufbau formuliert weiter, weil das Modell darauf trainiert ist, hilfreich zu wirken. Zurückhaltung gegen diesen Zug muss gebaut werden, sie stellt sich nicht ein.
Schicht 4, Nachweis und Betrieb. Drei Jahre später fragt jemand, worauf eine Auskunft beruhte. Hier zählt, ob es ein Protokoll gibt, ob Bestände getrennt waren, wer die Pflege schuldet und wer im Schadensfall Ansprechpartner ist.
Worum es bei uns geht
Fleet Navigator ist kein Modellstarter. Das Modell ist bei uns eine Einstellung, austauschbar und ersetzbar. Gebaut ist das Programm um die Frage, wie eine Antwort an eine Stelle im eigenen Bestand gebunden bleibt.
Acht Eigenschaften tragen das.
Bindung an die Fundstelle. Jeder Satz einer Antwort hängt an einer Stelle im Bestand. Wo keine Stelle ist, kommt keine Antwort. Das Programm sagt dann, dass es dazu nichts gefunden hat, statt plausibel weiterzuschreiben.
Vier getrennte Suchräume. Chat, Projekt, Assistent, Global. Welcher Bestand für eine Frage überhaupt durchsucht wird, steht vor dem Abruf fest. Mehr dazu im Abschnitt „Die vier Suchräume“, weil dieser Punkt der folgenreichste ist.
Austauschbare Inferenz. MLX auf Apple Silicon, GGUF über llama.cpp auf allem anderen, CPU-Betrieb als Rückfallebene. Das ist bei Ollama und LM Studio inzwischen genauso, insofern kein Unterschied. Der Punkt liegt woanders: Ein besseres Modell wird eingesetzt, ohne die Bestände neu aufzubauen. Deine eingelesenen Dokumente überleben den Wechsel.
Assistenten. Ein Assistent ist der Rahmen, in dem deine Eingabe steht. Vor deinem Text liegt die Festlegung der Aufgabe, dahinter die Festlegung auf Form und Belegpflicht, dazu gehören ein eigener Quellenbestand und ein eigener Zugriffsbereich. Du wechselst den Assistenten und arbeitest im selben Programm weiter, ohne Einstellungen umzubauen. Weitere Assistenten lädst du von fleet-navigator.eu nach, so wie du bei Ollama ein Modell nachlädst.
Eingebauter Prüfstand. Du legst eigene Testbögen an, lässt sie mehrfach laufen und siehst, wie sich verschiedene Modelle darauf verhalten.
Fertig ausgeliefert. Einbettung, Vektorspeicher, Aufteilung der Dokumente und Oberfläche sind aufeinander abgestimmt und laufen nach der Installation.
Rechenleistung teilen. Zwei Navigatoren auf unterschiedlicher Hardware koppeln sich und nutzen dieselbe Inferenz. Der Rechner mit der Grafikkarte rechnet, das schwache Gerät bedient. Die Kopplung läuft über einen Code, den ein Mensch auf beiden Seiten bestätigt, die Verbindung ist Ende zu Ende verschlüsselt, und welche Rechenplätze nach außen sichtbar sind, entscheidest du einzeln. Ab der Expert-Edition.
Andockpunkte in die eigenen Programme. In den Editionen ab Expert dockt der Navigator an Textverarbeitung und Mailprogramm an, statt dass du über die Zwischenablage arbeitest. Die Gegenstellen werden gepaart wie ein Bluetooth-Gerät, mit Codebestätigung durch einen Menschen, und die Verbindung ist Ende zu Ende verschlüsselt. Die Inferenz bleibt dabei auf dem Navigator-Rechner. In Light ist das nicht enthalten.
Was in Light steckt
Light ist die kostenlose Stufe. Alles, was oben an Grundfunktionen steht, ist darin enthalten: die Bindung an die Fundstelle, die vier Suchräume, die Assistenten und der Prüfstand. Was fehlt, geht über einen Rechner hinaus.
Die Modellwahl nimmt dir die Einrichtung ab. Beim ersten Start wird die vorhandene Hardware geprüft und ein dazu passendes Modell vorgeschlagen. Du bestätigst, es wird geladen, danach kannst du arbeiten. Kein Modellname, keine Quantisierungsstufe, kein Terminal. Wer sich auskennt und etwas anderes will, wählt etwas anderes.
Ein Assistent ist fertig eingerichtet. Der zweite Assistent kann heruntergeladen werden oder selbst erstellt Du entscheidest damit nicht, welches Modell zu welcher Aufgabe passt, sondern wen du fragst. Das ist der eigentliche Unterschied im Bedienen: Ein Modell wird eingestellt, ein Assistent wird ausgewählt.
Eine Person, ein Rechner. In diesem Rahmen ist Light vollständig und bleibt dauerhaft kostenlos. Was zwei Geräte, mehrere Arbeitsplätze oder ein Büronetz betrifft, setzt eine höhere Stufe voraus. Der Abschnitt „Häufige Fragen“ führt das auf.
Ein Rechner mit 16 GB Arbeitsspeicher trägt die Grundnutzung. Eine Grafikkarte wird erkannt und genutzt, wenn das Modell vollständig hineinpasst; sonst läuft der Betrieb auf dem Hauptprozessor weiter.
Die Gegenüberstellung, Schicht 1
Auf dieser Schicht sind wir Mitbewerber und verlieren an mehreren Stellen. Das steht hier so, weil es stimmt.
Diese Schicht ist voll besetzt. Msty, GPT4All, Cherry Studio, llamafile und LocalAI arbeiten am selben Problem und unterscheiden sich untereinander vor allem in Bedienkomfort und Modellkatalog. Ollama, LM Studio und Jan stehen hier stellvertretend, weil sie die drei üblichen Zugänge abdecken: Terminal und Schnittstelle, Katalogoberfläche, quelloffener Ersatz für die gewohnte Chatanwendung. Was in der Tabelle über sie gesagt wird, gilt der Sache nach auch für die übrigen.
Die Gegenüberstellung, Schicht 1
Auf dieser Schicht sind wir Mitbewerber und verlieren an mehreren Stellen. Das steht hier so, weil es stimmt.
Diese Schicht ist voll besetzt. Msty, GPT4All, Cherry Studio, llamafile und LocalAI arbeiten am selben Problem und unterscheiden sich untereinander vor allem in Bedienkomfort und Modellkatalog. Ollama, LM Studio und Jan stehen hier stellvertretend, weil sie die drei üblichen Zugänge abdecken: Terminal und Schnittstelle, Katalogoberfläche, quelloffener Ersatz für die gewohnte Chatanwendung. Was in der Tabelle über sie gesagt wird, gilt der Sache nach auch für die übrigen.
| Ollama | LM Studio | Jan | Fleet Navigator | |
|---|---|---|---|---|
| Zweck | Modelle ausführen und bereitstellen | Modelle finden und ausprobieren | Modelle lokal bedienen, wahlweise über die Cloud | An festen Dokumentenbeständen arbeiten |
| Was du vor dem ersten Gespräch entscheiden musst | Modellnamen kennen und im Terminal eingeben | Modell im Katalog auswählen, mitsamt Quantisierungsstufe | Modell im Katalog auswählen | nichts; die Einrichtung erkennt die Hardware und schlägt ein Modell vor |
| Quelloffen | ja | nein | ja | nein |
| Preis | kostenlos | kostenlos in der Grundnutzung | kostenlos | Light kostenlos, kostenpflichtige Stufen darüber |
| Modellauswahl | sehr groß, schnelle Unterstützung neuer Formate | sehr groß, komfortable Suche | sehr groß, direkt aus dem GGUF-Bestand von Hugging Face | begrenzt, geprüfte Auswahl |
| Plattformen | macOS, Linux, Windows | macOS, Linux, Windows | macOS, Linux, Windows | macOS, Linux, Windows |
| Beschleunigung auf Apple Silicon | MLX (seit 0.19, März 2026) | MLX, je Modell wählbar | nicht geprüft | MLX |
| Betrieb ohne GPU | ja | ja | ja | ja |
| Betrieb ohne Netzverbindung | ja | ja | ja, sofern keine Cloud-Brücke aktiv ist | ja, Voreinstellung |
| Gemeinschaft und Erweiterungen | groß, viele Aufsätze und Anbindungen | groß | groß | klein |
| Brücke zu Cloud-Anbietern | nein | nein | eingebaut, im selben Menü wie die lokalen Modelle | nein |
Die Gegenüberstellung, Schichten 2 bis 4
Hier liegt der Grund, warum es diese Seite gibt. Die Einträge in den ersten drei Spalten sind keine Mängel. Diese Programme haben nie behauptet, auf diesen Schichten zu arbeiten.
| Ollama | LM Studio | Jan | Fleet Navigator | |
|---|---|---|---|---|
| Arbeiten mit eigenen Dokumenten | über eigenen Aufbau oder Aufsätze wie Open WebUI und AnythingLLM | eingebaut, Dokumente per Ablegen im Fenster | eingebaut, Dateien im Gespräch | eingebaut, Kern des Programms |
| Quellenangabe zur Antwort | je nach Aufsatz vorhanden | vorhanden | vorhanden | vorhanden und erzwungen |
| Verhalten ohne Fundstelle | Modell antwortet aus dem Gedächtnis weiter | Modell antwortet aus dem Gedächtnis weiter | Modell antwortet aus dem Gedächtnis weiter | Antwort wird verweigert |
| Getrennte Bestände im Zugriff | über eigene Verwaltung | Sammlungen, Filterung nach dem Abruf | ein Bestand | vier Suchräume, vor dem Abruf gesetzt |
| Protokoll über gestellte Fragen und genutzte Belege | nein | nein | nein | in den kostenpflichtigen Stufen |
| Steuerung des Modellverhaltens | Systemprompt über Modelfile, selbst zu pflegen | Systemprompt im Feld, selbst zu pflegen | eigene Assistenten mit Systemprompt, selbst zu pflegen | Assistent rahmt jede Eingabe vorn und hinten |
| Fachassistent mit eigenem Quellenbestand und Zugriffsbereich | nein, Modelfile bleibt Text | nein, Systemprompt bleibt Text | nein, der Systemprompt bringt keinen Bestand mit | eingebaut, im Betrieb wechselbar |
| Bibliothek zum Nachladen | Modelle | Modelle | Modelle | Modelle und Fachassistenten |
| Eigene Testbögen und wiederholte Läufe | über eigene Skripte | nein | nein | eingebaut |
| Gegenstellen in Textverarbeitung und Mailprogramm, ohne eigene Inferenz | über Erweiterungen von Dritten an der offenen Schnittstelle | über die offene Schnittstelle | über die offene Schnittstelle | Mates, gekoppelt und je Suchraum berechtigt, ab Expert-Edition |
| Weiterer Arbeitsplatz ohne eigene Rechenleistung | nein | nein | nein | ab Expert-Edition, über gepaarten Zweitrechner |
| Inferenz auf einem anderen Rechner nutzen | über offenen Netzdienst, ohne Verschlüsselung | über offenen Netzdienst, ohne Verschlüsselung | über offenen Netzdienst, ohne Verschlüsselung | gekoppelt und Ende zu Ende verschlüsselt, ab Expert-Edition |
| Vertragspartner bei einem Schaden | keiner, freie Lizenz mit Gewährleistungsausschluss | Anbieter, nach dessen Bedingungen | keiner, freie Lizenz mit Gewährleistungsausschluss | Fleet Data & System Consulting UG |
Wenn es eng wird: die Aufsätze auf Schicht 2
Die Programme aus der ersten Tabelle sind nicht unsere ernsteste Konkurrenz. Die sitzt eine Schicht höher. AnythingLLM, Open WebUI und GPT4All setzen auf einem Modellstarter auf oder bringen ihn mit und beantworten die Frage, woraus gesucht wird. AnythingLLM trennt Bestände über Workspaces und kommt der Sache damit am nächsten. Wer diese Seite kritisch prüft, wird hier ansetzen, und deshalb steht der Vergleich auch hier.
Ein vierter Name gehört genannt, ohne eigene Spalte: PrivateGPT ist auf Betrieb ohne jede Netzverbindung ausgelegt und wird dort eingesetzt, wo diese Bedingung streng gilt.
| AnythingLLM | Open WebUI | GPT4All | Fleet Navigator | |
|---|---|---|---|---|
| Ausrichtung | Dokumentenarbeit mit Arbeitsbereichen | Chatoberfläche mit angebauter Dokumentensuche | Chatanwendung mit Dokumentensammlungen | Arbeit an festen Beständen mit Nachweispflicht |
| Quelloffen | ja, MIT | ja | ja, MIT | nein (Stand heute) |
| Trennung der Bestände | Workspaces, je Bestand ein Arbeitsbereich | Sammlungen, im Gespräch zuzuordnen | Sammlungen | vier Suchräume, vor dem Abruf gesetzt |
| Wechsel des Bestands im laufenden Betrieb | Wechsel des Arbeitsbereichs | Auswahl je Gespräch | Auswahl je Gespräch | Wechsel des Assistenten, Suchraum wechselt mit |
| Verhalten ohne Fundstelle | Modell antwortet aus dem Gedächtnis weiter | Modell antwortet aus dem Gedächtnis weiter | Modell antwortet aus dem Gedächtnis weiter | Antwort wird verweigert |
| Bindung der Antwort an die Quelle | Quellenangabe zur Antwort | Quellenangabe zur Antwort | Quellenangabe zur Antwort | Bindung je Satz, erzwungen |
| Protokoll über Fragen und genutzte Belege | nein | nein | nein | in den kostenpflichtigen Stufen |
| Eigene Testbögen und wiederholte Läufe | nein | über eigene Erweiterungen | nein | eingebaut |
| Mehrere Nutzer mit Rollen und Rechten | ja, in der Server-Aufstellung | ja | nein | nein |
| Cloud-Modelle im selben Aufbau | wählbar | wählbar | wählbar | nein |
| Einrichtung | Desktop-Fassung einfach, Server-Aufstellung mit Aufwand | Aufstellung über Container, dann Einbindung des Modellstarters | einfach | Installation, danach betriebsbereit |
| Vertragspartner bei einem Schaden | keiner, freie Lizenz mit Gewährleistungsausschluss | keiner, freie Lizenz mit Gewährleistungsausschluss | keiner, freie Lizenz mit Gewährleistungsausschluss | Fleet Data & System Consulting UG |
Damit bleibt zwischen diesen Programmen und uns kein breiter Graben, sondern eine schmale Kante. Sie besteht aus vier Punkten: was bei fehlender Fundstelle passiert, ob die Bindung am einzelnen Satz hängt oder an der Antwort als Ganzem, ob ein Protokoll entsteht, das später jemandem vorgelegt werden kann, und ob ein Prüfstand im Programm sitzt, mit dem du das alles selbst nachmisst. Dazu die letzte Zeile, die keine technische ist.
Wer diese vier Punkte nicht braucht, ist mit AnythingLLM oder Open WebUI gut bedient, und beide sind ausgereifter als wir.
Wo die anderen besser sind
Modellvielfalt und Tempo. Ein neues Format wird bei Ollama oft innerhalb von Tagen unterstützt. Bei uns dauert das länger, weil jede Aufnahme in die Auswahl geprüft wird.
Ökosystem. Rund um Ollama existieren Oberflächen, Anbindungen an Editoren und fertige Bausteine für eigene Anwendungen. Wer daran anknüpfen will, ist dort besser aufgehoben.
Erprobung. Das ist der ehrlichste Punkt auf dieser Seite. Ollama läuft auf sehr vielen Rechnern, mit sehr vielen Modellen, unter sehr vielen Bedingungen. Jeder Fehler, den es dort gibt, hat schon jemand gefunden. Bei uns findest du ihn möglicherweise als Erster.
Quelloffenheit. Ollama und Jan sind quelloffen und prüfbar. Fleet Navigator ist es zum heutigen Stand nicht. Wem das wichtig ist, für den ist das ein Ausschlusskriterium, und dieser Punkt ist nachvollziehbar.
Bequemlichkeit beim Ausprobieren. LM Studio ist die angenehmere Oberfläche, um Modelle zu vergleichen und Einstellungen durchzuspielen. Jan ist der bequemste Einstieg für alle, denen offener Quelltext dabei wichtig ist.
Mehrere Nutzer mit Rollen. Open WebUI und AnythingLLM bringen Konten, Rollen und Rechte mit. Fleet Navigator kennt gekoppelte Arbeitsplätze mit eigenem Suchraum, aber keine Rollenverwaltung in diesem Sinn. Wer eine Kanzlei mit vielen Plätzen und abgestuften Rechten aufstellen will, sieht sich das dort an.
Wo der Unterschied wirklich liegt
Alle drei können inzwischen mit eigenen Dokumenten arbeiten, LM Studio und Jan direkt, Ollama über Aufsätze. Der Unterschied liegt nicht darin, ob eine Quelle angezeigt wird, sondern was passiert, wenn keine passende Stelle gefunden wird.
Ein übliches Verfahren sucht passende Textstücke, legt sie dem Modell vor und lässt es antworten. Findet die Suche nichts Passendes, bekommt das Modell wenig oder nichts, und es schreibt trotzdem eine Antwort. Sie stammt dann aus dem Modellgedächtnis, klingt genauso wie eine belegte Antwort und ist nicht als ungedeckt erkennbar. Die angezeigte Quelle darunter kann in diesem Fall zur Antwort passen oder auch nicht.
Genau dieser Fall ist der teure. Bei uns endet er in einer Verweigerung.
Der zweite Unterschied betrifft die Steuerung, und hier liegt der Grund, warum ein Assistent bei uns mehr ist als ein Textfeld. Bei den anderen setzt du einen Systemprompt, und danach steht deine Frage allein vor dem Modell. Je länger ein Gespräch läuft, desto weniger trägt dieser eine Prompt. Antworten werden länger, die Form rutscht, Zusätze aus dem Modellgedächtnis mischen sich unter die belegten Sätze.
Ein Assistent rahmt stattdessen jede einzelne Eingabe. Vor deinem Text steht die Festlegung der Aufgabe, dahinter die Festlegung auf Form und Belegpflicht. Das gilt bei der dreißigsten Frage genauso wie bei der ersten. Den Quellenbestand und den Zugriffsbereich bringt derselbe Assistent mit, deshalb ist ein Wechsel ein Wechsel der ganzen Arbeitsumgebung und nicht nur eines Tonfalls.
Was das nicht leistet, gehört dazu: Ein Modell wird dadurch nicht klüger. Eine Aufgabe, die seine Fähigkeit übersteigt, scheitert weiterhin, und bei sehr langem Kontext lässt die Wirkung nach. Der Rahmen nimmt Spielraum, er schafft keine Fähigkeit.
Der dritte Unterschied ist die Trennung der Bestände, und er hat einen eigenen Abschnitt verdient.
Die vier Suchräume
Ein üblicher Aufbau kennt einen Bestand. Alles, was du einliest, landet darin, und jede Frage sucht darüber. Manche Oberflächen erlauben Sammlungen und filtern nach dem Abruf, das ist bequemer, ändert aber nichts am Prinzip: gesucht wird zuerst über alles.
Bei uns steht vor jeder Frage fest, welcher Bestand überhaupt durchsucht wird.
| Suchraum | Was durchsucht wird | Wofür |
|---|---|---|
| Chat | nichts, das Modell antwortet frei | Formulieren, Entwerfen, Erklären lassen |
| Projekt | der Bestand des laufenden Vorgangs | Arbeit an einer Akte, einem Fall, einem Auftrag |
| Assistent | der Fachbestand des gewählten Assistenten | Nachschlagen in Normen, Leitlinien, Regelwerken |
| Global | alles ausdrücklich Freigegebene | übergreifende Recherche |
Der stille Fehlgriff
Der Fall, um den es geht, sieht harmlos aus. Du arbeitest an einem Vorgang und stellst eine Frage. Die Suche findet in diesem Vorgang wenig Passendes, dafür in einem anderen umso mehr, weil dort ähnliche Formulierungen stehen. Das Modell bekommt die fremden Textstücke vorgelegt und schreibt daraus eine Antwort.
Diese Antwort ist belegt. Sie nennt sogar eine Quelle. Sie stammt nur aus dem falschen Vorgang, und das siehst du der Formulierung nicht an.
Für private Bestände ist das ärgerlich. Wer Vereinssatzung, Steuerunterlagen und Bedienungsanleitungen in einem Topf hat, bekommt Antworten, die aus dem falschen Topf stammen. Ein Nachschlagen im Beleg klärt das, kostet aber genau die Zeit, die das Werkzeug sparen sollte.
Bei Akten mit Verschwiegenheitspflicht ist es etwas anderes. Dort ist der Übergriff von einem Bestand in den anderen der Vorgang, der nicht passieren darf, und zwar unabhängig davon, ob ihn jemand bemerkt. Nachträgliches Filtern schützt davor nur so weit, wie der Filter reicht. Ein Suchraum, der vorher gesetzt wird, kann strukturell nicht überlaufen.
Der zweite Verlust ist unauffälliger. Ohne getrennte Räume wird jede Frage über den gesamten Bestand gestellt, und je größer der wird, desto mehr Beiträge konkurrieren um die wenigen Plätze, die dem Modell vorgelegt werden. Die Antwortqualität sinkt mit wachsendem Bestand, statt zu steigen. Wer viel einliest, bemerkt das nach ein paar Monaten.
Die Mates: der Navigator kommt zur Arbeit
Bis hierhin beschreibt diese Seite ein Programm, das du öffnest. Ab der Expert-Edition dreht sich das um. Der Navigator läuft dann als Dienst auf einem Rechner im eigenen Netz, und die Programme, in denen du ohnehin arbeitest, docken bei ihm an. Wir nennen diese Gegenstellen Mates.
Ein Mate ist kein zweites Modell und keine zweite Installation. Er ist eine Gegenstelle ohne eigene Inferenz. Gerechnet wird auf dem Navigator-Rechner, der Bestand liegt dort, die Bindung an die Fundstelle entsteht dort, und das Protokoll entsteht ebenfalls dort. Der Mate schickt die Aufgabe hin und bekommt die belegte Antwort zurück.
Das ist der Grund, warum diese Bauform für Akten mit Verschwiegenheitspflicht überhaupt in Frage kommt. Ein Entwurf, den du im Mailprogramm erzeugst, läuft durch denselben Suchraum und dieselbe Belegpflicht wie eine Frage im Navigator-Fenster. Es gibt keinen zweiten Weg an der Prüfung vorbei, weil es keine zweite Inferenz gibt.
Die Kopplung läuft wie beim Zweitrechner: einmalig über einen Code, den ein Mensch auf beiden Seiten bestätigt, danach Ende zu Ende verschlüsselt. Welcher Mate welchen Suchraum erreichen darf, entscheidest du je Kopplung. Ein Mate im Sekretariat sieht damit nicht dieselben Bestände wie einer am Platz des Berufsträgers.
| Mate | Was er tut | Ab Edition |
|---|---|---|
| Mail Mate | Entwürfe, Zusammenfassungen und Antworten im Mailprogramm, belegt aus dem freigegebenen Suchraum | Expert |
| Office Mates | Dieselbe Arbeit in der Textverarbeitung und der Tabellenkalkulation | Expert |
| OS Mate | «Kurzbeschreibung ergänzen: was genau darf er auf dem Rechner» | «Edition prüfen» |
| Web Search Mate | Netzsuche, ausdrücklich zuzuschalten, Treffer werden in der Antwort als Netzquelle gekennzeichnet | «Edition prüfen» |
| FleetCoder | «Kurzbeschreibung ergänzen: Gegenstelle oder eigener Assistent» | «Edition prüfen» |
Messen statt behaupten
Der Satz, es halluziniere weniger, ist ohne Messachse wertlos. Wir messen die Unterscheidungsrate.
Ein Testlauf enthält echte Fragen mit belegbarer Antwort und Fallen, also erfundene Paragrafen, erfundene Fundstellen und Fragen mit falscher Voraussetzung. Gezählt wird beides: korrekte Antwort bei der echten Frage und korrekte Verweigerung bei der Falle.
Eine reine Verweigerungsquote sagt nichts. Ein Programm, das alles ablehnt, sieht dort hervorragend aus und ist unbrauchbar. Die Antwortschlüssel stehen vor dem Lauf fest, die Modellversion wird mit Zeitstempel protokolliert.
Du musst uns das nicht glauben
Der Prüfstand ist Teil des Programms. Du legst einen eigenen Testbogen an, mit deinen Fragen, deinen Dokumenten und deinen Fallen, und trägst vorher ein, was jeweils die richtige Antwort wäre.
Danach lässt du ihn laufen, so oft du willst. Mehrfache Durchläufe sind der Punkt, an dem sich Zufall von Verhalten trennt. Ein Modell, das dieselbe Falle beim ersten Mal erkennt und beim vierten Mal beantwortet, ist nicht zuverlässig, und das siehst du nur, wenn du wiederholst.
Denselben Bogen kannst du gegen verschiedene Modelle laufen lassen. Das Ergebnis ist eine Zahl für deinen Bestand und deine Aufgabe, nicht für einen fremden Testsatz. Wenn ein anderes Modell bei dir besser abschneidet als das voreingestellte, setzt du es ein.
Damit hängt die Aussage über Verlässlichkeit nicht an unserer Messung. Sie hängt an deiner.
Wann du bei den anderen bleiben solltest
Du willst verschiedene Modelle vergleichen und mit Einstellungen arbeiten.
Du baust eine eigene Anwendung und brauchst eine Schnittstelle darunter.
Du brauchst das neueste Modell am Tag seiner Veröffentlichung.
Quelloffenheit ist für dich Bedingung.
Du willst lokal und über Cloud-Anbieter im selben Fenster arbeiten und die Wahl von Fall zu Fall treffen.
Du brauchst mehrere Nutzer mit Konten, Rollen und abgestuften Rechten.
Du arbeitest ohne festen Dokumentenbestand und willst vor allem formulieren, entwerfen und abwägen. Dafür ist die Bindung eine Fessel.
Wann diese Seite für dich gilt
Du arbeitest an einem Bestand, der gilt: Akten, Verträge, Leitlinien, Anleitungen, Verfahrensanweisungen.
Es kommt der Moment, in dem jemand fragt, wo das steht. Ein Mandant, ein Prüfer, ein Auditor, ein Gericht.
Du willst nicht selbst zusammenbauen, was Einbettung, Speicher, Aufteilung und Oberfläche zusammenhält.
Du willst getrennte Bestände, zwischen denen nichts überläuft.
Häufige Fragen
Ersetzt Fleet Navigator Ollama? Nein. Wer Modelle bereitstellen und eigene Anwendungen bauen will, bleibt bei Ollama. Die beiden arbeiten auf verschiedenen Schichten.
Und Jan? Jan sitzt auf derselben Schicht wie Ollama und LM Studio und macht dort seine Arbeit gut. Ein Punkt betrifft Berufsgeheimnisträger allerdings unmittelbar: Jan bringt Brücken zu Cloud-Anbietern von Haus aus mit, im selben Menü wie die lokalen Modelle. Für die meisten Nutzer ist das praktisch. Für eine Kanzlei heißt es, dass die Trennung an einer Einstellung hängt und nicht am Aufbau des Programms.
Kann ich meine vorhandenen Modelle weiterverwenden? GGUF-Modelle laufen. Die Auswahl ist enger als bei den anderen, weil jedes aufgenommene Modell gegen den Testbogen läuft, bevor es in die Liste kommt.
Warum ist der Quelltext nicht offen? Die Entscheidung darüber ist noch nicht abschließend getroffen. Sobald sie gefallen ist, steht die Antwort an dieser Stelle. Bis dahin gilt, was oben steht: Wer Quelloffenheit als Bedingung hat, ist bei Ollama oder Jan besser aufgehoben.
Was ist der Unterschied zwischen einem Assistenten und einem Systemprompt? Ein Systemprompt steht einmal am Anfang. Ein Assistent umschließt jede einzelne Eingabe, vorn mit der Aufgabe und hinten mit der Festlegung auf Form und Belegpflicht, und er bringt seinen Quellenbestand und seinen Zugriffsbereich mit. Beim Wechsel wechselt damit die Arbeitsumgebung und nicht nur der Tonfall. Zusätzliche Assistenten stehen auf fleet-navigator.eu zum Herunterladen bereit.
Kann ich das nicht selbst nachbauen? Im Prinzip ja. Das Rahmen einer Eingabe ist kein Geheimnis, und wer seine Anfragen selbst zusammensetzt, kann dasselbe erreichen. Der Aufwand liegt im Abstimmen: welcher Rahmen zu welcher Aufgabe passt und wo er anfängt zu schaden, findet man über Testläufe heraus und nicht über eine Vorlage.
Ich kann meinen Ollama-Server doch auch im Netz erreichbar machen. Wo ist der Unterschied? Im Sicherheitsmodell. Ein im Netz erreichbarer Dienst dieser Art nimmt Anfragen von jedem an, der die Adresse kennt, und der Verkehr läuft unverschlüsselt. Das gilt für die Schnittstellen von Ollama, LM Studio und Jan gleichermaßen. Wer das absichern will, stellt einen Reverse Proxy mit Zertifikat davor und pflegt ihn. Bei uns koppeln sich beide Seiten einmal über einen bestätigten Code, danach ist jede Nachricht verschlüsselt und nur gekoppelte Gegenstellen kommen durch. Im Heimnetz ist der Unterschied Bequemlichkeit. In einem Büronetz mit fremden Daten ist er etwas anderes.
Was unterscheidet einen Mate von einer Erweiterung, die an einer offenen Schnittstelle hängt? Die Erweiterung spricht mit einem Dienst, der jedem antwortet, der die Adresse kennt, und sie bringt ihre eigenen Regeln mit oder eben keine. Ein Mate ist gekoppelt, verschlüsselt und auf einen Suchraum berechtigt, und er erbt die Belegpflicht des Navigators, weil er selbst nicht rechnet. Der Unterschied zeigt sich nicht im Alltag, sondern in dem Moment, in dem jemand fragt, wie ein Entwurf im Mailprogramm zustande gekommen ist.
Arbeitet der Navigator nun ohne Netz oder nicht? Der Grundbetrieb läuft ohne Netzverbindung, und das ist die Voreinstellung. Wer ab Expert den Web Search Mate zuschaltet, verlässt diesen Zustand bewusst für diese eine Aufgabe. Was dabei aus dem Netz stammt, ist in der Antwort als Netzquelle gekennzeichnet und nicht mit einer Fundstelle aus deinem Bestand zu verwechseln.
Warum soll ich zahlen, wenn es das kostenlos gibt? Weil kostenlos für Schicht 1 gilt. Was darüber liegt, baust du selbst und pflegst du selbst. Für eine Person mit eigenen Unterlagen ist das ein vertretbarer Aufwand, und Light kostet dich auch bei uns nichts. Für ein Büro, das Nachweise schuldet, ist es die eigentliche Arbeit.
Was ist in Light nicht enthalten? Alles, was über einen Rechner hinausgeht. Die Andockpunkte in Textverarbeitung und Mailprogramm, die Kopplung mit einem zweiten Navigator, der Betrieb weiterer Arbeitsplätze und das Protokoll über gestellte Fragen und genutzte Belege setzen die Expert-Edition voraus. Light ist für eine Person an einem Rechner gedacht, und in diesem Rahmen ist es vollständig.
Wie viel Hardware brauche ich? Für Nachschlagen und Belegen aus dem eigenen Bestand reicht deutlich weniger, als für freies Formulieren nötig wäre. Ein Rechner mit 16 GB Arbeitsspeicher trägt die Grundnutzung, mehr Speicher erlaubt größere Modelle.
Ist das schneller? Nein. Darunter läuft dieselbe Art von Inferenz, auf Apple Silicon bei mehreren der genannten Programme über MLX. Bei reiner Ausgabegeschwindigkeit gibt es keinen Grund für einen Unterschied.
Was kann Fleet Navigator nicht? Freies Formulieren auf dem Niveau großer Modelle aus der Cloud. Mehrstufiges Abwägen über lange Zusammenhänge. Wer das braucht, braucht ein anderes Werkzeug, für diesen Teil der Arbeit oder insgesamt.
Dazu kommt der Reifegrad. Ein Programm, das bislang im Wesentlichen auf den Rechnern seines Entwicklers läuft, hat eine bestimmte Sorte Fehler noch vor sich: die, die erst auf fremder Hardware, mit fremden Dokumenten und in der ersten Stunde auftreten. Wenn du darauf triffst, schreib an info@fleet-data.de.
Weiterführend
Stand 1. August 2026. Angaben zu Ollama, LM Studio und Jan beziehen sich auf diesen Tag. Wenn dir eine Angabe veraltet oder falsch vorkommt, schreib an info@fleet-data.de, dann wird sie geprüft und korrigiert.
© 2026 Fleet Data & System Consulting UG | fleet-data.de