AnythingLLM Test für lokales RAG und KI-Agenten

AnythingLLM ist ein quelloffener KI-Arbeitsbereich für Chats mit Dokumenten, Wissenssammlungen, Agenten und mehrstufige Abläufe. Es gibt eine Desktop-App für Einzelpersonen, eine Docker-Variante für mehrere Nutzer und einen gehosteten Cloudservice. Diese Auswahl ist nützlich, doch „lokal“ beschreibt nur eine mögliche Konfiguration: Sprachmodell, Embedding-Anbieter, Vektordatenbank, Transkriptionsdienst und Agentenwerkzeuge bestimmen den tatsächlichen Datenweg.

Einen kleinen, nachvollziehbaren Dokumentbereich bauen

Wähle Desktop für eine Person oder Self-Hosting, wenn mehrere Konten und Zugriffsregeln nötig sind. Die offizielle Dokumentation nennt lokale und externe Optionen für Modelle, Embeddings und Vektorspeicher. Beginne mit drei unvertraulichen Dateien, deren Antworten bereits bekannt sind. Lege einen Arbeitsbereich an, wähle Anbieter bewusst, importiere die Dateien und frage nach exakten Namen, Zahlen und Seitenkontext. Öffne die unterstützenden Textabschnitte und vergleiche sie mit der Quelle.

Wenn die Suche etwas verfehlt, prüfe Textextraktion, Segmentgröße und Dokumentqualität, bevor du das Sprachmodell wechselst. Gescannte PDF-Dateien können OCR benötigen, Tabellen werden eventuell schlecht geteilt und eine Antwort kann unabhängige Segmente vermischen. Weise den Assistenten an, fehlende Belege offen zu nennen. Bewahre ein Testset auf, damit Änderungen an Modell, Embedder oder Segmentierung messbar bleiben.

Agenten und Flows können je nach Konfiguration Webseiten öffnen, APIs anrufen, Dateien lesen oder schreiben und Aufgaben planen. Vergib minimale Rechte, verwende Wegwerfdaten und prüfe jeden Schritt vor unbeaufsichtigten Läufen. Prompt Injection in Dokumenten oder Webseiten kann einen Agenten beeinflussen; Self-Hosting beseitigt dieses Risiko nicht.

Editionen, Kosten und Datenschutzgrenzen

Der Desktop-Download ist kostenlos und läuft auf macOS, Windows und Linux. Das Projekt steht unter MIT-Lizenz, Docker kann ohne Softwaregebühr selbst betrieben werden. Hardware, Administration und externe Modell-APIs bleiben eigene Kosten. Gehostete Teaminstanzen sind kostenpflichtig; prüfe die aktuelle Cloudseite, weil Preise und Ressourcen variieren.

Zeichne vor vertraulicher Nutzung den vollständigen Datenweg: App-Host, Modell, Embedder, Vektorspeicher, Sprache und jede Agentenintegration. Eine lokale App mit Cloud-LLM sendet Prompts und gefundene Passagen weiterhin an den Anbieter. Sichere Arbeitsbereiche, schütze API-Schlüssel, begrenze Netzwerkzugriff und teste Löschen sowie Wiederherstellung.

Ist AnythingLLM vollständig lokal?

Das ist möglich, wenn sämtliche Anbieter und Werkzeuge lokal sind. Cloudmodelle, Embeddings oder Integrationen übertragen betroffene Daten.

Ist AnythingLLM kostenlos?

Desktop und Self-Hosting sind kostenlos verfügbar; Hosting und externe Anbieter können Kosten verursachen.