Lokales Enterprise RAG: Interne Firmendaten DSGVO-konform mit Open-Source-LLMs durchsuchen

1. Einleitung: Die Datenschutz-Herausforderung

Künstliche Intelligenz hat die Art und Weise, wie wir mit Informationen arbeiten, grundlegend revolutioniert. Große Sprachmodelle (LLMs) beantworten Fragen in Sekundenschnelle, fassen seitenlange Dokumente zusammen und entwerfen Konzepte. Doch die Einführung von KI in Unternehmen stößt im deutschsprachigen Raum auf eine massive Hürde: den Datenschutz. Die Übermittlung von sensiblen Geschäftsberichten, Kundenkorrespondenzen, Patententwürfen oder Personalunterlagen an Cloud-APIs von Drittanbietern in Drittländern ist unter der Datenschutz-Grundverordnung (DSGVO) oft illegal oder birgt immense Haftungsrisiken für die Geschäftsführung.

Unternehmen stehen vor einem Dilemma: Entweder verzichten sie aus Sicherheitsgründen auf die enormen Effizienzgewinne moderner KI-Systeme, oder sie gehen erhebliche rechtliche und strategische Risiken ein. Es gibt jedoch einen dritten Weg. Durch den rasanten Fortschritt bei Open-Source-Modellen und lokaler Software-Infrastruktur ist es heute für kleine und mittlere Unternehmen (KMU) vollkommen machbar und wirtschaftlich rentabel geworden, eine eigene, hochperformante KI-Wissensdatenbank aufzusetzen – und zwar vollständig in der eigenen, geschützten IT-Infrastruktur.

"Die Hoheit über die eigenen Daten ist der entscheidende Wettbewerbsvorteil des kommenden Jahrzehnts. Lokales RAG löst den Konflikt zwischen technologischer Innovation und rechtlicher Compliance."

2. Was ist Enterprise RAG und warum lokal?

Das Konzept von Retrieval-Augmented Generation (RAG) ist die Antwort auf die größte Schwachstelle klassischer LLMs: das Fehlen von aktuellem, firmeneigenem Kontextwissen. Ein standardmäßiges Sprachmodell weiß nichts über Ihre internen Projektdateien, Lieferantenverträge oder IT-Dokumentationen. Es neigt dazu, bei Wissenslücken plausible, aber sachlich falsche Antworten zu erfinden (sogenannte Halluzinationen).

RAG löst dieses Problem, indem es dem Modell eine Suchfunktion vorschaltet. Statt das Modell aufwendig und teuer neu zu trainieren, wird ein intelligentes Suchsystem aufgebaut. Wenn ein Nutzer eine Frage stellt, durchsucht das RAG-System zunächst die interne Wissensdatenbank nach den relevantesten Textstellen. Diese Textstellen werden zusammen mit der ursprünglichen Frage an das LLM übergeben. Das Modell fungiert dann wie ein intelligenter Analyst: Es liest die bereitgestellten Dokumente und formuliert auf dieser Basis eine präzise, quellenbasierte Antwort.

Ein lokales Enterprise RAG verlegt all diese Prozessschritte – von der Dokumentenspeicherung über die Vektorsuche bis hin zur Texterstellung – auf firmeneigene Server oder in eine private, in Deutschland gehostete Cloud. Es fließen zu keinem Zeitpunkt Daten ab. Das geistige Eigentum (Intellectual Property, IP) bleibt zu 100% geschützt.

3. Die drei Säulen der lokalen RAG-Architektur

Ein stabiles RAG-System besteht aus drei Kernkomponenten, die nahtlos ineinandergreifen müssen. Im lokalen Umfeld setzen wir auf bewährte Open-Source-Technologien, um Abhängigkeiten zu vermeiden und maximale Flexibilität zu gewährleisten:

4. Vergleich: Cloud-RAG vs. Lokales On-Premise RAG

Bevor wir in die technischen Details einsteigen, lohnt sich ein Blick auf die strategischen Unterschiede der beiden Hosting-Modelle. Unternehmen müssen abwägen, wo sie Prioritäten setzen.

5. Schritt-für-Schritt-Anleitung zur Implementierung

Der Aufbau eines lokalen RAG-Systems gliedert sich in drei Hauptphasen: Datenbank-Setup, lokale KI-Bereitstellung und die Pipeline-Orchestrierung mit n8n.

SQL-Setup für pgvector

Führen Sie die folgenden SQL-Befehle in Ihrer PostgreSQL-Datenbank aus, um die Vektorsuche zu aktivieren und die Tabellenstruktur aufzusetzen:

-- Aktivierung der pgvector-Erweiterung
CREATE EXTENSION IF NOT EXISTS vector;

-- Erstellung der Tabelle für Dokumenten-Chunks
CREATE TABLE IF NOT EXISTS document_chunks (
    id BIGSERIAL PRIMARY KEY,
    document_name TEXT NOT NULL,
    chunk_index INT NOT NULL,
    content TEXT NOT NULL,
    embedding VECTOR(1024), -- 1024 Dimensionen passend für mxbai-embed-large
    metadata JSONB,
    created_at TIMESTAMP WITH TIME ZONE DEFAULT CURRENT_TIMESTAMP
);

-- Index zur Beschleunigung der Ähnlichkeitssuche erstellen (HNSW-Index)
CREATE INDEX ON document_chunks USING hnsw (embedding vector_cosine_ops);

Ollama aufsetzen und Modelle laden

Installieren Sie Ollama auf Ihrem Server. Unter Linux reicht dazu ein einfacher Terminalbefehl. Anschließend laden wir das Sprachmodell Llama 3 und das Embedding-Modell herunter:

# Ollama unter Linux installieren
curl -fsSL https://ollama.com/install.sh | sh

# Starten und Herunterladen des Einbettungsmodells
ollama pull mxbai-embed-large

# Herunterladen des Chat-Modells Llama 3 (8B für Standardserver, 70B für High-End-Hardware)
ollama pull llama3:8b

n8n Pipeline-Konfiguration

Der n8n-Workflow besteht aus zwei Pipelines. Die Ingestion Pipeline überwacht z.B. einen Ordner auf einem Netzlaufwerk. Sobald ein neues PDF abgelegt wird, extrahiert n8n den Text, teilt ihn in Abschnitte von z.B. 1000 Zeichen (mit 200 Zeichen Überlappung) auf, generiert über Ollama die Vektoren und schreibt diese in PostgreSQL. Die Retrieval/Chat-Pipeline nimmt die Fragen der Mitarbeiter über eine Chat-Schnittstelle entgegen, berechnet den Vektor der Frage, sucht in PostgreSQL nach den passenden Chunks und übergibt die gefundenen Texte an das Llama-3-Modell, das die Antwort generiert.

6. Kostenfallen & Performance-Optimierung

Obwohl ein lokaler Server keine laufenden API-Gebühren verursacht, lauern beim Betrieb eines On-Premise RAG-Systems eigene, infrastrukturelle Fallstricke:

7. Sicherheitskonzept und DSGVO-Konformität

Das lokale Hosting schützt Sie vor externen Datenabflüssen. Dennoch müssen Sie das interne System absichern, um den strengen Richtlinien der DSGVO und Sicherheitsstandards wie der ISO 27001 gerecht zu werden:

8. Fazit und strategische Roadmap

Der Aufbau eines lokalen RAG-Systems ist der sicherste und wirtschaftlichste Weg, um KI-Assistenten tief in Ihre B2B-Prozesse zu integrieren. Sie behalten die volle Souveränität über Ihre Firmendaten und profitieren gleichzeitig von der Agilität moderner Sprachmodelle. Ein geordneter Stufenplan sichert den Projekterfolg:

Häufig gestellte Fragen (Glossar)