Maschinenbau-KMUs im DACH-Raum ersticken in unstrukturierten Daten: PDF-Handbücher, CAD-Zeichnungen und Service-Protokolle. Multi-modale RAG-Systeme lesen Text und Bild parallel ein und ermöglichen sekundenschnellen Zugriff auf das gesamte Firmenwissen.
Dieser Artikel ist ein vertiefender Fachbeitrag aus unserem Content-Cluster. Entdecken Sie die vollständige Übersicht auf unserer Hauptseite:KI & Automatisierung →
Das Ende der blinden Suche
Im Zeitalter von Agentic AI und Generative Engine Optimization reicht textbasierte Suche nicht mehr aus. Multi-modale RAG-Systeme verbinden Vision-KI mit Vektordatenbanken und machen das gesamte technische Firmenwissen – einschließlich Zeichnungen, Schaltpläne und Tabellen – in Sekunden durchsuchbar.
- Jenseits von Text-RAG: Klassische RAG-Systeme erfassen nur Fließtext. Multi-modale RAG-Systeme lesen zusätzlich CAD-Zeichnungen, Schaltpläne, Tabellen und Fotos ein – das deckt bis zu 60 % des bisher unsichtbaren Firmenwissens im Maschinenbau ab.
- Praxistaugliche Architektur: Eine Pipeline aus OCR/Vision-Processing, Vektor-Embeddings (pgvector) und n8n-Automatisierung lässt sich schrittweise im Mittelstand einführen – ohne sechsstellige Lizenzkosten.
- DSGVO-konform und On-Premise: Sensible Konstruktionsdaten bleiben auf firmeneigenen Servern. Lokale Vision-LLMs wie LLaVA oder Gemma 3 machen Cloud-APIs für die Bildanalyse überflüssig.
1. Das Wissenssilo im Maschinenbau – Wenn Text-Suche versagt
Ein mittelständischer Maschinenbauer mit 150 Mitarbeitern verwaltet typischerweise Zehntausende technischer Dokumente: Konstruktionszeichnungen im DWG- und PDF-Format, Schaltpläne für Steuerungselektronik, Wartungshandbücher mit fotografischen Anleitungen, Prüfprotokolle mit handschriftlichen Notizen und Ersatzteillisten in Tabellenform. Das Kernproblem: Die meisten kritischen Informationen stecken nicht im Fließtext, sondern in Grafiken, Maßketten, Stücklisten und annotierten Zeichnungen.
Klassische RAG-Systeme, wie sie in unserem Grundlagenartikel Lokales Enterprise RAG beschrieben werden, lösen das Textproblem hervorragend. Sie extrahieren Fließtext aus PDFs, zerlegen ihn in Chunks, erzeugen Embeddings und machen ihn über eine Vektordatenbank durchsuchbar. Doch was passiert, wenn ein Service-Techniker fragt: „Zeige mir die Schmierstellenkarte für die Hydraulikeinheit Typ HE-3200"? Die Antwort liegt in einer Explosionszeichnung auf Seite 47 des Wartungshandbuchs – reiner Text-RAG liefert hier null Ergebnisse.
Dieses Phänomen ist kein Randfall, sondern der Normalzustand in der Industrie. Laut Branchenanalysen liegen in produzierenden Unternehmen über 50 % des dokumentierten Wissens in nicht-textuellen Formaten vor: technische Zeichnungen, Fotografien, Tabellen, Flussdiagramme und Schaltbilder. Ein RAG-System, das nur Text versteht, erschließt damit bestenfalls die Hälfte des Firmenwissens.
„Ein RAG-System, das keine Bilder liest, ist wie ein Ingenieur, der nur Romane versteht, aber keine technischen Zeichnungen – es fehlt die Hälfte der Realität."
2. Der Durchbruch durch Multi-Modale LLMs
Die technologische Grundlage für Multi-Modales RAG ist die neue Generation von Vision-LLMs – große Sprachmodelle, die Text und Bilder simultan verarbeiten. Modelle wie GPT-4o, Gemini Pro Vision, LLaVA (Large Language and Vision Assistant) oder das kompakte Gemma 3 können eine CAD-Zeichnung „betrachten" und deren Inhalt in natürlicher Sprache beschreiben: Bauteilbezeichnungen, Maßangaben, Toleranzen, Materialhinweise und Positionsnummern.
Diese Fähigkeit verändert die RAG-Pipeline grundlegend. Statt nur Text zu chunken und zu embedden, verarbeitet ein multi-modales System jede Dokumentseite dreifach:
Text-Extraktion
Fließtext wird wie gewohnt per PDF-Parser oder Tesseract OCR extrahiert. Diese Schicht erfasst Überschriften, Absätze, Fußnoten und maschinenlesbare Tabellen.
Vision-Analyse
Jede Seite wird als Bild an ein Vision-LLM übergeben, das den visuellen Inhalt in eine strukturierte Textbeschreibung überführt: Bauteilnamen, Abmessungen, Positionsnummern und Beziehungen zwischen Komponenten.
Tabellen-Parsing
Strukturierte Tabellen (Stücklisten, Toleranztabellen, Prüfprotokolle) werden separat erkannt und in ein queryfreundliches Format überführt – inklusive Zeilen-/Spaltenstruktur und Verknüpfungen.
Der entscheidende Vorteil: Die Textbeschreibungen aus der Vision-Analyse werden gemeinsam mit dem extrahierten Fließtext in Vektor-Embeddings umgewandelt. So entsteht eine einheitliche, durchsuchbare Wissensbasis, die sowohl auf textuelle als auch auf grafische Anfragen antwortet.
Vergleich: Text-RAG vs. Multi-Modales RAG
- Datenquellen: Nur maschinenlesbarer Fließtext aus PDFs, Word-Dokumenten und Notizen.
- Zeichnungen: Werden komplett ignoriert. Maßangaben, Stücklisten und Annotationen in Grafiken sind unsichtbar.
- Tabellen: Nur einfache Tabellen mit klarer Textstruktur. Komplexe Layouts gehen verloren.
- Abdeckung: Erfasst ca. 40–50 % des dokumentierten Wissens in produzierenden Unternehmen.
- Datenquellen: Text, Bilder, Zeichnungen, Schaltpläne, Fotos, gescannte Dokumente und Tabellen.
- Zeichnungen: Vision-LLMs beschreiben Bauteile, Maße und Positionen. CAD-Inhalte werden durchsuchbar.
- Tabellen: Spezialisierte Parser erkennen auch komplexe, mehrstufige Tabellenstrukturen korrekt.
- Abdeckung: Erfasst potenziell 90–95 % des dokumentierten Firmenwissens.
3. Architektur eines Industrie-RAGs
Die Architektur eines multi-modalen RAG-Systems für den Maschinenbau lässt sich als fünfstufige Pipeline darstellen. Jede Stufe baut auf Open-Source-Komponenten auf, die auch on-premise im DACH-Raum betrieben werden können. Der folgende Architektur-Blueprint zeigt den Datenfluss von der Rohdatei bis zur Antwort:
Architektur-Blueprint: Datenfluss im Multi-Modalen RAG
Dokument-Ingestion: Technische Dokumente (PDF-Handbücher, DWG/DXF-Exporte, fotografierte Typenschilder, gescannte Prüfprotokolle) werden aus Netzlaufwerken, Nextcloud oder DMS-Systemen automatisiert eingelesen. n8n-Trigger überwachen definierte Ordner und starten die Pipeline bei neuen oder geänderten Dateien.
OCR/Vision-Processing: Jede Dokumentseite durchläuft zwei parallele Pfade. Pfad A: Tesseract OCR extrahiert maschinenlesbaren Text. Pfad B: Ein Vision-LLM (z. B. LLaVA 1.6, Gemma 3 oder GPT-4o) analysiert die Seite als Bild und erzeugt eine strukturierte Beschreibung aller visuellen Elemente – Bauteilnamen, Maßketten, Positionsnummern, Schaltzeichen.
Vektor-Speicher (pgvector): Die Vektoren werden zusammen mit dem Originaltext und Metadaten (Dateiname, Seitenzahl, Dokumenttyp, Erstellungsdatum) in PostgreSQL/pgvector gespeichert. HNSW-Indizes beschleunigen die Ähnlichkeitssuche auf Millisekunden-Niveau – selbst bei Hunderttausenden von Chunks.
n8n RAG-Agent + LLM: Bei einer Nutzeranfrage orchestriert ein n8n-Workflow die Suche: Die Frage wird embedded, die Top-k relevantesten Chunks werden aus pgvector abgerufen und zusammen mit der Frage an das LLM (Llama 3, Mistral oder ein Cloud-Modell) übergeben. Das Modell generiert eine quellenbasierte Antwort mit Verweis auf Dokumentname und Seitenzahl.
Experten-Tipp: Hybrid-Ansatz für maximale Qualität
Kombinieren Sie lokale Vision-Modelle (LLaVA für die Massenerkennung) mit einem Cloud-API-Fallback (GPT-4o für besonders komplexe Schaltpläne). Der n8n-Workflow kann automatisch entscheiden: Enthält die Zeichnung mehr als 20 Komponenten? Dann Cloud-Fallback mit anonymisierten Metadaten. So maximieren Sie die Erkennungsqualität, ohne alle Daten in die Cloud zu senden.
Technologie-Stack im Detail
Die folgende Übersicht zeigt die empfohlenen Komponenten für jede Ebene des Stacks. Alle Werkzeuge sind Open Source oder bieten eine kostenlose Self-Hosted-Variante:
PostgreSQL + pgvector / Supabase
Bewährte relationale Datenbank mit Vektorerweiterung. Supabase bietet eine verwaltete Variante mit integriertem pgvector, Edge Functions und Row Level Security – ideal für den schnellen Einstieg.
Ollama + LLaVA / Gemma 3
Ollama orchestriert lokale Modelle per API. LLaVA (13B) oder Gemma 3 (27B) liefern Vision-Fähigkeiten für die Bildanalyse. Für reine Textgenerierung eignet sich Llama 3 (70B quantisiert auf 4-Bit).
n8n (Self-Hosted)
Workflow-Engine mit nativem AI-Agent-Node, pgvector-Integration und über 400 Konnektoren. Orchestriert die gesamte Pipeline ohne Code – von der Dateierkennung bis zur Slack-/Teams-Benachrichtigung.
Tesseract OCR + pdf2image
Open-Source-OCR-Engine für die Textextraktion aus gescannten Dokumenten. In Kombination mit pdf2image (Python) werden PDF-Seiten in Bilder konvertiert, die dann parallel OCR- und Vision-Analyse durchlaufen.
4. Praxis-Beispiel: Modellrechnung Service-Zeiten
Um den Mehrwert eines multi-modalen RAG-Systems greifbar zu machen, betrachten wir eine transparente Modellrechnung für einen mittelständischen Maschinenbauer mit 30 Service-Technikern:
ROI-Modellrechnung: Service-Anfragen mit und ohne Multi-Modal RAG
Ohne Multi-Modal RAG
Manuelles Suchen in Aktenordnern, PDF-Sammlungen und Dateisystemen
~ 12 Min. / AnfrageBei 30 Technikern mit je 8 Anfragen/Tag = 240 Anfragen/Tag. Suchzeit: 2.880 Min./Tag = 48 Personenstunden/Tag. Bei 220 Arbeitstagen und 45 EUR/Std. = 475.200 EUR/Jahr reine Suchkosten.
Mit Multi-Modal RAG
KI-gestützte Suche über Text und Zeichnungen in Sekunden
~ 1,5 Min. / AnfrageGleiche 240 Anfragen/Tag. Suchzeit: 360 Min./Tag = 6 Personenstunden/Tag. Bei 220 Arbeitstagen und 45 EUR/Std. = 59.400 EUR/Jahr Suchkosten. Ersparnis: ca. 415.800 EUR/Jahr (87,5 % Reduktion).
Experten-Tipp: Transparente Herleitung statt Pauschalzahlen
Die obige Modellrechnung basiert auf konservativen Annahmen. In der Praxis variieren die Suchzeiten je nach Dokumentationsqualität und Ordnerstruktur erheblich. Wir empfehlen, vor einem RAG-Projekt die tatsächlichen Suchzeiten im Team zu messen (z. B. 2 Wochen Strichliste) und damit den individuellen Business Case zu berechnen.
Neben der reinen Zeitersparnis ergeben sich weitere strategische Vorteile: Neue Mitarbeiter finden sich deutlich schneller ein (Onboarding-Beschleunigung), erfahrenes Wissen bleibt auch nach dem Ausscheiden von Experten erhalten (Wissenssicherung) und die Fehlerquote bei Service-Einsätzen sinkt, weil Techniker die richtigen Zeichnungen und Spezifikationen sofort finden statt aus dem Gedächtnis zu arbeiten.
Typische Anwendungsfälle im Maschinenbau
Service & Wartung
Techniker suchen per Freitext nach Ersatzteilen, Schmierplänen oder Drehmomentwerten – das System findet die relevante Zeichnung und markiert die Position.
Qualitätssicherung
Prüfprotokolle mit handschriftlichen Anmerkungen und Fotos werden durchsuchbar. Auditoren finden Nachweise in Sekunden statt Stunden.
Konstruktion & Entwicklung
Ingenieure suchen nach Bauteilen mit bestimmten Spezifikationen über Tausende bestehender Zeichnungen – ideal für die Wiederverwertung bewährter Konstruktionen.
Ersatzteil-Management
Stücklisten in Explosionszeichnungen werden automatisch indexiert. Die Suche nach einer Teilenummer liefert sofort die zugehörige Zeichnung, den Lieferanten und den aktuellen Lagerbestand.
5. Datenschutz & On-Premise: DSGVO-konforme Umsetzung
Technische Konstruktionsdaten gehören zum sensibelsten geistigen Eigentum eines Maschinenbauers. CAD-Zeichnungen, Fertigungstoleranzen und Werkstoffspezifikationen sind oft das Ergebnis jahrzehntelanger Entwicklungsarbeit. Die Übermittlung dieser Daten an Cloud-APIs (selbst in verschlüsselter Form) birgt erhebliche Risiken – von Industriespionage bis hin zu DSGVO-Verstößen bei personenbezogenen Daten in Prüfprotokollen.
Ein multi-modales RAG-System lässt sich vollständig on-premise betreiben. Die Schlüsselkomponenten und ihre datenschutzrelevanten Eigenschaften:
Sicherheitsarchitektur für sensible Konstruktionsdaten
Lokale Vision-Modelle
LLaVA und Gemma 3 laufen vollständig lokal auf eigener GPU-Hardware (ab NVIDIA RTX 4090 oder A6000). Kein API-Call, kein Datenabfluss. Die Bildanalyse geschieht im Firmennetzwerk.
Verschlüsselte Vektordatenbank
PostgreSQL unterstützt Transparent Data Encryption (TDE) und SSL-verschlüsselte Verbindungen. Row Level Security stellt sicher, dass nur autorisierte Nutzer auf bestimmte Dokumentklassen zugreifen können.
n8n Self-Hosted mit Zugriffskontrolle
n8n läuft als Docker-Container im Firmennetz. Workflow-Credentials werden AES-256-verschlüsselt gespeichert. Audit-Logs dokumentieren jeden Zugriff auf die RAG-Pipeline. Mehr dazu in unserem Artikel zu n8n Datensouveränität.
Air-Gap-Fähigkeit
Das gesamte System kann in einem Netzwerksegment ohne Internetzugang betrieben werden (Air-Gap). Modell-Updates werden offline per USB oder internem Mirror eingespielt – ideal für Rüstungsindustrie und KRITIS-Unternehmen.
6. Implementierungs-Roadmap
Die Einführung eines multi-modalen RAG-Systems im Maschinenbau folgt einem phasenbasierten Ansatz. Wir empfehlen, mit einem klar abgegrenzten Pilot-Projekt zu starten und das System iterativ zu erweitern:
-
Phase 1: Audit & Datenlandschaft (Woche 1–2)
Bestandsaufnahme der vorhandenen Dokumenttypen, Formate und Speicherorte. Identifikation der 3–5 häufigsten Suchszenarien im Service-Team. Bewertung der vorhandenen Hardware (GPU-Kapazität) und Netzwerkinfrastruktur. Ergebnis: priorisierte Dokumentenliste und Hardware-Empfehlung.
-
Phase 2: Text-RAG-Basis aufbauen (Woche 3–5)
Aufbau der Grundinfrastruktur nach dem bewährten Muster aus unserem Enterprise-RAG-Leitfaden: PostgreSQL/pgvector installieren, Ollama mit Llama 3 konfigurieren, n8n-Workflows für die Text-Pipeline erstellen. Erste Testläufe mit reinen Text-PDFs.
-
Phase 3: Vision-Pipeline integrieren (Woche 6–8)
Integration der Vision-Modelle (LLaVA oder Gemma 3) in die n8n-Pipeline. Konfiguration der parallelen OCR/Vision-Verarbeitung. Einrichtung der Tabellen-Parser. Erste Tests mit Konstruktionszeichnungen und Schaltplänen. Feintuning der Chunk-Größen und Prompt-Templates für die Vision-Analyse.
-
Phase 4: Pilot-Betrieb & Feedback (Woche 9–12)
Rollout an 5–10 Pilotnutzer (Service-Techniker, Konstrukteure). Systematisches Feedback-Tracking: Welche Anfragen liefern gute Ergebnisse? Wo halluziniert das System? Iterative Verbesserung der Prompt-Templates und Chunk-Strategien basierend auf realen Nutzungsdaten.
-
Phase 5: Vollbetrieb & Skalierung (ab Woche 13)
Ausweitung auf alle Abteilungen. Integration in bestehende Chat-Oberflächen (Slack, Teams, eigenes Intranet-Portal). Automatisierte Qualitätssicherung: Regelmäßige Precision/Recall-Tests mit einem Benchmark-Fragenkatalog. Anbindung weiterer Datenquellen (ERP-Stücklisten, MES-Protokolle).
7. Fazit: Vom Papierchaos zur intelligenten Engineering-Assistenz
Multi-modales RAG ist kein theoretisches Zukunftskonzept, sondern eine heute einsetzbare Technologie, die den Zugang zum gesamten technischen Firmenwissen revolutioniert. Für Maschinenbau-KMUs im DACH-Raum bietet die Kombination aus lokalen Vision-LLMs, pgvector und n8n-Automatisierung eine einzigartige Chance: das bisher unsichtbare Wissen in Zeichnungen, Schaltplänen und Tabellen endlich nutzbar zu machen – ohne Daten an Cloud-Anbieter abzugeben.
Der Schlüssel zum Erfolg liegt nicht in einem Big-Bang-Projekt, sondern in einem iterativen Ansatz: Starten Sie mit der bewährten Text-RAG-Basis, erweitern Sie schrittweise um Vision-Fähigkeiten und messen Sie den ROI an konkreten Service-Kennzahlen. Die Technologie ist reif, die Open-Source-Komponenten sind ausgereift und die Förderlandschaft unterstützt genau solche Digitalisierungsprojekte.
Quick-Check: Ihr Weg zum Multi-Modalen RAG
Haben Sie Fragen zu Multi-Modalem RAG im Maschinenbau?
Kostenlose Erstberatung vereinbarenUnsere Expertise vor Ort
Wir sind Ihr digitaler Partner – regional verankert und überregional erfolgreich.
Haben Sie eine Vision?
Lassen Sie uns gemeinsam prüfen, wie wir Ihre Idee zum Fliegen bringen.
Jetzt kostenloses Strategiegespräch buchenErweitertes Fachglossar
Multi-Modales RAG
Eine Erweiterung von Retrieval-Augmented Generation, die neben Text auch Bilder, Diagramme und Tabellen in Vektor-Embeddings überführt und so eine ganzheitliche Suche über alle Dokumenttypen ermöglicht.
Vision-LLM
Ein großes Sprachmodell mit integrierter Bildverstehensfähigkeit (z. B. GPT-4o, Gemini Pro Vision), das Texte und Grafiken simultan analysieren und beschreiben kann.
CAD (Computer-Aided Design)
Computergestützte Konstruktion – Software und Dateiformate für die Erstellung technischer Zeichnungen, 2D-Pläne und 3D-Modelle im Maschinenbau und in der Architektur.
Tesseract OCR
Eine quelloffene Engine zur optischen Zeichenerkennung (OCR), die gedruckten Text in Bildern und gescannten Dokumenten in maschinenlesbaren Text umwandelt.
Embedding
Eine numerische Vektor-Repräsentation von Text, Bildern oder anderen Daten, die semantische Bedeutung in einem hochdimensionalen Raum abbildet und Ähnlichkeitssuchen ermöglicht.
Chunking
Das Aufteilen großer Dokumente in kleinere, semantisch zusammenhängende Abschnitte (Chunks), um sie effizient in einer Vektordatenbank zu speichern und bei Suchanfragen präzise Treffer zu liefern.
