LENNON Language Solutions
Digital und auf Papier · Verarbeitung in der EU

Datenaufbereitung für KI-Systeme: damit Ihr Bestand auch gefunden wird

Die meisten RAG-Projekte scheitern nicht am Modell, sondern am Bestand. Verträge als reine Bilddateien, OCR von 2011, Tabellen, die beim Chunking zerfallen, personenbezogene Daten, die gar nicht ins System dürfen. Wir bringen Ihre Dokumente in einen Zustand, in dem sie zuverlässig auffindbar sind.

Bestandsaufnahme anfragen Verarbeitung ausschließlich in der EU · auch Papierakten · Wie RAG funktioniert
EU
Verarbeitung in der EUKeine Übermittlung in Drittstaaten, AVV nach Art. 28 DSGVO.
§
BerufsgeheimnisVerpflichtung aller Mitwirkenden, auch bei Mandantenunterlagen.
DE
Mehrsprachige BeständeMehrere Sprachen in einem Korpus, terminologisch abgeglichen.
A
Auch PapieraktenDigitalisierung im Haus, keine Versendung an Dritte.

Warum Dokumentenbestände in RAG-Systemen scheitern

Sechs Ursachen, von denen in fast jedem Bestand mehrere zugleich auftreten.

Diagnose

Das Modell ist selten das Problem

Wer ein Sprachmodell auf den eigenen Dokumentenbestand setzt, erwartet Antworten aus dem eigenen Haus. Was häufig herauskommt, sind unvollständige oder falsche Treffer. Die Ursachen liegen fast immer im Bestand, nicht im System.

Solche Systeme arbeiten nach dem Prinzip Retrieval Augmented Generation, kurz RAG: Vor der Antwort sucht das System passende Ausschnitte aus Ihrem Bestand und übergibt sie dem Modell als Grundlage. Die Qualität der Antwort hängt damit unmittelbar davon ab, ob die richtigen Ausschnitte gefunden werden. Wird ein Dokument nicht gefunden, existiert es für das System nicht.

  • Kein Textlayer. Gescannte PDF-Dateien enthalten Bilder, keinen Text. Für ein Retrieval-System ist die Datei leer.
  • Alte OCR. Texterkennung aus den 2010er Jahren erreicht Raten, die auf dem Papier gut aussehen. Eine Erkennungsrate von 92 Prozent klingt gut. Sie bedeutet, dass in jedem Absatz mehrere Wörter falsch sind, oft gerade die Eigennamen und Zahlen, nach denen gesucht wird.
  • Layout. Tabellen, mehrspaltige Seiten und Fußnoten zerfallen beim Chunking, also beim Zerlegen der Dokumente in indexierbare Abschnitte, in Textfragmente ohne Zusammenhang. Eine Tabellenzeile landet ohne ihre Kopfzeile im Index und ist damit wertlos.
  • Keine Metadaten. Ohne Datum, Projekt, Status oder Vertragspartei lässt sich nicht filtern. Das System findet den Vertrag von 2018 statt den gültigen.
  • Dubletten. Fünf Fassungen desselben Dokuments, keine erkennbar aktuell. Das Modell zitiert die falsche.
  • Personenbezogene Daten. Namen, Gehälter, Gesundheitsdaten in Dokumenten, die so nicht in ein durchsuchbares System gehören.

Typische Bestände

Verträge Projektakten Angebote und Kalkulationen Gutachten Technische Dokumentation Berichte und Protokolle Korrespondenz Prüfungsunterlagen
Leistungen

Was wir am Bestand tun

Nicht jeder Bestand braucht alles. Welche Schritte nötig sind, ergibt die Bestandsaufnahme.

  1. BestandsaufnahmeStichprobenanalyse des vorhandenen Materials: Dateiformate, Textlayer, OCR-Qualität, Layoutkomplexität, Dubletten, Metadatenlage, personenbezogene Inhalte. Ergebnis ist ein schriftlicher Befund mit Aufwandsschätzung.
  2. Bereinigung und OCRNeuerkennung ohne verwertbaren Textlayer, Korrektur fehlerhafter Alterkennung, Behandlung von Tabellen und mehrspaltigen Layouts, Dublettenerkennung und Versionsklärung.
  3. Schwärzung und AnonymisierungBeim Schwärzen von Dokumenten, in englischsprachigen Systemumgebungen als PII redaction bezeichnet, kommt es auf die tatsächliche Entfernung der Inhalte an, nicht auf eine optische Überdeckung. Auf Wunsch Pseudonymisierung mit dokumentierter Zuordnung, wenn der Personenbezug erhalten bleiben muss.
  4. Strukturierung und MetadatenEinheitliche Benennung, Datum, Projekt, Dokumenttyp, Status, Sprache und Vertragsparteien als filterbare Felder. Das ist häufig der Schritt mit dem größten Effekt auf die Trefferqualität. Wo die Beziehungen zwischen Dokumenten, Projekten und Beteiligten selbst abgebildet werden sollen, bereiten wir den Bestand für einen Knowledge Graph auf.
  5. Terminologische NormalisierungAbgleich der Benennungen gegen eine freigegebene Terminologie, damit derselbe Sachverhalt im gesamten Bestand gleich heißt.
  6. ÜbergabeAufbereiteter Bestand in dem Format, das Ihr System benötigt, ob für den Import in eine Vektordatenbank (vector database), für eine bestehende Suchlösung oder als strukturierter Dateibestand. Mit Dokumentation der vorgenommenen Änderungen.
Der Unterschied

Terminologie entscheidet über die Trefferqualität

Wie ein solches System technisch arbeitet, erklären wir ausführlich unter RAG und Chunking. Kurz gefasst: Ein Retrieval-System sucht nach Bedeutungsähnlichkeit. Wenn derselbe Sachverhalt im Bestand als fair value, Marktwert und Verkehrswert auftaucht, zerfällt er in drei Konzepte, und die Anfrage findet zuverlässig nur eines davon.

Dasselbe gilt für Produktbezeichnungen, die über zwanzig Jahre dreimal geändert wurden, für Abteilungsnamen nach einer Umstrukturierung und für Funktionsbezeichnungen, die je nach Verfasser anders lauten. Für Menschen ist das lesbar, für ein Retrieval-System nicht.

Genau diese Drift prüfen wir seit Jahren in der Berichterstattung unserer Kunden. Die Terminologie-Drift-Prüfung ist unser Kernprodukt für regulierte Berichte, und sie ist im Kern dieselbe Arbeit: einen Bestand gegen eine freigegebene Benennung abgleichen.

Ein reiner Digitalisierungsdienstleister kann diesen Schritt nicht anbieten. Er setzt voraus, dass jemand den Inhalt fachlich versteht.

Mehrsprachige Bestände

Deutsche Archive enthalten fast immer Dokumente in anderen Sprachen, meist Englisch, häufig auch Französisch, Spanisch oder Niederländisch. In einem gemischten Korpus findet eine deutsche Anfrage die fremdsprachige Antwort oft nicht, weil die Einbettungen über Sprachgrenzen hinweg schwächer greifen.

Wir gleichen die Terminologie über die beteiligten Sprachen ab und kennzeichnen die Sprache als Metadatum. Auf Wunsch ergänzen wir mehrsprachige Begriffslisten, gegen die das System auflösen kann. Unser eigenes Fachgebiet ist Deutsch und Englisch; weitere Sprachrichtungen decken wir über unser Übersetzernetzwerk ab.

Papierbestände

Akten digitalisieren: wenn ein Teil des Bestands noch im Regal steht

Kaum ein Archiv ist vollständig digital. Verträge aus den Neunzigern, Projektakten, Personalunterlagen, Prüfungsordner: Der ältere und oft wertvollste Teil des Bestands liegt auf Papier. Für ein durchsuchbares System ist er damit nicht vorhanden.

Die Aktendigitalisierung erfolgt im eigenen Haus; anschließend führen wir das Material mit dem digitalen Bestand zusammen, in derselben Struktur, mit denselben Metadaten und derselben Terminologie. Es entsteht ein Bestand, nicht zwei.

Für Kanzleien, Steuerberatungen und Praxen ist dabei ein Punkt entscheidend, der bei überregionalen Scandienstleistern schwer zu lösen ist: Mandanten- und Patientenunterlagen verlassen Ihr Haus nicht in einen anonymen Versandprozess. Sie kommen zu einem benannten Ansprechpartner in Münster, der Ihnen bekannt ist und den Sie im Zweifel besuchen können. Bei Berufsgeheimnisträgern nach § 203 StGB ist die sorgfältige Auswahl der mitwirkenden Personen Ihre Pflicht, und diese Auswahl sollten Sie belegen können.

Ob eine Vernichtung des Papiers nach der Digitalisierung möglich ist, hängt davon ab, ob ein GoBD-konformes ersetzendes Scannen erforderlich ist. Daraus ergeben sich zusätzliche Anforderungen an das Verfahren und dessen Dokumentation. Das klären wir, bevor der erste Ordner geöffnet wird, nicht danach.

Typische Bestände

Mandantenakten Projektordner Verträge Prüfungsunterlagen Belege Personalakten Technische Zeichnungen Altarchive

Digitalisierung ist bei uns kein Selbstzweck. Sie ist der erste Schritt, damit der Bestand danach auch auffindbar ist. Ein Stapel durchsuchbarer PDF-Dateien ohne Struktur und Metadaten löst das Problem nicht.

Vertraulichkeit

Lokale KI und Verarbeitung in der EU: wo Ihre Dokumente bleiben

Für die meisten Interessenten ist das die erste Frage, und in vielen Fällen die einzige, die über die Zusammenarbeit entscheidet.

Die Frage nach lokaler KI stellt sich in fast jedem Erstgespräch, und sie hat zwei Ebenen. Die erste ist die Rechenumgebung: Wo laufen Modelle und Werkzeuge, und wohin fließen die Inhalte dabei ab. Die zweite betrifft den Bestand selbst, denn was einmal in einem Index liegt, lässt sich nur schwer wieder herausnehmen.

Die Verarbeitung findet ausschließlich in der Europäischen Union statt. Eine Übermittlung in Drittstaaten findet nicht statt, auch nicht mittelbar über Dienste, die im Hintergrund außerhalb der EU verarbeiten. Eine Vereinbarung zur Auftragsverarbeitung nach Artikel 28 DSGVO stellen wir zur Verfügung.

Soll das spätere System vollständig im eigenen Haus laufen, also lokal oder in Ihrer eigenen Cloud-Umgebung, ändert das an der Aufbereitung nichts. Wir übergeben den Bestand in dem Format, das Ihre Umgebung benötigt. Die Aufbereitung ist von der Wahl des Systems unabhängig, und das ist ein Vorteil: Sie legen sich nicht auf einen Anbieter fest, bevor die Datengrundlage überhaupt steht.

Für die Aufbereitung selbst gilt: Nach der Orientierungshilfe der Datenschutzkonferenz zu RAG-Systemen sind Datenaufbereitung, Erzeugung der Embeddings und Speicherung in der Vektordatenbank jeweils eigene Verarbeitungsschritte mit eigener Rechtsgrundlage, und personenbezogene Daten, die für den Zweck nicht erforderlich sind, sind zu entfernen. Die Schwärzung vor der Indexierung ist damit keine Vorsichtsmaßnahme, sondern Umsetzung des Grundsatzes der Datenminimierung nach Artikel 5 Absatz 1 Buchstabe c DSGVO.

Für Berufsgeheimnisträger nach § 203 StGB, also unter anderem Rechtsanwältinnen, Steuerberater und Ärztinnen, verpflichten wir alle mitwirkenden Personen ausdrücklich zur Verschwiegenheit. Seit 1999 arbeiten wir mit vertraulichen Unternehmensdokumenten, bei einzelnen Kunden bis hin zur Aufnahme in Insiderverzeichnisse.

Der Einstieg: Bestandsaufnahme statt offenem KI-Projekt

Statt eines offenen Projekts steht am Anfang ein abgegrenzter Auftrag: Wir analysieren eine repräsentative Stichprobe Ihres Bestands und liefern einen schriftlichen Befund mit Aufwandsschätzung für die Aufbereitung. Danach entscheiden Sie, ob und in welchem Umfang es weitergeht.

Fester Umfang Fester Preis Schriftlicher Befund Aufwandsschätzung Keine Folgeverpflichtung

Häufige Fragen zur Datenaufbereitung

Drei davon werden in der Praxis regelmäßig falsch beantwortet.

Reicht es nicht, ein schwarzes Rechteck über die Stelle zu legen?

Nein, und das ist einer der häufigsten und folgenreichsten Fehler. Ein schwarzes Rechteck in einer PDF-Datei ist ein Grafikelement, das über dem Text liegt. Der Text selbst bleibt im Dokument erhalten und lässt sich durch Markieren, Kopieren oder mit jedem Extraktionswerkzeug wieder sichtbar machen. Behörden, Gerichte und Kanzleien haben auf diesem Weg wiederholt vertrauliche Inhalte veröffentlicht. Eine belastbare Schwärzung entfernt den zugrunde liegenden Inhalt aus der Datei. Wird ein Bestand für ein KI-System aufbereitet, wiegt das doppelt: Ein Extraktionsschritt liest genau den Text aus, den die Überdeckung verbergen sollte.

Ist Anonymisierung dasselbe wie Pseudonymisierung?

Nein, und der Unterschied hat rechtliche Folgen. Bei einer Anonymisierung ist der Personenbezug nicht mehr herstellbar; nach Erwägungsgrund 26 der DSGVO gelten solche Daten nicht als personenbezogen und fallen nicht mehr unter die Verordnung. Bei einer Pseudonymisierung bleibt der Bezug über eine getrennt gehaltene Zuordnung herstellbar; die Daten bleiben personenbezogen und unterliegen weiterhin allen Pflichten. Beide Verfahren haben ihre Berechtigung, sie sind aber nicht austauschbar. Wer glaubt, anonymisiert zu haben, tatsächlich aber pseudonymisiert hat, hat ein Compliance-Problem, von dem er nichts weiß.

Welche Anforderungen stellt der EU AI Act an unsere Daten?

Für Hochrisiko-KI-Systeme, die mit Daten trainiert werden, stellt Artikel 10 der Verordnung (EU) 2024/1689 Anforderungen an die Daten-Governance, im englischen Text data governance. Sie betreffen ausdrücklich Trainings-, Validierungs- und Testdatensätze und lassen sich nicht ohne Weiteres auf jeden RAG-Dokumentenbestand übertragen, denn ein Abrufbestand ist kein Trainingsdatensatz. Für Betreiber eines Hochrisiko-KI-Systems kann zusätzlich Artikel 26 Absatz 4 relevant sein: Soweit sie die Eingabedaten kontrollieren, müssen diese für den vorgesehenen Zweck relevant und hinreichend repräsentativ sein. Ob Ihr System als Hochrisiko-System einzustufen ist, ist im Einzelfall zu prüfen. Auch außerhalb dieser Einstufung ist eine dokumentierte Aufbereitung sinnvoll, weil sie später die Grundlage für jede Prüfung bildet.

Warum findet unser RAG-System die richtigen Dokumente nicht?

Ein System auf Basis von Retrieval Augmented Generation kann nur zitieren, was es findet. In der Praxis liegt es meist an einer von sechs Ursachen: fehlender Textlayer in gescannten Dateien, fehlerhafte Alterkennung, zerfallende Tabellen und Layouts, fehlende Metadaten zum Filtern, nicht aufgelöste Dubletten und uneinheitliche Benennungen. Häufig treten mehrere zugleich auf. Welche davon in Ihrem Bestand tatsächlich vorliegen, lässt sich an einer Stichprobe feststellen, bevor Aufwand in eine Aufbereitung fließt.

Können Sie auch Papierakten digitalisieren?

Ja, im eigenen Haus. Wir digitalisieren Ordner, Mandantenakten, Projektunterlagen und Altarchive und führen sie anschließend mit dem digitalen Bestand zusammen, in derselben Struktur und mit denselben Metadaten. Der Unterschied zu einem reinen Scandienst liegt danach: Ein Stapel durchsuchbarer PDF-Dateien ohne Struktur, Metadaten und einheitliche Benennungen ist für ein KI-System kaum brauchbarer als der Papierstapel davor.

Müssen wir unsere Akten dafür verschicken?

Nein. Die Digitalisierung findet in unseren Räumen in Münster statt, mit einem benannten Ansprechpartner. Für Kanzleien, Steuerberatungen und Praxen ist das der wesentliche Punkt: Bei Unterlagen von Berufsgeheimnisträgern nach § 203 StGB obliegt Ihnen die sorgfältige Auswahl der mitwirkenden Personen, und diese Auswahl sollten Sie belegen können. Alle Mitwirkenden werden ausdrücklich zur Verschwiegenheit verpflichtet.

Dürfen wir das Papier nach der Digitalisierung vernichten?

Das hängt vom Dokumententyp und von den Aufbewahrungspflichten ab. Für steuerlich relevante Unterlagen setzt eine Vernichtung ein GoBD-konformes ersetzendes Scannen voraus, mit entsprechenden Anforderungen an das Verfahren und eine schriftliche Verfahrensdokumentation. Ob das in Ihrem Fall erforderlich ist, klären wir vor Beginn, nicht im Nachhinein.

Lokale KI: können wir das System später im eigenen Haus betreiben?

Ja, die Aufbereitung ist davon unabhängig. Ob Ihr späteres System lokal, in Ihrer eigenen Cloud-Umgebung oder bei einem Anbieter läuft, ändert an der Bereinigung, Strukturierung und Terminologiearbeit nichts. Wir übergeben den Bestand in dem Format, das Ihre Umgebung benötigt. Das hat einen praktischen Vorteil: Sie müssen sich nicht auf ein System festlegen, bevor die Datengrundlage überhaupt steht.

Verlassen unsere Dokumente die EU?

Nein. Die Verarbeitung findet ausschließlich innerhalb der Europäischen Union statt, auch bei den eingesetzten Modellen und Werkzeugen. Eine Vereinbarung zur Auftragsverarbeitung nach Artikel 28 DSGVO stellen wir zur Verfügung. Auf Wunsch dokumentieren wir die eingesetzte Verarbeitungskette, was bei internen Datenschutzprüfungen regelmäßig verlangt wird.

Können Sie mit Mandanten- oder Patientenunterlagen arbeiten?

Ja. Bei Unterlagen von Berufsgeheimnisträgern nach § 203 StGB verpflichten wir alle mitwirkenden Personen ausdrücklich zur Verschwiegenheit, wie es die Einbindung externer mitwirkender Personen voraussetzt. Die Sorgfaltspflicht bei der Auswahl bleibt bei Ihnen; wir stellen die Unterlagen bereit, die Sie für Ihre Dokumentation benötigen.

Was, wenn ein Teil des Bestands noch auf Papier liegt?

Dann digitalisieren wir ihn und führen ihn mit dem digitalen Bestand zusammen. Die Digitalisierung erfolgt im Haus, die Unterlagen werden nicht an Dritte versandt. Soll das Papier anschließend vernichtet werden, ist zu klären, ob ein GoBD-konformes ersetzendes Scannen erforderlich ist; daraus ergeben sich zusätzliche Anforderungen an das Verfahren und dessen Dokumentation.

Wie groß muss ein Bestand sein, damit sich das lohnt?

Entscheidend ist nicht die Menge, sondern wie oft im Bestand gesucht wird und was eine erfolglose Suche kostet. Ein Ingenieurbüro, das für jedes neue Angebot vergleichbare Projekte der letzten Jahre heraussucht, hat auch bei wenigen hundert Akten einen messbaren Nutzen. Ein selten genutztes Archiv rechtfertigt den Aufwand oft nicht. Die Bestandsaufnahme beantwortet auch diese Frage.

Bestandsaufnahme anfragen

Beschreiben Sie kurz, um welche Art von Dokumenten es geht, wie groß der Bestand ungefähr ist und was Sie damit vorhaben. Wir melden uns noch am selben Werktag.

Anfrage per E-Mail
0251 4844400 try@lennon.de Verarbeitung ausschließlich in der EU