KI & Datenschutz

RAG Daten anonymisieren, bevor sie in die Vektordatenbank gehen

Wer RAG Daten anonymisieren will, muss vor dem Indexieren ansetzen: Was einmal als Embedding und Text-Chunk gespeichert ist, taucht später in Antworten auf. Diskretio bereinigt die Quelldokumente im Ingest-Schritt.

anonymize.shresponse.json

# Datei anonymisieren, Bericht als JSON

$ curl -X POST "$API/v1/files?response=json" \

-H "x-api-key: $ANON_KEY" \

-F "file=@Arbeitsvertrag_Mueller.pdf" \

-F 'options={"strategy":"placeholder","language":"de"}'

HTTP/1.1 200 OK · x-pages-charged: 3 · x-pages-remaining: 1757

{

"filename": "anonymized.pdf",

"pages": 3,

"report": {

"counts": {

"PERSON": 6,

"ORG": 2,

"ADDRESS": 3,

"IBAN": 1,

"TAX_ID": 1,

"NATIONAL_ID": 1,

"EMAIL": 1

},

"entities": [{ "id": "PERSON_1", "label": "PERSON", "occurrences": 4 }, …],

"warnings": []

},

"content_base64": "JVBERi0xLjcKJeLjz9MKMSAwIG9iago8PC9UeXBl…"

}

# Seite 1 der Ausgabe

Zwischen der [ORG_1] und [PERSON_1], [ADDRESS_1] …

Ihre Formate und die KI-Tools, mit denen Sie danach arbeiten

  • Word
  • Excel
  • PowerPoint
  • Outlook (E-Mails)
  • PDF
  • Scans & Fotos
  • TXT Text & CSV
  • ChatGPT
  • Claude
  • Microsoft Copilot
  • Gemini
  • Mistral
  • DeepL
  • Perplexity

Was in einer RAG-Pipeline personenbezogene Daten enthält

  • Quelldokumente: Verträge, Handbücher mit Ansprechpartnern, Protokolle
  • Text-Chunks, die neben den Vektoren gespeichert werden
  • Metadatenfelder wie Autor, Ersteller, Dateipfad mit Namen
  • Gescannte PDFs, deren Text erst per OCR entsteht
  • Tabellen und CSV-Exporte mit Kundenlisten
  • Kommentare und Änderungsverfolgung in Office-Dateien

So funktioniert es

  1. 1

    Im Ingest anonymisieren

    Jedes Dokument vor dem Chunking an die Diskretio-API senden. Dateien kommen im Originalformat oder als JSON zurück.

  2. 2

    Bereinigt indexieren

    Chunking und Embedding laufen auf dem bereinigten Text. Platzhalter wie [ORG_1] bleiben für die Suche aussagekräftig.

  3. 3

    Antworten ohne Klarnamen

    Das Sprachmodell erhält nur bereinigte Chunks und kann keine Namen wiedergeben, die es nie gesehen hat.

Warum nachträgliches Filtern nicht reicht

Manche Pipelines filtern personenbezogene Daten erst in der Modellantwort. Dann liegen sie aber schon in der Vektordatenbank, in Backups und gegebenenfalls beim Embedding-Anbieter. Löschanfragen nach der DSGVO müssen dann in allen Kopien umgesetzt werden.

Wird bereits beim Ingest anonymisiert, enthält der gesamte Index keine personenbezogenen Daten. Das vereinfacht Berechtigungen, Löschkonzepte und die Wahl des Embedding- und Modellanbieters.

Was mit Platzhaltern verloren geht

Eine Suche nach einem konkreten Kundennamen funktioniert im anonymisierten Index nicht mehr, und Platzhalter wie [PERSON_1] werden pro Dokument vergeben, nicht über Dokumente hinweg. Für Wissensdatenbanken mit Prozessen, Regeln und Fallmustern ist das meist gewünscht; für ein Kunden-CRM mit Namenssuche ist RAG auf anonymisierten Daten das falsche Werkzeug.

Begriffe, die erhalten bleiben sollen, etwa Produktnamen oder Behörden, setzen Sie auf eine Ausnahmeliste. Öffentliche Stellen bleiben standardmäßig stehen.

FAQ

Häufige Fragen. Kurz beantwortet.

Probieren Sie es mit Ihrem eigenen Dokument

10 Seiten pro Monat sind kostenlos. Kein Abo, keine Kreditkarte.