Ein Blick auf die neueste Validierungsstudie
Die qualitative Datenanalyse steht vor einer Transformation. Während Evaluatorinnen und Evaluatoren seit Jahrzehnten mühsam kausale Behauptungen aus Interviews, Berichten und Stakeholder-Befragungen extrahieren, verspricht Künstliche Intelligenz nun, diesen zeitaufwändigen Prozess grundlegend zu verändern. Doch die zentrale Frage bleibt: Können wir diesen neuen digitalen Assistenten wirklich vertrauen?
Das Causal Map Team um Steve Powell, Gabriele Caldas Cabral und Hannah Mishan hat sich genau dieser Frage gewidmet. Ihre Validierungsstudie „AI-assisted causal mapping: a validation study“, soeben im International Journal of Social Research Methodology veröffentlicht, liefert ermutigende Antworten – und wichtige Differenzierungen.
Die Herausforderung: Kausale Ansprüche systematisch identifizieren
Wer schon einmal hunderte Seiten Interviewtranskripte nach kausalen Zusammenhängen durchforstet hat, kennt das Problem: Die Arbeit ist nicht nur zeitintensiv, sondern auch anfällig für Inkonsistenzen. Verschiedene Codierer identifizieren unterschiedliche kausale Verbindungen, übersehen subtile Hinweise oder wenden Coding-Regeln uneinheitlich an.
Traditionelle qualitative Datenanalyse (QDA) konzentriert sich auf thematische Verbindungen, die oft nachträglich hergestellt werden. Causal Mapping geht einen anderen Weg: Es identifiziert systematisch jede einzelne kausale Behauptung im Text – etwa „Personalfluktuation führte zu Verzögerungen bei der Implementierung“ – und dokumentiert transparent die Quelle und den Kontext.
Der Ansatz: KI als transparenter Low-Level-Assistent
Das entscheidende Prinzip der Studie liegt in ihrer philosophischen Positionierung: Die Forschenden wollen explizit keine „Black Box“ entwickeln, die automatisch ein komplettes Kausalmodell erstellt. Stattdessen setzen sie Large Language Models (LLMs) als transparente Assistenten für klar definierte, niedrigschwellige Aufgaben ein.
Diese Unterscheidung ist fundamental für die Evaluationspraxis. Während Black-Box-Modelle Vertrauen und Nachvollziehbarkeit untergraben, ermöglicht der Ansatz des Causal Map Teams eine vollständige Rückverfolgbarkeit: Jede identifizierte kausale Verbindung ist mit dem Originalzitat und der Quelle verknüpft.
Die Forschenden fragen nicht, ob KI ein gesamtes System modellieren kann, sondern: Ist die Fähigkeit aktueller KI-Modelle, kausale Behauptungen in Texten zu identifizieren, von ausreichender Qualität, um nützlich zu sein?
Die Methodik: Zweistufiger Prozess mit menschlicher Validierung
Der AI-gestützte Workflow umfasst zwei zentrale Funktionen:
- Extraktion: Die KI identifiziert kausale Aussagen im Text und extrahiert Ursache-Wirkungs-Paare mit Quellenangaben. Beispiele umfassen direkte Kausalität („Training verbesserte die Datenqualität“), indirekte Effekte („Verspätete Zahlungen führten zum Rückzug der Partner“) und komplexe Zusammenhänge („Markteinbruch und Dürre führten gemeinsam zu Migration“).
- Strukturierte Zusammenfassung: Die KI organisiert die Befunde in übersichtlichen Formaten, gruppiert ähnliche kausale Verbindungen und zählt Häufigkeiten, um die Stärke der Evidenz zu zeigen.
Entscheidend ist: Der menschliche Evaluator bleibt der Analyst. Die KI liefert strukturierte Datenausgaben, aber die interpretative und evaluative Arbeit – die Beurteilung, ob ein kausaler Zusammenhang tatsächlich besteht – verbleibt bei der Fachperson.
Die Ergebnisse: 85-95% Genauigkeit bei expliziten Claims
Die Validierungsergebnisse sind bemerkenswert. Studien des Bath SDR Teams zeigen, dass AI-gestützte Causal-Mapping-Systeme bei expliziten kausalen Behauptungen in Kombination mit menschlicher Validierung eine Genauigkeit von 85-95% erreichen.
Die KI zeigt besondere Stärken in vier Bereichen:
- Exhaustives Scanning: Die KI übersieht keine expliziten kausalen Aussagen und reduziert damit das Risiko verlorener Erkenntnisse
- Perfekte Konsistenz: Coding-Regeln werden über alle Daten hinweg einheitlich angewendet
- Schnelle Verarbeitung: Große Textmengen können in kurzer Zeit analysiert werden
- Vollständige Transparenz: Jede identifizierte Verbindung ist mit nachvollziehbaren Quellenlinks versehen
Wichtig ist die Differenzierung: Die KI performt besonders gut bei expliziten kausalen Formulierungen. Bei impliziten oder kontextabhängigen kausalen Behauptungen verbessert sich die Leistung durch präzisere Prompts, bleibt aber herausfordernder.
Die Validitätsfrage: Keine automatische Kausalinferenz
Die Studie trifft eine entscheidende methodologische Unterscheidung: Causal Mapping validiert nicht automatisch kausale Zusammenhänge. Es identifiziert und organisiert Evidenz für kausale Verbindungen, die dann durch Evaluatorinnen und Evaluatoren beurteilt werden muss.
Wie das Team betont: „Causal mapping distinguishes carefully between evidence for a causal link and the causal link itself“. Der Ansatz fokussiert darauf, die Stärke der Evidenz für jede kausale Verbindung oder jeden Pfad zu bewerten – eine Aufgabe, die sich vergleichsweise leicht automatisieren lässt.
Dies stärkt mehrere Validitätsdimensionen:
- Konstruktvalidität: Klare operationale Definitionen kausaler Verbindungen werden erzwungen
- Reliabilität: Die Übereinstimmung zwischen Codierern im Team steigt
- Transparenz: Ein auditierbarer Pfad von Daten zu Schlussfolgerungen entsteht
- Glaubwürdigkeit: Systematische, exhaustive Analysen werden nachweisbar
Der empfohlene Workflow: Fünf Schritte zur rigorosen Analyse
Für MEL-Praktikerinnen und -Praktiker schlägt das Team einen strukturierten Fünf-Schritte-Prozess vor:
Schritt 1: Daten vorbereiten
Interviewtranskripte bereinigen und anonymisieren. Identifizierende Informationen entfernen. Texte in Abschnitte von 3-5 Absätzen segmentieren, um die KI-Genauigkeit zu verbessern und Vertraulichkeit zu schützen.
Schritt 2: Claims mit KI extrahieren
Ein klares Prompt-Template verwenden: „Identifiziere alle kausalen Behauptungen. Gib für jede aus: Ursache, Wirkung, Quellenangabe und Typ (explizit/implizit/konditional).“
Schritt 3: Evidenz zusammenfassen
Die KI bitten, ähnliche kausale Verbindungen zu gruppieren und Häufigkeiten zu zählen. Dies hebt gut unterstützte Pfade und Evidenzlücken hervor.
Schritt 4: Menschliche Validierung
Evaluatorinnen und Evaluatoren prüfen jeden extrahierten Claim. Genauigkeit gegen Quelltext prüfen. Kontextuelle Relevanz bewerten. Dieser Qualitätskontrollschritt kann nicht übersprungen werden.
Schritt 5: Causal Map aufbauen
Validierte Verbindungen in Mapping-Software importieren und die visuelle kausale Karte mit Stakeholder-Input aufbauen und verfeinern.
Risiken und ethische Überlegungen: Die Grenzen der Automatisierung
Die Studie verschweigt die Risiken nicht. Drei zentrale Herausforderungen werden identifiziert:
- Vertrauen ohne kritische Prüfung
Ohne rigorose menschliche Validierung riskiert LLM-gestützte Analyse „schlampige“ Forschung, die hochwertig erscheint, aber nicht vertrauenswürdig ist. Forschende könnten KI-Outputs unkritisch akzeptieren, statt sich intensiv mit ihren Daten auseinanderzusetzen. - Bias und Halluzinationen
KI-Modelle können in Trainingsdaten vorhandene Vorurteile verstärken. Sie können zudem plausible, aber nicht verifizierbare Interpretationen fabrizieren. Automatisierte qualitative Softwaretools werden durch Daten, Nuancen und Verzerrungen beeinflusst, die durch algorithmische Logik eingespeist werden. - Mangelnde Interpretierbarkeit
Während das Causal-Mapping-Verfahren selbst transparent ist, bleiben die internen Mechanismen von LLMs eine Black Box. Dies erfordert zusätzliche Reflexivität und dokumentierte Begründungen.
Die Forschenden betonen daher: Automated coding is error-prone / noisy, may have deep biases. Die Lösung liegt in der Kombination von KI-Effizienz mit menschlicher Expertise und epistemologischer Reflexivität.
Implikationen für die Evaluationspraxis: Human-AI-Partnerschaft
Was bedeutet dies für Evaluatorinnen und Evaluatoren? Die Studie liefert drei zentrale Botschaften:
KI ersetzt keine Evaluatoren – sie befähigt sie. Die Technologie übernimmt zeitaufwändige Extraktionsaufgaben und schafft damit Raum für tiefere Interpretation und strategische Analyse.
Rigour erfordert methodische Disziplin. Erfolgreiche Implementierung braucht sorgfältige Methodik, menschliche Aufsicht und ethische Schutzmaßnahmen. Prompts, Validierungsschritte und Limitationen müssen in Methodensektionen dokumentiert werden.
Transparenz ist nicht optional. In Zeiten algorithmischer Entscheidungsfindung müssen Evaluationssysteme nachvollziehbare Audit-Trails bieten, die zeigen, wie Daten zu Schlussfolgerungen führten.
Ausblick: Die Zukunft der Causal Analysis
Die Validierungsstudie des Causal Map Teams markiert einen wichtigen Meilenstein. Sie zeigt, dass AI-gestütztes Causal Mapping bei verantwortungsvoller Nutzung die analytische Strenge und Transparenz stärkt. Die Technologie erlaubt es, große Mengen qualitativer Daten exhaustiv zu analysieren und dabei konsistente Standards zu wahren.
Zugleich unterstreicht die Studie, dass diese Tools nur so vertrauenswürdig sind wie die Menschen, die sie einsetzen. Die Zukunft der Evaluation liegt nicht im Ersetzen menschlicher Expertise durch Algorithmen, sondern in einer produktiven Human-AI-Partnerschaft, die die Stärken beider Seiten kombiniert: die Mustererkennung und Skalierbarkeit der KI mit dem kontextuellen Verständnis, der ethischen Urteilskraft und der interpretativen Tiefe menschlicher Evaluatorinnen und Evaluatoren.
Die zentrale Frage ist damit beantwortet: Ja, wir können KI als Assistenten für Causal Mapping vertrauen – wenn wir sie als das einsetzen, was sie ist: ein leistungsstarkes Werkzeug, das menschliche Analyse unterstützt, aber niemals ersetzt.
Zur Studie: Powell, S., Caldas Cabral, G., & Mishan, H. (2025). AI-assisted causal mapping: a validation study. International Journal of Social Research Methodology. DOI: 10.1080/13645579.2025.2591157
Volltext verfügbar unter: https://www.tandfonline.com/eprint/5HC4P3MMEM3GMXXNN2VM/full?target=10.1080/13645579.2025.2591157
Preprint bei ResearchGate: https://www.researchgate.net/publication/398379200_AI-assisted_causal_mapping_a_validation_study
Dieser Artikel erschien zuerst auf Monitoring & Evaluation & Learning. Text und Bild wurden mit KI unterstützt.