KI in der Evaluierung: Möglichkeiten, Grenzen und ethische Fragen

Künstliche Intelligenz verändert die qualitative Evaluierung tiefgreifend, bleibt aber ein Werkzeug, das nur in klaren Grenzen und unter strenger Beachtung ethischer und rechtlicher Leitplanken verantwortbar ist. Für Evaluierungsteams in der Entwicklungszusammenarbeit eröffnet KI neue Spielräume für Effizienz und Mustererkennung, ohne den Bedarf an fachlicher Urteilsbildung und Kontextwissen zu ersetzen.

Was KI in qualitativer Evaluierung leisten kann

KI gestützte Tools für Textanalyse, Natural Language Processing und thematisches Clustering können große Mengen an Interviews, Fokusgruppen oder Freitextkommentaren schneller strukturieren als klassische manuelle Codierung. Sie identifizieren wiederkehrende Themen, Stimmungen und Zusammenhänge, die Evaluierenden als Ausgangspunkt für vertiefte interpretative Analyse dienen können.

Praktische Einsatzfelder in der Internationalen Zusammenarbeit:

• Transkription, Übersetzung und erste thematische Codierung von Interviews und Workshops.
• Schnellanalysen von Online Konsultationen, Beschwerdemechanismen oder offenen Umfrageantworten.
• Evidence Mining in umfangreichen Evaluierungsarchiven, etwa zur Vorbereitung von Portfolio Evaluierungen.

Methodische Grenzen und Risiken

Qualitative Evaluierung beruht auf Kontextsensibilität, Mehrstimmigkeit und reflektierter Subjektivität, die KI Modelle nur begrenzt nachvollziehen. Automatisierte Codierung kann implizite Bedeutungen, Machtasymmetrien oder ironische, vorsichtige und widerständige Äußerungen falsch deuten und so systematische Verzerrungen produzieren.

Kritische Schwachstellen

• Black-Box Logiken erschweren Nachvollziehbarkeit und Auditierbarkeit von Codierungsentscheidungen.onlinelibrary.
• Training auf Datensätzen aus dem Globalen Norden kann Perspektiven aus Partnerländern systematisch unterbewerten oder verzerren.
• Überschätzung von KI Output gefährdet triangulative Standards und kann zur Marginalisierung unbequemer Minderheitenstimmen führen.

Ethische Leitplanken in der EZ

Europäische Leitlinien zu vertrauenswürdiger KI und der neue AI Act verlangen menschenzentrierte, transparente und faire KI Systeme, insbesondere bei hochrisikoreichen Anwendungen. Für Forschung und Evaluierung empfehlen aktuelle Richtlinien, generative KI nur unter strengen Auflagen und mit klarer Verantwortungskette einzusetzen.

Zentrale ethische Fragen

• Datenschutz und Vertraulichkeit bei sensiblen qualitativen Daten zu Gewalt, Machtmissbrauch oder Diskriminierung.
• Informierte Einwilligung, inklusive transparenter Information darüber, ob und wie KI bei Transkription, Analyse oder Berichtserstellung eingesetzt wird.
• Fairness und Nichtdiskriminierung, insbesondere im Umgang mit marginalisierten Gruppen, Sprachvarianten und kulturell kodierten Bedeutungen.

Rollenverteilung Mensch KI im Evaluierungsprozess

Ethische Rahmenkonzepte wie human centered AI verlangen, dass KI Systeme unter wirksamer menschlicher Aufsicht bleiben und Entscheidungen nicht automatisiert getroffen werden. Für qualitative Evaluierung bietet sich ein klarer Zuschnitt an Analystenrolle, in der KI Vorschläge liefert, während Design, Wertung und Nutzung der Ergebnisse bei menschlichen Fachkräften bleiben.

Praktische Prinzipien

• KI zur Co-Analyse für Erstsortierung, nicht als primäre Interpretin oder Entscheidungsträgerin.
• Systematische Gegenprüfung von KI Ergebnissen durch gemischte Teams mit lokalem Kontextwissen, um Bias zu erkennen und zu korrigieren.
• Dokumentation aller KI Nutzungsschritte in Evaluierungsberichten, um Nachvollziehbarkeit und kritische Diskussion zu ermöglichen.

Handlungsempfehlungen für Evaluierungseinheiten

Evaluierungseinheiten in Ministerien, Durchführungsorganisationen und NRO sollten eigene Leitlinien für KI in Evaluierungen entwickeln, die sich an internationalen Ethik und Rechtsrahmen orientieren. Parallel braucht es gezielten Kapazitätsaufbau, um Fachkräfte in die Lage zu versetzen, Potenziale, Grenzen und Risiken von KI reflektiert einzuschätzen.

Konkret umsetzbare Schritte

• Erstellung organisationsweiter Richtlinien zur Nutzung von KI in Transkription, Analyse und Berichtserstellung, einschließlich Ausschluss bestimmter sensibler Anwendungsfälle.
• Pilotprojekte, in denen KI Tools in gemischten Teams getestet, methodisch begleitet und systematisch evaluiert werden, bevor sie skaliert werden.
• Aufbau kleiner, interdisziplinärer Governance Strukturen, die technische, methodische, rechtliche und ethische Perspektiven auf KI in Evaluierung zusammenführen.

So kann KI die qualitative Evaluierung in der Entwicklungszusammenarbeit stärken, ohne ihre Grundprinzipien von Kontextsensibilität, Teilhabe und Rechenschaft zu unterlaufen.

Literatur