
Bias und Künstliche Intelligenz
Was Voreingenommenheit bedeutet und warum sie ein Problem ist
Der gesamte Recruiting-Prozess hat zum Ziel, eine Stelle mit der perfekten Bewerber:in zu besetzen. Im Idealfall sollten die Kandidat:innen alle erforderlichen Kriterien erfüllen, die die Stelle erfordert.
In der Realität ist das menschliche Urteilsvermögen jedoch leider nur bedingt objektiv. Dadurch spielen in der Recruiting-Praxis auch für die Stelle irrelevante Faktoren, eine nicht unbedeutende Rolle im Auswahlverfahren. So beziehen Personalverantwortliche z.B. die ethnische Zugehörigkeit, das Geschlecht, bekannte Bildungseinrichtungen oder vorherige Arbeitgeber in ihre Entscheidung mit ein – und das oft, ohne dass sie sich dessen bewusst sind. Dieses Verhalten wird deshalb auch „unbewusste Voreingenommenheit“ oder englisch “Bias” genannt.
Zahlreiche Studien haben bestätigt, dass unbewusste Voreingenommenheit im Personalwesen wesentlich zu geringerer Chancengleichheit und zu weniger Diversität auf dem Arbeitsmarkt führt.

Bias und Künstliche Intelligenz
Genau wie eine Personalvermittler:in kann auch KI-basierte Recruiting-Software Vorurteile haben. Um zu verstehen, wie es dazu kommt, müssen wir zunächst das Funktionsprinzip von KI verstehen.
KI-Systeme sind lernende Systeme. Ihnen wird „beigebracht“, eine Vorhersage auf der Grundlage von Trainingsdaten zu treffen. So kann KI beispielsweise lernen, auf der Grundlage früherer Entscheidungen von Personalverantwortlichen vorherzusagen, welche Bewerber:innen für eine Stelle geeignet sein könnten und welche eher nicht. Das System kann lernen, dass eine Bewerber:in mit Kenntnissen in Programmiersprachen für eine Stelle als Softwareingenieur:in geeignet sein könnte. Schließlich wurden in der Vergangenheit Bewerber:innen erfolgreich auf eine Stelle als Softwareingenieur:in vermittelt, die über Erfahrung mit Programmiersprachen verfügt haben.
Das klingt zunächst sehr einfach. Doch es gibt weitere Faktoren, die zu berücksichtigen sind. So sind männliche Beschäftigte in der Technologiebranche häufiger anzutreffen als weibliche Beschäftigte. Berücksichtigt man dann eine mögliche unbewusste Voreingenommenheit von Personalvermittler:innen in der Technologiebranche, die männliche Bewerber leicht bevorzugen, kann das zu einer Überrepräsentation erfolgreicher männlicher Bewerber in den historischen Daten führen. Da die KI aus solchen Daten lernt, kann sie nun fälschlicherweise lernen, dass männliche Bewerber besser für Ingenieurjobs geeignet sind, und somit weibliche Bewerberinnen benachteiligen.
Die neueste Generation von KI-Algorithmen (Deep Neural Networks) ist mathematisch so komplex aufgebaut, dass es beim derzeitigen Stand der Technik unmöglich ist, diese Verzerrungen vollständig zu erkennen und zu beseitigen. Selbst das Vorenthalten jeglicher Geschlechtsinformationen in einem Dokument reicht nicht aus, um das KI-System zu trainieren.
Diese Systeme sind sogar so leistungsfähig, dass sie weitere unvorhergesehene feine Signale aufgreifen, um die Geschlechtsinformationen zu rekonstruieren. So kann ein Algorithmus beispielsweise aus Formulierungen im Lebenslauf (wie „Kapitänin des Frauenschachclubs“) auf das Geschlecht der Bewerberin schließen. Mit diesem abgeleiteten Geschlecht würde der Algorithmus die Voreingenommenheit aus seinen Trainingsdaten beibehalten. Ohne geeignete Werkzeuge und Prozesse würden die Entwickler dieser KI nicht einmal erkennen, dass ihr System nun eine bestehende Voreingenommenheit durchsetzt und diese sogar noch verstärkt.

Verantwortungsvolle KI
Wie KI in der Praxis verantwortungsvoll eingesetzt werden kann
Nachdem wir gesehen haben, wie schädlich KI sein kann, wenn sie unbedacht eingesetzt wird, ist es an der Zeit, sich auf ihren sicheren und ethisch sinnvollen Einsatz zu konzentrieren. Eine solche Künstliche Intelligenz wird als „verantwortungsvolle KI“ bezeichnet. Das Ziel: Wenn KI verantwortungsvoll eingesetzt wird, kann sie Vorurteile abbauen, anstatt sie zu verstärken.
Um dieses Ziel zu erreichen, gibt es zwei zentrale Ansatzpunkte:
- Die KI wird so programmiert, dass sowohl die menschliche als auch die maschinelle Voreingenommenheit berücksichtigt wird.
- Die Voreingenommenheit der KI wird so weit wie möglich abgeschwächt.
Programmieren von Software unter Berücksichtigung von Benutzer- und KI-Bias
Es gibt zahlreiche Beispiele für den erfolgreichen Einsatz von KI-Algorithmen in einer Vielzahl von Anwendungen, bei denen eine Voreingenommenheit unwahrscheinlich ist. Man denke nur an Spam-Filter, maschinelle Übersetzung, Spracherkennung oder das Scannen von MRT-Bildern auf Anzeichen von Krankheiten. All diese Anwendungen sind nur in geringem Maße anfällig für Voreingenommenheit, da sie in einem Bereich genutzt werden, der ohne die Verwendung von sensiblen Daten auskommt. So ist beispielsweise die Entscheidung, ob eine E-Mail Spam enthält, völlig unabhängig von der ethnischen Zugehörigkeit, dem Geschlecht oder der Religion des Nutzers.
Leider gab es in den letzten Jahren auch zahlreiche Beispiele in den Nachrichten, in denen KI voreingenommene Entscheidungen traf. So gab es z.B. eine Bank, die KI entscheiden ließ, ob jemand einen Kredit erhält oder nicht, oder eine Regierung, die KI analysieren ließ, ob jemand ein Risiko für erschlichene Sozialleistungen darstellt oder nicht. Aber wir haben auch schon einige Beispiele von missglücktem, KI-basierten Job-Matching gesehen.
Welchen Fehler hatten all diese Systeme gemeinsam?
Es war die Nachahmung früherer menschlicher Entscheidungen durch KI, und zwar bei Problemen, die sich direkt auf das Leben von Menschen auswirken. Die Entscheidungsfindung bei diesen Beispielen erfordert nämlich neben der Analyse harter Fakten auch gesunden Menschenverstand, Intuition und Empathie. All das kann KI nach dem derzeitigen Stand der Technik (noch) nicht leisten.
Und gerade, weil KI Voreingenommenheit erzeugen oder aufrechterhalten kann, sollten wir uns immer zuerst die Frage stellen, ob Künstliche Intelligenz das geeignete Werkzeug für unsere aktuelle Aufgabe ist. Bei der Lösung von Problemen, bei denen Voreingenommenheit starken Einfluss auf die Problemlösung haben kann, lautet die Antwort meist: NEIN.
Lassen Sie uns diese Problematik nun auf den HR-Bereich beziehen. Bei Textkernel unterteilen wir das Problem des Abgleichs zwischen Bewerbern und Stellen in zwei verschiedene Schritte:
- das Verstehen von Dokumenten
- und den Abgleich selbst.
Wir haben gesehen, dass künstliche Intelligenz die Verzerrungen auf der Basis Ihrer Datensätze erlernen und verstärken kann. Deshalb sollte sie vielleicht nicht für den Algorithmus genutzt werden, der Bewerberdaten abgleicht. Es gibt dafür andere, besser kontrollierbare Algorithmen, die den Abgleich in transparenter und kontrollierbarer Weise durchführen können.
Wenn es jedoch darum geht, Informationen aus einem Lebenslauf oder einer Stellenbeschreibung zu extrahieren, ist das Risiko einer Verzerrung gering, wenn die Datenextraktion mit Hilfe von KI auf verantwortungsvolle Weise geschieht.
Wie lässt sich ein Bias in Künstlicher Intelligenz entschärfen? Die Checkliste
Wann immer KI das richtige Werkzeug für eine Aufgabe ist, ist es wichtig, sie zu kontrollieren und ihren Einsatz genau abzuwägen. Dadurch wird sichergestellt, dass jegliche Voreingenommenheit auf ein Minimum reduziert wird.
In jüngster Zeit haben viele Tech-Giganten wie Google oder IBM Prozesse optimiert, um die Verzerrungen in den Algorithmen für maschinelles Lernen zu verringern. In Anlehnung an diese Unternehmen hat auch Textkernel solche Prozesse in einer Fairness-Checkliste zusammengefasst.
Indem wir dieser Checkliste folgen, sind wir uns aller potenziellen Verzerrungen bewusst, die durch den Einsatz unserer KI entstehen können. Auf dieser Grundlage können wir entscheiden, ob wir Maßnahmen ergreifen müssen, um Voreingenommenheit abzumildern und dafür sorgen, dass wir sichere Software entwickeln.
Vom “J2EE Full Stack Engineer“ bis zum „Java Ninja“ – Ein Beispiel
Schauen wir uns einige Beispiele für diese Maßnahmen im Zusammenhang mit der Normalisierung von Berufen an. In unserem Beispiel wird bei der „Normalisierung“ eine frei formulierte Berufsbezeichnung einem festen Berufsbild zugeordnet. Es gibt zum Beispiel viele Möglichkeiten, „Java Developer“ zu schreiben, von „J2EE Full Stack Engineer“ bis „Java Ninja“ und alles dazwischen.
Für die KI stellt dies ein Problem mit geringerem Risiko für voreingenommenes Handeln dar, da das Ergebnis der Normalisierung von Berufsbezeichnungen nicht durch die ethnische Zugehörigkeit oder Religion einer Person beeinflusst wird, sondern nur durch die freie Berufsbezeichnung. Allerdings könnte das Geschlecht der Person die Qualität dieses KI-basierten Systems beeinflussen. Dies liegt daran, dass „geschlechtsspezifische“ Berufsbezeichnungen in den KI-Trainingsdaten in einer ihrer Formen häufiger vorkommen könnten (z. B. Schauspieler/Schauspielerin, Kellner/Kellnerin).
In diesen Fällen könnte der KI-Algorithmus lernen, eine der Formen „besser“ zu normalisieren als die andere. Eine der Maßnahmen, die wir ergreifen können, ist daher, sicherzustellen, dass die Trainingsdaten für den Algorithmus ausgewogen und repräsentativ sind. Das bedeutet, dass sie die Vielfalt der Daten, auf die wir in einer realen Umgebung treffen können, angemessen repräsentieren sollten.
Sobald wir sichergestellt haben, dass die Trainingsdaten fair und ausgewogen sind, besteht eine weitere Maßnahme darin, die Qualität der Normalisierung für beide Geschlechter getrennt zu testen. Die Werte für beide Gruppen sollten im besten Fall nahe beieinander liegen. Auf diese Weise können wir sicherstellen, dass sowohl weibliche als auch männliche Bewerber dieselben Chancen haben, wenn normalisierte Stellenbezeichnungen für Aufgaben wie das Matching von Bewerbern und Stellen verwendet werden.
Mit den richtigen Maßnahmen kann ein Bias bei diesen „risikoarmen“ KI-Aufgaben gut eingedämmt werden. Je komplexer und für den Bewerbungsprozess wichtiger die Aufgabe jedoch wird (wie der Abgleich von Bewerbern und Stellen), desto komplexer und weniger kontrollierbar müssen auch die KI-Algorithmen werden. Der Umgang mit Vorurteilen in solchen Systemen stellt das System vor eine sehr schwere Aufgabe.
Das Problem der Verzerrung durch KI und warum sich eine KI wie entscheidet, wird immer noch erforscht. Es gibt daher immer noch keine Möglichkeit, ein KI-Modell ohne Verzerrungen für komplexe Aufgaben zu nutzen. Alle Unternehmen, die behaupten, dieses Problem bereits gelöst zu haben, erzählen nur einen Teil der Wahrheit.

Wie Textkernel das Problem der Voreingenommenheit bei KI zu lösen versucht
Das „Verstehen“ von Dokumenten
Suche und Abgleich
Verantwortungsvoller Einsatz von KI in der Textkernel Software
So verringern wir unbewusste menschliche Verzerrungen
Das „Verstehen“ von Dokumenten
Der erste Schritt eines jeden automatisierten Rekrutierungsprozesses besteht darin, die vorhandenen Daten überhaupt zu verstehen. Unser Produkt Extract! ist ein perfektes Beispiel dafür. Ein Dokument zu verstehen bedeutet, in der Lage zu sein, alle relevanten Informationen aus einem Dokument zu extrahieren und sie mit berufsspezifischem Wissen anzureichern.
Wenn wir zum Beispiel einen Lebenslauf analysieren, liest das System nicht nur, welche Berufserfahrung der Bewerber hat, sondern auch, welche Skillsund Abschlüsse er oder sie besitzt usw. (=Daten-Extraktion). Darüber hinaus kann unser System auch die Berufsbezeichnung und die Skills an bestehende Taxonomien anpassen (=Normalisierung), ableiten, in welchem Arbeitsbereich der Kandidat tätig ist, oder wahrscheinliche Skills für diesen Kandidaten ableiten, auch wenn diese Dinge nicht ausdrücklich im Dokument erwähnt werden (=Datenanreicherung).
Wir können den gleichen Prozess der Extraktion und Anreicherung auf eine Stellenausschreibung anwenden, um strukturierte Daten für die Stelle zu generieren. Im Fall von Stellenausschreibungen sind dies Dinge wie das erforderliche Erfahrungsniveau, die Skills, der Abschluss usw.

Suche und Abgleich
Dieses extrahierte und angereicherte Wissen ist ein sehr leistungsfähiges Werkzeug für Suchfunktionen und den Datenabgleich. Das Verständnis eines Dokuments ermöglicht es uns beispielsweise, nur nach beruflichen Skills zu suchen, anstatt das gesamte Dokument nach Schlüsselwörtern abzugleichen; oder wir können nach normalisierten Berufsbezeichnungen suchen, sodass wir den Bewerber finden können – ganz unabhängig davon, wie er/sie seine/ihre Berufsbezeichnung ausgedrückt hat. Dies führt zu einer viel genaueren Suche.
Ein weiteres Beispiel ist die Suche nach abgeleiteten Informationen (z.B. das Erfahrungslevel einer Bewerber:in, auch wenn das in ihrem Profil nicht ausdrücklich erwähnt wurde). Die Anreicherung ist nicht nur für Dokumente, sondern auch für Suchanfragen nützlich. So können wir beispielsweise Synonyme oder verwandte Begriffe in die Suchanfrage aufnehmen.
Wenn wir alle Qualifikationen der Bewerber:innen und alle Anforderungen für Stellenausschreibungen kennen, können wir einen weiteren Schritt automatisieren: den Datenabgleich. Dazu generieren wir automatisch eine Suchanfrage für ein Dokument.
Angenommen, wir wollen alle geeigneten Kandidat:innen für eine bestimmte Stelle finden, dann wird die Suchanfrage alle erforderlichen und gewünschten Kriterien für diese Stelle enthalten. Jedes Kriterium wird entsprechend gewichtet, um die Qualität der Ergebnismenge der Suchanfrage zu optimieren.

Verantwortungsvoller Einsatz von KI in der Textkernel Software
Warum ist das alles wichtig? Nun, das Wichtigste: KI übernimmt nicht das Matching. Der Abgleich wird in einer begriffsbasierten Suchmaschine durchgeführt. Wir setzen leistungsstarke KI-Algorithmen nur für das Verstehen von Dokumenten ein (um Informationen zu extrahieren und Dokumente und Abfragen anzureichern), überlassen den Abgleich aber transparenteren und besser kontrollierbaren Algorithmen. Auf diese Weise geben wir der Recruiter:in die volle Kontrolle über den Abgleich und profitieren von unseren KI-gestützten, weltweit führenden Parsing-Fähigkeiten.
Aber auch bei der Verwendung transparenter und kontrollierbarer Algorithmen können durch sprachliche Merkmale Verzerrungen auftreten. So werden beispielsweise bei einer einfachen begriffsbasierten Suche nach „Kellner“ männliche Bewerber für diese Stelle bevorzugt, da die Stellenbezeichnung per Definition männlich ist. Die Anreicherung von Suchanfragen und Fragen zum Datenabgleich hilft, diese Art von Verzerrung zu verringern.
Beim Recruiting für eine Kellnerstelle wird die Abfrage automatisch mit der Berufsbezeichnung Kellnerin angereichert, um die geschlechtsspezifische Verzerrung zu beseitigen, die mit dieser Berufsbezeichnung einhergeht. Ein ähnlicher Abbau von Verzerrungen lässt sich durch die Normalisierung von Berufsbezeichnungen (wie zuvor beschrieben) und die Normalisierung von Skills und deren Verwendung in Abfragen erreichen: Dadurch wird sichergestellt, dass das Konzept immer gefunden wird, unabhängig davon, wie die Bewerber:innen einen Skill oder eine frühere Erfahrung ausdrückt.
Um jegliche Voreingenommenheit zu kontrollieren, die in den KI-gestützten Schritten zum „Verstehen“ des Prozesses entstehen könnte, setzen wir unsere Fairness-Checkliste ein.

So verringern wir unbewusste menschliche Verzerrungen
Ein vollständig kontrollierbarer und transparenter Abgleich hat noch einen weiteren Vorteil: Durch den Abgleich anhand objektiver Kriterien können wir unbewusste Voreingenommenheit von Personalverantwortlichen abmildern. Dadurch werden Chancengleichheit und Diversität in Personalprozessen erhöht.
Aktuelle Forschungsergebnisse deuten darauf hin, dass KI, wenn sie sorgfältig eingesetzt wird, Diskriminierung verhindern [4] und sogar die Messlatte für unvoreingenommene, ethische menschliche Entscheidungen höher legen kann [5].
Selbstverständlich kann der Benutzer bei der Suche mit Textkernel Search! auch nicht nach diskriminierenden Merkmalen wie Geschlecht oder Religion suchen.


Verantwortungsvolle KI
Unsere KI-Prinzipien
Unser Ansatz für verantwortungsvolle KI wird durch unsere KI-Prinzipien bestimmt.
Von Menschen gesteuerte KI
Menschen haben die Kontrolle über unsere Lösungen und wissen, was sie tun, um die angestrebten Ergebnisse zu erzielen. Unsere KI trifft keine Entscheidungen für Sie, sondern macht Ihre Arbeit effizienter, indem sie Ihnen zeitaufwändige Prozesse abnimmt. Unsere Produkte sind so konzipiert, dass unsere Nutzer die von der Technologie gelieferten Vorschläge jederzeit bewerten und überstimmen können und somit die letzte Entscheidungsgewalt behalten.
Transparenz der Ergebnisse und White-Box-KI-Ansatz
Unsere KI und die Funktionsweise unserer Lösungen soll stets erklärbar sein. Bei komplexeren Aufgaben, wie z. B. dem Abgleich von Bewerber:innen und Stellen, ist uns eine hohe Transparenz und Nachvollziehbarkeit wichtig. Unsere Lösung kann deshalb genau angeben, welche Kriterien für einen Abgleich genutzt wurden. Endnutzer:innen können Ergebnisse so selbst interpretieren, verstehen und beeinflussen.
Diversität zählt
Das Matching auf der Grundlage objektiver, messbarer Kriterien reduziert oder beseitigt sogar vollständig Voreingenommenheit in Ihrem Rekrutierungsprozess. Unsere Lösung lässt alle Eigenschaften von Bewerberinnen und Bewerbern außer Acht, die für die erfolgreiche Ausführung der Aufgabe irrelevant sind (z. B. Geschlecht, ethnische Zugehörigkeit, Alter usw.). Auf diese Weise fördert unsere Software die Vielfalt und Integration in Ihrem Unternehmen.
Zuverlässiger Datenschutz und Sicherheit
Um die Vertrauenswürdigkeit unserer KI zu gewährleisten, haben wir leistungsstarke und effektive Sicherheitsmaßnahmen und -mechanismen eingerichtet, um (personenbezogene) Daten bei der Anwendung unserer Software jederzeit vor potenziellen Angriffen zu schützen.