ChatGPT und LLMs: Das nächste Kapitel der KI-Reise von Textkernel

KI ist seit jeher die Methode unserer Wahl, wenn es darum geht, Personalauswahl-, Recruiting- und HR-Prozesse zu beschleunigen. Wir haben bereits vor über 20 Jahren Pionierarbeit im Bereich „Personalbeschaffung durch KI“ geleistet und beobachten seitdem nicht nur die weiteren Entwicklungen, sondern wenden sie auch an. Und das nicht nur, weil es sich um eine spannende Technologie handelt: KI macht unsere Kunden tatsächlich effektiver! Unabhängig davon, ob es darum geht, die Dateneingabe von Lebensläufen oder Stellenangeboten zu automatisieren, Kandidatinnen und Kandidaten für Stellen in die engere Auswahl zu nehmen oder Marktanalysen zu ermöglichen, KI-gesteuerte Software kann die Prozesseffizienz erheblich verbessern. Im Laufe der Zeit haben wir gelernt, dass neue Entwicklungen im Bereich der künstlichen Intelligenz der Schlüssel sind, um die Qualität dieser Systeme immer weiter zu verbessern.

Bei all dem Medienrummel in diesen Tagen wird oft übersehen, dass es KI schon seit der Erfindung von Computern gibt. Was sich im Laufe der Jahre geändert hat, sind die KI-Algorithmen, mit denen Computer intelligent gemacht werden.

Die Anfänge

Die KI-Algorithmen der 1980er Jahre bestanden aus einer Reihe von fest codierten Annahmen und Regeln, die von Experten aufgestellt wurden. Es handelte sich um Regeln wie „wenn ein Lebenslauf eine 10-stellige Zahl enthält, muss es sich um eine Telefonnummer handeln“ oder „was immer auf die Zeichenfolge ‚Name:‘ folgt, ist der Name einer Person“. Es hat sich jedoch herausgestellt, dass Sprache zu komplex ist, um mit derartigen Regeln erfasst werden zu können (Telefonnummern können beispielsweise mit Bindestrichen zwischen den Ziffern geschrieben werden, die Zeichenfolge „Name:“ steht im Englischen auch in „School Name:“). Regelbasierte KI-Systeme neigen dazu, zu einem großen Stapel mit Ausnahmen von Ausnahmen zu werden. Damit sind sie fehleranfällig und schwer zu pflegen. Eine praktische Anwendung derartiger Systeme war nicht realisierbar.

Statistisches Machine learning

In den späten 1990er Jahren brachte das statistische Machine Learning die Wende. Anstatt Regeln manuell aufzustellen, können statistische Algorithmen (beispielsweise die Hidden Markov Models in den frühen 2000er Jahren) Regeln und Muster aus kommentierten Daten ableiten. Diese Regeln sind in der Regel besser als manuell entwickelte. Sie schaffen das richtige Gleichgewicht zwischen spezifischen und verallgemeinerbaren Ergebnissen und nutzen Muster in den Daten, die Menschen nicht erkannt hätten. Durch den Einsatz von Modellen des maschinellen Lernens in Kombination mit verschiedenen umfangreichen Datenquellen erreichte Textkernel bei den zu lösenden Problemen die beste Genauigkeit.

Introducing Deep Learning

Die frühen Modelle des Machine Learnings hatten jedoch noch ihre Grenzen. Sie waren nicht in der Lage, umfangeichen Kontext zu verarbeiten, und stützten sich nach wie vor stark auf menschliches Fachwissen, insbesondere darauf welche Signale/Merkmale für bestimmte Probleme relevant sind. Um zu verstehen, was ein bestimmtes Wort bedeutet, berücksichtigen sie im Grunde nur Wörter aus der unmittelbaren Umgebung dieses Worts. Um einen Lebenslauf oder eine Stellenanzeige zu verstehen, muss man jedoch den Kontext des gesamten Absatzes oder gegebenenfalls des gesamten Dokuments kennen.

Deshalb haben wir unsere Modelle weiterentwickelt und mit einer speziellen maschinellen Lerntechnologie erweitert: Deep Learning. Die damit verbundenen komplexeren neuronalen Netze ermöglichten eine wesentlich kontextbezogenere Erfassung des Inhalts von Dokumenten. Darüber hinaus konnten diese Systeme eigenständig ermitteln, welche Textmerkmale für die Lösung einer bestimmten Aufgabe relevant sind. Deep Learning eroberte in den 2010er Jahren die akademische Welt im Sturm, und im Jahr 2017 war es ausgereift genug, um bei geschäftlichen Problemstellungen angewendet zu werden. Die Anwendung beim Parsing führte zu einer weiteren erheblichen Steigerung unserer Genauigkeit.

In letzter Zeit haben wir eine der bisher bahnbrechendsten Entwicklungen in der Sprachtechnologie genau verfolgt. Es handelt sich um Large Language Models (LLMs), die Technologie hinter ChatGPT, und ihre beeindruckende Fähigkeit, nahezu jede Sprachaufgabe unter Einsatz des gesamten im Internet verfügbaren Wissens zufriedenstellend zu lösen.

Was sind LLMs und warum funktionieren sie so gut?

Language Models sind KI-Systeme, die ein überraschend einfaches Ziel verfolgen: die „Simulation“ von Sprache. Bei einer gegebenen Folge von Wörtern besteht ihre Aufgabe darin, das Wort vorherzusagen, das mit höchster Wahrscheinlichkeit folgen wird. „Geldautomat“ ist beispielsweise das Wort, das mit höchster Wahrscheinlichkeit auf die Wortfolge „Ich habe Geld abgehoben am …“ folgen wird. Sprachmodelle gibt es schon seit etwa 30 Jahren. In den letzten Jahren wurden Sprachmodelle unter Verwendung immer größerer neuronaler Netze mit einem speziellen Mechanismus (Transformer) und unter Verwendung von immer mehr Sprachdaten erstellt (siehe Tabelle unten). Es stellte sich heraus, dass diese Large Language Models (LLMs) Fähigkeiten entwickeln, die sogar ihre Schöpfer überrascht haben:

• Durchführung von Sprachaufgaben: Mit der „Simulierung“ von Sprache können sie sehr gut Sprachaufgaben lösen. Sie können qualitativ hochwertige Texte erstellen, Texte zusammenfassen, Texte nach Stilvorgabe umschreiben usw.
• Codierung von Weltwissen: Sprache kann nicht zufriedenstellend simuliert werden, wenn Hintergrundwissen fehlt. Beispielsweise kann kein guter Text über Obama erstellt werden, wenn man nicht weiß, dass er Präsident der USA war. LLMs erfassen und präsentieren dieses Wissen auf geradezu magische Weise, indem sie einfach extrem viele Texte lesen.
• Einige kognitive Fähigkeiten: LLMs versuchen, Text zu simulieren, der ursprünglich manuell von Menschen erstellt wurde, indem sie verschiedene kognitive Fähigkeiten anwenden: Inferenz- und Deduktionsmechanismen, einfache Schlussfolgerungen usw. LLMs scheinen solche Fähigkeiten zu entwickeln oder zumindest zu imitieren, um erfolgreich Text simulieren zu können. Die Hypothese lautet, dass die Größe des neuronalen Netzes und der Aufmerksamkeitsmechanismus ausschlaggebend für die Qualität der Ergebnisse sind. Da zu ihren Trainingsdaten auch Computerprogramme, ihre Dokumentation und der sie umgebende Text gehören, sind die LLMs außerdem erstaunlich gut darin, Softwarecode zu generieren. LLMs können sogar neue Fähigkeiten erlernen.

Die wichtigsten Zutaten für LLMs

Es zeigt sich, dass für LLMs das Sprichwort gilt: „Wenn es wie eine Ente aussieht, wie eine Ente schwimmt und wie eine Ente quakt, dann ist es wahrscheinlich eine Ente“. Mit anderen Worten: Durch die Simulation der menschlichen Sprache sind diese Systeme sehr gut darin

LLMs im Recruiting: Potenzial und Grenzen

Die HR-Medien werden mit Vorschlägen überschwemmt, wie ChatGPT und ähnliche Tools zur Rationalisierung von Arbeitsabläufen eingesetzt werden können. Die Ideen reichen von der automatischen Erstellung von Inhalten (Stellenangebote, Fragen für Vorstellungsgespräche, Marketinginhalte) bis hin zu einer verbesserten Auswahl der Bewerberinnen und Bewerber und einer automatisierten Kommunikation. Auch wenn einige davon erfolgversprechender sein werden als andere, ist es sicher, dass das Recruiting und das Personalwesen zu den vielen Bereichen gehören, die von dieser neuen KI-Technologiegeneration beeinflusst, wenn nicht gar revolutioniert werden.

Neben der Entwicklung neuer innovativer Produkte werden LLMs auch dazu beitragen, dass bestehende KI-basierte Tools eine höhere Genauigkeit erreichen und die Nutzererfahrung verbessern. Das gilt auch für unsere Software: So wie wir festgestellt haben, dass frühere KI-Entwicklungen zu erheblichen Qualitätsverbesserungen geführt haben, werden LLMs mit Sicherheit die Qualität unserer Software für das Erfassen von Dokumenteninhalten, die Auswahl und den Abgleich von Bewerberinnen und Bewerbern, die Datenanreicherung und die Analyse verbessern. In den nächsten Teilen dieser Blogreihe werden wir darüber berichten, wie wir die Technologie derzeit nutzen und was noch auf uns zukommt.

Verläuft die Entwicklung zu schnell?

Da wir uns seit über zwei Jahrzehnten mit KI-gesteuerten innovativen Technologien beschäftigen, sind wir uns bei Textkernel bewusst, dass technologische Durchbrüche auch mit Nachteilen verbunden sein können. Und wir sind nicht die ersten, die darauf hinweisen, dass der Einsatz von Technologien wie ChatGPT mit Einschränkungen und Risiken verbunden ist. Es gibt technische Einschränkungen hinsichtlich der Skalierbarkeit und der Kosten. Die Erstellung von LLMs ist beispielsweise ein sehr komplexer und teurer Prozess. Es wird geschätzt, dass es OpenAI 4 Millionen Dollar gekostet hat, GPT-3 zu trainieren. Zu beachten ist, dass ChatGPT auf der noch neueren Version, GPT-3.5, basiert. Zumindest für die nahe Zukunft ist zu erwarten, dass Unternehmen LLMs von einer kleinen Anzahl von Anbietern nutzen werden, anstatt selbst ein LLM zu entwickeln. Der Betrieb von LLMs ist auch kostspielig, was sich wiederum auf die Kosten der darauf aufbauenden Dienste auswirkt.

Schließlich, und das sollte nicht unterschätzt werden, gibt es berechtigte Bedenken hinsichtlich Datenschutz, Transparenz und Objektivität. Diese Bedenken müssen sehr ernst genommen werden, und die verschiedenen geplanten Rechtsvorschriften zur künstlichen Intelligenz, wie das EU-Gesetz zur künstlichen Intelligenz und das NY AEDT-Gesetz werden dazu beitragen, dass sie berücksichtigt werden. Bleiben Sie dran und erfahren Sie im nächsten Teil dieser Blogserie mehr darüber, wie LLMs mit der KI-Gesetzgebung zusammenhängen und wie wir LLMs unter Einhaltung von Compliance-Regeln mit modernster Innovation verbinden werden.

Bleiben Sie dran und erfahren Sie im nächsten Teil dieser Blogserie mehr darüber, wie LLMs mit der KI-Gesetzgebung zusammenhängen und wie wir LLMs unter Einhaltung von Compliance-Regeln mit modernster Innovation verbinden werden.