KI ist seit jeher die Methode unserer Wahl, wenn es darum geht, Personalauswahl-, Recruiting- und HR-Prozesse zu beschleunigen. Wir haben bereits vor über 20 Jahren Pionierarbeit im Bereich „Personalbeschaffung durch KI“ geleistet und beobachten seitdem nicht nur die weiteren Entwicklungen, sondern wenden sie auch an. Und das nicht nur, weil es sich um eine spannende Technologie handelt: KI macht unsere Kunden tatsächlich effektiver! Unabhängig davon, ob es darum geht, die Dateneingabe von Lebensläufen oder Stellenangeboten zu automatisieren, Kandidatinnen und Kandidaten für Stellen in die engere Auswahl zu nehmen oder Marktanalysen zu ermöglichen, KI-gesteuerte Software kann die Prozesseffizienz erheblich verbessern. Im Laufe der Zeit haben wir gelernt, dass neue Entwicklungen im Bereich der künstlichen Intelligenz der Schlüssel sind, um die Qualität dieser Systeme immer weiter zu verbessern.

Bei all dem Medienrummel in diesen Tagen wird oft übersehen, dass es KI schon seit der Erfindung von Computern gibt. Was sich im Laufe der Jahre geändert hat, sind die KI-Algorithmen, mit denen Computer intelligent gemacht werden.

Die Anfänge

Die KI-Algorithmen der 1980er Jahre bestanden aus einer Reihe von fest codierten Annahmen und Regeln, die von Experten aufgestellt wurden. Es handelte sich um Regeln wie „wenn ein Lebenslauf eine 10-stellige Zahl enthält, muss es sich um eine Telefonnummer handeln“ oder „was immer auf die Zeichenfolge ‚Name:‘ folgt, ist der Name einer Person“. Es hat sich jedoch herausgestellt, dass Sprache zu komplex ist, um mit derartigen Regeln erfasst werden zu können (Telefonnummern können beispielsweise mit Bindestrichen zwischen den Ziffern geschrieben werden, die Zeichenfolge „Name:“ steht im Englischen auch in „School Name:“). Regelbasierte KI-Systeme neigen dazu, zu einem großen Stapel mit Ausnahmen von Ausnahmen zu werden. Damit sind sie fehleranfällig und schwer zu pflegen. Eine praktische Anwendung derartiger Systeme war nicht realisierbar.

Statistisches Machine learning

In den späten 1990er Jahren brachte das statistische Machine Learning die Wende. Anstatt Regeln manuell aufzustellen, können statistische Algorithmen (beispielsweise die Hidden Markov Models in den frühen 2000er Jahren) Regeln und Muster aus kommentierten Daten ableiten. Diese Regeln sind in der Regel besser als manuell entwickelte. Sie schaffen das richtige Gleichgewicht zwischen spezifischen und verallgemeinerbaren Ergebnissen und nutzen Muster in den Daten, die Menschen nicht erkannt hätten. Durch den Einsatz von Modellen des maschinellen Lernens in Kombination mit verschiedenen umfangreichen Datenquellen erreichte Textkernel bei den zu lösenden Problemen die beste Genauigkeit.

Introducing Deep Learning

Die frühen Modelle des Machine Learnings hatten jedoch noch ihre Grenzen. Sie waren nicht in der Lage, umfangeichen Kontext zu verarbeiten, und stützten sich nach wie vor stark auf menschliches Fachwissen, insbesondere darauf welche Signale/Merkmale für bestimmte Probleme relevant sind. Um zu verstehen, was ein bestimmtes Wort bedeutet, berücksichtigen sie im Grunde nur Wörter aus der unmittelbaren Umgebung dieses Worts. Um einen Lebenslauf oder eine Stellenanzeige zu verstehen, muss man jedoch den Kontext des gesamten Absatzes oder gegebenenfalls des gesamten Dokuments kennen.

Deshalb haben wir unsere Modelle weiterentwickelt und mit einer speziellen maschinellen Lerntechnologie erweitert: Deep Learning. Die damit verbundenen komplexeren neuronalen Netze ermöglichten eine wesentlich kontextbezogenere Erfassung des Inhalts von Dokumenten. Darüber hinaus konnten diese Systeme eigenständig ermitteln, welche Textmerkmale für die Lösung einer bestimmten Aufgabe relevant sind. Deep Learning eroberte in den 2010er Jahren die akademische Welt im Sturm, und im Jahr 2017 war es ausgereift genug, um bei geschäftlichen Problemstellungen angewendet zu werden. Die Anwendung beim Parsing führte zu einer weiteren erheblichen Steigerung unserer Genauigkeit.

In letzter Zeit haben wir eine der bisher bahnbrechendsten Entwicklungen in der Sprachtechnologie genau verfolgt. Es handelt sich um Large Language Models (LLMs), die Technologie hinter ChatGPT, und ihre beeindruckende Fähigkeit, nahezu jede Sprachaufgabe unter Einsatz des gesamten im Internet verfügbaren Wissens zufriedenstellend zu lösen.

Was sind LLMs und warum funktionieren sie so gut?

Language Models sind KI-Systeme, die ein überraschend einfaches Ziel verfolgen: die „Simulation“ von Sprache. Bei einer gegebenen Folge von Wörtern besteht ihre Aufgabe darin, das Wort vorherzusagen, das mit höchster Wahrscheinlichkeit folgen wird. „Geldautomat“ ist beispielsweise das Wort, das mit höchster Wahrscheinlichkeit auf die Wortfolge „Ich habe Geld abgehoben am …“ folgen wird. Sprachmodelle gibt es schon seit etwa 30 Jahren. In den letzten Jahren wurden Sprachmodelle unter Verwendung immer größerer neuronaler Netze mit einem speziellen Mechanismus (Transformer) und unter Verwendung von immer mehr Sprachdaten erstellt (siehe Tabelle unten). Es stellte sich heraus, dass diese Large Language Models (LLMs) Fähigkeiten entwickeln, die sogar ihre Schöpfer überrascht haben:

• Durchführung von Sprachaufgaben: Mit der „Simulierung“ von Sprache können sie sehr gut Sprachaufgaben lösen. Sie können qualitativ hochwertige Texte erstellen, Texte zusammenfassen, Texte nach Stilvorgabe umschreiben usw.
• Codierung von Weltwissen: Sprache kann nicht zufriedenstellend simuliert werden, wenn Hintergrundwissen fehlt. Beispielsweise kann kein guter Text über Obama erstellt werden, wenn man nicht weiß, dass er Präsident der USA war. LLMs erfassen und präsentieren dieses Wissen auf geradezu magische Weise, indem sie einfach extrem viele Texte lesen.
• Einige kognitive Fähigkeiten: LLMs versuchen, Text zu simulieren, der ursprünglich manuell von Menschen erstellt wurde, indem sie verschiedene kognitive Fähigkeiten anwenden: Inferenz- und Deduktionsmechanismen, einfache Schlussfolgerungen usw. LLMs scheinen solche Fähigkeiten zu entwickeln oder zumindest zu imitieren, um erfolgreich Text simulieren zu können. Die Hypothese lautet, dass die Größe des neuronalen Netzes und der Aufmerksamkeitsmechanismus ausschlaggebend für die Qualität der Ergebnisse sind. Da zu ihren Trainingsdaten auch Computerprogramme, ihre Dokumentation und der sie umgebende Text gehören, sind die LLMs außerdem erstaunlich gut darin, Softwarecode zu generieren. LLMs können sogar neue Fähigkeiten erlernen.

Die wichtigsten Zutaten für LLMs

Es zeigt sich, dass für LLMs das Sprichwort gilt: „Wenn es wie eine Ente aussieht, wie eine Ente schwimmt und wie eine Ente quakt, dann ist es wahrscheinlich eine Ente“. Mit anderen Worten: Durch die Simulation der menschlichen Sprache sind diese Systeme sehr gut darin

LLMs im Recruiting: Potenzial und Grenzen

Die HR-Medien werden mit Vorschlägen überschwemmt, wie ChatGPT und ähnliche Tools zur Rationalisierung von Arbeitsabläufen eingesetzt werden können. Die Ideen reichen von der automatischen Erstellung von Inhalten (Stellenangebote, Fragen für Vorstellungsgespräche, Marketinginhalte) bis hin zu einer verbesserten Auswahl der Bewerberinnen und Bewerber und einer automatisierten Kommunikation. Auch wenn einige davon erfolgversprechender sein werden als andere, ist es sicher, dass das Recruiting und das Personalwesen zu den vielen Bereichen gehören, die von dieser neuen KI-Technologiegeneration beeinflusst, wenn nicht gar revolutioniert werden.

Neben der Entwicklung neuer innovativer Produkte werden LLMs auch dazu beitragen, dass bestehende KI-basierte Tools eine höhere Genauigkeit erreichen und die Nutzererfahrung verbessern. Das gilt auch für unsere Software: So wie wir festgestellt haben, dass frühere KI-Entwicklungen zu erheblichen Qualitätsverbesserungen geführt haben, werden LLMs mit Sicherheit die Qualität unserer Software für das Erfassen von Dokumenteninhalten, die Auswahl und den Abgleich von Bewerberinnen und Bewerbern, die Datenanreicherung und die Analyse verbessern. In den nächsten Teilen dieser Blogreihe werden wir darüber berichten, wie wir die Technologie derzeit nutzen und was noch auf uns zukommt.

Verläuft die Entwicklung zu schnell?

Da wir uns seit über zwei Jahrzehnten mit KI-gesteuerten innovativen Technologien beschäftigen, sind wir uns bei Textkernel bewusst, dass technologische Durchbrüche auch mit Nachteilen verbunden sein können. Und wir sind nicht die ersten, die darauf hinweisen, dass der Einsatz von Technologien wie ChatGPT mit Einschränkungen und Risiken verbunden ist. Es gibt technische Einschränkungen hinsichtlich der Skalierbarkeit und der Kosten. Die Erstellung von LLMs ist beispielsweise ein sehr komplexer und teurer Prozess. Es wird geschätzt, dass es OpenAI 4 Millionen Dollar gekostet hat, GPT-3 zu trainieren. Zu beachten ist, dass ChatGPT auf der noch neueren Version, GPT-3.5, basiert. Zumindest für die nahe Zukunft ist zu erwarten, dass Unternehmen LLMs von einer kleinen Anzahl von Anbietern nutzen werden, anstatt selbst ein LLM zu entwickeln. Der Betrieb von LLMs ist auch kostspielig, was sich wiederum auf die Kosten der darauf aufbauenden Dienste auswirkt.

Schließlich, und das sollte nicht unterschätzt werden, gibt es berechtigte Bedenken hinsichtlich Datenschutz, Transparenz und Objektivität. Diese Bedenken müssen sehr ernst genommen werden, und die verschiedenen geplanten Rechtsvorschriften zur künstlichen Intelligenz, wie das EU-Gesetz zur künstlichen Intelligenz und das NY AEDT-Gesetz werden dazu beitragen, dass sie berücksichtigt werden. Bleiben Sie dran und erfahren Sie im nächsten Teil dieser Blogserie mehr darüber, wie LLMs mit der KI-Gesetzgebung zusammenhängen und wie wir LLMs unter Einhaltung von Compliance-Regeln mit modernster Innovation verbinden werden.

Bleiben Sie dran und erfahren Sie im nächsten Teil dieser Blogserie mehr darüber, wie LLMs mit der KI-Gesetzgebung zusammenhängen und wie wir LLMs unter Einhaltung von Compliance-Regeln mit modernster Innovation verbinden werden.

Es kann Ihnen nicht entgangen sein: KI-Tools wie ChatGPT erobern die Welt im Sturm. Sie schlagen auch in HR- und in Recruiting-Medien Wellen mit neuen Ideen zur Rationalisierung von Arbeitsabläufen. Von der Generierung von Inhalten (z.B. Stellenangebote, Fragen in Vorstellungsgesprächen und Marketingmaterialien) bis hin zur KI-gestützten Auswahl von Bewerberinnen und Bewerbern und der Kommunikation mit ihnen gibt es eine Fülle von Ideen. Auch wenn einige davon erfolgversprechender sein werden als andere, ist es sicher, dass das Recruiting und das Personalwesen zu den vielen Bereichen gehören, die von dieser neuen KI-Technologiegeneration beeinflusst, wenn nicht gar revolutioniert werden.

In diesem Blog erklären wir, worum es bei dieser Technologie geht und wie sie sich von früheren KI-Generationen unterscheidet. In weiteren Blogs werden wir uns eingehender mit den Einschränkungen befassen, die Sie beachten sollten, und die Vor- und Nachteile von Anwendungen für die Recruiting-Technologie bewerten.

Eine kurze Geschichte der KI-Innovationen

Der Einsatz von KI-Algorithmen in Recruiting und HR hat sich in den letzten Jahrzehnten beschleunigt. Frühe regelbasierte KI-Systeme aus den 80er Jahren waren aufgrund ihrer Fehleranfälligkeit und schwierigen Wartung nur bedingt einsetzbar. Dies senkte die Qualität der Ergebnisse.

Machine learning

Das änderte sich durch die Einführung von Machine Learning, bei dem statistische Verfahren eingesetzt werden. Damit konnten Sprachaufgaben, beispielsweise die Dateneingabe von Lebensläufen, mit hoher Genauigkeit automatisiert werden. Diese Systeme waren jedoch nur begrenzt in der Lage, den Kontext zu erfassen, und erforderten mehr menschliche Eingriffe als gewünscht.

Deep learning

Diese Nachteile wurden durch eine besondere Art des Machine Learnings, dem so genannten Deep Learning (siehe dazu auch diesen Blogpost und diesen), überwunden. Deep Learning zeichnet sich durch das Erfassen komplexer Muster aus, ohne dass man der Software sagen muss, was sie erfassen soll. Es stellte sich heraus, dass diese Fähigkeiten noch weiter gesteigert werden können, indem Deep Learning-Modelle vergrößert und mit mehr Daten gefüttert werden. Die Skalierung des Modells und des Datenvolumens führte schließlich zu einer besonderen Art von Deep Learning-Modellen, den sogenannten Large Language Models (LLMs). Dazu gehören die OpenAI-Anwendungen GPT-4 und das Chat-orientierte Pendant ChatGPT sowie LaMDA von Google und weitere Mitbewerberprodukte.

*Möchten Sie mehr darüber erfahren, wie Textkernel diese verschiedenen Phasen durchlaufen hat und welchen Einfluss jede einzelne auf die Recruiting-Technologie hatte? Lesen Sie auch die nächsten Ausgaben dieser Blog-Serie.

LLMs

LLMs gehören zu den bahnbrechendsten Entwicklungen in der Sprachtechnologie. LLMs sind KI-Systeme, die Sprache simulieren und versuchen, das Wort vorherzusagen, das am wahrscheinlichsten auf eine Folge vorheriger Wörter folgt. Durch die Verwendung immer größerer neuronaler Netze und umfangreicherer Sprachdaten haben LLMs begonnen, Fähigkeiten an den Tag zu legen, die selbst ihre Schöpfer überrascht haben, wie beispielsweise das Generieren von qualitativ hochwertigem Text, das Zusammenfassen von Text und das Umschreiben von Text entsprechend einer Stilvorgabe. Die Möglichkeiten von LLMs sind beeindruckend, mit ihrer großen Leistungsfähigkeit geht jedoch auch große Verantwortung einher.

Verläuft die Entwicklung zu schnell?

Da wir uns seit über zwei Jahrzehnten mit KI-gesteuerten innovativen Technologien beschäftigen, sind wir uns bei Textkernel bewusst, dass technologische Durchbrüche auch mit Nachteilen verbunden sein können. Und wir sind nicht die ersten, die darauf hinweisen, dass der Einsatz von Technologien wie ChatGPT mit Einschränkungen und Risiken verbunden ist. Es gibt technische Einschränkungen hinsichtlich der Skalierbarkeit und der Kosten. Noch wichtiger ist jedoch, dass es berechtigte Bedenken hinsichtlich Datenschutz, Transparenz und Objektivität gibt. Diese Bedenken müssen sehr ernst genommen werden, und die kommenden Rechtsvorschriften zur künstlichen Intelligenz, wie das EU-Gesetz zur künstlichen Intelligenz und das NY AEDT-Gesetz, werden dazu beitragen, dass sie berücksichtigt werden.

Bleiben Sie dran und erfahren Sie im nächsten Teil dieser Blogserie mehr darüber, wie LLMs mit der KI-Gesetzgebung zusammenhängen, wie Textkernel die Einhaltung von Compliance-Regeln mit Innovation verbinden wird und wie wir LLMs bereits auf verantwortungsvolle Weise einsetzen.

*** Lesen Sie auch die Langversion dieses Blogposts mit mehr technischen Hintergründen: ChatGPT und LLMs: Das nächste Kapitel der KI-Reise von Textkernel

Als Mitglied des Textkernel-Teams freue ich mich, die kürzlich erfolgte Übernahme von Joboti bekanntzugeben. Das in Amsterdam ansässige Unternehmen hat sich auf die Bereitstellung innovativer Technologien für Kommunikation mit Kandidat:innen spezialisiert (Candidate Engagement). Mit dieser Übernahme macht die weltweite Buy-and-Build-Strategie von Textkernel einen weiteren bedeutenden Schritt nach vorn und ermöglicht es uns, unseren Kunden einen noch größeren Mehrwert zu bieten

Gerard Mulder, CEO of Textkernel

Die Übernahme bringt zwei innovative Unternehmen zusammen, die eine gemeinsame Vision haben: nahtlose, automatisierte und skalierbare Lösungen für Recruiter:innen und Sourcing-Profis. Die Parsing- und Matching-Technologie von Textkernel in Kombination mit der Candidate Engagement Technologie von Joboti schafft eine leistungsstarke Plattform für Recruiter:innen, um die richtigen Kandidat:innen mit minimalem Aufwand zu finden und zu kontaktieren.

Gegenwärtig sind Recruiter:innen durch einen hauptsächlich manuellen Prozess bei der Suche nach den richtigen Kandidat:innen eingeschränkt, die dann über soziale Medien, E-Mail, Telefon oder Sofortnachrichten kontaktiert werden, um ihre Verfügbarkeit und ihr Interesse zu ermitteln. Mit der Kombination unserer Technologien können Recruiter:innen jedoch dank KI-gestützter Matching-Technologie schnell relevante Kandidat:innen finden und mit denjenigen in Kontakt treten, die über die richtigen Skills verfügen und die ihr Interesse, ihre Verfügbarkeit und aktualisierte Skills angegeben und entsprechende Überprüfungsfragen beantwortet haben.

Darüber hinaus ermöglicht die Integration der Joboti-Technologie in unsere Lösungen Recruiter:innen die Automatisierung von Kommunikationsabläufen im Recruiting-Prozess, einschließlich Jobbenachrichtigungen, DSGVO-Prüfungen, Pre-Screenings, Terminierung von Vorstellungsgesprächen und Feedback-Nachrichten. Dadurch wird der Prozess der Kontaktaufnahme mit den Kandidat:innen gestrafft, sodass sich Recruiter:innen auf höherwertige Aufgaben konzentrieren können, beispielsweise auf die Aufnahme zielführender Kontakte mit verfügbaren Kandidat:innen.

Unsere Kunden können in den kommenden Monaten und Jahren mit weiteren Funktionen und Produkten rechnen. Durch die Kombination der Technologie von Joboti und unseren KI-gestützten Recruiting-Lösungen stehen Tools zur Verfügung, um mit den Kandidat:innen in Kontakt zu treten, den Recruiting-Prozess zu verbessern und um die Time-to-Hire zu verkürzen. Mit der Möglichkeit, die Datensätze von Kandidat:innen auf dem neuesten Stand zu halten und nur mit verfügbaren und interessierten Kandidat:innen in Kontakt zu treten, können Recruiter:innen eine positive Candidate Experience sicherstellen.

Wir setzen uns weiterhin ein für Innovationen und für die Weiterentwicklung der Recruiting-Branche. Die Übernahme von Joboti stärkt unsere Position als führender Anbieter von KI-gestützten Recruiting-Lösungen, und wir freuen uns, das Joboti-Team bei Textkernel willkommen zu heißen. Gemeinsam freuen wir uns darauf, Lösungen zu entwickeln, die die Branche revolutionieren und unseren Kunden helfen werden, ihre Recruiting-Ziele mit noch größerer Effizienz und geringstem Aufwand zu erreichen.

Weitere Informationen finden Sie im FAQ zur Übernahme auf unserer Website.

Über Joboti

Joboti ist ein Start-up-Unternehmen, das sich auf automatisierte Technologien zur Kommunikation mit Kandidat:innen spezialisiert hat. Sie umfassen personalisierte Jobempfehlungen, Orientierungshilfen und Feedback für Stellensuchende und sorgen für eine intuitivere und benutzerfreundlichere Erfahrung. Die Lösungen des Unternehmens wurden entwickelt, um den Recruiting-Prozess zu verbessern, die Effizienz von Personalverantwortlichen und Recruitern zu steigern und ihre Arbeitsbelastung zu reduzieren. Die Technologie von Joboti wird weltweit von einer wachsenden Zahl von Unternehmen eingesetzt. Ihr innovativer Ansatz im Recruitment hat bereits große Beachtung gefunden.

Der Wettbewerb im Recruiting ist intensiver denn je – egal ob in Personalabteilungen oder in der Personaldienstleistung. In einem Bewerber:innen-Markt, der für viele Berufe immer knapper wird, geht es darum schnell, die richtigen Verbindungen herzustellen. Der Zugriff auf die richtigen Daten zur richtigen Zeit kann dabei den Unterschied machen. Aber wie können Sie sicherstellen, dass Ihre Daten einfach zugänglich, korrekt interpretierbar, gut verwertbar sowie jederzeit aktuell und anpassbar sind?

„Die besten Recruiting-Teams setzen heute Technologien ein, die die richtigen Kandidaten aufspüren, und wissen, wie sie die Datenpunkte gewichten müssen, um die bestmöglichen Kandidaten für eine Stelle zu finden.“ Und obwohl viele Unternehmen die Möglichkeiten, die sich durch fortschrittliche Analysen und datengesteuerte Einblicke bieten, beginnen einzusetzen, gibt es nach wie vor allgemeine Herausforderungen im Bezug auf Daten, die nur mit den richtigen Tools bewältigt werden können.

Dazu gehören die Zugänglichkeit der Daten über verschiedene Quellen und Systeme hinweg, die Interpretation der Daten durch eine gemeinsame Perspektive, die Verwertbarkeit der Daten, um fundierte Entscheidungen zu treffen, die Aktualität der Daten, um schnell auf Entwicklungen reagieren zu können, und die Anpassbarkeit der Struktur, um neue oder mehrere Nutzungsmöglichkeiten zu schaffen.

Die Erschließung des Potenzials von Daten ist ein entscheidender Teil des Erfolgs im Recruiting. Textkernel hilft Kunden, die Kontrolle zu behalten, indem wir passende Lösungen anbieten und neue Erkenntnisse darüber liefern, wie sie ihre Effizienz steigern können. Heute zeigen wir Ihnen, wie Sie fünf zentrale Probleme im Umgang mit Daten im Recruiting bewältigen können.

1. Zugänglichkeit von Daten über verschiedene Quellen und Systeme hinweg

Vielen Recruiter:innen stehen mehrere interne und externe Systeme und Quellen zur Verfügung, die wertvolle Bewerberdaten enthalten. Es kann schwierig sein, diese Daten in eine Plattform zu integrieren und sie gleichzeitig gemäß geltender Datenschutzstandards zu schützen. Die Software von Textkernel stellt sicher, dass alle Ihre Daten automatisiert von einem zentralen Ort aus zugänglich sind, so dass Sie sich keine Gedanken über manuelle Eingaben oder Sicherheitsprobleme machen müssen.

2. Interpretation der Daten durch eine einheitzliche Betrachtungsweise

Bei so vielen unterschiedlichen Daten, die aus verschiedenen Quellen stammen, kann es für Personalvermittler:innen schwierig sein, sie genau und schnell zu interpretieren. Textkernel normalisiert Daten automatisch, um zu verstehen, was Bewerbungsunterlagen und Online-Profile über potenzielle Mitarbeiter:innen aussagen, so dass Recruiter:innen schneller als je zuvor aktiv werden können können.

3. Verwertbarkeit der Daten als Entscheidungsgrundlage

Es reicht nicht aus, nur Zugang zu den richtigen Daten zu haben, sie müssen auch anwendbar sein. Mit den Matching-Funktionalitäten von Textkernel erhalten Sie in Echtzeit Erkenntnisse darüber, welche Bewerber:innen für eine bestimmte Stelle oder ein bestimmtes Projekt am besten geeignet sind, und können auf der Grundlage dieser Erkenntnisse schnell und sicher handeln.

4. Aktualität der Daten, um schnell reagieren zu können.

Daten haben nur dann einen Wert für Unternehmen, wenn sie auf dem neuesten Stand sind. Textkernel stellt dies mit seiner automatischen Aktualisierungsfunktion sicher, die dafür sorgt, dass Ihre Bewerberprofile kontinuierlich mit neuen Informationen aktualisiert werden, sobald diese verfügbar sind.

5. Anpassbarkeit von Daten, um mehrere Use Cases zu bedienen

Organisation verändern sich kontinuierlich. Mit der flexiblen Architektur und den Schnittstellen (APIs) von Textkernel können Sie Ihre bestehenden Datenbanken und Systeme problemlos in eine Plattform integrieren, was eine maximale Skalierbarkeit und Anpassungsfähigkeit im Laufe der Zeit sicherstellt – zum Beispiel wenn Ihr Unternehmen wächst oder sich weiterentwickelt.

Textkernel unterstützt Ihre Herausforderungen mit Recruiting-Daten

Textkernel arbeitet permanent an Lösungen, mit denen unsere Kunden ihre Herausforderungen im Umgang mit Daten in Angriff nehmen können. Von der Zugänglichkeit über verschiedene Quellen und Systeme hinweg bis hin zur Anpassungsfähigkeit der Struktur – wir haben ein System an Lösungen geschaffen, mit denen Ihr Recruiting sowohl heute als auch morgen erfolgreich arbeitet! Wollen Sie mehr erfahren?

Vereinbaren Sie jetzt einen Termin!

Kundenfokus wird noch wichtiger für Sales – Data Analytics und Digital Skills immer gefragter im Marketing

Auch in den Berufsgruppen Marketing & Sales ist der Fachkräftemangel weiter spürbar. Die erhobenen Daten zeigen nach einem starken Anstieg in 2021 ein konstant hohes Nachfrage-Niveau. Zusammen machen beide Berufsgruppen etwa 5% des Gesamt-Arbeitsmarkts aus.

Die wichtigsten Ergebnisse:

• Beide Berufsgruppen werden nach einem starken Wachstum 2021 weiterhin auf hohem Niveau gesucht. Der Fachkräftemangel zeigt sich also auch hier.
• Professional-Skills im Marketing sind digital (Social Media, SEO, Digital Marketing & Co.). Für Sales-Positionen steigt die Nachfrage nach Professional-Skills mit Kundenbezug deutlich.
• Die wichtigsten Soft-Skills für beide Berufsgruppen sind Kommunikation, Eigenmotivation und Teamarbeit
• Remote Work wird im Vergleich zum Gesamtmarkt überdurchschnittlich oft angeboten.

Seit 2019 werden im Vertrieb Professional-Skills mit Fokus auf den Kundenkontext immer wichtiger. Hierzu zählen u.a. Kundenbeziehungen, Verhandlung, Kundendienst oder Account Management. Im Marketing sind es Professional-Skills im Bereich der Sozialen Medien, die seit 2019 um 6% angestiegen sind, während allgemeine Marketing-Skills stagnieren. Darüber hinaus werden digitale Skills, also Suchmaschinenoptimierung, E-Commerce oder Digital Marketing stärker nachgefragt.

Gemeinsamkeiten der beiden Berufsgruppen bestehen im Bereich der Soft-Skills: Insbesondere Kommunikation, Eigenmotivation und Teamarbeit sind gefragt. Dabei ist im Verhältnis zum Jahr 2019 ein signifikanter Anstieg für den Skill Eigenmotivation zu verzeichnen.  

Laden Sie für zusätzliche Einblicke in den Arbeitsmarkt die komplette Studie herunter, u.a.:

• In welchen Branchen ist die Nachfrage besonders hoch?
• Welche Arbeitszeitmodelle werden präferiert ausgeschrieben?
• Detaillierte Heat-Maps über Professional & Soft-Skills

Über den Job- & Skill-Barometer

Der von der DGFP und Textkernel herausgegebene Job- & Skill-Barometer zeigt auf Jahresbasis die Veränderungen der in Stellenanzeigen nachgefragten Jobs und der dort genannten Professional- sowie Soft-Skills. Ziel des Barometers ist es, Trends und langfristige Entwicklungen für bestimmte Jobprofile zu erkennen und transparent zu machen.

Die zugrundeliegenden Daten stammen aus Textkernels Arbeitsmarkt-Tool Jobfeed. Ausgangspunkt dieser Studie sind die seit 2019 erfassten Stellenausschreibungen der Jobgruppen Marketing und Sales in Deutschland.

Die Talentakquise und das Talentmanagement sind für Unternehmen zu einer Herausforderung geworden. Angesichts einer volatilen Wirtschaftsentwicklung und der sich ändernden Präferenzen bei der Arbeitsplatzgestaltung stehen die Personalverantwortlichen unter dem Druck, die richtigen Mitarbeiter:innen zu finden und einzustellen. Eine Möglichkeit, hier zu unterstützen, ist die Nutzung von moderner Technologie, insbesondere im Einstellungsprozess, durch Künstliche Intelligenz (KI). 

Ein Gastbeitrag von Dean Mathews, Gründer und CEO von OnTheClock

Die Personalabteilung ist ein dynamischer Teil eines Unternehmens und hat die Aufgabe, das wertvollste Kapital eines Unternehmens zu rekrutieren, zu verwalten und zu schulen: die Mitarbeiter:innen. Die Vielzahl der Aufgaben, die auf den Schreibtischen der Personalabteilung landen, bedeutet oft, dass nicht viel Zeit für die Entwicklung oder Skalierung der Prozesse zur Verfügung steht. Doch angesichts der gravierenden Veränderungen in den Geschäftsmodellen im Zusammenhang mit der digitalen Transformation, der Telearbeit und den wirtschaftlichen Umwälzungen wird sich Ineffizienz in der Personalabteilung schnell negativ auf den gesamten Geschäftsbetrieb auswirken. Ohne eine entsprechende Überwachung können insbesondere unbesetzte Stellen zu einer drastischen Verringerung der Gesamtproduktivität eines Unternehmens führen, mit Auswirkungen auf den Unternehmensumsatz. 

Was ist KI?

Künstliche Intelligenz ist eine Simulation der menschlichen Intelligenz durch Maschinen oder Systeme. Diese Systeme sind in der Lage, auf Veränderungen in ihrer Umgebung zu reagieren und die Reaktionen entsprechend den empfangenen Daten anzupassen und dies, ohne dass ein Mensch eingreifen muss. 

Die KI spielt in verschiedenen Branchen bereits eine Rolle. In der Personalabteilung kann die Integration maschinengestützter Intelligenz der Schlüssel zur Umgestaltung zentraler Unternehmensprozesse sein, einschließlich der Rekrutierung der richtigen Mitarbeiter:innen und der Bindung von Spitzentalenten. 

Wie die KI bei der Talentakquise und dem Talentmanagement unterstützt

Die KI wird HR-Leiter:innen und HR-Mitarbeiter:innen nicht ersetzen, aber sie kann sie bei ihrer Arbeit unterstützen. Nachfolgend sechs Möglichkeiten, wie KI die Talentakquise und das Talentmanagement verändern kann: 

1. Sichten von Bewerbungen

Die Personalabteilung wendet viel Zeit für das Sichten und Filtern von Bewerbungen auf. Im amerikanischen Recruiter Nation Report 2021 bezeichnen Staffing-Agenturen im Gegensatz zu internen Personalverantwortlichen die „Vielzahl der Bewerbungen“ als eine der Herausforderungen bei der Einstellung von Personal. 

Das Screening von Bewerber:innen stellt einen Engpass im Einstellungsprozess dar. Personalverantwortliche investieren oft viel Zeit in den Einstellungsprozess, lesen und sortieren Lebensläufe und führen Vorstellungsgespräche, nur um dann festzustellen, dass die/der Bewerber:in nicht für die zu besetzende Stelle geeignet ist. Dies erschwert nicht nur den Einstellungsprozess, sondern ist auch kostspielig. 

Fehlentscheidungen bei der Einstellung sind an der Tagesordnung. Laut Glassdoor kündigen bis zu 30 % der Arbeitnehmer innerhalb der ersten 90 Tage nach der Einstellung. 

Ein KI-gestütztes Talentakquisitionssystem kann Bewerbungen effektiv und unvoreingenommen filtern. Es kann Bewerber:innen auf der Grundlage von Fähigkeiten und Zeugnissen und anhand der Stellenanforderungen bewerten. Indem sie sich auf eine kürzere Liste mit besser geeigneten Bewerber:innen konzentrieren, können Personalverantwortliche tiefere Einblicke gewinnen und qualifizierte Bewerber:innen besser identifizieren. Dies erhöht die Qualität der Neueinstellungen und reduziert die Gemeinkosten. 

2. Die richtigen Bewerber:innen finden

KI kann den Talentakquisitionsprozess verbessern, indem sie die richtigen Bewerber:innen aufspürt und einbindet. eine KI-basierte Auswahltechnologie kann Bewerber:innen mit Hilfe von Daten aus verschiedenen Datenquellen ansprechen und mit hoher Genauigkeit mit offenen Stellen abgleichen. Anhand der Formulierungsanforderungen in der Stellenbeschreibung kann die KI verwandte branchenspezifische Terminologien erlernen und die Suche erweitern. 

Darüber hinaus kann KI mit Hilfe von Deep Learning auch die für die Stelle erforderlichen Fähigkeiten abgleichen. Wenn beispielsweise ein/e Bewerber:in angibt, über Fachwissen im Bereich Software zu verfügen, kann die Personalabteilung diese Angabe überprüfen, indem sie das System nutzt, um nach den Voraussetzungen für die betreffende Fähigkeit zu fragen. Sie kann dann feststellen, ob die/der Bewerber:in über die gleichen oder ähnliche Fähigkeiten verfügt. 

3. Türöffner für die Anwerbung global tätiger Bewerber:innen

Mit KI müssen Personalabteilungen ihre Rekrutierung nicht mehr auf die traditionelle Arbeit im Büro beschränken, denn mit der Fähigkeit, Aspekte der Stellenausschreibung, der Talentsuche und der Bewerberprüfung zu automatisieren, wird es möglich, mehr Bewerber:innen zu erreichen und zu akzeptieren. Damit entsteht ein Türöffner für die Einstellung von Remote- oder Hybrid-Mitarbeitern. Der Zugriff auf global tätige, vielfältige Arbeitnehmer:innen bringt viele Vorteile für ein Unternehmen mit sich, wobei die Besetzung von Stellen der kleinste ist. Eine gesteigerte Kreativität, eine moderne Unternehmenskultur und attraktive Arbeitsbedingungen tragen dazu bei, dass freie Stellen mit Bewerber:innen besetzt werden, die der Herausforderung gewachsen sind.  

Die Personalabteilung kann nach Möglichkeiten suchen, die Zeiterfassung und Gehaltsabrechnung mit Hilfe von Technologie zu rationalisieren. Ein Online-Tool für die Zeiterfassung kann zum Beispiel die Zusammenarbeit von Remote-Teams unterstützen. Darüber hinaus kann die Personalabteilung bei der Einstellung von stundenweise beschäftigten Arbeitnehmer:innen offener und flexibler sein. Die Mitarbeiter:innen können sich ein- und ausstempeln, ohne sich Gedanken über die Zeiterfassung und Lohnabrechnung machen zu müssen. 

4. Freisetzung von Arbeitszeit

Ein weiterer wichtiger Vorteil der KI-Implementierung im Personalwesen ist die Automatisierung von Verwaltungsaufgaben wie Gehaltsabrechnung, Datenverwaltung und Berichterstellung. Die Personalabteilung verbringt die meiste Zeit mit administrativen Tätigkeiten, sodass nur wenig Zeit bleibt, sich auf die Verbesserung der Leistung, der Produktivität und der Motivation der Mitarbeiter:innen zu konzentrieren. Dies sind Bereiche, die sich auf die Gesamtleistung eines Unternehmens auswirken können. 

Laut Gallup gaben nur 34 % der Arbeitnehmer:innen an, bei der Arbeit besonders engagiert zu sein. 16 % gaben an, dass sie sich nicht aktiv engagieren. Das Engagement der Mitarbeiter ist wichtig, da es sich auf die Produktivität, die Mitarbeiterbindung und den Ruf eines Unternehmens auswirken kann. Unternehmen mit hohem Mitarbeiterengagement sind 21 % profitabler. 

Wenn Aufgaben mithilfe von KI automatisiert werden, haben die Mitarbeiter:innen der Personalabteilung mehr Zeit, sich auf die Entwicklung von Programmen zu konzentrieren, die Strategien zur Talentakquise, die Mitarbeiterbetreuung und die Mitarbeiterbindung verbessern. 

5. Messen der Leistung

Die richtigen Mitarbeiter:innen zu finden ist nur ein Teil des Puzzles. Die Personalabteilung muss auch dafür sorgen, dass die neu eingestellten Mitarbeiter:innen im Unternehmen eine gute Leistung erbringen. Da sich die Aufgaben weiterentwickeln, muss die Personalabteilung die Leistung der Mitarbeiter regelmäßig messen, u. a. bei der Festlegung der Aufgaben, der Bewertung einer angemessenen Vergütung, der Planung von Beförderungen und der Sicherstellung der Erfüllung der Unternehmensziele. 

Diese Prozesse können mit Hilfe von Leistungsmanagementsoftware digital durchgeführt werden. Ein KI-basiertes System kann beispielsweise Mitarbeiterdaten sammeln, um die Leistung einer/s Mitarbeiter:in zu quantifizieren, Bereiche mit Verbesserungspotenzial aufzeigen und andere Möglichkeiten erkunden, von denen die Mitarbeiter:innen profitieren können. Derartige Systeme ermöglichen auch eine objektivere Beurteilung der Mitarbeiter:innen. 

6. Unterstützung von Bewerber:innen

Die KI leistet auch einen Beitrag, um sicherzustellen, dass ein Unternehmen über ein positives Employer Branding verfügt. Dies bedeutet, dass Bewerber:innen mit dem Unternehmen eine gute Erfahrung machen sollen, denn auf einem hart umkämpften Arbeitsmarkt können Top-Talente auch aufgrund des Einstellungsverfahrens entscheiden, ob sie sich für das Unternehmen entscheiden oder nicht. Das Aussortieren unqualifizierter Bewerber:innen hilft der Personalabteilung, sich auf die besten Kandidaten zu konzentrieren. Durch eine rechtzeitige Kommunikation kann gewährleistet werden, dass Bewerber:innen alles Erforderliche vermittelt wird, damit sie im Rennen bleiben.

Die KI kann auch dazu beitragen, mehr Klarheit über den Bewerbungsprozess zu schaffen, beispielsweise durch Chatbots. Ein kompliziertes Bewerbungsverfahren, unklare Aufgaben und unklare Anweisungen können dazu führen, dass Bewerber:innen ihre Bewerbungen zurückziehen und eine schlechte Bewertung vergeben. Die KI kann den Bewerber:innen in Echtzeit Hinweise und Hilfestellungen geben, damit sie ihren Bewerbungsprozess abschließen können. Sie kann sie auch über den aktuellen Stand ihrer Bewerbung informieren.   

Technologie bei der Talentakquise und dem Talentmanagement

KI wird das Personalwesen revolutionieren. Die Einführung von KI in den Rekrutierungsprozess bedeutet nicht, dass der „menschliche Faktor“ im Personalwesen verschwindet. KI ergänzt die Talentakquisitions- und Talentmanagementprozesse und schafft einen Mehrwert für das Unternehmen, indem sie die Personalabteilung dabei unterstützt, effizienter und effektiver zu arbeiten. KI kann als Werkzeug dienen, um die Produktivität im Unternehmen zu unterstützen und zu optimieren, von der Einstellung der richtigen Mitarbeiter:innen bis hin zu einer langfristigen Mitarbeiterbindung. 

Biografie des Autors

Dean Mathews ist Gründer und CEO von OnTheClock, einem Unternehmen, das eine Zeiterfassungsanwendung für Mitarbeiter entwickelt hat, die weltweit in über 15.000 Unternehmen eingesetzt wird. 

Dean Mathews hat über 20 Jahre Erfahrung in der Konzeption und Entwicklung von Geschäftsanwendungen. Für ihn ist die Softwareentwicklung eine Kunstform. Wenn Künstler:innen ein Meisterwerk schaffen, wird das Leben vieler Menschen berührt und zum Besseren verändert. 

Wenn er nicht gerade die Zeiterfassung perfektioniert, verbringt Dean Mathews viel Zeit mit Familie und Freunden, engagiert sich im kirchlichen Bereich und versucht, Wege zu finden, die Welt ein wenig besser zu machen.

Summary

Column CVs are visually appealing and are becoming widely used by candidates. We estimate that currently at least 15% of CV documents use a column layout. However, properly dealing with this layout is a surprisingly difficult computer vision problem. Since third party tools do not work well on CVs or are very slow, Textkernel already had a system in place to deal with column layout documents. We have greatly improved this system by applying various AI techniques. As a result, our handling of column CVs in PDF format has improved significantly, resulting in better extraction quality regardless of the document language.

Intro

The first step in an information extraction pipeline is to convert documents into raw text from which information can be extracted.

The system’s ability to perform well in this first step is crucial: any mistake will impact the performance of subsequent steps. Generating a well-rendered text representation for many different types of documents is a difficult problem to solve.

A simple method, that renders the text in a top-down, left to right order is usually sufficient for documents that have a standard layout.

However, CVs come in various layouts, which are easy for humans to understand, but can be challenging to a machine.

A common layout we find in CV documents is the usage of columns. Column CVs are visually appealing and widely used by candidates applying for a job.  Candidates want to neatly organize the information in their CV and provide visual structure, for example by having a sidebar that contains their contact information.

If a system were to use the basic left-to-right, top-down order rendering for this type of document, that would generate a rendering where the information from different sections of the CV is mixed together (see image aside).

Instead of reading the columns one after the other, the system would mix bits and pieces of each column together.

An imperfect text rendering can still be useful for certain tasks: searching for keywords is still possible, and humans can still easily read the document. 

But when automated systems try to extract structured information from an imperfect rendering, problems compound very quickly: finding the correct information becomes incredibly challenging.

At Textkernel, we strive to offer the best parsing quality on the market, which means that the widespread use of column based layouts demands our full attention. Keep reading to follow us on our journey to create a system that can understand creative document layouts and see how we were able to leverage machine learning to bring our Extract! product to the next level.

Our Previous Approach

Our system was already able to handle several types of document layouts, being able to identify sections of a document that should be rendered independently.

The approach has 3 steps. In the first step, the text content of the PDF is scanned and visual gaps between them are identified (see below an example). In the second step, a rule-based system decides whether a visual gap is a column separator or not. As you can see in the example below, not all visual gaps are column separators and the left-to-right reading should not be interrupted for these gaps. Based on these predictions, in the third step the text will be rendered by separating all identified columns. 

A naive approach that always renders the big visual gaps separately would have issues on several types of layouts, as an example a key-value structured layout would break the key from the value and separate it in its text representation, leading to incorrect extraction of fields.

Our system achieved good rendering for many cases but was still failing to predict certain column separators. By design the system was very precise when predicting that the visual gap is a column separator (i.e. precision of the positive class is very high), the rationale being that predicting a column separator when there is none (i.e. a false positive) is very costly: the rendered text will be wrong and as a result it would affect the parsing quality. In order to achieve this high precision, its coverage was more limited (i.e. precision of the positive class was favored over the recall of the positive class). In addition, the system is also very fast (tens of milliseconds), making it a quite efficient solution.

Improving such a system requires a model centric approach: we have to focus our efforts in changing the code. For example, increasing the coverage of supported cases is very difficult. When we encounter a new case, we need to implement a new rule for it, make sure it is compatible with the rest of the rule base and choose how the rules should be applied and combined. Complexity can grow very high with the more rules we add.

Ideally we would like our solution to be data centric, so we can improve its performance by collecting examples of how the system should perform, and focus our attention on curating and improving the example data. We would also like a solution that preserves our processing speed.

The first improvement trial

We analyzed several third party solutions that might help us improve our system, without going through all the difficulties of managing a rule-based system. 

Most of these systems apply computer vision methods to extract text from an image representation of the document. These require computationally expensive algorithms and are therefore quite slow (i.e. seconds), and also difficult to manage for on-premise installations. We were also surprised to see that their performance was not much better than our previous rule-based approach. Therefore, we abandoned the third party track.

As we are focusing on improving our column handling, we don’t need to identify all the gaps in the text, only the larger vertical visual gaps should correspond to columns. With these simplified assumptions, we came up with a new method to detect the largest vertical visual gap from a histogram of the whitespace in the image representation of the document, as can be seen in the image below.

Looking at this representation, we can see a distinction between both types of layouts in terms of whitespace distribution, and we used this representation to train a neural network model for classifying between column layouts and regular layouts.

Note that this method does not fit all our requirements: we still don’t have the coordinates needed to separate the column content. In addition, we also noticed the processing speed will be an issue if we continue on this track.

Given the expected effort still to get this method to a usable state, we took a step back and went back to the drawing board.

Our New Approach

We already stated that in our ideal scenario we would be able to improve our system by feeding it good quality data. How can we move from our model centric approach into a data centric approach?

At the core of our solution we have a single type of decision: deciding if a visual gap is separating related or unrelated content (e.g. a column separator). This is a binary classification problem, for which we can train a machine learning model to replicate the decision.

By making use of our rule-based system we can generate our training data by converting our rules into features and our output decision as the label we want our new model to learn. By doing this we can begin to focus on improving the collection and curation of more training data, and easily retrain the model everytime we want to improve it, instead of adding more rules to our code base.

We have a new approach and we need to validate it. For that we follow the model development pipeline:

Data Selection

We start with selecting the data for training our machine learning model. Unlike a rule-based system that needs a few hundred examples to develop and test the rules, we will need several thousand examples to learn our model.

We started with problematic documents that our customers kindly shared with us in their feedback. However, this set was quite small (about 200 documents). How can we find thousands more column CVs when they only account for about 10-15% of documents? Luckily, from our initial attempt we have a neural network based column classifier. Although not sufficient for replacing our old rule-based system, it’s a great method to mine documents with a column layout. Even if this classifier is not 100% accurate, it is still better than randomly selecting documents (which will have an accuracy of 10-15%). In addition, we also collect a random sample of documents to make sure our method works well across all layouts (i.e. ensure we do not break rendering of correctly working document layouts).

Generation of the Dataset

To generate our dataset we process our document sets through our existing rendering pipeline. For each visual gap, the target label is initially set to the decision made by our rule-based system. We bootstrapped the features by using the variables and rules computed in this decision. In addition, we added several new features that quantify better some of the properties of column layouts.

Manual Annotation

In the previous step we generated a pseudo-labeled dataset: the labels originate from our existing system and are not verified by a human. To ensure that our machine learning model will not simply learn to reproduce the mistakes of the rule-based system, we also manually annotated a small sample of column CVs. Since this is a time consuming task, having potential column CVs as identified by our neural network based column classifier helped to speed up our annotation process.

Model Training

We can now train a machine learning model to mimic our ruled-based system decisions. We started our experiments with the decision tree algorithm. This is a simple algorithm to apply to our dataset and very effective, offering good classification performance while very fast to apply, a key characteristic we wanted in our approach. 

However, decision trees have several problems: they are prone to overfitting and suffer from bias and variance errors. This results in unreliable predictions on new data. This can be improved by combining several decision tree models. Combining the models will result in better prediction performance in previously unseen data.

There are several ways to achieve this, the more popular methods being bagging, where several models are trained in parallel on subsets of the data: an example of such method is the random forest. Another ensemble method is boosting, where models are trained sequentially, each model being trained to correct the mistakes of the previous one: an example of such method is the gradient boosting algorithm.

After testing a few options we settled on the boosting approach using a gradient boosting method.

Efficient Label Correction

Our new model was mostly trained to reproduce the decisions of our rule-based system because most of its training data comes from pseudo-labeled examples. The limited human annotations also makes it difficult to do error analysis and identify which cases the new model is misbehaving.

Even so, the added small sample of manually annotated data for column CV documents can already shift the decision in informative ways. As a result, the discrepancy between the predictions of the new method and the rule-based system can be analyzed manually and corrected. We call this approach delta annotation. This is an effective process of labeling only the data that will push the model into performing better.

At Textkernel we are always looking for ways to deliver the best quality parsing. Having quality data is essential for what we do, so of course, we already have implemented great solutions for this using tools such as Prodigy to facilitate rapid iteration over our data.

WIth this partially corrected dataset, we can retrain our model and we can keep iterating and improving our dataset by doing delta annotation between the latest model and the older ones. In our case, two iterations was enough to saturate the differences and reach a good performance at the visual gap level.

This enables us to follow a data centric approach, we can focus on systematically improving our data in order to improve the performance of our model.

Evaluation

We have a new approach that is more flexible than before, but we still have a big challenge. How can we be sure that better decisions at the visual gap level translate in an overall improvement in rendering at the document level (recall that a document can have multiple visual gaps). Even more important, does this translate into extraction quality improvements? If we want to be confident in our solution, we need to evaluate our system at multiple levels.

Firstly, we did a model evaluation to know if we are better at making decisions at the visual gap level. For this, we can simply use our blind test set and compare the performance of our new model with the old model. On more than 600 visual gaps, our new model makes the right decision in 91% of the cases as opposed to only 82% for our old rule-base system. However, visual gaps are not all equally important and some matter more than others: in our case, the visual gaps corresponding to columns are the most important to get right. For this important subset, we see a performance increase from 60% to 82%. In other words, we have more than cut in half the errors we used to make!

Secondly, we looked to see if the improvement in visual gap classification translates into better rendering (recall that in a document there might be multiple visual gaps). In other words, are we doing a better job of not mixing sections in column CVs? However, since multiple renderings can be correct, it is hard to annotate a single “correct” rendering (which would have allowed us to automatically compute rendering performance). Therefore, we had to do a subjective evaluation of the rendering. Using our trustworthy Prodigy tool, we displayed side-by-side the renderings of the new and the old system to our annotators (without them knowing which side is which). The annotators evaluated if the text is now better separated, worse, or roughly the same as before. The results on a set of about 700 CVs are really good: well rendered CVs increased from 62% to 90%.

Finally, we looked to see if better rendering translates in better parsing. We knew that in column CVs where the old system was failing, our parser would sometimes extract less information, in particular contact information like name, phones and address. Thus, the least labor intensive way is to simply check if the fill rates are increasing. On more than 12000 random CVs, we see that the contact information fill rates are increasing by 4% to 10% absolute. But more does not necessarily mean better! Thus, we also invested in evaluating more than 1000 differences between our parser using the old system and our parser using the new system. The results in the figure below show the percentage of errors our new system has fixed. This is our final confirmation that we now have in our hands a better parser! Great job team!

To summarize our improvements:

• Correct decisions at the visual gap level improved from 60% to 82% for visual gaps corresponding to columns.
• Rendering quality improved from 62% to 90%.
• Contact information fill rates increased by 4% to 10% absolute.
• Error reduction in contact information from 33% to 100%.
• Speed impact is negligible compared to our rule-based system (10ms extra)

Conclusions

Our extraction quality on column CVs is now better than ever. By leveraging machine learning to replace our rule-based system we can now correctly parse an even wider range of CV layouts.

Our main takeaways from this project are:

• It is important to choose the right approach. For certain problems, more complex approaches or ML models require a lot of time investment to get right and still have speed issues.
  Experimenting with several approaches, even if abandoned, still brings value. These systems can be complimentary in parts of the pipeline (e.g. for efficient data selection).
• With the right data and ML methods, a rule-base system can be bootstrapped into an ML system with significantly better generalization capabilities.
  Further improvements to the system can be done by improving the training data instead of the complex task of managing the rules.

• It is important to look at the global picture especially for systems with downstream tasks.
  Local improvements need to be evaluated globally to validate their effectiveness

Don’t miss out on the great candidates that make use of these layouts!

About The Author

Ricardo Quintas has been working for Textkernel for 4 years as the Tech Lead Machine Learning.

Below you can find links to dedicated product pages including the latest Textkernel releases. Click to select a product that is relevant to you.