Les biais dans l’IA
Qu’est-ce qu’un biais et pourquoi est-ce un problème?
Le processus de recrutement vise à trouver le candidat idéal pour un poste. Idéalement, le candidat devrait remplir tous les critères requis pour être en mesure d’exécuter le travail aussi bien que possible.
Cependant, dans la réalité, le jugement humain a tendance à être moins objectif. Dans la pratique, des éléments qui ne sont pas nécessaires pour exécuter le travail de manière satisfaisante joueront un rôle dans le processus de sélection. Par exemple, les recruteurs peuvent prendre en compte l’origine ethnique, le sexe, des établissements scolaires ou des entreprises qu’ils connaissent, lorsqu’ils prennent une telle décision, souvent sans même s’en rendre compte. Dans la plupart des cas, le recruteur n’est même pas conscient de cet impact. C’est ce qu’on appelle les « préjugés inconscients » ou encore « biais cognitifs ».
De nombreuses études ont confirmé qu’en RH, les préjugés inconscients sont un facteur important de la répartition inégale des opportunités et de la diminution de la diversité sur le marché du travail.
Les biais dans l’IA
Les biais dans l’IA
Tout comme un recruteur, les logiciels de recrutement utilisant l’intelligence artificielle (IA) peuvent avoir des biais.
Pour comprendre comment cela se produit, nous devons comprendre comment fonctionnent les systèmes d’IA à un niveau élevé. Ne vous inquiétez pas, nous expliquerons également comment Textkernel empêche les biais d’apparaître dans ses systèmes d’IA et comment nos systèmes d’IA peuvent accroître l’équité et la diversité dans votre processus de recrutement.
Les systèmes d’IA sont des systèmes d’apprentissage. On leur « apprend » à faire une prédiction basée sur les données d’entraînement.
Par exemple, un système d’IA peut apprendre à prédire quels candidats pourraient convenir à un poste, en fonction des précédentes décisions d’embauche prises par les recruteurs. Le système peut retenir que si un candidat mentionne une expérience avec des langages de programmation, cette personne peut convenir à un poste d’ingénieur logiciel. Après tout, dans le passé, les candidats retenus pour des postes d’ingénieur logiciel auront eu une expérience des langages de programmation.
Applications concrètes
Utilisation concrète d'une IA responsable
Maintenant que nous avons examiné comment l’IA peut être néfaste lorsqu’elle est utilisée sans précaution, il est temps d’examiner comment utiliser l’IA de manière sûre et éthique. C’est ce qu’on appelle l’IA responsable. En fait, lorsqu’elle est utilisée de manière responsable, l’IA peut aider à réduire les biais, au lieu de les amplifier.
Concevoir des systèmes autour des biais de l’utilisateur et de l’IA
Il existe de nombreux exemples d’utilisation réussie d’algorithmes d’IA dans des applications variées, où les préjugés sont peu probables.
Pensez par exemple au filtrage du spam, à la traduction automatique, à la reconnaissance vocale, à l’analyse d’images IRM pour trouver des signes de maladie, etc. Toutes ces applications ne sont pas très sensibles à l’introduction ou à la perpétuation de biais, car elles fonctionnent sur des problématiques qui ne reposent pas sur des facteurs pouvant être liés à des données sensibles. Par exemple, décider si un e-mail contient du spam est complètement indépendant de l’origine ethnique, du sexe et de la religion de l’utilisateur.
Malheureusement, au cours des dernières années, il y a eu de nombreux exemples dans l’actualité de systèmes d’IA prenant des décisions biaisées.
Par exemple, une banque décidant d’accorder ou non un crédit à quelqu’un, ou un gouvernement décidant si quelqu’un présente un risque de fraude à l’aide sociale. Mais nous avons également vu des exemples célèbres de matching candidat-emploi basé sur l’IA qui se sont mal passés. Le problème commun dans tous ces cas ? Laisser l’IA imiter les décisions humaines antérieures pour des sujets très sensibles aux préjugés et affectant directement la vie de personnes réelles. Les types de décisions dans ces exemples exigent, en plus des données « concrètes », du bon sens, de l’intuition et de l’empathie. Tout ce que l’IA n’a pas dans l’état actuel de la technologie.
Atténuer les biais dans l’IA
Quand l’IA est le bon outil pour le travail, il est crucial de mettre en place les bons contrôles et équilibres.
Cela permettra de réduire au minimum tout biais pouvant découler de la solution d’IA. Récemment, de nombreux géants de la technologie (par exemple, Google, IBM, etc.) ont formalisé des processus pour minimiser les biais produits par leurs algorithmes d’apprentissage automatique. A l’instar de ces entreprises, Textkernel a également formalisé de tels processus dans une [checklist d’équité]. En suivant cette liste de contrôle, nous sommes pleinement conscients de tous les biais potentiels qui pourraient survenir. Sur cette base, nous pouvons décider si nous devons prendre des mesures pour atténuer les biais et nous assurer que nous développons des logiciels sûrs et impartiaux.
Examinons quelques exemples de ces mesures dans le contexte de la normalisation des métiers. Il s’agit du processus de « normalisation » d’un titre de poste de forme libre en un concept.
Par exemple, il existe de nombreuses façons d’écrire « Développeur Java », allant de « Ingénieur J2EE Full Stack » à « Ninja Java » et tout ce qui se trouve entre les deux. Il s’agit en fait d’un problème à moindre risque pour l’IA, car le résultat de la normalisation du titre du poste n’est pas influencé par l’origine ethnique ou la religion d’une personne, mais uniquement par l’intitulé libre du poste.
IA responsableLa solution Textkernel
Compréhension des documents
Recherche et matching
Utilisation responsable de l’IA dans la solution Textkernel
Réduire les préjugés inconscients humains
Compréhension des documents
La première étape de tout processus de recrutement automatisé consiste à comprendre les données. Notre produit Extract! en est un parfait exemple. Comprendre un document signifie être capable d’extraire les informations pertinentes d’un document et de l’enrichir avec des connaissances spécifiques au domaine. Par exemple, lorsque nous analysons un CV, le système lit l’expérience professionnelle du candidat, mais aussi quelles compétences et diplômes il ou elle possède et ainsi de suite (c’est-à-dire l’extraction). En plus de cela, il peut également normaliser l’intitulé du poste et les compétences en fonction des taxonomies existantes (c’est la normalisation), obtenir le domaine d’activité du candidat, ou déduire des compétences probables de ce candidat, même si ces éléments ne sont pas explicitement mentionnés dans le document (c’est l’enrichissement).
Nous pouvons appliquer le même processus d’extraction et d’enrichissement à une offre d’emploi, pour nous donner des informations structurées sur le poste. Dans le cas des offres d’emploi, il s’agit d’éléments comme le niveau d’expérience, les compétences et le diplôme requis, etc.
Recherche et matching
Ces connaissances extraites et enrichies constituent un outil très puissant pour la recherche et le matching. Par exemple, la compréhension d’un document nous permet de rechercher uniquement sur les compétences professionnelles au lieu d’utiliser des mots clés sur l’ensemble du document ; ou bien nous pouvons rechercher des intitulés de poste normalisés afin de pouvoir trouver le candidat, quelle que soit la manière dont il a exprimé ses titres de poste. Cela permet une recherche plus précise. Un autre exemple est la recherche sur des informations déduites (par exemple le niveau d’expérience d’un candidat, même si ce niveau d’expérience n’a pas été explicitement mentionné dans son profil). L’enrichissement est utile non seulement pour les documents, mais aussi pour les requêtes. Par exemple, nous pouvons ajouter des synonymes ou des termes connexes à la requête.
Connaître toutes les qualifications des candidats et toutes les exigences des offres d’emploi nous permet d’automatiser une étape de plus : le matching. Pour ce faire, nous générons automatiquement une requête à partir d’un document d’entrée. Supposons que nous souhaitions faire correspondre tous les candidats appropriés pour un poste donné, la requête contiendra tous les critères requis et souhaités pour ce poste vacant. Chaque critère sera pondéré pour optimiser la qualité de l’ensemble des résultats de la requête.
Utilisation responsable de l’IA dans la solution Textkernel
Pourquoi tout cela est-il important? Eh bien, le plus important : l’IA ne fait pas le matching pour vous. Le matching se fait dans un moteur de recherche basé sur des termes. Nous utilisons de puissants algorithmes d’IA uniquement pour la compréhension des documents (pour extraire des informations et enrichir les documents et les requêtes), mais laissons la partie matching à des algorithmes plus transparents et contrôlables. De cette façon, nous donnons au recruteur un contrôle total sur le matching et nous bénéficions de nos capacités d’analyse syntaxique basées sur l’IA, les meilleures au monde.
Cependant, même en utilisant des algorithmes transparents et contrôlables, des biais peuvent survenir au travers des propriétés du langage. Par exemple, une simple recherche basée sur le terme « serveur » favorisera les candidats masculins pour ce poste, puisque le titre du poste est masculin par définition. L’enrichissement des requêtes de recherche et de matching permet de réduire ce type de biais. Lors d’un recrutement pour un poste de serveur, la requête sera automatiquement enrichie avec le titre du poste « serveuse » pour éliminer les préjugés de genre inhérents à ce titre de poste. Une réduction similaire des biais peut être obtenue en normalisant les titres de poste (comme discuté précédemment), en normalisant les compétences et en les utilisant dans les requêtes : cela garantit que, quelle que soit la façon dont le candidat exprime une compétence ou une expérience antérieure, le concept correspondra toujours.
Pour contrôler tout biais qui pourrait potentiellement survenir dans les étapes du processus de compréhension des documents de l’IA, nous appliquons notre [checklist d’équité en R&D].
Réduire les préjugés inconscients humains
Avoir un matching entièrement contrôlable et transparent a un autre avantage : en établissant une correspondance sur des critères objectifs, nous pouvons en fait atténuer tout préjugé inconscient qu’un recruteur peut avoir. Cela améliorera l’égalité des chances et la diversité dans vos processus RH.
Les recherches actuelles suggèrent que si elle est utilisée avec précaution, l’IA peut aider à éviter la discrimination [4], et même à élever le niveau de la prise de décision humaine [5].
Bien sûr, l’utilisateur ne peut pas effectuer de recherche sur des attributs discriminatoires, comme le sexe ou la religion, lorsqu’il utilise Textkernel Search!.
IA responsable
Les principes d’IA de Textkernel
Notre approche de l’IA responsable s’appuie sur nos principes fondamentaux en matière d’IA.
L’IA pilotée par les humains
Les humains contrôlent nos solutions et comprennent ce qu’ils font pour atteindre les résultats qu’ils s’efforcent d’obtenir. Notre IA ne prendra aucune décision à votre place, mais vous aidera en prenant en charge des processus chronophages pour augmenter votre efficacité. Nos produits sont conçus pour que nos utilisateurs puissent toujours évaluer et annuler les suggestions fournies par la technologie et rester le décideur final.
Transparence des résultats et approche structurelle de l’IA
Nous nous efforçons de faire en sorte que notre IA et la façon dont nos solutions fonctionnent soient toujours explicables. Pour les tâches plus complexes, comme le matching des candidats et des emplois, nous préconisons une explication et une transparence fortes. Notre solution peut indiquer exactement quels critères sont utilisés pour construire le matching, de sorte que l’utilisateur final puisse interpréter, comprendre et agir.
Mettre en avant la diversité
Le matching basé sur des critères objectifs et mesurables réduira/éliminera les biais de votre processus de recrutement. Notre solution ne tiendra pas compte des caractéristiques des candidats qui ne sont pas pertinentes pour réussir dans le poste (par exemple, sexe, origine ethnique, âge, etc.), favorisant ainsi la diversité et l’inclusion au sein de votre organisation.
Protection et sécurité des données solides
Pour garantir la fiabilité de notre IA, nous avons mis en place des mesures et des mécanismes de sécurité solides pour protéger les données (personnelles) contre les attaques potentielles pendant toutes les phases du cycle de vie de l’IA. Contactez-nous pour en savoir plus sur la manière dont l’IA de Textkernel peut améliorer l’acquisition et la gestion des talents dont vous avez besoin pour stimuler la croissance de demain.
Demander une démo
Découvrez comment la technologie basée sur l'IA peut également fonctionner pour votre entreprise