L’opacité des algorithmes en IA

La démocratisation des systèmes d’IA générative peut sembler faciliter l’accès au savoir. Certains de ces systèmes permettent d’obtenir rapidement, facilement et gratuitement une grande quantité d’informations sur de nombreux sujets qui, dans d’autres contextes, auraient pu nécessiter une recherche laborieuse. Toutefois, certains systèmes d’IA générative ne fournissent pas toujours de sources ni de références précises pour appuyer le contenu original qu’ils génèrent, et il peut s’avérer difficile de comprendre tous les paramètres qui guident la création de ce contenu.

Le rapport sur l’IA générative publié par le Conseil et la CEST en 2024 aborde l’opacité des algorithmes pour désigner la difficulté à expliquer et à retracer le chemin décisionnel ayant mené à un résultat, voire l’impossibilité de le faire. L’opacité peut avoir plusieurs origines, dont la complexité du fonctionnement des modèles d’apprentissage automatique et une faible littératie numérique des individus. Elle peut aussi découler du manque de transparence des personnes qui développent ces systèmes d’IA générative, en ce qui concerne notamment les instructions composant le programme informatique («code source») de même que la provenance, la création et l’utilisation des jeux de données d’apprentissage automatique.

En contexte d’enseignement, l’opacité des systèmes d’IA générative peut amener certaines personnes enseignantes ou étudiantes à avoir de la difficulté à discerner les différents types d’informations et d’argumentations mobilisés dans les contenus qu’ils produisent et, donc, à exercer leur esprit critique vis-à-vis de ces contenus. L’utilisation de ces outils pourrait également décourager les personnes étudiantes à recourir aux sources primaires, puisque l’exercice s’avère alors plus laborieux que d’interroger un grand modèle de langage.

À cet égard, il est recommandé d’expliquer aux personnes apprenantes les risques posés par les outils d’IA générative, et de les inviter l à diversifier leurs sources d’information, en s’appuyant notamment sur les sources primaires et sur l’expertise des enseignantes et enseignants.