L'Université du Kansas présente un détecteur d'IA avancé pour la détection d'écriture académique

par Srikanth9 juin 2023, 13h02279Vues

Heather Desaire, chimiste de l'Université du Kansas, a introduit une technologie de pointe capable de détecter le texte scientifique généré par ChatGPT avec une précision impressionnante de 99 %. Cette percée utilise un générateur de texte d'intelligence artificielle (IA). La remarquable réussite de Desaire a été documentée dans la célèbre revue à comité de lecture "Cell Reports Physical Science", où elle a non seulement démontré l'efficacité de sa méthode de détection par IA, mais a également fourni le code source nécessaire pour que d'autres puissent reproduire cet outil révolutionnaire.

Heather Desaire, titulaire de la chaire Keith D. Wilner en chimie à la KU, a souligné le besoin urgent d'outils de détection précis de l'IA pour maintenir l'intégrité scientifique. Desaire s'est dit préoccupé par les générateurs de texte AI comme ChatGPT, déclarant qu'ils fabriquaient des faits. Dans le domaine de l'édition scientifique universitaire, où les découvertes révolutionnaires et l'avant-garde des connaissances humaines sont partagées, il est crucial d'empêcher l'inclusion de faussetés crédibles qui pourraient polluer la littérature. Desaire a reconnu l'absence d'une méthode automatisée infaillible pour identifier ces éléments trompeurs appelés "hallucinations". Lorsque des faits scientifiques authentiques sont mélangés à un contenu convaincant mais fabriqué par l'IA, la fiabilité et la valeur des publications sont inévitablement diminuées.

Elle a expliqué que l'efficacité de sa méthode de détection repose sur une concentration spécifique sur les écrits scientifiques que l'on trouve couramment dans les revues à comité de lecture. En réduisant ainsi la portée, son approche atteint une plus grande précision par rapport aux outils de détection d'IA existants tels que le détecteur RoBERTa, qui visent à identifier l'IA dans des types d'écriture plus généraux.

Desaire a déclaré qu'il était possible de développer une méthode très précise pour différencier l'écriture humaine et ChatGPT. Cependant, atteindre une telle précision nécessite de limiter l'analyse à un groupe spécifique d'humains qui écrivent de manière distincte. En revanche, les détecteurs d'IA existants sont conçus comme des outils généraux applicables à divers types d'écriture. Bien qu'ils remplissent bien leur objectif, ils ne sont pas aussi précis qu'un outil spécialement conçu pour un objectif particulier et étroit.

Dans ses recherches, Desaire a souligné l'importance de la précision lorsqu'elle accuse des individus d'utiliser subrepticement l'IA, soulignant la nécessité d'éviter les erreurs d'identification fréquentes. Cependant, elle a reconnu qu'atteindre l'exactitude implique souvent de sacrifier la généralisabilité. Desaire a collaboré avec son groupe de recherche à KU, qui comprenait Romana Jarosova, professeure adjointe de recherche en chimie, David Huax, analyste des systèmes d'information, et les étudiantes diplômées Aleesa E. Chua et Madeline Isom. Le succès de l'équipe dans la détection de texte IA peut être attribué à l'incorporation de la perspicacité humaine dans la conception du code, allant au-delà de la dépendance à la détection de modèles d'apprentissage automatique.

Desaire a révélé que leur approche impliquait un ensemble de données beaucoup plus petit et un degré plus élevé d'intervention humaine pour identifier les distinctions cruciales pour leur détecteur. Plus précisément, ils ont construit leur stratégie en utilisant seulement 64 documents écrits par des humains et 128 documents générés par l'IA comme données de formation. La taille de cet ensemble de données est environ 100 000 fois plus petite que celle généralement utilisée pour former d'autres détecteurs.

Desaire a souligné l'importance de cette différence, l'assimilant à l'écart entre le coût d'une tasse de café et une maison. L'avantage de leur petit ensemble de données était sa capacité de traitement rapide, et tous les documents pouvaient être examinés en profondeur par des humains. En tirant parti de leur intellect humain, ils ont pu identifier des différences précieuses dans les ensembles de documents, plutôt que de s'appuyer uniquement sur des stratégies précédemment développées pour faire la distinction entre le contenu humain et généré par l'IA.

L'approche de Desaire, comme indiqué par KU, a été développée indépendamment, sans s'appuyer sur les stratégies utilisées dans les méthodes de détection d'IA précédentes. En conséquence, leur technique possède des éléments distincts qui sont entièrement uniques au domaine de la détection de texte par IA. Desaire a admis qu'ils n'avaient même pas consulté la littérature existante sur la détection de texte par IA tant qu'ils n'avaient pas leur propre outil fonctionnel. Plutôt que de suivre la pensée conventionnelle des informaticiens en matière de détection de texte, ils se sont appuyés sur leur intuition pour déterminer ce qui serait efficace, exprimant même un léger sentiment d'embarras face à leur approche non conventionnelle.

Desaire et son équipe ont abordé les méthodes de détection de l'IA différemment des recherches précédentes. Plutôt que de se concentrer sur l'analyse du texte généré par l'IA, ils ont porté leur attention sur la compréhension des traits distinctifs du texte écrit par l'homme. Alors que la plupart des chercheurs se concentrent sur le déchiffrement du texte généré par l'IA, Desaire et son équipe se sont demandé en quoi l'écriture humaine dans leur contexte spécifique diffère des textes de l'IA. Bien que l'écriture de l'IA soit finalement dérivée de l'écriture humaine, le texte généré par l'IA, en particulier à partir de ChatGPT, a tendance à être une composition généralisée amalgamée à partir de diverses sources. En donnant la priorité à l'étude des caractéristiques de l'écriture humaine, Desaire et son équipe ont apporté une nouvelle perspective au développement des techniques de détection de l'IA.

elle met en évidence la nature unique de l'écriture des scientifiques, la distinguant de l'écriture humaine générale en tant que forme spécialisée. Elle a rendu le code de détection de l'IA de son équipe ouvertement accessible, dans l'espoir d'encourager les personnes qui n'ont peut-être pas de formation en programmation informatique à s'engager dans l'IA et la détection de l'IA. Tout en reconnaissant l'impact révolutionnaire de technologies telles que ChatGPT et leur adoption généralisée, Desaire souligne qu'avec les bons conseils et les bons efforts, même les élèves du secondaire peuvent reproduire leurs réalisations.

Actualités IA

Blogueur passionné sur les technologies émergentes, qui apporte des changements révolutionnaires à la vie des gens. Intéressé à explorer les derniers gadgets, les programmes Saas