Les membres du Research Lab de F.initiatives, Maha Ben Fares, Research Scientist, Simon Hernandez, Research Scientist, Urchade Zaratiana, Research Scientist et Pierre Holat, Responsable de la Recherche, ont développé en interne un modèle répondant à la détection de texte multilingue généré par une IA.

Dans leur article scientifique (disponible ici) ils ont présenté leur proposition de système qui a pour objectif de classifier si un texte a été généré par de l’IA ou un humain. Pour relever ce défi, notre Research Lab a proposé une architecture syntaxiquement motivée. Notre approche s’inspire principalement du fait que les textes générés par les IA et les humains sont sémantiquement similaires, puisqu’ils sont dérivés de distributions topiques comparables. Par conséquent, nous soutenons que la distinction entre eux réside dans leur syntaxe et leur style d’écriture.

En règle générale, la classification de textes basée sur l’architecture de réseau de neurones profond de types « transformers » s’appuie sur les informations de la dernière couche pour la classification. Cependant, notre modèle adopte une approche différente en agrégeant dynamiquement et de manière sélective des informations provenant de toutes les couches du « transformer» pour évaluer individuellement les jetons, étant donné que chaque couche peut contenir des informations distinctes. 

Des études antérieures (Peters et al., 2018; Jawahar et al., 2019; Tenney et al. 2019) révèlent une distribution inégale des caractéristiques linguistiques dans l’architecture du transformateur : les détails syntaxiques étant principalement présents dans les couches initiales et les informations sémantiques complexes dans les couches plus profondes.

En utilisant des informations provenant de toutes les couches, notre modèle vise à capturer l’ensemble des indices linguistiques, améliorant ainsi sa capacité à différencier avec précision le contenu généré par l’homme de celui généré par l’IA. Reposant sur une stratégie de fusion hiérarchique des représentations des couches du « transformer», notre modèle met l’accent sur les informations syntaxiques plutôt que sémantiques. Cette approche permet ainsi de capturer des structures phrastiques plus complexes, ce qui aide à distinguer plus efficacement le style et la syntaxe d’un texte.

Notre modèle va au-delà de la pratique standard qui consiste à utiliser uniquement le jeton [CLS] pour la classification dans les classificateurs basés sur BERT. Il applique l’étiquetage des séquences pour classer chaque élément du texte comme étant humain ou artificiel. Cette approche traite la classification binaire des textes comme une prédiction au niveau des jetons, la classification finale étant la moyenne des prédictions des jetons.