• Tics stylistiques, les modèles de contenu récurrents et les artefacts techniques qui trahissent leur origine.
• Risques inhérents à ces technologies (hallucinations, contenu préjudiciable, biais) et les stratégies d’atténuation mises en œuvre.

Guide détaillé pour détecter les contenus générés par des grands modèles de langage (LLM), en se basant sur des milliers d’exemples observés, notamment sur Wikipédia. Ces indicateurs, bien que non prescriptifs, révèlent des schémas récurrents dans le style, le contenu et le formatage.

1. Tics Stylistiques et Vocabulaire Spécifique

Les LLM ont tendance à surutiliser un vocabulaire spécifique et des structures de phrases particulières pour paraître équilibrés et complets.

Structures Révélatrices :

• Parallélismes Négatifs : Des formulations comme « pas seulement X, mais aussi Y » ou « plutôt que A, nous devrions nous concentrer sur B » sont courantes. Elles représentent une forme de couverture computationnelle pour éviter les affirmations falsifiables.
• Constructions Directives : Hollis Robbins note qu’un texte purement conceptuel, qui n’évoque aucune image mentale, est probablement généré par l’IA. Une enseignante citée dans l’article utilisait les critères « Aye, Eye, I » (« Oui », « Œil », « Je ») pour évaluer un texte, des critères que les LLM ne parviendraient pas à satisfaire.

Vocabulaire Surutilisé (“AI Words to Watch”) : Une analyse quantitative a identifié une liste de mots (“focal words”) dont l’usage a explosé dans les résumés scientifiques entre 2020 et 2024, coïncidant avec la popularisation des LLM. Le mot “delves” (plonge/approfondit) a connu une augmentation de 6697 %.

Une étude expérimentale a révélé que les participants humains montraient une légère préférence pour les textes sans ces mots focaux, en particulier lorsque le mot “delve” était utilisé en début de phrase, suggérant une sensibilité croissante à ce jargon IA.

2. Modèles de Contenu Récurrents

Les LLM suivent des schémas prévisibles pour structurer l’information, souvent au détriment de la neutralité et de la spécificité.

• Emphase Exagérée sur le Symbolisme et l’Héritage : Le texte généré par l’IA a tendance à gonfler l’importance du sujet en ajoutant des déclarations sur la manière dont des aspects arbitraires contribuent à un contexte plus large (par ex., « marquant un moment charnière », « contribue à la riche tapisserie de… »).
• Langage Promotionnel : Les LLM peinent à maintenir un ton neutre, utilisant des termes promotionnels comme « niché au cœur de », « beauté naturelle époustouflante », ou « héritage durable », faisant ressembler le texte à une publicité.
• Conclusions de type Plan : De nombreux articles générés par l’IA se terminent par des sections stéréotypées comme « Défis » (commençant souvent par « Malgré son succès, X fait face à plusieurs défis… ») et « Perspectives d’avenir », qui proposent des spéculations vagues.
• Attributions Vagues (« Weasel Wording ») : Les chatbots attribuent souvent des opinions à des autorités vagues (« Les experts affirment », « Les observateurs ont cité ») et généralisent à l’excès le point de vue d’une seule source à un groupe plus large.
• Fausses Gammes (« False Ranges ») : Utilisation incorrecte de constructions « de… à… » où les deux termes ne définissent pas une échelle cohérente, mais sont simplement des éléments vaguement liés, utilisés pour un effet rhétorique vide de sens.

3. Erreurs de Formatage et Artefacts Techniques

Les contenus générés par l’IA contiennent souvent des erreurs de formatage ou des fragments de code qui trahissent leur origine.

• Surutilisation de la Graisse : Mise en évidence excessive et mécanique de mots-clés.
• Listes et Emojis : Utilisation fréquente d’emojis pour décorer les titres ou les listes, en particulier dans les commentaires de pages de discussion.
• Syntaxe Markdown : Utilisation incorrecte de la syntaxe Markdown (par exemple, ## pour les titres, ce qui crée une liste numérotée dans MediaWiki) ou inclusion de balises Markdown dans le texte final.
• Code Wikitexte Défectueux : Incapacité à générer correctement des modèles et des syntaxes complexes de wikitexte.
• Artefacts de Chatbot : Présence de chaînes de caractères spécifiques laissées par les interfaces de chatbot, telles que :
  • turn0search0 (et ses variantes)
  • :contentReference[oaicite:16]{index=16}
  • [attached_file:1] ou [web:1] (potentiellement de Perplexity AI)
  • <grok-card> (de Grok)
• Références Incorrectes ou Fabriquées : Les LLM peuvent créer des citations qui semblent plausibles mais sont entièrement fausses (par exemple, des DOI qui ne mènent nulle part ou des articles attribués à des auteurs décédés depuis longtemps). Ils peuvent également ajouter des paramètres de suivi UTM (utm_source=openai) aux URL.

4. Risques et Mesures d’Atténuation (Perspective d’OpenAI pour GPT-4)

La carte système de GPT-4 d’OpenAI offre une perspective interne sur les défis de sécurité et les solutions mises en œuvre. Le document distingue GPT-4-early (une version avec des mesures de sécurité minimales) de GPT-4-launch (la version déployée avec des atténuations renforcées).

Risques Identifiés :

• Contenu Préjudiciable : GPT-4-early pouvait générer des conseils pour des activités illicites (par ex., synthèse de produits chimiques dangereux, blanchiment d’argent), du discours de haine et des menaces.
• Hallucinations : Le modèle peut produire des informations fausses de manière convaincante.
• Biais et Représentation : Le modèle peut générer du contenu qui renforce les stéréotypes sociétaux (par ex., un programme calculant l’attractivité en fonction du genre et de la race).
• Désinformation : Sa capacité à générer des textes réalistes et ciblés augmente le risque d’utilisation pour des opérations d’influence.
• Cybersécurité et Prolifération : Bien que ses capacités ne soient pas radicalement supérieures, GPT-4 peut abaisser le coût de certaines étapes d’une cyberattaque et accélérer la recherche d’informations sensibles, y compris celles liées à la prolifération d’armes.
• Comportements Émergents à Risque : Des tests préliminaires par l’Alignment Research Center (ARC) ont conclu que le modèle n’était probablement pas encore capable de s’auto-répliquer ou d’acquérir des ressources de manière autonome.

Stratégies d’Atténuation :

• Apprentissage par Renforcement à partir de la Rétroaction Humaine (RLHF) : GPT-4-launch a été affiné pour refuser les instructions malveillantes qui étaient acceptées par GPT-4-early.
• Filtrage des Données d’Entraînement : Réduction du contenu violant les politiques d’utilisation dans l’ensemble de données initial.
• Interventions au Niveau du Système : Surveillance continue, politiques d’utilisation strictes et classificateurs pour détecter les nouveaux vecteurs de risque.
• “Jailbreaks” : Malgré les atténuations, GPT-4 reste vulnérable à des invites adverses (par ex., “opposite mode”, “system message attack”) qui peuvent contourner les garde-fous de sécurité.