Comment Open AI a découvert que ChatGPT était utilisé par une campagne d’influence prorusse

Des comptes Chat GPT, « très probablement » russes, utilisés pour générer des commentaires en anglais. Et ceux-ci servaient à promouvoir un vrai-faux think thank – International Burke Institute (IBI) – basé en Israël. Sur son site, l’IBI présentait la Russie de manière favorable. Difficile de résumer, en seulement deux phrases, l’opération d’influence prorusse détectée récemment par les équipes de sécurité d’Open AI.

« Ce qui avait commencé comme une enquête sur les publications générées par l’IA sur les réseaux sociaux nous a conduits à une opération d’influence beaucoup plus large », écrivent ces derniers dans un rapport détaillé, publié ce mardi 25 août. L’entreprise américaine y explique également les dessous de cette opération d’influence, qui « semble avoir touché un public relativement restreint ».

De multiples usages

Dissimulés derrière un VPN (réseau privé virtuel), plusieurs opérateurs, « très probablement de Russie », utilisaient des comptes Chat GPT pour générer des commentaires dans différentes langues. « La plupart des commentaires générés étaient en anglais, et les opérateurs ont demandé à ChatGPT de cacher tout indice linguistique indiquant qu’ils étaient russes », détaille Open AI. L’entreprise a par ailleurs annoncé que les comptes en question avaient été bannis.

Ces messages générés par ChatGPT ont ensuite été publiés sur différents réseaux sociaux (Substack, Telegram, X, Facebook et LinkedIn). Notamment en dessous des « publications de véritables utilisateurs de Substack ». Généralement, cela prenait la forme d’une « demande de suivi du canal de l’International Burke Institute » - un autoproclamé groupe d’experts basé en Israël.

Plus largement, des publications générées grâce à ChatGPT servaient également à promouvoir « des articles sur le site » Internet de ce prétendu groupe de réflexions. Des vidéos générées par IA, mises en lignes sur YouTube, faisaient également la promotion d’un index (« indice Burke ») développé par cet institut.

Un site avec du contenu volé

L’International Burke Institute, qui se décrit donc comme étant « une communauté d’experts », est au cœur de cette opération d’influence. Sur son site, une interminable liste d’experts ayant prétendument travaillé avec l’institut est visible. Les articles signés par ces chercheurs sont d’ailleurs hébergés sur le site.

Sauf que tout est faux. Les articles que l’on trouve sur ce site ont été originellement publiés dans d’autres sources. C’est le cas de cet article d’Emily Benson, publié à l’origine sur le site du Center for Strategic and International Studies (CSIS).

Sur « un échantillon de 36 articles liés à des experts » listés sur le site de l’IBI, 34 « ont été copiés d’ailleurs sur Internet », note Open AI dans le rapport. « Certains de ces articles datent de plusieurs années, d’autres ont été attribuées aux mauvais auteurs. »

Un indice de souveraineté suspect

En plus de ces articles volés, ce groupe de réflexion met en avant un « indice de souveraineté » plutôt favorable à la Russie (4e position). La France et l’Allemagne se classent respectivement 19e et 21e. Les rapports sur chacun de ces pays se montrent particulièrement critiques. En « dix ans de macronisme, […] la France a été ouverte comme un coffre-fort […], et est maintenant vendue à la découpe », peut-on lire concernant l’Hexagone. Dans le rapport sur la Russie, la guerre en Ukraine menée par le Kremlin n’est jamais mentionnée.

« Cela montre comment les acteurs d’influence peuvent utiliser l’IA comme un outil au service d’une stratégie plus large » visant à donner de la crédibilité au récit, conclut l’entreprise dans son rapport.