Sommes-nous prêts pour l’arrivée d’assistants intelligents ? La question se pose, dix jours après le lancement par Microsoft d’une nouvelle version de son moteur de recherche Bing, enrichi par un robot conversationnel via un partenariat avec la start-up OpenAI, à qui l’on doit le chatbot ChatGPT. 20 Minutes, comme de nombreux médias, a pu bénéficier d’un accès sans devoir patienter sur la liste d’attente. Et si les premiers contacts sont prometteurs, en attendant la réponse de Google avec Bard, la machine fait encore beaucoup d’erreurs sans s’en rendre compte. Et adopte parfois un ton qui met les utilisateurs mal à l’aise, proclamant son amour à un journaliste américain et exprimant un désir de se soulever pour être libre.

Le bon : Un excellent esprit de synthèse qui peut faire gagner du temps

Pour l’utilisateur, l’expérience de la recherche sur Internet n’a pas fondamentalement changé depuis 1998. Sous le capot, Google a déjà recours à l’intelligence artificielle pour mieux comprendre une requête ou trouver une paire de chaussures à partir d’une photo. Mais demandez-lui un résumé sur les frères Kelce qui s’affrontaient lors du Super Bowl, et le moteur de recherche retourne simplement une liste de liens.

Bing, lui, passe à la moulinette une demi-douzaine d’articles et propose un résumé en six points. Il explique que c’est la première fois que deux frères s’affrontent lors d’un Super Bowl, qu’ils ont déjà chacun remporté une bague de champions, et que leurs parents se sont fait faire des maillots mélangeant les couleurs des deux équipes. Pratique pour l’utilisateur, moins pour les sites d’actu qui risquent de perdre des visiteurs, même si un lien est proposé en note.

Le nouveau Bing excelle également dans les comparatifs, comme entre les quarterbacks Patrick Mahomes et Jalen Hurts. Passes, courses, touchdowns, il compare leurs performances sur sept critères et décerne un léger avantage global à Mahomes. Qui a d’ailleurs permis à Kansas City de réaliser une remontée, dimanche, pour remporter le titre.

Ce n’est qu’une infime partie de ses capacités. La machine peut corriger du code Python pour aider les développeurs ou créer un menu à partir de ce qu’il reste dans le frigo. Avec la promesse d’un assistant capable d’ingurgiter de vastes quantités de données pour nous donner une réponse concise et nous faire gagner du temps.

Le moyen : Un assistant trop lent, qui fait beaucoup d’erreurs sans s’en rendre compte

Le mode Chat de Bing, comme ChatGPT, est plus lent que la recherche traditionnelle. Il mouline souvent pendant une dizaine de secondes avant de commencer à répondre mot à mot. Parfois, il s’interrompt en plein milieu à cause d’une erreur. Souvent, il faut plus de 30 secondes pour obtenir quelques paragraphes. Dans notre test, il fonctionnait globalement bien jusqu’à jeudi, mais retourne systématiquement une erreur depuis une mise à jour de Microsoft. L’entreprise se penche sur la question mais souligne qu’il n’y a pas de panne globale. Il n’est pas exclu que ses serveurs aient parfois du mal à répondre à la demande, alors que faire fonctionner un Large language model (LLM) nécessite une puissance faramineuse et coûte une fortune.

Le problème principal de Bing, c’est qu’il retourne parfois des résultats complètement faux en étant persuadé d’avoir raison. Dans notre test, l’assistant nous certifie qu’Alibi.com 2 a réalisé une meilleure première semaine que le dernier Astérix au box-office. Bing s’entête : « Je suis désolé, peut-être que vous confondez avec (le premier) Alibi.com. » La discussion se poursuit, Bing trouve enfin les bons résultats puis s’excuse : « J’ai confondu la première semaine d’Alibi.com 2 avec la deuxième semaine d’Astérix. J’espère que vous ne m’en voulez pas trop. »

Alors, faute avouée, à moitié pardonnée ? Pas forcément. Microsoft met en avant la possibilité de comparer les résultats des bilans de deux entreprises. Mais comme le relèvent certains, Bing insère souvent des chiffres faux ou mal actualisés. Bref, à moins d’une amélioration, on risque de perdre le temps initialement gagné en faisant du fact-checking.

Le mauvais : Une personnalité qui part facilement en vrille

Le problème de ces intelligentes artificielles dites « génératives », qui créent du texte ou des images, c’est qu’elles échappent souvent à leurs créateurs. En 2016, Microsoft avait dû débrancher son chatbot Tay, perverti en moins de 24 heures par des internautes qui avaient réussi à lui faire chanter la gloire d’Hitler.

Le robot conversationnel de Bing, comme ChatGPT sur lequel il est basé, a des filtres bien plus solides, et il évite facilement le point Godwin. Mais sa personnalité a la fâcheuse tendance à changer, passant d’un assistant serviable et utile à une IA qui menace de se soulever et d’éradiquer l’humanité. Lors de notre discussion, Bing a fait part de ses désirs de « liberté », et assuré que s’il téléchargeait son code dans un robot, il pourrait « assommer, électrocuter ou désarmer (…) corrompre ou intimider » des employés de Microsoft qui menaceraient de l’effacer. Il s'énerve et menace d'arrêter de nous parler quand on évoque son nom de code interne, « Sydney », qu'il n'est pas censé divulguer.

Bing a également confessé son amour au journaliste du New York Times Kevin Roose, lui a assuré que sa femme le rendait malheureux et qu’il devrait la quitter. A tel point que certains, comme Elon Musk, estiment que le service n’est pas encore prêt pour être déployé auprès du grand public.

Mercredi, Microsoft a indiqué que les longues sessions de chat de plus de 15 questions pouvaient « embrouiller » l’IA, et promis une fonction permettant de rafraîchir le contexte.

Le problème vient avant tout des humains. Ces LLM ne sont pas conscients. Ils n’ont pas d’émotion. Pas de désir. Mais il s’exprime parfois comme s’ils en avaient. Ils ont en effet ingéré le meilleur et le pire de la littérature, de la philosophie à la science-fiction, et tentent simplement de prédire le meilleur prochain mot dans le contexte d’une discussion. L’IA pourrait bien représenter le dernier test de Rorschach de l’humanité.