Cette étrange histoire débute en 2013.
Des ouvriers d’une entreprise de construction allemande remarquèrent un étrange phénomène quand ils utilisaient leur photocopieur Xerox. Lorsqu’ils faisaient une copie du plan d’une maison, la copie différait de l’original d’une manière subtile mais significative. Dans le plan d’origine, chacune des trois pièces de la maison était accompagnée d’un rectangle précisant sa superficie : les pièces mesuraient respectivement 14,13, 21,11 et 17,42 mètres carrés. Or, sur la photocopie, invariablement, les trois pièces étaient étiquetées comme mesurant 14,13 mètres carrés. Mystère !
Il leur fallut s’adresser à un informaticien pour expliquer ce mystère. Un informaticien et pas un réparateur de photocopieur parce qu’un photocopieur Xerox moderne n’utilise plus depuis belle lurette le procédé physique xérographique déployé dans les années soixante. En effet, un photocopieur moderne numérise le document puis imprime le fichier image résultant. Pour faire cela, pour numériser un document, il faut passer par une phase de compression des données indispensable pour économiser de l’espace de stockage disponible dans le photocopieur.
Mais alors qu’est-ce que la compression des données ? Je ne vous ferai pas un cours ici mais en quelques mots, la compression de données, c’est faire subir à un fichier (image, texte, vidéo,…) une transformation qui permettra d’en diminuer la taille pour pouvoir l’envoyer et le lire après, ou l’afficher en ligne, en streaming par exemple.
Deux options se présentent et sont possible selon les usages concernés. Si le fichier récupéré après compression est identique à l’original, le processus de compression est dit sans perte, la transformation n’a pas supprimé d’information. La compression sans perte est par exemple utilisée dans la classique compression ZIP. Vous retrouvez bien vos fichiers lorsque vous déZipez.
En revanche, si le fichier restauré n’est qu’une approximation de l’original, la compression est dite avec perte. Dans ce cas, certaines informations ont été supprimées par le programme de compression et sont désormais irrécupérables. La compression avec perte est utilisée pour les photos, l’audio et la vidéo dans des situations où une partie de l’information peut être perdue sans nuire à l’écoute ou au visionnage. La plupart du temps, on ne remarque pas si une image, une chanson ou un film n’est pas parfaitement reproduit. Mais ill arrive qu’on en voit des conséquences dans le flou des plus petites images ou dans un son déformé ou nasillard de certains fichiers MP3 à faible débit.
Revenons alors aux photocopieurs Xerox.
Ils utilisaient un format de compression avec perte conçu pour être utilisé avec des images en noir et blanc. Pour économiser de l’espace, le copieur identifie les régions de l’image d’apparence similaire et stocke une seule copie pour chacune d’elles. Lorsque le fichier est décompressé pour afficher l’image, il utilise cette copie à plusieurs reprises pour reconstruire l’image. Or, dans le cas qui nous intéresse, il s’est avéré que le photocopieur avait jugé les étiquettes spécifiant la superficie des pièces suffisamment similaires pour n’avoir besoin d’en stocker qu’une seule, celle indiquant 14.13. Au moment de la reconstruction de l’image en vue de son impression, il l’a réutilisée pour insérer la surface des trois pièces du plan d’étage.
Que les photocopieurs Xerox utilisent un format de compression avec perte au lieu d’un format sans perte n’est pas un problème. Le problème est que les photocopieurs dégradaient l’image de manière subtile, tout en produisant une photocopie de très bonne qualité, donnant l’impression que les copies étaient exactes alors qu’elles ne l’étaient pas, affichant des numéros lisibles mais incorrects.
Bienvenue sur la 3e planète du système solaire !
Bienvenue dans un monde dans lequel un photocopieur ne photocopie pas l’original à l’identique.
Bienvenue dans un monde où un procédé de reproduction peut décrire le fonctionnement de ce qui se fait de mieux aujourd’hui, les IA génératives.
Bienvenue dans ce monde du pire, dans lequel le prince d’un état totalitaire, sanguinaire et désertique a lancé en 2017 le chantier de Neom – né de la contraction du grec neo (nouveau) et de l’arabe « mostaqbal » (futur) – dans le cadre du plan Vision 2030, qui vise à sortir le royaume du tout pétrole. Cette soi-disant « ville du futur » de 26000 km2 plantée en plein désert abritera une station de ski où se tiendront les Jeux asiatiques d’hiver de 2029, une « île de luxe » pour les touristes sur la mer, un complexe industriel en partie flottant et enfin « The Line », une ville muraille haute de 500 m et longue de 170 km, le tout vendu comme entièrement décarboné.
Bienvenue dans ce monde l’absurde dans lequel c’est EDF qui a signé avec l’Arabie Saoudite pour construire en plein désert, très loin de toute source d’eau, une centrale hydroélectrique afin d’alimenter Neom d’ici la fin de la décennie.
Bienvenue dans ce monde où EDF, dans lequel notre petit pays qui se pense grand est actionnaire majoritaire, contribue à un projet pour lequel plusieurs membres des Howeitat, tribu vivant sur la zone où doit être implanté Neom, ont été arrêtés, et cinq d’entre eux ont été condamnés à mort pour « atteinte à la sûreté de l’Etat ».
Bienvenue dans ce monde désespérant dans lequel EDF, qui nous inonde de publicité vantant son verdissement et son éthique accompagne un projet qui bafoue les droits humains et environnementaux sur l’ensemble de leur chaine de valeur.
Bienvenue dans les Nowakowskismes, le rendez-vous de la liberté, de la pensée, de la vie digne, les Nowakowskismes qui rappellent sans cesse qu’il faut mobiliser ce qui nous lie, ce qui nous tient ; les Nowakowskismes qui rappellent sans cesse que c’est notre humanité retrouvée qui nous sauvera tout entier..
Bienvenue en Chthulucène ! Dans le « présent épais » de ce temps « qui a été, qui est toujours, et qui pourrait encore être », afin de peupler nos imaginaires d’histoires qui ouvrent des brèches et défient la fin du monde.
Ce soir les Nowakowskismes portent un regard un peu décalé et critique sur ces grands modèles de langages. Dérive a pour anagramme Dévier. Ils posent la question de l’intérêt que nous aurions à utiliser un photocopieur peu fiable afin de produire un texte, une image en appuyant simplement sur le bouton Imprimer.
Ce soir les Nowakowskismes cherchent simplement à ramener de la raison dans tout ce système qui s’emballe à la simple mention des mots IA générative.
Ce soir les Nowakowskismes rappellent que le 13 mars 2024, le Parlement européen a adopté une loi pour encadrer l’intelligence artificielle. C’est une avancée historique mais la loi n’interdit pas l’exportation de ces technologies, elle donne la priorité aux intérêts financiers et elle n’inclut pas des principes essentiels pour protéger les droits humains. 155 organisations internationales, incluant Amnesty International, défendent l’urgence de « remettre en avant les droits fondamentaux ». Aucune IA ne doit être utilisée pour prédire le risque qu’une personne commette un crime ou une fraude. Aucune IA ne doit être employée pour épier chaque geste d’un humain ou décrypter sur son visage une intention cachée. Aucune IA ne doit servir à désigner qui peut être surveillé ou sorti de prison. Ni choisir qui peut être accueilli ou bloqué à une frontière.
Il était une fois…
Vous allez certainement vous demander quelle mouche m’a piqué aujourd’hui. Vous allez certainement vous demander pourquoi parler de photocopieur alors qu’aujourd’hui les débats sérieux concernent l’IA, les grands modèles de langage, les réseaux de neurones… Mais, la ressemblance entre un photocopieur et un grand modèle de langage n’est peut-être pas immédiate mais considérons le petit scénario suivant.
Imaginez ce petit scénario. Vous allez devoir vous passer définitivement de votre accès au web. Afin de vous y préparer, vous imaginez faire une copie compressée de tous les textes présents sur le web afin de les stocker sur votre serveur personnel. Malheureusement, votre petit serveur privé ne dispose que d’un pour cent de l’espace nécessaire. Pour récupérer quelque chose d’exploitable, il faudrait alors concevoir un programme de compression avec pertes identifiant les régularités statistiques dans les textes du web afin de les sauvegarder dans un fichier au format adaptés. Parce qu’aujourd’hui, on peut disposer d’une puissance de calcul quasi-illimitée, le programme pourrait ainsi identifier des régularités statistiques jusque dans les détails les plus fins, ce qui permettrait d’atteindre le taux de compression désiré de cent pour un.
Ouf !
Toutes les informations du Web seraient stockées sur le serveur.
Le seul problème serait que, comme le texte ayant été très compressé, il ne serait pas possible de rechercher d’informations à partir d’une citation exacte. Il ne serait en effet pas possible d’avoir une correspondance exacte entre la demande et les données stockées dans le fichier, car les informations demandées ne sont pas celles qui sont stockées. Alors, pour résoudre ce problème, il faudrait créer une interface qui accepterait des requêtes sous forme de questions et qui répondrait avec des réponses transmettant l’essentiel de ce qui est disponible sur le serveur.
Et bien ceci ressemble à s’y méprendre à ChatGPT ou à la plupart des autres grands modèles de langage. En effet, ChatGPT peut être vu comme un image JPEG floue obtenue à partir de tous les textes du Web. ChatGPT conserve une grande partie des informations de la même manière qu’un fichier JPEG conserve une grande partie des informations d’une image à plus haute résolution. Mais, si on recherche une séquence exacte de bits, on ne la trouvera pas, on n’obtiendra qu’une approximation. Mais, comme l’approximation est présentée sous la forme d’un texte, dans lequel ChatGPT excelle à créer, elle est généralement acceptable. En réalité, on regarde toujours un fichier JPEG flou qui ne se voit pas comme flou.
Cette analogie avec la compression avec perte n’est pas seulement un moyen de comprendre la capacité de ChatGPT à reconditionner les informations trouvées sur le Web en utilisant des mots différents. C’est aussi un moyen de comprendre ce qu’on appelle les « hallucinations », autrement dit les réponses absurdes à des questions factuelles, auxquelles les grands modèles de langage tels que ChatGPT ne sont que trop enclins. Ces hallucinations sont des artefacts de compression. Comme les étiquettes incorrectes générées par le photocopieur Xerox, les hallucinations sont suffisamment plausibles pour que leur identification nécessite de les comparer aux originaux, ce qui dans ce cas signifie soit, jeter un oeil aux originaux sur le web, soit faire appel à notre propre connaissance du monde.
Cette approche permet de comprendre que de telles hallucinations ne sont pas surprenantes. En effet, si un algorithme de compression est conçu pour reconstruire du texte alors que quatre-vingt-dix-neuf pour cent de l’original ont été supprimés, on ne peut que s’attendre à ce qu’une partie importante de ce qu’il génère soit entièrement fabriquée.
Cette analogie est d’autant plus parlante quand on sait qu’une technique courante utilisée par les algorithmes de compression avec perte est l’interpolation, c’est-à-dire l’estimation de ce qui manque en examinant ce qui se trouve de chaque côté de l’écart. Ainsi, lorsqu’un programme de traitement d’images affiche une photo et doit reconstruire un pixel perdu lors du processus de compression, il examine les pixels proches et calcule la moyenne.
Continuons notre histoire.
ChatGPT fait exactement la même chose qu’un programme de traitement d’images. Il prend des informations autour et calcule une moyenne afin de combler les vides. Ainsi, par exemple, lorsqu’on lui demande de décrire « la perte d’une chaussette dans le sèche-linge » en utilisant le style de la Constitution française que fait-il ? Il prend deux points dans « l’espace lexical » et génère le texte qui occuperait l’emplacement entre eux. ChatGPT est si bon dans cette forme d’interpolation que les gens trouvent cela amusant de disposer d’un outil de production de « floutage » de textes. Les grands modèles de langage comme ChatGPT étant considérés comme la pointe de l’intelligence artificielle, il est évidemment considéré comme dédaigneux de les décrire comme de simples algorithmes de compression de textes avec perte. Cette approche permet peut-être de lutter contre la tendance à anthropomorphiser les grands modèles de langage.
Un autre exemple.
Si on demande à GPT-3 d’ajouter ou de soustraire deux nombres, il répond presque toujours avec la bonne réponse lorsque les nombres n’ont que deux chiffres. Mais sa précision se détériore considérablement avec des nombres plus grands, tombant à dix pour cent lorsque les nombres comportent cinq chiffres. Pourquoi ? Parce que la plupart des réponses ne se trouvent pas sur le Web donc il ne peut pas répondre. Evidemment, il n’y a pas beaucoup de pages Web contenant le texte « 245 + 821 ». Surtout, et c’est le plus important, malgré l’absorption d’une quantité astronomique d’informations, ChatGPT n’est pas en mesure d’en déduire les principes de l’arithmétique. GPT-3 ne produit qu’une approximation superficielle de la réalité, pas plus.
Alors, compte tenu de l’échec de GPT-3 au concours d’entrée à l’école primaire, comment expliquer le fait qu’il semble parfois donner de bons résultats dans la rédaction d’essais de niveau universitaire ? Même si les grands modèles de langage sont sujets à de nombreuses hallucinations, ils semblent malgré tout bien modéliser les structures de la théorie économique. L’arithmétique serait-elle le cas particulier pour lequel les grands modèles de langage sont mal adaptés ?
Est-il possible que, dans des domaines autres que l’addition et la soustraction, les modèles des régularités statistiques du texte puissent produire une représentation viable du monde réel ?
Clairement, ChatGPT reformule des éléments extraits du Web au lieu de les citer mot pour mot ce qui donne l’impression qu’un étudiant quelqu’un exprime ses idées dans ses propres mots, plutôt que de simplement régurgiter ce qu’il a lu. Tout cela contribue à créer l’illusion que ChatGPT comprend ce qu’il produit. Comme chez les étudiants humains, la mémorisation par cœur n’a jamais été un indicateur fiable d’un véritable apprentissage, l’incapacité de ChatGPT à produire des citations exactes à partir de pages Web est précisément ce qui nous fait imaginer qu’il se passe quelque chose.
Une autre question. Les grands modèles linguistiques peuvent-ils aider les humains à créer une écriture originale ?
Comme ces Nowakowskismes commencent avec une photocopieuse, revenons-y.
Savez-vous qu’il existe un art connu sous le nom Xerox art, ou l’art de la photocopie, dans lequel les artistes utilisent les propriétés spécifiques des photocopieurs comme outils de création.
Peut-être que quelque chose de ce genre est également possible avec le photocopieur qu’est ChatGPT mais, en restant sérieux, rappelons quand même que les photocopieurs ne sont jamais devenus des outils essentiels dans la création artistique.
En mettant de côté le Xerox art, peut-on envisager que le texte généré par de grands modèles de langage puisse être un point de départ utile sur lequel les écrivains pourraient s’appuyer lorsqu’ils écrivent quelque chose d’original, qu’il s’agisse de fiction ou pas ?
Est-ce que laisser un grand modèle de langage gérer les parties secondaires d’un roman permettrait aux écrivains de concentrer leur attention sur les parties vraiment créatives de leur oeuvre ?
À ce stade, il peut être pertinent de mentionner que commencer un travail par une copie floue d’une œuvre non originale n’est certainement pas un bon moyen de créer une œuvre originale. Un écrivain écrira beaucoup d’œuvres non originales avant d’écrire quelque chose d’original. Un écrivain rature, réécrit. Pour autant, le temps et les efforts, les heures passées à choisir le bon mot et à réorganiser les phrases, toute cette énergie consacrée à ce travail non original ne sont pas gaspillés, c’est précisément ce qui permet d’envisager de créer quelque chose d’original. Or, demander aux étudiants de rédiger des essais n’est pas simplement un moyen de tester leur compréhension de la matière, c’est surtout le moyen de leur faire vivre l’expérience de la pensée. Alors à ne leur demander de produire des travaux que nous aurons tous déjà lu, qu’en retireront-ils ? Rappelons juste qu’il n’y a rien de magique ou de mystique dans l’écriture, mais que cela implique bien plus que de placer un document existant sur un photocopieur peu fiable et d’appuyer sur le bouton Imprimer.
En guise de conclusion.
En Colombie, au mois de janvier, puis en Bolivie en avril, deux juges ont utilisé ChatGPT dans des affaires civiles pour écrire leur argumentation et condamner des hommes à de fortes amendes. En mai, un avocat américain a questionné ChatGPT pour défendre l’employé d’une compagnie aérienne blessé par un chariot à cause de la négligence d’un collègue. À la question « Liste-moi les décisions judiciaires justifiant nos poursuites » L’IA a alors sorti six jugements qui n’ont jamais existé, qui n’existent pas dans toute l’histoire du droit. Aucun. Jamais. Nulle part.
Voilà le temps des Nowakowskismes est terminé pour ce soir, et, c’est avec ces quelques mots des communardes de la Fédération syndicale des ouvrières, dans une « Adresse au comité central des citoyennes » le 11 mai 1871 que nous terminerons : « [La Commune], représentante du grand principe proclamant l’anéantissement de tout privilège, de toute inégalité, par là même, est engagée à tenir compte des justes réclamations de la population entière sans distinction de sexe – distinction créée et maintenue par le besoin de l’antagonisme sur lequel reposent les privilèges des classes gouvernantes […]. Nous voulons le travail, mais pour en garder le produit. Plus d’exploiteurs, plus de maîtres. […] L’organisation du travail féminin, au moyen d’associations productives libres, […] soustrayant le travail au joug du capital exploiteur, [permettant] l’anéantissement de toute concurrence entre travailleurs des deux sexes, leurs intérêts étant absolument identiques et leur entente solidaire étant de rigueur pour le succès de la grève définitive et universelle du travail contre le capital ».
À méditer bien sûr.
Sources et inspirations
https://lundi.am/Lettre-ouverte-de-Louise-Michel-a-M-Emmanuel-Macron
https://www.novethic.fr/environnement/transition-energetique/la-revolte-des-employes-dedf-contre-la-construction-dun-barrage-hydroelectrique-en-plein-desert-saoudien
https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web
Podcast – https://hearthis.at/radio-campus-lorraine-mu/nowakowskismes-8.14-20032024-09.39/
Musiques
Neil Young, Hey hey my my (into the black) – https://youtu.be/331kyZ9OXMc?si=E0S5GPUt7Q32k5LN
Nirvana, In bloom – https://youtu.be/e-LDY0hr3Z4?si=qvpa-dbq24d40shL
Pink Floyd, Welcome to the machine – https://youtu.be/lt-udg9zQSE?si=6fIExMEVZSFrQwEr
OpenEdition suggests that you cite this post as follows:
Samuel Nowakowski (March 23, 2024). Nowakowskismes 8.14. Dérive. Humanités numériques . Retrieved October 14, 2024 from https://doi.org/10.58079/w2u8