El judici no es delega · 2 de 12

Un treball ben presentat, amb la seva bibliografia ordenada, els seus anys, els seus volums i el seu DOI. El docent comprova la primera referència i no la troba. Comprova la segona i tampoc. A la quarta ja sap què trobarà a les altres. El que desconcerta en aquesta escena no és l’error, que els alumnes cometen des que existeix l’escola, sinó l’acabat, perquè ningú no s’inventa una cita i es pren la molèstia de posar-li un identificador digital creïble. La màquina sí. I no ho fa per enganyar ningú.

Se sol dir que aquestes eines s’equivoquen i que els enginyers aniran polint la fallada versió rere versió. És una idea raonable, ja que és el que hem vist passar amb gairebé totes les tecnologies que han entrat a l’escola. Amb aquesta no funciona així. El que anomenem al·lucinació no és una avaria que es pugui separar de la resta: és el mateix mecanisme que fa que l’eina compleixi la seva funció.

El que no està escrit enlloc

A l’article anterior vam veure que un model de llenguatge calcula quina paraula és més probable a continuació i repeteix el càlcul fins a acabar la frase. D’aquí se’n deriva una conseqüència que convé analitzar a poc a poc: un sistema així produirà una continuació encara que no hi hagi res a continuar. José Antonio Bowen i C. Edward Watson ho expliquen amb precisió a Teaching with AI: «com que aquests models generen ordenant probabilitats sobre la paraula o el píxel següent, tendeixen a generar dades falses i a fabricar referències inexistents, i aquesta possibilitat està incorporada en la part generativa del sistema, igual que el biaix ho està en el seu entrenament».

Tots dos problemes es poden reduir, adverteixen els mateixos autors, però seran difícils d’eliminar, perquè són conseqüència directa de la manera com aquests sistemes aprenen. No som davant d’un descuit de programació que algú no ha tingut temps de corregir.

I per què inventa més sobre unes coses que sobre unes altres? Marc Alier, professor i investigador de la Universitat Politècnica de Catalunya, ho formula a l’Informe ODITE 2026 de la manera més útil per a un claustre: la qualitat de les respostes és inconstant, i ho és de manera especial en els àmbits on les dades d’entrenament són limitades o incompletes. Sobre allò que la humanitat ha escrit mil vegades, el terreny està adobat. Sobre allò que gairebé ningú no ha escrit, el model continua havent de dir alguna cosa, i la diu.

I aquí hi ha precisament el problema. Un cotxe avisa quan falla alguna cosa, amb un llum al tauler. En un model de llenguatge no hi ha cap llum d’avís: cap indicador intern no s’encén quan el sistema passa de recuperar un patró ben assentat a omplir un buit. Totes dues operacions són la mateixa operació. Ray Gallon, escriptor i educador, president i cofundador de The Transformation Society, ho resumeix en la seva entrevista del mateix informe recordant que la màquina prediu el següent grup de lletres i que per això comet errors, «al·lucinacions, que no ho són, en un sentit psicològic». La paraula que s’ha triat per anomenar aquest fenomen suggereix una percepció alterada, una cosa que li passa a una ment sana en un mal dia. Però en realitat no té res a veure amb això.

El to no és una dada

Si l’avís no arriba de dins, haurà d’arribar de fora. I aquí apareix la segona dificultat, que és nostra i no de la màquina.

Quan llegim, fem servir la forma com a pista del fons. Un text ordenat, sense titubejos, amb vocabulari precís i estructura clara, ens sembla més fiable que un de vacil·lant, i en el tracte entre persones aquesta pista funciona raonablement bé, perquè qui dubta sol dubtar en veu alta. Alejandro Espeso-García, autor d’una revisió sobre potenciació i externalització cognitiva publicada a Cultura, Ciencia y Deporte, recull que la fluïdesa i el to segur d’aquestes respostes indueixen a acceptar-les sota la premissa que, si es llegeix bé, deu ser veritat. La pista continua allà, però ha deixat d’informar de res. Bowen i Watson ho diuen en cinc paraules: «un text amb to d’autoritat pot continuar sent un disbarat».

Sembla un avís per a despistats, oi?, doncs resulta que funciona al revés. Els mateixos autors recullen l’experiència d’un institut alemany documentada per Haverkamp el 2022, on es van ensenyar a l’alumnat les fallades de l’eina i després se li va permetre fer-la servir als exàmens. Cap estudiant no s’hi va recolzar únicament, i diversos van buscar informació addicional pel seu compte. Tanmateix, els estudiants amb menys seguretat en el contingut de la matèria o en el seu propi raonament van obtenir pitjors resultats, per adoptar el text generat sense sotmetre’l a crítica.

Aquest resultat mereix que ens hi aturem. Qui més necessita l’ajuda és qui menys preparat està per jutjar-la, perquè per detectar que una afirmació és falsa cal saber alguna cosa sobre el tema. Verificar exigeix saber.

També ho descobreix l’alumnat quan se li dona l’ocasió. Miquel Àngel Fuentes Arjona, docent de secundària en un centre públic de Catalunya i formador en competència digital docent, documenta a l’Informe ODITE 2026 una experiència de dotze sessions a 1r de Batxillerat en què els seus alumnes van reconstruir per escrit què pensaven abans i què pensen ara. Sobre les al·lucinacions, partien que era «un problema del programa» i que l’eina «sempre deia la veritat». Al final parlen de «respostes creïbles, però errònies» i constaten que el sistema «no és capaç de verificar la informació». Convé prendre aquestes dades pel que són: tretze alumnes, un sol trimestre, i una recollida retrospectiva que el mateix autor adverteix que no és un disseny de test previ i posterior. No és una mesura d’eficàcia. És una cosa més modesta i més interessant: la veu dels qui han canviat de criteri explicant per què.

El mateix gest que inventa és el que crea

Arribats aquí, la pregunta del claustre sol ser quan estarà resolt. I la resposta incòmoda és que resoldre-ho del tot tindria un preu que potser no volem pagar.

Bowen i Watson dediquen un capítol sencer del seu llibre a la creativitat, i l’argument és aquest: la capacitat de combinar idees i paraules com cap humà no les hauria combinat és la mateixa capacitat que produeix les referències inventades. Les al·lucinacions poden ser perilloses, escriuen, «però també són un tret de la creativitat». Quan a un model se li afegeixen inhibicions perquè afirmi menys coses sense comprovar, assenyalen a propòsit d’una eina concreta, disminueixen les invencions i disminueix també el seu interès creatiu. Aquest és l’intercanvi real, i no el decideix l’escola.

El que sí que decideix l’escola és què fa mentrestant. Si la invenció no s’eliminarà, la verificació deixa de ser una precaució que s’afegeix al final i passa a ser la meitat de la feina. Així ho planteja la revisió sistemàtica d’Iliana Guaranda-Arias i els seus col·legues de la Universitat Estatal de Milagro, a l’Equador, que analitza cinquanta-dos estudis i situa la verificació de fonts, l’autoria i la integritat acadèmica dins del que anomenen alfabetització ètica en intel·ligència artificial, al costat de la formació del professorat en l’anàlisi de casos. Els mateixos autors adverteixen que predominen els dissenys documentals i transversals i que no es pot establir causalitat. És un mapa de què cal ensenyar, no una prova que ensenyar-ho funcioni.

I hi ha un últim gir, el més difícil de veure des de fora. Espeso-García observa que el risc més gran no és que l’eina inventi fets, sinó que produeixi en qui la fa servir una al·lucinació de competència: la persona confon haver obtingut una resposta coherent amb haver entès el tema. La màquina no té llum d’avís. Nosaltres tampoc.

Què fer amb això

A l’aula. Cristian Ruiz Reinales, director de Tecnologia i professor d’Informàtica al Colegio Juan de Lanuza de Saragossa, documenta a l’Informe ODITE 2026 una activitat de 6è de Primària anomenada «Detectius de cites»: l’alumnat comprova si una cita atribuïda a algú apareix en fonts fiables o només en pàgines sense autoria, i acaba formulant les seves pròpies regles del tipus «si no hi ha font, aleshores no la dono per vàlida». En el mateix projecte funciona una rutina transversal que es pot adoptar demà en qualsevol matèria, «IA diu / Font diu / Jo concloc», que obliga a separar per escrit el que proposa l’eina, el que es pot comprovar i el que l’alumne conclou amb el seu criteri.

Per a secundària i batxillerat, Bowen i Watson proposen una tasca més exigent: encarregar un treball amb suport de l’eina i demanar després que es verifiquin totes les cites, que han d’existir i dir el que l’eina diu que diuen, lliurant juntes les referències originals i les corregides. La feina de verificació es converteix així en l’objecte d’avaluació, no en un requisit previ que ningú no mira.

Per a l’equip directiu. La plantilla de política de centre de Bowen i Watson inclou dos punts que solen faltar en les normes d’ús que s’estan aprovant: una advertència explícita sobre els límits de l’eina i una regla clara sobre la responsabilitat última de l’alumne respecte del que lliura. Els mateixos autors avisen que una norma construïda només amb prohibicions desmotiva, perd oportunitats i pot augmentar la desigualtat, perquè qui ja sap fer servir l’eina la farà servir igualment. La diferència entre prohibir citar sense verificar i ensenyar a verificar sembla petita sobre el paper. A la pràctica és la diferència entre una norma i una competència. Pau García-Milà, empresari i divulgador, ho formula en la seva entrevista de l’informe amb una fórmula que serveix de brúixola: «que aprenguin a desconfiar bé».

Per acabar

L’escola fa dècades que ensenya a avaluar fonts, i aquesta competència no ha caducat. El que ha canviat és que abans el text poc fiable solia semblar-ho, i ara no ho sembla mai. La verificació no és un tràmit afegit a l’ús d’aquestes eines. És la meitat de l’ús.

Per continuar pensant. De les tasques que hem posat aquest curs, quantes es poden aprovar sense haver comprovat ni una sola afirmació? I una segona, per a la reunió d’equip: quan un alumne lliura una cita inventada, què estem avaluant exactament, la seva honestedat o la seva capacitat de comprovar?