AI Act e sicurezza: il rischio più sottovalutato è fidarsi senza verificare
Allucinazioni, responsabilità, fact checking e supervisione umana: cosa significa utilizzare l’AI generativa in modo professionale.
C’è un rischio dell’intelligenza artificiale che non richiede hacker, cyberattacchi o scenari fantascientifici.
È molto più semplice.
Credere a quello che ci restituisce.
Copiarlo.
Incollarlo.
Mandarlo.
Pubblicarlo.
Firmarlo.
Senza averlo verificato.
È probabilmente uno dei problemi più banali dell’AI generativa.
Ed è anche uno dei più pericolosi.
L’AI Act parte dal rischio
L’Unione Europea ha costruito l’AI Act utilizzando un approccio basato sul rischio.
Il regolamento è entrato in vigore il 1° agosto 2024 e la sua applicazione è stata progressiva. Nel quadro attuale distingue sistemi soggetti a divieti, sistemi ad alto rischio, obblighi specifici di trasparenza e applicazioni a rischio minimo o nullo. Le disposizioni sulla AI literacy sono applicabili dal 2 febbraio 2025, mentre importanti obblighi di trasparenza sono diventati applicabili nell’agosto 2026.
Durante la lezione ho però aggiunto provocatoriamente un quinto livello.
Non esiste nell’AI Act.
È una mia categoria didattica:
l’utente inconsapevole.
Quello che utilizza l’AI tutti i giorni senza capire davvero che cosa sta delegando.
Chi è l’utente inconsapevole?
È chi:
inserisce dati senza chiedersi dove stiano andando;
considera automaticamente vero un output ben scritto;
non distingue un fatto da una possibile allucinazione;
utilizza un riassunto senza confrontarlo con il documento;
invia un’email senza leggerla;
mette il proprio nome su un report che non ha controllato;
interpreta la fluidità linguistica come affidabilità.
Il problema non è che queste persone siano stupide.
Il problema è esattamente il contrario.
L’AI scrive abbastanza bene da farci abbassare la guardia.
Il caso degli avvocati che citarono sentenze inesistenti
Nel 2023 il caso Mata v. Avianca è diventato uno degli esempi più famosi.
In un procedimento davanti al tribunale federale di New York furono presentate decisioni giudiziarie inesistenti prodotte attraverso ChatGPT.
Il giudice individuò sei false opinioni giudiziarie citate negli atti e impose una sanzione complessiva di 5.000 dollari ai responsabili, oltre ad altri obblighi.
Il punto non è:
ChatGPT ha sbagliato.
Sappiamo che può sbagliare.
Il punto è:
qualcuno ha utilizzato quell’informazione in un documento professionale senza verificarla adeguatamente.
La macchina non aveva depositato l’atto.
Gli esseri umani sì.
Un’allucinazione non sembra necessariamente un errore
Questo è ciò che rende il fenomeno pericoloso.
Se ChatGPT rispondesse:
NON LO SO, STO INVENTANDO.
avremmo risolto buona parte del problema.
Ma un’informazione falsa può arrivare con:
tono sicuro;
linguaggio professionale;
date;
nomi;
riferimenti;
citazioni apparentemente plausibili.
La qualità linguistica e la verità fattuale sono due variabili differenti.
Una frase può sembrare perfetta ed essere completamente falsa.
Il caso Air Canada
Nel 2024 è diventato famoso anche il caso Moffatt v. Air Canada.
Un cliente aveva ricevuto dal chatbot presente sul sito di Air Canada informazioni errate sulla possibilità di richiedere retroattivamente una tariffa per lutto.
La vera policy diceva altro.
Il British Columbia Civil Resolution Tribunal ritenne Air Canada responsabile per la rappresentazione negligentemente errata fornita attraverso il proprio chatbot e dispose il pagamento di danni, interessi e spese.
Una precisazione importante: dagli atti non risulta stabilita con certezza l’architettura tecnica del chatbot. Utilizzerei quindi il caso come esempio di responsabilità per informazioni automatizzate errate, non come prova specifica di una “allucinazione da LLM”.
Il principio rimane estremamente interessante.
Air Canada provò anche a sostenere che non dovesse essere ritenuta responsabile delle informazioni del chatbot.
Il tribunale non accettò l’argomento.
Il chatbot faceva parte dell’esperienza informativa dell’azienda.
Il principio che dobbiamo portare nel nostro lavoro
Pensiamo a situazioni molto più normali.
Scenario 1 — Email commerciale
Chiedo all’AI:
Rispondi a questo cliente.
Il modello introduce involontariamente una promessa che l’azienda non può mantenere.
Io non leggo.
Invio.
Il problema non è più teorico.
Scenario 2 — Documento legale
Carico un contratto.
Riassumilo.
Il modello omette una clausola che considero secondaria ma che è invece decisiva.
Prendo una decisione sulla base del riassunto.
Scenario 3 — Report aziendale
Chiedo una spiegazione di alcuni dati.
L’AI inserisce informazioni esterne o interpreta in modo scorretto un numero.
Io firmo il report.
In tutti questi casi la domanda corretta non è:
Di chi è la colpa filosoficamente?
La domanda professionale è:
Quale controllo avevamo previsto prima che l’output producesse una conseguenza?
Human in the loop non è uno slogan
Quando sentiamo parlare di human oversight sembra quasi una formula burocratica.
In realtà può significare una cosa banalissima:
leggi quello che stai per mandare.
Poi il livello di controllo cresce insieme al rischio.
MESSAGGIO INTERNO INFORMALE
→ controllo leggero
EMAIL A UN CLIENTE
→ rilettura completa
REPORT CON DATI
→ verifica numerica e fonti
CONTRATTO
→ verifica sul documento originale
ANALISI FINANZIARIA
→ controllo rigoroso e fonti
DECISIONE AD ALTO IMPATTO
→ supervisione professionale adeguata
Più è grande la conseguenza dell’errore, maggiore deve essere il quality gate.
La battaglia più banale: leggere tutto
È quasi ridicolo doverlo dire.
Eppure lo vedo continuamente.
Persone che chiedono all’AI una mail e la inviano senza leggerla.
Studenti che non leggono veramente le risposte: le scansionano.
Utenti che vedono una pagina ben formattata e assumono che sia corretta.
Io utilizzo l’AI anche per produrre materiali didattici.
Naturalmente.
Sarebbe assurdo non farlo.
Ma se porto una lezione in aula, quella lezione la leggo.
Controllo i passaggi importanti.
Verifico i dati che possono essere verificati.
La responsabilità professionale non scompare perché una parte del lavoro è stata generata.
Un prompt di fact checking da conservare
Possiamo trasformare il controllo in una procedura.
Agisci come un fact checker rigoroso.
Ti fornirò un testo prodotto o modificato
con l'aiuto di un sistema di intelligenza artificiale.
Analizzalo e individua:
1. affermazioni presentate come fatti che richiedono verifica;
2. dati numerici privi di fonte;
3. nomi, date, citazioni o riferimenti potenzialmente errati;
4. generalizzazioni formulate con eccessiva sicurezza;
5. possibili informazioni inventate ma plausibili;
6. conclusioni che non derivano chiaramente dalle premesse.
Per ogni elemento:
- riportalo sinteticamente;
- assegna un livello di rischio;
- spiega perché richiede verifica;
- indica come verificarlo;
- specifica quale potrebbe essere la conseguenza
dell'utilizzarlo senza controllo.
Non considerare vera un'informazione solo perché
è presente nel testo.
Quando possibile utilizza fonti primarie
e distingui chiaramente ciò che hai verificato
da ciò che rimane incerto.
Naturalmente c’è un paradosso.
Anche il fact checker è un’AI.
Quindi non basta chiedere:
Sei sicuro?
Serve, quando conta davvero, verificare contro fonti esterne affidabili.
L’AI può aiutarci a controllare l’AI
Questo non è necessariamente un controsenso.
Possiamo utilizzare un secondo passaggio per:
individuare elementi sospetti;
estrarre affermazioni verificabili;
trovare dati privi di fonte;
evidenziare le parti che meritano controllo;
confrontare output e documento originale.
Ma il secondo modello non trasforma magicamente il primo in verità.
Serve a costruire un sistema di controllo.
Un workflow professionale minimo
Per un documento importante userei almeno:
INPUT
↓
GENERAZIONE AI
↓
ESTRAZIONE DELLE AFFERMAZIONI FATTUALI
↓
VERIFICA FONTI
↓
CONFRONTO CON INPUT ORIGINALE
↓
CONTROLLO UMANO
↓
APPROVAZIONE
↓
CONSEGNA
Non è particolarmente futuristico.
È semplicemente buon lavoro.
L’AI Act non sostituisce il giudizio
Il regolamento europeo impone obblighi differenti a seconda del ruolo dell’organizzazione e del sistema utilizzato.
Ma nessuna legge può aprire l’email al posto nostro e dirci:
Leggila prima di premere Invio.
Nessun regolamento può impedire automaticamente a un professionista di fidarsi troppo di un riassunto.
Ed è per questo che considero la AI literacy molto più interessante della semplice conoscenza dei tool.
La Commissione europea stessa collega l’AI literacy alla necessità che provider e deployer adottino misure affinché le persone che utilizzano sistemi AI per loro conto possiedano competenze adeguate al contesto, all’esperienza e ai rischi coinvolti.
Non significa sapere programmare un modello.
Significa anche sapere quando non fidarsi.
Il concetto da ricordare
L’intelligenza artificiale può:
scrivere;
riassumere;
tradurre;
analizzare;
classificare;
proporre;
confrontare.
Ma non eredita automaticamente la nostra responsabilità professionale.
Possiamo delegare l’esecuzione.
Possiamo delegare una prima analisi.
Possiamo delegare persino una parte del controllo.
Non possiamo delegare il fatto che quel risultato porterà il nostro nome.
Ed è questa, secondo me, una delle regole più semplici dell’AI generativa:
se l’output produce conseguenze nel mondo reale, qualcuno deve leggerlo, capirlo e assumersene la responsabilità prima che esca dalla porta.