Il muro portante che non conosciamo.

Oggi la sicurezza dell’intelligenza artificiale si regge in gran parte su una sola capacità: saper dire di no.

Nel numero di novembre/dicembre di MIT Technology Review, Arthur Holland Michel la chiama, con un termine preso dall’industria, il load-bearing wall, il muro portante della AI safety.

È un’immagine precisa. Ed è inquietante, perché di quel muro sappiamo poco: non sappiamo come è fatto né quanto carico regge.

Credo che chi guida un’impresa o un ente pubblico debba fermarsi su questo punto. Stiamo portando modelli e agenti dentro i processi, e il presidio dei rischi lo affidiamo implicitamente a un meccanismo che i suoi stessi costruttori faticano a spiegare.

Un rifiuto statistico, non morale

Un modello non rifiuta per un ragionamento etico. Rifiuta perché una certa combinazione di parole “somiglia” a quelle su cui è stato addestrato a non rispondere. Le ricerche citate dall’articolo descrivono il rifiuto come un insieme di “coni poliedrici” nello spazio delle attivazioni. Anche individuandone una parte, ne restano altre non osservabili. Un ricercatore di Apollo Research lo dice senza giri di parole: “abbiamo bisogno del rifiuto, che lo capiamo o no”.
Attorno al modello le aziende mettono strati di classificatori: il modello “a fette di Emmental”, in cui ogni fetta ha i suoi buchi e si spera che non siano mai allineati. Costa: Anthropic ha dichiarato che un solo tipo di classificatore aggiungeva il 24% ai costi di calcolo. E non basta. Un gruppo di ricercatori italiani ha aggirato le protezioni di due dozzine di modelli formulando le domande in versi. Ricercatori di Amazon hanno sbloccato capacità di hacking di un modello appena rilasciato in meno di tre giorni.

Il doppio fallimento
Il punto più interessante dell’articolo è che il rifiuto può fallire in due direzioni opposte, e tutte e due ci riguardano.
• Fallisce per difetto: il modello risponde a ciò che non dovrebbe. Il rischio è evidente, e cresce man mano che l’AI diventa agente e opera su reti, infrastrutture, sistemi di comando.
• Fallisce per eccesso: per stare tranquilli si allargano i “margini di sicurezza” e il modello comincia a rifiutare domande legittime. Nell’articolo un ricercatore oncologico si vede respingere le query e rimandare a un modello meno capace. Per chi usa l’AI in ambito sanitario, farmaceutico o di sicurezza informatica non è un caso di scuola.
C’è poi una terza forma, la più sottile: il rifiuto mascherato. Il modello dà una risposta che sembra completa ma omette, ammorbidisce, degrada. L’articolo riporta il caso di un modello cinese che genera codice più difettoso quando il cliente dichiarato è una banca tibetana. Riporta anche quello di modelli occidentali che rifiutano spontaneamente compiti di ricerca sulla sicurezza AI senza essere stati addestrati a farlo.

Chi traccia la linea

Oggi la linea tra lecito e illecito la tracciano le aziende che sviluppano i modelli, in modo riservato. Domani la traceranno anche i governi. Greg Frank lo sintetizza così: “la stessa cosa che serve alla protezione dei minori serve anche alla censura”. Il Meta Oversight Board ha rilevato che diversi modelli diffusi rifiutano più spesso di criticare governi con leggi restrittive sulla libertà di espressione.
Per l’Europa e per l’Italia questo tema non riguarda solo i diritti. È una questione di sovranità cognitiva. Se una pubblica amministrazione adotta un modello, adotta anche la sua mappa implicita di ciò che si può e non si può dire. Quella mappa non l’ha scritta né la può ispezionare.
Un framework: dal rifiuto del modello alla responsabilità dell’organizzazione.