Negli ultimi anni l’intelligenza artificiale è diventata parte del tessuto invisibile delle decisioni quotidiane. Algoritmi determinano chi riceverà un prestito, quale candidato passerà la selezione di un’azienda, o chi avrà accesso più rapido a un trattamento medico. Spesso, però, anche chi utilizza questi sistemi non saprebbe spiegare davvero come funzionano. È qui che nasce il problema delle cosiddette black boxes, cioè modelli che prendono decisioni senza mostrare il proprio ragionamento.
Il tema non è nuovo. Già nel 2018 Joy Buolamwini e Timnit Gebru, nel loro studio Gender Shades, scoprirono che i principali sistemi commerciali di riconoscimento facciale sbagliavano molto di più nel classificare il genere delle donne dalla pelle scura rispetto agli uomini dalla pelle chiara con tassi d’errore fino al 34% per le prime, contro valori vicini allo zero per i secondi. Due anni prima, un’inchiesta di ProPublica aveva mostrato che un software utilizzato da alcune corti americane per stimare la probabilità di recidiva tendeva a classificare come ad alto rischio un numero sproporzionato di persone nere, anche quando non avevano mai più commesso un reato.
Comprendiamo così che il problema non è solo tecnico, ma prima di tutto, di fiducia: come possiamo accettare che decisioni che incidono su diritti e opportunità vengano prese da sistemi che nessuno è in grado di spiegare?
Le scatole nere nascono perché i modelli di machine learning, e in particolare le reti neurali profonde, elaborano enormi quantità di dati attraverso milioni di parametri. Non si tratta di semplici formule matematiche, ma di strutture dinamiche che apprendono correlazioni complesse, spesso troppo complesse perché anche i loro creatori possano ricostruirle. Il risultato è un vero e proprio paradosso: più un modello è preciso, più diventa difficile da comprendere.
Ma la complessità tecnica non giustifica l’opacità. Il punto fondamentale sta nel modo in cui i sistemi vengono progettati, documentati e supervisionati. I dataset su cui si allenano gli algoritmi, ad esempio, sono spesso raccolti senza una verifica adeguata della loro rappresentatività: dunque, se mancano dati su determinati gruppi sociali o situazioni, il modello imparerà regole che riflettono quei limiti. A ciò si aggiunge una carenza strutturale di trasparenza, in quanto pochi sistemi vengono accompagnati da documenti che spieghino con chiarezza che tipo di dati sono stati usati, con quali bias potenziali e in quali contesti il modello può fallire.
Alcune iniziative accademiche hanno cercato di intervenire su questo punto. Le Datasheets for Datasets e le Model Cards propongono, per i dataset e i modelli, la stessa logica di etichettatura che si usa per i prodotti alimentari con informazioni chiare sugli ingredienti, sull’origine e sulle limitazioni. Si tratta di strumenti semplici, ma che potrebbero cambiare radicalmente il modo in cui le organizzazioni rendono conto dell’uso dell’intelligenza artificiale.
Un altro fronte di ricerca, quello della Explainable AI, tenta di rendere i modelli più trasparenti, offrendo spiegazioni accessibili del loro funzionamento. Programmi come il DARPA XAI hanno dimostrato che è possibile progettare sistemi che non si limitano a fornire un risultato, ma mostrano anche le ragioni dietro una decisione.
Tuttavia, le spiegazioni post-hoc, cioè calcolate dopo l’output, hanno limiti importanti: diversi studi hanno evidenziato che metodi come LIME e SHAP possono essere facilmente manipolati o produrre spiegazioni solo apparentemente plausibili. In sostanza, l’illusione di comprensione può sostituirsi alla comprensione stessa.
Una parte della soluzione, quindi, non sta solo nella tecnologia, ma nella cultura organizzativa. La trasparenza deve diventare un principio di progetto, non un mero obbligo legale da rispettare ex post. Serve un approccio che metta al centro la tracciabilità delle decisioni, la possibilità di audit indipendenti, la presenza costante di esseri umani in grado di intervenire e, soprattutto, la responsabilità di chi sviluppa e distribuisce questi sistemi.
In questa direzione, l’Unione Europea nel 2024 ha emanato l’AI Act, il Regolamento sull’Intelligenza Artificiale, che introduce obblighi precisi, soprattutto per i sistemi classificati ad alto rischio. Ma le regole da sole non bastano. La sfida è costruire un ecosistema in cui la trasparenza non sia percepita come un ostacolo all’innovazione, bensì come una condizione per la sua legittimità.
In conclusione, in un futuro sempre più dominato dagli algoritmi, comprendere come essi prendono decisioni non può essere considerato un lusso accademico: è la condizione necessaria per continuare a decidere, come società, chi deve avere il potere di farlo.