L'intelligenza artificiale non segue la logica del progresso scientifico

Abbiamo scritto molte volte su MT di ricercatori e professionisti che proclamano i sistemi di apprendimento automatico come “scatole nere” (1) anche per chi li costruisce. Ciò rende difficile valutare i risultati e riutilizzare algoritmi emergenti.

Le reti neurali - la tecnica che ci fornisce robot di conversione intelligenti e ingegnosi generatori di testo che possono persino creare poesia - rimangono un mistero incomprensibile per gli osservatori esterni.

Stanno diventando sempre più grandi e complessi, gestendo enormi set di dati e utilizzando enormi array di calcolo. Ciò rende la replica e l'analisi dei modelli ottenuti costosa e talvolta impossibile per altri ricercatori, ad eccezione dei grandi centri con enormi budget.

Molti scienziati sono ben consapevoli di questo problema. Tra questi c'è Joel Pino (2), presidente di NeurIPS, la principale conferenza sulla riproducibilità. Gli esperti sotto la sua guida vogliono creare una "lista di controllo della riproducibilità".

L'idea, ha detto Pino, è quella di incoraggiare i ricercatori a offrire agli altri una tabella di marcia in modo che possano ricreare e utilizzare il lavoro già svolto. Puoi ammirare l'eloquenza di un nuovo generatore di testo o la destrezza sovrumana di un robot per videogiochi, ma anche i migliori esperti non hanno idea di come funzionino queste meraviglie. Pertanto, la riproduzione dei modelli di IA è importante non solo per identificare nuovi obiettivi e direzioni di ricerca, ma anche come guida puramente pratica da utilizzare.

Altri stanno cercando di risolvere questo problema. I ricercatori di Google hanno offerto "schede modello" per descrivere in dettaglio come sono stati testati i sistemi, compresi i risultati che indicano potenziali bug. I ricercatori dell'Allen Institute for Artificial Intelligence (AI2) hanno pubblicato un documento che mira ad estendere la checklist di riproducibilità del Pinot ad altre fasi del processo sperimentale. "Mostra il tuo lavoro", esortano.

A volte mancano informazioni di base perché il progetto di ricerca è di proprietà, in particolare dei laboratori che lavorano per l'azienda. Più spesso, invece, è segno di incapacità di descrivere metodi di ricerca mutevoli e sempre più complessi. Le reti neurali sono un'area molto complessa. Per ottenere i migliori risultati, spesso è necessaria la messa a punto di migliaia di "manopole e pulsanti", che alcuni chiamano "magia nera". La scelta del modello ottimale è spesso associata a un gran numero di esperimenti. La magia diventa molto costosa.

Ad esempio, quando Facebook ha cercato di replicare il lavoro di AlphaGo, un sistema sviluppato da DeepMind Alphabet, il compito si è rivelato estremamente difficile. Enormi requisiti di calcolo, milioni di esperimenti su migliaia di dispositivi per molti giorni, combinati con la mancanza di codice, hanno reso il sistema "molto difficile, se non impossibile, da ricreare, testare, migliorare ed estendere", secondo i dipendenti di Facebook.

Il problema sembra essere specializzato. Tuttavia, se si pensa oltre, il fenomeno dei problemi di riproducibilità dei risultati e delle funzioni tra un gruppo di ricerca e l'altro mina tutte le logiche di funzionamento della scienza e dei processi di ricerca a noi noti. Di norma, i risultati della ricerca precedente possono essere utilizzati come base per ulteriori ricerche che stimolino lo sviluppo delle conoscenze, della tecnologia e del progresso generale.