Come un’Intelligenza Artificiale può acquisire una lingua

Il parlato, a differenza di un testo scritto o di un dialogo scritto, è pieno di imperfezioni come false partenze, interruzioni, frasi incomplete o addirittura errori, soprattutto nelle conversazioni informali. Ecco perché sembra incredibile come si possa imparare una lingua di fronte a tutte queste imperfezioni.

Tuttavia, molti linguisti sostengono che il motivo per cui possiamo imparare facilmente una lingua è la grammatica. Secondo loro, la grammatica è ciò che regola il caos del linguaggio.

Secondo Noam Chomsky, un linguista moderno, i bambini hanno un senso innato del linguaggio e della grammatica grazie a un’area del cervello chiamata LAD (language acquisition device) che si pensa contenga la capacità naturale di imparare e riconoscere la prima lingua. Il LAD è dove tutte le persone acquisiscono la loro sintassi universale condivisa.

Secondo la teoria LAD, i bambini nascono conoscendo un insieme predeterminato di strutture di frasi, o potenziali combinazioni di soggetti, verbi, oggetti e modificatori. Sebbene sia raro che i bambini padroneggino la grammatica parlata nei primi anni di vita, l’ipotesi LAD sostiene che, utilizzando frasi sconnesse e frasi ripetute tratte dal parlato quotidiano insieme alle regole grammaticali universali intrinseche, i bambini possono sviluppare un linguaggio completo in pochi anni. La teoria LAD sostiene che i bambini non trascorrano i primi anni di vita ripetendo semplicemente parole e frasi senza motivo, ma piuttosto osservando diverse regole grammaticali e regole supplementari per creare nuove varianti della struttura della frase.

Tuttavia, come spiegato qui, con l’avvento dell’intelligenza artificiale, abbiamo scoperto che questi potenti algoritmi sono in grado di scrivere una grande varietà di testi, come articoli, poesie, codici e così via, dopo essere stati addestrati da una vasta quantità di input linguistici, ma senza partire dalla grammatica.

Sebbene i testi generati da queste IA siano talvolta privi di senso, soggetti a distorsioni e la scelta delle parole può essere strana, la maggior parte delle frasi che generano sono grammaticalmente corrette senza che venga loro insegnata alcuna grammatica.

Un esempio popolare è GPT-3, un’enorme rete neurale di deep learning contenente 175 miliardi di parametri. È stata addestrata su centinaia di miliardi di parole provenienti da Internet, libri, ecc. per prevedere la parola successiva in una frase sulla base di quella precedente. Un algoritmo di apprendimento automatico viene utilizzato per modificare i suoi parametri ogni volta che fa una previsione errata.

È come ascoltare o leggere miliardi di testi senza conoscere la grammatica e imparare solo facendo collegamenti in modo deduttivo.

Sorprendentemente, GPT-3 può rispondere a istruzioni che suggeriscono lo stile di scrittura da adottare, si può chiedere la descrizione di un film o una sinossi. Inoltre, imparando a prevedere la parola successiva, GPT-3 è in grado di rispondere ad analogie pari a quelle del SAT, a domande di comprensione della lettura e persino a risolvere problemi matematici di base.

Tuttavia, la somiglianza con il linguaggio umano non finisce qui. Secondo una ricerca pubblicata su Nature Neuroscience, queste reti artificiali di apprendimento profondo sembrano seguire gli stessi principi di base del cervello umano. Il team di ricerca, guidato dal neuroscienziato Uri Hasson, ha valutato innanzitutto la capacità degli esseri umani e della GPT-2, la versione precedente della GPT-3, di anticipare la parola successiva in una storia tratta da un podcast. Ne è risultato che le persone e l’intelligenza artificiale hanno previsto la stessa parola circa il 50% delle volte.

Mentre ascoltavano la storia, i ricercatori hanno monitorato l’attività cerebrale dei volontari. La spiegazione migliore per i modelli di attivazione notati è che i cervelli delle persone, come il GPT-2, dipendono dal contesto cumulativo di fino a 100 parole precedenti quando generano previsioni, piuttosto che solo da una o due parole precedenti.

“La nostra scoperta di segnali neurali predittivi spontanei mentre i partecipanti ascoltano un discorso naturale suggerisce che la predizione attiva può essere alla base dell’apprendimento linguistico degli esseri umani per tutta la vita“.

Il fatto che questi ultimi modelli linguistici dell’intelligenza artificiale ricevano molti input (il GPT-3 è stato addestrato con dati linguistici equivalenti a 20.000 anni umani) potrebbe essere motivo di preoccupazione. Tuttavia, uno studio preliminare non ancora sottoposto a revisione paritaria ha scoperto che il GPT-2, anche se addestrato su soli 100 milioni di parole, è in grado di simulare le previsioni di parole successive e le attivazioni cerebrali umane. Ciò rientra nella gamma di possibili esposizioni linguistiche di un bambino tipico nei primi 10 anni di vita.

Tuttavia, non possiamo dire che GPT-3 o GPT-2 imparino una lingua allo stesso modo dei bambini piccoli. Infatti, questi modelli di IA non sembrano capire molto di ciò che dicono, se non nulla, nonostante il fatto che la comprensione sia essenziale per usare il linguaggio umano. Tuttavia, questi modelli dimostrano che un soggetto che impara, o un’IA, è in grado di apprendere una lingua abbastanza bene da produrre frasi grammaticalmente accettabili in modo simile al funzionamento del cervello umano.

Molti linguisti sono da tempo convinti che l’apprendimento di una lingua sia impossibile senza una struttura grammaticale intrinseca. I nuovi modelli di intelligenza artificiale dimostrano il contrario. Indicano che la produzione grammaticale di una lingua può essere appresa solo attraverso l’esperienza linguistica. Allo stesso modo, potremmo dire che i bambini possono imparare una lingua senza avere competenze grammaticali innate.

Per aiutarli a migliorare le loro competenze linguistiche, i bambini dovrebbero partecipare alla conversazione il più spesso possibile. Per essere un utente competente di una lingua occorre più esperienza linguistica che grammatica.

L’IA ci dà esempi di cosa significhi assimilare contenuti per un tempo molto lungo. Anche se un’IA non ha la consapevolezza di una persona e non capisce allo stesso modo, possiamo teorizzare che quanto più a lungo siamo esposti a un linguaggio, tanto più riusciremo ad assorbirne i meccanismi. Pertanto, potremmo prevedere la giusta struttura di una frase incompleta, o essere in grado di conoscere la parola giusta da inserire tra altre senza doverne comprendere il significato.