I modelli di IA potrebbero diventare più flessibili ed efficaci grazie a due nuove architetture di rete neurale, che potrebbero modificare il modo in cui l’IA si sviluppa e apprende
Due gruppi di ricerca sull’IA hanno annunciato scoperte che potrebbero cambiare il funzionamento dell’IA. Google e un’azienda giapponese chiamata Sakana hanno creato nuovi modi per costruire le IA che potrebbero funzionare meglio degli approcci attuali. Attualmente, la maggior parte delle IA (compresa ChatGPT) utilizzano qualcosa chiamato trasformatori. Pensate ai trasformatori come a un lettore che guarda ogni parola in relazione ad altre parole per capirne il significato. Pur funzionando bene, questo sistema presenta alcune limitazioni.
Come spiegato qui, sia Google che Sakana hanno esaminato il funzionamento del cervello umano per creare sistemi di IA migliori. Invece di far lavorare l’intero sistema di IA per ogni compito, hanno creato sistemi che possono attivare parti diverse per lavori diversi, proprio come il cervello utilizza regioni diverse per compiti diversi. Il risultato? Le loro IA possono essere più intelligenti e veloci senza dover essere più grandi o più costose.
Si tratta di un aspetto importante, perché finora migliorare l’IA significava di solito ampliarla. Ecco cosa hanno creato ogni azienda: i “Titans” di Google: Immaginate i diversi tipi di memoria del vostro cervello: quella per le cose appena accadute (come ricordare cosa avete mangiato a colazione) e quella per le conoscenze a lungo termine (come andare in bicicletta). L’ IA attuale è ottima per la memoria a breve termine, ma pessima per quella a lungo termine. I Titans di Google risolvono questo problema creando tre tipi di memoria:
Memoria a breve termine (come l’IA attuale), Memoria a lungo termine (per ricordare le cose nel tempo), Memoria persistente (per memorizzare conoscenze specifiche).
Ciò significa che i Titans può gestire molte più informazioni contemporaneamente. Mentre le IA attuali potrebbero faticare a ricordare qualcosa all’inizio di una lunga conversazione, i Titans possono gestire testi circa 40 volte più lunghi! Il “Transformer al quadrato” di Sakana è come passare da un’abilità all’altra senza dover reimparare tutto. Quando si passa dalla cucina al basket, il cervello si adatta automaticamente. Il sistema di Sakana funziona in modo simile:
Per prima cosa capisce con quale tipo di compito ha a che fare. Poi attiva le parti “esperte” specifiche necessarie per quel compito e può adattarsi in tempo reale senza bisogno di essere riqualificato.
lLa parte intelligente è che aggiorna solo le parti necessarie, invece di cambiare tutto. Sebbene possa richiedere un po’ più di tempo per pensare (come quando si fa una pausa prima di cambiare attività), nel complesso è molto più efficiente. Ciò è importante perché attualmente le aziende di intelligenza artificiale spesso competono creando modelli sempre più grandi. È come dire: “La mia IA è migliore perché ha più cellule cerebrali”. Tuttavia, questi nuovi approcci suggeriscono che un’organizzazione più intelligente potrebbe essere più importante delle dimensioni. I sistemi di IA di oggi hanno spesso bisogno di strumenti aggiuntivi (come RAG o LoRA ((Low-Rank Adaptation)) per migliorare le loro capacità, ma se questi nuovi approcci si riveleranno efficaci, potremmo assistere a un cambiamento fondamentale nelle modalità di costruzione dell’IA. Nel mondo in rapida evoluzione dell’IA, spesso basta un solo passo avanti per cambiare tutto, e una di queste innovazioni potrebbe essere quel passo avanti. L’aspetto particolarmente interessante è che questi miglioramenti non richiedono un aumento massiccio della potenza di calcolo o dei costi. Al contrario, lavorano in modo più intelligente, non più difficile, proprio come fa il nostro cervello.
Questo cambiamento potrebbe democratizzare lo sviluppo dell’IA, rendendolo più accessibile alle piccole aziende e ai ricercatori che non dispongono delle enormi risorse computazionali attualmente necessarie per i sistemi di IA all’avanguardia. Potrebbe anche risolvere una delle maggiori preoccupazioni ambientali dell’IA: l’enorme consumo di energia necessario per l’addestramento e l’esecuzione di modelli di grandi dimensioni.
Inoltre, la capacità di queste architetture di gestire contesti più lunghi e di adattarsi a nuovi compiti in modo più efficiente potrebbe aprire applicazioni completamente nuove per l’IA, ad esempio lo sviluppo di assistenti IA più personalizzati che imparano e si adattano alle esigenze dei singoli utenti.