Una startup cinese con un modello linguistico più grande di Llama 2 e Falcon
Secondo questo articolo, il modello linguistico di grandi dimensioni (LLM) da 34 miliardi di parametri sviluppato da 01.AI, una startup cinese fondata da Kai-Fu Lee, esperto di intelligenza artificiale e investitore, ha battuto le controparti open-source Llama 2 da 70 miliardi sviluppate da Meta Platforms, Inc. e Falcon da 180 miliardi del Technology Innovation Institute di Abu Dhabi.
Il nuovo modello di intelligenza artificiale, noto come Yi-34B, può essere adattato a una serie di casi d’uso e supporta sia il cinese che l’inglese. Inoltre, la startup fornisce una versione più piccola che ha prestazioni inferiori rispetto ai più diffusi benchmark di modelli AI/ML, pur mantenendo prestazioni di tutto rispetto. Questa versione è stata addestrata con 6 miliardi di parametri.
A tempo debito, l’azienda – che ha raggiunto lo status di unicorno [una startup con valore di oltre un miliardo di dollari] in meno di otto mesi dalla sua fondazione – intende ampliare questi modelli e introdurre un prodotto in grado di competere con OpenAI, il leader del settore dell’IA generativa in base al numero di utenti.
L’approccio richiama l’attenzione su una tendenza globale che vede le multinazionali creare modelli di IA generativa principalmente per i propri mercati.
Umani e IA
A marzo Lee ha fondato 01.AI con l’intenzione di avanzare verso l’era dell’IA 2.0, in cui enormi modelli linguistici hanno il potenziale per aumentare la produttività umana e consentire alle persone di apportare profondi cambiamenti nell’economia e nella società.
“Il team di 01.AI è fermamente convinto che la nuova IA 2.0, guidata dalla scoperta dei modelli di base, stia rivoluzionando la tecnologia, le piattaforme e le applicazioni a tutti i livelli. Prevediamo che l’AI 2.0 creerà un’opportunità per le piattaforme dieci volte più grande dell’Internet mobile, riscrivendo tutti i software e le interfacce utente. Questa tendenza darà origine alla prossima ondata di applicazioni AI-first e di modelli di business AI-empowered, favorendo nel tempo le innovazioni di IA 2.0”, scrive l’azienda sul suo sito web.
Secondo quanto riferito, Lee si è mosso rapidamente per raccogliere i chip necessari per la serie Yi di 01.AI per l’addestramento dei modelli, oltre a un team di specialisti di IA provenienti da Google, Huawei e Microsoft Research Asia.
La divisione cloud di Alibaba e Sinovation Ventures, che Lee presiede, hanno fornito la maggior parte dei finanziamenti iniziali del progetto. L’importo esatto raccolto, tuttavia, è ancora sconosciuto al momento.
L’azienda ha rilasciato due modelli di base multilingue (inglese/cinese) con parametri di sei e trentaquattro miliardi, che sono stati resi pubblici per la prima volta. Entrambi i modelli sono stati addestrati con sequenze di lunghezza pari a 4K, con la possibilità di aumentare a 32K durante l’inferenza. I modelli sono stati successivamente rilasciati con una lunghezza di contesto di 200K.
Con prestazioni migliori rispetto ai modelli LLM di base pre-addestrati, come Llama 2-70 miliardi e Falcon-180 miliardi, il modello base da 34 miliardi si è distinto in Hugging Face.
Ad esempio, il modello 01.AI ha prodotto punteggi di 80,1 e 76,4 nei test di benchmark incentrati sulla comprensione della lettura e sul ragionamento comune, mentre Llama 2 è rimasto indietro con punteggi di 71,9 e 69,4. Il modello cinese ha ottenuto risultati migliori anche nel benchmark MMLU (massive multitask language understanding), con un punteggio di 76,3 rispetto ai 68,9 e 70,4 dei modelli Llama e Falcon, rispettivamente.
Gli utenti finali potrebbero essere in grado di mettere a punto il modello e creare applicazioni mirate a vari casi d’uso a un costo inferiore se un modello più piccolo con prestazioni più elevate consentisse di risparmiare risorse di calcolo. L’azienda dichiara che la ricerca accademica è benvenuta su tutti i modelli dell’attuale serie Yi. I team dovranno ottenere le autorizzazioni necessarie per iniziare a usare i modelli, anche se l’uso commerciale è gratuito.
I passi successivi
I prodotti che la startup di Lee offre attualmente sono scelte redditizie per le aziende internazionali che si concentrano sui clienti cinesi. L’approccio può essere utilizzato per creare chatbot in grado di rispondere sia in cinese che in inglese. L’azienda intende continuare a compiere iniziative simili in futuro, ampliando il supporto linguistico dei modelli open-source. Intende inoltre introdurre un modello linguistico commerciale più grande, che seguirà la serie GPT di OpenAI; tuttavia, non sono ancora state rese pubbliche molte informazioni su questo progetto.
È interessante notare che 01.AI non è l’unica azienda di IA con LLM che si concentra su lingue e mercati particolari. Il colosso cinese Baidu ha appena rivelato il rilascio di ERNIE 4.0 LLM e ha dato un’occhiata in anteprima a una moltitudine di nuove applicazioni progettate per funzionare su di essa, come Qingduo, una piattaforma creativa destinata a competere con Canva e Adobe Creative Cloud.
Analogamente, l’enorme azienda coreana Naver sta per rilasciare HyperCLOVA X, il suo modello linguistico di nuova generazione (LLM) in grado di comprendere non solo le espressioni naturali in lingua coreana, ma anche le leggi, le istituzioni e i contesti culturali pertinenti alla società coreana. Questo LLM ha appreso un numero di dati coreani 6.500 volte superiore a ChatGPT. L’indiana Reliance Industries e Nvidia stanno collaborando per sviluppare un modello linguistico di grandi dimensioni, adatto a molte applicazioni e addestrato per le diverse lingue parlate nel Paese.
Lo sviluppo di modelli linguistici ottimizzati di grandi dimensioni come Yi-34B da parte di startup come 01.AI rappresenta sia la democratizzazione che la frammentazione dell’IA. Da un lato, l’accesso all’IA generativa si sta diversificando al di là di alcune Big Tech occidentali. Ciò consente agli operatori più piccoli di adattare le soluzioni ai loro mercati e alle loro lingue, aumentando potenzialmente l’inclusione. Tuttavia, la proliferazione di modelli localizzati pone anche problemi di interoperabilità. Man mano che le aziende adatteranno l’IA alle loro aree geografiche, la comunicazione continua e l’accesso equo tra i paesi potrebbero risentirne. In definitiva, è necessaria una governance responsabile per bilanciare innovazione e coordinamento. Ma l’arrivo di startup come 01.AI segnala la transizione dell’IA generativa dal dominio concentrato a un fenomeno più decentralizzato e a doppio taglio.
