Wu Dao 2.0: l'AI cinese con una conoscenza 10 volte superiore a GPT-3

Wu Dao 2.0 è un'intelligenza artificiale (AI) che è stata istruita con una quantità di dati di 10 volte superiore a GPT-3. Le prestazioni sono incredibili, tanto che si inizia a ragionare sull'AGI (Artificial General Intelligence). Scopriamola insieme!

Alessio Pomaro

9 lug 2021 • 6 min read

Wu Dao 2.0: l'AI cinese più potente di GPT-3

Stiamo vivendo un periodo storico incredibile in ambito di Intelligenza Artificiale. A partire dagli incredibili risultati raggiunti da OperAI con GPT-3, per arrivare alle più recenti LaMDA e MUM, presentate sul palco dell'evento Google I/O, che rivoluzioneranno rispettivamente il mondo degli assistenti virtuali e della ricerca.

Durante la conferenza dell'Accademia di Intelligenza Artificiale di Pechino (BAAI) è stata presentata Wu Dao 2.0: la più grande rete neurale mai creata e probabilmente la più potente. Le sue potenzialità e i suoi limiti devono ancora essere pienamente svelati, ma le aspettative sono altissime.

Wu Dao 2.0: le differenze rispetto a GPT-3

Parametri e dati

Wu Dao, che significa "illuminazione", è un modello linguistico simile a GPT-3. Jack Clark (OpenAI) definisce la tendenza alla copia di GPT-3 "model diffusion", però, tra tutte le copie, Wu Dao 2.0 è la più potente con 1,75 trilioni di parametri (di 10 volte superiore a GPT-3).
Sembra che Wu Dao 2.0 sia stata addestrata con 4,9 TB di dati (testo e immagini di alta qualità), il che rende "pallido" il set di dati di allenamento di GPT-3 (570 GB).
Tuttavia, vale la pena notare che i ricercatori di OpenAI hanno filtrato 45 TB di dati per estrarre quei 570 GB.

I dati della formazione sono suddivisi in:

1,2 TB di dati testuali in cinese;
2,5 TB dati grafici cinesi;
1,2 TB dati di testo in inglese.

Multimodalità

Wu Dao 2.0 è multimodale. Può apprendere da testo e immagini e affrontare attività che includono entrambi i tipi di dati (cosa che GPT-3 non può fare).
Questa è la direzione verso la quale si sta andando negli ultimi anni.
Si prevede che la visione artificiale e l'elaborazione del linguaggio naturale, tradizionalmente i due grandi "rami" del deep learning, finiranno per essere combinati in ogni sistema di intelligenza artificiale in futuro. Il mondo è multimodale, gli esseri umani sono multisensoriali.. è ragionevole creare AI che imitano questa funzione.

L'addestramento

Wu Dao 2.0 è stata addestrata con FastMoE, un sistema simile al Mixture of Experts (MoE) di Google.
FastMoE, al contrario di MoE di Google, è open-source e non richiede hardware specifico, il che lo rende più "democratico". Ha permesso ai ricercatori di risolvere i "colli di bottiglia" legati al training che impediscono a modelli come GPT-3 di raggiungere il traguardo del trilione di parametri.

Le capacità di Wu Dao 2.0

Diverse testate importanti hanno parlato con precisione delle capacità di questa intelligenza artificiale, come VentureBeat e Engadget.

Wu Dao 2.0’s has nothing to envy GPT-3 or any other existing AI model. Its multitasking abilities and multimodal nature grant it the title of most versatile AI. These results suggest multi-AIs will dominate the future.

Uno studente virtuale

Hua Zhibing, basata su Wu Dao 2.0, è la prima studentessa virtuale cinese. Può apprendere continuamente, comporre poesie, disegnare immagini e, in futuro, imparerà a sviluppare. A differenza di GPT-3, Wu Dao 2.0 può apprendere diversi compiti nel tempo, senza dimenticare ciò che ha appreso in precedenza (contesto). Questa caratteristica sembra avvicinare ulteriormente l'IA alla memoria umana e ai meccanismi di apprendimento.

Hua Zhibing, una studentessa virtuale cinese basata su Wu Dao 2.0

Tang Jie, il principale ricercatore, è arrivato al punto di affermare quanto segue.

Hua Zhibing has some ability in reasoning and emotional interaction.

Tuttavia, è meglio essere prudenti prima di arrivare a determinate conclusioni.

Woo Dao 2.0 e l'AGI (Artificial General Intelligence)

Alcuni dei membri più importanti di BAAI hanno espresso il loro pensiero sul ruolo di Wu Dao 2.0 sulla strada verso l'AGI.

“The way to artificial general intelligence is big models and big computer. […] What we are building is a power plant for the future of AI. With mega data, mega computing power, and mega models, we can transform data to fuel the AI applications of the future.”

- Dr. Zhang Hongjiang, chairman of BAAI

“These sophisticated models, trained on gigantic data sets, only require a small amount of new data when used for a specific feature because they can transfer knowledge already learned into new tasks, just like human beings. […] Large-scale pre-trained models are one of today’s best shortcuts to artificial general intelligence.”

- Blake Yan, AI researcher

“Wu Dao 2.0 aims to enable machines to think like humans and achieve cognitive abilities beyond the Turing test.”

- Tang Jie, lead researcher behind Wu Dao 2.0

Scommettono su modelli multimodali e multitasking simili a GPT per raggiungere l'AGI, e senza dubbio Wu Dao 2.0, come prima GPT-3, è un passo importante verso questa direzione. Tuttavia, nessuno sa quale sia la strada giusta, né se varrà la pena raggiungerla.