Revoluția către Inteligența Artificială generală are nevoie de mai multe date și putere de calcul mai presus de orice?

 Yann LeCun, om de știință șef AI la Meta, comentează despre recenta dezbatere despre scalare declanșată de Gato de la Deepmind. Succesele recente ale modelelor mari de AI, cum ar fi DALL-E 2 de la OpenAI, PaLM de la Google și Flamingo de la Deepmind, au stârnit o dezbatere despre importanța lor pentru progresul către IA generală. Gato de la Deepmind a dat recent un impuls deosebit dezbaterii, care a fost desfășurată public, în special pe Twitter. Gato este un model Transformer antrenat cu numeroase modalități de date, inclusiv imagini, text, propriocepție sau momente comune. Toate datele de antrenament sunt procesate de Gato într-o secvență de simboluri similare cu cele ale modelelor de limbaj mari. Datorită antrenamentului versatil, Gato poate scrie mesaje, descrie imagini, poate juca jocuri video sau poate controla brațele robotice. Deepmind a testat modelul AI cu peste 600 de benchmark-uri. Deepmind vede Gato ca un pas important pe drumul către un model AI generalist. Cum arată mai exact acea cale? Potrivit lui Nando de Freitas, șef de cercetare la Deepmind, totul este despre scalare. Scalingul este menit să-l conducă pe Gato către scopul său, eventual inteligența artificială generală.

 Dar de unde vine încrederea în scalare? Subiacent este un fenomen care poate fi observat în numeroase modele Transformer începând cu GPT-1: Cu un număr mai mare de parametri și date corespunzătoare de antrenat, performanța modelelor, de exemplu în procesarea vorbirii sau generarea de imagini, crește.

Sursa foto: Unsplash

Deepmind a antrenat trei variante ale modelului AI. Cea mai mare variantă cu un număr relativ mic de 1,18 miliarde de parametri a fost clar înaintea modelelor mai mici. Având în vedere modelele mari de limbaj cu sute de miliarde de parametri și salturile de performanță observate acolo, speranța lui de Freitas în scalarea lui Gato este de înțeles. Acum, șeful Metas AI, Yann LeCun, vorbește despre dezbaterea asupra importanței progreselor recente. El urmărește pozițiile pe care le-a exprimat de mai multe ori înainte, cum ar fi într-un podcast cu Lex Fridman despre trei provocări majore ale inteligenței artificiale sau într-o postare despre dezvoltarea AI autonomă. LeCun vede modele precum Flamingo sau Gato ca un indiciu că întreaga comunitatea de cercetare face „oarecare” progrese către inteligența artificială la nivel uman (HLAI). LeCun crede că termenul de inteligență artificială generală este greșit. Dar unele concepte fundamentale pentru calea de urmat încă lipsesc, a spus LeCun.

Potrivit acestuia, unele dintre ele sunt mai aproape de implementare decât altele, cum ar fi învățarea generalizată auto-supravegheată. Dar nu este clar cât de multe dintre aceste concepte sunt chiar necesare – doar cele evidente sunt cunoscute. „De aceea, nu putem prezice cât timp va dura până ajungem la HLAI”, scrie LeCun. Numai scalarea nu va rezolva problema, așa că LeCun solicită noi concepte. Mașinile ar trebui să învețe: cum funcționează lumea observând ca niște bebeluși, să prezică cum poți influența lumea prin acțiuni,  reprezentări ierarhice care permit predicții pe termen lung în spații abstracte, să se ocupe corect de faptul că lumea nu este complet previzibilă, să permită agenților să prezică efectele secvențelor de acțiuni astfel încât să fie capabili să raționeze și să planifice, permite mașinilor să planifice ierarhic, descompunând o sarcină complexă în subsarcini, toate acestea în moduri care sunt compatibile cu învățarea bazată pe gradient.

Soluția pentru toate aceste sarcini nu este iminentă, a spus LeCun. Deci scalarea este necesară, dar nu suficientă pentru progrese ulterioare. Potrivit LeCun, jocul nu s-a încheiat încă. Spre deosebire de de Freitas, șeful AI al lui Meta ajunge la o concluzie serioasă: „Avem o serie de obstacole de depășit și nu știm cum”. Sursa: mixed-news.com