Modelul de Inteligență Artificială RETRO este la fel de performant ca rețele neuronale de 25 de ori mai mari, spun cei de la DeepMind

RETRO folosește o bază externă de date, cu 2 trilioane de pasaje de text, pentru căutări și comparații. DeepMind spune că, astfel, se scurtează timpul și se reduc costurile necesare antrenării algoritmilor.
DeepMind spune că noul său model de limbaj poate depăși pe altele de 25 de ori dimensiunea sa.

RETRO folosește o memorie externă pentru a căuta pasaje de text din mers, evitând unele dintre costurile instruirii unei rețele neuronale vaste.

În cei doi ani de când OpenAI și-a lansat modelul de limbaj GPT-3, majoritatea laboratoarelor de inteligență artificială celebre au dezvoltat propriile imitații de limbaj. Google, Facebook și Microsoft — precum și câteva firme chineze — au construit toate sistemele de Inteligență Artificială care pot genera text convingător, pot conversa cu oameni, pot răspunde la întrebări și multe altele.

Cunoscute ca modele mari de limbaj din cauza dimensiunii masive a rețelelor neuronale care le stau la baza, ele au devenit o tendință dominantă în AI, prezentând atât punctele sale forte – capacitatea remarcabilă a mașinilor de a folosi limbajul – cât și punctele slabe, în special prejudecăţile inerente ale Inteligenței Artificiale și cantitate nesustenabilă de putere de calcul pe care o poate consuma.

Până acum, DeepMind a fost remarcat prin absența sa. Dar compania din Marea Britanie din spatele unora dintre cele mai impresionante realizări în Inteligența Artificială, inclusiv AlphaZero și AlphaFold, s-a alăturat discuției eliminând, în aceeași zi, trei noi studii asupra modelelor de limbaj mari. Principalul rezultat al DeepMind este o inteligenţă artificiala cu o situaţie inedită: este îmbunătățită cu o memorie externă sub forma unei baze de date vaste care conține pasaje de text, pe care o folosește ca un fel de foaie de chat atunci când generează noi propoziții.

Sursa: MIT Technology Review