Jurnal FM 
O metodă nouă detectează videoclipuri ”deepfake” cu o precizie de până la 99%
#Postat de Antoniu Lovin on mai 12, 2022
Informaticii de la UC Riverside pot detecta expresiile faciale manipulate în videoclipuri deepfake cu o acuratețe mai mare decât metodele actuale de ultimă generație. Metoda funcționează la fel ca și metodele actuale în cazurile în care identitatea facială, dar nu și expresia, a fost schimbată, ceea ce duce la o abordare generalizată pentru a detecta orice fel de manipulare facială. Realizarea aduce cercetătorilor un pas mai aproape de dezvoltarea instrumentelor automate pentru detectarea videoclipurilor manipulate care conțin propagandă sau dezinformare.
Dezvoltarea software-ului de editare video a făcut mai ușor să schimbi chipul unei persoane cu alta și să modifici expresiile fețelor originale. Pe măsură ce liderii și indivizii fără scrupule desfășoară videoclipuri manipulate pentru a influența opiniile politice sau sociale, abilitatea de a identifica aceste videoclipuri este considerată de mulți esențială pentru protejarea democrațiilor libere. Există metode care pot detecta cu o acuratețe rezonabilă atunci când fețele au fost schimbate. Dar identificarea fețelor unde doar expresiile au fost schimbate este mai dificilă și până în prezent, nu există nicio tehnică de încredere.
Sursa foto: news.ucr.edu
„Ceea ce face ca zona de cercetare deepfake să fie mai dificilă este competiția dintre crearea și detectarea și prevenirea deepfake-urilor, care va deveni din ce în ce mai acerbă în viitor. Cu mai multe progrese în modelele generative, deepfake-urile vor fi mai ușor de sintetizat și mai greu de distins de cele reale”, a spus coautorul lucrării Amit Roy-Chowdhury, profesor de inginerie electrică și computerizată la Colegiul de Inginerie din Bourns. Metoda UC Riverside împarte sarcina în două componente într-o rețea neuronală profundă. Prima ramură discerne expresiile faciale și furnizează informații despre regiunile care conțin expresia, cum ar fi gura, ochii sau fruntea, într-o a doua ramură, cunoscută sub numele de codificator-decodor. Arhitectura codificatorului-decodorului este responsabilă pentru detectarea și localizarea manipulării. Cadrul, numit Expression Manipulation Detection sau EMD, poate detecta și localiza regiunile specifice dintr-o imagine care au fost modificate.
„Învățarea cu sarcini multiple poate valorifica caracteristicile proeminente învățate de sistemele de recunoaștere a expresiei faciale pentru a beneficia de formarea sistemelor convenționale de detectare a manipulării. O astfel de abordare realizează performanțe impresionante în detectarea manipulării expresiei faciale”, a declarat doctorandul Ghazal Mazaheri, care a condus cercetarea. Seturile de date de referință pentru manipularea facială se bazează pe schimbul de expresie și identitate. Se transferă expresiile unui videoclip sursă pe un videoclip țintă fără a schimba identitatea persoanei din videoclipul țintă. Celălalt schimbă două identități într-un singur videoclip. Experimentele pe două seturi de date provocatoare privind manipularea facială arată că EMD are performanțe mai bune în detectarea nu numai a manipulărilor expresiei faciale, ci și a schimburilor de identitate. EMD a detectat cu acuratețe 99% dintre videoclipurile manipulate. Lucrarea, „Detecția și localizarea manipulărilor expresiei faciale”, a fost prezentată la Conferința de iarnă din 2022 privind aplicațiile vederii computerizate și este disponibilă aici.
Sursa: news.ucr.edu
