AI-generirane mise novog Pape preplavile su YouTube i TikTok

Istraga AFP-a identificirala je desetke YouTube i TikTok profila koji su od papinog preuzimanja dužnosti prošlog mjeseca stvarali poruke generirane umjetnom inteligencijom, izrečene papinim glasom ili na neki drugi način pripisane njemu (arhivirano ovdje).

Stotine izmišljenih propovijedi i govora, na engleskom i španjolskom jeziku, naglašavaju koliko lako prijevare stvorene korištenjem umjetne inteligencije mogu izbjeći otkrivanje i prevariti gledatelje.

"Postoji prirodan interes za ono što novi papa ima za reći, a ljudi još ne znaju njegov stav i stil," rekao je profesor emeritus Sveučilišta u Washingtonu Oren Etzioni, osnivač TrueMedia.org, neprofitne organizacije usmjerene na borbu protiv deepfakeova (arhivirano ovdje).

"Savršena prilika za sijanje štete dezinformacijama generiranim umjetnom inteligencijom."

Nakon što je AFP predstavio YouTubeu 26 kanala koji pretežno objavljuju sadržaj o Papi generiran umjetnom inteligencijom, platforma je ukinula 16 od njih zbog kršenja pravila protiv neželjene pošte, obmanjujućih praksi i prijevara, a jedan zbog kršenja uvjeta pružanja usluge YouTubea (arhivirano je ovdje i ovdje).

"Ukinuli smo nekoliko kanala koje nam je AFP prijavio zbog kršenja naših pravila o neželjenoj pošti i uvjeta pružanja usluge," rekao je glasnogovornik Jack Malon.

Tvrtka je također uklonila dodatnih šest stranica iz svog partnerskog programa, koji omogućuje kreatorima da unovče svoj sadržaj (arhivirano je ovdje).

TikTok je uklonio 11 profila koje je AFP istaknuo - s više od 1,3 milijuna ukupnih pratitelja - pozivajući se na politike platforme protiv lažnog predstavljanja, štetnih dezinformacija i obmanjujućeg sadržaja javnih osoba generiranog umjetnom inteligencijom (arhivirano je ovdje, ovdje i ovdje).

'Kaotična upotreba'

S imenima poput "Vizija pape Lava XIV," stranice društvenih mreža prikazivale su papu kako navodno nudi niz upozorenja i pouka koje nikada nije propovijedao.

Image

Snimka zaslona s YouTubea od 28. svibnja 2025.

Međutim, izjave o odricanju odgovornosti koje navode na korištenje umjetne inteligencije često su bile teško dostupne - a ponekad ih uopće nije bilo.

Na YouTubeu je oznaka "izmijenjeni ili sintetički sadržaj" potrebna za materijal koji stvara dojam da netko govori nešto što nije rekao (arhivirano je ovdje). No takve se objave pojavljuju samo pri dnu opisa svake snimke koja se otvara klikom.

Glasnogovornik YouTubea rekao je da je tvrtka od tada primijenila vidljiviju oznaku na neke snimke na kanalima koje je označio AFP, a za koje nije utvrđeno da su prekršili smjernice platforme.

Image

Snimka zaslona s YouTubea od 6. lipnja 2025. s novim upozorenjem o generiranom sadržaju koje je označio AFP

TikTok također zahtijeva od kreatora da označe objave koje dijele realističan sadržaj generiran umjetnom inteligencijom, iako je nekoliko snimaka usmjerenih na papu ostalo neoznačeno (arhivirano je ovdje).

Glasnogovornik TikToka rekao je da tvrtka proaktivno uklanja sadržaj koji krši pravila i koristi provjerene oznake za označavanje autentičnih profila.

Brian Patrick Green, direktor tehnološke etike na Sveučilištu Santa Clara, rekao je da su poteškoće s moderiranjem rezultat brzog razvoja umjetne inteligencije koji potiče "kaotično korištenje tehnologije".

Mnogi isječci na YouTube kanalima koje je AFP identificirao prikupili su desetke tisuća pregleda prije nego što su deaktivirani.

Na TikToku je jedna snimka na španjolskom jeziku dobila 9,6 milijuna pregleda, a tvrdila je da prikazuje Lava kako propovijeda o vrijednosti žena koje pružaju podršku. Drugi, koji je nosio oznaku umjetne inteligencije, ali je ipak zavaravao gledatelje, pregledan je oko 32,9 milijuna puta.

Nijedna snimka na papinoj službenoj Instagram stranici nema više od 6 milijuna pregleda.

Stručnjaci su rekli da čak i naizgled bezopasne generirane poruke mogu biti problematične, posebno ako se koriste za privlačenje publike za profile koji bi kasnije mogli prodati svoju publiku ili se okrenuti drugim dezinformacijama.

Propovijedi generirane umjetnom inteligencijom ne samo da "nagrizaju moralni autoritet pape" i "čine sve što on zapravo kaže manje uvjerljivim," rekao je Green, već se mogu iskoristiti "za izgradnju povjerenja oko vašeg kanala prije nego što papa kaže nešto nečuveno ili politički korisno."

Sam papa upozorio je na rizike umjetne inteligencije, dok je Vatican News osudio deepfake objavu koja je navodno prikazivala Lea kako hvali vođu Burkine Faso Ibrahima Traorea, koji je preuzeo vlast u državnom udaru 2022. (arhivirano je ovdje).

AFP je također razotkrio isječke koji prikazuju papu, koji ima američko i peruansko državljanstvo, kako kritizira američkog potpredsjednika J. D. Vancea i peruanskog predsjednika Dinu Boluartea.

"Ovdje postoji prava kriza," rekao je Green. "Morat ćemo pronaći način da znamo jesu li stvari stvarne ili lažne."