La moderazione dei contenuti sui social network è sempre più complessa

Gli sforzi delle varie aziende tecnologiche per identificare e rimuovere dalle proprie piattaforme i contenuti violenti, pericolosi o fuorvianti erano risultati insufficienti già quando i social network si reggevano principalmente sui testi, come Facebook e Twitter, o su immagini, come è stato per molto tempo per Instagram. Oggi che sulle piattaforme milioni di persone consumano maggiormente i video, in un flusso pressoché costante, la moderazione dei contenuti è diventata, per le stesse organizzazioni, una sfida senza precedenti. Questo è di per sé un compito complesso, che le aziende tecnologiche in passato hanno spesso minimizzato, soprattutto a causa dello sforzo economico che richiede. Assumere moderatori che conoscano bene la lingua e il contesto in cui viene creato un contenuto è complicato, oltre che costoso, anche perché necessita di essere salvaguardata la salute mentale dei dipendenti – che per l’appunto vengono esposti a contenuti potenzialmente traumatici.

I sistemi automatici di moderazione presentano ancora grossi limiti tecnologici, particolarmente evidenti quando si tratta di moderare i video, che però sono sempre più frequenti. L’intelligenza artificiale in questo contesto sfrutta l'esaminazione delle immagini, collegandole a un set di altre immagini su cui è stata “allenata”: così facendo è possibile capire se una persona in una foto è ritratta nuda o vestita, ad esempio, o se qualcuno ha in mano una pistola. Con i video, che altro non sono che una serie di numerose immagini riprodotte, questo approccio diventa più difficile da seguire, risultando insufficiente. I moltissimi fotogrammi che compongono un video di per sé possono non violare le linee guida di una piattaforma, ma se uniti possono andare a formare una narrazione dannosa. Ad esempio è circolato molto un video su TikTok in cui si sosteneva che si potesse creare un farmaco contro il Covid a partire da un pompelmo: la serie di immagini del frutto non violavano le linee guida della piattaforma, ma considerando il contesto in cui sono state inserite determinavano indubbiamente un contenuto disinformativo. «Un sistema che riconosce un’arma da fuoco in un qualsiasi video, segnalerebbe la clip di due persone che discutono del valore di un fucile d’epoca. Al contempo, non riconoscerebbe il video di una persona colpita da un’arma da fuoco fuori dall’inquadratura», scrive l’Atlantic. «YouTube ha probabilmente l’esperienza più lunga con la moderazione automatizzata dei video, ma ciò non toglie che ogni giorno clip che violano le sue linee guida vengano visualizzati milioni di volte».

Sull’onda del successo di TikTok, le piattaforme – prime fra tutte Instagram e YouTube – hanno investito moltissimo nei video-brevi, tanto che quest'ultimi si sono fatti sempre più complessi a livello concettuale, fino a diventare dei meme tridimensionali in cui audio, immagini e testo si intrecciano. Questo rende la moderazione ancora più complessa, non solo per le macchine. «Il filmato di un paesaggio desolato in cui rotola un’erbaccia spinta dal vento non sarebbe problematico di per sé, né per un essere umano né per una macchina, così come non lo sarebbe una clip audio di qualcuno che dice: “Guarda quante persone ti amano”. Se si combinano le due cose per insultare qualcuno, dicendogli che nessuno lo ama, un computer non lo capirà mai», si legge sull’Atlantic. È accaduto lo stesso con un video, girato parecchio su TikTok, in cui la first lady statunitense Jill Biden visitava persone malate di cancro, dove in sottofondo c’erano fischi e schiamazzi aggiunti in post-produzione da un utente. È per questa ragione che solo il 40 per cento dei video rimossi su un social network come TikTok viene fatto tramite un’AI – gli altri controlli (e si parla di milioni) sono ancora opera di dipendenti in carne e ossa, con tutte le conseguenze del caso.

Le piattaforme, paradossalmente, tendono ad amplificare i video che contengono contenuti disturbanti o falsi, perché – nel riproporli – valutano solamente il numero delle interazioni dell’utente, ma non la qualità di queste interazioni. Se si è guardato più volte, o ad esempio commentato, un video perché lo si trovava scorretto, la piattaforma valuterà comunque questa interazione come “positiva”, rischiando poi di amplificare e aumentare i contenuti simili nel feed. «L’esposizione prolungata a contenuti manipolati può intensificare la polarizzazione e ridurre la capacità e la volontà degli spettatori di distinguere la verità dalla finzione», riporta il New York Times, dove la giornalista Tiffany Hsu, esperta di Internet e disinformazione, aggiunge che «il pericolo dei contenuti fuorvianti non sta necessariamente nei singoli post, ma nel modo in cui rischiano di danneggiare ulteriormente la capacità di molti utenti di capire cosa è vero o no». Non è un caso, in conclusione, che nel suo libro Information Diet, l’autore Clay A. Johson paragoni la produzione attuale di informazioni di bassa qualità al junk-food: contenuti invitanti, ma dallo scarso “valore nutritivo” per la mente.