L’intelligenza artificiale può valutare l’affidabilità delle notizie?

Ad oggi ci sono tre domande a cui l’Ai non sa (o non vuole rispondere): chi te lo ha detto, quanta energia consumi e quanto sei sicura di quello che dici. Una quarta domanda è ancora più intrigante: sei in grado controllare l’affidabilità delle notizie? Una risposta arriva uno studio condotto da ricercatori dell’Università Sapienza di Roma che hanno messo a confronto i Large language models (Llm) - i modelli linguistici di grandi dimensioni, programmi di IA addestrati su una grande mole di dati - di Google, Meta e OpenAI e i team di esperti umani strutturati come NewsGuard e Media Bias Fact Check (Mbfc). «I nostri risultati rivelano un forte allineamento tra le classificazioni dei Llm e quelle umane in particolare nell’identificazione di fonti inaffidabili», sottolineano i ricercatori. Lo studio dal titolo Decoding AI Judgment: How LLMs Assess News Credibility and Bias che trovate qui ha preso in esame i modelli Gemini 1.5 Flash di Google, GPT-4o mini di OpenAI e LLaMA 3.1 di Meta. Questi modelli classificano le teorie del complotto, il sensazionalismo e i pregiudizi in maniera speculare ai criteri chiave usati dagli esperti nelle loro valutazioni. Sono meno coerenti quando il contesto è limitato. Inoltre, «è interessante notare - scrivono i ricercatori - che in ambito politico i media di destra vengono considerati più inaffidabili, quelli di centro più affidabili sollevando interrogativi sul fatto che i modelli di grandi dimensioni possano ereditare pregiudizi in fase di addestramento». Nel complesso, i ricercatori ritengono che per i modelli di grandi dimensioni le parole chiave che si riferiscono a notizie locali, resoconti basati su fatti o al linguaggio neutro sono generalmente associate a un concetto di affidabilità. Al contrario, l’inaffidabilità è spesso caratterizzata da termini relativi a sensazionalismo, controversie o pregiudizi, che riflettono indicatori di uso comune usati da esperti umani per identificare fonti a bassa credibilità. Inoltre, ’trasparenza’ e ’bias’ emergono come i criteri più comunemente valutati per l’affidabilità o l’inaffidabilità delle informazioni. “Lo studio - spiegano i ricercatori nelle conclusioni - riformula i modelli linguistici di grandi dimensioni non semplicemente come classificazioni automatizzate, ma come finestre sulle strutture cognitive sia alla base dell’uomo sia della macchina. Analizzando i loro processi di ragionamento, ci avviciniamo alla comprensione del modo con cui simulano la valutazione strutturata e si confrontano con le strategie cognitive umane in compiti di giudizio complessi».

uesti modelli classificano le teorie del complotto, il sensazionalismo e i pregiudizi in maniera speculare ai criteri chiave usati dagli esperti nelle loro valutazioni. Sono meno coerenti quando il contesto è limitato. Inoltre, “è interessante notare - scrivono i ricercatori - che in ambito politico i media di destra vengono considerati più inaffidabili, quelli di centro più affidabili sollevando interrogativi sul fatto che i modelli di grandi dimensioni possano ereditare pregiudizi in fase di addestramento”.

Nel complesso, i ricercatori ritengono che per i modelli di grandi dimensioni le parole chiave che si riferiscono a notizie locali, resoconti basati su fatti o al linguaggio neutro sono generalmente associate a un concetto di affidabilità. Al contrario, l’inaffidabilità è spesso caratterizzata da termini relativi a sensazionalismo, controversie o pregiudizi, che riflettono indicatori di uso comune usati da esperti umani per identificare fonti a bassa credibilità. Inoltre, ’trasparenza’ e ’bias’ emergono come i criteri più comunemente valutati per l’affidabilità o l’inaffidabilità delle informazioni.

“Lo studio - spiegano i ricercatori nelle conclusioni - riformula i modelli linguistici di grandi dimensioni non semplicemente come classificazioni automatizzate, ma come finestre sulle strutture cognitive sia alla base dell’uomo sia della macchina. Analizzando i loro processi di ragionamento, ci avviciniamo alla comprensione del modo con cui simulano la valutazione strutturata e si confrontano con le strategie cognitive umane in compiti di giudizio complessi”.