Valutazione dei modelli linguistici di grandi dimensioni sulle vaccinazioni.

08.07.2026 | Popular Science
dottori con teste ai

I modelli linguistici di grandi dimensioni (LLM) sono sempre più impiegati da medici e pubblico per ottenere informazioni sui vaccini, ma la loro accuratezza fattuale nelle diverse lingue e domini vaccinali non è ancora sufficientemente caratterizzata. In uno studio pubblicato sulla rivista npj Vaccines sono stati valutati 13 LLM attraverso un benchmark multilingue sulla conoscenza dei vaccini composto da 1.886 domande a scelta multipla relative a 14 vaccini, formulate in inglese (71%), spagnolo (13%) e cinese (16%). Tutte le domande sono state sottoposte a controllo qualità e le risposte di riferimento sono state verificate rispetto a linee guida autorevoli e fonti sottoposte a revisione paritaria.

L’accuratezza media tra i modelli è stata dell’86,0% in inglese, dell’83,7% in spagnolo e dell’80,0% in cinese. I modelli di punta hanno mostrato probabilità di correttezza superiori rispetto alle versioni precedenti (OR 1,57; IC 95% 1,50–1,65; P < ,001). Il prompting few-shot è risultato associato a una maggiore correttezza (OR 1,17; P < ,001), mentre il prompting CoT è stato associato a una minore correttezza (OR 0,79; P < ,001). Le prestazioni hanno mostrato variazioni in base al tipo di vaccino e alla categoria della domanda. Gli autori concludono che tali variazioni evidenziano la necessità di una valutazione rigorosa, di barriere di protezione strutturate e di un perfezionamento mirato prima di utilizzare gli LLM per la comunicazione sui vaccini.

Fonte: npj Vaccines 2026

https://www.nature.com/articles/s41541-026-01500-1

IT-NON-13773-W-06-2027

Contenuti simili

I più visti