Screening con LLM nelle Revisioni Sistematiche: Gli Effetti del Lotto Superano i Metadati di Prevalenza

Un nuovo studio da arXiv esamina le prestazioni dei modelli linguistici di grandi dimensioni (LLM) in compiti di classificazione binaria sbilanciati, concentrandosi specificamente sullo screening degli studi per le revisioni sistematiche. La ricerca, condotta su cinque revisioni, ha confrontato metodi di elaborazione individuale e a lotti, con e senza l'inclusione di metadati di prevalenza. I risultati indicano che i metadati di prevalenza hanno un'influenza limitata e non migliorano le prestazioni. Al contrario, l'elaborazione a lotti ha portato a cambiamenti comportamentali più ampi che variavano a seconda della prevalenza delle classi. In particolare, le analisi aggregate e a livello di singolo elemento non sempre coincidevano, suggerendo che l'elaborazione a lotti dovrebbe essere valutata non solo per l'efficienza dei costi ma anche per il suo impatto sul comportamento decisionale. Lo studio contribuisce al crescente corpus di ricerche sulle applicazioni degli LLM in contesti accademici e medici, evidenziando la necessità di considerare attentamente i metodi di elaborazione nei flussi di lavoro delle revisioni sistematiche.