Le strategie senza etichette non migliorano l'accuratezza nei benchmark a scelta multipla
Uno studio recente pubblicato su arXiv (2608.11947) esplora se limitare l'accesso dei grandi modelli linguistici alle etichette delle opzioni durante le domande a scelta multipla possa eliminare il bias posizionale e migliorare l'accuratezza. La ricerca valuta due strategie che non utilizzano etichette: generazione-poi-abbinamento e valutazione indipendente delle opzioni. Sfortunatamente, nessuno dei due metodi aumenta costantemente l'accuratezza. Un'analisi indica che il problema principale risiede nel trattenere le opzioni piuttosto che nel processo di abbinamento. L'unica configurazione che si allinea in modo affidabile con la baseline prevede la presentazione di tutte le opzioni insieme a un matcher LLM. Tuttavia, eliminare completamente gli effetti posizionali non porta costantemente a miglioramenti nell'accuratezza. Questi risultati mettono in discussione l'efficacia dei metodi senza etichette nell'affrontare la sensibilità all'ordine nelle valutazioni MCQ.
Fatti principali
- Il paper arXiv:2608.11947 esamina le strategie senza etichette per i benchmark a scelta multipla.
- Due strategie testate: generazione-poi-abbinamento e punteggio delle opzioni in isolamento.
- Nessuna delle due strategie migliora in modo affidabile l'accuratezza.
- Trattenere le opzioni è il collo di bottiglia, non il passaggio di abbinamento.
- Unica configurazione che corrisponde alla baseline: tutte le opzioni con matcher LLM.
- Eliminare l'influenza posizionale non produce in modo affidabile guadagni di accuratezza.
- I punteggi MCQ confondono la conoscenza con la sensibilità all'ordine delle opzioni.
- Lo studio mette in discussione l'affidabilità dei benchmark MCQ per la conoscenza del modello.
Entità
Istituzioni
- arXiv