Il voto di maggioranza riduce l'accuratezza sulla maggior parte dei problemi GPQA Diamond per piccoli LLM
Un nuovo preprint su arXiv (2608.11403) rivela che l'uso del voto di maggioranza, un metodo di inferenza comune, danneggia effettivamente le prestazioni dei modelli linguistici di piccole dimensioni ottimizzati con istruzioni su compiti scientifici difficili. Nel benchmark GPQA Diamond, che include 198 domande scientifiche a livello di laurea, Qwen2.5-7B ha visto un calo di accuratezza del 56,6%, mentre Llama-3-8B ha subito un calo del 65,7%. Qwen è stato il focus principale, con Llama che conferma risultati simili da una baseline vicina al caso. Lo studio ha validato tutte e quattro le ipotesi, basate su 151 problemi confermativi e intuizioni da 47 casi esplorativi. Inoltre, un limite teorico superiore ha mostrato che Qwen e Llama potrebbero ottenere rispettivamente 14 e 17 punti di accuratezza in più rispetto a N = 1, ma nessun metodo senza verificatore ha raggiunto questo limite, evidenziando la necessità di metodi di inferenza avanzati per modelli più piccoli che affrontano ragionamenti complessi.
Fatti principali
- Il voto di maggioranza riduce l'accuratezza per problema sulla maggior parte dei problemi GPQA Diamond per Qwen2.5-7B (56,6%) e Llama-3-8B (65,7%).
- L'effetto è stato pre-registrato su una suddivisione confermativa di 151 problemi dopo essere stato osservato su 47 problemi esplorativi.
- Tutte e quattro le ipotesi confermative sono state superate.
- Un'oracolo a griglia che instrada ogni problema al miglior N tra {1, 2, 4, 8, 16, 32, 64} segna un limite superiore teorico di 14 punti di accuratezza sopra N = 1 per Qwen e 17 per Llama.
- Il limite dell'oracolo richiede la verità di base e non è un metodo implementabile.
- Nessun gate senza verificatore raggiunge il limite dell'oracolo.
- Lo studio utilizza il benchmark GPQA Diamond di 198 domande scientifiche a livello di laurea.
- L'articolo è disponibile su arXiv con identificativo 2608.11403.
Entità
Istituzioni
- arXiv