Valutazione Controllata Mostra che i Guadagni dell'Orchestrazione LLM sono Modesti

Un nuovo studio da arXiv (2608.00685) valuta sistematicamente i benefici dei metodi di orchestrazione LLM—Self-Refine, Best-of-N e Debate—rispetto ai baseline a chiamata singola, inclusa l'inferenza solo-compito e chain-of-thought (CoT). I ricercatori hanno ottimizzato ogni metodo con GEPA sotto budget di ottimizzazione identici e testato su cinque backbone LLM in tre domini: programmazione competitiva, puzzle di scacchi e matematica. I risultati indicano che l'orchestrazione produce miglioramenti moderati e dipendenti dal benchmark: il guadagno medio più grande rispetto al CoT ottimizzato è di 4,6 punti percentuali, e 4,5 punti rispetto all'inferenza solo-compito, richiedendo però un costo computazionale aggiuntivo. Lo studio evidenzia che il valore dell'orchestrazione non è universale e potrebbe non giustificare la sua spesa in molti scenari. I risultati sono rilevanti per i professionisti dell'IA che decidono quando impiegare strategie di ragionamento multi-chiamata.