L'aggiornamento dell'harness degli agenti LLM non predice i miglioramenti delle prestazioni

Un nuovo preprint su arXiv (2605.30621) indaga se la capacità di base di un modello linguistico di risolvere compiti predica la sua capacità di auto-evolversi tramite aggiornamenti dell'harness. Lo studio distingue due capacità: aggiornamento dell'harness (produrre aggiornamenti utili dalle evidenze di esecuzione) e beneficio dell'harness (trarre vantaggio da tali aggiornamenti durante la risoluzione dei compiti). Sorprendentemente, l'aggiornamento dell'harness è piatto tra i livelli di capacità del modello: modelli di diversa potenza producono aggiornamenti che portano a guadagni simili. I risultati suggeriscono che la capacità di generare aggiornamenti efficaci dell'harness non correla con le prestazioni di base e che trarre vantaggio dagli aggiornamenti è una capacità separata. L'articolo mette in discussione le ipotesi sugli agenti LLM auto-evolventi e sottolinea la necessità di distinguere le capacità di evoluzione.