DarwinX: Evoluzione degli Agent Harness attraverso la Selezione Naturale
Uno studio recente pubblicato su arXiv (ID: 2608.07545) presenta DarwinX, una nuova tecnica per evolvere gli harness degli agenti LLM—che comprendono prompt, strumenti, competenze e flusso di controllo—utilizzando principi derivati dalla selezione naturale. Questo metodo si concentra sull'auto-evoluzione selezionando da una popolazione di harness mantenendo il modello statico. Le caratteristiche principali includono un contratto di preservazione ed estensione che ammette solo varianti che migliorano la copertura, un archivio per linee alternative per facilitare la ricombinazione, e un'interfaccia di modifica unificata per vari tipi di evidenza. La valutazione della fitness è condotta dal verificatore di ciascun benchmark, eliminando la necessità di standard di riferimento. Su quattro benchmark, DarwinX raggiunge un aumento medio di circa 17 punti, con un notevole miglioramento di +7,7 su Terminal-Bench 2.1, raggiungendo l'83,2% su una base abbinata e l'84,7% su una più forte. Lo studio menziona anche risultati su TerminalWorld, sebbene i dati specifici siano assenti nell'abstract. Questa ricerca affronta le sfide delle ricerche a singola linea nei cicli di auto-miglioramento, che possono portare a ottimi locali che ostacolano altri compiti. Utilizzando una popolazione e un archivio, DarwinX cerca di mitigare queste limitazioni, contribuendo ai progressi nell'IA e nell'apprendimento automatico, specialmente nei sistemi agentici e nell'auto-potenziamento.
Fatti principali
- DarwinX è introdotto come un metodo per evolvere gli harness degli agenti LLM tramite selezione naturale.
- L'approccio congela il modello ed evolve l'harness (prompt, strumenti, competenze, flusso di controllo).
- Un contratto di preservazione ed estensione ammette solo varianti che estendono la copertura senza regressioni.
- Un archivio mantiene linee alternative per la ricombinazione.
- Evidenze derivate da fallimenti, insegnanti e auto-generate condividono un'unica interfaccia di modifica.
- La fitness è determinata dal verificatore di ciascun benchmark, senza soluzioni gold o vincitori scelti a mano.
- Su quattro benchmark, il metodo aggiunge in media circa 17 punti.
- Su Terminal-Bench 2.1, migliora di +7,7 fino all'83,2% su una base abbinata e all'84,7% su una base più forte.
- L'articolo è disponibile su arXiv con ID 2608.07545.
Entità
Istituzioni
- arXiv