SuperScout: Routing Conveniente dei Agenti di Codifica Esplorando Prima il Repository
SuperScout, un sistema innovativo, mira a ridurre i costi associati all'utilizzo di modelli linguistici all'avanguardia per problemi software a livello di repository. Invece di scegliere un modello basandosi solo sulla descrizione del problema, SuperScout esamina inizialmente il repository con un modello cercatore da 7B chiamato SuperScout-7B, che crea un handoff strutturato. Le affermazioni fatte durante questo handoff vengono verificate in una sandbox, eliminando eventuali imprecisioni prima che vengano inviate. Gli stati nascosti del cercatore e il testo del compito vengono utilizzati da un router basato su curriculum che assegna il compito a uno dei quattro fixer all'avanguardia, con l'aggiunta di nuovi fixer che non richiedono riaddestramento. Nella sezione Python completa di SWE-bench Pro (266 compiti), SuperScout raggiunge un tasso di risoluzione di 159 su 266, paragonabile al miglior singolo modello con 158, mentre costa circa un quinto per risoluzione. Questa configurazione supera la baseline casuale di suddivisione del traffico. L'articolo di ricerca è disponibile su arXiv con ID 2608.04804.
Fatti principali
- SuperScout instrada gli agenti di codifica dopo aver esplorato il repository, non solo dal testo del problema.
- SuperScout-7B è un cercatore da 7B che esplora il repository e produce un handoff strutturato.
- Le affermazioni di riproduzione dell'handoff vengono verificate in sandbox e le affermazioni false vengono rimosse.
- Un router basato su curriculum utilizza gli stati nascosti del cercatore e il testo del compito per assegnare il compito a uno dei quattro fixer all'avanguardia.
- L'aggiunta di un nuovo fixer non richiede riaddestramento.
- Su SWE-bench Pro Python slice (266 compiti), SuperScout risolve 159 compiti contro 158 del miglior singolo modello.
- SuperScout raggiunge circa un quinto del costo totale per risoluzione rispetto al miglior modello.
- La configurazione si posiziona sopra la baseline casuale di suddivisione del traffico.
Entità
Istituzioni
- arXiv