Ratchet: Libreria di abilità auto-evolvente per agenti LLM
Un nuovo articolo introduce Ratchet, un loop a singolo agente che consente a LLM congelati di gestire autonomamente le proprie librerie di abilità attraverso scrittura, recupero, curatione e ritiro di abilità in linguaggio naturale. Il sistema affronta il collo di bottiglia nelle librerie di abilità auto-evolventi, dove le abilità scritte da LLM in precedenza mostravano un miglioramento zero rispetto alle baseline senza abilità, mentre le abilità curate da umani fornivano +16,2pp. Ratchet integra quattro meccanismi di igiene: ritiro basato sui risultati, limite attivo vincolato, guida alla scrittura di meta-abilità e canonicalizzazione dei pattern. Sul benchmark MBPP+ hard-100 utilizzando Claude Opus 4.7, Ratchet ha migliorato il pass@1 su dati non visti da una baseline di 0,258 a un picco di 0,658, con un guadagno medio mobile di +0,328, rispetto a una deriva del controllo senza abilità di +0,002. L'articolo è disponibile su arXiv con ID 2605.22148.
Fatti principali
- Ratchet è un loop a singolo agente per librerie di abilità LLM auto-evolventi.
- LLM congelati scrivono, recuperano, curano e ritirano le proprie abilità.
- Quattro meccanismi di igiene: ritiro basato sui risultati, limite attivo vincolato, guida alla scrittura di meta-abilità, canonicalizzazione dei pattern.
- Su MBPP+ hard-100 con Claude Opus 4.7, pass@1 è salito da 0,258 a un picco di 0,658.
- Guadagno medio mobile di +0,328 rispetto a una deriva del controllo senza abilità di +0,002.
- ID articolo: arXiv:2605.22148.
- Le librerie di abilità auto-evolventi sono state pionierizzate da Voyager.
- Le abilità scritte da LLM in precedenza mostravano un miglioramento di +0,0pp rispetto alle baseline senza abilità.
Entità
Istituzioni
- arXiv