RewardHarness: Modello di Ricompensa AI Auto-Evolvente da Pochi Esempi
Un innovativo framework AI chiamato RewardHarness, descritto in un preprint su arXiv (2605.08703), introduce un metodo auto-evolvente per la modellazione delle ricompense specificamente mirato all'editing di immagini guidato da istruzioni. A differenza dei modelli di ricompensa convenzionali che dipendono da estese annotazioni di preferenze e ulteriore addestramento del modello, RewardHarness sposta l'attenzione dall'ottimizzazione dei pesi all'evoluzione del contesto. Si adatta alle preferenze umane sviluppando progressivamente un toolkit a partire da soli 100 esempi di preferenze. Un Orchestrator seleziona gli strumenti pertinenti da questa libreria, mentre un Sub-Agent congelato valuta le immagini modificate in base alle istruzioni fornite. Questa innovazione affronta il problema dell'efficienza dei dati, poiché gli esseri umani possono dedurre criteri di valutazione da esempi limitati, mentre i modelli di solito richiedono un vasto numero di confronti. Il framework è progettato per adattarsi a preferenze umane sfumate senza la necessità di un ampio riaddestramento.
Fatti principali
- RewardHarness è un framework di ricompensa agentivo auto-evolvente per la valutazione dell'editing di immagini.
- Richiede solo 100 dimostrazioni di preferenze invece di centinaia di migliaia.
- Il framework utilizza un Orchestrator per selezionare strumenti e abilità da una libreria.
- Un Sub-Agent congelato applica gli strumenti selezionati per valutare le modifiche.
- Riformula la modellazione delle ricompense come evoluzione del contesto, non ottimizzazione dei pesi.
- L'approccio mira a colmare il divario di efficienza dei dati nella modellazione delle ricompense.
- Il preprint è disponibile su arXiv con ID 2605.08703.
- Il sistema è progettato per modifiche di immagini guidate da istruzioni.
Entità
Istituzioni
- arXiv