Addestramento RL Open-Source Insegna al Modello di Codifica a Dipingere Acquerelli
Il 23 agosto, un video di Surya Narreddi che mostra acquerelli generati da un modello linguistico è diventato virale, accumulando oltre 1,5 milioni di visualizzazioni. Il modello utilizza JavaScript tramite p5.brush. Sebbene il blog di Narreddi avesse menzionato in precedenza l'addestramento su primi piani di fiori, non forniva alcun artefatto, con un rapporto tecnico completo previsto a breve. Un autore di Hugging Face ha replicato questa idea utilizzando TRL e OpenEnv, offrendo risorse come un dataset e script di addestramento. La pipeline funziona su Hugging Face, sfruttando Jobs, Spaces, Inference Providers e una raccolta Hub. La funzione di ricompensa integra HPSv3 e un giudice a coppie, risultando in esiti variati da tre esecuzioni di addestramento. L'iniziativa evidenzia una transizione verso l'addestramento di modelli e codice modificabile, affrontando problemi infrastrutturali.
Fatti principali
- 1. Surya Narreddi ha pubblicato un video di acquerelli dipinti da un modello linguistico il 23 agosto, che ha ricevuto oltre 1,5 milioni di visualizzazioni.
- 2. Il modello scrive JavaScript tramite p5.brush, una libreria che aggiunge strumenti di disegno naturali a p5.js.
- 3. L'autore ha riprodotto l'idea di Narreddi utilizzando TRL e OpenEnv, pubblicando tutte le risorse apertamente.
- 4. La pipeline funziona su Hugging Face, utilizzando Jobs, Spaces, Inference Providers e l'Hub.
- 5. La funzione di ricompensa utilizza HPSv3 e un giudice a coppie (Qwen3-VL-30B-A3B-Instruct).
- 6. Il pool di riferimento è composto da 178 dipinti generati da quattro modelli open-weight, valutati dall'autore in categorie 'amore' e 'okay'.
- 7. Tre esecuzioni sono state addestrate con diverse combinazioni di ricompensa: solo-hps, hps-led e judge-led.
- 8. L'esecuzione judge-led ha prodotto i dipinti più diversi e artisticamente interessanti.
- 9. Il progetto dimostra l'apprendimento per rinforzo su preferenze estetiche, senza una risposta corretta.
- 10. L'autore ha corretto un bug in OpenEnv e ha inviato la correzione a monte.
Entità
Artisti
- Surya Narreddi
- Alejandro Campos Uribe
- Mario Klingemann
- Anna Ridler
- Alex Yango
- Brendan Hogan
- Jason Liu
Istituzioni
- Hugging Face
- TRL
- OpenEnv
- p5.brush
- HPSv3
- Qwen3-VL-30B-A3B-Instruct
- iNaturalist
- DeepDream
- Edmond de Belamy
- GAN
- Simon Willison's pelican benchmark