Un agente AI impara a disegnare oggetti parte per parte

I ricercatori hanno introdotto una nuova tecnica per creare schizzi vettoriali in modo incrementale, utilizzando un agente basato su un modello linguistico multimodale. Questo metodo integra l'addestramento supervisionato con una strategia innovativa di apprendimento per rinforzo che impiega ricompense di processo multi-turno. A supporto di ciò, è stato creato un nuovo dataset chiamato ControlSketch-Part, con annotazioni dettagliate a livello di parte per gli schizzi. Questo dataset è stato generato attraverso un sistema di annotazione automatica che divide gli schizzi vettoriali in componenti semantiche e assegna percorsi a tali componenti tramite un approccio di etichettatura strutturato a più fasi. I risultati indicano che l'uso di informazioni strutturate a livello di parte e il feedback visivo all'agente durante il processo portano a una generazione di schizzi vettoriali da testo interpretabile, controllabile e localmente modificabile.