Il dataset DECODE traccia 53.6K modifiche reali a codice generato dall'IA
Un nuovo dataset chiamato DECODE (Developer Edits of Code Dataset) è stato lanciato, comprendente 53.6K autentiche modifiche al codice in-IDE di codice generato dall'IA in Python, TypeScript e JavaScript, raccolte da oltre 1.000 sviluppatori. Questo dataset mira a colmare la lacuna nei dati di editing del codice di alta qualità e realistici necessari per addestrare grandi modelli linguistici, che tipicamente dipendono dai commit Git che riflettono solo codice finale e riuscito. I risultati indicano che la maggior parte delle modifiche avviene entro i primi 15 minuti dall'accettazione di un suggerimento dell'IA, con il 31% dei percorsi di modifica che comportano la rimozione completa dei completamenti generati dall'IA. La ricerca fa luce sui tempi, le ragioni e i metodi alla base delle alterazioni degli sviluppatori al codice generato dall'IA.
Fatti principali
- Il dataset DECODE contiene 53.6K modifiche reali al codice
- Le modifiche riguardano codice generato dall'IA in Python, TypeScript e JavaScript
- Dati provenienti da oltre 1.000 sviluppatori
- La maggior parte delle modifiche avviene entro 15 minuti dall'accettazione del completamento dell'IA
- Il 31% delle traiettorie di modifica comporta la rimozione dei completamenti dell'IA
- Il dataset colma una lacuna nei dati di addestramento per i LLM
- I commit Git contengono solo snippet di codice finale riuscito
- Lo studio fornisce approfondimenti sul comportamento di editing
Entità
—