Studio Rivela il Divario tra Comportamento Simulato e Reale degli Sviluppatori negli Assistenti di Codifica Proattivi

Un recente studio empirico pubblicato su arXiv esplora la disparità tra simulazione e realtà negli assistenti di codifica proattivi che utilizzano modelli linguistici di grandi dimensioni (LLM). Il team di ricerca ha raccolto dati reali di interazione IDE da 1.246 sviluppatori esperti nell'arco di tre giorni tramite un'estensione personalizzata di Visual Studio Code. Successivamente, hanno creato tracce simulate corrispondenti tramite LLM per l'analisi. I risultati indicano che queste tracce simulate spesso perdono le sfumature delle attività genuine degli sviluppatori, rivelando carenze nelle attuali metodologie per la costruzione di assistenti di codifica proattivi che cercano di dedurre le intenzioni implicite degli sviluppatori dalle interazioni IDE e dal contesto del repository. La mancanza di dati reali su larga scala ha precedentemente reso necessaria la dipendenza da tracce simulate, sottolineando l'urgente necessità di set di dati più autentici per migliorare l'accuratezza del supporto proattivo.