La Ricerca LeGo-Code Esplora l'Apprendimento Curricolare Modulare per la Generazione di Codice Complesso in Text-to-SQL

Uno studio recente esplora il potenziale dell'apprendimento curricolare per migliorare l'efficacia dei modelli linguistici di grandi dimensioni focalizzati sul codice nelle attività Text-to-SQL. Questa applicazione è cruciale per consentire ai non esperti di interagire con database relazionali utilizzando il linguaggio naturale. Nonostante i progressi, i modelli leader faticano con logiche intricate, come query profondamente annidate con multiple join e condizioni. Inoltre, gli schemi di database del mondo reale che sono disorganizzati o mal progettati pongono ulteriori sfide. La ricerca utilizza benchmark come Spider e BIRD per affinare i modelli attraverso varie strategie curricolari. I risultati indicano che un metodo curricolare semplicistico, che organizza i campioni di addestramento per complessità all'interno di un singolo epoca, non supera il fine-tuning convenzionale a causa di problemi come la dimenticanza catastrofica. Questa ricerca mira a migliorare la capacità di generare codice complesso, affrontando le carenze degli attuali LLM nella gestione di query di database sofisticate.