FINER-SQL: Feedback Fine-Grained Potenzia Piccoli Modelli Linguistici per Text-to-SQL

FINER-SQL è un framework che utilizza l'apprendimento per rinforzo per migliorare i piccoli modelli linguistici (SLM) nella generazione di Text-to-SQL. Sebbene i grandi modelli linguistici (LLM) abbiano fatto progressi in questo ambito, affrontano sfide come elevati costi computazionali, problemi di latenza e rischi per la privacy dei dati, rendendoli inadatti a vari usi pratici. Mentre gli SLM facilitano un'implementazione efficiente e privata on-premise, spesso mostrano ragionamento inadeguato e scarsa aderenza alle istruzioni. Le tecniche tradizionali di apprendimento per rinforzo che si basano su ricompense binarie sparse (0/1) non forniscono segnali di apprendimento efficaci per output SQL errati, portando a un addestramento instabile. FINER-SQL risolve queste sfide offrendo ricompense dense e interpretabili che forniscono feedback continuo, anche per risultati errati, ed è basato sull'ottimizzazione delle politiche relative di gruppo per una maggiore scalabilità e riusabilità dell'addestramento.