La selezione delle risposte incentrata sullo studente migliora l'addestramento dei LLM rispetto al miglior insegnante

Un nuovo framework chiamato Student-Centric Answer Sampling (SCAS) sfida la pratica comune di utilizzare il modello insegnante con le migliori prestazioni per generare dati di addestramento per LLM studenti. La ricerca, pubblicata su arXiv (2605.26872), dimostra che anche quando più insegnanti producono risposte corrette, la risposta dell'insegnante più forte non è sempre la migliore supervisione per un dato studente. SCAS seleziona tra le risposte verificate generate dagli insegnanti in base al costo di apprendimento stimato incentrato sullo studente, derivato da una scomposizione del gradiente a livello di token. Esperimenti su 30 modelli insegnante e 6 modelli base studente mostrano una migliore efficienza ed efficacia dell'addestramento.