DeltaPrompts: Uscire dalla Trappola del Delta Zero nella Distillazione Multimodale
Un nuovo articolo su arXiv (2605.15532) rivela che fino al 69% dei prompt nei dataset standard di ragionamento su grafici/documenti sono a delta zero, il che significa che insegnante e studente VLM producono distribuzioni di risposta identiche, fornendo un segnale di apprendimento minimo. Gli autori propongono di selezionare i prompt basandosi sulla divergenza delle risposte per esporre i gap di capacità funzionale.
Fatti principali
- Articolo arXiv 2605.15532
- Fino al 69% dei prompt nei dataset standard di ragionamento su grafici/documenti sono a delta zero
- I prompt a delta zero causano il saturamento del miglioramento dello studente indipendentemente dalla scala dei dati
- Propone di selezionare i prompt basandosi sulla divergenza delle risposte (Δ)
- La divergenza non zero è critica per una distillazione efficace
Entità
Istituzioni
- arXiv