CoCaRS: Calibrazione delle Correlazioni per la Distillazione Eterogenea della Conoscenza
È stato introdotto un nuovo approccio noto come CoCaRS (Correlation Calibration-Based Redundancy Suppression) per migliorare la distillazione eterogenea della conoscenza. La distillazione della conoscenza (KD) facilita l'addestramento di un modello studente compatto sfruttando un insegnante potente, essenziale per la compressione del modello. Mentre la KD si è evoluta da ambienti omogenei a eterogenei a causa delle diverse architetture dei modelli, le discrepanze nei bias induttivi architetturali ostacolano un efficace trasferimento di conoscenza. Il concetto di soppressione della ridondanza mira a mantenere l'invarianza cross-architetturale e minimizzare la ridondanza delle caratteristiche decorrelando le correlazioni insegnante-studente. Tuttavia, una decorrelazione uniforme può ridurre preziose informazioni strutturali, e un coefficiente statico può rendere l'efficacia della soppressione della ridondanza dipendente da specifiche coppie insegnante-studente e fasi di addestramento. CoCaRS risolve queste sfide calibrando le correlazioni per sopprimere la ridondanza preservando l'integrità strutturale. Ulteriori dettagli sono disponibili su arXiv:2607.27054.
Fatti principali
- 1. CoCaRS sta per Soppressione della Ridondanza Basata sulla Calibrazione delle Correlazioni.
- 2. Affronta la distillazione eterogenea della conoscenza.
- 3. La distillazione della conoscenza consente a un modello studente compatto di apprendere da un insegnante potente.
- 4. La KD eterogenea coinvolge modelli insegnante e studente con architetture diverse.
- 5. I bias induttivi architetturali causano discrepanze nelle rappresentazioni.
- 6. La soppressione della ridondanza preserva l'invarianza cross-architetturale.
- 7. Una decorrelazione uniforme può indebolire informazioni strutturali utili.
- 8. Un coefficiente fisso rende la soppressione della ridondanza sensibile alle coppie insegnante-studente e alle fasi di addestramento.
Entità
Istituzioni
- arXiv