Individuazione Precisa di Eventi con Pochi Esempi tramite Distillazione Multimodale in Video Sportivi
Un nuovo articolo su arXiv (2604.22839) introduce due strategie di distillazione complementari per l'Individuazione Precisa di Eventi (PES) con pochi esempi in sport veloci come il tennis. I metodi—Adaptive Weight Distillation (AWD) e Annealed Multimodal Distillation for Few-Shot Event Detection (AMD-FED)—sfruttano la distillazione multimodale per migliorare la localizzazione a livello di fotogramma con supervisione limitata. AWD pesa adattivamente le predizioni del teacher su dati non etichettati, mentre AMD-FED trasferisce la conoscenza scheletrica nelle modalità visive tramite pseudo-etichettatura annealed. Valutati sul dataset F3Set-Tennis(sub) in impostazioni few-shot k-clip, entrambi gli approcci superano costantemente le baseline unimodali e i metodi PES precedenti. Il lavoro affronta le sfide del motion blur, delle sottili differenze tra azioni e della scarsità di dati annotati.
Fatti principali
- L'articolo arXiv:2604.22839 introduce AWD e AMD-FED per il PES con pochi esempi.
- AWD è un metodo di distillazione a livello di predizione che utilizza pesi adattivi.
- AMD-FED è un framework a livello di rappresentazione con pseudo-etichettatura annealed.
- Entrambi i metodi usano la distillazione multimodale per trasferire la conoscenza scheletrica alle modalità visive.
- Valutazione sul dataset F3Set-Tennis(sub) in impostazioni few-shot k-clip.
- I metodi superano le baseline unimodali e gli approcci PES precedenti.
- L'applicazione target sono sport veloci come il tennis con eventi a grana fine.
- Le sfide affrontate includono motion blur, sottili differenze tra azioni e dati limitati.
Entità
Istituzioni
- arXiv