V2N: Il primo sistema completo di trascrizione pianistica visiva raggiunge risultati all'avanguardia

Un sistema rivoluzionario chiamato V2N (Video to Notes) è stato sviluppato dai ricercatori, segnando la prima soluzione completamente realizzata di Trascrizione Pianistica Visiva (VPT) che colma lacune critiche nelle tecniche attuali. Mentre la trascrizione pianistica basata su audio eccelle nel rilevare attacco, altezza e velocità, il pedale di sustain complica le cose permettendo ai suoni di persistere dopo il rilascio di un tasto, causando ai sistemi audio di interpretare erroneamente i prolungamenti dovuti al pedale come rilascio effettivo dei tasti. Gli attuali sistemi VPT si concentrano principalmente sul rilevamento dell'attacco da brevi segmenti video, portando a previsioni meno accurate del rilascio e alla mancanza di velocità a livello di nota riportata. V2N utilizza una spina dorsale temporale condivisa con testine specializzate per attacco, rilascio, tenuta del tasto e velocità, addestrata con supervisione per fotogramma. Gli studi di ablazione rivelano che la supervisione multi-task migliora la previsione del rilascio e della velocità, aumentando anche l'accuratezza dell'attacco, con un contesto temporale esteso che fornisce ulteriori benefici. V2N raggiunge nuove prestazioni all'avanguardia sui dataset PianoVAM e R3. Descritto in un articolo sottoposto ad arXiv (ID: 2608.03419) nella categoria Computer Science > Sound, questo lavoro segna un grande passo avanti nella trascrizione musicale visiva, promettendo un'analisi più precisa e completa delle esecuzioni pianistiche da video.