I Quantum Transformer non superano le architetture VQC più semplici sui dati tabellari
Uno studio recente ha analizzato quattro tipi di circuiti quantistici variazionali (VQC) confrontandoli con modelli tabellari tradizionali, e i risultati mostrano che i progetti più semplici possono reggere il confronto con modelli basati su attenzione più complessi. Questa ricerca, disponibile su arXiv (2604.23931), ha esaminato circuiti completamente connessi (FC-VQC), residui (ResNet-VQC), transformer ibridi quantistico-classici (QT) e transformer completamente quantistici (FQT) su cinque compiti di regressione e classificazione. In particolare, gli FC-VQC hanno raggiunto il 90-96% dell'R² ottenuto dai VQC basati su attenzione, utilizzando il 40-50% in meno di parametri. Ad esempio, nel dataset Boston Housing, FC-VQC ha raggiunto un R² medio di 0,829, superando un MLP con la stessa capacità, che ha ottenuto un punteggio di 0,753. Ciò suggerisce che la complessità dei quantum transformer potrebbe non essere giustificata per i dati tabellari.
Fatti principali
- Il paper arXiv 2604.23931 confronta quattro famiglie di VQC su benchmark tabellari.
- FC-VQC raggiunge il 90-96% dell'R² dei VQC basati su attenzione con il 40-50% in meno di parametri.
- Su Boston Housing, FC-VQC ha un R² medio di 0,829 contro 0,753 di MLP720.
- La connettività di tipo 4 di FC-VQC approssima l'attenzione tramite mescolamento incrociato dei token.
- L'auto-attenzione quantistica esplicita produce solo guadagni marginali.
- Lo studio copre cinque benchmark di regressione e classificazione.
- Sono stati valutati anche ResNet-VQC, QT e FQT.
- I risultati mettono in dubbio la necessità dei quantum transformer per i dati tabellari.
Entità
Istituzioni
- arXiv