DABS: Lettura Selettiva per Profondità in Passaggio Singolo per l'Analisi del Sentiment sugli Aspetti
Il nuovo framework introdotto, DABS (Depth-Adaptive Batch Substrate), affronta la sfida di bilanciare efficienza ed espressività nell'Analisi del Sentiment sugli Aspetti (ATSA) per frasi con molteplici aspetti. I modelli attuali tendono a ri-codificare le frasi per ogni aspetto o a fare affidamento su rappresentazioni profonde fisse, portando a inefficienze. Al contrario, DABS elabora ogni frase una sola volta in un substrato riutilizzabile ordinato per profondità, consentendo agli aspetti di accedere selettivamente ai token pertinenti e ai livelli di astrazione senza bisogno di ri-codifica. Questo approccio separa la codifica condivisa dalla lettura leggera condizionata dall'aspetto. I test su quattro benchmark ATSA indicano che DABS non solo ottiene prestazioni competitive, ma riduce anche il calcolo fino al 60% in scenari multi-aspetto (M >= 2). Lo studio evidenzia che la profondità del Transformer rappresenta una risorsa preziosa e interrogabile.
Fatti principali
- DABS è un framework di inferenza a passaggio singolo per ATSA.
- Codifica ogni frase una volta per costruire un substrato riutilizzabile ordinato per profondità.
- Ogni aspetto interroga la rappresentazione condivisa per leggere selettivamente token pertinenti e livelli di astrazione.
- Disaccoppia la codifica condivisa della frase dalla lettura leggera condizionata dall'aspetto.
- Esperimenti su quattro benchmark ATSA mostrano prestazioni competitive.
- Il calcolo end-to-end è ridotto fino al 60% in contesti multi-aspetto (M >= 2).
- L'articolo sostiene che la profondità del Transformer è una risorsa costosa e interrogabile.
- L'approccio affronta il compromesso efficienza-espressività nelle frasi con più aspetti.
Entità
Istituzioni
- arXiv