Biaffine LSTM Supera i Transformer nell'Analisi Sintattica a Basse Risorse

Una recente indagine pubblicata su arXiv (2605.02608) esamina quattro diversi modelli di parsing sintattico—Biaffine LSTM, Stack-Pointer Network, AfroXLMR-large e RemBERT—attraverso dodici lingue con diversi background tipologici, con particolare enfasi sulle lingue africane a basse risorse. I risultati indicano che in contesti a basse risorse, la Biaffine LSTM supera costantemente i modelli transformer, che riacquistano la loro efficacia all'aumentare del volume di dati di addestramento. Questa transizione avviene all'interno dei livelli di risorse tipici per i treebank di lingue sotto-risorse. Inoltre, la complessità morfologica, valutata tramite MATTR, è identificata come un fattore secondario notevole che influenza le carenze relative dei transformer quando si tiene conto della dimensione del corpus. Queste intuizioni sono vitali per i professionisti del NLP che si concentrano su lingue con risorse limitate, sottolineando le sfide affrontate dai grandi modelli transformer in tali contesti.