Benchmark Unificato Rivela i Limiti dei Modelli Linguistici Neurali nei Test sulla Povertà dello Stimolo

Un nuovo studio introduce PoSHBench, un benchmark unificato per valutare l'ipotesi della povertà dello stimolo (PoSH) nelle reti neurali artificiali (ANN). La ricerca, pubblicata su arXiv, testa modelli Transformer, LSTM e n-grammi su quattro fenomeni PoS canonici. I risultati indicano che i modelli basati su ANN possono raggiungere una generalizzazione superiore al caso da input limitato (10 milioni di parole), ma la loro efficienza di apprendimento è inferiore a quella dei bambini all'aumentare della scala dell'input. Lo studio rileva anche che i bias induttivi cognitivamente motivati migliorano sostanzialmente le prestazioni, sebbene i risultati completi non siano dettagliati nell'abstract. Il lavoro affronta le incongruenze degli studi precedenti, che si concentravano su fenomeni individuali e utilizzavano protocolli di valutazione vari, fornendo un quadro unificato. Gli autori mirano a chiarire se i risultati precedenti si generalizzano attraverso fenomeni e condizioni di apprendimento. L'articolo è disponibile su arXiv con identificatore 2602.09992.