Il Mascheramento Basato sull'Entropia Migliora l'Addestramento dei Modelli Linguistici Mascherati

Un nuovo studio su arXiv propone una strategia di mascheramento dei token basata sull'entropia per la modellazione linguistica mascherata (MLM), un obiettivo di pre-addestramento standard per i modelli linguistici basati su encoder. Invece del mascheramento casuale, il metodo seleziona i token in base all'entropia del modello sulle previsioni dei token, mirando a token più informativi e incerti per migliorare l'efficacia dell'addestramento. Gli autori introducono anche un approccio di auto-mascheramento che migliora l'efficienza dell'addestramento senza richiedere un modello di riferimento esterno. I risultati sperimentali mostrano miglioramenti medi delle prestazioni rispetto al mascheramento casuale convenzionale. Il documento è disponibile con ID arXiv 2605.28526.