Nuovo Benchmark Rivela Bias di Pattern nella Generazione di Codice Multimodale

Un articolo di ricerca appena pubblicato presenta il primo benchmark per il bias di completamento di pattern visivi nei modelli linguistici multimodali di grandi dimensioni (MLLM) che convertono screenshot di pagine web in codice front-end. Pubblicato su arXiv (ID: 2608.03691), lo studio rivela che gli output degli MLLM sono significativamente influenzati da pattern UI ripetuti, risultando in output visivamente imprecisi ma coerenti con il pattern. I ricercatori hanno progettato un compito di riempimento di spazi vuoti in cui un elemento localizzato all'interno di un pattern UI ripetuto viene alterato, richiedendo al modello di dedurre la larghezza mascherata o la dimensione del carattere dal contesto HTML e dello screenshot. Analizzando 30 pagine web dal dataset Design2Code, hanno generato 1.440 screenshot valutati attraverso vari pattern. Sono stati testati cinque MLLM avanzati, tutti mostrando un forte bias verso la baseline ripetuta, con tassi medi di bias del 69,78% per la larghezza delle card e dell'80,22% per le perturbazioni dello stile del testo. Questo studio sottolinea una limitazione significativa negli attuali MLLM per la generazione di codice front-end, indicando che la ripetizione di pattern può compromettere l'accuratezza visiva, influenzando gli strumenti di sviluppo web automatizzati e l'affidabilità del codice generato dall'IA.