ChatSR: MLLM per la scoperta di formule scientifiche

I ricercatori propongono ChatSR, un modello linguistico multimodale di grandi dimensioni progettato per la comprensione di dati scientifici. A differenza degli MLLM esistenti focalizzati su modalità percettive come immagini e video, ChatSR tratta i dati scientifici come una nuova modalità, utilizzando encoder specializzati e meccanismi di allineamento per mapparli in uno spazio di rappresentazione per LLM. Ciò consente al modello di cogliere le caratteristiche strutturali e le regolarità nei dati scientifici, sfruttando la conoscenza del dominio e le capacità di ragionamento per emulare uno scienziato umano. Il modello opera sulla base di vincoli e preferenze specificati dall'utente.