Nuovo Benchmark TPS-CalcBench Valuta il Calcolo Analitico dei Modelli Linguistici nell'Ingegneria dei Sistemi di Protezione Termica Ipersonica

È stato introdotto un nuovo benchmark diagnostico chiamato TPS-CalcBench per valutare la competenza nel calcolo analitico dei grandi modelli linguistici specificamente per l'ingegneria dei sistemi di protezione termica ipersonica. Il framework affronta preoccupazioni critiche per la sicurezza nell'ingegneria aerospaziale, dove calcoli imprecisi del flusso termico al punto di stagnazione o delle condizioni dello strato limite potrebbero portare a fallimenti progettuali catastrofici. A differenza dei benchmark scientifici esistenti che testano solo matematica astratta e fisica di base, TPS-CalcBench si concentra su compiti orientati al dominio che ingegneri TPS esperti eseguono senza simulazioni. Il benchmark include una tassonomia con quattro livelli di difficoltà e otto categorie che coprono aerodinamica ipersonica e dinamica dei gas ad alta temperatura. I metodi di valutazione attuali sono insufficienti perché valutano solo le risposte finali ignorando il processo di ragionamento ingegneristico, permettendo potenzialmente ai modelli di produrre risposte numericamente ragionevoli ma fisicamente non valide che sono più pericolose delle non risposte. La ricerca sottolinea che l'implementazione di LLM come assistenti di ragionamento in applicazioni aerospaziali critiche per la sicurezza richiede criteri di valutazione più rigorosi di quelli forniti dai benchmark scientifici generali. Il lavoro è stato annunciato nel preprint arXiv 2604.17966v1.