CircuitReason-1k: Nuovo Benchmark per il Ragionamento Visivo-Simbolico nei Circuiti Elettrici

Il benchmark CircuitReason-1k è stato lanciato per valutare il ragionamento visivo-simbolico a lungo orizzonte nel contesto dell'analisi dei circuiti elettrici. Presenta 1.000 problemi autentici da libri di testo, ciascuno composto da diagrammi di circuito, domande autonome, risposte tipizzate o definite semanticamente e soluzioni di riferimento. Il processo di sviluppo privilegia un approccio basato sull'evidenza per allineare domande, figure e soluzioni, mentre una tassonomia incentrata sul ragionamento classifica i problemi in base al tipo di circuito e alla profondità di dipendenza. I metodi di valutazione integrano un punteggio tipizzato conservativo con un consenso semantico multi-modello a identità cieca, garantendo che tutti i problemi siano inclusi nel denominatore. Questo benchmark comprende l'intero processo di ragionamento, affrontando aspetti come il grounding dei simboli, il recupero della topologia, la selezione del modello fisico, la formulazione delle equazioni e il mantenimento di unità e convenzioni. L'articolo è disponibile su arXiv con l'identificatore 2608.09374.