Stargazer: Benchmark per Agenti AI in Astrofisica

Stargazer è un framework di benchmark scalabile progettato per valutare agenti AI su compiti dinamici e iterativi che coinvolgono il fitting di modelli fisici basati su dati di serie temporali di velocità radiale. Comprende 120 compiti distinti suddivisi in tre livelli di difficoltà, con 20 casi d'archivio autentici che spaziano da sistemi a singolo pianeta ad alto SNR a configurazioni multi-pianeta complesse. Una valutazione di otto agenti all'avanguardia ha evidenziato un divario tra l'ottimizzazione numerica e il rispetto dei vincoli fisici, indicando che, sebbene gli agenti raggiungano spesso fit statistici soddisfacenti, faticano a recuperare accuratamente i parametri fisici corretti.