ProtDBench: Benchmark Standardizzato per la Progettazione di Leganti Proteici

ProtDBench introduce un nuovo framework per valutare la progettazione de novo di leganti proteici, concentrandosi su valutazioni standardizzate e consapevoli della produttività per rimediare all'incoerenza nei metodi di valutazione tra vari studi. Stabilisce compiti di benchmark comuni, protocolli di valutazione e criteri di successo, facilitando un esame sistematico di come il design della valutazione influenzi i risultati delle prestazioni. Utilizzando un dataset completo annotato con esperimenti di laboratorio, il framework esamina modelli di predizione strutturale ampiamente utilizzati come valutatori, scoprendo significativi bias dipendenti dal verificatore e una bassa concordanza sotto gli stessi criteri di filtraggio. Inoltre, valuta una selezione di tecniche generative open-source per la progettazione di leganti su dieci diversi target proteici utilizzando un protocollo di valutazione coerente. ProtDBench include anche metriche consapevoli della produttività che vanno oltre i semplici tassi di successo per sequenza.