PatRe: Modelli di Benchmark per l'Intero Ciclo di Vita dell'Esame dei Brevetti

I ricercatori hanno presentato PatRe, il primo benchmark progettato per simulare l'intero processo di esame dei brevetti, che comprende la generazione di Office Action e le risposte dei richiedenti. Questo processo di esame è complesso e coinvolge più fasi che richiedono sia conoscenze tecniche che ragionamento giuridico, subendo una pressione crescente a causa del numero sempre maggiore di domande. I benchmark precedenti trattavano principalmente l'esame dei brevetti come classificazione discriminativa o estrazione statica, trascurando i suoi aspetti interattivi e iterativi, simili ai processi di peer review e rebuttal nella pubblicazione accademica. PatRe è composto da 480 casi autentici e supporta sia ambienti di valutazione oracle che retrieval-simulati. Riconcettualizza l'esame dei brevetti come un dialogo dinamico e multi-turno di giustificazione e controargomentazione. Esperimenti completi con vari modelli linguistici di grandi dimensioni (LLM) forniscono preziose informazioni sulle loro prestazioni, evidenziando le differenze tra modelli proprietari e open-source.