Pipeline di risoluzione delle entità self-service rivela tre lezioni chiave

Un sistema di risoluzione delle entità (ER) self-service è stato costruito e valutato su sei benchmark che vanno da 864 a 5 milioni di record. Lo studio ha prodotto tre lezioni assenti dalla letteratura ER esistente. In primo luogo, nessun singolo algoritmo di matching funziona al meglio su tutti i dataset; una pipeline self-service non può prevedere il suo prossimo dataset, quindi si consiglia di addestrare diverse famiglie di algoritmi per dataset e utilizzare un bake-off automatico per selezionare il vincitore. In secondo luogo, precisione e richiamo richiedono correzioni separate: la precisione necessita di veti rigidi basati su regole, mentre il richiamo beneficia di un recupero candidato più diversificato. In terzo luogo, un singolo falso positivo può unire silenziosamente entità non correlate perché assumere la transitività (A corrisponde a B, B corrisponde a C implica che A corrisponde a C) permette a un singolo collegamento errato di concatenare centinaia di record; pertanto, ogni unione tra gruppi deve essere attivamente riverificata. Gli autori sperano che queste lezioni risparmino ai professionisti mesi di esperimenti senza uscita.