NanoKnow Benchmark Traccia le Fonti di Conoscenza degli LLM

Un nuovo dataset di benchmark chiamato NanoKnow è stato introdotto dai ricercatori per indagare le origini della conoscenza all'interno dei modelli linguistici di grandi dimensioni (LLM). Questo dataset categorizza le domande tratte da Natural Questions e SQuAD in base al fatto che le loro risposte siano presenti nel corpus di pre-addestramento di nanochat, una serie di piccoli LLM che utilizzano dati di pre-addestramento completamente accessibili. Tale trasparenza consente ai ricercatori di distinguere tra conoscenza parametrica (acquisita durante il pre-addestramento) e altre fonti di informazione. Le indagini che coinvolgono otto checkpoint di nanochat indicano che l'accuratezza delle domande a libro chiuso è significativamente influenzata dalla frequenza delle risposte nei dati di pre-addestramento. Questa ricerca affronta il problema persistente di comprendere come gli LLM immagazzinano la conoscenza, con potenziali benefici per migliorare l'affidabilità e l'interpretabilità del modello.