Distillazione della Conoscenza di DeepSeek-R1 per il Rilevamento di Clone di Codice Cross-Linguaggio

Fatti principali

• Il rilevamento di clone di codice cross-linguaggio (X-CCD) è impegnativo a causa della bassa somiglianza superficiale tra programmi semanticamente equivalenti in linguaggi diversi.
• I modelli linguistici di grandi dimensioni (LLM) utilizzati come sistemi a scatola nera sollevano preoccupazioni su costo, riproducibilità, privacy e formattazione inaffidabile dell'output.
• I modelli open-source compatti spesso faticano con prompt orientati al ragionamento e una mappatura coerente delle etichette di clone binario.
• Un framework di distillazione della conoscenza trasferisce le capacità di ragionamento da DeepSeek-R1 a modelli studenti open-source compatti.
• Coppie di codice cross-linguaggio da Project CodeNet vengono utilizzate per costruire dati di addestramento sintetici orientati al ragionamento.
• Phi3 e Qwen-Coder vengono messi a punto con adattatori LoRA.
• Vengono introdotti metodi di stabilizzazione della risposta per migliorare la coerenza dell'output.
• Il framework mira a consentire ai modelli compatti di rilevare efficacemente cloni semantici tra linguaggi.