QuLoC: compressione a basso rango degli LLM assistita da fotonica quantistica

Abstract degli autori

Con l’aumento delle dimensioni degli LLM, la compressione diventa sempre più importante per un deployment efficiente. La compressione a basso rango basata sulla SVD riduce il numero di parametri, ma può peggiorare le prestazioni nelle attività a valle. Per migliorare le prestazioni dopo la compressione, presentiamo QuLoC, un algoritmo di compressione degli LLM assistito da fotonica quantistica che usa i risultati dei circuiti quantistici per modulare le componenti a basso rango mantenute durante l’addestramento. Le prestazioni del modello vengono recuperate tramite una ricostruzione funzionale locale, seguita da una distillazione della conoscenza end-to-end. Dopo l’addestramento, i coefficienti di modulazione vengono incorporati nei fattori a basso rango, consentendo al modello compresso di funzionare su hardware classico senza eseguire circuiti quantistici durante l’inferenza. Gli esperimenti su Qwen3.5-4B mostrano che QuLoC ottiene un miglioramento relativo del 9,73\% nell’accuratezza media rispetto alle baseline all’avanguardia in molteplici attività a valle, dimostrandone l’efficacia. Valutiamo inoltre QuLoC su LLaMA-7B con diversi rapporti di compressione dei parametri. Ottiene un’accuratezza media nelle attività a valle paragonabile o superiore a quella delle baseline all’avanguardia, a sostegno della sua applicabilità a un modello più grande in diverse configurazioni di compressione. Questi risultati motivano ulteriori studi sulla compressione assistita da fotonica quantistica per modelli più grandi e attività agentiche più complesse.