文章總結(jié)與翻譯一、主要內(nèi)容本文聚焦大型語(yǔ)言擴(kuò)散模型（LLDMs）的解碼順序優(yōu)化問(wèn)題。LLDMs具備并行推理和可控生成的優(yōu)勢(shì)，但解碼順序?qū)ν评硇阅芨叨让舾校F(xiàn)有啟發(fā)式方法僅關(guān)注局部信息而忽略長(zhǎng)期影響。為此，作者提出兩種解碼方法：預(yù)見(jiàn)解碼方法（FDM）：融合局部置信度（模型對(duì)當(dāng)前token預(yù)測(cè)的不確定性）和全局置信度（token解碼對(duì)未來(lái)的影響），通過(guò)兩階段搜索策略（先按局部置信度篩選候選token，再結(jié)合全局置信度決策）優(yōu)化解碼順序，理論上證明其與自然分布的KL散度更低。加速版預(yù)見(jiàn)解碼方法（FDM-A）：基于解碼過(guò)程中局部與全局置信度決策的一致性分析，將解碼分為探索、平衡和加速三階段，僅在關(guān)鍵步驟（上下文不足或邊界場(chǎng)景）啟用FDM，其余階段通過(guò)局部置信度并行解碼，平衡性能與效率。實(shí)驗(yàn)在GSM8K、HumanEval等4個(gè)基準(zhǔn)數(shù)據(jù)集和4種LLDM架構(gòu)上驗(yàn)證，F(xiàn)DM持續(xù)優(yōu)于啟發(fā)式基線，且搜索寬度越大性能越好（體現(xiàn)推理時(shí)縮放特性）；FDM-A在性能損失極小的情況下實(shí)現(xiàn)3倍以上加速，顯著優(yōu)于現(xiàn)有動(dòng)態(tài)解碼方法。二、創(chuàng)新點(diǎn)首次明確LLDMs解碼的局部與全局置信度雙維度，提出融合兩者的解碼框架，突破傳統(tǒng)啟發(fā)式方法僅依賴(lài)局部信息的局限。設(shè)計(jì)FDM的兩階段搜索策略，通過(guò)動(dòng)態(tài)剪枝和Top-K篩選壓縮搜索空間，兼顧優(yōu)化效果與計(jì)算可行性，且理論證明其分布擬合優(yōu)勢(shì)。提出FDM-A的自適應(yīng)階段劃分機(jī)制，基于置信度反饋動(dòng) Decoding Large Language Diffusion Models with Foreseeing Movement
文章總結(jié)與翻譯一、主要內(nèi)容本文聚焦大型語(yǔ)言擴(kuò)散模型（LLDMs）的解碼順序優(yōu)化問(wèn)題。LLDMs具備并行推理和可控生成的優(yōu)勢(shì)，但解碼順序?qū)ν评硇阅芨叨让舾校F(xiàn)有啟發(fā)式方法僅關(guān)注局部信息而忽略長(zhǎng)期影響。為此，作者提出兩種解碼方法：預(yù)見(jiàn)解碼方法（FDM）：融合局部置信度（模型對(duì)當(dāng)前token預(yù)測(cè)的不確定性）和全局置信度（token解碼對(duì)未來(lái)的影響），通過(guò)兩階段搜索策略（先按局部置信度篩選候選token，再結(jié)合全局置信度決策）優(yōu)化解碼順序，理論上證明其與自然分布的KL散度更低。加速版預(yù)見(jiàn)解碼方法（FDM-A）：基于解碼過(guò)程中局部與全局置信度決策的一致性分析，將解碼分為探索、平衡和加速三階段，僅在關(guān)鍵步驟（上下文不足或邊界場(chǎng)景）啟用FDM，其余階段通過(guò)局部置信度并行解碼，平衡性能與效率。實(shí)驗(yàn)在GSM8K、HumanEval等4個(gè)基準(zhǔn)數(shù)據(jù)集和4種LLDM架構(gòu)上驗(yàn)證，F(xiàn)DM持續(xù)優(yōu)于啟發(fā)式基線，且搜索寬度越大性能越好（體現(xiàn)推理時(shí)縮放特性）；FDM-A在性能損失極小的情況下實(shí)現(xiàn)3倍以上加速，顯著優(yōu)于現(xiàn)有動(dòng)態(tài)解碼方法。二、創(chuàng)新點(diǎn)首次明確LLDMs解碼的局部與全局置信度雙維度，提出融合兩者的解碼框架，突破傳統(tǒng)啟發(fā)式方法僅依賴(lài)局部信息的局限。設(shè)計(jì)FDM的兩階段搜索策略，通過(guò)動(dòng)態(tài)剪枝和Top-K篩選壓縮搜索空間，兼顧優(yōu)化效果與計(jì)算可行性，且理論證明其分布擬合優(yōu)勢(shì)。提出FDM-A的自適應(yīng)階段劃分機(jī)制，基于置信度反饋動(dòng)