欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

AI加速器驗(yàn)證提速實(shí)戰(zhàn):三大方法縮短回歸周期

AI加速器驗(yàn)證提速實(shí)戰(zhàn):三大方法縮短回歸周期 上個(gè)月我接手某AI加速子系統(tǒng)的驗(yàn)證提速任務(wù)時(shí)第一輪回歸測試跑了將近9個(gè)小時(shí)。這個(gè)數(shù)字在我們團(tuán)隊(duì)里居然被視為“正常水平”——復(fù)雜算子的隨機(jī)激勵會消耗大量仿真時(shí)間每次環(huán)境編譯也要等上40分鐘。大家都默認(rèn)“驗(yàn)證就是慢”直到我們把提速當(dāng)成一個(gè)獨(dú)立目標(biāo)才開始認(rèn)真拆解時(shí)間到底流失在哪里。作為AI應(yīng)用架構(gòu)師你真正擅長的是把算法映射到硬件、調(diào)整算子調(diào)度、優(yōu)化數(shù)據(jù)流而這些恰好是驗(yàn)證提速里最容易被忽略卻又最見效的環(huán)節(jié)。這篇文章我會結(jié)合一次真實(shí)加速器驗(yàn)證項(xiàng)目總結(jié)三種能夠立竿見影的提速方法以及它們背后的取舍和代價(jià)。1. 先把問題定位清楚芯片驗(yàn)證AI加速器的速度瓶頸在哪很多團(tuán)隊(duì)一談到“加速器驗(yàn)證慢”第一反應(yīng)是換更強(qiáng)的仿真服務(wù)器、加大并行l(wèi)icense預(yù)算。但我在實(shí)際項(xiàng)目中反復(fù)測過仿真器吞吐只能解釋一部分時(shí)間開銷真正吃掉進(jìn)度的往往是數(shù)據(jù)搬運(yùn)、算子調(diào)度和驗(yàn)證回歸策略這三塊。在動手優(yōu)化之前先花一天時(shí)間做性能剖析遠(yuǎn)比直接調(diào)工具參數(shù)更重要。1.1 一次完整的驗(yàn)證周期時(shí)間都花在哪了以我負(fù)責(zé)的某邊緣AI加速芯片驗(yàn)證為例典型驗(yàn)證任務(wù)包含三大部分編譯環(huán)境、仿真運(yùn)行、回歸收斂。三個(gè)環(huán)節(jié)的時(shí)間占比大概是2比6比2但不同團(tuán)隊(duì)的分布差異很大。編譯環(huán)境RTL綜合、testbench編譯、驗(yàn)證平臺啟動每次改動后重編譯耗時(shí)往往在30到60分鐘。增量編譯沒開的話這個(gè)時(shí)間會隨工程膨脹直線上升。仿真運(yùn)行真實(shí)的cycle級仿真在復(fù)雜CNN算子上跑起來非常慢尤其是帶隨機(jī)激勵的長序列用例單個(gè)用例跑幾小時(shí)很常見。這部分是最大頭。回歸收斂覆蓋率驅(qū)動的回歸會不斷生成新用例如果每次全量重跑就是不斷重復(fù)昨天的結(jié)果、外加少量新場景。跑完一輪動輒幾天但有效新覆蓋率增長卻很少。把這三個(gè)部分分開統(tǒng)計(jì)后我們就發(fā)現(xiàn)“仿真運(yùn)行慢”只是一個(gè)表象真正讓人無力的是無效工作的重復(fù)。比如環(huán)境沒有分層——所有用例都跑cycle級仿真就沒有必要回歸沒有增量——只改了一個(gè)算子卻把全部歷史用例重跑了一遍。1.2 為什么這些問題該由AI應(yīng)用架構(gòu)師來解決傳統(tǒng)驗(yàn)證工程師關(guān)注的是激勵生成和斷言檢查他們很少會去過問算子怎么映射、數(shù)據(jù)在硬件里怎么流動。但AI加速器不是普通的RTL模塊它的驗(yàn)證效率高度依賴于AI算法到硬件的映射方式。比如同一個(gè)卷積算子你用什么樣的數(shù)據(jù)分塊策略直接決定驗(yàn)證時(shí)激勵下發(fā)的規(guī)模和等待時(shí)間。AI應(yīng)用架構(gòu)師剛好站在這兩個(gè)世界中間理解AI模型的結(jié)構(gòu)、算子粒度、數(shù)據(jù)張量形狀也看得懂硬件流水線、存儲層次、并行處理單元。這讓我們能在驗(yàn)證環(huán)境中提前“用算法視角”做優(yōu)化——在激勵生成端減少無效數(shù)據(jù)在映射端讓所有處理單元盡量吃飽在回歸端按改動影響范圍裁剪用例集。說白了驗(yàn)證提速不只是一個(gè)EDA工具問題更是一個(gè)軟硬件協(xié)同的架構(gòu)設(shè)計(jì)問題。2. 方法一重構(gòu)數(shù)據(jù)流水線與訪存路徑讓“等數(shù)據(jù)”的時(shí)間消失我調(diào)試過的AI加速器驗(yàn)證環(huán)境里有一個(gè)特別諷刺的現(xiàn)象計(jì)算單元的空閑率很高。硬件明明有八個(gè)并行處理單元仿真跑起來卻經(jīng)常只有兩三個(gè)在工作其余都在等數(shù)據(jù)從DDR搬過來。后來我用性能計(jì)數(shù)器統(tǒng)計(jì)后發(fā)現(xiàn)某些用例的仿真周期里有超過一半是訪存停頓。2.1 先盯住數(shù)據(jù)搬運(yùn)驗(yàn)證的假性瓶頸AI加速器的驗(yàn)證激勵通常包含大張量的激活值、權(quán)重值和中間特征圖。testbench往硬件里喂數(shù)據(jù)的方式?jīng)Q定了這些數(shù)據(jù)在仿真環(huán)境中的搬運(yùn)成本。最常見的低效做法是每個(gè)算子執(zhí)行前都從頭發(fā)起一個(gè)小型DMA傳輸驗(yàn)證數(shù)據(jù)到了才開始計(jì)算。在真實(shí)硬件里DMA的建立開銷相對固定但在仿真中這個(gè)開銷會被放大很多。我見過的一位驗(yàn)證同事寫的激勵把一個(gè)256KB的特征圖拆成了幾百個(gè)2KB的小塊一個(gè)個(gè)地搬結(jié)果單是搬數(shù)據(jù)就占了整個(gè)用例仿真時(shí)間的七成。把傳輸粒度調(diào)大之后情況立刻不一樣了。比如將DMA請求合并成64KB或128KB的批量傳輸傳輸次數(shù)減少了一個(gè)數(shù)量級訪存等待時(shí)間也相應(yīng)大幅下降。這個(gè)優(yōu)化在仿真和真實(shí)流片后的行為是一致的所以做驗(yàn)證提速不會給后續(xù)實(shí)硅測試帶來負(fù)面效果。2.2 雙緩沖的最小實(shí)現(xiàn)思路讓數(shù)據(jù)搬運(yùn)和計(jì)算重疊僅把傳輸粒度調(diào)大還遠(yuǎn)遠(yuǎn)不夠。更關(guān)鍵的技術(shù)是讓“數(shù)據(jù)搬進(jìn)來”和“計(jì)算上一次數(shù)據(jù)”同時(shí)發(fā)生也就是所謂的雙緩沖double buffering或乒乓緩沖。原理很像餐廳出菜廚師做菜的同時(shí)服務(wù)員在外面收上一桌的盤子兩邊不互相等待。在testbench里實(shí)現(xiàn)雙緩沖核心步驟分為三步把輸入特征圖按通道維度切成若干塊塊的大小要和硬件加速單元的單次計(jì)算量匹配比如一次處理16個(gè)通道。設(shè)置兩個(gè)緩沖區(qū)A和B初始化時(shí)先預(yù)取第一塊數(shù)據(jù)到緩沖區(qū)A。在計(jì)算單元處理緩沖區(qū)A的數(shù)據(jù)時(shí)同時(shí)發(fā)起DMA把下一塊數(shù)據(jù)加載到緩沖區(qū)B處理完A后立即交換改為處理B并預(yù)取下一塊到A。這套邏輯看起來簡單但實(shí)現(xiàn)時(shí)有一個(gè)關(guān)鍵參數(shù)需要盯住緩沖深度。緩沖深度太小數(shù)據(jù)仍然會不夠吃緩沖深度太大又會占用大量片上SRAM資源甚至影響布局布線。我們實(shí)踐中常用的組合是雙緩沖加每塊128KB這已經(jīng)能覆蓋絕大多數(shù)卷積層的訪存需求。2.3 調(diào)優(yōu)時(shí)要盯的指標(biāo)有效帶寬還是峰值帶寬很多團(tuán)隊(duì)在優(yōu)化訪存時(shí)只看DDR峰值帶寬這是一個(gè)誤區(qū)。仿真環(huán)境里的DDR模型通常帶有延遲模型不是所有請求都能跑滿峰值。你真正應(yīng)該關(guān)注的是有效帶寬即實(shí)際傳輸?shù)挠行?shù)據(jù)量除以總耗時(shí)。舉個(gè)具體數(shù)字。我們優(yōu)化前一個(gè)典型卷積用例的有效帶寬只有約12%峰值帶寬的利用率極低。問題出在傳輸塊太小每次DMA的建立延遲和仲裁延遲是固定的傳輸?shù)臄?shù)據(jù)量越小這些固定開銷分?jǐn)傁聛砭驮匠蕴?。把傳輸塊從2KB調(diào)整到64KB后有效帶寬升到了47%單用例仿真時(shí)間縮短了約4成。如果再把雙緩沖加進(jìn)去這個(gè)數(shù)值能進(jìn)一步到60%以上。2.4 這塊優(yōu)化最容易踩的坑訪存優(yōu)化方向很明確但踩坑也很容易。第一個(gè)坑是誤以為所有數(shù)據(jù)都適合大塊傳輸。稀疏權(quán)重、不規(guī)則張量這類數(shù)據(jù)如果強(qiáng)行合并成大塊會引入大量填充字節(jié)反而浪費(fèi)帶寬。第二個(gè)坑是沒考慮硬件加速單元的數(shù)據(jù)對齊要求。有些處理單元要求輸入地址按16字節(jié)對齊如果你沒有對齊DMA會拒絕一次傳輸或產(chǎn)生額外拷貝優(yōu)化直接失效。第三個(gè)坑發(fā)生在雙緩沖交換邏輯里——在仿真初始化階段沒有正確的預(yù)取時(shí)序?qū)е碌谝粋€(gè)計(jì)算周期等待數(shù)據(jù)這個(gè)等待在長回歸中會被不斷放大。我在調(diào)試時(shí)遇到過一個(gè)典型案例某驗(yàn)證平臺把雙緩沖的預(yù)取和計(jì)算啟動放在同一個(gè)時(shí)刻結(jié)果每當(dāng)?shù)谝粋€(gè)數(shù)據(jù)塊處理完第二個(gè)塊還在路上仿真器不得不插入兩個(gè)時(shí)鐘周期的氣泡。一個(gè)周期看起來沒什么但幾千個(gè)數(shù)據(jù)塊累加起來就是一次很可觀的浪費(fèi)時(shí)間。3. 方法二算子融合與并行調(diào)度把驗(yàn)證吞吐提上去訪存優(yōu)化做完之后下一步要處理的是計(jì)算單元本身的工作效率。AI模型里存在大量連續(xù)的幾個(gè)算子首尾相接比如卷積后面跟著批歸一化再接ReLU激活。如果每個(gè)算子都獨(dú)立完成一次全尺寸張量讀寫計(jì)算單元就會反復(fù)“空轉(zhuǎn)等待”。3.1 為什么要做算子融合少寫一次DDR就是賺到在AI加速器里不融合的代價(jià)非常直觀。假設(shè)某卷積算子輸出一張256x256x64的特征圖如果不做融合這些數(shù)據(jù)需要先寫回DDR下一個(gè)算子再把它讀回來。一次寫加一次讀就是兩趟大幅度的訪存而這兩趟訪存的延遲幾乎和實(shí)際計(jì)算時(shí)間相當(dāng)。更麻煩的是在驗(yàn)證仿真里這種中間張量讀寫會被DDR模型額外放大導(dǎo)致跑一個(gè)三算子鏈路的用例計(jì)算可能只占三分之一時(shí)間其余全在搬運(yùn)中間結(jié)果。算子融合的思路是把多個(gè)連續(xù)算子合并成一個(gè)較大的復(fù)合算子在一個(gè)處理流程內(nèi)完成所有計(jì)算中間結(jié)果留在片上SRAM里不再落回DDR。這樣訪存開銷大幅度下降驗(yàn)證時(shí)激勵下發(fā)的數(shù)據(jù)流也變得更加緊湊。3.2 常用的融合組合與選型我在實(shí)踐中總結(jié)了幾類適用的融合組合卷積批歸一化ReLU這是最經(jīng)典的三合一融合批歸一化在推理模式下可以折疊成卷積的縮放因子和偏置項(xiàng)ReLU只是逐元素的截?cái)嗳吆铣梢粋€(gè)卷積算子綽綽有余。卷積量化ScaleClamp常見于量化部署場景把浮點(diǎn)scale縮放和定點(diǎn)鉗位合并進(jìn)卷積輸出階段避免額外的整型轉(zhuǎn)換算子。矩陣乘元素級相加激活注意力模塊里常見的路徑匯總結(jié)構(gòu)矩陣乘輸出和殘差分支直接相加后再激活全部在片上一次完成。多個(gè)連續(xù)逐元素算子比如相乘、移位、加偏置這類輕量算子本身計(jì)算量不大但每個(gè)都讀寫一遍特征圖把它們捆綁成一個(gè)單次遍歷的復(fù)合算子收益極高。選型的判斷標(biāo)準(zhǔn)是兩個(gè)算子之間的中間張量越“胖”越值得融合中間結(jié)果需要被多個(gè)后續(xù)分支消費(fèi)時(shí)則應(yīng)該保留不融合避免重復(fù)計(jì)算。3.3 多核分片并行與工作量均衡除了融合并行調(diào)度是第二個(gè)大頭。AI加速器內(nèi)部通常有多個(gè)處理單元驗(yàn)證時(shí)你最希望看到所有單元同時(shí)忙碌。但在沒有做負(fù)載均衡的情況下會出現(xiàn)一個(gè)處理單元在忙、其余空轉(zhuǎn)的場景。典型的例子是把一個(gè)大特征圖按行切分給四個(gè)單元如果某一行包含更多的激活計(jì)算量其他單元跑完了就只能干等。正確做法是按通道分片并依據(jù)算子的計(jì)算量差異做動態(tài)調(diào)整。比如深度可分離卷積中逐通道卷積的計(jì)算量和逐點(diǎn)卷積差異很大靜態(tài)切分很難均衡。我們采用的做法是先跑一次profile統(tǒng)計(jì)每個(gè)算子在每個(gè)通道塊上的實(shí)際周期數(shù)然后按周期數(shù)反推分片權(quán)重。這種權(quán)重分析在真實(shí)硬件上也能指導(dǎo)多核調(diào)度屬于一魚兩吃的優(yōu)化。并行調(diào)度有一個(gè)容易被忽視的原則并行度不是越高越好。切分到64個(gè)核聽起來效率很高但每個(gè)核之間引入同步握手協(xié)議的開銷會隨核數(shù)上升。在我們的項(xiàng)目中從4核升到8核收益最大再往上升收益遞減甚至因?yàn)橥介_銷倒退。這個(gè)“甜蜜點(diǎn)”需要按具體硬件結(jié)構(gòu)實(shí)測。3.4 代價(jià)精度變化與調(diào)試復(fù)雜度任何融合和并行化改造都有代價(jià)最大的代價(jià)是精度和調(diào)試復(fù)雜性。算子融合改變了計(jì)算順序浮點(diǎn)加法/乘法的結(jié)合性差異會帶來微小的數(shù)值誤差。在驗(yàn)證時(shí)我會給這類改動配置一個(gè)誤差容忍閾值。我的經(jīng)驗(yàn)是百萬分之一的相對誤差在AI推理場景可以被接受但你必須把閾值顯式寫進(jìn)驗(yàn)證用例否則回歸跑到一半因?yàn)?.000001的誤差漂移報(bào)錯排查起來非常痛苦。調(diào)試復(fù)雜度則是另一個(gè)容易被低估的坑。融合后的算子一旦出問題你很難直接定位是哪個(gè)子算子邏輯有誤。我的建議是保留一個(gè)“非融合模式”作為debug后門通過編譯開關(guān)切換。平時(shí)跑融合模式加速驗(yàn)證出問題時(shí)切回非融合模式逐層排查。這個(gè)后門在項(xiàng)目中救過我們不止一次。4. 方法三工具鏈與回歸驗(yàn)證的協(xié)同加速把驗(yàn)證閉環(huán)跑起來前兩種方法解決了單用例的執(zhí)行速度但驗(yàn)證工作真正耗時(shí)的大頭還有一塊全量回歸的重復(fù)勞動。一個(gè)AI加速器項(xiàng)目在驗(yàn)證階段通常有幾百上千個(gè)用例每次代碼改動后全量跑一遍耗費(fèi)時(shí)間驚人。4.1 慢的不僅僅是仿真運(yùn)行還有編譯和回歸策略很多團(tuán)隊(duì)只盯著仿真運(yùn)行時(shí)間忽略了“編譯回歸”這個(gè)更隱蔽的消耗。改動一個(gè)算子全套RTL仿真環(huán)境重編譯40分鐘全量回歸一晚上這幾乎是每天都要交的“時(shí)間稅”。需要在三個(gè)層面同時(shí)優(yōu)化。第一個(gè)是編譯層面盡量啟用增量編譯。第二個(gè)是仿真層面按驗(yàn)證目的分層——功能驗(yàn)證用高抽象層模型時(shí)序驗(yàn)證用cycle級模型兩者不要混在一起。第三個(gè)是回歸層面根據(jù)代碼改動影響范圍動態(tài)選擇用例集而不是永遠(yuǎn)全量跑。4.2 分層驗(yàn)證TLM模型先跑功能cycle級模型再精調(diào)時(shí)序AI加速器的驗(yàn)證特別適合分層策略因?yàn)樗惴üδ苷_性和硬件時(shí)序正確性本來就是兩個(gè)問題。功能回歸階段我們用TLM事務(wù)級模型或C參考模型來驗(yàn)證算子的計(jì)算結(jié)果是否正確。TLM模型跑一輪只需要幾分鐘同一輪用例在RTL cycle級仿真中要用幾個(gè)小時(shí)。時(shí)序驗(yàn)證階段才切換到cycle級模型專門驗(yàn)證控制流、流水線氣泡、寄存器時(shí)序是否符合預(yù)期。這樣做的邏輯是功能錯誤占回歸失敗的大多數(shù)而且越早發(fā)現(xiàn)越容易修。如果所有功能錯誤都要等到cycle級仿真跑完才暴露一個(gè)簡單的手誤就可能浪費(fèi)一整天。分層之后TLM層在十幾分鐘內(nèi)完成過濾只有通過的功能用例才進(jìn)入cycle級精驗(yàn)證效率提升非常明顯。具體到我負(fù)責(zé)的項(xiàng)目我們在CI流水線里設(shè)置了這樣一條鏈路提交代碼后先編譯C參考模型跑全套功能用例預(yù)計(jì)耗時(shí)10-20分鐘。功能用例全部通過后啟用增量編譯只重編RTL中受影響的部分。編譯完成后跑一組“冒煙用例受影響模塊用例”的cycle級子集預(yù)計(jì)耗時(shí)1-2小時(shí)。子集通過后才啟動全量回歸跑完大約需要一夜。4.3 增量編譯與Smart回歸只做必要的工作增量編譯的原理是追蹤文件依賴關(guān)系只重編發(fā)生變化的模塊以及直接依賴它的模塊。這個(gè)功能在多數(shù)商用驗(yàn)證工具里都有但默認(rèn)不開啟。我們最開始沒開每次改一句testbench代碼也要等40分鐘的重編譯。開啟之后日常改動環(huán)境編譯時(shí)間壓到了5分鐘以內(nèi)哪怕全量重編譯也只偶爾發(fā)生一次。Smart回歸是另一個(gè)收益很大的策略。它的核心是“基于影響范圍分析”選擇回歸集。假設(shè)你只改了某個(gè)卷積算子的輸入緩沖邏輯那么和該算子完全無關(guān)的用例就不需要重跑。我們做了一個(gè)依賴追蹤表每個(gè)用例關(guān)聯(lián)它覆蓋的模塊和算子代碼改動時(shí)自動生成受影響模塊列表再反查匹配用例集。這樣大多數(shù)日常提交只需要回歸原來用例集的20%到30%只有周末才做全量回歸。這個(gè)策略實(shí)現(xiàn)起來不復(fù)雜但維護(hù)成本存在——依賴表需要持續(xù)更新否則漏了關(guān)聯(lián)就會出錯。我的建議是把它納入代碼評審流程每次改動時(shí)順手更新用例關(guān)聯(lián)關(guān)系而不是攢到季度末再補(bǔ)。4.4 硬件仿真平臺的正確打開方式當(dāng)回歸用例集無法再縮減時(shí)就該考慮用硬件仿真平臺emulation跑大用例了。硬件仿真把RTL映射到專用的計(jì)算硬件上運(yùn)行速度比純軟件仿真快幾個(gè)數(shù)量級。但它有啟動代價(jià)綜合和映射需要幾個(gè)小時(shí)所以不適合頻繁小改動。我們項(xiàng)目里對它的用法是“批量夜間任務(wù)”把全量回歸里的大用例、長序列用例集中到夜間跑第二天早上看結(jié)果。這樣軟件仿真負(fù)責(zé)白天的高頻迭代硬件仿真負(fù)責(zé)夜間的長時(shí)間批量驗(yàn)證各得其所。需要注意的是硬件仿真平臺對存儲和時(shí)鐘模型比較敏感某些DDR時(shí)序模型在移植時(shí)會退化性能。建議先把用例分成“硬件仿真兼容集”和“軟件仿真限定集”不要讓不兼容的用例拖慢整個(gè)平臺。4.5 覆蓋率的閉環(huán)別讓回歸在無效用例上燒時(shí)間最后談一下覆蓋率驅(qū)動的回歸優(yōu)化。覆蓋率是驗(yàn)證質(zhì)量的核心指標(biāo)但很多回歸時(shí)間浪費(fèi)在“重復(fù)覆蓋”上——同樣的路徑被數(shù)千個(gè)用例反復(fù)覆蓋新覆蓋率增長極少。我們的做法是給每個(gè)用例打上貢獻(xiàn)標(biāo)簽記錄它最近一次運(yùn)行新增了多少覆蓋率點(diǎn)。連續(xù)兩輪回歸貢獻(xiàn)為零的用例會被自動降級為每周跑一次而不是每天跑。新生成的隨機(jī)用例會先用快速預(yù)測模型評估潛力潛力低的直接丟棄。這樣回歸失敗率沒有變化但用例集規(guī)??s小了將近一半。這類優(yōu)化只需要在CI腳本里加一個(gè)簡單的打分邏輯不涉及深奧技術(shù)但對驗(yàn)證周期的影響立竿見影。我最直觀的感受是同樣的回歸覆蓋目標(biāo)從三天壓縮到了一天半。5. 三種方法的取舍組合與落地優(yōu)先級三種方法不是互相排斥的但也不是每個(gè)團(tuán)隊(duì)都需要全部實(shí)施。我在不同項(xiàng)目里嘗試過不同的組合方式發(fā)現(xiàn)它們的投入產(chǎn)出比和適用場景差別很大。5.1 三種方法的定位對比方法論核心解決什么投入成本收益幅度主要風(fēng)險(xiǎn)數(shù)據(jù)流水線與訪存重構(gòu)單用例訪存等待中需改testbench與DMA配置高單用例提速可達(dá)40%-60%緩沖與對齊配置影響硬件布局需同步聯(lián)調(diào)算子融合與并行調(diào)度計(jì)算吞吐與單元利用率中高需改映射與調(diào)度策略高整體回歸量級縮短數(shù)值精度偏移調(diào)試復(fù)雜度上升工具鏈與回歸策略協(xié)同全量回歸與編譯周期中低CI配置與分層策略中高回歸時(shí)間可減半依賴表維護(hù)成本分層模型一致性從表格可以看出數(shù)據(jù)流水線重構(gòu)是性價(jià)比最高的第一步工具鏈協(xié)同投入最低適合快速啟動算子融合收益大但要承擔(dān)更多調(diào)試成本。5.2 我建議的最小落地組合如果團(tuán)隊(duì)時(shí)間有限我的建議是按這個(gè)順序推進(jìn)先用一周做性能剖析把編譯、仿真、回歸三段時(shí)間分別統(tǒng)計(jì)出來。首個(gè)改動從訪存優(yōu)化開始把DMA傳輸粒度調(diào)大、加上雙緩沖這部分見效最快。同時(shí)開啟增量編譯和分層驗(yàn)證讓日常編譯時(shí)間掉到個(gè)位數(shù)分鐘。訪存和編譯穩(wěn)定后再評估是否值得投入算子融合。如果項(xiàng)目里存在大量連續(xù)訪存密集算子值得做如果算子鏈路很短跳過也可以。最后才是Smart回歸和硬件仿真平臺的引入這部分需要CI基礎(chǔ)比較完善才合適。這個(gè)組合本質(zhì)上遵循一個(gè)原則先消除最明顯的浪費(fèi)再考慮更復(fù)雜的收益。5.3 一個(gè)優(yōu)化實(shí)例復(fù)盤最后用我們項(xiàng)目的數(shù)據(jù)做一個(gè)復(fù)盤。優(yōu)化前一次完整回歸約9小時(shí)日常編譯40分鐘。按上面組合落地后日常改動編譯壓到約5分鐘冒煙子集約1.5小時(shí)全量回歸約4小時(shí)。覆蓋目標(biāo)維持不變但回歸周期整體縮短約55%。這次復(fù)盤里最值的投入是訪存重構(gòu)和分層驗(yàn)證兩者加起來投入了不到三周的人天換來了整體周期近半的縮減。算子融合投入更大但它讓依賴它的后續(xù)用例跑得更快屬于長期復(fù)利式的優(yōu)化。工具鏈協(xié)同則降低了團(tuán)隊(duì)的等待焦慮讓大家愿意更頻繁地提交代碼反過來加快了問題發(fā)現(xiàn)速度。6. 一些只有實(shí)際操作過才體會到的建議最后分享幾條踩過坑才記住的經(jīng)驗(yàn)可能比前面所有技術(shù)點(diǎn)都更有參考價(jià)值。第一性能剖析比動手優(yōu)化更重要。我們最初花了兩天試圖優(yōu)化一個(gè)“看起來慢”的仿真用例結(jié)果剖析后發(fā)現(xiàn)它在一個(gè)等待事件里卡住了半天根本不需要優(yōu)化算子只要修一下testbench的同步邏輯就快了。數(shù)據(jù)永遠(yuǎn)先于直覺。第二任何時(shí)候都要保留一個(gè)“非優(yōu)化模式”的開關(guān)。無論是數(shù)據(jù)流水線還是算子融合一旦出現(xiàn)問題你必須能快速回到未優(yōu)化的基線否則排查問題的時(shí)間可能抵消掉所有節(jié)省下來的驗(yàn)證時(shí)間。我們項(xiàng)目里的編譯開關(guān)和參考模型一直保留著平時(shí)不用但出問題時(shí)它們救場無數(shù)次。第三驗(yàn)證提速的目標(biāo)是“更快地發(fā)現(xiàn)問題”而不是單純追求仿真速度。一個(gè)跑得飛快但覆蓋率一團(tuán)糟的環(huán)境毫無意義。我會在每個(gè)階段優(yōu)化后都檢查覆蓋率曲線確保提速沒有以犧牲驗(yàn)證質(zhì)量為代價(jià)。第四和驗(yàn)證工程師的協(xié)作方式很重要。AI應(yīng)用架構(gòu)師提供的優(yōu)化方案最終要落到驗(yàn)證團(tuán)隊(duì)每天的流程里。不要一次性拋出一大堆改動而是先選一個(gè)用例試點(diǎn)寫清楚優(yōu)化前后的數(shù)據(jù)對比讓驗(yàn)證同事自己看到收益他們才會真正接受新流程。這件事做下來我最大的體會是AI加速器的驗(yàn)證提速本質(zhì)上是一個(gè)跨領(lǐng)域協(xié)作問題。算法視角讓你知道哪些計(jì)算是冗余的硬件視角讓你知道哪些數(shù)據(jù)搬運(yùn)是不必要的而驗(yàn)證流程視角讓你知道哪些回歸是重復(fù)的。三只眼一起看慢的根源才能被連根拔起。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99热这里只有精品中文字幕| 五月婷婷六月基地| 九九九九中文字幕| 99热国产精品| 色婷婷六月激情| 7777国产盗摄农村女人| 午夜丁香综合婷婷| 乱女乱妇熟女熟妇综合网站| 91久久网站| 色久丁香五| -91九色大屁股| 五月婷av| 久久机只有这里精品| 操逼综合激情网| 五月丁香六月婷婷啪啪| 深爱丁香网| 日韩一区二区A片免费观看| 这里只有精品视频一区| 婷婷五月天综合久久| 思思久久精品| 日韩av大全| 欧美六月婷婷| 久久久久这里只有精品| 丁香婷婷色六月| 婷婷激情五月天小说| 亚洲天堂热| 狠狠va| 丁香五月婷婷av影院| 婷婷五月草| 超碰人人操在线| 五月天综合在线| 日日操天天| 伊人久久大香天蕉亚洲特级| 五月天啪啪| 五月WWW| 99人人精品| 五月丁香影视| 色婷婷成人五月| 久久综合激情| 亚洲狠狠终合停停终合| 91九色精品女同系列| 青青热久精品视频在线观看| 99视频在线观看视频| 精品久久久人妻| 天天干天天干天天干天天干天天干天天干天天| 五月丁香自拍| 91男人操女人视频| www.婷婷六月天| 千人斩操逼| 丁香六月激情毛片| 无码AV免费精品一区二区三区| 综合久久人妻| 婷婷五月在线综合| 99精品视频推荐| 成人在线99| 五月丁香六月久久| 4399精品一区二区| 日本三级大片| av在线免费网站 | 午夜亚洲AV日韩无码| 五月激情婷婷播播开心| 午夜九九电影| 九九热99视频在线| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 久久机热/这里只有精品| 激情视频网址| 久久久人人操A V| 人人人操| 国产精品热搜丁香五月婷婷| 91精品熟女| 日韩有码一区| 国产精品人人妻人人爽| 色五月丁香五月五月婷婷| 九九激情| 婷婷五月天视频| 26uuu欧美激情另类| 色情综合| 91精品丝袜久久久久久久久粉嫩| 欧美性生交XXXXX无码小说| 欧美五月婷婷| 99色播| AV网站免费在线| 色色欧美色色色| 91人人操.COM| 色婷婷精品| 五月婷婷色播视频| 久久思思99| 狠狠色大香蕉| 99日韩| 色啪影院| 玖玖热99| 99燥99日| 五月丁香综合啪啪| 婷婷五月激情视频在线| 99热日| 九九热10| 日本9区视频| 超碰久热| 五月丁香| 丁香五月开心亚洲| 久久开心五月天激情| ,99视频久久| 日韩精品一区二区亚洲AV观看| 国产伦亲子伦亲子视频观看| 99热综合| 亚洲精品无码久久| 看片视频在线免费日产在线看| 久久五月丁香激情综合| 亚洲激情综合色站| 色玖玖爱| 99热午夜精品| 日本系列_4页_777FP| 天天干夜夜欢| 这里只精品| 成人精品人妻| 激情五月丁香色色去久久| 中文字幕 中文字幕明步| 色~性~乱~伦~噜| 99爱在线精品视频免费观看| 色人妻五月| Av性爱网| 开心五月婷婷五月| 五月丁香精品| 亚洲超级碰| 猫咪伊人AV| 99精品在线| 在线另类视频| VA日本视频| 996精品热视频| 久操香蕉| 九月丁香很很色| 久久九色| 色吧五月婷婷| 丁香六月婷婷综合激情欧美| WWW,五月| 五月天播播中文字幕| 色狠狠色狠狠| 色色亚卅| 翔田千里aV中文字幕| 丁香五月婷婷啪啪啪| 中文成人在线| 丁香五月婷婷影院| 色色999三级片| 免费无码毛片一区二区A片| 香蕉久久国产AV一区二区| 五月天成人在线视频网站| 五月天激情AV| www.五月天社区| 久久99激情| 国产婷婷色五月| 久久免费操| 六月婷婷AV| 婷婷丁香五月社区亚洲| 中文字幕在线视频播放| www,setingting| 无码 av电影| 天天爽夜爽| www.日本91| 玖玖资源在线视频| 婷婷丁香五月综合网上| 丁香婷婷色情社区成人小说| 乱色色色| 99久久大片| 五月天色婷婷基地| 天天射影视综合网| 婷婷丁香五月噜噜噜| 亚洲激情丁香五月基地| 婷婷丁香五月天小说| 少妇激情五月婷婷| 婷婷 亚洲图片 丁香| 六月丁香深深爱综合网| 26uuu欧美日韩| 六月婷婷激情图片| 色婷婷综合网| 丁香五月婷婷亚洲色图| 久久婷婷成人视频| 精品国产va久久久久久久| 99热久只有| 99re6热在线精品视频播放速度| 色欲丁香| 密黄站| 天天曰夜夜爽| 久久黄色免费视频| 久久九九99字幕| 爱草视频在线| 九九热视频思思| 成人丁香五月天| 99re视频在线| 七七久久婷婷| 国产精产国品一二三在观看| 99热91| 人人操日| 99精品视频网| 国产毛多水多女人A片| 丰满少妇乱A片无码| 欧美精品XXXXBBBB| 色噜噜丁香| 一本婷婷丁香久久 | 婷婷不卡基地| 大香蕉Av在线| 夜夜资源站| 欧美人人操| 色婷婷丁香五月| 最新热中文字幕| 丁香婷婷精品视频| 婷婷丁香亚洲五月天| 婷婷五月色亚洲| 无码网站视频| xx人人xx| 男人的天堂五月丁香| 久久9精品| 九九99久久| 久久HD| 色色色色色综合| 9+1视频网址| 国产精品美女久久久久AV超清| 99精品偷自拍| 婷婷五月欧美| 影音先锋四区| 国产在线6| 玖玖在线资源视频| 亚洲最大五月天成人网| 视频一二区| AV操逼网| 99热自拍| 日日操天堂| 婷婷伊人綜合| 五月婷婷婷综合网| 五月天合网| 九九热99精品在线| 色五月激情网| 极品人妻VideOssS人妻| 丁香五月婷婷免费视频| 狠狠色大香蕉| 久操热| 日韩五月婷婷| 色色哒五月婷婷六月丁香| 色婷久久| www.五月天| 四季8848精品成人免费网站| 亚洲狠狠婷婷| 性色播| 九玖欧洲亚洲| 69久久99精品久久久久婷婷| 婷婷综合视频| www.夜夜爱.com| 4399欧美另类视频| 《诡秘之主》在线观看| 五月婷婷狠狠干| 噜噜视频| 超碰人人色| 狠狠综合| 丁香婷婷五月人体| 丁香五月婷婷亚洲人| 26uuuavcom| 日日杆天天| 久久综合九九| 午夜微拍福利| 网色99| 综合激情网五月激情| 色婷婷五月天综合网| 色五月成人| 久久激情网| 99re欧美精品| 夜夜资源站| 五月色情婷婷开心五月天| 天天干天天爽天天操| 色婷婷五月天在线观看| 九九热精品| AV大片在线观看| 五月天色图| 五月婷婷色吧!| 五月天操逼网| 婷婷中合| 成人无码免费一区二区中文| 操人精品| 丁香婷婷六月天| 噜噜久| 丁香五月婷婷六月| 99热10在线高清播放| 综合狠狠干| 久久视频这里99| 天天爽天天日天天舔| 碰碰91| 香蕉AV福利精品导航| 九九热在线视频观看免费10| 五月天激情黄色小说在线观看| 永久地址 色| 日日干日日| 国产精产国品一二三在观看 | 999精品乱码77777| 中文字幕视频色婷婷| 91丨九色丨熟女|老版| 五月丁香激情综合网官网| 五月婷视屏在线观看| 99免费热视频在线| 色婷婷玖玖影院| 888精品福利地址| 五月天开心激情综合网| 91久热| 偷拍九九五月丁香婷婷| 天天色色婷婷| 这里只有精品视频99| 五月婷婷综合在线视频| 激情深爱综合| 狠狠操狠狠插| 日韩精品一区二区三区,四区,五区视频| 久青操| 亚洲精品久久久久久久久久吃药| 日本一级一级一级一级| 日韩五月婷婷| 久9免费视频| 天天人人天天爽| 欧美三日本三级少妇三99| 国产成人AV不卡| 超碰在线超碰| 99re这里有精品手机在线| 综合久久影院| 激情婷婷22月间| 亚洲五月丁香综合网| 九色色| 丁香婷婷深情五月亚洲| 99视频在线观看网址| 婷婷五月丁香婷婷| 婷婷网五月天| 在线看黄色| 色久婷婷网| 久超超碰| 成人 九九九九| 色狠狠伊人久久五月丁香| 亚韩在线视频| 五月天色色色色色| 男女久久婷婷五月天| 五月婷婷在线免费观看| 国内一级精品| 噜噜久| 日本三级大片| 婷婷五月综合在线| 丁香五月婷婷亚洲色图| Av在线不卡一区| 天天干狠狠| 婷婷激情五月| 国产成人av在线播放| www.成人婷婷综合| 久久伊人大香蕉| 91丨九色丨熟女|老版| 五月天激情啪啪| 亚洲精品又粗又大又爽A片 | 精品久久99| 色五月婷婷在线| 在线中文AV| 久婷婷五月丁香在线观看| 色婷婷五月在线| 免费V片在线| 激情无码五月天| 91黄址| 五月丁香趴趴| 亚洲六月婷婷| 在线视频99| 99亚洲无码| 97精品人人A片免费看| 久久WW| 西瓜美女a片| 日本色色色| 久草丁香婷婷五月天婷| 天天拍夜夜爽日日| 天天摸夜夜夜| 免费无码毛片一区二区A片| 色婷久九| 婷婷五月天社区| 久久久久久婷| 五月丁香色狠狠干大屄| 精品亚洲国产成人A片在线鸭王| 国产超碰在线| 99熟女视频| 百度4399有码精品V在线观看| 夜夜爽天操| 女人被躁到高潮嗷嗷叫小| 日日操夜夜爽白洁| 丁香六月婷婷久久综合| 大香蕉综合| 丁香六月激情| WWW色色色COm| 青青草原伊人网| 亚洲99一级无嗎特制在线| 99久久99热这里只有精品| 婷婷激情五月| 99区视频| 日本欧美成人片AAAA| 国庆精品久久| 色5月婷婷| 无码九九| 国产成人网站在线观看| 丁香五月婷婷久久久| 深爱激情六月天| www.超碰在线| 精品乱码久久久久| 67194成I人在线观看线路1 | 亚洲婷婷五月| 精品久热69| 伊人五月综合网| 操人视频91| 婷婷五月天综合在线| 久久九九激情五月天| 99综合99| 色99在线视频| 91无码视频| 五月丁香自拍| 九色91国产| 97操碰碰无码视频| 91狠狠色| 色色色综合色| 这里只精品| 国产日韩欧美性爱| 婷婷天天舔| 97久久久| 日韩六十路91性交电影| 91久女| 99色播| 九色99视频| 久久久区区一久久久久久| 狠狠噪| 婷婷五月图片小说网| 91九色 熟| 天天夜夜爽| 国产综合丁香五月天| 99热色精品| 99久久97久久欧美综合网| 97超碰在线免费观看| 婷婷综合精品| 看片视频在线免费日产在线看| 深爱 五月天| av亚洲国产小电影| 婷婷五月天亚洲丁香| 丁香五月婷婷www..com| 九九無妻| 亭亭色网| 色狠狠综合| 激情文学天天| 热热色色五月天婷婷| 丁香六月亭亭久久综合| 97干在线观看| 日韩一级片| 久久婷婷成人视频| 激情综合在线观看| 伊人狠狠丁香婷婷综合尤物| 综合网色| www.五月激情.com| 国产高清av黄色看片| 热99精品视频| 99人妻碰碰碰久久久久| 国产精品色婷婷99久久精品| 色综合色色| 桃色五月天| 久久久久人无码人妻| 亚洲视频码| AA丁香综合激情| 草一草avb| 91狠狠综合久久久| 97韩国久久电影院| 久碰婷婷视频| 大香蕉九九| 九九婷婷五月天影视| 色开心五月婷婷丁香HD| 超碰人人艹| 婷婷97狠狠干| 大大香蕉综合在线| 97碰超级人人看| 婷婷五月天激情四射五月天激情| 婷婷丁香91综合| 色色色色色色网| 五月婷婷色影院| 欧美色婷婷| 激情九九这里只有精品| 久久丝袜婷婷| 禁欲电影完整版在线播放| 麻豆五月丁香婷婷| 丁香婷婷婷五月综合色情| 亚洲最大在线| 婷婷在线操| 男女啪啪视频久 9| 丁香六月天| 91性高潮久久久久久久久| 老师的粉嫩小又紧水又多A片视频| 欧美内射AA| 国产精品久久久久久久久久久久| 五月丁香另类图片| 91婷婷丁香| A久久| 丁香五月天综合网| 丁香婷婷综合激情五月色| 色香欲综合| 婷婷丁香五月六月激情| 久久国产高清| 99爱这里只有精品免费视频| 天插天啪天啪天啪| 庭庭久久内射| 欧美成人猛片AAAAAAA| 五月天亭亭俺也| 开心婷婷五月天综合| 91人妻人人操| 久操热| www.色五月天.com| 97九色| 日韩乱轮AV| 五月婷婷影| 久er7久热| 日韩黄色AV无码| 天天天天干| 五月婷婷狠狠干| 五月丁香综合激情网| 99精品成人无码A片观看金桔| 激情五月天小说网| 五月激情五月丁香| 丁香五月综合久久| 午夜69成人做爰视频| 免费观看大片视频 丁香婷婷 六月欧美| 99热 在线观看| 久久9热综合| 婷婷五月综合在线| 99精品亚洲| 丁香五月香蕉在线| 久久九⑨| 日本欧美成人片AAAA| 五月激情综合网| 人人色婷婷五月天| 神马欧美精| 六月色婷婷| 99色6爱9热| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | AV在线收看| 天天插天天干| 五月婷婷九九热| 开心日韩丁香婷婷五月| 欧美人久久| 久久九久久| 夜夜爽天天干| 99er热精品视频| 亚洲九九夜夜| 久99久视频精品| 久久久婷婷婷| 婷婷播5月| 亚洲第一色网站| 182TV大香蕉| 99视频这里有精品| 97人人超| 四色五月婷婷| 色五月婷婷丁香婷婷| 成人网址在线观看| 天堂网色婷婷| 免费超碰在线观看| 26UUU精品一区二区| 色婷婷亚洲婷婷在线观看| 六月五月久久丁香| 色播五月丁香| 99热线观看9| 新激情婷婷| 特级西西4444www无码| 五月天婷婷社区| 亚洲综合网激情小说| 99国产在线精品视频| 五月婷婷欧美| 99成人免费热视频| 这里只精品| 久久婷婷成人| 9 1在线视频| 国产欧美性成人精品午夜| 亚洲综合99| 夜夜爱网站| 五月婷婷六月激情网| 丁香啪啪| 91丨九色丨熟女丰满| 亚洲AV免费国产电影| 天天操夜夜操| 99在线精品视频在线观看| 丁香婷婷情色五月天| 久热这里只有精品视频6| 久久欧洲久久| 九色自拍| 4399在线观看免费毛片| 久久久www| 国产精品久久久丁香五月八戒视频| 五月天无码| 成人版视频在线观看| 丁香五月婷婷高清| 热99视频精品在线| 久久精品A片777777| 亚洲操操操| 在线中文av| 青青草原伊人网| 色色COm| 五月天中文字幕在线婷婷| 九九热精品| 任你日视频| 欧美色色色色色色| 99久久五月天| 九九激情视频| 六月婷婷操逼| 色99xx| 激情综合网激情五月俺也去| 99视频| 日本久久精品| 成人丁香| 婷婷六月啪啪| 成人在线日韩| 婷婷五月天成人网| 色狠狠综合网| 成人 视频免费观看网站| 丁香美女五月天婷婷| 拳交大逼| 亚洲色在线观看| 99玖玖免费视频| 婷婷综合日本| 小泽玛利亚视频一区二区| 中文字幕精品推荐免费在线观| 激情综合视频| 久久婷婷五月综合色欧美| 91超级碰| 涩五月婷婷| 色五月婷婷中文字幕| 99热这里只有精品8| 久草五月天| 日本综合色图| 亚洲无码色色| 婷婷五月色| 天天射影院| 丁香五月AV| 五月激情在线| www.色五月| 天天做天天爱| 久久精品99国产精品日本| 激情开心五月天| 激情五月天伊人av| 欧美激情xxxXX| 成人婷婷五月天| 深爱网深爱综合网| 天天做天天要天天爽| 深爱 五月天| 夜夜躁狠狠| 综合99在线| 五月丁香拍拍激情综合| 婷婷激情蜜桃玖玖丁香| 五月婷深深爱激情网| 久久九精品| 久久九九在线视频| 嫩草乱码一区三区四区| 久色激情| 亚洲成人AV在线观看| 色播综合| 丁香六月综合| 国产人妻人伦精品一区二区| 丁香六月在线综合| 激情五月天.色网| 日本人妻操| 97超碰欧美中文字幕| 激情视频综合| 97碰碰视频在线观看| 婷婷99狠狠| Av性爱网| 亚洲色色色色| 99热九九热| 婷婷成人五月天| 变态另类9| 99re6久热只有精品6在线直播| 99热66| 亚洲字幕AV一区二区三区四区| 五月丁香综合色婷婷| 91婷婷丁香五月亚洲| www.99免费视频| 丁香五月开心亚洲| 日韩久热| 美女亚洲五月丁香| 丁香五月天无码| 99热在线这里| 99久久www| 九九热视频精品| 欧美成人精品A片免费一区99| 欧美成人在线观看| 九九久久污| 人伦30P| 只有精品在线观看| 九九亚洲小视频| 天天热夜夜操| 色99网| 9l视频自拍9l视频自拍九色学生| 狠狠色综合网站久久久久| 五月天综合在线| 超91热| 五月婷婷九九久久| 在线中文字幕视频| 婷婷六月丁香1| 日韩99精品| 国产婷婷五月天| 五月激情天| 五月婷婷很很色| www.com色播五月天| 色情久久久| 91碰碰碰| 色色亚卅| 影音先锋偷偷色男人站| 五月天偷拍| 婷婷久综合| 欧美人人女女精品综合五月天| 综合亚洲六月婷婷在线| 日日夜夜噜噜爽爽| 亚洲激情另类| 五月激情综合网| www.97碰碰com| 狠狠色综合无线观看| 色播五月天婷婷老师| 激情综合网五月在线播放| www.日韩艹| 久久久免费精彩视频| 99在线观看| 久久caop| 色色色色色五月| 亚洲一个色| 五月之婷婷| 五月久久婷婷| 色五月大香蕉婷婷| 黄色精品五月婷婷| www.激情在线| 色综合久久88色综合天天| 999热在线视频| 国产精产国品一二三在观看| 婷婷六月综合基地| 欧美色色色色色色色色色色影视| 青草少妇激情| 日日操天天操| 九月婷婷综合在线| 久久婷婷青草五月天| 99爱视频免费看| 五月婷婷六月丁香综合| 国产毛片精品一区二区色欲黄A片| 婷婷五月天丁香激情| 色五月丁香总合网| 婷香五月激情视频| 操碰97| 六月婷婷最新网址| WWW、日本色丁香co m| 欧美五月丁香| 97在线精品| 青青草婷婷久久| 五月色婷婷亚洲 | 国产va视频| www九九热| 婷婷色六月| 青青操绿aaa一区日v| 日韩啊啊啊| 色五月五月婷婷| 性色综合网| 蜜臀av无码久久久久久久久| 99精品在线观看视频| 蜜桃人妻无码AV天堂三区| 91丁香| 五月丁香成人| 在线成人网站| 国产精品成人网址| 66精品国产成人| 亚洲狠狠干| 亚洲精品无码一区二区| 色爽九九| www,婷婷五月天,com| 久操婷婷| 久婷视频| 天天日夜夜草进麻麻的子宫| 网色99| 大香久久综合网| 狠狠夜夜五月丁香| 丁香五月开心亚洲| 99色热综合| 丁香 婷婷 激情 综合 五月| 五月丁香六月激情视频| 性按摩玩人妻HD中文字幕| 久久东京热婷婷五月| 99久久大片| 亚洲久热| 成人一级片| 79精品视频| 欧洲色区| 亚洲99综合| 亚州操人在线视频| 亚洲情综合五月天| 婷婷永久在线| 婷婷成人五月天成人文学小说| 精品国产AV色一区二区深夜久久| 五月色丁香| 91人人爽久久涩噜噜噜| 国产成人精品一区二三区熟女在线| 亚洲天堂爱爱| 亚洲色优| 黄色录像网点| 五月丁香婷婷综合在线| 久久婷婷成人| 青青操成人福利| 丁香五月婷婷88在线| 色综合99| 91人人操| 欧美人人草| 亚洲精品又粗又大又爽A片 | 99高级会所久久| 91九色在线| 天天干,天天日| 色五月婷婷自拍| 日日夜夜小色哥| 99精品偷自拍| 一区色色色色网| 婷婷欧美| 影音先锋91视频| 2020夜夜操天天爽| 色婷久久| 综合激情婷婷| 99噜噜| 九月av在线| site:feetmall.com| 极品人妻VIDEOSSS人妻| 那里有AV网址| 日韩成人av在线| 91|九色|动漫| 五月丁香777| 色色亚洲99com| 少妇口诉沐足视频播放器网址| 99热8| 久99久视频| 久超超碰| 97色操| 婷婷五月天久久久| 丁香五月婷婷老师网站| 深爱激情九九五月天| 狠狠操狠狠操AV| 狠狠丁香| 99久热在线精品| 99热99美国在线观看| 亚洲久久激情| 丁香六月天婷婷| 人人草人人爱手机视频看看| AV大片在线播放| 天天做天天干天天综合网| 色九九综合| 丁香六月激情| 99色热视频| 97九色视频| 色婷婷六月| 人人妻人人澡人人爽| 丁香婷婷视频| 五月丁香综合久久夜夜| 俺也高清无码高清视频| 亚洲精品无人区| 丁香六月激情综合网| 麻豆AV一区二区三区| 五月情丁香色| 中文字幕 码精品视频网站| 亚洲视频a| 99视频在线精品| 开心婷婷中文字慕| 五月婷六月| 丁香婷婷久久 | 综合久久十三| 丁香五月婷婷成人网| 超碰日韩人妻在线| 婷婷五月天亚洲精品| 琪琪色网在线| 人人看人人草人人摸| 九九热这里只有精品6| 六月婷婷日| 99九九精品| 婷婷五月乱交换| 五月天网站亭亭| www.刺激色网站www.| 五月性色| a在线免费v| 中文AV网| 91精品又长又大又粗又爽又猛| 婷婷五月色惰| 97婷婷丁香| 另类激情综合| 久久五月综合| 国产精品美女| 婷婷五月综合欧美在线播放| 男男野外做爰全过程69| 呦呦v线| 色五月婷婷成人| 99精品22| 无码一级片| 久久久无码精品成人A片小说| 操人久久| 综合网色| 综合五月草| 婷婷五月天社区| 色色色视频免费无码| 欧美性猛交AAAA片黑人 | www.五月天婷婷姐姐| 丁香五月婷婷啪啪视频| 亚洲精品午夜国产va久久成人| 国产精品成人在线| 欧美色图45678| 日本色婷婷| 欧美综合激情五月丁香| 荫道BBWBBB高潮潮喷| 思思热再线视频| 爱iii做iiii日日| 色婷婷久久综合中文久久一本| 色一情一乱一乱91Av| 97狠狠色| 婷婷 久综合| CHINESE熟女老女人HD视频| 六月丁香五月激情网| 中文字幕人妻一区二区| 亚洲热综合| 色婷婷丁香综合中文字幕| 五月天精品视频| 色99视| 激情网 久久| 99色色色色| 超碰人人99| 91久久久久久久久久久| www。狠狠干。com| 精品成人在线| 丰满熟女人妻一区二区三| 日韩xx在线| 9色视频在线| 久月丁香爱婷婷综合| 艹B高清无码| 天天操人人干| 99自拍视频网站| 婷婷久久综合久| 五月丁香亭亭天天舔| 丁香五月婷婷综合91| 亚洲五月天天| 精品自拍97| 色哟哟www| 欧美天天爽| 久久综合99综合| 99热亚洲精品| 亚洲无码成人| 大香蕉av在线| 丁香五月激情图片| 97欧美在线| 婷婷社区五月天| 婷婷日日天天| 99九九中文字幕视频| 五月开心激情| 亚洲婷婷激情888精品久| sewuyuetingtingiii| 婷婷色五月激情| 天天天天天操| 九九综合图片网| 岛国AV网| 99热99精品在线观看| 超碰色天堂| 综合色色色| 91人妻视频| 亚洲成人网站在线播放| 六月婷婷综合| 日韩十国产极品久久| 日本97在线| 久久亚洲婷婷| 深夜A片| 色综合色五月| 日本精品人妻无码77777| 精品久久人妻| 婷婷久久综合久| 婷婷97色| 亚洲六月色婷婷| 色婷婷4| 亚洲四色五月| 欧美成人va| 亚洲成人黄色网| 色婷婷AV在线| 国产亚洲精品久久久久久牛牛| AAAA网站| 天天综合情| AV片在线观看| 91久久久久久久久18| 开心五月色婷| 99热99精品| 亚洲国产精品二二三三区| 色偷偷五月天| 精品久久人妻热| av在线不卡播放| 五月激情啪啪| 婷婷五月丁香六月天亚洲综合| 亚洲在线资源| 丁香婷婷九月在线| 99热播放| 久久九九99亚洲国产久精综合| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 一级性感毛片| 99久久网站| 综合激情站| 天天爽天天爽天天爽天天爽天天爽天天爽天天| 超碰免费电影| 99在线精品视频| 五月天亭亭俺也| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 久久99草五月婷婷| 狠狠爱综合网| 丁香五月天天高清在线| 日本久久精品| 无码人妻一区二区一牛影视| 色五月播五月| 六月婷婷开心| 色五月久久成人婷婷| 97五月综合网| 国产AV一区二区三区最新精品 | 亚洲天堂色| 青青草五月天| 深爱综合网| 天天婷婷操| 1024操逼视频| 婷婷狠狠干| 色色色色色色色色综合网| 天天插天天操| 激情五月天婷婷久久久久久久久久久| 碰碰碰91| 精品久久久久成人码免费动漫 | 另类综合激情| 女操碰| 任我干视频在线观看| 开心五月网| 丁香六月婷婷综合缴| 狠狠999| www.超碰在线| 9在线9在线婷婷在线国产| 九九黄色网| www.91在线观看| 婷婷五月综合视频| 性色欲情 网站| 《久久综合九色综合97婷婷| 激情玖玖sh| 性色五月天| 噜一噜在线| 久色网五月| 永久思思热在线| 超碰猛烈的性猛交| 日韩精品视频中文字幕| 开心五月网| 欧美色五月| 性色99| 99热香港| 婷婷伊人久久| 日hao1区| 岛国AAAV| 禁欲电影完整版在线播放| 91综合国免费久入| 五月婷婷丁香俺日污视频| 五月丁香色婷婷基地| 天天色天天爽| 97碰碰在线看视频免费| 岛国午夜视频| 久久综合久色欧美综合狠狠| 亚洲情欲| WWW,五月| 天天日,天天插| 激情丁香五月激情婷婷| VA婷婷| 99久久精品色老| 日本nghangse中文字幕| 野战J办公桌椅H| 这里只有精品视频在线| 99热主页日本| 婷婷五月天伊人网| 五月色丁香激情| 久草久青福利| 激情综合色网| 欧美性久| 毛片九九九九九九| 久久久精品免费啪啪国| 天天射影院| 狠狠干夜夜干| 亚韩在线视频| 日本美女五月天| 九九亚洲视频| 青青草视频福利| 五月天亚洲最大成人| 亚洲中文字幕网| 日韩黄色网络| 99热99| 五月婷久久综合| 五月停停大香蕉| 少妇AB又爽又紧无码网站 | 欧美激情-区二区三区| 激情综合激情五月| 天天日综合网射| 激情五月综合网| www.色五月.com| 五月丁香黄色| 日本精品久久久久中文字幕| 天天日夜夜爽| 五月天六月色| 五月天播播| 亚洲精品婷婷| 五月丁香香蕉| 久久九九色| 久热这里| 激情综合五月| 五月丁香综合| 伊人五月天| 噼里啪啦在线观看免费完整版视频 | 婷婷操久久| 高清成人综合| 色婷婷影| 五月综合丁| www.99久久久久99| 91热久| 99在线综合视频| 五月丁香综合久久夜夜| 97偷拍对白视频| 成人性生活免费观看。| 超极99精品| 久爱综合| 五月J香蕉婷婷| 成人免费黄色短视频| 五月婷婷爽爽爽| 一起草AV入口| 一本大道伊人AV久久综合| 国产乱妇乱子在线播视频播放网站| 五月天丁香| 中文字幕日产A片在线看| 精品无码久久久久久久久| 亚洲精品99| 亚洲亚洲人成综合网络| 97碰碰碰免费公开在线视频| 国产暴力强伦轩1区二区小说| 国产99久久久国产精品免费看| 丁香五月成人| .精品久久久麻豆国产精品| 老师的粉嫩小又紧水又多A片视频| 强辱丰满人妻HD中文字幕| 无码激情AAAAA片-区区| 日本精品人妻无码77777| 成人做爰黄A片免费看直播室男男| 日日躁夜夜躁狠狠久久AV| 69超碰在线| 日韩成人中文| 99久久婷婷精品视频| 亚洲区在线| W色综合| 九九色插| 99玖玖视频| 日韩在线成人电影| 婷婷久久99| 色色精品色| 综合激情网| 国产日日操夜夜操的肉棒视频| 无码人妻一区| 色在线99| 这里只有精品免费视频| 精品色色| 五月成人丁香av91| 色婷婷五月天无码视频| 五月天综合久久丁香91| 99视频在线| 国产va在线视频| 激情五月天www| 99只有这里有精品在线视频| 婷婷五月香蕉| 另类专区在线观看| 91男人操女人视频| 极品少妇婷婷五月| 色婷婷a v| 秋霞黄色一级久久| 色青青视频| 婷婷色五月色| 任你日视频| 色九区| 久综合4| 在线不卡中文字幕| 九九av| 玖玖精品视频99| 综合久久五月天| 超碰操网| 婷婷激情五月| 久久久久久久,99精品视频| 丁香五月先锋| 五月色婷婷亚洲 | PORNY九色9l自拍视频成人| 天天日天天日天天搞| 五月丁香六月婷婷手机无线| 丁香五月Av| 91超碰人人操| 香蕉AV777XXX色综合一区| 96精品国产综合久久久久久| 色综合大香蕉| 99re思思精品视频在线观看| 五月天三级久久| 大香蕉久久| 天天综合亚洲综合| 亚洲第一综合| 另类视频五月天| 日碰日| 9久国产| 国内婷婷丁香社区在线播放| 精品无码99| 亚洲五月天婷婷| 亚洲精品又粗又大又爽A片 | 中文字幕丰满人妻无码专区| 激情网五夜婷婷| 五月婷婷之美女图片| 人妻AV在线观看| 在线观看免费视频| 六月综合婷婷开心伊人| 狠狠舔| 99热这里只有精品最新地址获取| 婷婷五月大香蕉| 亚洲精品久久久无码| 人人叉久| 五月天天天综合| 色五月婷婷激情| 思思热在线播放| 亚洲六月综合激情久久下卡| 天天操中文字幕| 四虎婷婷五月天| 99爱视频| 天天日天天插| 国产4P视频精品五区| 色五月婷婷激情综合网| 天天天操天天天日| 99精品在这里| 天堂呦 呦百度搜索-百度搜索| 婷色五月天| 操操操操操电影网| 另类激情五月| 超碰成人公开| 91色噜噜狠狠狠狠色综合| 婷婷五六日| 国产九九一区二区三区| BBWCUCKOLD精品熟妇| 97干婷婷| 亚洲综合丁香五月| 婷婷成人五月天| 成人无码精品1区2区3区免费看| 丁香五月综合久久综合| 丁香六月av| 超碰99热精品| 亚洲精品又粗又大又爽A片| 国产视频福利| 五月花婷婷最新| www.久久久久久久| 婷婷香蕉精品| 大香蕉五月丁香| 99热在线观看免费| 亚洲综合五月天婷婷| 婷婷久久女人| 天天天操天天天爰| 五月婷婷丁香五月| 无码人妻AV久久久一区二区三区| 秋霞AV淫| 亚洲精品久久久久久久久久吃药 | 国产精品涩涩涩视频网站| 97五月婷婷| 婷婷丁香五月天小说| AV在线资源| 97成人在线视频| 樱花99视频| 九九热婷婷| 婷婷五月天性色| 婷婷色导航| 丁香六月五月天| 国产成人精品亚洲线观看| 激情图片婷婷| site:ornaments52.com| 天天插综合| 九九人人看| 99热精品9| 色播五月婷婷|