欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

AI芯片核芯引擎拆解:圖編譯、算子融合與推理部署實戰(zhàn)

AI芯片核芯引擎拆解:圖編譯、算子融合與推理部署實戰(zhàn) 如果只看參數(shù)表你很容易以為手里這顆AI芯片已經(jīng)抵達(dá)性能天花板但當(dāng)你真把一個復(fù)雜的Transformer或擴(kuò)散模型往上放才會發(fā)現(xiàn)它的表現(xiàn)和營銷材料之間隔著一條深溝。芯片本身沒有錯真正的問題是芯片和上層深度學(xué)習(xí)框架之間缺了一層能把模型吃懂、把計算拆細(xì)、把性能一點點摳出來的軟件引擎。做AI軟件棧這么多年我越來越清楚一件事——這類異構(gòu)計算架構(gòu)才是決定一顆計算芯片“核芯”競爭力的關(guān)鍵底座。這篇文章不聊某個具體芯片的跑分而是從一個實際做過AI異構(gòu)計算軟件棧原型的人的角度拆解一顆“核芯引擎”到底由哪幾部分組成、為什么算子融合能帶來肉眼可見的提速、訓(xùn)練到推理轉(zhuǎn)換時有哪些設(shè)計取舍以及我真實踩過的一個編譯鏈路深坑。如果你正在做算子開發(fā)、推理部署、圖編譯或AI平臺底層相關(guān)工作這篇東西應(yīng)該能幫你少走幾條彎路。1. 為什么AI硬件必須有一個專屬引擎而沒人能直接繞過它1.1 從“能用驅(qū)動”到“好用的計算架構(gòu)”先講個我常拿來舉的例子。很多AI加速卡剛流片回來時廠商總會給一套底層的驅(qū)動和幾個示例程序跑個圖像分類網(wǎng)絡(luò)完全沒有問題。但只要用戶把網(wǎng)絡(luò)換成帶注意力機(jī)制、動態(tài)Shape或復(fù)雜控制流的模型性能就會突然離譜起來有時甚至比CPU還慢。原因很簡單AI專用芯片不是通用處理器它的指令集往往非常“窄”只擅長矩陣乘法、卷積、向量操作等固定模式。它沒有現(xiàn)代CPU那種復(fù)雜的亂序執(zhí)行、分支預(yù)測和緩存體系也不會自動幫你把復(fù)雜計算拆成適合并行執(zhí)行的子任務(wù)。芯片能做的只是執(zhí)行一個個底層算子而“如何把模型翻譯成底層算子”“怎么調(diào)度這些算子在多核上跑”“中間數(shù)據(jù)放在哪里才不浪費帶寬”這些問題全都要靠芯片之上的計算架構(gòu)引擎去解決。這層架構(gòu)放在整體鏈路里的位置大致是這樣的最上層是AI框架負(fù)責(zé)定義模型結(jié)構(gòu)、反向傳播邏輯和訓(xùn)練流程。中間這層架構(gòu)引擎負(fù)責(zé)接收框架傳來的計算圖做圖分析、算子映射、圖優(yōu)化、資源編排。最下層是芯片驅(qū)動和硬件抽象層負(fù)責(zé)把指令真正發(fā)到計算單元上。你可以把AI框架理解為菜譜把芯片理解為一口已經(jīng)設(shè)計得非常精巧的鍋而這層架構(gòu)引擎就是那個在后廚控制火力、安排上菜順序、調(diào)配廚師時間的后廚總管。沒有總管鍋再好也只能做一道菜做不了整桌宴席。1.2 一張補(bǔ)全硬件弱點的軟件底版硬件設(shè)計師在流片時會做很多取舍算力做得高內(nèi)存帶寬可能就會卡脖子通用性做得強(qiáng)單位功耗的性能可能就不好看。芯片一旦成型很多硬件層面的“性格缺陷”就改不了了只能靠上層軟件去補(bǔ)。常見到需要軟件去補(bǔ)的東西我隨手就能列出一堆內(nèi)存層次很淺多級Cache缺失需要引擎盡可能讓數(shù)據(jù)待在最靠近計算單元的地方。計算單元之間的同步機(jī)制原始通常只有事件和信號量需要引擎來編排異步執(zhí)行順序。不同算子對數(shù)據(jù)排布格式有不同偏好NCHW和NHWC混用需要引擎在中間做布局轉(zhuǎn)換。多芯片多卡通信時集合通信的拓?fù)浜颓蟹植呗砸残枰鎭斫y(tǒng)一規(guī)劃。所以你會發(fā)現(xiàn)真正能支持一個模型高效跑起來的從來不是一塊芯片而是一整套把芯片能力接住、補(bǔ)齊、放大、交付出去的軟件底版。這塊底版設(shè)計得好不好才是很多AI項目能不能落地的分水嶺。2. 引擎的真正心臟圖編譯、算子庫、運行時三者的協(xié)作機(jī)制2.1 圖編譯把模型切成硬件認(rèn)識的原語圖編譯簡單說就是把深度學(xué)習(xí)模型的計算圖從框架側(cè)那種偏邏輯描述的形式逐步降級成硬件能直接執(zhí)行的原語序列。這個環(huán)節(jié)通常分好幾層來做不是一步到位的大概流程可以理解為下面這張圖graph load_model(attention_model.onnx) # 第一輪形狀推導(dǎo)和信息補(bǔ)全把每個中間張量的維度、數(shù)據(jù)類型標(biāo)出來 graph infer_shape(graph) # 第二輪布局轉(zhuǎn)換把模型里不適合硬件訪存的格式調(diào)整為硬件偏好格式 graph layout_convert(graph) # 第三輪圖優(yōu)化尋找可以融合的算子組合減少內(nèi)存搬運和內(nèi)核啟動開銷 graph fuse_patterns(graph, patterns[conv_bn_relu, transpose_conv]) # 第四輪圖切分將圖分配到不同設(shè)備并插入跨設(shè)備通信原語 graph split_for_device(graph, device_count8)很多新手不理解為什么不能直接把模型“一股腦”扔給芯片。核心原因是芯片的執(zhí)行粒度太小模型里一個Conv層在芯片上要展開成循環(huán)、矩陣分塊、數(shù)據(jù)搬運、累加等多個階段。圖編譯的作用就是把框架層的“大算子”拆成硬件層的“小原語”同時盡量保留可以合并、可以跳躍的機(jī)會。我實際做圖編譯時最大的體會是這一層的核心難點不在“翻譯”而在“翻譯之后還能不能找回語義”。一旦你把多個算子融合成一個自定義大算子就必須保證反向傳播、斷點調(diào)試、算子性能分析這些工具還能看明白這張圖。否則模型能跑但出了問題誰也查不了。2.2 算子庫與自動生成性能的長期底座圖編譯把圖變成原語序列之后真正干活的還是算子。算子庫的質(zhì)量直接決定性能上限。早期做AI芯片軟件棧團(tuán)隊往往會把大量精力放在人工調(diào)優(yōu)常用算子上卷積、矩陣乘、歸一化、池化、Softmax一個個手工寫匯編或內(nèi)聯(lián)匯編。但人工調(diào)優(yōu)有一個天花板算子太多、Shape組合太多。同一個卷積可能輸入是四維、五維可能是1x1、3x3、7x7可能是普通卷積、空洞卷積、轉(zhuǎn)置卷積??咳耸秩ジ采w所有場景根本不現(xiàn)實。所以現(xiàn)在的主流做法是“人工高優(yōu)算子做標(biāo)桿 自動生成工具做兜底”。自動生成工具的思路是先定義一個算子描述語言描述輸入輸出的形狀關(guān)系、計算邏輯和數(shù)據(jù)布局然后由工具根據(jù)目標(biāo)芯片的寄存器數(shù)量、向量寬度、存儲層級去搜索最優(yōu)實現(xiàn)。這個搜索空間非常大經(jīng)常需要用到代價模型和啟發(fā)式規(guī)則去剪枝。這中間有一個我特別想提醒的點自動生成出來的算子經(jīng)常在“中等Shape”下表現(xiàn)很好但在極小的Shape下反而會打不過人工調(diào)優(yōu)版本因為它生成的代碼前綴開銷太大。我們在做算子分發(fā)時不能只按算子類型去選擇內(nèi)核還要按實際Shape、對齊條件、是否動態(tài)Shape去做多層分發(fā)。2.3 運行時調(diào)度把資源和執(zhí)行順序安排明白編譯完成之后運行時負(fù)責(zé)把“計劃”真正執(zhí)行起來。它管理的東西包括內(nèi)存池、任務(wù)隊列、事件同步、設(shè)備間的通信編排。很多人會覺得運行時只是個“執(zhí)行器”沒什么技術(shù)含量實際恰恰相反。一個常見的性能殺手是內(nèi)存碎片。AI模型執(zhí)行過程中要頻繁申請和釋放中間張量如果運行時直接依賴底層系統(tǒng)級內(nèi)存分配速度會慢得讓人崩潰。所以一個合格的引擎會在啟動時預(yù)先申請一大塊設(shè)備內(nèi)存然后自己做池化和分配策略把常用張量的生命周期盡量重疊減少實際分配次數(shù)。另一個坑是異步執(zhí)行。為了隱藏數(shù)據(jù)傳輸延遲引擎會把計算和數(shù)據(jù)搬運放到不同的執(zhí)行流上。這時候如果沒有合理的事件依賴關(guān)系就可能出現(xiàn)計算結(jié)果還沒算完就開始拷貝數(shù)據(jù)的情況。我們內(nèi)部就出過這種問題某些結(jié)構(gòu)跑一萬次才偶現(xiàn)一次運行錯誤排查難度極高最后發(fā)現(xiàn)是事件同步漏了一條支路。最理想的運行時應(yīng)該讓開發(fā)者感覺不到它的存在所有資源管理都在引擎層自動完成??上КF(xiàn)實是越接近性能極限運行時的存在感就會越強(qiáng)。3. 性能優(yōu)化最大性價比算子融合是怎么把速度“摳”出來的3.1 算子融合前必須讀懂的執(zhí)行模型我做了這么久異構(gòu)計算如果要挑一個性價比最高、最常被提及的優(yōu)化手段那就是算子融合。算子融合看著簡單就是把多個算子合并成一個算子但它背后的收益邏輯遠(yuǎn)不止“少調(diào)幾次接口”這么簡單。先看一次完整算子執(zhí)行的代價拆解啟動開銷內(nèi)核從CPU端提交到設(shè)備端創(chuàng)建任務(wù)、分配上下文通常有幾十微秒級開銷。讀數(shù)據(jù)從片外內(nèi)存把輸入讀到片上。計算在計算單元上做實際運算。寫回把結(jié)果寫回片外內(nèi)存。當(dāng)兩個算子串行執(zhí)行時第二個算子還要再把第一個算子的輸出從片外讀一遍。以卷積加ReLU為例未融合時Conv輸出寫回片外內(nèi)存RelU再讀出來白白浪費一次帶寬。模型越深這種浪費越夸張。未融合Conv - (寫回片外) - ReLU - (寫回片外) 融合后ConvReLU - (只在片內(nèi)搬運數(shù)據(jù)最終寫回一次)所以融合的本質(zhì)是把中間結(jié)果留在片上Cache或寄存器里讓數(shù)據(jù)不被“折騰”回片外。這種精細(xì)的偷帶寬動作對AI芯片的加速效果非常明顯尤其帶寬吃緊的推理場景。3.2 常見融合組與格式化對齊的細(xì)節(jié)融合也不是見算子就合需要滿足形狀相同、依賴關(guān)系簡單、語義可保持等條件。常見的融合組有這么幾類融合模式說明收益來源Conv BatchNorm ReLU圖像網(wǎng)絡(luò)最經(jīng)典組合少寫回兩次片外減少內(nèi)核啟動MatMul Add Activation全連接網(wǎng)絡(luò)常用把偏置和激活融入矩陣乘Transpose Concat / Split處理數(shù)據(jù)搬運鏈減少中間布局轉(zhuǎn)換LayerNorm 量化 / 反量化注意力模型后處理減少低比特轉(zhuǎn)換開銷我特別想講的是數(shù)據(jù)格式對齊。很多模型本來跑得好好的編譯器為了迎合某個算子的硬件偏好會突然插入一個 Transpose 或 layout 轉(zhuǎn)換內(nèi)核。這個轉(zhuǎn)換本身也是算子也要讀寫一遍內(nèi)存。在某些情況下轉(zhuǎn)換引入的開銷比優(yōu)化省下來的還多。我們做圖優(yōu)化時有一個原則布局轉(zhuǎn)換不能局部地看必須放到整個圖里去評估。一個 Transpose 放在圖的哪個位置、后面的算子能不能吸收它都必須通過代價模型來判斷。如果只看單一算子而忽略整體數(shù)據(jù)流很容易陷入局部最優(yōu)。3.3 量化與內(nèi)存對齊對編譯決策的影響推理場景進(jìn)來之后低比特量化成了繞不開的話題。INT8算子通常需要輸入張量在某個對齊邊界附近還要額外插入量化參數(shù)縮放。這些量化反量化算子天然會把一段連續(xù)的計算鏈“切開”導(dǎo)致后面想融合也無從下手。比如一個常見的注意力結(jié)構(gòu)里Q/K/V做矩陣乘之前要各自做量化Softmax之后又要反量化。如果圖編譯的融合策略只考慮了高精度算子那么這些低比特轉(zhuǎn)換點就會把圖切成很多碎片造成大量片上片上搬運。另一個被忽略的問題是內(nèi)存對齊。芯片內(nèi)部有些存儲體是按固定容量組織的比如某些加速器的SRAM一次只能訪問32字節(jié)對齊的數(shù)據(jù)。如果張量最后的維度不是對齊的算子內(nèi)核就會產(chǎn)生大量“壓包”和“解包”操作。這個問題在動態(tài)Shape里尤其嚴(yán)重因為編譯期根本不知道運行時Shape的具體值沒法做精確對齊只能按最大可能預(yù)留內(nèi)存利用率就會下降。我的建議是圖編譯器和算子層必須共享同一套對齊規(guī)則編譯期在插入布局轉(zhuǎn)換時就要把對齊信息算清楚而不是把這個問題拋給算子內(nèi)核去臨時處理。4. 從訓(xùn)練到推理、從云端到端側(cè)架構(gòu)設(shè)計必須做好的“三邊適配”4.1 訓(xùn)練、推理對引擎的不同需求很多人以為引擎只要能跑模型就行訓(xùn)練和推理差別不大。實際上這兩類場景對引擎的需求差異非常大。維度訓(xùn)練場景推理場景精度類型FP32、BF16為主容忍范圍嚴(yán)格INT8、FP16為主精度預(yù)算靈活圖規(guī)模大圖、動態(tài)Shape、反向邊復(fù)雜圖通常固定越小越好批量大Batch追求吞吐單請求延時要低Batch常為1錯誤容忍出錯必須報錯不能跳過偶錯可容忍更看重穩(wěn)定我見過最典型的問題是把訓(xùn)練側(cè)的編譯策略直接搬去推理側(cè)用。訓(xùn)練圖有反向邊、有中間梯度張量圖結(jié)構(gòu)復(fù)雜推理圖是前向圖很多中間結(jié)果根本不需要保留。如果引擎不區(qū)分這兩類圖就會保留大量無用的中間輸出白白浪費顯存和帶寬。推理側(cè)還有一個更“心機(jī)”的優(yōu)化點把Batch設(shè)為1的靜態(tài)圖做極致特化。Batch為1時很多矩陣乘可以退化成向量化更好的形式內(nèi)存訪問模式也完全不同。做推理部署時我們經(jīng)常會根據(jù)具體Batch值重新編譯一份特化圖效果比通用圖要好不少。4.2 動態(tài)Shape與靜態(tài)圖的平衡動態(tài)Shape對圖編譯器來說是一個長期痛點。做靜態(tài)圖優(yōu)化時所有張量維度都是確定的編譯器可以提前算好內(nèi)存偏移、規(guī)劃好循環(huán)展開方式。但一旦Shape是動態(tài)的很多東西就只能在運行時才能決定圖編譯器不得不插入大量運行時判斷邏輯。這里有個關(guān)鍵設(shè)計選擇到底是“一個動態(tài)圖硬跑”還是“根據(jù)常見Shape提前特化幾份版本運行時最接近的復(fù)用”我們后來的做法是采取混合策略引擎先把模型的輸入Shape分成幾種典型模式比如圖像分類常見到224、224注意力模型常見到序列長度128、256、512。編譯期針對這些常見Shape生成特化圖并把編譯結(jié)果緩存下來。運行時如果遇到緩存里沒有的新Shape再走一遍動態(tài)編譯流程。這種策略在推理服務(wù)里效果很好九成以上的請求都能命中緩存。但這套方案的代價是代碼復(fù)雜度陡增。緩存命中率、內(nèi)存占用、失效清理這些都是需要細(xì)致處理的工程問題。很多團(tuán)隊裁掉這些點只在方案PPT里寫“支持動態(tài)Shape”上線后才發(fā)現(xiàn)頻繁重新編譯把延遲拉爆了。4.3 端邊云統(tǒng)一部署的取舍一個架構(gòu)引擎如果能同時覆蓋云端和邊緣端是很加分的賣點。但云端和端側(cè)的限制條件完全不同云端芯片算力強(qiáng)、內(nèi)存充足、功耗不是首要約束端側(cè)芯片算力弱、內(nèi)存小、功耗敏感還要考慮相對嚴(yán)苛的散熱條件。為了兼顧兩端引擎通常會把“編譯目標(biāo)”和“運行時環(huán)境”解耦。云端編譯端側(cè)模型把編譯產(chǎn)物放到端側(cè)執(zhí)行端側(cè)只保留一個很小的運行時。這個策略聽起來很美落地時卻有一堆細(xì)節(jié)端側(cè)內(nèi)存池大小怎么定云端編譯期不能完全預(yù)知端側(cè)的運行水位。端側(cè)算子庫不能覆蓋所有算子編譯時就要做算子可用性檢查。端側(cè)的批處理、多模型并發(fā)策略和云端完全不一樣統(tǒng)一調(diào)度框架很難同時討好兩邊。我們在實踐中的體會是不要一開始就追求全場景統(tǒng)一先把一個場景做透再把核心抽象層抽出來擴(kuò)展。統(tǒng)一架構(gòu)是目標(biāo)但不該是第一步。5. 實際排障日記一個算子適配問題暴露出的編譯鏈路短板5.1 問題浮出模型在某個硬件上偶發(fā)性性能驟降有一次我們在一個偏重圖像分類的模型集上做了性能回歸結(jié)果很順利大部分模型都能達(dá)到預(yù)期加速比。但后來加入一個新結(jié)構(gòu)的模型在同樣的芯片上端到端延遲比預(yù)期高了差不多40%。一開始大家都很困惑因為單獨看每個算子的耗時都挺正常的沒有哪個算子像“罪魁禍?zhǔn)住?。更討厭的是如果把模型輸入稍微改小一點比如把分辨率從224改成224但這個頭的維度不同性能問題就消失。典型的偶發(fā)性能事故最讓人頭疼。5.2 定位鏈路從框架到運行時的換段排查我們當(dāng)時沒有急著改代碼而是先做了一輪層層切分關(guān)閉圖優(yōu)化再跑一遍。如果性能差距縮小說明問題出在圖優(yōu)化/融合階段而不是單個算子內(nèi)部。打開引擎的圖Dump把編譯前后的計算圖導(dǎo)出來對比算子的數(shù)量和類型。用Profiling統(tǒng)計每個kernel的執(zhí)行時間和內(nèi)存搬運量重點看有沒有異常的Transpose或Copy操作。對比Shape推導(dǎo)前后的張量維度變化找出哪個階段插入的額外轉(zhuǎn)換。最后Profiling結(jié)果指向了一個很奇怪的點網(wǎng)絡(luò)某一段里出現(xiàn)了一大一小兩個連續(xù)的Transpose前面那個還拖著一個把它輸出寫成“非連續(xù)內(nèi)存”的標(biāo)記。后續(xù)算子為了讓數(shù)據(jù)變得連續(xù)又插入了一次“轉(zhuǎn)連續(xù)”的拷貝操作。這兩個操作疊加起來在某個具體的頭部結(jié)構(gòu)里引發(fā)了跨核訪存的沖突延遲直接翻倍。一句話總結(jié)問題根因底層算子匹配器只按固定的數(shù)據(jù)布局模式去匹配卷積算子忽略了這個模型里特有的布局路徑圖優(yōu)化階段又沒有一個“布局轉(zhuǎn)換吸收”的規(guī)則去消化它導(dǎo)致引擎不得不在運行時用兩個額外的復(fù)制算子去兜底。5.3 最終根因與修復(fù)后的復(fù)盤心得修復(fù)其實不算復(fù)雜我們新增了一條布局轉(zhuǎn)換的優(yōu)化規(guī)則讓編譯器在面對類似結(jié)構(gòu)時優(yōu)先選擇可以吸收轉(zhuǎn)換的算子組合并在圖變換階段做全局?jǐn)?shù)據(jù)布局規(guī)劃而不是每次插入Transpose都是局部的即時行為。這個坑給我們團(tuán)隊留下了三個認(rèn)知層面的教訓(xùn)圖編譯器不能只對“標(biāo)準(zhǔn)模型”做優(yōu)化必須覆蓋真實世界里的各種“踩邊”結(jié)構(gòu)。布局轉(zhuǎn)換的代價必須納入全局代價模型局部最優(yōu)的插入很可能是全局災(zāi)難。性能回歸測試不能只看端到端時間還要定期檢查圖中的Transpose、Copy等“灰色算子”數(shù)量是否膨脹。這種問題在PUBLIC題里很難被看到但恰恰是AI軟件棧工程里最常見的深水區(qū)。編譯優(yōu)化鏈路越長任何一個環(huán)節(jié)的疏忽都會在運行時被放大。6. 判斷一個計算架構(gòu)是否“核芯”的經(jīng)驗尺度6.1 先看接口抽象再看性能指標(biāo)每次有人讓我評價某個AI計算架構(gòu)好不好我第一反應(yīng)都不是看它的Benchmark有多漂亮而是看它給開發(fā)者提供的接口抽象是不是清晰、能不能站在開發(fā)者的角度思考問題。一個合格的引擎應(yīng)該有四層基本接口圖接入接口、算子開發(fā)接口、運行時控制接口、性能分析接口。如果這四個接口設(shè)計得清晰開發(fā)者想接入新模型、寫新算子、查性能瓶頸都能很快上手。反之如果接口語義混亂哪怕性能再強(qiáng)也只是實驗室里的漂亮數(shù)字根本沒法產(chǎn)品化。我特別看重算子開發(fā)接口。因為在實際項目里總有標(biāo)準(zhǔn)算子庫覆蓋不了的奇怪結(jié)構(gòu)。如果自定義算子這套體系足夠簡單團(tuán)隊自定義算子的成本就會低很多如果接口復(fù)雜到要懂各種硬件細(xì)節(jié)那優(yōu)先選擇標(biāo)準(zhǔn)算子就會嚴(yán)重限制模型的自由度。6.2 兼容性與迭代策略計算架構(gòu)引擎最大的噩夢是“今天能用明天就崩”。芯片迭代、AI框架版本升級、模型結(jié)構(gòu)演進(jìn)任何一個變化都可能讓之前的優(yōu)化全部失效。一個穩(wěn)定的引擎必須做到向后兼容和可回退。我們實踐里的做法是會為每個圖優(yōu)化注冊一個“規(guī)則ID”每次編譯時會把整個優(yōu)化鏈路版本記錄下來方便定位問題。同時還要求所有優(yōu)化規(guī)則必須是可禁用的方便在問題出現(xiàn)時快速縮小范圍。迭代策略上也有一條重要經(jīng)驗不要為了趕新功能而頻繁改動核心圖變換架構(gòu)。圖變換是引擎的“高速公路”一旦改錯所有到這條路線的性能都會崩盤。更穩(wěn)妥的做法是在旁邊修“輔路”先做小范圍驗證再逐步切換主路流量。6.3 對真實模型和長尾場景的支持度一個引擎值不值得信最終看它對真實模型和長尾場景的照顧程度。很多公開樣例模型都是被調(diào)得干干凈凈的不存在動態(tài)控制流、不存在奇怪的Padding、不存在內(nèi)存布局沖突。真實世界的模型簡直千奇百怪有的用了多重嵌套控制流有的張量維度是3維或6維有的算子輸出被反復(fù)重新解釋成不同形狀。這些場景才是引擎試金石。我們后來定了一個例行動作每周從線上灰度模型里隨機(jī)抽樣幾十個放進(jìn)離線回歸環(huán)境跑一遍全流程。這么做不為別的就是防止引擎出現(xiàn)“只認(rèn)識優(yōu)化過的樣例認(rèn)不出真實世界”的傲慢。一個真正有生命力的計算架構(gòu)引擎不應(yīng)該只對榜單負(fù)責(zé)。7. 給同樣在做AI軟件棧的同學(xué)的三個實操建議7.1 先做窄而深的垂直打通再做橫向抽象剛接觸AI計算架構(gòu)的人很容易一上來就規(guī)劃一個大而全的引擎想著框架接口、圖編譯、算子庫、運行時全都一網(wǎng)打盡。這種項目十有八九會爛尾因為每一層的復(fù)雜度都超出預(yù)期任何一個子系統(tǒng)都夠一個團(tuán)隊消耗一整年。更務(wù)實的路線是先選一條極窄的垂直場景比如只做某一個視覺模型的推理優(yōu)化把這個模型從接入、圖編譯、算子調(diào)優(yōu)到運行時交付的整條鏈路徹底打通。這條鏈上踩過的每一個坑都會讓你對引擎的設(shè)計邊界有真正體感。打通之后再做抽象把通用部分抽出來擴(kuò)展比憑空設(shè)計一套架構(gòu)要可靠得多。7.2 盡早建立Profiling基線別等性能崩了再去查性能問題最怕的不是難查而是沒有基線。如果你不知道某個算子在硬件上理論能跑多快、不知道數(shù)據(jù)搬運在整條鏈路里的延遲分布那么性能一降你連“降在哪”都說不清。我們的做法是做完任何一個優(yōu)化后立刻記錄三組數(shù)字端到端時間、算子總耗時、各階段數(shù)據(jù)搬運耗時。這三組數(shù)字長期保存下來后續(xù)每次優(yōu)化都跟歷史基線對比。哪怕優(yōu)化失敗也能快速知道失敗發(fā)生在哪一層。Profiling工具鏈不是優(yōu)化完成后再配的它應(yīng)該是引擎開發(fā)第一天就要有的組成部分。7.3 把回歸用例寫進(jìn)CI用自動化封住長尾問題的口子排障越多越會發(fā)現(xiàn)大部分性能回退不是“大改進(jìn)”造成的而是某個小改動讓一條長尾路徑發(fā)生了意料之外的連鎖反應(yīng)。這種問題靠人工Review很難攔住真正有效的手段是把回歸用例硬化成CI門禁。我把融合、布局轉(zhuǎn)換、動態(tài)Shape、多設(shè)備切分這些高風(fēng)險路徑都做成了一組模板測試每次代碼合并前必須全部跑過并給出性能基線差值的報告。如果某次改動讓某個關(guān)鍵場景延遲增加超過5%CI就會直接攔下。這套機(jī)制初期投入不小但它省掉了我們后來幾乎所有“半夜上線事故”的麻煩。說實話做AI計算架構(gòu)軟件棧最迷人的地方不是某個算子能跑多快而是你能站在框架和硬件中間把一層層的抽象打磨得嚴(yán)絲合縫讓模型開發(fā)者感受不到芯片的存在。這種感覺只有真正在那里熬夜調(diào)過Profiling、看過圖Dump、為一兩個百分點的性能反復(fù)權(quán)衡的人才會懂。希望這篇把引擎拆開講的筆記也能讓你對這條“芯”路上的風(fēng)景有個更清楚的認(rèn)識。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
激情AV中文| 99热这里都是精品| 国产亚洲在线观看| 婷婷丁香六月天| 国产超碰av| 黄色激情久久| 另类小说五月天综合网| 26UUU精品一区二区| 91热99| 亚洲黄色影视| 丁香婷婷性久久| 99自拍视频| 婷婷成人五月天一区| 五月的色婷婷高潮| 丁香六月激情综合| 久婷婷色| 色婷婷色五月综合| se99视频| 综合激情四射一theav| 91精品国产91久久久久青草| 婷婷丁香激情| 99热在线播放| 五月丁香综合影院| 久久久精久人妻| 五月天婷婷7米| 久热这里| 国产激情在线| 五月天黄色激情小说| 生活片五区| 色婷婷成人做爰A片免费看网站| 99婷婷色| 色五月激情综合| 激情图片婷婷| 综合激情九月婷婷,激情综合婷婷中文字| 嫩草视频在线观看| 激情网五月| 97人人草| 色色色婷婷五月天| www.henhengan| 久久精品99| 婷婷五月天丁香久久| 超碰AV在线| 人人看人人草人人摸| 亚洲午夜视频| 久久综合五月| 激情综合色五月丁香六月亚洲| 久久ww| 中文字幕在线视频播放| 婷婷六月丁香久| 噜噜噜久久| 日韩无码专区| 蜜臀A∨在线水帘洞| 色色色色网| 丁香五月激情综合| 色九月| 天天操婷婷| 搡BBBB搡BBB搡五十| av在线观看网站| 婷婷综合五月色播| 成人午夜天| 久久婷婷热| 色五婷婷开心缴| 天天射影院| 婷婷免费无马| 综合色影院| 欧美天堂婷婷日韩| 玖玖精品资源| 亚洲欧洲中文日韩久久AV乱码| 天天综合网91| www.粉嫩av.com| 婷婷五月六月丁香| 日日操无码| 国内婷婷丁香社区在线播放| 久久xxxx| wwW天天干| 久久色区| 97久久视频| 色欧美影院| 1024在线视频| 99亚洲无码| 亚洲愉拍99热成人精品| 九九热区一区二区三区| 丁香五月五月婷婷欧美大香蕉| 五月婷婷开心综合| 亚洲五月丁香综合网| 国産精品| 婷婷五月天激情开心网| 久久综合五月婷婷| www.婷婷.com| 欧美va在线观看| 五月天色小说| 色婷婷丁香网| 久久久人妻系列| 中文字幕丰满孑伦无码专区 | 狠狠色综合久久久久| 99热 免费| 亚洲色网络| 九九亚洲综合| 五月丁香啪啪啪啪| 99 r热| 丁香婷婷基地| site:pzdcoin.com| 操91| 五月丁激情| 在线只有精品| 九九视频精品在线免费| 激情AV网| 欧美综合激情五月天| 伊人综合网站| site:feetmall.com| 日本不卡高字幕在线2019| 午夜理论片最新午夜理论剧| 五月天婷婷综合网| www.久久五月天.com| 99亚洲精品视频| 婷婷婷婷婷婷婷五月丁香| 99热欧| 婷婷五月天福利| 男女av免费看| 成年人最刺激的综合网| 色婷婷大香蕉| 丁香五月激情综合| 午夜]香婷婷深深爱| 色永久| 91精品久| 97资源欧美日韩大香蕉超碰一区| 无码人妻激情| 激情婷婷五月天| 这里只有精品99视频| 天天肏夜夜肏| 丁香六月激情蜜桃| 丁香五月综合久久综合| 色色五月婷婷| 六月婷婷狠狠色在线观看| 大地9中文在线观看免费高清| 婷婷五月免费观看| 五月天婷婷丁香人人操91| 狠狠xx| 97黑人精品区| 91婷婷| wwwxxx五月婷婷小说| 97碰碰草| 手机旧版看人妻1025| 91人人操人人爱| 成人午夜无码视频| 五月四色色| 日韩不卡123| 99热久| 操逼毛片国语对白| 日本熟妇乱妇熟色A片蜜桃| 97韩国久久电影院| 色五月成人| 久久婷婷影院| ji'qi'luan'ren'lun| 一区三区视频有限公司| 九九性视频| 丁香五月婷婷影视先锋| 五月丁香婷婷久久| 激情网开心网| 色天堂A| 五月丁香色婷婷| 色色色.com| 黄色91在线观看| 久久激情五月| 婷婷色欧美激情| 婷婷五月天综合久久| 99在线精品视频| VA婷婷亚洲| 色婷婷色综合激情91| 色综合色| 这里只有久久精99| 再綫Av免费視品| 狠狠狠狠狠狠草| 五月丁香好婷婷A片网| 五月情丁香色| 色婷婷操逼网| 亚洲电影在线观看| www.婷婷六月天| 色婷婷六月综合| 成人人操| 影音先锋美国A| 九九热精品在线| www.粉嫩av.com| 日韩三十六页| 超碰久热| 日韩一级网站| 99久久综合精品五月天| 99精品网| 色婷婷五月天在线观看| 能看的av片| 99热99极品观看| 专区无日本视频高清8| 天天草天天摸| 99视频精品全部免费 在线| 色婷婷丁香社综合| 国产99久久久国产精品免费看| 久久激情天堂| 亚洲激情97五月天| 日本在线视频手机播放五月婷| 久久国产高潮白浆免费观看99| 久久人人妻| 99久久综合| 亚洲精品va| 99ri国产精品| 日韩成人中文| 丁香五月天堂| 国产操碰| 天天干天天日天天操| 天天上天天爽| 婷婷久久五月| 色香久久| 日本大逼91| 最近中文字幕在线中文视频| 九九热在线99| 久久久性爱视频| 婷婷精品性性性性性性性| 精品乱码视频| 色狠狠综合网| 色噜久| 成人做爰A片免费看网站找不到了| 综合激情开心五月| 91狠狠综合网| 97se视频在线| 五月婷婷丁香网| 日本精品人妻无码77777| 丁香婷婷五月综合色情| 天堂综合久久 | 色五月婷婷少妇人妻| 丁香五月婷婷激情尤物| 超碰免费电影| 国产激情一区| 久久精品凹凸分类| 日本乱子人伦在线视频| 五月天综合网| a网站免费观看| 99ri精品| www.五月婷婷久久.com| 9热精品| 综合久久五月天| 亚洲VA在线| 五月开心六月婷婷在线播放网站| 丁香六月天AV| 五月丁香在线视频观看| 婷五月天天| 九九热黄色| 99视频在线播放大全| 精品一区二区三区三区| 成人短视频免费| 色欲五月丁香| 婷婷九九色| 色综合久久久无码中文字幕999| 国产成人片| 丁香五月婷婷色综合基地| 337p大胆噜噜噜噜噜91Av| 婷婷六月视频| 九九婷婷综合| 国产激情AV| 丁香五月网址| 99色在线观看| 可以免费观看的av网址| 日韩 欧美 国产 一区 二区| 99在线免费视| 久久性爱网站| 色五开心五月五月深深爱| 天天操,夜夜骑| 五月丁综合在线观看| 五月天开心成人网| 思思精品久久艹| 欧美va| 五月丁香六月激情综合啪啪| 深爱激情AV| 天天狠狠婷婷在线| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 久久综合26p| 强伦轩人妻一区二区电影| 中文字幕AV在线播放| 91久久九久久九久久九久久九久久| 色婷婷成人五月| 色婷婷五月天天天干天天操天天爽| 开心五月婷婷激情网| 丁香五月天啪啪| 五月婷丁香花| 天天干天天日日| 婷婷丁香五月天综合网| 亚洲久久婷婷丁香五月天| 九九爱精品网站| 在线看片h站| av网站不卡在线| 国内一级片| 丁香五月影| 久久婷婷原创视频| 99久免费视频| 四虎成人精品永久免费AV九九| 六月婷婷综合| 欧美色播综合在线观看| 日日懆天天懆| 热久精品| 色九网| 婷婷久久丁香五月| 激情伊人五月天| 黄网在线播放| 久久九九Com| 婷婷丁香五月天操逼| 96色婷婷| 久久婷婷影院| 丁香婷婷六月天| 思思99热这里只有精品6| 色婷婷丁香中文在线播放| 丁香婷在线| 激情深爱五月| 777色色色| 色五月激情五月| 婷婷伊人欧美| 2017狠狠干| 91欧美| 精品无码人妻一区| avh片在线观看| 国产肥白大熟妇BBBB视频| 婷婷永久在线| 99日韩| 久久五月天大美女| 思思久热6| 色婷婷亚洲婷婷在线观看| 九色七七| 国自产拍偷拍精品啪啪一区二区| 丁香婷婷综合喷| 黄色一级影片| 九九热这里都是精品6| 婷婷激情啪啪| 色三级色三级| 一二线视频 另类| 青青草原爱爱网| 国产97色在线| 九九视频精品在线免费| 激情五月天婷婷五月天| 天天插天天爽| 久久青草国| 开心婷婷五月激情网小说| 亚洲成人网站在线播放| 亚洲美女婷婷五月天| 婷婷五月色综合| 99视频网址| 亚洲激情四射| 海外网站专业操老外| 91精品无码| 综合狠狠五月婷婷| 狠狠狠狠狠狠色| 国产看真人毛片爱做A片 | 99综合97| 久久丁香| 五月婷婷丁香六月在线| 色五月首页| 久久久婷婷五月天| 丁香六月综合激情| 99热九九在线| 欧美天天综合网站上去吧| 丰满熟女人妻一区二区三| 久久婷婷视频| 爆乳熟女一区二区三区爆乳| 天天开心AV色综合婷婷五月天| 99热色精品| 九九99久久| 大香AV| 五月天天天开心激情网| 999热在线视频| 丁香五月婷婷图片综合| 欧美日本韩国亚洲| 欧美日韩大黄| 97色操| 99热在线观看| 激情综合无码| 九九热视| www.婷婷com| 午夜丁香丁香婷婷| 婷婷六月色开 | 婷婷五月天手机版视频| 大香蕉综合在线| 丁香操逼| 丁香五月激情婷婷激情| 丁香五月天激情| 婷色综合| 激情都市五月天| 二色av| 亚洲啪啪精品| 五月天色裸体视频| 欧美69久成人做爰视频| 五月丁香狠狠爱| 五月婷婷开心五月| 五月丁香六月婷婷开心网| 婷婷久久大香蕉| 91色色色18| 色五月综合激情| 婷婷色婷婷| 欧美色99| 996er热| 操大屄五月天视频| 激情综合五月激情XXXX| 噜噜干日本| 开心五月婷婷伊人| 五月丁香亚洲综合网| 99热都是精品| 九九久久综合| 色色色国产| 婷婷激情人妻| 精品99在线观看| 色五月噜噜| 啪啪五月天啪啪| 色综合色色| AV在线观看网站| 99性爱| 超级碰碰碰久久网站| 激情网第四色| 五月天婷婷在线视频| 日本99在线视频| 五月天婷婷影院影院观看| 超pen个人视频97| 激情五月图| www夜夜操| 无码人妻电影| 99精品自拍视频| 99在线视频免费| 成人丁香五月天| 欧在线一区| 日本在线噜噜| 五月婷婷伊| 91干网| 99热99这里免费的精品| 影音 五月 婷婷 久久| 99爱最新免费视频在线观看| 疯狂做受XXXX高潮A片| 丁香婷婷六月天| 无码人妻少妇色欲AV一区二区| 他改变了拜占庭| 激情婷婷| 成人做爰A片免费看网站找不到了| 超碰在线免费| 色很很96| 欧美婷婷| 99热这里精| 色情婷婷五月天| 婷婷色婷婷亚洲成人| 亭亭五月色男人| 激情五月丁香五月| 婷婷亚洲天堂| 9999热这里只有精品| 综合久久五| 无月播播激情在线观看视频| 亚洲欧洲一二| 色综合天堂| 综激情网| 色情综合网| 伊人婷婷激情| 色婷婷激情视频| www.com五月天| CAOBIBI| 狠狠狠狠狠狠| 色五月琪琪| 五月天.com| 99热这里只有在线播放| 婷婷五月丁香综合瑟瑟| 久久99精品久久久久久噜噜| 日本综合久| 六月激情网| 色99久草在线| 天天插天天爽| 成人 在线 日韩| 婷婷五月天成人| 丁香五月激情站| 天天日日| 97色欧美| 五月天播播综合| 伊人在线另类| 亚洲啪啪网| 大功率国产在线| 全部老头和老太XXXXX| 婷婷五月天a| 91九色PORNY中文啦| 99九九视频| 26UUU| www婷婷色| 婷婷五月激情五月激情| 婷婷综合色色| AA片在线观看视频在线播放 | 玖玖热99| 激情五月综合网| 91婷婷五月天综合视频| 中文在线成人| 9999久久久久| 婷婷开心激情五月激情网| 日本九九视频| 亚洲精品无AMM毛片| 日本成人小说婷婷六月| 97精品在线| 六月丁香网| 99热99干| 婷婷五月综合在线| 在线视频九色97| 天天日日夜夜| 国产色婷婷亚洲| 99久久婷婷国产综合亚洲| 91seav| 综合在线丁香五月| 成人丁香色| 99热只有精品在线观看| 人伦30P| 第四色在线观看| 久久久久久久人妻| 五月婷婷影视| 久热精品视频在线观| 丁香五月亚洲综合| 丁香六月婷婷综合| 96丁香六月婷婷蜜桃综合久久| 亚洲综合在线伊人婷| 五月天啪啪网| 这里只有精彩视频| 天天插,天天射| 婷婷五月天色| 操操日韩| 精品香蕉99久久久久网站| 国产精品色婷婷久久久精品| 久久96热| 99精品视频免费在线播放| 九九热99精品| 中文字幕日本最新乱码视频| 久久九色| 五月天成人综合| 密乳视频| 99re熱| 色播激情| 亚洲日韩乱码一区二区三区四区| 五月丁香婷中文| 六月婷色六月| 九九精品在线视频观看| 日本3级片一区2区| 丁香五月瑟瑟| 另类图片五月天| 中文字幕丰满人妻无码专区| 五月婷婷开心丁香| 99在线观看亚洲| 97操碰人人| 一级AV片| 婷婷五月天堂| 久9久9久9久9久9久9| 99热这里只有精品搜| 婷婷伊在线| 婷婷综合激情| 91黄址| 狠狠色综合久久| 欧洲激情五月天婷婷| 久久色婷婷| 青青日韩| 久久性爱激情| 婷婷五月丁香五月基地| 俺也去五月婷婷丁| 狠狠色综合网| 99爱视频免费| www婷婷| 欧美超级视频97| 色五月天本日| 美女婷婷激情亚洲| 免费在线观看av网站| 99热精品免费| 婷婷五月天av| 五月丁香综合啪啪| 亚州操操| www.9797国产| 六月丁香网| 日日狠狠久久偷偷四色综合免费| 第六色在线| 凹凸7777操操操| 色色色国产| 亚洲色人妻| 最新AV在线观看| 国产偷人爽久久久久久老妇APP| 色色网站| 91热在线| 91玖玖| 色五月大| 免费AV在线| 五月天婷婷在线播放| WWW.99热| 看国产探花操逼三级片| 嫩草AV久久伊人妇女超级a| www.色婷婷。com| 亚洲热手机在线观看| 亚洲综合1024| 日韩综合网络男女香蕉a片| 久久久久8888| 91色五月| 99视频自拍| 五月香婷婷| 99九九精品| 久久久WWW| 99婷婷| 噜噜噜狠狠色综合| 久久综合爱| 九九香蕉网| 激情视频网址| 国产成人网| 婷婷天天色| 日本三级韩三级99久久| 99网| 67194中文在线| 月丁香久久久| 五月婷婷丁香啪啪| 久久作爱| 亚州精品色情无码A片| 99爱视频精品在线观看| 开心亚洲久久开心| 综合激情网| 婷婷播播五月天| 激情网五月婷婷| \\五月天婷婷激情| 婷婷五月丁香在线观看| 蜜桃婷婷丁香| 五月婷激情| 激情99| 五月天淫乱视频| 婷婷情色五月天| 99视频自拍| 99在线精品视频| 中文字幕日产A片在线看| 五月婷婷涩涩爱| 婷婷狠狠香蕉综合| www.久久99热地址发布| 免费AAAAA网| 天天射射夜| 丁香五月无码| 激情六月天| 狠狠色综合网站久久久久| 五月婷色| 在线超碰精品| 九九九九毛片| 99色1| www.久久av.com| 91视频一起草| 北京熟妇搡BBBB搡BBBB| 97性高潮久久久| 五月婷婷激情性爱| 高清无码 一区 二区 三区| 特级片神马电影| 999热这里只有精品| 色色色五月婷婷| 白人荫道BBWBBB大荫道| 在线看av| 色五月丁香总合网| 超碰熟女拍拍| 五月丁香成人网| 韩日另类| 激情亭亭五月| caobi四区| 激情婷婷五月社区| 思思久久精品| 久久精99| 婷五月天天| 国语精品探花| 五月天综合久久| 五月天另类小说久久小说网| 欧洲综合视频| 婷婷色五月久久| 色色亚洲| 丁香五月激动深爱欧美| 婷婷少妇激情| 婷婷五月丁香成人| 五月天激情网站| 久久五月天综合| 99re资源在线视频导航| 色999亚洲人成色| 99国产小视频| 色五月婷婷在线| 日韩成人影片在线观看| 色婷婷五月六月丁香综合视频| 伊人久久五月天综合| 99精品久久| 性爱网五月婷婷| 中文字幕永久免费| 国产三级秋霞| 五月婷视频| 五月香蕉婷婷| 日本在线噜噜| 九九热这里| 草榴视频黄色网| 99这里有精品视频3| 99热这里只有精品搜| 五月激情站| 美国不卡视频| 69er小视频| 日韩无码专区| 色原狠狠综合| 五月婷婷中文网| 在线99热| 亚洲av无码精品色午夜| 六月婷婷影院| 成人五月天丁香婷| 亚洲蜜桃精久久久久久久久久久久| 91丨九色丨熟女丰满| 久久思思热视频| 激情小说婷婷| 日韩精品呦呦va| 婷婷五月天综合小说网| 99热成人| 色婷婷色综合激情91| 99热这里只是精品| 久9视频| 色五月大香蕉婷婷| 五月婷婷丁香av| 天天干,夜夜爽| 九九婷婷综合| 五月婷婷开心网| 亚洲亚洲人成综合网络| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 九九亚洲综合| 色99在线观看| 猫咪伊人AV| 久久久月丁香| 天天日天天色| 免费观看亚洲AV片| 激情亭亭五月| 婷婷五月激情综合啪啪| 天天檫天天爽| 久久人妻熟女一区二区| 五月天色婷好好| 91久久五月天| 91疯狂操操操操| 九九九九这里只有精品| 少妇做爰免费视看片| 狠狠色丁香| 91操片| 超碰无码老师| 五月天婷婷高清无码| 欧美顶级少妇做爰HD| 在线国产精品色| 另类天堂| 久久久婷婷| 综合激情五月丁香| 婷婷五月天激情小说| 色婷婷亚洲五月天| 大香蕉人人网| 久久久久人妻精品| 99久久精彩视频| 色色亚洲视频| 好色婷婷| 色偷偷色婷婷| 丁香五月网址| 日本久热| 国产成人AV在线| 亚洲高清在线| 大香蕉久久| 泰州成人视频| 成人婷婷桔色| 国产精品人成A片一区二区| 99久久66| 成人做爰A片免费看视频| 丁香婷婷免费| 国产SUV精品一区二区883| www。五月天。com| 欧美成人在线观看| 色噜噜婷婷| 五月色婷婷夜色| 韩国激情五月天综合网| 色五月偷偷| 日本三级中国三级99| 婷婷六月啪啪| 亚洲婷婷五月天| 五月六月丁香婷婷在线观看| 婷婷色婷婷| 色婷綜合网| 激情综合色婷婷啪啪五月天| 五月丁香六月婷婷综合网站 | 久久九九@| 在线另类视频| 日本天天色| 亚洲开心激情网| 91操黄| 思思久久精品| 五月婷六月| 91操人| 亚洲思思热久| 婷婷五月激情图片| 狠色狠色狠色狠色狠色网| 激情六月婷婷啪啪| 五月婷婷视频在线观看| 色五月成人| 亚洲激情av| 五月天激情Av| 久久天堂女人| 色九亚洲| 立川无码av| 日本91在线播放| 五月丁香在线观看| 天堂A∨在线| 大香蕉啪啪网| 激情婷婷五月天日本系列 | 狠狠插狠狠操| 五月丁香婷色| 狠狠色婷婷丁香五月| 91狠狠综合网| 五月天国产成人| 婷婷大香焦| 色99网| 午夜成人AV在线| 99天堂网| 99在线观看视频| 99玖玖免费视频| 国产av天堂| 99操逼| 大香蕉婷婷丁香天堂AV| 色狠狠色噜噜AV天堂五区| 26UUU欧美| 丁香五月91| 少妇人妻丰满做爰XXX| 五月婷六月| 久久99这里只有精品| 婷婷操无码| 色碰碰| www.爱操com.| 涩涩婷婷五月| 99这里都是精品| 天天插天天插天天插| 九九综合| 国产精品黑丝| 婷婷色五月天在线观看| 久久婷婷五月综合色丁香| 99热免费精品| 激情综合色五月丁香| 婷婷六月丁香欧美视频在线| www.五月婷婷久久.com| 伊人高清无码| 色五月丁香五月| 国产乱妇乱子伦| 日本69日人视频| 久草免费福利视频| 日日天天干| 五月婷婷片| 久久黄色网扯| 99干99| 亚洲区视频| 色婷婷五月天激情久久| 欧美日韩成人| 色色色视频免费无码| 青青草a在线| 久久久亚洲精品一区二区三区浴池| 五月激情丁香久久综合网| 久热黄色| 狠狠色大香蕉| 伊人丁香婷婷东京| 日日杆天天| 大香久久综合网| 人妻综合网| 丁香五月欧美激情| 欧美成性色| 大香婷婷| 国产乱妇乱子在线播视频播放网站| 69色婷婷| 五月丁香激情欧洲啪啪| 九九热在线亚洲免费视频| av线电影| 99色嘟嘟精品网站| 五月天综合网| 婷婷五月天狠狠色| 九九久久视频| 激情五月综合视频| 色欲九区| 狠干综合| 桃色五月婷婷| 综合五月天| 99玖玖免费视频| 九九九九这里只有精品| 爱草视频在线观看| 国产欧美日韩性爱| 91久久综合| 久久久人妻| 婷婷五月天影视| 7月婷婷六月丁香| 97资源碰碰在线| 国产探花一片区| 国产午夜精品一区二区三区四区| 五月天婷婷色综合| 色婷婷www| AV性爱网| 午夜丁香五月天综合| 伊人成人宗合网| 久久网站免费亚洲| 伊人激情啪啪| 婷婷趴趴| 色综合9| 欧美成人精品A片免费一区99| 色婷婷小说| 深夜男女福利刺激影院一区完整| 播播网色播播| 激情网狠狠干| 激情无码五月天| 色九月婷婷| 超碰成人在线观看| 9l视频自拍九色9l视频在线观看| 五月婷视频| 中文字幕丰满孑伦无码专区| 超碰在线人妻| 亚洲综合久| 九热免费视频| 婷婷丁香五月婷婷| www.ppypp| 日日狠夜夜狠| 五月激情丁香| 狠狠狠狠狠草| 五月天欧美激情| 激情五月综合ì香亚洲| 五月天欧美 另类小说| 婷婷久久婷婷色五月| 七七九九色色| 久久亚洲婷婷综合色五月| 亚洲精品va| 91超级碰碰碰| 婷婷五月天色| 99热成人永久免费| 亚洲精品视频在线播放| 九九人人操| av大香蕉| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 激情又色又爽又黄的A片| 成人无码精品1区2区3区免费看| 色五月综合| 女人高潮内射99精品| 婷婷五月天激情小说| 被男人添B超爽视频| 色婷婷狠狠| 成人做爰A片免费看视频| 日本欧美成人片AAAA| 国产肥白大熟妇BBBB视频| 五月婷视频| 97高清国语自产拍| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 久久精品视频在这里有| 色综合激情| 五月婷婷免费看| 99久在线精品99re8| 国产激情在线| 丁香五月天堂| 五月激情综合网| 国产AV熟妇人震精品一品二区| www,婷婷,com| 色吊丝99| 亚洲成人综合网在线免费观看| 停停综合色色| 九九热自拍| 综合大香蕉| 五月婷婷六月丁| 狠狠色激情综合| 另类五月激情| 日本99在线| 激情www| 婷婷午夜| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 五月天婷婷久久| 成人做爰高潮A片免费视频| 99热传媒| 久久婷婷久久| 五月丁香婷婷无码中文| www色中色综合| 五月综合视频| 丁香六月综合激情| 免费看欧美成人A片无码 | 欧美槡BBBB槡BBB少妇| 久热精彩视频98| 婷婷97碰碰| 欧美日韩大黄| 丁香五月六月激情久久| 青青草激情网| 丁香五月人妻| 日本欧美成人片AAAA| 久久婷婷五月综合网| 婷婷五月天丁香社区| 丁香激惜男女| 九九精品在线观看视频6| 另类激情综合| 99精品国产乱码久久久人妻| AV在线二十六页| 久久久久久激情| 99这里只有免费的精品| 无码 色| 91狠狠色| 91狼友视频在线观看| 超碰资源在线| 中文字幕日韩无码制服诱或| 婷婷五月天激情电影小说| 日本九九视频| 成人综合网站| 久久加勒比| 五月激情四射婷婷丁香 | 四射综合网| 天天插天天狠| 五月婷色激情五月| 99色综合网| 亚洲狠狠丁香婷婷香蕉| 天天日夜夜欢| 五月丁香婷婷婷婷综合网| 色天五月天在线观看视频| 狠狠狠狠狠| 激情丁香五月| 九九蜜臀精品| 激情五月婷婷丁香| 色五月婷婷网| 99热999| 26UUU成人网| 韩国天天婷婷| 五月亭亭开心网| 激情婷婷丁香色五月| 色色网站观看| 久久99热这里只频精品6学生| 国产精产国品一二三在观看| 欧美 日韩 成人| 五月色情婷婷开心五月色情| 欧美激情五月天| 亚洲无AV在线中文字幕| 欧美色99| 99爱免费视频在线观看| 五月天色色网站| 婷婷五月丁香四射| 99热99成人| 五月婷婷啪啪综合网| 超碰91在线| 亚洲天堂玖玖| 五月深爱婷婷| 丝袜人妻| 亚洲精品**不卡在线播he| 四色综合网| 玖玖热视频| 国产毛片欧美毛片久久久 | 婷婷五月色| 97热超碰| www.五月激情.com| 97色色综合| 国产全是老熟女太爽了| 丁香花五月天激情| 99热6精品| 天天综合精品| 97人人看| 99九九精品| 日本少妇裸体做爰高潮片| 黄久久久| 六月 丁香 视频| 99国产精品久久久久久久久久久| 丁香色六月婷婷| 青青草原精品久久| 五月天婷婷成人网| 婷婷精品免费久久| 激情综合一| 99视频综合网| 天天拍天天做视频| 久久久婷| 久久久久99精品成人网站| 99综合激情久久精品久久| 99∨VTV| 91碰| 久久久27操| 色都都狠狠色都都色综合色| 色播五月丁香综合| 狠狠操狠狠| 亚洲综合一区二区| 久久色情综合免费网站| 丁香8月手机综合| 99色精品视频| 五月停亭六月,六月停亭的英语| 色色999三级片| 玖玖资源网站最新站| www久| 婷婷五月天成人在线视频| 久99久精品视频| 亚洲成人无码免费| 丁香五月婷婷激情蜜桃| 色婷婷精| 99热视精品| 日本美女97在线视频| 五月激激网w'w'w| 五月色综合| 天天插天天狠| 99热这里只有精彩| 综合久久五月天| 五月天婷婷免费| 9精品一区| 综合激情综合啪啪| 久久婷婷视频| 国产激情AV| 天天色天天| 欧美熟妇一区二区三区| 婷婷五月天亚洲综合| 日本三级成人秘书精品片| 九九热这里只有精品7| 开心激情综合| 五月天丁香| 五月色婷婷在线观看| 性视频久久| 丁香密臀AV激情网| 不卡影院午夜理论片| 亚洲 在线 另类| 日韩精品999| 天天舔天天爽| 久久玖玖99| 麻豆123区| 九色啦蜜臀| www.综合久久| 色婷婷五月天久久| 丁香五月天激情四射网| 婷婷在线激情| 人人操 色| 国产婷婷综合在线免费视频| www. 五月. com| 97操碰| 丁香五月天大香蕉啪啪| www.丁香黄色五月天人与| 蜜臀久久99精品久久久久久酒店| 六月丁香啪| 国产人妻777人伦精品HD| 深爱激情九九五月天| 九九亚洲| 天堂婷婷丁香六月网| 色www99| 九九99精品视频在线观看| 狠狠色婷婷7777久综合| 激情第四色| 婷婷性爱网| 99热这里只有精品55| 激情综合五月色在线| 9色91视频| 懂色AⅤ| 亚洲xx在线| 五月天色丁香| 99免费热视频在线| 国产 码在线成人网站| 欧美丁香六月在线观看视频| 国外亚洲成AV人片在线观看| 99热精品9| www.91AV.COM| 99久热在线精品| 成人五月天综合网| 日韩在线观看网址| www,五月天激情| 色婷婷玖玖影院| 久久婷婷五月综合啪| 爱射综合| 成片免费播放| 色情一区二区播放| 五月天色站| 99色天堂| 丁香五月视频在线观看| 天天久综合网永久入口18| 狠狠狠狠狠干| 97中文在线| 乱精品一区字幕二区| 99视频这里有精品免费观看| 色婷婷色| 色爱亚洲| 五月天色在线| 五月激情婷婷四射| 99久久久免费| 1995年关宝慧版蜘蛛女| 久久日曰| AV九九| 五月婷婷六月激情网| 五月亭大香蕉| 久久99网| 五月婷婷亚洲综合网| 国内在线99视频| 五月色色色| 少妇久久诱惑视频| 激情AV中文| 91色久| 天天爽夜夜爽| 五月婷婷激情| 国产99久久久国产精品免费看| 日本丁香五月| 可以免费看av网站| 校园春色亚洲色| caop在线视频| 99色一| 精品亚洲国产成AV人片传媒| 伊人久久婷婷| 99re思思热久久| 天天色综合天天| 超碰成人在线免费观看| 五月丁香综合在线| 色亭亭五月天丁香综合AV - 百度 - 百度| 激情综合色| 伊人激情综合| 欧美激情综合| ji'qi'luan'ren'lun| 五月色在线| 婷婷五月综合免费在线| 涩五月婷婷| 亚洲第一第二网站| 色噜噜伊人| 中文字幕精品推荐免费在线观| 亚洲国产成人在线| 五月综合色播播丁香婷婷| 亚洲中文字幕AV| 国精产品一区一区三区免费视频| 日本天堂免费99| 欧美丁香六月激情视频| 丁香五月婷婷高清| 9久久精品| 亚洲综合另类| 精品少妇蜜臀91| 婷婷五月天激情四射| 97人人干。| 中文字幕丰满孑伦无码专区| 中文字幕精品在线观看| 久久66精品| 天天色天天搡| 色五月婷婷五月天激情综合| 欧美成人精品A片免费一区99| 深爱激情五月天| 色高清无码视频| 99性视频| 六月丁香激情| 综合99久久| 九九激情视频| 丁香五月婷婷色| 99精品综合| 五月丁香六月色| 插插五月天| 五月丁香久人妻中文| 玖玖婷婷五月| 亚洲精品白浆高清久久久久久| 丝袜人妻| 欧洲亚洲精品| 激情综合激情五月| 五月丁香婷婷啪啪| 久久婷婷激情久久| 六月婷婷色色网| 综合色图区| 日韩色五月| 天天色天天爱天天爱天天爱y| 狠狠干青青草| 五月天激情偷拍| 影音先锋一区二区三区| 丁香五月激动深爱欧美| 天天干天天插| 免费观看亚洲AV片| 色综色五月天婷婷| 天天草婷婷五月| 任你日视频| 色综合偷拍| 国产免费av网站| 极品少妇XXXX精品少妇偷拍| 99亚州综合精品成人网| 欧美精品啪啪| 26uuu国产| 婷婷成人综合五月| 91久久久久久| 久久五月天视频| 操97免费超级视频| 韩国97天堂| 伊久大香蕉| 国产成人AV不卡| 青草视频在线观看视频| 成人电影一区| 久久综合丁香| 亚洲熟妇无码乱子AV电影| 天天天干夜夜夜操| 99这里是精品| 色久免费| 婷婷色五月亚洲| 狠狠干综合| 99热老网站| 五月婷婷与六月丁香图片激情| 日本久久爽|