欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

寄存器分配與內(nèi)存訪問模型:pto-isa編譯器后端核心設(shè)計(jì)解析

寄存器分配與內(nèi)存訪問模型:pto-isa編譯器后端核心設(shè)計(jì)解析 1. 項(xiàng)目概述為什么要在 CACC 體系里單獨(dú)擰出“指令集后端”來說先說結(jié)論寄存器分配和內(nèi)存訪問模型是編譯器后端里最接近“物理真實(shí)”的一層。你寫的算子代碼再漂亮調(diào)度策略想得再周全最后都要落到“哪個值放哪個寄存器、哪條指令去讀寫哪塊內(nèi)存”這兩個問題上。CANN 這類異構(gòu)計(jì)算平臺算子最終要在加速器上跑而加速器不像 CPU 有一個成熟、統(tǒng)一的指令集各家各代的硬件差異很大所以“pto-isa”這種面向特定算子的指令集抽象就成了承接上層圖 IR 與底層硬件執(zhí)行之間的關(guān)鍵一層。很多人第一次接觸 pto-isa 時會有個誤區(qū)覺得它就是一個“指令手冊”照著編點(diǎn)匯編就行。實(shí)際遠(yuǎn)沒這么簡單。指令集設(shè)計(jì)只是第一步真正的難點(diǎn)在于編譯器后端如何在這個指令集之上做寄存器分配、如何建立內(nèi)存訪問模型、如何在有限寄存器文件和復(fù)雜的訪存約束下生成高性能代碼。換句話說指令集定義的是“能做什么”寄存器分配和內(nèi)存訪問模型解決的則是“怎么做才快”。這篇內(nèi)容適合三類人一是做算子編譯器或高性能計(jì)算工具鏈的開發(fā)者二是研究異構(gòu)計(jì)算架構(gòu)的學(xué)生或工程師三是對 AI 芯片底層執(zhí)行機(jī)制感興趣、想從代碼層面理解加速器如何工作的朋友。我會從整體設(shè)計(jì)思路講起再拆解寄存器分配和內(nèi)存訪問模型的核心細(xì)節(jié)最后用一套可復(fù)現(xiàn)的實(shí)操流程把整個后端數(shù)據(jù)通路串起來。2. 整體設(shè)計(jì)思路從圖 IR 到 pto-isa 的抽象層級與取舍2.1 為什么需要獨(dú)立的 pto-isa 層異構(gòu)計(jì)算平臺的經(jīng)典軟件棧是上層框架比如某深度學(xué)習(xí)框架→ 圖編譯與算子調(diào)度 → 算子內(nèi)核kernel→ 硬件指令。如果直接把內(nèi)核編譯到硬件原生指令會產(chǎn)生兩個問題一是硬件指令千差萬別每個算子都要針對新硬件重寫一遍二是硬件原生指令往往過于底層做不了跨硬件的高級優(yōu)化。所以中間加了一層 pto-isa它是獨(dú)立于具體硬件實(shí)現(xiàn)的虛擬指令集。這層抽象類似 GPU 世界里的 PTX 或者 CPU 世界里的 LLVM IR但比 LLVM IR 更貼近硬件它有明確的寄存器文件模型、顯式的內(nèi)存地址空間、清晰的訪存寬度和對齊約束。這樣說可能有點(diǎn)抽象我用一個生活類比解釋一下硬件原生指令就像某個餐館的后廚灶臺位置、鍋具大小都是固定的而 pto-isa 就像一份標(biāo)準(zhǔn)菜譜只寫“放多少油、多大火、翻炒幾下”至于這個餐館用電磁爐還是燃?xì)庠钅鞘橇硪粚舆m配的事。這個抽象層帶了一個直接好處算子開發(fā)者寫的內(nèi)核代碼只需要針對 pto-isa 編譯一次再由 pto-isa 到具體硬件的翻譯層適配就可以跑在不同代的加速器上。我實(shí)際開發(fā)中最明顯的體感是新增一個算子往往只需要關(guān)注 pto-isa 層的語義正確性而不用操心某塊硬件上指令延遲是幾個周期、某個特定編碼字段支不支持立即數(shù)偏移。2.2 寄存器與內(nèi)存的耦合設(shè)計(jì)先定模型再談優(yōu)化在 pto-isa 的設(shè)計(jì)里寄存器分配和內(nèi)存訪問模型不是兩個獨(dú)立的模塊而是強(qiáng)耦合的。原因很直接寄存器的數(shù)量直接決定一個基本塊內(nèi)能同時活躍多少個變量而內(nèi)存訪問模型決定了當(dāng)寄存器放不下時溢出spill到內(nèi)存的代價(jià)有多高。如果內(nèi)存訪問模型設(shè)計(jì)得不好溢出代價(jià)可能是寄存器操作的幾十倍那寄存器分配器就會為了減少溢出而過度保守反而損失性能。所以 pto-isa 在設(shè)計(jì)之初就把三件事綁定在一起考慮寄存器文件分幾類、每類寄存器有多少個、訪存指令支持哪些地址模式和數(shù)據(jù)類型組合。舉個例子如果寄存器文件里同時存在向量寄存器和標(biāo)量寄存器訪存指令就必須支持“向量加載/存儲”和“標(biāo)量加載/存儲”兩種模式且兩者的地址對齊要求往往不同。向量寄存器通常要求 16 字節(jié)或 32 字節(jié)對齊標(biāo)量寄存器可能只要 4 字節(jié)對齊。這就是設(shè)計(jì)上的耦合點(diǎn)寄存器類型決定了訪存指令形態(tài)訪存指令形態(tài)反過來限制寄存器分配的靈活度。從工程經(jīng)驗(yàn)來看把這個耦合關(guān)系提前想清楚比后期打補(bǔ)丁要省力得多。我見過一些模擬項(xiàng)目一開始寄存器分配器寫得很通用等接入真實(shí)硬件后發(fā)現(xiàn)向量訪存的對齊約束導(dǎo)致大量 spill只能回頭改寄存器分配規(guī)則那段時間的調(diào)試成本非常高。2.3 方案選型線性掃描為主圖著色為輔寄存器分配算法主要有兩類線性掃描linear scan和圖著色graph coloring。線性掃描基于活躍區(qū)間live interval排序貪心分配速度快但分配質(zhì)量一般圖著色構(gòu)建干擾圖用類似圖染色的方式分配質(zhì)量高但耗時長。在 pto-isa 這個層級我最終的方案是“線性掃描為主、局部圖著色為輔”。核心原因是算子內(nèi)核的基本塊通常比較短變量活躍區(qū)間長度有限線性掃描在這種場景下已經(jīng)有很高的分配質(zhì)量且編譯速度可以做到內(nèi)核級別的實(shí)時編譯JIT。只有在某些計(jì)算密集型算子比如卷積、矩陣乘的內(nèi)層循環(huán)里才啟用圖著色來做精細(xì)分配因?yàn)槟嵌未a的執(zhí)行頻率極高值得花更多編譯時間換取更好的分配結(jié)果。這個取舍背后有一個性能經(jīng)驗(yàn)寄存器分配的編譯時間與執(zhí)行時間要分開看。一次性部署的算子編譯慢點(diǎn)可以接受但如果是推理場景的在線編譯每次請求都重新編譯內(nèi)核編譯時間必須壓到毫秒級線性掃描在這種場景下幾乎是必選。3. 核心細(xì)節(jié)解析pto-isa 的寄存器分配模型3.1 寄存器文件結(jié)構(gòu)與分配單元pto-isa 的寄存器文件不是單一同構(gòu)的數(shù)組而是按用途分成了幾個類別通用標(biāo)量寄存器比如 64 個、向量寄存器比如 32 個、謂詞寄存器用于向量掩碼控制一般 8 到 16 個以及專用寄存器比如棧指針、幀指針等。這個分類基本沿襲了 SIMD 架構(gòu)的慣例但 pto-isa 有一個特點(diǎn)向量寄存器支持可變向量長度所以寄存器分配器必須追蹤每個向量變量的長度信息而不只是“占用一個寄存器”。這一點(diǎn)直接影響分配策略。舉例來說一個 8 通道浮點(diǎn)向量變量和一個 16 通道浮點(diǎn)向量變量雖然邏輯上都占用一個向量寄存器但前者可以與其他短向量共享物理寄存器中的部分通道后者則不行。如果分配器不做長度感知就可能把一個長度較小的向量放到 16 通道寄存器里產(chǎn)生通道浪費(fèi)導(dǎo)致寄存器壓力虛高。另一個容易忽略的細(xì)節(jié)是寄存器別名。pto-isa 的向量寄存器可能支持“一個 128 位向量寄存器拆成兩個 64 位標(biāo)量寄存器”這種別名關(guān)系。分配器如果不知道別名約束可能把兩個需要同時活躍的 64 位變量分配到同一個物理 128 位寄存器的兩個半?yún)^(qū)造成隱藏的寄存器沖突。這種 bug 非常難排查我后來在分配器里加了一個“物理寄存器占用位圖”每次分配前先檢查別名沖突才徹底解決。3.2 活躍區(qū)間分析與溢出策略線性掃描分配的第一步是計(jì)算每個虛擬寄存器的活躍區(qū)間?;钴S區(qū)間從定義點(diǎn)寫寄存器開始到最后一次使用點(diǎn)讀寄存器結(jié)束。這一步看起來很簡單但有一個細(xì)節(jié)必須處理好循環(huán)結(jié)構(gòu)中的活躍區(qū)間計(jì)算。在 pto-isa 的算子內(nèi)核中很多熱點(diǎn)循環(huán)是“多出口”或“帶 break”的。如果活躍區(qū)間分析只考慮直線代碼循環(huán)體內(nèi)的變量活躍狀態(tài)會被錯誤估計(jì)。我的處理方式是在活躍區(qū)間分析時對循環(huán)頭進(jìn)行保守?cái)U(kuò)展一個變量如果在循環(huán)體內(nèi)定義并在循環(huán)內(nèi)使用就認(rèn)為它的活躍區(qū)間貫穿整個循環(huán)。這個保守策略會略微增加溢出概率但能保證正確性而且實(shí)踐中發(fā)現(xiàn)影響很小——因?yàn)闊狳c(diǎn)循環(huán)往往只有幾個核心變量寄存器壓力并不高。溢出的處理方式也值得說。pto-isa 沒有硬件自動的“寄存器?!币绯鐾耆烤幾g器顯式插入 load/store 指令。我的分配器在決定溢出時會做一個“就近溢出”的優(yōu)化把被溢出的變量放到離它最后一次使用點(diǎn)最近的棧槽中而不是統(tǒng)一放到棧底。這個優(yōu)化在代碼塊較長時效果明顯因?yàn)闇p少了加載后到使用之間的間隔降低了加載延遲的影響。3.3 寄存器分配與指令調(diào)度的協(xié)同寄存器分配不能獨(dú)立于指令調(diào)度這是我在實(shí)際調(diào)優(yōu)中體會最深的一點(diǎn)。pto-isa 的某些訪存指令有比較大的延遲比如幾十個周期為了隱藏這個延遲編譯器會把無關(guān)的獨(dú)立指令插入到訪存指令之后。但如果寄存器分配器先做完再調(diào)度就可能出現(xiàn)一個問題調(diào)度的指令序列需要額外寄存器來暫存中間值但寄存器已經(jīng)被分配完畢導(dǎo)致調(diào)度器為了騰寄存器反而破壞了原本的調(diào)度計(jì)劃。我采用的方案是在 pto-isa 的后端做“分階段迭代”第一次粗略分配 → 指令調(diào)度 → 第二次精細(xì)分配 → 必要時再做一次調(diào)度。這個兩遍流程雖然增加了編譯時間但在實(shí)際算子上可以帶來 5% 到 15% 的性能提升。如果你的內(nèi)核是計(jì)算密集型的強(qiáng)烈建議引入這個迭代流程而不是圖省事只做一遍分配。4. 內(nèi)存訪問模型訪存指令、地址空間與性能約束4.1 地址空間劃分與訪存指令編碼內(nèi)存訪問模型的起點(diǎn)是地址空間劃分。pto-isa 把地址空間分成幾類全局內(nèi)存所有計(jì)算單元可見、共享內(nèi)存同一計(jì)算簇內(nèi)可見、局部內(nèi)存每個計(jì)算單元私有以及常量內(nèi)存只讀帶緩存。這個劃分的意義是讓編譯器根據(jù)數(shù)據(jù)的共享范圍和訪問模式選擇最合適的訪存指令而不是把所有訪問都丟給統(tǒng)一緩存。訪存指令的編碼有幾個關(guān)鍵字段尋址模式立即數(shù)偏移、寄存器偏移、基址變址、訪問寬度8/16/32/64 位或者向量寬度、緩存策略繞過緩存、緩存寫回、流式訪問。這個組合看起來復(fù)雜但我在使用中總結(jié)了一個經(jīng)驗(yàn)大多數(shù)算子的訪存指令用“基址立即數(shù)偏移”和“基址寄存器變址”就能覆蓋 90% 的場景其他尋址模式更多是給特殊算子用的。在設(shè)計(jì)訪存指令時有一個最佳實(shí)踐把所有訪存指令的對齊約束顯式寫在指令編碼中。比如某個向量加載指令要求基址 32 字節(jié)對齊那么指令編碼里就留一個位表示“是否強(qiáng)制檢查對齊”。如果編譯器生成的地址不滿足對齊要求有兩種處理方式一是插入預(yù)處理指令把地址對齊二是改用逐元素加載的指令。這兩種方式的性能差距可達(dá)幾十倍所以編譯器必須在對齊檢查上做足夠多的推理而不是簡單地在運(yùn)行時檢查。4.2 合并訪問與連續(xù)地址優(yōu)化內(nèi)存帶寬是算子性能的命門而合并訪問coalesced access是提升內(nèi)存帶寬利用率的核心手段。所謂合并訪問簡單說就是讓同一時刻發(fā)出的多次內(nèi)存訪問盡量落在連續(xù)的地址區(qū)間內(nèi)這樣內(nèi)存系統(tǒng)可以用一次大的突發(fā)傳輸burst完成而不是多次零散的小傳輸。這在人類世界中也有對應(yīng)搬家時如果你把所有箱子都放一個樓門口搬家工人一次就能搬完如果每個箱子散落在不同樓層就要跑很多趟。合并訪問就是讓“箱子盡量集中”。在 pto-isa 中向量訪存指令天然支持合并訪問——一條指令就能加載連續(xù)的一段內(nèi)存。但實(shí)際代碼中經(jīng)常出現(xiàn)非連續(xù)訪問比如按 stride 取矩陣的行或列。我遇到最多的場景是二維矩陣轉(zhuǎn)置按行存儲的矩陣轉(zhuǎn)置后需要按列訪問這就是典型的 stride 訪問。對這種代碼直接生成向量訪存指令是低效的通常會改成“先加載連續(xù)片段到向量寄存器再在寄存器內(nèi)做 shuffle 重排”的路徑。這個轉(zhuǎn)換邏輯在 pto-isa 后端里是一套獨(dú)立的優(yōu)化 pass我建議你做這類底層優(yōu)化時單獨(dú)建一個 pass不要混在通用指令選擇里否則邏輯會互相干擾。4.3 緩存模型與訪存排序緩存策略對內(nèi)存訪問模型的影響非常大。pto-isa 的緩存模型介于顯式管理的 scratchpad 和純硬件緩存之間全局內(nèi)存自帶緩存一致性但允許編譯器通過 cache hint 指令控制局部數(shù)據(jù)的緩存策略。實(shí)際開發(fā)中最常用的是兩種 hint一是“流式加載”適用于數(shù)據(jù)只遍歷一次、不會重用的場景加載時直接越過緩存二是“緩存駐留”適用于數(shù)據(jù)會反復(fù)使用的場景加載時把數(shù)據(jù)鎖定在緩存里。選錯 hint 的性能影響很微妙如果一個被反復(fù)使用的數(shù)組用了流式加載每次訪問都要重新去內(nèi)存取性能可能下降一個數(shù)量級反過來如果只訪問一次的數(shù)據(jù)用了緩存駐留則會擠占后續(xù)數(shù)據(jù)的緩存空間造成緩存顛簸。訪存排序也是一個容易踩坑的點(diǎn)。pto-isa 允許訪存指令亂序執(zhí)行但編譯器必須保證訪存順序與依賴關(guān)系一致。這里有個關(guān)鍵約束同一地址的讀寫不能被亂序否則數(shù)據(jù)競爭而不同地址的訪問可以亂序。編譯器后端用來判斷“是否同一地址”的機(jī)制是內(nèi)存別名分析memory alias analysis。在 pto-isa 后端我最常用的是基于地址空間的快速判定如果兩個訪問分屬全局內(nèi)存和共享內(nèi)存它們絕對不會互相干擾可以放心亂序。但如果兩個訪問都在全局內(nèi)存且地址表達(dá)式復(fù)雜就保守地認(rèn)為它們可能沖突不做重排。這個保守策略犧牲了一部分優(yōu)化空間但換來了正確性保障。5. 實(shí)操過程從零搭建一個 pto-isa 后端原型5.1 定義一個精簡的 pto-isa 指令集子集為了講清楚完整流程我會用一個模擬項(xiàng)目來演示如何搭建后端原型。這個模擬項(xiàng)目叫“模擬項(xiàng)目X”目標(biāo)是把一個簡單的逐元素加法和一個 3x3 卷積編譯成 pto-isa 指令。我們不追求覆蓋全部指令而是聚焦在寄存器分配和內(nèi)存訪問模型的完整通路上。先定義指令集子集包含以下指令LOAD_R從全局內(nèi)存加載數(shù)據(jù)到標(biāo)量寄存器LOAD_V從全局內(nèi)存加載連續(xù)向量數(shù)據(jù)到向量寄存器STORE_R把標(biāo)量寄存器數(shù)據(jù)寫回全局內(nèi)存STORE_V把向量寄存器數(shù)據(jù)寫回全局內(nèi)存ADD_V向量寄存器逐元素加法MUL_V向量寄存器逐元素乘法MOV_R標(biāo)量寄存器數(shù)據(jù)搬移同時定義 64 個標(biāo)量寄存器和 32 個向量寄存器。訪存地址由“基址寄存器 立即數(shù)偏移”構(gòu)成。向量寄存器支持 4 通道 32 位浮點(diǎn)總寬度 128 位對齊要求為 16 字節(jié)對齊。這個子集雖然很小但包含了寄存器分配和內(nèi)存訪問模型的所有核心問題標(biāo)量與向量混合分配、訪存對齊約束、溢出的處理。5.2 實(shí)現(xiàn)線性掃描寄存器分配器的關(guān)鍵代碼下面給出線性掃描分配器的核心偽代碼用類 C 語言描述方便你在自己項(xiàng)目里移植// 活躍區(qū)間結(jié)構(gòu) struct LiveInterval { int vreg; // 虛擬寄存器編號 int start; // 區(qū)間開始指令編號 int end; // 區(qū)間結(jié)束指令編號 bool is_vector; // 是否為向量寄存器 int phys_reg; // 分配到的物理寄存器編號-1表示未分配 }; // 活躍區(qū)間排序規(guī)則按 start 升序 static int interval_cmp(const void *a, const void *b) { return ((LiveInterval*)a)-start - ((LiveInterval*)b)-start; } void linear_scan_allocate(LiveInterval *intervals, int count, int num_scalar_regs, int num_vector_regs) { // 1. 按 start 排序 qsort(intervals, count, sizeof(LiveInterval), interval_cmp); // 2. 用兩個集合分別追蹤活躍區(qū)間 // active 是當(dāng)前已分配且仍活躍的區(qū)間 // free_regs 是空閑物理寄存器池 Bitmap active_scalar bitmap_new(num_scalar_regs); Bitmap active_vector bitmap_new(num_vector_regs); for (int i 0; i count; i) { LiveInterval *cur intervals[i]; // 3. 回收已結(jié)束的活躍區(qū)間 for (int j 0; j i; j) { LiveInterval *prev intervals[j]; if (prev-phys_reg 0) continue; if (prev-end cur-start) { // 區(qū)間已結(jié)束釋放物理寄存器 if (prev-is_vector) bitmap_clear(active_vector, prev-phys_reg); else bitmap_clear(active_scalar, prev-phys_reg); prev-phys_reg -1; } } // 4. 分配物理寄存器 Bitmap *pool cur-is_vector ? active_vector : active_scalar; int phys bitmap_find_first_zero(pool); if (phys 0) { cur-phys_reg phys; bitmap_set(pool, phys); } else { // 5. 所有寄存器都被占用觸發(fā)溢出 // 選擇 end 最遠(yuǎn)的活躍區(qū)間作為被溢出者 LiveInterval *victim find_furthest_end(intervals, count); if (victim victim-end cur-end) { // 溢出 victim改為溢出當(dāng)前區(qū)間 spill_interval(victim); cur-phys_reg victim-phys_reg; } else { spill_interval(cur); } } } }這段代碼我做了幾個關(guān)鍵處理值得說明一下第一回收已結(jié)束活躍區(qū)間時我采用每次分配前遍歷前面的區(qū)間來判斷是否過期。這種方式是 O(n2) 的理論上不如維護(hù)一個按 end 排序的堆高效但在算子內(nèi)核這種小塊代碼上n 通常只有幾十到幾百O(n2) 的線性遍歷反而比堆管理更簡單且不易出錯。第二溢出策略選擇“end 最遠(yuǎn)”的區(qū)間作為受害者。這是經(jīng)典線性掃描的優(yōu)化做法。實(shí)際測試中這種“踢最遠(yuǎn)不會立刻用到”的策略比“踢最近分配”的策略減少約 20% 的溢出次數(shù)。第三向量寄存器和標(biāo)量寄存器分開維護(hù)位圖因?yàn)閮烧叩奈锢沓鼗ゲ桓蓴_。但要注意如果后續(xù)支持向量寄存器別名拆分成標(biāo)量寄存器這個互不干擾的假設(shè)就不成立了那時代碼要改成統(tǒng)一位圖管理。5.3 指令選擇與訪存指令生成寄存器分配完成后下一步是把 IR 節(jié)點(diǎn)映射到 pto-isa 指令并生成訪存指令。這一步最核心的決策是什么時候使用向量訪存指令什么時候用標(biāo)量訪存指令。我的決策規(guī)則是分級的如果你的數(shù)據(jù)訪問是連續(xù)且滿足對齊要求且數(shù)據(jù)量大于等于一個向量寄存器寬度就生成向量訪存否則生成標(biāo)量訪存。這個規(guī)則的背后是效率考量向量訪存一次加載的數(shù)據(jù)量是標(biāo)量的 N 倍N 等于向量通道數(shù)執(zhí)行周期卻不會同比增加所以在帶寬受限的算子里應(yīng)該優(yōu)先用向量訪存。但有一個例外如果你需要處理的數(shù)據(jù)很短比如只有 2 個浮點(diǎn)數(shù)用向量訪存反而浪費(fèi)帶寬一次突發(fā)傳輸?shù)淖钚×6韧ǔJ蔷彺嫘写笮〖虞d 2 個浮點(diǎn)可能就要拉 64 字節(jié)到緩存。這種場景下我一般會先把數(shù)據(jù)打包到一個標(biāo)量寄存器對里再拼接成向量而不是直接發(fā)一條向量訪存指令。訪存指令的地址生成也要提前安排好。我的后端在指令選擇階段就會做“地址計(jì)算下沉”把地址表達(dá)式拆成“基址寄存器 常量偏移”如果常量偏移超出指令編碼范圍比如超過 2048就在指令選擇時插入額外的地址計(jì)算指令而不是等寄存器分配結(jié)束后才發(fā)現(xiàn)地址算不下。這個提前量幫我省了很多排錯時間因?yàn)榈刂酚?jì)算指令的引入會改變數(shù)據(jù)流可能要影響到寄存器分配結(jié)果。5.4 溢出處理與棧幀布局當(dāng)寄存器分配失敗時變量就要溢出到內(nèi)存。pto-isa 的后端需要一個“軟件棧幀”來存放溢出變量。棧幀布局雖然看起來簡單但有幾個隱蔽的約束必須處理好。第一個約束是棧指針對齊。因?yàn)橄蛄吭L存要求 16 字節(jié)對齊所以棧幀的起始地址必須 16 字節(jié)對齊且每個溢出槽的偏移必須是數(shù)據(jù)尺寸的整數(shù)倍。我之前踩過的坑是標(biāo)量變量占用 4 字節(jié)向量變量占用 16 字節(jié)如果把它們緊密排列一個 16 字節(jié)對齊的向量槽就可能落到不對齊的地址上。解決方式是給向量槽單獨(dú)分配對齊偏移寧可中間留幾個字節(jié)的空洞。第二個約束是溢出槽的訪問頻率。如果一個變量被反復(fù)溢出和加載性能損耗是巨大的。我的優(yōu)化經(jīng)驗(yàn)是給每個溢出槽加一個“熱度”計(jì)數(shù)如果某個變量在一個循環(huán)體內(nèi)被多次溢出加載就嘗試把它重新提升到寄存器中并在循環(huán)體前后各插入一次溢出和加載指令。這相當(dāng)于一個迷你版的“溢出-重新加載”優(yōu)化實(shí)測在矩陣乘類算子上減少約 30% 的訪存指令。下面是棧幀布局的示例用表格直觀展示偏移分配偏移量大小內(nèi)容對齊說明04 字節(jié)標(biāo)量溢出變量 A4 字節(jié)對齊44 字節(jié)標(biāo)量溢出變量 B4 字節(jié)對齊84 字節(jié)標(biāo)量溢出變量 C4 字節(jié)對齊124 字節(jié)空洞填充為了 16 字節(jié)對齊1616 字節(jié)向量溢出變量 D16 字節(jié)對齊3216 字節(jié)向量溢出變量 E16 字節(jié)對齊從表里可以看到標(biāo)量區(qū)域的 8~11 字節(jié)之后預(yù)留了一個 4 字節(jié)的空洞才讓向量槽的開頭落在偏移 16 上。這種浪費(fèi)看似可惜但相比訪存指令因?yàn)槲磳R而觸發(fā)異常處理的代價(jià)這點(diǎn)空間浪費(fèi)是完全值得的。5.5 驗(yàn)證與調(diào)優(yōu)從指令模擬器到真實(shí)硬件后端實(shí)現(xiàn)的驗(yàn)證一定要分層進(jìn)行不要一步到位上硬件。我推薦的順序是指令級模擬器驗(yàn)證 → 功能仿真驗(yàn)證 → 性能分析驗(yàn)證 → 硬件實(shí)測。指令級模擬器是這個流程里最值得投資的一環(huán)。它的作用是模擬每條 pto-isa 指令的執(zhí)行周期和數(shù)據(jù)流在不用真實(shí)硬件的情況下就能發(fā)現(xiàn)寄存器分配錯誤和訪存沖突。模擬器不需要模擬完整的內(nèi)存系統(tǒng)只需要模擬延遲和帶寬的上限用來評估“寄存器分配是否合理”“訪存是否合并”這類宏觀問題。性能分析驗(yàn)證階段要分心處理一個問題指令級模擬器的周期數(shù)跟真實(shí)硬件差異很大尤其是緩存命中率和訪存并發(fā)度。我通常的做法是設(shè)計(jì)一組“性能探針內(nèi)核”每個內(nèi)核刻意突出某一種訪問模式純連續(xù)訪問、純隨機(jī)訪問、純 stride 訪問、混合訪問先在模擬器上測一遍再在實(shí)際硬件上測一遍用差值來校準(zhǔn)模擬器的訪存模型參數(shù)。在硬件實(shí)測中最容易暴露的問題是指令調(diào)度效果不及預(yù)期。原因多半是真實(shí)硬件的訪存流水線并行度有限編譯器高估了可以同時進(jìn)行的內(nèi)存請求數(shù)。解決方式是把“每個內(nèi)存流水線允許的最大未完成請求數(shù)”作為一個可配置參數(shù)加入到后端調(diào)度器中而不是在模擬器里寫死。我最初的后端把并發(fā)度設(shè)為 8實(shí)測發(fā)現(xiàn)硬件只能支持 4 個修改后性能反而提升了 7%因?yàn)橹噶铐樞蚋N合硬件實(shí)際。6. 常見問題與排查技巧6.1 寄存器分配問題的典型癥狀寄存器分配階段的 bug 通常不會直接報(bào)錯而是產(chǎn)生錯誤的計(jì)算結(jié)果或者隱蔽的性能下降。我總結(jié)了幾種典型的癥狀和排查方向癥狀可能原因排查方向結(jié)果不定有時對有時錯活躍區(qū)間分析錯誤寄存器被提前釋放檢查活躍區(qū)間分析中對循環(huán)的處理編譯成功但運(yùn)行崩潰別名沖突標(biāo)量與向量寄存器映射重疊檢查物理寄存器位圖管理代碼性能對比基線差很多溢出過多或溢出槽選址不佳統(tǒng)計(jì)溢出次數(shù)檢查循環(huán)體內(nèi)的溢出槽編譯器超時圖著色分配階段棧溢出或復(fù)雜度爆炸檢查活躍區(qū)間數(shù)量考慮改用線性掃描活躍區(qū)間分析錯誤的排查是難度最高的因?yàn)槟憧吹降慕Y(jié)果是“運(yùn)行錯誤”或“不確定行為”很難直接定位到是哪個區(qū)間錯了。我的經(jīng)驗(yàn)是寫一個“保守歸一化”的檢查工具把所有變量的活躍端點(diǎn)打印出來跟手算的期望區(qū)間做對比。如果某個循環(huán)體內(nèi)的變量在第一次迭代前就被認(rèn)為是死的那基本就是分析的問題。6.2 內(nèi)存訪問模型的經(jīng)典陷阱內(nèi)存訪問模型相關(guān)的坑比寄存器分配更不容易察覺因?yàn)樗皇恰板e了”而是“低效得很隱蔽”。最經(jīng)典的陷阱是看似連續(xù)的地址實(shí)際上不連續(xù)。一個典型的例子是在二維數(shù)組中按行訪問但在分配內(nèi)存時末尾做了補(bǔ)齊比如每行長 1020 字節(jié)系統(tǒng)按 1024 字節(jié)對齊分配。如果編譯器只看到邏輯地址連續(xù)生成了向量訪存指令但物理地址上每行末尾有 4 字節(jié)跳變這就會導(dǎo)致訪問吞吐驟降。解決方式是別讓編譯器自由推斷連續(xù)地址要顯式告訴后端每個維度之間的物理步長pitch。第二個經(jīng)典陷阱是緩存策略選錯。我見過一個圖像處理算子把一張圖的每個像素點(diǎn)做了三次遍歷第一次讀取、第二次修正、第三次寫入。開發(fā)者給所有訪問都加了“流式加載”hint結(jié)果三次遍歷每次都要從內(nèi)存重新拉數(shù)據(jù)性能慘不忍睹。改成第一次和第三次用緩存駐留、第二次用普通加載后性能翻了兩倍。所以緩存 hint 的選擇依據(jù)是“數(shù)據(jù)復(fù)用次數(shù)”而不是“訪問是否連續(xù)”。第三個陷阱是訪存排序過度保守。為了讓指令調(diào)度器獲得最大的重排自由我一度把不同地址的訪存全部標(biāo)記為“可亂序”結(jié)果多線程環(huán)境下出現(xiàn)了數(shù)據(jù)競爭。后來我把規(guī)則改成“不同地址空間可亂序同一地址空間內(nèi)且地址表達(dá)式相似時保守處理”。這個更細(xì)致的規(guī)則在保證安全的前提下保留了大部分重排機(jī)會。6.3 調(diào)試工具與性能剖析實(shí)戰(zhàn)調(diào)試這類底層代碼最有效的工具不是高級調(diào)試器而是“dump 一切 對比關(guān)鍵節(jié)點(diǎn)”的樸素思路。我的后端在每次寄存器分配后都會輸出一個“分配日志”每個虛擬寄存器對應(yīng)哪個物理寄存器、被溢出的變量去了哪個棧槽、每條訪存指令是向量還是標(biāo)量、對齊狀態(tài)是否滿足。這個日志是定位性能問題的第一手材料。性能剖析時我會把內(nèi)核拆成幾個固定階段分別統(tǒng)計(jì)各階段的指令數(shù)、訪存次數(shù)和預(yù)估周期。一個典型的瓶頸定位流程如下先用指令級模擬器統(tǒng)計(jì)總周期數(shù)算出理論峰值。對比實(shí)際硬件測試時間如果差異超過 20%說明模擬器參數(shù)需要校準(zhǔn)。把訪存指令單獨(dú)統(tǒng)計(jì)如果訪存指令數(shù)占比超過總指令數(shù)的 40%大概率是寄存器分配出了問題溢出增多優(yōu)先優(yōu)化分配策略。把向量訪存指令與標(biāo)量訪存指令分開統(tǒng)計(jì)如果向量訪存占比過低說明指令選擇階段沒有充分合并訪問需要回看地址連續(xù)性分析。按這個流程走下來90% 的性能問題都能在半小時內(nèi)定位到具體階段而不是盲目地亂試優(yōu)化參數(shù)。7. 實(shí)操中的幾個樸素體會寫到底還是想分享幾個在反復(fù)調(diào)試中沉淀下來的小判斷可能對你做類似項(xiàng)目有直接幫助。第一個體會底層代碼的正確性驗(yàn)證永遠(yuǎn)要比你預(yù)期的多花一倍時間。寄存器分配和內(nèi)存訪問模型的 bug往往只在特定輸入組合下觸發(fā)普通的單元測試根本測不出來。我在模擬項(xiàng)目X中把測試用例分成兩組一組是隨機(jī)生成的“惡意”案例包含大量循環(huán)、多分支、小數(shù)組另一組是手工構(gòu)造的“邊界”案例空數(shù)組、單元素?cái)?shù)組、超長數(shù)組、非對齊訪問。這兩組一起跑能把這些穩(wěn)定性問題提早暴露出來。第二個體會優(yōu)化順序很重要別跳步。先保證“寄存器分配在正確性上是保守的”再談“如何減少溢出”先保證“訪存指令都能正確執(zhí)行”再談“合并訪問和緩存優(yōu)化”。我見過不少開發(fā)者一上來就追求指令級的極致優(yōu)化結(jié)果往往被正確性問題拖住反而花更多時間。底層正確的根基沒打好上層優(yōu)化全是空中樓閣。第三個體會指令集抽象層不是越薄越好也不是越厚越好。Pto-isa 存在的意義是給不同類型加速器提供一個穩(wěn)定的編譯目標(biāo)所以它對硬件的抽象程度要恰到好處太薄每個硬件的差異都會泄漏到上層編譯器里太厚上層編譯器會失去對關(guān)鍵執(zhí)行資源的控制。設(shè)計(jì)這個抽象層的分寸感是靠不斷接真實(shí)硬件喂出來的不是閉門造車能想出來的。每次接一個新硬件都把“哪些指令需要新增、哪些寄存器約束需要放寬”記錄下來慢慢地你就能找到那個平衡點(diǎn)。這些判斷不一定完全適用于所有平臺和場景但它們是從一次次踩坑和實(shí)驗(yàn)中長出來的。如果你也在做類似的編譯器后端工作希望這些經(jīng)驗(yàn)?zāi)軒湍闵僮咭恍澛钒褧r間花在真正有價(jià)值的地方——讓算子跑得更快、更穩(wěn)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月丁香在线观看| 囯产精品久久欠久久久久久九大| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 丁香五月婷婷网| www狠狠| www.婷婷五月天| 超碰91av| 国产又黄又爽又色的免费| 亭亭色天香| 成人综合视频网址| 无码区婷婷五月花开| 情色婷婷五月天| 成人婷99最新| 国产古装妇女野外A片| 日逼免费视频 | 亚洲美女婷婷五月天| 国产精品美女久久久久AV超清| sewuyuejiqingwang| 五月婷婷黄网站大全| 99视频只有这里精品| 亚洲视频1区| 51国精产品自偷自偷综合| 国产1区2区3区| 99热这里只有精品在线| 色色色成人网| 五月花综合| 五月天成人综合| 久久久久99精品成人片| 中文字幕黄色片| 国产成人精品一区二三区熟女在线| 天堂草在线看www| 久久天堂精品| 内射爽无广熟女亚洲| 人人草人人爱手机视频看看| 在线视频另类| 无码人妻一区二区一牛影视| 日本三级中国三级99人妇网站| 婷婷五月天色丁香| 久热9热| 国产欧洲欧洲精品久久| 色爱终和网| 91丨九色丨老农村| 久久A极片| 五月婷婷中文字幕| 99热久只有| 欧美,日韩成人在线| 91久热| 五月丁香啪啪拍| 黄久久久| Av狠狠色丁香婷| 99热这里全都是精品| 99在线观看精彩视频| a色婷婷| 夜夜干天天操| 色婷婷成人网| 激情五月天小说网| 婷婷一本和五月丁香| 伊人热婷婷| 久久这里只有精品热在99| 六月色国内综合| 色婷婷777狠狠| 最新高清无码专区| 99操逼| 五月天婷婷无码视频| 五月激情啪啪啪| 国产AV影片| 97碰人人操| 第二色AⅤ| 另类国产区| 久久性爱网| 综合网五月| 啪色综合| 操操操Av| 激情五月天婷婷视频| 色玖玖综合网| 大天天伊人| 日韩一级一片内射视频4K| 久久99精品久久只有精品| 天天做 天天爱| 激情五月图| 99自拍视频网站| 婷婷五月色播天| 九九色精品| 国内外色色色色色成人视频| 色播激情五月天| 丁香五月激情站| www.zbzhongsen.com| 97超碰色| 一区二区无码视频| 激情内射人妻1区2区3区| 99热e| 天天搞天天爽| 久久99热这里只有精品| 色婷婷亚洲精品天天综| 中文字幕色色| 丁香五月综合在线视频| 婷婷丁香五月天影院| 少妇熟女视频一区二区三区 | Av在线不卡一区| 丁香六月婷婷久久综合| 嫩BBB槡BBBB搡BBBB| 99热91| 99久久婷婷五月综合| 色青青视频| 97久久久久| 色综合久久88| 久Se视频在线观看| 天天综合网91| 婷婷综合在线| 激情五月深爱五月| 玖玖在线视频福利| 亚洲成av人影院| 色婷婷小说| 欧美熟女99| 天天干夜夜谢| 国产.亚洲.欧洲视频在线| 99综合激情久久精品久久| site:jszngf.com| 超碰在线99| www一起操| 超爽内射| 青青色com久久| 日韩一级淫乱片一区二区三区| 国产高清av黄色看片| 国产亚洲精品久久久久久牛牛| 99色色视频| 丁香九色不卡aaa| 国产精品第一国产精品| 男人操女人高潮91视频| 99riAV成人在线视频| 99色视频| 色五月综合| 六月婷婷色综合| 超碰在线人妻| 日本三级中国三级99| 欧美日比视频| 五月天综合久久| 丁香婷婷啪啪| 久久思思热| 蜜桃五月天| 日本久久精品| 2050人人操免费工开爱| 99久久婷婷国产综合亚洲| 天天日天天久久青青| 人人爽网| 成人VAV视频在线观看| 99超碰欧美| 激情五月天。| 一区三区视频有限公司| 色丁香久久| 综合久久99| 婷婷五月综合色中文字幕| 就99这里只有精品| 日韩av干| 免费观看的婷婷五月视频在线| 激情五月丁香亭亭| 狠狠色丁香| 狠狠色综合网| 超碰2021| 五月丁香性爱| 人妻久久久久久久久妻久久久久| 99免费| 99re在线精品视频| 无码日本精品XXXXXXXXX| 亚洲第一成人无码A片| 久热A片| 十区AV| 激情综合久久| 丁香五月天婷婷久久| 婷五月天在线草| 五月丁香六月婷婷在线小说视频| 婷婷五点亚洲| 97操操操| 婷婷五月激情欧美大胆视频| 成人中文字幕在线| 五月香蕉婷婷| 婷婷99狠狠| 激情www| 日本熟妇乱妇熟色A片蜜桃| 日本三级第一页| 中文AV在线观看| 丁香五月天无码AV| 亚洲成人人人操| 99热这里都是精品| 五月综合色| 大香蕉福利导航| 爆乳熟女一区二区三区爆乳| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 99热地址| 爱狠射| 综合色色婷婷| 99热这里只有精品最新地址获取| www.久久99| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 任你草| 午夜无码熟熟妇丰满人妻 | 冬月かえでAV无码播放| 日本人妻A片成人免费看片| 丁香六月婷婷综合网| 开心激情网五月天| 极品人妻VIDEOSSS人妻| 色爽九九| 亚洲婷婷激情888精品久| 亚洲精品99| 91精品久久久久久综合五月天| 九九热免费视频| 欧洲色| 婷婷五月综合免费在线| 大功率国产在线| 丁香婷婷啪啪啪| 丁香婷婷91在线观看视频| 亚洲激情综合| 六月婷久久| 亚洲日韩26uuu| 97se视频在线| 色五月激情五月| 97人人操人人操人人操人人| 婷婷六月开心网| 五月婷在线播放| 狠狠狠狠狠狠狠狠| 国产SUV精品一区二区883| 综合久久伊人| 91婷婷五月天综合视频| 另类图片色五月| 人碰人人人玩91| 婷婷五月天大香蕉| 白天AV月月| 99精品一二三四视频| 国产美女无遮挡裸体毛片A片 | 五月情涩综合婷婷| 色99色| 国产成人精品亚洲线观看| 2015超碰| 久久成人人妻| 99网| 超碰av在线| 亚洲亚洲亚洲AAAAAA| 99热免费在线| 五月天社区婷婷丁香社区| 啪啪综合| 婷婷五月丁香久久| 六月婷婷综合| 丁香六月久久| 婷婷播5月| 激情五月婷婷| 婷婷伊人綜合中文字幕小说| 五月婷婷五月色| 三级黄色大片视频| 丁香六月狠狠| 婷婷五月天色色| 国产人人操| peg 2区三区四区的| 丁香五月婷婷偷拍| 日本九九九九九九| 伍月婷丁香花全集| 中文字幕网伦射乱中文| 色综天天综合| 丁香色色色| 操逼五月天| 99视频精品8 | 久久资源网五月婷| 日本美女上人| 伊人婷婷91| 婷婷激情丁五月| 99精品在线观看| 欧美超碰人人| 激情文学五月丁香六月婷婷| 久久日本wwww色| 狠狠搞综合色| 香蕉久久国产AV一区二区| 综合色图区| 婷婷久久精品| 婷婷五月色情| 国产无套精品一区二区| 玖玖婷婷五月天毛片| 婷婷五月天激情在线观看| 五月婷av| 九九精品视频免费在线| 亚洲操人| 五月天色综合| 色综合区| 狠狠 久久| 激情亚洲色图片丁香综合| 久久思思热| 激情另类综合| 色婷婷影院| 性色婷婷| 亲子乱AV一区二区三区下载| 五月婷婷综合久久| 六月丁香综合| 婷婷无码视频| 亚洲六月婷婷| 婷婷五月蜜桃成人桃色丁香| 五月丁香激情综合| av在线超清中文| 色五月婷婷在线| www.久久99| 婷婷在线视频| 在线国产精品色| 人妻综合网| 六月撸婷婷| 五月综合婷婷久久在线| 天堂在线伊久| 欧美成人色婷婷| 久草婷妨| 亚洲va在线∨a天堂va欧美va| 五月天啪啪网| 丁香五月婷久久| 99在线看片| 婷婷色五月天在线| 亚洲熟女乱色综合亚洲网站| 综合激情在线| 亚洲午夜av| 欧美啪啪9| 婷婷爱爱蜜臀天天操| 九九热精品在线| 婷婷综合影院| 婷婷在线免费| 六月丁香五月婷婷首页| 国产精品扒开腿做爽爽爽A片唱戏| 3pAV| 五月婷婷综合在线亚洲视频| 丁香狠狠色婷婷久久无码视频| 爱狠射| 色香欲综合| 99热欧美精品| 久久久91| 日本本土色网第一区| 年轻的妺妺伦理HD中文| 99热99热不卡| 97婷婷在线| 色玖玖导航| 久久9精品| 另类图片色五月| 五月天婷婷色五月天| 国产这里只有精品| 伊人五月天婷婷| 51精品国内探花| 婷婷婷婷婷婷婷婷| 亚洲精品色色| 色色婷婷综合| 五月丁香啪啪| 91丨九色丨43老版熟女| 婷婷五月天在线观看| 五月婷伊人| 五月天婷婷偷拍| 第五色婷婷| 99在线观看精品| 天天婷婷综合亚洲亚洲| 婷婷性爱无码视频| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 国产午夜精品一区二区| 五月天伊人网| 狠狠操狠狠做| 99ri国产| 不卡的AV网站| 天天综合色丁香| 久热伊人| 亚洲欧美综合7777色亭亭| 婷婷五月天激情诱惑| 成人av在线网站| 色婷婷久久| 久久99成人性爱高清视频| 色丁香久久| bukadeavzaixian| 九色91国产| 色色五月婷| 精品久久久91久久影视网| 激情五月婷婷开心网| 伊人久久大香网| 极品人妻VIDEOSSS人妻 | 亚洲中文乱字字幕线在永久| 色日本综合| 夜夜爽天天爽| 五月婷婷AV| 婷婷丁香91| 激情小说五月天| 无码色色| 婷婷四月 成人 狠狠干| 亚洲啪啪精品| 亚洲午夜AV| 激情欧美丁香五月| 激情综合4月| 婷婷五月天渟渟| 亚洲综合色婷婷| 欧美综合丁香网| 国产4P视频精品五区| 色婷婷久久| 六月丁香五月天| 操操啪| 伊人网色婷婷五月天| 激情图片婷婷| 婷婷五月天AV激情| 成人AV免费观看| 1024在线一区| 99操免费视频| 丁香五月丁香伊人| 丁香婷婷大香蕉| 2050人人操免费工开爱| 亚洲情欲| 色无码| 五月丁香999| 婷婷趴趴| 久月久在线视频| 婷婷在线免费| 天天干夜夜谢| 在线观看玖玖资源免费观看| 五月婷久久| www.9色色色| 丁香五月欧美| 欧美大道不卡| 中文字幕乱轮| 日日操,日日爽| www一起操| 怎么样可以看免费的一级av| 五月丁香啪啪综合| 婷婷香五月天| 天天干狠狠操| 99热91| 久久亭亭电影| 九九精品热| 天天肏在线观看| www五月天激情com| 日日夜夜青青草| 色五月婷婷av| 丁香婷婷婷五月综合色情| 国产真实乱了老女人视频| 九九色图| 日本狠狠网| 日本欧美国产| 天天色伊人| 日本操B视频| 丁香五月六月婷婷综合激情| 午夜天堂一区人妻| 另类少妇人与禽zOZZ0性伦| 亚洲激情婷婷| 久久婷婷五月综合色播| 人妻爽爽爽久久久久久久久| 天天操中文字幕| 热久91| 性色做爰片在线观看WW| 日本99视频| 丁香六月婷婷| 日韩无码色色| 欧洲激情精品婷婷| 这里只有精品9| 五月天欧美 另类小说| www.久久久.com| 欧美婷婷综合网| 色色色色色综合| wwccc久久久| 看黄的网站18禁| a九九热www| 97香蕉人人在线观看| 亚洲婷婷性爱| 五月天激情网图片| 久久久婷婷| 婷婷香五月天| 天干夜夜操| 成人电影在线免费试看| 大香蕉伊人99| 91干视频| 五月丁香欧美综合| www.9797国产| 人人干99| 色婷网| 热久国产| 综合网啪啪| 国产.亚洲.欧洲视频在线| 四月婷婷五月丁香| 五月婷婷综合在线| 婷婷五月色| 激情五月天影院| 成人丁香五月天| 日本熟女二区| 激情婷婷五月天| 久久婷婷五月| 久久性爱视频| 91色综合网| 亚洲啪啪视频| 99视频自拍| 97久久久| 丁香五月影院| 开心五月天激情网| 女人被躁到高潮嗷嗷叫小| 亚洲国产精品二二三三区| 538在线精品| 国产精品久久久久久久久久免费| 激情图片亚洲| 丁香六月婷婷激情| 殴美日比视频| 五月激情综合网| 色五月综合网| 精品一二三区久久AAA片| 亚洲成av人影院| 99久久婷婷国产综合精品草原| 九九aV| 另类天堂| 色综合中文| 婷婷自拍| 99在线精品免费视频| 五月开心深深爱激情综合| 99操碰| 人妻丰满精品一区二区A片| 狠狠操狠狠狠| A片试看120分钟做受视频红杏| 五月天婷婷色播在线网| 色五月97| 99re思思热久久| 任我肏视频精品| 久久怡红院| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 婷婷综合在线网| 九九国产精视频| 五月天激情网图片 - 百度| 九九热精品99| 色婷婷基地| 色99在线观看| 干婷婷五月天| 白人荫道BBWBBB大荫道| 婷婷六月激情丁香| 97五月婷| 欧美日韩成人高清在线| 懂色av蜜臀av粉嫩av永陈冠希| 婷婷五月图片小说视频| 五月色婷婷影院| 爱久综合| 久久婷婷六月天| 狠狠狠狠狠干| 思思热在线播放| 久九九热| 五月天啪啪| 色婷婷XXXXX| 激情综合五月丁香| 色综合天天天天做夜夜| 婷婷五月天涩涩| 天堂五月婷婷| 日韩无码专区| 国产99久久久国产精品免费看| 精品成人无码A片观看香草视频| 丁香五月婷婷国产av| 六月丁香社区| 久久9热| 久久婷婷五月国产激情综合片| 色哟哟www| 亚洲婷婷丁香五月在线| 亚洲区在线| 婷婷五月天激情综合婷婷五月天激情综合| 99性视频| 思思热在线播放| 色www.con| 色99视频| 五月婷婷六月丁香综合| 91九色大屁股| 黄色录像网点| 91九色丨国产丨爆乳| 婷婷五月天色综合翘| 最近中文字幕2019视频1| www色五月| 婷婷五月丁香综合激情| 国产精品成人AV在线观看春天| 五月综合无码| 九九热这里都是精品6| 99热久久日本| 久热无码| 99热这里都是精品| 97在线观看| 九九久久视频| av在线资源| 婷婷97色| 亚洲综合在线视频| 欧洲免费视频色| 五月丁香人妻| 色五月丁香婷婷综合| 久操综合| 激情五月天福利| 在线不卡视频| 婷婷五月天另类视频| 9l视频自拍九色9l黑人| 五月婷婷色五月| 五月丁香婷婷爱| 五月婷婷激情四季| 亚洲九九99精品视频在线播放| 五月天综合久久| 色婷亚洲| 五月婷婷伦理| 婷婷色亚洲| 六月丁香天堂| 无码人妻丰满熟妇奶水区码| 99热6精品| 夜夜操天天干| 婷婷五月丁香成人| 五月丁香六月综合情在线观看| 久久色午夜在线导航| 99这里有精品| 丁香色五月 97干| 婷婷五月草| 2025最新亚洲激情在线| 久久婷婷五月天懂色| 香蕉伊人综合| 一区操| 五月丁香五月丁香| 久久五月天免费网站| www.丁香六月婷婷久久天堂影院.con| 五月婷婷亚洲| 182TV大香蕉| 99热免| 99热日本| 天天干,天天舔| 操逼视频一区| 久热在线观看视频9| 国产精品久久欧美久久一区| 图片区 小说区 区 亚洲五月 | 97干在线| 欧美性色视频| 激情综合色播| 噜噜色婷婷| 伊人婷婷五月天av| 99re这里有精品手机在线| 综合激情啪啪| 久久这里都是精品免费| 成人色站,在线视频,看片-SS1AV| 色婷操逼| 99久在线精品99re8| 色婷婷综合成人| 五月天伊人久久| 综合99在线| 99热欲| 99热网精品| 八戒青柠影视剧在线观看| 色色五月天丁香| 色婷婷天堂| 五月婷婷七月丁香| 色婷婷操逼网| 日韩精品一品二区三区的使用体验 | 五月婷婷丁香综合,亚洲天堂| 免费无码毛片一区二区A片| 婷婷色影音天| 91呦呦呦| 男人視頻站| 综合一区二区三区| 五月婷婷婷综合网| 亚洲av网站在线观看| 亚洲综合视频网| 成人视频一区| 天天色爽| 久99久热只有精品国产99| 婷婷色日本| 激情 婷婷 插| 丁香五月婷婷色偷偷| 天天久| 99热a片免| 亚洲色无码| 婷婷五月天狠狠| 色久影院| 激情九月婷婷| 久久人妻少妇嫩草AV| 亚洲欧洲美女在线观| 无码字幕中文| 婷婷九月丁香天堂丁香天堂| 五月激情视频| 人妻无码精品一区| 夜夜爽77777妓女免费下载 | 五月天黄色激情小说| 99网99热| 五月天婷婷社区| 黄网在线免费| 六月婷婷最新网址| 狠狠大香婷婷爱| 五月婷婷丁香五月婷婷| 伊人久久大香蕉网| 天堂成人A片永久免费网站| 亚洲成人在线观看av| 2017人人操| 激情五月天在线| 啪到高潮激情丁香五月| 亚州色婷婷| 精品久久久久成人码免费动漫| 五月婷婷九九久久| 开心五月六月婷婷| 久 久9 9 热 视 频| 久久婷婷五月综合色丁香| 久热只有精品| 狠狠综合区| 超碰AV在线| 狠婷婷五月| 天天干天天色综合| 精品9久| 久久激情视频| 天天综合在线网| 五月色综合| 99热高清在线| 色 五月俺去也| 大香蕉99热| 玖玖九九9999在线观看视频精品| 91操片| 5月丁香婷婷| 国产在这里只有精品| 99热最新网址| 99热欧美精品| 天天粽合合合合| 99思思热只有在这里看| 五月天综合网| 成人短视频免费观看| 精品99爱免费视频在线观看| 久青操| 狠狠精品干练久久久无码中文字幕| 色播播婷婷| 色五月天综合| 五月天激情网图片| 99在线视频免费| 99精品福利视频| 成人片黄网站色大片免费毛片| 免费在线a| 色情一区二区播放| 婷婷综合五月天| 婷婷在线综合| 大香蕉五月丁香| 五月天婷婷在线观看| 99热 精品在线| 婷婷五月成年人| 超碰日日操| 男女激情久久| 亚洲视频在线观看99| 九九热视频99| 精品99在线观看| 99综合视频| 丁香花大香蕉婷婷综合| xx色综合| 99熟女| 亭亭色网| www.婷婷六月天| 9在线9在线婷婷在线国产| 99热精品综合| 天天久综合网永久入口18| 激情五月婷婷免费视频| 亚洲综合色网| 婷婷九色| 激情五月婷婷五月丁香五月开心五月| 99久精品| www,天天干| 亚洲无AV在线中文字幕| 婷婷娱乐丁香综合网| www.婷婷六月天| 国产亚洲精品人人| 婷婷综合激情| 操一区| 五月丁香好婷婷A片网| 9热在线观看| 性生活视频98791| 天堂A∨在线| 99亚洲视频| 这里只有精品视频国产| 欧美成人精品A片免费一区99| 亚洲综合新99视频| 欧美搡BBBBB摔BBBBB| 婷婷五月俺要去| 久久久婷婷婷| 亚洲日韩人妻操逼| 天天揷综合网| 五月花丁香婷婷| 熟妇天天综合| 五月丁香婷婷综合网| 五月婷婷色播| 天天草天天爽| 69激情小说| 91免费试看| 人人射人人高潮| 激情五月婷婷啪啪| 色婷婷伊人| 狠狠干综合| 天天色天天日| 天天天天做夜夜夜夜做| 成人VAV视频在线观看| 91色涩| 国产激情视频在线观看| 这里只有精品久久| 深爱激情九九五月天| 色色婷婷综合| 天天舔天天摸| 9久久精品| 五月天激情婷婷| 五月天婷婷丁香六月| 丁香密臀AV激情网| 国产毛片欧美毛片久久久| 密桃激情五月天综合网| 国产无人区大片| 色五月综合激情| 伊人激情| 91精品视频男人的天堂| 久久伊人五月天| 人人色性网| 91精品又长又大又粗又爽又猛| 99精品22| 激情九月综合| 日韩野外 无套| 狼人久草| www.色婷婷。com| 91色在线| 疯狂做受XXXX高潮A片| 丁香五月婷婷手机| 五月综合激情| 伊人久久丁香狠狠婷婷综合香蕉| 99热色精品| 九九爱这里只有精品| 亚洲色区17| 99精品在线观看| 婷婷五月丁香伊人| 久热久| 五月天大香蕉视频| 性做久久久久久久免费看| 天天爱天天做天天操| 九九九这里只有精品| 国内自拍1区| 97人人干人人操| 丁香五月婷婷激情蜜桃| 天天做天天要天天爱| 伊人五月婷婷国产视频| 欧美电影在线观看| 久久五月激情综合| 五月天激情电影| 丁香婷婷人妻综合网| 538任你爽视频不一样的| 4399无码视频| 99热成人| 色婷婷操逼| 九九热在线视频,| 99小视频在线| 伊人久久大香线蕉av一区| 久久九九思思| 99国产精品白浆在线观看免费| www色五月| 可以直接看的AV网站| 九九九这里只有精品| 丁香五月黄色| 免费日本aⅴ中文字幕| 国产真人做爰视频免费| 九热视频| 超碰97人人操| 五月天激情亚洲| 色丁香婷婷美女视频网站| 五月丁香日本一抹本| 五月丁香色婷基地综合久久| 婷婷丁香色性爱| 99re8热精品免费视频| 最近中文字幕2019视频1| 久久色情| 精品色| 丁香五月婷婷av| 五月天天天综合| 日韩久久日| 亚洲激情婷婷| 中文成人在线| 女人天堂 AV| 久久狠狠色| 五月激情婷婷开心五月| 任你爽视频| 亚洲六月婷婷| 色噜噜五月天| 亚洲五月婷婷| 日韩欧美颜射| 99色激| 开心激情色婷婷五月天| 超碰免费人人| 中文字幕av在线| 欧美日韩五月婷婷| 任你操精品免费| 五月天婷婷激情网| 182TV大香蕉| 99九九中文字幕视频| 久一网站| 中文AV在线播放| 婷婷五月天丁香激情| 91 九色 入口| 97视频.干com| 丁香五月婷婷姐| 另类的婷婷| 狠狠婷婷日韩| 色色色1网址| 91九九精品| 日本nghangse中文字幕| AV网址大全在| 日韩三级视频一区二区| 色月丁| 99人人干人人| 婷婷午夜丁香| 九九Av| 欧美情月伍月天| 久久婷婷五月草视频在线播放| 五月天久久成人| 中文字幕色色色| 色停停五月天| 亚洲中文乱字字幕在线永久| www.精品99| 久久99婷婷| 欧美交换配乱吟粗大25P| 五月天偷拍| 久777| 色噜久| 丁香婷婷久久| 大伊久久| 99狠狠| 丁香五月电影| 丰满女老板BD高清A片| 99ri视频| 第九色区av天堂| 99热综合| 中文字幕按摩做爰| 爱iii做iiii日| 日本一级一级一级一级| 99网| 日韩美女羞羞网站在线观看| 五月丁香六月婷综合成人综合| 亚洲精品欧洲精品| 日本高清综合网五月丁香| 五月丁香婷婷综合| 色综合综合综合| 天天综合色丁香| 久久久人妻人伦| 婷婷五月天性| 欧美色99| 日本在线观看aaa 99| 久久99视频| 五月婷婷中文字幕| 午夜婷婷久久| 国产99久久久国产精品免费看| 人人叉久| 丁香五月综合激情啪啪| 性 色 婷婷| 色欲色香综合网| 色婷婷狠狠18禁| 婷婷中文综合网| 色色综合色视频| 丁香五月六月婷婷殴美综合| 97操操| 婷婷五月丁香综合桃花色网| 五月天激情播播网| 精品草原久久视频| 色五月婷婷五月| 五月婷婷色白丝| 色高清无码视频| 激情五月天婷婷丁香| 99啪99| 欧美成人网婷婷综合在线| 丁香九月婷| 激情五月天.色网| 五月激情婷婷图片基地| 五月天伊人| 99热在线中文字幕| 免费看片在线观看| 久久这里只有精品无码| www狠狠| a网站免费观看| 超碰色综合| 久久久久人妻精选| 婷婷五月天桃花网| 91碰碰| 激情九色| 亚洲成人丁香花| 亚洲六月婷| 色播综合| 开心五月婷婷五月| 婷婷99中文字幕| 青青草五月天| 久久色这里只有精品| 免费无码毛片一区二区A片 | 五月婷婷色播| 色婷大香蕉| 五月天激情中文字幕| 熟妇人妻中文字幕无码老熟妇| 婷婷五月黄色激情在线| 久久色9| 97成人视频| 日韩在线aaa| 午夜天堂一区人妻| 啄木鸟黑丝一区二区| 亚洲成人网站在线观看| 99啪啪网| AV五月丁香| 亚洲av日韩无码| 99ri视频在线播放| 在线不卡中文字幕| 亚洲熟妇无码乱子AV电影| 五月天丁香综合在线| 五月丁香婷婷六月| 99热在线看| 亚洲视频伍月婷婷| 五月婷婷丁香网| 五月婷婷免费在线视频| 日本色色网站| 婷婷涩涩五月天| 99丁香五月婷| www久久艹| 九九日本视频| 特级西西4444www无码| 99自拍视频在线观看| 久久性视频| 久久6这里只有精品| 六月丁香久久| 狠狠色情婷婷| 五月婷婷 激情按摩| 99re鈥哸鈥唙| 中文字幕精品在线观看| 婷婷丁香色情| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 色婷婷丁香五月丁香| 精品国产一区二区三区四区阿崩| 婷婷五月综合婷婷| 亚洲亚洲人成综合网络| 玖操97| 一本婷婷丁香久久| 91精品久久久久、久五月天| 热久久这里只有三级视频| 婷婷中文字幕| 五月丁香综合啪啪| 免费观看全黄做爰的视频| 天天精品视频在线观看视频| 69久久久| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 影音先锋 萱萱| 先锋资源996| 9色操| 久久久香| 午夜无码精品色综合久久| 国产激情一区| 五月婷婷亚洲| 色婷婷久久| 成人精品免费在线观看| 橾逼网| 色丁香五月婷婷婷| 婷婷欠久少妇| 91凹凸在线| caop在线视频| JlZZJlZZ8JlZZ亚洲熟女| 99热66| 九九色中文| 丁香五月综合狠狠| 日日操夜夜撸| 九九热视频精品2| 亚洲无AV在线中文字幕| 九九99热| 五月天激情四射| 久久婷婷五| www色色com| 天天天日天天天干| 亚洲六月色婷婷| 丁香五月玖玖| av九九| 国产淫熟妇| 五月天激情久久| 岛国在线观看91| 婷婷性爱影院| 狠狠干在线| 99久久婷婷国产综合精品草原| 亚洲热视频在线| 99久久免费性爱视频`| 天堂二区| 狠狠色综合网| 色五月激情婷婷| 亚洲成人网站在线观看| 亚洲天堂制| 五月丁香| 任我肏| 丁香六月情| 久久五月天婷婷视频| 99久久五月婷婷| 色色色综合网| 国产午夜精品一区二区| 五月天激情国产综合AV| WWW.五月天9999| 九九色之九九色88| 五月婷婷性爱网| 五月综合视频| 五月天另类小说| 九九热99精品| 91九色在线| 五月天大香蕉AV| 老司机视频lsj爱就色| 开心婷婷五月| 超碰AV在线| 9热在线观看| 这里只有精品视频一区| 久热九九| 干一干xxxx| 婷婷色五月色| 九九机热| 青青草a在线| 色五月丁香五月激情五月激情| 色播播婷婷| 日本天堂免费99| 五月天婷婷激情四射综合| 乱岳熟女50岁| 婷婷99狠狠躁天天躁| 超碰在线综合| 五月色天情| 停停五月丁香| 99性爱视频| 99色在线观看视频| 国产26uuu| 久久a热| 夜夜谢天天干| 99热在线看| 五月天色网站| 激情五月色综合国产精品| 东北婷婷五月天| 97婷婷丁香五月天激情图片| 久久黄色免费视频| 五月丁香啪啪啪免费看| 九九国产视频| AAA久久| 玖玖爱综合网| 色婷婷五月天中文字幕| 亚洲婷婷91丁香| 日韩视频女神99| 亚洲色婷婷五月天| 中文字幕欧美久久| 日本色天堂| 99热主页日本| 任你草| 婷婷激情五月天综合| 五月婷婷色丁香| 丁香五月六月婷婷综合激情| 啪到高潮激情丁香五月| 狠狠五月天| 五月天婷婷乱论小说| 亚洲欧美一区二区三区爱爱动图| 欧洲高清免费久久| 激情99在线视频| 在线观看欧美| 成人看片网站| 乱精品一区字幕二区| 99性爱视频| 亚洲色色色| 亚洲a片免费观看| 久久天堂婷婷五月| 色婷婷丁香综合中文字幕| 人伦30P| 国产日批视频免费播放| 五月丁香六月婷婷中合网| 色情激情五月婷婷| 国产三级秋霞| 九九九九国产| 色偷偷五月天| 精品久9| www.五月天色色色| 大香蕉啪啪网| 五月色情网| 91丨九色丨熟女|新版| 九九国产精视频| 激情五月天小说视频| www.99热精品| 婷婷五月天AV| 伊人免费视频9| 百度4399有码精品V在线观看| 久久五月激情综合| 色爱99| 亚洲狠狠狠| 国产九九一区二区三区| 欧美大片| 成人综合视频在线| 激情丁香社区| 五月婷婷丁香五月亚洲色| 丁香五月激情网| 国产乱人偷精品人妻A片| 超碰伊人碰婷婷五月| 综合激情伊人影视在线| 婷婷五月图片小说网| 久久思思热| 激情骚五月| 五月天激情网址| 婷婷五月无码| 国产午夜精品一区二区三区嫩草| 五月婷亚洲精品AV天堂| 亚洲 五月 婷婷 成人| 六月色婷婷| 色五月丁香五| 人人97碰| 99性爱视频网站| 中文字幕精品在线观看| 九九九激情综合| 九九成人精品免费视频| 色婷婷久综合久久一本国产AV| 婷婷综合在线| 97男人天堂| 激情影院内射| AV在线大香蕉| 婷婷亚洲在线| 热99国产精品| 色婷婷成人| 777影视理论片大全在线观看| 日韩黄色网络| 亚洲成人在线五月天| 久久久GOGO无码啪啪艺术 | 日撸夜撸日操| 亚洲第一综合| 色色色国产| 99爱视频在线播放| 国产成人精品一区二三区熟女在线| 9精品在线| 欧美成人精品一区二区| 99啪啪| 欧美日韩国产一区| anquye五月| 少妇大叫太大太粗太爽了A片| www.91.com黄| 成人久久天天x资源站| 91碰碰| 人妻射精AV| 日韩操人| 九九久久五月天综合伊人| 美欧日韩国产成人在战| 无码髙清| 久久日韩婷婷五月| www. 五月. com| 国产操逼网站| 日本在线wwww| 五月 婷 久| 久热精彩视频98| 五月丁香 狠狠爱| 丁香九月色| 97成人视频| 超碰人人摸AV| 97操碰免费视频| 婷婷五月天丁香久久| 久久久九九视频精品18| 五月婷视频在线观看| 天堂网亚洲色图| 久久九九经典| 五月丁香人妻| 色五月欧美| 日本97在线| 婷婷综合色图| 狼人久草| 26uuu视频欧美| 婷婷五月天视| 五月天婷基地| 婷婷五月天激情在线观看 | 色呦呦在线| 大香蕉丁香五月| jiuse91在线| 九九热婷婷| 色色丁香婷婷综合| www.久久99热地址发布| 五月天丁香婷| 婷婷久久亚洲| 天天婷婷综合| 五月婷色丁香| 米奇影视资源777狠狠色婷婷五月天激情网 | 在线观看五月婷婷网| 天天爽—爽| 五月天激情国产综合AV| 色婷婷在线综合色播网| 少妇人妻凹凸视频| 欧美va在线| 色老久久| 色五月在线观看| 天天弄天天操| 成人亚洲精品久久久久| 色播激情| 六月激情婷婷综合| 色五月成人| 婷婷综合另类小说| 久久婷婷五月激情网站| 五月婷婷免费看| 久久婷丁香五月| 激情五月天视频|