欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

TVM Relay自定義算子開發(fā)指南:從注冊到Lowering全流程

TVM Relay自定義算子開發(fā)指南:從注冊到Lowering全流程 1. 為什么要在 Relay 里加算子從一次真實需求說起深度學(xué)習(xí)編譯器這個領(lǐng)域Relay 作為 TVM 的高層中間表示承擔(dān)著把前端框架的計算圖翻譯成可優(yōu)化、可調(diào)度 IR 的核心職責(zé)。日常做模型部署的時候絕大多數(shù)算子 Relay 的算子庫都已經(jīng)覆蓋了卷積、矩陣乘、各類激活函數(shù)、歸一化、池化這些常規(guī)操作基本都能直接找到對應(yīng)實現(xiàn)。但真正落到項目里總會遇到一些“標(biāo)準(zhǔn)庫里沒有”的情況——可能是某個論文里新提出的激活函數(shù)可能是業(yè)務(wù)側(cè)自定義的融合邏輯也可能是某個冷門框架導(dǎo)出的算子 Relay 沒有對應(yīng)解析。這時候繞不過去的一件事就是自己給 Relay 添加一個新算子。這篇文章面向的讀者是已經(jīng)跑通過 TVM 基礎(chǔ)流程、能看懂 Relay IR、知道relay.op大概長什么樣但還沒完整走過“注冊一個新算子”全流程的人。我會把從算子定義、屬性注冊、類型關(guān)系推導(dǎo)、到 lowering 落地、再到 Python 側(cè)調(diào)用和測試的整條鏈路拆開講清楚。整個過程涉及 C 和 Python 兩側(cè)的配合涉及 TVM 的注冊機(jī)制、類型系統(tǒng)、以及 Relay 的 pass 體系信息量不小但走通一遍之后你會發(fā)現(xiàn)它的套路其實非常固定。先說清楚一個前提給 Relay 加算子本質(zhì)上是在做三件事。第一告訴 Relay 這個算子長什么樣——它的名字、輸入輸出、有哪些屬性參數(shù)第二告訴 Relay 這個算子的類型規(guī)則——給定輸入類型輸出類型怎么推第三告訴 Relay 這個算子最終怎么算——也就是 lowering 到更低層的實現(xiàn)。這三件事分別對應(yīng)算子注冊、類型關(guān)系TypeRelation、以及計算實現(xiàn)。很多人卡住不是因為某一步特別難而是因為這三件事分散在不同文件、不同注冊宏里第一次做的時候容易顧此失彼。我個人的建議是動手之前先想清楚你的算子屬于哪一類。如果它可以用現(xiàn)有 Relay 算子組合表達(dá)出來那優(yōu)先考慮用relay.op里的組合方式實現(xiàn)而不是新增算子——組合方式不需要碰 C維護(hù)成本低得多。只有當(dāng)組合方式表達(dá)不了、或者性能上必須下沉到 C 甚至要自定義 schedule 的時候才值得走完整的新增算子流程。這個判斷很關(guān)鍵我見過不少人一上來就加算子結(jié)果發(fā)現(xiàn)用te.compute加幾個現(xiàn)有 op 就能搞定白白增加了維護(hù)負(fù)擔(dān)。下面我按實際開發(fā)順序把整個流程拆成幾個部分來講。每一部分我都會說明“為什么這么做”而不只是“怎么做”因為 TVM 的注冊機(jī)制設(shè)計得比較繞不理解意圖的話照抄代碼很容易在細(xì)節(jié)上翻車。2. 動手前的整體設(shè)計新算子該放在哪一層2.1 先判斷組合實現(xiàn)還是新增算子在決定新增算子之前有一個必須做的判斷這個算子能不能用 Relay 已有的算子拼出來。舉個常見的例子假設(shè)你要實現(xiàn)一個swish激活函數(shù)它的定義是x * sigmoid(x)。這個完全可以用relay.multiply(x, relay.sigmoid(x))表達(dá)不需要新增任何算子。再比如某些自定義的歸一化如果能拆成 reduce、subtract、divide 的組合也優(yōu)先走組合路線。組合路線的優(yōu)勢非常明顯不碰 C不需要重新編譯 TVMPython 側(cè)直接就能用而且能自動享受 Relay 現(xiàn)有的融合、常量折疊等優(yōu)化。缺點(diǎn)是如果組合出來的子圖比較碎可能會影響融合效果或者在某些后端上性能不理想。什么時候必須新增算子我總結(jié)了幾種典型情況。第一種是算子語義無法用現(xiàn)有算子組合表達(dá)比如涉及特殊的內(nèi)存布局或者不可分解的數(shù)學(xué)運(yùn)算。第二種是性能敏感組合實現(xiàn)會產(chǎn)生大量中間張量而新增算子可以在一個 compute 里完成。第三種是需要自定義 schedule比如你想對這個算子做特殊的循環(huán)切分和向量化組合實現(xiàn)沒法控制底層調(diào)度。第四種是前端框架導(dǎo)出的模型里帶了這個算子你需要讓 Relay 能解析它。判斷清楚之后如果確定要新增接下來要決定算子的“層級”。Relay 里算子可以注冊在幾個不同的層次最上層是 Relay oprelay.op命名空間它直接面向計算圖往下是 TOPITVM Operator Inventory提供具體的 compute 和 schedule 實現(xiàn)再往下是 TETensor Expression描述張量計算。一個完整的算子通常需要在 Relay 層注冊 op在 TOPI 層提供 compute 實現(xiàn)必要時還要寫 schedule。2.2 文件組織新增算子該改哪些文件TVM 的代碼組織比較清晰新增一個算子通常涉及以下幾個位置。C 側(cè)算子注冊一般放在src/relay/op/下的對應(yīng)子目錄里比如張量運(yùn)算放tensor/神經(jīng)網(wǎng)絡(luò)相關(guān)放nn/。類型關(guān)系通常和算子注冊放在一起或者單獨(dú)放在op/op_common.h之類的公共頭文件里。TOPI 的 compute 實現(xiàn)放在python/tvm/topi/下對應(yīng)的模塊里比如topi/nn/、topi/math/。Python 側(cè)的封裝放在python/tvm/relay/op/下。這里有個經(jīng)驗不要一上來就想著把算子加到最合適的位置先把流程跑通再考慮代碼放哪。我見過有人花大量時間糾結(jié)目錄結(jié)構(gòu)結(jié)果算子還沒跑起來。正確的做法是先在一個臨時文件里把注冊、類型關(guān)系、compute 都寫出來編譯通過、測試通過之后再按 TVM 的代碼規(guī)范挪到合適的位置。另外要提醒的是TVM 的注冊宏是全局的算子名字在整個 Relay 命名空間里必須唯一。命名的時候建議遵循現(xiàn)有算子的命名習(xí)慣比如nn.contrib_xxx、math.xxx這種帶命名空間前綴的形式避免和已有算子沖突。如果你只是本地實驗可以用一個不太可能沖突的前綴比如myop.xxx。2.3 注冊機(jī)制的核心三個宏各管什么TVM 里新增算子最核心的是三個注冊宏理解它們各自的作用是走通流程的關(guān)鍵。第一個是RELAY_REGISTER_OP它注冊算子的“元信息”算子名字、參數(shù)描述、類型關(guān)系、以及一些屬性。這個宏決定了 Relay 在解析和類型推導(dǎo)階段怎么看待這個算子。它里面會指定set_attrs_type、add_argument、set_support_level、set_attr等。第二個是TVM_REGISTER_GLOBAL它注冊一個全局函數(shù)通常用來把算子的 compute 實現(xiàn)暴露給 Relay 的 lowering 階段。Relay 在把 op 轉(zhuǎn)成 TE 的時候會通過這個全局函數(shù)名去調(diào)用對應(yīng)的 compute。第三個是類型關(guān)系相關(guān)的注冊比如RelayExpr TypeRel或者用TypeRelation的子類。它負(fù)責(zé)在類型推導(dǎo)階段計算輸出類型。對于大多數(shù)逐元素算子可以直接用現(xiàn)成的BroadcastRel或者ElemwiseRel對于形狀有特殊變化的算子就需要自己寫一個 TypeRelation。這三個宏的關(guān)系可以這樣理解RELAY_REGISTER_OP是“身份證”告訴系統(tǒng)有這么個算子類型關(guān)系是“規(guī)則書”告訴系統(tǒng)輸入輸出類型怎么對應(yīng)TVM_REGISTER_GLOBAL是“施工隊”告訴系統(tǒng)實際怎么算。三者缺一不可而且名字要對應(yīng)上否則會在不同階段報錯。3. 核心細(xì)節(jié)拆解算子注冊與類型關(guān)系3.1 用 RELAY_REGISTER_OP 描述算子元信息先看算子注冊。一個典型的注冊代碼長這樣以我實際做過的一個自定義激活算子為例這里用虛構(gòu)的myop.leaky_clamp代稱RELAY_REGISTER_OP(myop.leaky_clamp) .describe(Rcode(Leaky clamp activation. Computes max(min(x, upper), lower) with a leaky slope for the lower part. )code TVM_ADD_FILELINE) .set_num_inputs(1) .add_argument(data, Tensor, The input tensor.) .set_support_level(10) .set_attrs_typeLeakyClampAttrs() .add_type_rel(LeakyClamp, LeakyClampRel());這里逐項說明。describe是給文檔和調(diào)試用的描述寫清楚算子語義方便別人包括未來的自己理解。set_num_inputs(1)聲明輸入個數(shù)注意這里只算數(shù)據(jù)輸入屬性參數(shù)不算在內(nèi)。add_argument描述每個輸入的名字和類型這個名字會出現(xiàn)在錯誤信息和調(diào)試輸出里。set_support_level是 TVM 內(nèi)部的一個標(biāo)記數(shù)值越大表示支持程度越低自定義算子一般給個較大的值比如 10表示“非官方支持”。set_attrs_type指定屬性結(jié)構(gòu)體類型如果你的算子有額外參數(shù)比如上面的lower、upper、slope就需要定義一個 Attrs 結(jié)構(gòu)體。add_type_rel綁定類型關(guān)系第一個參數(shù)是類型關(guān)系的名字第二個是實例。屬性結(jié)構(gòu)體通常這樣定義struct LeakyClampAttrs : public tvm::AttrsNodeLeakyClampAttrs { double lower; double upper; double slope; TVM_DECLARE_ATTRS(LeakyClampAttrs, relay.attrs.LeakyClampAttrs) { TVM_ATTR_FIELD(lower).set_default(-1.0).describe(Lower bound.); TVM_ATTR_FIELD(upper).set_default(1.0).describe(Upper bound.); TVM_ATTR_FIELD(slope).set_default(0.01).describe(Leaky slope.); } };這個結(jié)構(gòu)體繼承AttrsNode用TVM_DECLARE_ATTRS聲明字段每個字段用TVM_ATTR_FIELD注冊并可以設(shè)默認(rèn)值。屬性結(jié)構(gòu)體的好處是 Relay 會自動幫你做參數(shù)解析、類型檢查、以及序列化。定義好之后Python 側(cè)調(diào)用時傳的關(guān)鍵字參數(shù)會自動映射到這些字段。這里有個容易踩的坑屬性字段的類型要選對。TVM 支持int、double、bool、String、Array等類型但如果你用了不支持的復(fù)雜類型編譯會報錯。另外屬性結(jié)構(gòu)體的名字上面那個字符串relay.attrs.LeakyClampAttrs要全局唯一建議帶上算子名前綴。3.2 類型關(guān)系輸出類型到底怎么推類型關(guān)系是很多人第一次做時最容易迷糊的地方。它的職責(zé)是給定輸入表達(dá)式的類型推導(dǎo)出輸出表達(dá)式的類型。對于 Relay 來說類型主要是TensorType包含 shape 和 dtype。最簡單的做法是復(fù)用現(xiàn)成的類型關(guān)系。如果你的算子是逐元素的輸出 shape 和輸入完全一致直接用ElemwiseRel就行。如果涉及廣播比如兩個不同 shape 的輸入做運(yùn)算用BroadcastRel。這兩個現(xiàn)成的類型關(guān)系覆蓋了相當(dāng)一部分場景。但有些算子形狀會變比如 reduce 類算子輸出維度會減少或者像 reshape 這種輸出 shape 由屬性決定。這時候就需要自己寫 TypeRelation。一個自定義 TypeRelation 的骨架class LeakyClampRel : public TypeRelation { public: LeakyClampRel() : TypeRelation(nullptr, LeakyClampRel) {} TVM_DLL static ArrayType LeakyClampRelFunc( const ArrayType types, int num_inputs, const Attrs attrs, const TypeReporter reporter) { ICHECK_EQ(types.size(), 2); const auto* data types[0].asTensorTypeNode(); if (data nullptr) return types; reporter-Assign(types[1], TensorType(data-shape,>tvm.script.register_object def leaky_clamp(data, lower-1.0, upper1.0, slope0.01): return _make.leaky_clamp(data, lower, upper, slope)這里的_make.leaky_clamp是 TVM 根據(jù) C 注冊自動生成的參數(shù)順序要和 C 側(cè)add_argument加屬性字段的順序?qū)?yīng)。實際上 TVM 的 FFI 機(jī)制會自動把 Python 調(diào)用轉(zhuǎn)成 C 的Call節(jié)點(diǎn)屬性會打包成 Attrs。更規(guī)范的做法是用tvm.relay.op的注冊裝飾器把算子注冊到relay.op命名空間下這樣用戶可以用relay.op.myop.leaky_clamp(...)調(diào)用。同時建議加上類型檢查比如檢查輸入是不是 Tensor屬性值是否在合理范圍內(nèi)。Python 側(cè)還有一個重要工作是注冊算子的“梯度”或者“策略”如果你的算子需要參與自動微分或者有特定的算子融合策略。梯度注冊用register_gradient融合策略用register_fusion_pattern。這些不是必須的但如果你希望新算子能融入 Relay 的優(yōu)化流程最好補(bǔ)上。4. 實操過程從 compute 到 lowering 的完整鏈路4.1 用 TOPI 寫 compute 實現(xiàn)算子注冊和類型關(guān)系搞定之后接下來是實際的計算實現(xiàn)。Relay 的 lowering 會把 op 轉(zhuǎn)成 TE而 TE 的 compute 通常由 TOPI 提供。TOPI 的 compute 函數(shù)接收輸入張量和屬性返回一個 TE 的Tensor。繼續(xù)用leaky_clamp舉例TOPI 實現(xiàn)大概是這樣def leaky_clamp(data, lower-1.0, upper1.0, slope0.01): def _compute(ins): x ins[0] return te.compute( x.shape, lambda *idx: te.max( te.min(x[idx], tvm.tir.const(upper, x.dtype)), tvm.tir.const(lower, x.dtype) ) tvm.tir.const(slope, x.dtype) * te.min( x[idx] - tvm.tir.const(lower, x.dtype), 0.0 ), nameleaky_clamp, tagelemwise ) return _compute這里有幾個細(xì)節(jié)值得說。第一te.compute的第一個參數(shù)是輸出 shape逐元素算子直接用輸入 shape。第二lambda 里的idx是索引變量x[idx]取出對應(yīng)位置的元素。第三常量要用tvm.tir.const包裝并指定 dtype否則可能因為類型不匹配報錯。第四tag參數(shù)很重要它標(biāo)記了算子的類型比如elemwise、broadcast、reduceRelay 的融合 pass 會根據(jù) tag 決定能不能把這個算子和相鄰算子融合。第五name參數(shù)會出現(xiàn)在生成的代碼里取個有意義的名字方便調(diào)試。寫完 compute 之后需要用TVM_REGISTER_GLOBAL把它注冊成全局函數(shù)函數(shù)名要和 Relay 側(cè) lowering 時查找的名字一致。通常的約定是topi.myop.leaky_clamp這種形式。Relay 在 lowering 時會根據(jù)算子的名字拼出這個全局函數(shù)名去調(diào)用。這里有個非常容易踩的坑compute 函數(shù)的參數(shù)順序。它必須和 Relay 側(cè)add_argument加屬性字段的順序完全一致否則運(yùn)行時會因為參數(shù)錯位產(chǎn)生莫名其妙的錯誤。我建議在寫的時候把參數(shù)列表寫下來對照不要憑記憶。4.2 注冊 compute 與 lowering 對接compute 寫好后注冊代碼通常長這樣TVM_REGISTER_GLOBAL(topi.myop.leaky_clamp) .set_body([](TVMArgs args, TVMRetValue* rv) { *rv LeakyClampCompute(args[0], args[1], args[2], args[3]); });或者更常見的是在 Python 側(cè)用tvm.register_func注冊tvm.register_func(topi.myop.leaky_clamp) def _leaky_clamp_compute(data, lower, upper, slope): return leaky_clamp(data, lower, upper, slope)兩種方式都可以C 側(cè)注冊性能稍好Python 側(cè)注冊更靈活、改起來不用重新編譯。開發(fā)階段我強(qiáng)烈建議先用 Python 注冊因為改一行代碼就能生效不用等 C 編譯。等邏輯穩(wěn)定了再考慮挪到 C。lowering 對接的關(guān)鍵是 Relay 怎么知道去調(diào)用哪個全局函數(shù)。Relay 的OpImplementation或者FTVMCompute屬性會指定 compute 函數(shù)名。在RELAY_REGISTER_OP里可以用set_attrFTVMCompute(FTVMCompute, ...)來指定或者依賴默認(rèn)的命名約定。默認(rèn)約定是算子名加前綴比如myop.leaky_clamp對應(yīng)topi.myop.leaky_clamp。如果你用了非默認(rèn)命名一定要顯式設(shè)置FTVMCompute。4.3 編譯、測試與驗證代碼寫完之后編譯 TVM。如果你只改了 Python 側(cè)不需要重新編譯直接跑測試就行。如果改了 C 側(cè)需要重新編譯這個過程可能比較久建議用ninja增量編譯。測試分幾個層次。第一層是算子能不能被正確解析和類型推導(dǎo)寫個簡單的 Relay 程序用relay.Function構(gòu)造調(diào)用跑relay.transform.InferType看輸出類型對不對。第二層是數(shù)值正確性構(gòu)造隨機(jī)輸入用新算子算一遍再用 NumPy 手動實現(xiàn)算一遍對比結(jié)果。第三層是端到端把算子放進(jìn)一個完整模型編譯到目標(biāo)后端跑推理看結(jié)果。數(shù)值測試的代碼大概這樣import numpy as np import tvm from tvm import relay data relay.var(data, relay.TensorType((2, 3), float32)) out relay.op.myop.leaky_clamp(data, lower-1.0, upper1.0, slope0.01) func relay.Function([data], out) mod tvm.IRModule.from_expr(func) mod relay.transform.InferType()(mod) x np.random.randn(2, 3).astype(float32) expected np.maximum(np.minimum(x, 1.0), -1.0) 0.01 * np.minimum(x 1.0, 0.0) with tvm.transform.PassContext(opt_level3): lib relay.build(mod, targetllvm) runtime tvm.contrib.graph_executor.GraphModule(lib[default](tvm.cpu())) runtime.set_input(data, x) runtime.run() result runtime.get_output(0).numpy() np.testing.assert_allclose(result, expected, rtol1e-5)這個測試覆蓋了類型推導(dǎo)、lowering、編譯、執(zhí)行全流程。如果這一步過了說明算子基本可用。如果沒過錯誤信息通常會指向某個具體階段按階段排查即可。5. 常見問題與排查技巧實錄5.1 編譯期報錯注冊相關(guān)的典型問題新增算子時編譯期報錯主要集中在注冊環(huán)節(jié)。最常見的是“算子未注冊”或者“找不到類型關(guān)系”。前者通常是RELAY_REGISTER_OP的名字和調(diào)用時用的名字不一致注意 Relay 里算子名是大小寫敏感的而且命名空間前綴要完全匹配。后者是add_type_rel綁定的名字和實際 TypeRelation 注冊的名字不一致。另一個常見問題是屬性結(jié)構(gòu)體沒注冊。如果你定義了LeakyClampAttrs但忘了用TVM_REGISTER_NODE_TYPE注冊編譯時可能不報錯但運(yùn)行時解析屬性會失敗。注冊代碼是TVM_REGISTER_NODE_TYPE(LeakyClampAttrs);這個宏要放在屬性結(jié)構(gòu)體定義之后。我踩過一次坑屬性結(jié)構(gòu)體定義在頭文件里注冊宏忘了加結(jié)果算子能注冊成功但一調(diào)用就崩排查了半天才發(fā)現(xiàn)是屬性沒注冊。還有一種情況是set_num_inputs和實際add_argument的次數(shù)不匹配。set_num_inputs聲明的是數(shù)據(jù)輸入個數(shù)add_argument也要調(diào)用相同次數(shù)。如果聲明了 2 個輸入但只add_argument了 1 次類型推導(dǎo)時types數(shù)組長度會對不上報數(shù)組越界的錯。5.2 運(yùn)行期報錯類型推導(dǎo)與 lowering 的坑運(yùn)行期報錯里類型推導(dǎo)相關(guān)的最多。典型癥狀是Check failed: reporter-Assign之類的錯誤通常是因為輸出類型和輸入類型不兼容或者Assign被調(diào)用了多次。檢查你的 TypeRelation確保每個輸出只Assign一次且 dtype 和 shape 都合理。lowering 階段的報錯通常是“找不到 compute 函數(shù)”。這多半是全局函數(shù)名和 Relay 期望的名字不一致。排查方法是打印出 Relay 期望的函數(shù)名或者直接在RELAY_REGISTER_OP里顯式設(shè)置FTVMCompute屬性。另外compute 函數(shù)返回的必須是 TE 的 Tensor 或者 Tensor 列表如果返回了別的東西lowering 會失敗。數(shù)值不對但能跑通的情況通常是 compute 實現(xiàn)里的索引或者常量寫錯了。比如te.min和te.max的參數(shù)順序搞反或者常量 dtype 和輸入 dtype 不一致導(dǎo)致隱式類型轉(zhuǎn)換。這類問題建議先用小 shape 的輸入手動驗證比如(1, 1)或者(2, 2)把中間結(jié)果打印出來對比。5.3 常見問題速查表問題現(xiàn)象可能原因排查方向算子未注冊名字不匹配或注冊宏未執(zhí)行檢查RELAY_REGISTER_OP名字與調(diào)用名類型關(guān)系找不到add_type_rel名字與注冊名不一致核對 TypeRelation 注冊字符串屬性解析失敗屬性結(jié)構(gòu)體未注冊補(bǔ)TVM_REGISTER_NODE_TYPE數(shù)組越界set_num_inputs與add_argument次數(shù)不符核對輸入個數(shù)聲明找不到 compute全局函數(shù)名不匹配顯式設(shè)置FTVMCompute或核對命名數(shù)值錯誤compute 索引或常量寫錯小 shape 手動驗證中間結(jié)果融合失效tag 設(shè)置不當(dāng)檢查 compute 的 tag 參數(shù)5.4 獨(dú)家避坑經(jīng)驗第一條經(jīng)驗開發(fā)階段全部用 Python 注冊 compute不要碰 C。C 編譯一次動輒十幾分鐘改一個符號就要重編效率極低。等 Python 版本驗證通過再考慮要不要挪到 C。實際上很多自定義算子用 Python 注冊完全夠用性能差異在大多數(shù)場景下可以忽略。第二條經(jīng)驗類型關(guān)系先用現(xiàn)成的實在不行再自己寫。ElemwiseRel和BroadcastRel能覆蓋大部分逐元素和廣播場景自己寫 TypeRelation 容易在邊界情況上出錯。如果非寫不可先寫一個最簡版本只處理TensorType把nullptr和動態(tài) shape 的情況留到后面再補(bǔ)。第三條經(jīng)驗測試要從最小用例開始。不要一上來就用真實模型的復(fù)雜輸入先用(1, 1)或者(2, 3)這種小 shape把類型推導(dǎo)、lowering、數(shù)值都對一遍。小用例跑通了再逐步放大。我見過有人直接上大模型報錯信息淹沒在幾百行日志里根本定位不到問題。第四條經(jīng)驗善用relay.transform.InferType和relay.transform.PrintIR。類型推導(dǎo)出問題時先跑InferType看報錯位置lowering 出問題時用PrintIR把 lowering 前后的 IR 打出來對比能快速定位是哪一步出的問題。第五條經(jīng)驗屬性字段的默認(rèn)值要合理。如果某個屬性沒有默認(rèn)值用戶調(diào)用時必須顯式傳否則解析會失敗。給一個合理的默認(rèn)值能降低使用門檻也能避免因為漏傳參數(shù)導(dǎo)致的詭異錯誤。6. 算子擴(kuò)展后的優(yōu)化與融合考量6.1 讓新算子參與算子融合新算子加進(jìn)去只是第一步能不能融入 Relay 的優(yōu)化流程才是決定性能的關(guān)鍵。Relay 的融合 pass 會把相鄰的算子合并成一個 kernel減少內(nèi)存訪問和 kernel 啟動開銷。新算子能不能被融合取決于它的 tag 和融合模式注冊。compute 里的tag參數(shù)是融合 pass 的重要依據(jù)。elemwise標(biāo)簽的算子通??梢院颓昂笏阕幼杂扇诤蟗roadcast次之reduce和injective有各自的融合規(guī)則。如果你希望新算子能融合tag 要設(shè)對。比如逐元素算子設(shè)elemwise涉及廣播的設(shè)broadcast。除了 tag還可以用register_fusion_pattern注冊更精細(xì)的融合模式。比如你希望某個算子和它前面的卷積融合可以寫一個模式匹配規(guī)則。這部分相對進(jìn)階不是所有算子都需要但如果你的算子性能敏感值得花時間研究。6.2 自定義 schedule 的接入點(diǎn)如果新算子的 compute 用默認(rèn) schedule 性能不理想可以自定義 schedule。TOPI 的 compute 函數(shù)通常配套一個 schedule 函數(shù)用te.create_schedule創(chuàng)建調(diào)度然后對循環(huán)做切分、向量化、并行化等操作。自定義 schedule 的接入方式是在 Relay 的 lowering 配置里指定。TVM 的relay.build可以傳schedule_cfg或者用OpStrategy機(jī)制把 compute 和 schedule 綁定。對于自定義算子最簡單的做法是在 TOPI 里提供一個 schedule 函數(shù)然后在 lowering 時通過FTVMSchedule屬性指定。schedule 的編寫是另一個大話題這里不展開。但要提醒一點(diǎn)不要過早優(yōu)化 schedule。先用默認(rèn) schedule 把功能跑通測出性能瓶頸再針對性地寫 schedule。很多時候默認(rèn) schedule 已經(jīng)夠用自定義 schedule 的收益可能還不如換個更合適的 tag 讓融合 pass 發(fā)揮作用。6.3 跨后端兼容性檢查新算子寫完之后如果你需要它在多個后端上都能跑要做兼容性檢查。不同后端對算子的支持程度不一樣比如某些后端不支持特定的數(shù)據(jù)類型或者不支持動態(tài) shape。測試的時候至少覆蓋 CPU 和你有需求的目標(biāo)后端。如果某個后端不支持通常有兩種處理方式。一種是提供 fallback 實現(xiàn)讓不支持的部分回退到 CPU 或者用其他算子組合。另一種是在 lowering 階段做后端特定的轉(zhuǎn)換把新算子拆解成后端支持的算子。具體選哪種取決于你的性能要求和實現(xiàn)成本。還有一個容易被忽略的點(diǎn)是 dtype 支持。你的 compute 實現(xiàn)里如果用了tvm.tir.const包裝常量要確保常量的 dtype 和輸入 dtype 一致。如果輸入可能是float16也可能是float32compute 要能處理兩種 dtype不能寫死。測試的時候把常見 dtype 都跑一遍避免上線后才發(fā)現(xiàn)某個 dtype 不支持。7. 我個人在實際操作中的幾點(diǎn)體會走完整個流程我最深的體會是TVM 的算子注冊機(jī)制雖然看起來繁瑣但它的設(shè)計是有內(nèi)在邏輯的。注冊、類型關(guān)系、compute 這三層分別對應(yīng)“是什么”“怎么推”“怎么算”把這三層想清楚代碼就是水到渠成的事。真正難的不是寫代碼而是理解每一層為什么存在、什么時候需要自定義、什么時候可以復(fù)用。另一個體會是文檔和社區(qū)示例很重要但不能全信。TVM 版本迭代快不同版本的 API 可能有差異網(wǎng)上找到的示例代碼不一定適用于你的版本。最可靠的做法是直接看當(dāng)前版本 TVM 源碼里已有的算子實現(xiàn)照葫蘆畫瓢。比如你想加一個逐元素算子就找一個現(xiàn)有的逐元素算子把它的注冊、類型關(guān)系、compute 都讀一遍然后照著改。這比看任何教程都管用。最后一點(diǎn)不要怕報錯。新增算子涉及的環(huán)節(jié)多第一次做幾乎不可能一次通過。報錯信息通常很具體指向某個文件某一行順著排查基本都能找到原因。我自己的習(xí)慣是每改一小步就編譯測試一次不要攢一大堆改動再一起測那樣出了問題很難定位。小步快跑逐步驗證是走通這個流程最穩(wěn)的方式。如果你后續(xù)還想擴(kuò)展可以考慮的方向包括給算子加梯度支持讓它能參與訓(xùn)練、寫自定義 schedule 提升性能、或者把算子貢獻(xiàn)回 TVM 社區(qū)。每個方向都有各自的坑但核心流程和這篇文章講的是一致的。把基礎(chǔ)流程走通后面的擴(kuò)展就是在這個框架上做加法。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美日韩成人h| 一起草AV| 久久综合99| 五月婷婷丁香| 91超级碰碰| 天天爽天天干| 中国丰满熟女A片免费观| 六月激情网| 久久九九99| AA丁香综合激情| 日本一级一级一级一级| 伊人网色婷婷五月天| 成人αV视频免费观看| XX色综合| 婷婷五月天大香蕉在线视频观看| 啪啪啪丁香五月| 九九99视频精品| 久久久久久18| 亚洲AV中文在线| 久草A片| 九九这里是免费的视频5| 97婷婷丁香| 九色PORNY自拍成人精彩视频| 91九色在线| AA丁香综合激情| 色色综合色视频| 天天搞夜夜六| 色情综合网| 99久久五月婷婷| 人人操人人干AV| 日本久久人人| 色综合五月天| 狠狠久久婷| 丁香六月婷婷综合欧美| 另类色视频| 狠狠擼综合| 这里只有视频精品| 激情婷婷五月天日本系列| 开心色五月天久久久久久久| 久热黄色| 粉嫩AV久久一区二区三区| 97日本在线播放| 97丁香视频| 色欲影香| 欧美日韩大黄| 婷婷五月花丁香| 超碰男人色| 四色五月婷婷| 久热久69| 五月丁香六月激情综合| 天天天天天操| 国产精品爽爽久久久久久| 另类激情综合| 2018夜夜草| 狠狠色九月| 性视频久久| 久久这里都是精品免费| 九九无码视屏| 久久婷婷色| 丰满少妇猛烈A片免费看观看| 丁香五月成人自拍| 五月丁香网视频| 五月色导航| 五月婷婷,六月丁香| 97碰久久| 婷婷99视频在线| 超碰精品国产首页| 99,色| 森林影视大全,最好看的2019年视频 | 五月激情综合网| 国产精品成人AV在线观看春天| 67194中文在线| 久久综合首页| 五月丁香六月婷婷免费视频| 26UUU欧美激情一区二区| 大香蕉五月天婷婷| 色综合色色色色| 丁香婷婷久久| 婷婷五月天色| 久久女婷| 五月天天堂久久| 色婷婷欧美在线| 嫩草乱码一区三区四区| 九九综合色| 激情五月天福利| 精品人妻一区二区三区在| 亚洲第一av| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 九九热在线精品视频| 免费观看高清无码| 无码一区二区日韩| 成人在线视频一区| 婷婷五月色播天| 久久超级碰碰| 五月婷婷说| 五月天色社区| 色婷婷五月成人网| 天天天天天色| 男女99免费视频| 狼人婷婷综合| 丁香五月激情久久麻豆| 色色色色热热| 天天肏在线观看| 电影91久久久| 9九热视频| 99视频这里有精品| 日韩久久系列| 草美女在线观看视频在线播放| 久久久久丁香婷婷五月天| 色人久久| 久久伊人大香蕉| 综合激情网激情五月。| 国产人妻777人伦精品HD| 99九九中文字幕视频| 26uuu亚洲色| 91色五月| 一区二区三区XXXXXX| 欧美综合激情五月丁香| 五月婷婷五月天在线| 日本精品人妻无码77777| 久久婷婷色综合| 久热中文字幕在线线观看| 色综合久| 色你久久| 久久久久人妻精品| 久久丁香婷婷色情综合| 婷婷玉月丁香五月在线视频| 99久热这里只有精品| 日韩伊人大香蕉| 亚洲五月天综合| 五月色色色| 国产操逼视频网站| 久久伊人日日夜夜| 色婷婷在线视频| 九洲一级A片| 亚洲另类噜噜| 婷婷综合仓库中文| 99这里只有精品在线观看| 久热婷婷| 啪啪99| 亚洲视频图片婷婷五月| 中文超碰视在线| 天天 日综合| 久热无码| 午夜成人AV在线| 99热在线观看免费精品| 丁香婷婷五月天成人| 97婷婷丁香五月天激情图片| AVDV久久| 欧洲激情网站| 婷婷啪啪| 91久操| 人人干天天舔| 婷婷久久综合久| 91性人人| 五月天桃色深爱网| 婷婷五月a| 蜜乳.comcom| 五月婷婷之综合激情| 日韩99视频| 噜噜精品| 婷婷五月六月丁香| 婷婷深爱五月| www.色情五月天.com| 天天日天天干天天插天天射| 99色免费观看全部| 色99热| 天天碰夜夜操| sS丁香五月婷婷| 色婷婷中文在线| 国产午夜精品一区二区| 很很干天天干| 狠狠综合区| 激情色色色| 九色综合五月天婷五月| 五月激情婷婷在线| 97婷婷五月丁香| 亚州精品久久久久AV无码| 嫩草AV久久伊人妇女超级A| 六月五月丁香五月欧美| 成人做爰高潮A片免费视频| 亚洲精品乱码久久久久久按摩观| 高清无码视频网址| 五月丁香在线视频观看| 国产精产国品一二三在观看| 色婷婷久久视屏| 99热在线精品观看| 日本色色网站| 色五月综合在线| 日韩av在线电影| 婷婷涩涩五月天| 99久超碰| 日本片日本片祼观看网站在线看中文版网页在线看 | 日本啪啪网| 婷婷激情综合网| 99精品在线观看视频| 大香蕉伊人爱在线| 色九网| 天天色视频| 欧美性二区| 婷婷成人视频| 日本五月丁香| 色婷婷91激情小说| 亚洲第一综合| 久久婷婷五月丁香网| 欧美在线97| 91久久久久久久久18| www.久久| 婷婷九月激情网| 无码少妇高潮喷水A片免费| 五月婷婷乱| 五月婷婷伊| 亚洲第79页| 午夜日日| 97 A I色色| 五月婷婷激情综合在线| 最近免费中文字幕大全高清大全1 色狠狠色噜噜AV天堂五区 | 婷婷五月天精品| 日韩黄色AV无码| 激情婷婷丁香| 天天草人人摸| 久cao香蕉影院| 亚洲第一精品成人999久久精品| 亚洲视频在线观看区| 激情五月天影院| 久久精品五月天| 五月丁香六月欧美综合网站| 激情丁香五月激情婷婷| 丁香五月天婷婷91| 婷婷网五月天| 九九久久视频| 亚洲综合在线播放| 大战熟女丰满人妻AV| 亚洲五月天婷婷综合| 亚洲中文AV网站| 久久小视频| 久久激情视频| 91久久日日| 综合久久五月天| 久久久久久久久99精品| 亚洲亚洲人成综合网络| 操骚货在线| 成片免费播放| 激情综合丁香六| 日本高清综合网五月丁香| 久久久99视频| 色五月激情五月| 狠狠色噜噜色狠狠狠综合久久成人波| 国产成人网址| 亚洲一级 片内射网站在线观看| 色五月婷婷老师| 婷婷丁香日韩五月| 五月婷婷与六月丁香图片激情| 三级毛片视频| 原琪琪色影院| 5月婷婷性视频| 奇米网大香蕉| 五月激情视频| 99热在线只有精品| 色婷婷啪啪啪啪啪啪| 伊人玖玖精品| 欧美五月丁香在线| 色色亚洲99com| 性爱视频99| 色吧五月婷婷| aaa久久久| 国产99精品免费视频| 91肏| 99日韩| 九九久久五月天| 九九草热在线观看| 99久久五月婷婷| 99九九99九九九视频精彩| www.ywav| 亚洲九九视频| 色欲一二三| 久草热8精品视频在线观看| 99久久玖玖| 五月激情综合网| 国产精品美女久久久久AV超清| 99免费在线| 色欲丁香| 男人的天堂99| 色色五月婷婷| 九九成人| 区区欧美你爱| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 六月婷婷六月天天在线免费| 成人国产网站| 中文字幕 中文字幕明步| 免费视频99| 丁香五月综合激情久久潮喷| 光棍影院日韩精品| 欧美交换配乱吟粗大25P| 五月天啪啪啪| 五月天婷婷开心| 天天综合五月| 色色97丁香婷婷五月天| 99热亚洲| 人妻激情综合| 五月丁香人妻| 婷婷狠狠五月综合| 婷婷导航| av无码电影| 一本色综合色| 激情第四色| 丁香六月婷婷五月婷婷| 免费观看的AV| 九九热亚洲中文在线观看免费| 深爱激情五月网| 婷婷五月天综合小说网| 亚洲开心激情网| 九九这里是免费的视频5| 色婷婷91激情小说| 国产69久久久欧美黑人A片| 日本三久久| 99热这里有精力| 久久网站观看免费欧洲国产| 超碰操网| 9视频1在线| 久久久久久久久久久-久五月天婷婷| 丁香五月天堂网| 亚洲色网络| 欧洲激情五月天| 日本在线视频播放91| 婷婷桃色网| 亚洲精品字幕在线观看| 久久婷婷综合五月天| 亚洲婷婷激情综合激情999精品| 亚洲色色精品| 激情五月综合免费| 激情宗合哪里能看| 久久五月婷| 人橾人| 久热re视频在线观看网站| 日韩啪啪网| 亚洲综合99| 五月婷婷激情综合av| 天天天日天天天干| 婷婷色情小说| 丁香五月激情视频在线| 成人婷婷五月天| 超碰在线看| 五月丁香黄色| 视频久久9| 婷婷五月激情小说| 青青草原亚洲久| A片女女女女女女BBBB| 激情影院丁香五月| 99精品视频网站| 婷婷综合97| 天天干电影| 99r这里只有精品在线观看| 五月色导航| eeuus五月婷| 天天爽爽日日做做| 欧美情月伍月天| 丁香大香蕉| 久久加勒比| 天堂久久大香蕉| 免费日本aⅴ中文字幕| 精品二区| 久久婷婷综合五月| 西西4r午夜剧场| 久久久久久久久18久久| 日韩日比视频在线| 色婷婷精品视频在线播放| 激情 久久 婷婷| 婷婷六月激情综合| 五月停视频天堂| 牛色色碰| 亚洲精品又粗又大又爽A片 | 91919191919久久成人视频| 伊人综合网站| AA片在线观看视频在线播放| 国产毛片操B| 97啪在线观看视频| 婷婷色综合网日韩国产| 日本wwww在线| 九月激情综合婷婷| 97人人搞| 99re热视频这里只有综合亚洲| 91vip在线观看| 久久婷色| 人人亚洲| 婷婷六月网| www.日日夜夜| 久热播这里只有精品| 99爱免费视频| 五月天色社区| 综合狠狠干| 狠狠色五月| 九月激情综合| 亚洲免费av在线| 国产午夜精品一区二区| 激情综合五月| 国产精品99久久久久久久女警| 少妇做爰免费视看片| 久草热久草在线视频| 九九亚洲天堂| 51精品国内探花| 人人叉久| 婷婷综合日本| 亚洲AV成人精品日韩在线播放| 五月丁香香蕉| 五月婷婷综合激情| 99日这里只有精品| 99re这里只有| 精品久久99| 六月丁丁香| 国产午夜精品一区二区三区四区| 色色色宗合网| 99精品高潮| 五月 激情视频| 色婷婷小说| 开心 五月 综合| 99精彩视频在线观看| 五月婷婷色吧!| 天天干天天干天天操| 色色99| 在线99热| 国产精产国品一二三在观看| 99精品网址| 欧美色图天堂网色| 婷婷的激情五月| 99热这里只有精品1998| 婷婷五月激情六月| 欧美25p| 国产精品激情AV久久久青桔| 四射综合网| 五月丁香激情四射| 久久五月天合网| 日韩精品无码99| 人妻少妇色综合| 亚洲精品国产成人AV在线| 91九九| 天天肏视奸| 香蕉网久久| 婷婷五月天成人五月天| 伊人婷婷五月天av| 激情AV在线| 丁香六月婷婷| 日韩欧美成人网| 久久精品综合色| 亚洲成人在线播放| 五月综合六月婷婷| 五月天堂色| 97 天堂| 9热在线视频精品| 中文字幕 码精品视频网站| 天天综合干| 色综合99| 亚洲妇女熟BBW| 91丨九色丨国产打屁股网站| 激情五月婷婷丁香六月| 99青青草| 婷婷色导航| 日韩性爱AV| 久操干| 五月婷人妻| 激情丁香五月天图片| 九九亚洲视频| 亚洲天堂玖玖| 国产99热在线看| 日本操逼九九九九58日本操逼| 五月婷六月| 99热99精品在线观看| 秋霞A V毛片| Jh7Uf088VHafNm| 99碰网站| 久久婷婷五月综合色区| 亚洲色五月婷婷| 婷婷福利影院| 99热免费网站| 停婷丁五月在线| 丁香五月天激情综合| 成人资源在线| 色天天综合成人网| 色色网站| 日韩在线观看亚洲| 可以免费看的av网站| 五月丁香婷婷色色| www.丁香黄色五月天人与| 色综合九九| 九九在线这里只有精品视频| 国产色色视频| 久久WW| 密乳视频| 99色性爰网络| 婷婷五月丁香A∨| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 激情丰满熟妇五月| 亚洲热综合| 丁香五月婷婷欧美成人色图| 六月丁香婷婷网| 97人人操| 伊人丁香五月婷婷潮吹| 伊人狠狠狠综合| 5月丁香综合网| 五月丁香激情综合| 大香蕉在线99热| 丁香五月激情宗合| 久久激情五月婷婷| 99热很操老逼| 日日噜狠狠色综合久久| 五月天六月色| 婷婷99中文字幕| 狠狠激情五月天| 五月综合色| 98色花堂98t.R| 天天天摸夜夜夜玩| 人妻AV中文系列| 91碰在线| 99视频只有精品| 丁香五月婷婷av影院| 激情婷婷五月女| 欧美色99| 五月丁香色婷基地综合久久| 天天夜夜爽| 无码AV免费精品一区二区三区| 五月停亭六月,六月停亭的英语| 综合网亚洲| 婷婷六月激情综合| 五月激情丁香五月宗合| 婷婷五月婷婷| 精品激情| 激情性爱五月| 亚洲AV无码成人精品电影| 五月丁香色狠狠干大屄| 激情五月天视频| 偷拍91九色| 天天插天天操| www日本熟妇99在线视频| 久久99热这里只有精品23| 另类图片天天影视在线观看| 9久热免费视频99| 天天噜噜| 色婷婷aV四虎| 亚洲亚洲亚洲AAAAAA| 免看黄大片AA | XXXX岛国| 婷婷丁香久久| 大功率国产在线| 91久久1118| 五月丁香亭亭操逼| 婷婷六月天| 婷婷色色丁香| 狠狠狠五月婷婷六月丁香| 伊人色综合网| 日日日,com| 99无码视频| 色99日韩| 狠狠色噜噜狠狠狠狠综合| www91精品| 人妻久久人妻久久第一区| 亚洲殴洲精品Av在线| 色综色五月天婷婷| 婷婷情色开心五月天99| 婷婷成人综合五月| 99re欧美精品| 色色永久| 色婷婷基地 | 激情精品久久| 99在线免费观看| WWW五月婷婷| 日日狠狠久久偷偷四色综合免费| 五月开心播播网| 五月情综合| 欧美性做爰大片免费看办公室 | 99热这里有精品| 丁香五月影视| 操91| 五月伊人综合| 色五月激情五月| 五月熟妇婷婷久久| 91精品久久久久久久久久| 插插五月天| 91人久| 色婷婷最爱五月| 人妻体体内射精一区二区| 五月婷婷久久爱| 69超碰在线| 激情婷婷丁香色五月| 青吴乐视频| 天天夜夜爽| 综合九色| 丁香五月激情鲁| 五月天婷婷丁香人人操91| 久热免费| 久久婷婷国产| 99热网站| 五月婷婷就去色| 四季8848精品成人免费网站| 女人天堂 AV| 九月性爱网| 天天精品视频免费观看| 久久精品99久久久久久| 99热官网精品在线| 日本狠狠爽| 极品少妇XXXX精品少妇偷拍| 婷婷丁香激情| 综合激情sV| 色色色婷婷五月| 超碰人人在线| 国产日韩欧美| 九九热这里只有精品12| 色五月色情| 99啪啪网| 日本妈妈乱| 国产这里只有精品| 婷婷五月天综合色| 成人网站av免费网站推荐| www.99热视频| 这里只有精品,日韩视频| 亚洲午夜在线视频| 婷婷五月天综合久久| www.久久爱.com| 五月天婷婷在线AN| 夜夜操少妇| 天堂网亚洲色图| 5五月综合网亚洲| 丁香五月91| 色播五月婷婷| 五月六月婷婷| 九九热黄色| 欧美性生交XXXXX无码小说| 日撸夜撸日操| 丁香五月激情网| 亚洲九九视频| 婷婷色网站| 日韩欧美一道四区中文字幕| 九九视频在线| 国产日日操夜夜操的肉棒视频| 六月婷婷操逼| 啪啪激情综合| 日本女va| 琪琪狠狠干| 97碰| 婷婷激情鹿城五月天| 九九激情视频| 九九热精品| 秋霞三及片| 97人人操| 国产一级片色色| 色婷婷五月综合| 丁香五月天无码AV| 久久日婷婷| 97干欧美| 先锋av性爱成人电影| 2021日韩无码| 日本色婷婷| av性爱网站| av在线资源| 99久久国产宗和精品1上映| 思思热精品在线观看| 婷婷五月花| 久久久天堂国产精品女人| 婷婷综合五月天| 亚洲精品色色| 日本全黄一级999| 俺去也五月天| 久久婷婷成人综合色怡春院| 亚洲日韩国产黑丝黑丝AVAV一区二区三区| 一本色道久久88综合日韩精品| 99热只有这里有精品| 色波激情五月天| 加勒比久热| 久久久99视频| 亚洲色欲AAAAAA| 男人天堂99| 97日本在线播放| 婷婷色影院| 九九无码视屏| 五月丁香六月成人| 伊人网色婷婷五月天| 99热都是精品| 久久人妻人人槡| 超碰免费人人| 激情超碰网| 五月激情视频| 99噜噜| 99久久精品网| 色五月激情视频在线综合| 丁香色情五月综合激情| 国产精品国产成人国产三级| 五月天激情久久| 天天射综合网天天插| 996热re视频精品视频| a级毛片一区二区免费视频| 久久久激情| 日日日日操| www.激情在线| 激情四射婷婷| 亚洲AV电影av| 黑人糟蹋人妻HD中文字幕| yellow视频在线观看91| 婷婷五亚洲| 九九青青草成人| 91九色PORNY中文啦| 8090在线影视少妇| 五月丁香激情综合| 噜噜国产| 久久综合天天综合| 人妻操逼| 色婷婷精品视频| 亚洲丁香花五月丁香花| 99精品热| 色色色色色色色色网站| 日本天堂免费99| 开心五月天激情| 五月天天天综合| 停停综合色色| 婷婷五月成人社区| 亚洲亚洲人成综合网络| 五月天婷婷视频| 无码橾| 人人爱国产| 夜夜夜夜做天天天做无码视频| 99re热精品在线视频| 日本99色| 激情超碰网| 无码一区精品一区视频| 97人人草| 久久99网| 碰碰女| 五月婷婷开心网| 五月天综合影院| 5月婷婷激情6月| 色情·com| 九九黄色网| 天天综合久久| 激情综合婷婷久久| www.色欲丁香婷婷| 香蕉影院色| 婷婷在线视频| 久久这里有精品| 婷婷久久五月| 五月丁香婷婷综合久久| 九九色大香蕉| 看全色黄大色大片| 五月婷婷丁香五月天| 天天干天天爽天天操| 久久草婷婷丁香网站| 丁香六月激| 激情综合网五月丁香| 七七九色| 97超碰在线免费观看| 视频久久9| 日韩小视频在线99| 高清a片基地| 2050人人操免费工开爱| 婷婷综合性爱网| 97精品人人A片免费看| 五月花婷婷| 久久五月丁香| 五月丁香久久| 九九色精品| 狠狠操综合| 中文字幕在线免费观看视频| 99无码| 99操逼| 色婷婷色99国产综合精品| 激情综合五月| 婷婷五月丁香六月| 开心五月婷婷激情| 拍真实国产伦偷精品| 九九热在线观看视频| 人人播| 天天爽天天爽| 五月丁香综合激情| 无码人妻精品一区二区蜜桃色欲| 精品人妻伦九区久久AAA片| 色噜噜狠狠色综无码久久合欧美| 婷婷丁香六月| 四川女人毛多水多A片| 强辱丰满人妻HD中文字幕| 色狠狠色噜噜AV天堂五区| 中文字幕乱码亚洲精品一区| 在线视频婷婷| 精品五月花| 亚州第一A片| 午夜福利成人AV91| 激情伊人网| www.色色五月天.com| 丁香综合网| 六月99天天婷婷激情综合| 91丨熟女丨首页| 激情开心五月婷婷| 五月丁香六月情婷婷久久| 爱婷婷五月| 亚洲日日操| 丁香六月综合| 97超碰人人操| 97婷婷色| 成人国产网站在线免费看| 熟女强人妻一区二区三区四区无| 无码字幕中文| 天天操精品| 久久婷婷国产| 综合丁香婷婷五月天| 桃色激情婷婷伊人网| 久久久久99精品成人片| 26UUU欧美| 午夜丁香综合婷婷| 婷婷狠狠操| 日本欧美成人片AAAA| 丰满少妇猛烈A片免费看观看 | 久久66成人网站| 久色资源网| 五月天激情小说| 亚洲另类电影| 亚洲精品久久久久AV无码| 五月天丁香色色| 久久伊人婷| 超碰激情网| 日本精品。999| 五月婷婷精品无在线| 狠狠狠色激情综合适合| 97色碰| 疯狂做受XXXX高潮A片动画| 欧美日韩婷婷五月天| 百度4399有码精品V在线观看| 久久人人九| 五月婷视频久久| 五月婷婷色播网| 丁香五月五婷| 成人网在线视频| 人妻AV在线| 日韩一级淫乱片一区二区三区| 婷婷色在线播放| 婷婷,五月天,丁香,第一| 超碰97人人操| 婷婷六月丁香久| 丁香婷婷六月激情综合| 婷婷八月丁香激情综合| 开心深爱激情网| 五月天激情美女久久| 婷婷99丁香| 国产亚洲在线观看| 99福利视频| 操逼巨乳91| 伊人91| 婷婷五月激情视频网| 99黄色性生活| 亚洲色色精品| 99热9999| 综合aV在线| 久久新| 啪啪啪啪五月天| 色综合天天综合成人网| 99热免费| 婷婷久久婷婷色五月| 成人看片网站| 天天视频亚洲| 91碰碰碰| 色婷婷小视频| 久久婷婷精品| 大香蕉精品视频| Va另类视频| 99热综合在线| 免费视频无码| 久久久国产精品黄毛片| 偷拍91九色| 婷婷涩涩网| 123草逼网| 能看的AV| 性做久久久久久久免费看| 五月五月婷婷| 丁香桃色综合网| 另类激情五月在线视频欧美| 天天综合精品| 一区二区免费看| 香蕉久久国产AV一区二区| 五月综合六月婷婷| 色99网| 人人操操97| 26UUU成人网| 99热都是精品| 国产日产亚系列精品版优势| 婷婷激情五月视频| 天天干,噜噜色,狠狠色| www.五月婷婷久久.com| 丁香狠狠色婷婷久久无码视频| 五月婷婷色播视频| 五月婷婷五月| 三级毛片视频| 六月丁香婷婷视频综合在线观看| 婷婷开心激情| 婷婷91| 九九精品碰| 久久婷婷丁香五月一二三| 综合婷婷五月天| 熟妇人妻中文字幕无码老熟妇 | 欧美激情VA永久在线播放| 免费看欧美成人A片无码| 激情综合网址| 亚洲热久久| 五月婷婷综合在线| 日本三级日本三级99| 第四色首页| 国外亚洲成AV人片在线观看| 五月婷婷激情性爱| 日本颜色视频人人爱| 欧美性猛交AAAA片黑人 | 中美日韩成人在线| www.henhengan| 日韩精品无码一区二区| 人妻中文在线| 99无码视频| 大香蕉福利导航| 思思久久精品视频| 伊人网碰碰| 五月天色欧美| 六月天丁婷婷| 国产精品美女久久久久AV超清| 精品婷婷| 啪啪色区| 久久五月天免费网站| 热99re| 俺去也婷婷| 综合网色| 97操碰在线视频| 国产女人十八水真多1| 全国最新疫情| 色播五月丁香| 中文字幕,综合,91| 人人射人人高潮| 色色五月婷婷网| 在线另类视频| 99热免费观看| 久热9热| 五月精品免费XXX| 99热 精品在线| 久久视频66| 亚洲成人AV在线观看| 亚洲AV无码影院| 开心激情播播五月天| 亚洲第一成人无码A片| 婷婷伊人无码| 激情综合网五月天| 91九色国产| 99热99极品观看| 视频在线免费观看欧洲乱码| 26uuu欧美亚洲日韩| 北京熟妇搡BBBB搡BBBB| WWW.五月天9999| 综合色播| 色色综合色视频| 99精品国产在热久久婷婷| 大香蕉丁香五月| 色综合久久天天综合网| 国产毛片精品一区二区色欲黄A片| 五月丁香六月婷婷综合在线| 九九五月天| 啪精品| 婷婷六月天激情| www.99热精品99.com| 中文字幕色色| 97人碰人操| 中出内射的人妻视频| 国产精产国品一二三在观看| 欧美情月伍月天| 九九精品免费| 18av天堂| 亚州色婷婷| 久久久999精品| 超碰人人操人人干| 亚洲AV网址| 最新久久网址| 五月丁香免费视频| 99日韩| 婷婷色九月| 中文字幕综合网| www.婷婷.com| 99在线资源| 伊人色综合影院视频| 激情婷婷五月| 成人在线精品| 九九热啪啪| 五月天开心色情网| 91久久99久久91熟女精品| 午夜爱爱网站| 丁香五月欧美成人| 超碰免费人妻| 五月天综合视频| 久久99热这里只有| 天天天天干| 五月丁激情| 亚洲国产精品SUV| 99视频在线观看视频| 黄色国久久| 日日夜夜小色哥| 婷婷视频在线碰| 五月丁香六月激情综合欧美| www.99热精品99.com| 久久精彩视频| 激情综合网址| 日日噜噜夜夜狠狠久久丁香六月| 婷婷五月天伊人在线| 99热亚洲| 9999色色色色| 热婷婷av| 亚洲人成色A777777在线观看 | 9精品视频在线| 激情图片婷婷丁香五月| 六月丁香六月婷婷欧美| 成人网址在线观看| 天天爽在线视频| 天天干一干| 六月婷婷私欲| 九九热内射| 色爱99| 亚洲在线资源| 九九成人| 色五月天网| 久久久色情| 日韩欧美成人片| 五月天丁香六月综合| 欧美 日韩 人妻 高清 中文| 婷婷五月综合激情小说| 日本色色影片| 天天日天天干天天插天天射| 五月天婷婷久草丁香| 色婷婷AAA| 色9色| 日韩三级高清无码| 99精品免费欧美小视频| 国产第99页| 深情五月天| 五月天久久综合| 五月婷婷深深爱| 久久婷婷婷婷伊人| 婷婷五月丁香A∨| 婷婷色在线播放| 91天天操天天干天天射| 久热只有精品| 这里只有精品久| 色婷婷精品视频| 五月丁香五月综合欧美| 成人羞羞啪啪 全 视频| 欧美精品中文字幕亚洲专区| 91色情播放| 26.uuu丁香五月婷婷| 五月丁香激情啪啪| www.亭亭五月天| 涩九九九九| 99∨VTV| 亚洲国产精品综合色区| 先锋资源91| 涩五月婷婷| 丁香六月色婷婷| 色爱综合网| 操操操97| 五月天社区婷婷丁香社区| 五月天激日本色情在线| 香蕉曰比| 五月丁香六月婷婷无码| 99久久久久| 老师高潮流白浆喷水的A片| 操日视频| 99热大全在线观看| 婷婷不卡基地| 日韩色五月| 五月丁激情| 婷婷性爱五月天丁香网| 精品99在线| 婷婷丁香色五月天久久88| 色噜噜狠狠狠狠色综合久欧美| 色五月婷婷在线| 婷婷五月天成人动漫| 男人的天堂在线婷婷| 色99网| 久久之人妻| 国产亚洲精品AAAAAAA片| 噜噜视频| 亚洲 精品 综合 精品| 日笨久久网| 成片免费播放| 26uuu国产| 成人超碰AV| 综合精品99| 欧美色五月| 99久久网站| 99高级会所久久| 天天透天天干| 思思久久精品| 热成人网| 亭亭玉立国色天香| 色综合久久久久| 亚洲色频| 婷婷五月深深的爱| 亚洲在线播放| 麻豆AV一区二区三区| 91日日日| 婷婷另类开心| 婷婷玖玖五月天| 欧美特大片黄| 91久久久久久久久| 天天爽天天摸| 五月天婷婷av| 九一牛视频探花| 五月天成人综合| 色色热| 亚洲综合婷婷五月| 99在线精品观看99| 丁香五月很很肏| 国产精品99久久久久久久女警| 免费观看大片视频 丁香婷婷 六月欧美| 激情五月综合色婷婷| 日本美女上人| 99操不停| h在线看免费版在线看| 五月精品| 日本在线视频手机播放五月婷| 婷婷六月综合| 1024成人免费看| 丁香六月婷婷| 五月丁香综合中文| 欧美色欲色欲天天天www| 伊人婷婷大香蕉| 婷婷五月色花丁香社区| 国产精品久久久久久久久久免费 | 午夜九九九九九九九九九九九九九| 色噜噜在线| 狠狠操.com| 啪啪 综合网| 日日操无码| 国产精品美女久久久久AV超清| 久热欧美| 久久 天天| 五月婷婷六月奇米网丁香| 九九热这里有精品视频| 美女黄频aⅴ视频| 综合99在线| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 色色色综合网| 亚洲无码播放| 综合色色色色色色| 天天日人人爽| 久久这里都是精品免费| 91色九| 久久久精品99| 婷婷五月丁香色色| 国产乱人偷精品人妻A片| 色色色9| 国产.亚洲.欧洲视频在线| 色丁香五月| 色性日本| 五月婷婷综合网在线播放| 99爱爱| 91九色欧美| 奇米影视在线视频| 牛色色碰| 成AV人片一区二区三区久久| 激情色视频| 丁香六月开心| 亚欧州精品视频| 丁香五婷| 婷婷丁香综合在线| 色婷婷91激情小说| 婷婷99视频在线| 99无码视频| 婷婷另类小说| 婷婷亚洲天堂| 伊人久久大香蕉网| 色播五月婷婷五月| 五月天婷婷高清无码| 婷婷舔| 五月丁香美女视频| 五月婷婷综合久久| 激情五月色综合网| 日韩婷久| 婷婷伊人综合| 欧美日本国产| 亚洲综合色成丁香五月色| 亚洲精品久久久无码| 天天操天天插| 九九久久精品| 婷婷色五月婷| 五月天精品| 这里只有精品在线免费视频| 色情激情五月| 久久狠狠色| 六月婷婷影院| 丁香五月综合在线播放| 五月丁香好婷婷A片网| 提提热五月天婷婷| 熟女重口味αV| 天天日天天做天天舔| 久久久婷婷婷| 99久久网站| 4399成人黄A片| 97碰免费视频在线| 性生活视频98791| 第五婷婷伊人丁香色| 色婷婷88| 久久六月天| 激情久久综合| 五月丁香婷婷爱激情综合网| 婷婷丁香五月亚洲欧美| 亚洲视频a| 久鲁鲁色网| 午夜理论片最新午夜理论剧| 99国产小视频2013| 精品久久人妻热| 激情综合网络插| 久er7久热| 六月丁香婷婷色综合| 99热精品一| 婷婷涩涩网| 欧美婷婷五月天综合| 午夜婷婷五月天| 噜噜色婷婷| 五月丁香六月激情| www.五月丁香| 91人人爽狠狠狠| 色久天| 久久精品国产一区二区三区四区| 91啪啪视频| 欧美大片| 婷婷六月成人| 91九色成人原创视频| 色月丁| 亚洲性爱电影| 天天爽夜夜爽夜夜爽精品| 激情六月丁香综合| 五月丁香五月激情综合色综合| 99久久综合精品五月天| 99热的无码| 99亚州综合精品成人网| 97色啪| 91丨九色丨东北熟女| 五月综合久久| 热久久999| 91精品综合久久久五月天| 九九色大香蕉| 久热超碰| 激情丁香网| 婷婷五月天黄色小说| 久久婷婷五月综合啪| 99热这里只有精彩| 欧美日韩欧美| 99九九这里有免费视频| 六月婷婷青青青视频| 97干欧美| 夜夜骑日日操| 色婷婷六月综合| 婷婷噜噜| 丁香色六月婷婷| 久久婷婷五月天激情四射| 欧美在线视频99| 九九99香蕉在线视频播放| 91爱啪啪| 色色激情五月天| 春色激情| 色噜久| 五月天AV大香蕉| 99综合久久| 天天日天天摸天天| 99久久久| 色婷婷19| 99热这里只有精品9| 丁香五月天堂婷婷| 91久久国产综合久久| 99热综合网| 97人人干|