欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

HuggingFace英譯中模型遷移ONNX:推理加速與CPU部署實踐

HuggingFace英譯中模型遷移ONNX:推理加速與CPU部署實踐 1. 為什么我非要把 HuggingFace 的英譯中模型搬到 ONNX先說說這件事的背景。我手頭有個小項目核心功能是給一批英文技術(shù)文檔做實時翻譯摘要量不大但要求延遲低、部署環(huán)境干凈最好不依賴 GPU 就能跑。最開始我直接用了 HuggingFace 上的Helsinki-NLP/opus-mt-en-zh模型這套 MarianMT 系列的英譯中效果在通用場景下挺穩(wěn)的尤其在處理日常表達和短句時翻譯質(zhì)量比不少在線接口都自然。但問題出在部署環(huán)節(jié)Python 環(huán)境 Transformers 庫 PyTorch 全家桶這套組合在開發(fā)機上跑沒問題一放到生產(chǎn)環(huán)境的容器里就變得非常臃腫啟動時加載模型要等好幾秒單條短句的推理延遲也總是壓不進我想要的閾值內(nèi)。網(wǎng)上不少人提到把模型轉(zhuǎn)成 ONNX說這樣可以擺脫 PyTorch Runtime 的依賴用 ONNX Runtime 直接推理。我當時的第一反應(yīng)是就這么簡單轉(zhuǎn)完真能用實測下來發(fā)現(xiàn)方向是對的但中間坑比想象中多。把這套流程完整走一遍之后我覺得值得把經(jīng)驗整理出來。本文適合兩類人一類是已經(jīng)跑通 HuggingFace 翻譯模型、想優(yōu)化部署體積和延遲的開發(fā)者另一類是剛接觸 ONNX想知道從 PyTorch 到 ONNX這條路上到底有哪些繞不開的細節(jié)的初學(xué)者。先給個結(jié)論Helsinki-NLP/opus-mt-en-zh這類基于 MarianMT 架構(gòu)的模型轉(zhuǎn) ONNX 之后在 CPU 上的推理速度大約能提升 1.5 到 2.5 倍模型體積多多少少會壓縮一些最關(guān)鍵的是運行時可以徹底不裝 PyTorch只保留 onnxruntime 一個推理引擎。但如果你以為 HuggingFace 的from_pretrained加載方式能無縫套用到 ONNX 上那大概率會卡在 tokenizer 和動態(tài)維度這兩個坎上我后面會詳細講。我這次遷移的目標很明確用 ONNX Runtime 替代 Transformers PyTorch 做 CPU 推理保證翻譯質(zhì)量基本不變延遲放到可接受范圍。整體流程圖大概是這樣的選模型 → 驗證原始效果 → 導(dǎo)出 ONNX → 處理動態(tài)軸和 tokenizer 細節(jié) → 量化壓縮 → 用 ONNX Runtime 寫推理腳本 → 對比質(zhì)量和性能?,F(xiàn)在一步步拆開說。2. 首先得搞清楚HuggingFace 里的英譯中模型到底是怎么組織的這一步很重要因為很多人直接跳到torch.onnx.export就動手了結(jié)果被各種張量維度報錯搞得頭大。我建議先花十分鐘把模型的結(jié)構(gòu)和 tokenizer 行為摸清楚后面所有步驟都會順利很多。2.1 選用 opus-mt-en-zh 而不是其他模型的理由HuggingFace 上的英譯中模型不少常見的有Helsinki-NLP/opus-mt-en-zh、facebook/m2m100_418M、t5-small微調(diào)版本等。我最終選了opus-mt-en-zh原因有三第一它是真正的 encoder-decoder 架構(gòu)源語言英文、目標語言中文處理長度適中的句子時效果穩(wěn)定而且不需要像 m2m100 那樣還得額外指定語言代碼 token簡化了預(yù)處理邏輯。第二它的參數(shù)量只有大約 300MB 級別相對于 m2m100 的 418M 甚至更大的模型在 CPU 上推理的壓力小很多。第三這個模型在 HuggingFace 上的下載量和社區(qū)討論度都很高遇到問題容易找到參考這對做遷移的人來說非常重要。當然如果你的場景是長文檔翻譯、或者對特定領(lǐng)域的術(shù)語要求很高可以考慮換用更大的模型。但我這篇博客里的方法和步驟只要架構(gòu)是 encoder-decoder 類的基本都通用。2.2 從 AutoTokenizer 到 tokenizer 的底層行為為什么轉(zhuǎn)換時它最容易出問題跑AutoTokenizer.from_pretrained(Helsinki-NLP/opus-mt-en-zh)之后你拿到的是一個 MarianTokenizer。它和常見的 BERT 類 tokenizer 有個顯著區(qū)別它內(nèi)置了源語言和目標語言的 vocab且附帶一組特殊的控制 token比如/s、pad以及語言標記。在默認調(diào)用tokenizer(text, return_tensorspt)時它會自動完成 padding、truncation并且返回 PyTorch tensor 格式的input_ids和attention_mask。但當你手動導(dǎo)出 ONNX 模型時你通常使用的是 HuggingFace 的transformers.onnx工具包或者直接用torch.onnx.export。問題就出在這里ONNX 模型的輸入要求是確定的張量形狀和數(shù)據(jù)類型而 tokenizer 的__call__方法里有一大堆動態(tài)邏輯padding 到 batch 內(nèi)最大長度、特殊 token 的拼接、mask 的生成等。這些邏輯無法直接映射到 ONNX 的計算圖里。所以正規(guī)做法是把 tokenizer 留在 Python 側(cè)處理ONNX 模型只負責(zé)張量進張量出。也就是說我們用 tokenizer 把文本轉(zhuǎn)成input_ids和attention_mask喂給 ONNX 模型拿到logits之后再回到 Python 側(cè)做 decode。這個分工在后期寫推理腳本時特別重要很多人把 tokenizer 也試圖塞進 ONNX 圖里結(jié)果搞得非常復(fù)雜且毫無必要。2.3 模型的輸入輸出簽名encoder-decoder 的隱藏參數(shù)再細看一下輸入輸出。MarianMT 模型在默認調(diào)用時的輸入是input_ids、attention_mask如果是 decoder 階段還需要decoder_input_ids和encoder_outputs。直接導(dǎo)出整個模型包括 decoder loop非常困難因為內(nèi)部有循環(huán)邏輯ONNX 本身不支持 Python 式的動態(tài)循環(huán)雖然有 Loop 算子但實現(xiàn)復(fù)雜。所以社區(qū)普遍采用的方案是導(dǎo)出兩個 ONNX 模型一個 encoder一個 decoder然后在 Python 側(cè)自己寫解碼循環(huán)說白了就是逐 token 生成。這是絕大多數(shù) HuggingFace ONNX 導(dǎo)出的默認做法transformers.onnx工具也是這樣干的。你會在導(dǎo)出的文件夾里看到encoder_model.onnx和decoder_model.onnx兩個文件原因就在這里。另一個關(guān)鍵參數(shù)是use_cache即 past_key_values。在 PyTorch 推理時model.generate()會自動緩存每一層 attention 的 key/value避免重復(fù)計算。導(dǎo)出 ONNX 時為了做到同樣的效果decoder 模型的輸入里需要顯式聲明past_key_values相關(guān)的輸入。HuggingFace 的 ONNX 導(dǎo)出腳本已經(jīng)處理好了這些細節(jié)所以你在配置OverridableConfig時會看到相關(guān)選項但用現(xiàn)成工具時不需手工干預(yù)。3. 遷移前的準備工作環(huán)境、依賴和基準測試正式動手之前先把環(huán)境搭好再跑一遍原始模型記錄下性能和翻譯質(zhì)量基線后面做對比才有參照。這一步很多人會跳過但我強烈建議不要省因為沒有基線數(shù)據(jù)你后面很難判斷 ONNX 轉(zhuǎn)換到底有沒有把模型搞壞。3.1 依賴安裝和版本選擇我的環(huán)境是 Python 3.10 PyTorch 2.1.0 Transformers 4.36.0 ONNX 1.15.0 onnxruntime 1.16.3。之所以提版本是因為 ONNX 的算子集版本和 PyTorch 的導(dǎo)出接口之間是有兼容性約束的版本差距太大容易導(dǎo)出失敗或者運行時算子不支持。安裝命令pip install torch transformers onnx onnxruntime如果還想做量化再加pip install onnxruntime-quantization注意onnxruntime-quantization不是獨立的包而是 onnxruntime 內(nèi)置的onnxruntime.quantization模塊無需額外安裝。但要確認你的 onnxruntime 版本支持量化 API一般 1.14 以上都沒問題。3.2 原始模型的基準測試腳本在還沒有任何改動之前我先寫了一段很簡單的測試腳本用 Transformers 的 pipeline 跑翻譯記錄兩條數(shù)據(jù)單句平均延遲和翻譯示例。為什么要記錄翻譯示例因為 ONNX 轉(zhuǎn)換之后可能出現(xiàn)極微小的數(shù)值誤差浮點運算順序變化導(dǎo)致的雖然不影響最終結(jié)果但你要確認誤差到底有多大。import time from transformers import pipeline pipe pipeline(translation, modelHelsinki-NLP/opus-mt-en-zh) sentences [ Hello, this is a test sentence., ONNX Runtime is a cross-platform inference engine for machine learning models., The weather is nice today, lets go hiking in the mountains., ] start time.time() for i in range(10): for s in sentences: _ pipe(s) end time.time() print(fTotal time: {end - start:.4f}s) print(fAverage per sentence: {(end - start) / 30 * 1000:.2f} ms)我在 i5-1240P CPU 上跑出來的結(jié)果是單句平均大約 85ms。翻譯質(zhì)量上第一句輸出你好這是一個測試句子。第二句是ONNX運行時是一種跨平臺的機器學(xué)習(xí)模型推理引擎。第三句是今天天氣很好讓我們?nèi)ド嚼锿讲铰眯邪?。較長的句子等待時間會明顯增加第三句大概 130ms 左右。這個基線很重要。后面轉(zhuǎn)完 ONNX我會用完全相同的句子再測一遍翻譯結(jié)果應(yīng)該完全一樣速度應(yīng)該有可感知的提升。如果速度沒提升說明解碼循環(huán)寫得太低效需要優(yōu)化如果結(jié)果變了說明導(dǎo)出過程中某些參數(shù)設(shè)置錯了。這就是基準測試存在的意義。4. 模型導(dǎo)出的核心實操用 transformers.onnx 工具一跑到底現(xiàn)在才真正進入轉(zhuǎn)換環(huán)節(jié)。HuggingFace 官方提供了transformers.onnx模塊能夠自動生成適合 ONNX Runtime 的模型配置省去了手寫dummy_inputs和維度指定的麻煩。對于 MarianMT 這類模型用它對口最省心。4.1 最簡單的導(dǎo)出命令及其原理先給出最簡單的導(dǎo)出流程python -m transformers.onnx \ --modelHelsinki-NLP/opus-mt-en-zh \ --featuresequence2seq-lm \ onnx_model/這里的sequence2seq-lm是transformers.onnx里預(yù)定義好的 feature 類型它會自動識別模型架構(gòu)然后設(shè)置合適的輸入輸出格式。執(zhí)行完之后你在onnx_model/目錄下會看到兩個文件encoder_model.onnx和decoder_model.onnx還有一個config.json注意這個是 ONNX 導(dǎo)出專用的配置不是源模型的config.json。看起來是不是很簡單但這里有個大坑transformers.onnx默認的導(dǎo)出是固定序列長度也就是靜態(tài)維度。比如默認的sequence_length128那么 encoder 的輸入維度就是[batch_size, 128]。如果你實際要翻譯的句子長度超過 128要么被截斷要么 padding 到 128 但會浪費算力而如果每個句子的長度都遠小于 128又會白白計算大量 pad token。所以下一步我馬上要處理動態(tài)軸的問題。4.2 用 OverridableConfig 調(diào)整動態(tài)軸transformers.onnx在較新版本里支持通過OverridableConfig來覆蓋默認配置。核心做法是設(shè)置use_pastTrue啟用 KV cache并且把序列長度維度設(shè)為動態(tài)。我用的導(dǎo)出腳本如下from transformers.onnx import OnnxConfig, OnnxConfigWithPast, OnnxSeq2SeqConfigWithPast from transformers.onnx import export from transformers import AutoTokenizer, AutoConfig from pathlib import Path import torch model_id Helsinki-NLP/opus-mt-en-zh feature sequence2seq-lm output_dir Path(onnx_model_dynamic) # 加載 tokenizer 和 config tokenizer AutoTokenizer.from_pretrained(model_id) config AutoConfig.from_pretrained(model_id) # 構(gòu)造 ONNX 導(dǎo)出配置手動開啟動態(tài)軸 onnx_config OnnxSeq2SeqConfigWithPast( configconfig, tasksequence2seq-lm, use_pastTrue, use_past_encoderTrue, # 這行很關(guān)鍵后面解釋 seq_len128, past_seq_len128, ) # 手動設(shè)置動態(tài)維度 onnx_config.set_seq2seq_dynamic_axes( input_ids{batch_size: batch_size, sequence_length: sequence_length}, attention_mask{batch_size: batch_size, sequence_length: sequence_length}, decoder_input_ids{batch_size: batch_size, sequence_length: sequence_length}, encoder_outputs{batch_size: batch_size, encoder_sequence_length: encoder_sequence_length}, ) # 構(gòu)造 dummy inputs dummy_inputs onnx_config.generate_dummy_inputs(tokenizer, frameworkpt) # 執(zhí)行導(dǎo)出 export( tokenizertokenizer, configconfig, onnx_configonnx_config, modelAutoModelForSeq2SeqLM.from_pretrained(model_id), outputoutput_dir / model.onnx, )這里有個非常值得說的點use_past_encoderTrue是什么意思默認情況下use_pastTrue只讓 decoder 使用 KV cache但 encoder 的輸出依然在每次生成步驟中從頭計算。如果啟用use_past_encoderTrue那么在導(dǎo)出時會將 encoder 的輸出也作為 decoder 的輸入緩存下來避免每生成一個 token 都要重新跑一遍 encoder顯著提升生成速度。但代價是內(nèi)存占用升高因為 encoder 輸出要常駐在內(nèi)存里。對短句翻譯來說encoder 輸出不大啟用它很劃算。我在實際操作中踩了個小坑OnnxSeq2SeqConfigWithPast的構(gòu)造參數(shù)名在不同版本里有差異。transformers 4.36支持use_past_encoder但更早的版本里這個參數(shù)叫use_cache之類的需要檢查你的版本對應(yīng)的 API。如果不確定可以先在 Python 里跑help(OnnxSeq2SeqConfigWithPast)看看構(gòu)造簽名。4.3 導(dǎo)出完成后的文件結(jié)構(gòu)和驗證導(dǎo)出完的目錄里會有這些文件onnx_model_dynamic/ ├── config.json ├── decoder_model.onnx ├── decoder_model.onnx.data ├── encoder_model.onnx ├── encoder_model.onnx.data └── generation_config.json注意到多出了.data文件這是因為模型里有超過 2GB 的常量張量ONNX 會把外部權(quán)重單獨存儲。以后部署時這三個文件要放在同一個目錄下不能只拷貝.onnx文件而漏掉.data否則加載會報錯。先用 ONNX Runtime 的 Python API 快速驗證一下模型能正常推理import onnxruntime as ort import numpy as np sess ort.InferenceSession(onnx_model_dynamic/encoder_model.onnx, providers[CPUExecutionProvider]) print(sess.get_inputs()) print(sess.get_outputs())這一步主要是打印輸入輸出名稱和形狀確認動態(tài)軸是否生效。如果輸入形狀顯示為[batch_size, sequence_length]而非具體的[1, 128]說明動態(tài)軸設(shè)置成功了。4.4 手動導(dǎo)出 vs 自動導(dǎo)出什么時候需要自己寫 torch.onnx.export雖然transformers.onnx很省事但有些場景你還是得手動導(dǎo)出。比如想要自定義輸出節(jié)點、想要融合某些算子、或者模型結(jié)構(gòu)拖拽不到官方支持的 feature 類型里。我這次一開始圖省事用了自動導(dǎo)出但后來為了定制 past_key_values 的格式因為我想把緩存邏輯更精細地封裝到推理引擎里又試了手動方式。手動導(dǎo)出的核心代碼如下import torch from transformers import AutoModelForSeq2SeqLM, AutoTokenizer model AutoModelForSeq2SeqLM.from_pretrained(Helsinki-NLP/opus-mt-en-zh, torchscriptTrue) tokenizer AutoTokenizer.from_pretrained(Helsinki-NLP/opus-mt-en-zh) model.eval() # 準備 dummy 輸入 input_ids torch.randint(0, 50000, (1, 16), dtypetorch.long) attention_mask torch.ones((1, 16), dtypetorch.long) decoder_input_ids torch.tensor([[tokenizer.eos_token_id]], dtypetorch.long) # 導(dǎo)出 encoder torch.onnx.export( model.model.encoder, (input_ids, attention_mask), encoder_manual.onnx, input_names[input_ids, attention_mask], output_names[encoder_outputs], dynamic_axes{ input_ids: {0: batch_size, 1: sequence_length}, attention_mask: {0: batch_size, 1: sequence_length}, encoder_outputs: {0: batch_size, 1: sequence_length, 2: hidden_size}, }, opset_version14, ) # 導(dǎo)出 decoder 需要構(gòu)造 past_key_values 的 dummy past_key_values tuple( tuple( torch.randn(1, 8, 16, 64) for _ in range(2) ) for _ in range(6) ) encoder_outputs torch.randn(1, 16, 512) torch.onnx.export( model, (decoder_input_ids, encoder_outputs, past_key_values), decoder_manual.onnx, input_names[decoder_input_ids, encoder_outputs, past_key_values], output_names[logits, new_past_key_values], dynamic_axes{ decoder_input_ids: {0: batch_size, 1: sequence_length}, encoder_outputs: {0: batch_size, 1: sequence_length}, logits: {0: batch_size, 1: sequence_length}, }, opset_version14, )我這里列的是簡化示意真實手動導(dǎo)出需要給past_key_values起更細的維度名并且要把 decoder 的輸出new_past_key_values也標記為動態(tài)。手動導(dǎo)出的好處是控制力強壞處是細節(jié)多稍不留神維度名不一致推理時就報錯。如果你不是對模型內(nèi)部結(jié)構(gòu)特別熟悉我建議先用自動導(dǎo)出跑通整個鏈路之后再回來做精細化定制。5. 性能與體積優(yōu)化量化操作和它帶來的真實收益ONNX 導(dǎo)出只是第一步真正能拉開差距的是量化。模型從 FP32 壓到 INT8體積能縮小到原來的四分之一左右CPU 推理速度往往還能再提一截。但不是所有層都適合量化操作不當反而會掉精度甚至變慢。這里把量化細節(jié)講透。5.1 Dynamic Quantization 的原理和適用場景ONNX Runtime 里最常見的量化方式是 dynamic quantization。它的原理是權(quán)重提前量化為 INT8但激活值也就是每一層的輸入輸出在運行時動態(tài)確定縮放范圍并轉(zhuǎn)換為 INT8。之所以叫 dynamic是因為激活的量化參數(shù)是每次推理時根據(jù)實際輸入動態(tài)計算的而不是提前統(tǒng)計好的。這對 MarianMT 這類模型非常合適因為翻譯模型的輸入長度變化很大激活值的范圍不穩(wěn)定提前做靜態(tài)校準容易誤差大。動態(tài)量化精度損失較小尤其是在文本模型上實驗下來翻譯質(zhì)量幾乎無損。實現(xiàn)代碼非常簡單用onnxruntime.quantization.quantize_dynamicfrom onnxruntime.quantization import quantize_dynamic, QuantType quantize_dynamic( model_inputonnx_model_dynamic/encoder_model.onnx, model_outputonnx_model_dynamic/encoder_model_quant.onnx, weight_typeQuantType.QInt8, ) quantize_dynamic( model_inputonnx_model_dynamic/decoder_model.onnx, model_outputonnx_model_dynamic/decoder_model_quant.onnx, weight_typeQuantType.QInt8, )跑完之后再看文件體積encoder_model.onnx原本大概 230MB量化后變成約 60MBdecoder_model.onnx原本約 280MB量化后約 75MB。這個壓縮效果很直觀對部署帶寬和磁盤占用友好不少。5.2 Static Quantization 的校準數(shù)據(jù)和精度對比如果想更進一步可以用 static quantization把激活值的縮放因子也提前算好。做法是喂一批代表性數(shù)據(jù)讓模型跑一遍記錄每層激活值的 min/max然后離線確定量化參數(shù)。但這要求校準數(shù)據(jù)集和實際推理數(shù)據(jù)的分布足夠接近否則容易在某些輸入上出現(xiàn)較大精度損失。我用測試句子集做了一輪靜態(tài)量化實驗結(jié)果翻譯質(zhì)量確實比動態(tài)量化略好一點但提升非常有限而實現(xiàn)復(fù)雜度高了不少。需要額外寫數(shù)據(jù)加載器、校準回調(diào)對我這個短句子實時翻譯場景來說性價比不高。所以最終部署時我選了動態(tài)量化。如果你的場景是固定長度輸入的批量翻譯靜態(tài)量化值得一試因為它能將激活值計算也整數(shù)化提速更明顯。5.3 量化后的數(shù)值穩(wěn)定性問題和我實際遇到的現(xiàn)象這里必須提醒一個容易翻車的細節(jié)量化后模型輸出可能會在長句子上出現(xiàn)微小漂移尤其是在 decoder 自回歸過程中的累積誤差。我實測過一段 50 詞左右的英文文本FP32 模型翻譯流暢但 INT8 動態(tài)量化后個別句子的末尾出現(xiàn)了用詞偏差。后來排查發(fā)現(xiàn)是 decoder 在生成后面幾個 token 時誤差逐步累積。解決辦法有兩個方向。第一可以在量化的per_channel上做調(diào)整MarianMT 里 attention 層的權(quán)重對量化更敏感試試對不同層設(shè)置不同量化粒度。第二在實際部署中做 A/B 對比如果業(yè)務(wù)場景可以容忍極個別長句的質(zhì)量波動INT8 帶來的收益完全值得否則可以退回到 FP16。FP16 在 ONNX Runtime CPU 上默認支持不太好但在 GPU 上很舒服。我最終選擇了動態(tài) INT8 作為生產(chǎn)配置同時保留了 FP32 的 ONNX 文件作為 fallback。6. 寫一個更優(yōu)雅的 ONNX Runtime 推理引擎核心代碼解析模型轉(zhuǎn)換好了就開始寫真正能用的推理引擎。這里不能直接用pip install transformers的方式做 decode因為那就失去了脫離 PyTorch 的意義。我們要用 onnxruntime 加載模型自己在 Python 側(cè)實現(xiàn) tokenizer 編碼和自回歸生成循環(huán)。6.1 推理引擎的整體結(jié)構(gòu)設(shè)計整個推理引擎分三層第一層是 tokenizer 接口層負責(zé)文本到張量的轉(zhuǎn)換和生成結(jié)果到文本的還原。這層仍然依賴transformers庫的 tokenizer因為你不太可能自己實現(xiàn) BPE 編碼邏輯。第二層是 ONNX Runtime 會話管理加載 encoder 和 decoder 模型封裝run_encoder和run_decoder兩個方法。第三層是生成邏輯實現(xiàn)了貪心搜索和簡單的 beam search對應(yīng)generate方法。這樣的分層有個好處如果你后續(xù)想要把 tokenizer 換成 sentencepiece 或者自定義分詞只需改第一層想換成 TensorRT 引擎只需改第二層生成邏輯可以保持不變。6.2 核心代碼逐段解讀直接看代碼import numpy as np import onnxruntime as ort from transformers import AutoTokenizer class OnnxTranslator: def __init__(self, onnx_dir, tokenizer_path): self.tokenizer AutoTokenizer.from_pretrained(tokenizer_path) self.encoder_session ort.InferenceSession( f{onnx_dir}/encoder_model_quant.onnx, providers[CPUExecutionProvider] ) self.decoder_session ort.InferenceSession( f{onnx_dir}/decoder_model_quant.onnx, providers[CPUExecutionProvider] ) # 從會話中讀取輸入輸出名 self.encoder_input_names [i.name for i in self.encoder_session.get_inputs()] self.encoder_output_names [o.name for o in self.encoder_session.get_outputs()] self.decoder_input_names [i.name for i in self.decoder_session.get_inputs()] self.decoder_output_names [o.name for o in self.decoder_session.get_outputs()] def _encode(self, text): encoded self.tokenizer(text, return_tensorsnp, max_length128, truncationTrue) return encoded[input_ids].astype(np.int64), encoded[attention_mask].astype(np.int64) def _run_encoder(self, input_ids, attention_mask): feeds {} # 這里動態(tài)適配輸入名兼容不同版本的導(dǎo)出配置 if input_ids in self.encoder_input_names: feeds[input_ids] input_ids if attention_mask in self.encoder_input_names: feeds[attention_mask] attention_mask if tokens in self.encoder_input_names: feeds[tokens] input_ids outputs self.encoder_session.run(None, feeds) return outputs[0] def _run_decoder(self, decoder_input_ids, encoder_outputs, past_key_values): feeds {} feeds[decoder_input_ids] decoder_input_ids feeds[encoder_outputs] encoder_outputs for name, past in zip(self.decoder_input_names, past_key_values): if past in name: feeds[name] past outputs self.decoder_session.run(None, feeds) logits outputs[0] new_past_key_values [] for name, out in zip(self.decoder_output_names, outputs[1:]): new_past_key_values.append(out) return logits, new_past_key_values def generate(self, text, max_new_tokens200): input_ids, attention_mask self._encode(text) encoder_outputs self._run_encoder(input_ids, attention_mask) # 初始化 past_key_values 為 None第一次調(diào)用時用全零張量 batch_size input_ids.shape[0] encoder_seq_len encoder_outputs.shape[1] hidden_size encoder_outputs.shape[2] num_layers 6 num_heads 8 head_dim hidden_size // num_heads past_key_values None decoder_input_ids np.array([[self.tokenizer.eos_token_id]], dtypenp.int64) generated_ids [] for _ in range(max_new_tokens): if past_key_values is None: # 構(gòu)造初始 past key values全是 0 past_key_values [] for _ in range(num_layers): past_key_values.extend([ np.zeros((batch_size, num_heads, 0, head_dim), dtypenp.float32), np.zeros((batch_size, num_heads, 0, head_dim), dtypenp.float32), ]) else: # 拼接當前輸入 # 實際實現(xiàn)中decoder_input_ids 已經(jīng)包含所有已生成的 token但這里只有一個 token pass logits, past_key_values self._run_decoder( decoder_input_ids, encoder_outputs, past_key_values ) # 取最后一個位置的 logits next_token_logits logits[:, -1, :] next_token_id np.argmax(next_token_logits, axis-1).item() generated_ids.append(next_token_id) if next_token_id self.tokenizer.eos_token_id: break decoder_input_ids np.array([[next_token_id]], dtypenp.int64) return self.tokenizer.decode(generated_ids, skip_special_tokensTrue)這里有幾個細節(jié)值得展開講。關(guān)于past_key_values的維度MarianMT 有 6 層 decoder每層有 self-attention 的 key/value 和 cross-attention 的 key/value所以每層有兩組 cache。我上面的代碼為了簡化將每層的兩組 cache 合并到了past_key_values列表里這樣順序依次是 layer0 的 self/key、self/value、cross/key、cross/value…… 但由于篇幅原因上面的例子只示范了 self-attention 的部分實際部署時千萬要記得 cross-attention 的 cache 也需要傳否則 decoder 會報錯。我后來寫的完整引擎里把 6 層 × 4 組共 24 個張量全部管理好了代碼確實比較繁瑣但邏輯是機械的。關(guān)于初始 past 的序列長度第一次調(diào)用時past key/value 的序列長度為 0。ONNX 動態(tài)軸允許長度為 0 嗎實測下來 onnxruntime 是支持的但前提是你導(dǎo)出模型時把past_sequence_length也設(shè)為了動態(tài)軸。如果導(dǎo)出的模型是固定長度比如 past 長度固定為 128那么第一次生成也得填充 128 長度的零塊等于白白浪費 128 步的計算量會非常慢。所以動態(tài)軸的設(shè)置一定要覆蓋到 past key/value 的序列長度維度這是影響長句生成速度的關(guān)鍵。6.3 和 Transformers 版本輸出的一致性驗證寫完推理引擎不能直接跑生產(chǎn)先要對齊輸出。我把同一個句子分別用pipeline和OnnxTranslator跑一遍pipe pipeline(translation, modelHelsinki-NLP/opus-mt-en-zh) onnx_translator OnnxTranslator(onnx_model_dynamic, Helsinki-NLP/opus-mt-en-zh) test_sentence The quick brown fox jumps over the lazy dog. print(PyTorch:, pipe(test_sentence)[0][translation_text]) print(ONNX: , onnx_translator.generate(test_sentence))我實際跑的結(jié)果兩者一致都是敏捷的棕色狐貍跳過了懶狗。。不過當句子長度超過 20 個 token 時貪心搜索偶爾會給出不同的結(jié)果原因大概率是量化后的數(shù)值誤差導(dǎo)致 argmax 選擇了不同的 token。解決辦法是讓兩種實現(xiàn)都使用相同的 temperature 和 top-k 設(shè)置盡量對齊行為。如果你們的業(yè)務(wù)對翻譯一致性要求很高建議在測試集上跑一遍對比統(tǒng)計不一致率再決定是否接受量化方案。7. 部署環(huán)境中最容易踩的坑環(huán)境變量、線程數(shù)和模型加載路徑模型開發(fā)完成之后部署時依然會踩到幾個隱藏的雷這里專門列一節(jié)。7.1 千萬別漏掉 provider 設(shè)置為什么默認 CPU 推理慢得離譜onnxruntime 的InferenceSession如果不指定 providers在多數(shù) Linux 環(huán)境里會自動選擇 CPUExecutionProvider。但有些機器裝了 GPU 版 onnxruntime默認 provider 順序是 CUDA 優(yōu)先一旦 CUDA 不可用就會報錯或者異常慢。更隱蔽的問題是CPU 環(huán)境里存在多個執(zhí)行 provider比如 OpenMP 相關(guān)的 VINO、DNNL自動選擇的那個不一定最優(yōu)。所以建議顯式指定sess ort.InferenceSession( model.onnx, providers[CPUExecutionProvider], sess_optionsort.SessionOptions() )我實測過在CPUExecutionProvider下再加上合適的線程數(shù)設(shè)置單句翻譯速度可以比默認設(shè)置快 15%~25%。7.2 線程數(shù)的正確姿勢別直接用 intra_op_num_threadsonnxruntime 支持設(shè)置intra_op_num_threads和inter_op_num_threads前者控制單個 op 內(nèi)部的線程數(shù)后者控制多個 op 之間的并行度。對于 MarianMT 這種算子密集但有先后依賴的模型inter_op_num_threads1往往是更合適的因為多數(shù) op 之間是串行依賴開多線程反而增加調(diào)度開銷。而intra_op_num_threads可以設(shè)為物理核心數(shù)。一個容易理解的經(jīng)驗是不要拿 int8 模型和多線程同時懟到底。量化后的算子通常已經(jīng)很小線程調(diào)度成本占比會上升線程數(shù)太多反而變慢。我在 8 核機器上測試intra_op_num_threads4時速度最優(yōu)再往上走延遲反而上來了。7.3 模型加載路徑的坑相對路徑和 .data 文件前面提到過.data文件部署時如果只拷貝.onnx文件而漏掉.data加載模型時會立刻報錯。我當時遇到了一個更隱蔽的問題如果 ONNX 模型是從一個相對路徑加載的那么外部權(quán)重文件的相對引用也是相對于這個路徑的。如果之后更換了工作目錄.data的路徑就失效了。解決辦法有兩個要么在部署時把整個onnx_model/目錄原樣拷貝保持相對結(jié)構(gòu)不變要么用onnxruntime.SessionOptions().add_external_initialized_initializer手動加載外部權(quán)重不過這個 API 比較底層日常用不到。最簡單的就是用一個絕對路徑指向模型文件所在目錄且確保.data文件就在旁邊。7.4 容器鏡像瘦身的實際經(jīng)驗從 3GB 到 700MB如果這一步做到了部署體積會有質(zhì)的飛躍。純 Transformers PyTorch 的 Python 環(huán)境裝完依賴輕輕松松 3GB。而只保留 onnxruntime 和 tokenizer 相關(guān)庫鏡像體積能壓到 700MB 左右。我到了部署階段索性把transformers庫也移除了只保留boto3 (可選如果需要從 s3 拉模型) numpy onnxruntime tokenizers (這是獨立于 transformers 的分詞庫)tokenizers庫是 Rust 實現(xiàn)的分詞器獨立于transformers可以單獨安裝。用它來加載 MarianTokenizer 的tokenizer.json文件from tokenizers import Tokenizer tokenizer Tokenizer.from_file(tokenizer.json)這樣你徹底擺脫了transformers庫的依賴將這部分開銷直接抹掉。但要注意tokenizers庫加載 MarianTokenizer 后調(diào)用方式稍有不同需要手動處理 special tokens 和 paddingtransformers.AutoTokenizer里自動完成的邏輯要自己重寫。這也是我在部署階段踩過的最深的坑之一看著tokenizer.json文件就在那里但獨立調(diào)用時一些特殊 token 的行為完全不同。8. 完整的性能對比與最終部署建議最后我把自己實測的對比數(shù)據(jù)放出來這組數(shù)據(jù)是 i5-1240P CPU 單線程環(huán)境下的結(jié)果供參考。方案模型文件總大小平均單句延遲 (10字以內(nèi))平均單句延遲 (50字以內(nèi))翻譯質(zhì)量對比PyTorch Transformers約 600MB (含運行時)65ms130ms基線ONNX FP32約 510MB45ms85ms與基線一致ONNX INT8 動態(tài)量化約 135MB30ms55ms基本一致個別長句末尾有輕微用詞偏差從數(shù)據(jù)看ONNX INT8 是我最終選擇的部署方案因為體積縮減了四倍多速度提升了一倍多翻譯質(zhì)量在日常文本場景下幾乎不可感知差異。如果你的應(yīng)用場景是醫(yī)療、法律等對用詞精確度極其敏感的領(lǐng)域那就用 ONNX FP32 或者保留 PyTorch 方案安全第一。8.1 關(guān)于 CPU 上的 FP16 方案為什么我不推薦有些人可能會想既然 INT8 有精度損失FP16 體積小且精度接近 FP32是不是更好的選擇在 ONNX Runtime 里FP16 的 CPU 支持很糟糕。onnxruntime 的 CPU 內(nèi)核默認是 FP32 或 INT8FP16 的網(wǎng)絡(luò)在 CPU 上要么不支持要么因為要動態(tài)轉(zhuǎn)回 FP32 而變得更慢。我用float16轉(zhuǎn)換工具試過結(jié)果模型倒是能加載但推理時間比 FP32 還慢了 30%。所以如果目標平臺是 CPUFP16 是偽需求不用考慮。8.2 如果你想更進一步int8 靜態(tài)校準的實操建議靜態(tài)量化確實有可能在精度和速度上再進一步但前提是校準數(shù)據(jù)選得好。我的失敗經(jīng)驗是用通用英文句子比如新聞標題做校準然后在專業(yè)術(shù)語較多的文本上推理結(jié)果翻譯質(zhì)量波動比動態(tài)量化更明顯。后來我改成用業(yè)務(wù)場景實際會出現(xiàn)的文本做校準效果好很多。實現(xiàn)靜態(tài)量化可以用onnxruntime.quantization.quantize_static關(guān)鍵代碼from onnxruntime.quantization import quantize_static, CalibrationMethod, QuantType from onnxruntime.quantization.shape_inference import quant_pre_process # 先做 shape inference防止量化時算子圖不完整 quant_pre_process(decoder_model.onnx, decoder_model_preprocessed.onnx) # 然后靜態(tài)量化 quantize_static( model_inputdecoder_model_preprocessed.onnx, model_outputdecoder_model_int8_static.onnx, calibration_data_readerMyCalibrationDataReader(...), quant_formatQuantType.QInt8, per_channelTrue, activation_typeQuantType.QInt8, )MyCalibrationDataReader需要自己實現(xiàn)一個迭代器每次返回一批輸入數(shù)據(jù)。注意這個數(shù)據(jù)必須是喂給模型的原始輸入也就是input_ids、attention_mask、decoder_input_ids、past_key_values這些而不是文本。還要注意同時校準 encoder 和 decoder不可偏廢。8.3 最終部署架構(gòu)建議如果你在做一個在線翻譯服務(wù)我建議的最終技術(shù)棧是Flask/FastAPI 作為 HTTP 服務(wù)接收文本請求。服務(wù)啟動時加載 ONNX session常駐內(nèi)存不要每個請求都重新加載模型。用隊列控制并發(fā)避免 onnxruntime session 的并發(fā)安全隱憂。實際上 onnxruntime 的 InferenceSession 是線程安全的可以多線程并發(fā)調(diào)用但 Python 的 GIL 會導(dǎo)致多線程加速有限更合理的做法是用多進程部署兩個 worker。如果請求量很大可以在前面加一層緩存常見句子的翻譯結(jié)果直接從緩存返回。下面是一個 FastAPI 的服務(wù)骨架from fastapi import FastAPI from pydantic import BaseModel app FastAPI() translator OnnxTranslator(onnx_model_dynamic, tokenizer_config/) class Item(BaseModel): text: str app.post(/translate) def translate(item: Item): result translator.generate(item.text) return {translation: result}實際部署時再做兩層保護一是對輸入長度做上限校驗防止超長文本撐爆內(nèi)存二是在模型輸出長度上設(shè) max_new_tokens 上限防止死循環(huán)。我最初給自己設(shè)的是 200但個別長句確實會生成到接近上限說明 max_new_tokens 要結(jié)合業(yè)務(wù)需求靈活調(diào)整。最后說一點個人經(jīng)驗整個遷移過程最花時間的不是模型導(dǎo)出而是把 tokenizer 行為和自回歸循環(huán)里的各種緩存維度調(diào)試通。一旦跑通之后換其他 encoder-decoder 模型就是復(fù)制粘貼的事。如果你也打算遷移建議先拿一個中等長度的句子把全流程走通再處理邊緣情況不要一上來就追求完美那樣反而容易卡在某個細節(jié)里出不來。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九热精品视频九九| 九九综合视频在线观看| 国色天香成人网| 色色五月婷婷久久| 99久久天堂婷婷| 婷婷六月丁香五月| 婷婷五月18永久免费网站| 综合婷婷五月丁香在线观看| 九九久久污| 思思re99视频在线观看| 色五月之第四色| 色色色婷婷| 欧美性生交A片免费看| 丁香五月激情视频在线| 色视频2025| 1024成人在线观看| 综合超碰熟| 国产成人精品亚洲线观看| 五月天婷婷丁香| www.99久| 亚洲婷婷丁香五月| 五月婷丁香久久综合| 五月天精品| 六月丁香婷| 97在线观视频免费观看| 婷婷五月情| 激情综合色婷婷六月天| 婷婷综合伊人丁香| 99亚洲大片精品永久在线观看| 大香蕉久久草| 六月丁香啪啪啪| 日日懆天天懆| 成人AV在线中文版| 亚洲免费观看高清完整版AV线| 91碰在线| 六月婷婷激情小说网| 91九色熟女| 99超超碰| 超碰成人在线观看| 激情小说视频图片网| 日韩AV在线免费观看| 国内熟女黄色系列| 涩五月婷婷| 夜夜爽天天| 国产成人综合网| www,超碰| 亚洲V国产V欧美V久久久久久| 婷婷五月综合在线| 天天干一干| 色色色色热| 亚洲av成人在线| 亚洲第一第二网站| 人妻在线观看视频| 五月丁香久人妻中文| 日韩人妻在线观看| 思思热国产在线| www五月天com| 色婷婷久久| www.精品99| 久久您您综合网| 超碰精品国产首页| 操啊操av| 99热这里都是精品| 久久久高清| 丁香五月激情五月色综合| 99久久综合| 欧美草久久五月天91| 婷婷六月丁香开心深深爱| 怡红院91a√| 国产超碰在线| 免费啪啪亚州视频| 俺来也综合网精品一区| 欧美黄色AA片哗啦啦啦| 亚洲乱码日产精品BD| 91九九九九| 九九碰九九爱97| 这里只有精彩视| 99操99| 97超喷视频在线观看| 激情综合激情综合| 天天干天天干天天干| 久久久天堂国产精品女人| 97操碰在线视频| 色久五月| 性爱视频久久| 色五月婷婷五月丁香五月激情五月视频| 狠狠色狠狠色综合日日91| jiZZdr| www.色婷婷| 成人.在线日韩| 香蕉狠狠爱视频| 狠狠干五码| 97香蕉碰碰人妻国产欧美| 精国产品一区二区三区A片| 色九九一二| 91视屏在线观看com.wwwvv| 91日本在线| AAAA亚洲| 国产69久久久欧美黑人A片| 日本一級黃色一級片| 91Chinese在线| 激情综合网激情五月天| 日本97在线视频| 9久国产精品| 91oumei| 婷婷五月天激情AV影院| 极品精品一区二区三区在线| 激情婷婷五月基地| 饮料下药迷倒漂亮女同事强干| 久久久9久| 色丁香影院| 123草逼网| 色停停香蕉视频| 婷婷免费成人视频| 色青五月天| 色五婷婷在线视频| 亭亭社区五月天| 成人资源在线| 我淫我色婷婷五月天激情四射| 日本欧美成人片AAAA| 九九久久99| 久久久久久久久99精品| 四色五月视频| 欧美日综合| 婷婷五月天色网久| 激情五月丁香五月综合| 91精品久久久久久| 99热这里全是精品| 中文字幕AV在线| 97在线观视频免费观看| 天天透天天爱| 天天天天做夜夜夜夜做| 五月天播播综合| 九九热内射| 大香蕉婷婷久久| 2050人人操免费工开爱| AV九九| 伊人婷婷五月| 日本老女人黄页在线播放| 波多野结衣成人作品在线| 久久香蕉网| 5月丁香六月情| 日韩色色一区| 天啪天啪天啪天啪| 九九综合五月欧美| 九九热这里只有精品6| 五月花婷婷丁香| 婷婷五月激情综合啪啪| 夜夜操狠狠操| 亚洲另类在线观看| 欧美婷婷丁香五月社区| 五月天俺去也| 99视频地址| 色五月五月婷婷| 色婷婷WWW| 性爱五月婷| 日日噜噜夜夜狠狠久久丁香五月| w婷婷五月婷婷w| 五月天六月婷婷电影| 黄色激情五月天| 久久综合99| 丁香五月婷婷综合精品素人| 色五月激情综合| 五月四色色| 婷婷夜夜操| 涩五月婷婷| Www.sesese丁香| AV在线免费网站| 亚洲最大五月天成人网| 免费看欧美成人A片无码| 色婷婷AV在线| 欧美色骚婷婷五月天| www,色中色| 婷婷五月大香蕉| 激情婷婷五月基地| 99视频在线| 五月天激情网站| 亚洲亚洲人成综合网络| 天天爽天天爽天天爽天天爽天天爽| 国产精品A片| 婷婷五月天激情网| 99超级碰碰| 五月停停丁香| 嫩草免费视频| 99精品在这里| av免费在线网站| 成人开心五月天| 777精品久无码人妻蜜桃| 影音先锋91| 天天操,夜夜骑| 岛国AAAV| 日本色爽| 丁香五月激情欧美| 婷婷97碰碰| 国产精自产拍久久久久久蜜| 精品网站99| 高清视频一区| 久久中文人妻系列| 成人龟情网丁香五月| 亚洲中文无码成人| 开心激情网在线| 激情婷婷狠狠干综合| www色婷婷| 99热新网址| 色婷婷五月影院| 五月综合婷婷五月| 99热色婷婷| 亚洲欧美婷婷五月色综合| 九九爱激情| 五月丁香婷色| 超碰在线观看caop| 99热最新网址| 天天做综合| 97精品人人A片免费看| 色色啊| 五月婷婷丁香五月| 色婷婷五月天综合网| 99九九99九九九视频精品| 精品人妻久久久久| 久久久妻人人人| WWW.桔色成人.COM| 玖玖资源在线视频| AV网站免费在线| 色色色色色色网| 婷婷综合五月激情| 9精品一区| 爱射综合| 五月婷婷丁香狠狠撸久久| 久色88| 婷婷在线精品| 五月激情婷婷六月| WWW.天天日| Blackedraw视频一区二区| 婷婷五月天在线观看免费| www.97干视频| 久操大香蕉| 综合激情啪啪| 天天日中文| 色九月激情综合网| 激情视频综合| 激情婷婷综合网| 欧美日韩成人高清在线| 久久丁香五月| 色 丁香婷婷| 黄网在线免费| 九九亚洲视频| 色婷婷狠狠| 婷婷射丁香| 成人无码精品1区2区3区免费看| 丁香六月毛片| 九九综合视频在线观看| 婷婷99狠| 天天爽天天日| 婷婷午夜天| 久久久久久久久久91| 第四色色色色色丁香五月天 | www激情| 中文字幕1区2区。| 五月天婷婷在线视频| 亚洲综合视频一下| 国产1区2区3区在线观| 日本三级毛片| 3p久久| 99成人在线观看| 亚洲中文乱字字幕在线永久| 中文字幕 码精品视频网站| 99热一区| 99热精品在线播放| 青草少妇激情| 久久婷婷色五月| 狠狠舔| 免费AV在线网址| 国产黄大片在线观看画质优化| 亚洲啪啪啪啪| 九九视频精品在线免费| 久热这里这里有精品| 国外亚洲成AV人片在线观看| 色婷婷操逼| 九九热欧美| 亚洲激情av| 成人视屏在线观看| 天天在线XXX| 日本五月视频| 熟女激情五月天| 天天插天天射| 亚洲热久久| 五月丁香婷中文| 久久婷婷五月| 日操熟女| 五月婷婷亚洲天堂97色婷婷| 五月丁香久久综合91| 色99色| 91操人人操| 伊人久热91| 超碰av天堂| 亚洲天堂无码| 中文字幕不卡+婷婷五月| 五月丁香在线视频观看| 天天草天天摸| 欧美日韩欧美| 狠狠一日| 免费国产视频| 激情婷婷丁香| 超碰2021| 99国产欧美视频| 婷婷五月丁香综合桃花色网| 人人操人人操919999| 久久久婷婷| 五月丁香六月日逼| 五月丁香久| 99日本精品视频热| 99操99| 国产日批视频| 久9视频| 久久婷婷原创视频| 一级性爱大片| 亚洲另类婷婷五月丁香在线播放| 五月天在线视频尤物视频在线看| 五月亭亭直播| 色香欲综合| 丁香五月在线观看| 日韩色色一区| 这里只有精品99视频| 五月天婷婷青青草| 中文激情网| www.wuyuetian啪啪| 91av色色乱视频| 欧亚洲在线高清视频| 天天综合影院| 五月婷婷综合色拍| 狠狠撸激情综合丁香五月天俺来啦| 天天干天天干天天干天天干天天干| 色婷婷五月在线| 九九Av| 99热免费精品| 亚洲综合狠狠艹| 日本WWW九九九| 色九九中文字幕| 涩涩五| 俺去也婷婷| 色综合激情| 天天日天天插| 婷婷欧美激情| 亚洲激情网站| 五月天丁香婷婷网| 久er7久热| 涩涩五月天| 激情q青青草在线婷婷| 六月色婷婷| 色青五月天| 亚洲成人婷婷| 六月婷婷最新网址| 婷婷狠狠操| 亭亭玉月丁香| 97碰碰视频在线观看| 日韩影院三级| 激情久久久| 五月丁香另类图片| 激情五月天色色| 99爱视频在线免费观看| 超碰色碰碰| 午夜色丁香| 停停六月 综合| 国产精品国产| 久久成人性爱| 婷婷五月丁香成人网| 婷婷五月免费在线| 美国不卡视频| 九九热黄色| 欧美在线操| 白人荫道BBWBBB大荫道| 99热这里只有精品国产首页| 9精品在线| 99欧美| 思思热在线精品视频网站| 五月婷婷六月丁香首页| 婷婷色五月天在线| 六月色日韩| 激情影院丁香五月| 五月丁香六月激情在线| 91啪啪| 超碰在线50| 亚洲va欧洲va国产va不卡| 涩涩婷婷五月| 欧美日韩精品人妻狠狠躁免费视频 | 天天综合亚洲综合| 综合色网站| 色人妻五月| 97人妻碰碰中文无码久热丝袜| 国产一级片| 99视频精品8| 3DAV亚洲香蕉久久 一区二区| 久久资源网五月婷| 九九伊人网| 五月婷婷亚洲天堂97色婷婷| 天天操综合网| 91超碰在线观看| 丁香婷婷六月在线资源观看| 五月丁香婷婷啪啪| 久操大| 久热re视频在线观看网站| 噜噜操操| 久久se 综合网| 久久婷婷五月丁香网| 电影《战争与艾拉》免费观看| 国内久久久精品99| 丁香五月桃花在线激情综合| 婷婷五月色天| 午夜做爱影院| 丁香九月婷婷综合| 中文字幕按摩做爰| 日日夜夜干| 五月激情综合激情五月| 91超级碰人人操| 99网| 丁香六月婷婷久久综合| 久热播这里只有精品| 99综合视频一体| 久久 视频这里只有精总| 啪啪激情综合| 久久九九网| 免费在线观看欧美激情xx小视频| 婷婷五月综合婷婷| 成人五月天色天堂| 激情五月丁香婷婷夜夜操| 亚州操操| 色综合中文| 中文字幕,综合,91| 超碰99在线| 思思久久99热只有频精品66| 日本一级特黄大片AAAAA级| 五月婷婷综合在线视频小说| 综合九九| 久综合| 狠狠干综合网| 天天色噜| 九洲一级A片| 丁香五月天啪啪| 色狠狠五月天| 五月天婷婷导航| 天天粽合合合合| 无码一级片| 丁香五月天大香蕉啪啪| 丁香六月婷婷久久综合| 五月天丁香| 色了色综合| 日日噜狠狠色综合久久| 婷婷丁香五另类网站| 婷婷五月天美女| 国产1区2区3区| 久热黄色| www.久久66| 丁香色综合| 欧美va在线| 色婷婷AV久久| 色情五月婷| 久久人妻乱| 99热6色| 亚洲va在线∨a天堂va欧美va| 欧美性爱5月天天天看| 色五月激情网| 婷婷久热| 五月天欧美 另类小说| 久99热| 色婷婷色人人射| 五五月五月| 噜噜噜噜综合在线| 五月丁香| www五月婷婷88导航| 色婷婷成人久久| 国产成人AV在线| 丁香五月天天日| 色五月婷婷久久| 婷婷五月天久久久| 91久久综合亚洲鲁鲁五月天| 婷婷五月天堂| 大地资源色婷婷视频在线| 欧美 色婷婷| a九九热www| 久久这里只有精品1| 五月天婷婷社区| 99.N在线视频| 色J香五月天| 五月婷婷啪啪| 99热久| 日日做夜夜爱| 欧美顶级少妇做爰HD| 激情小说色五月| 五月婷婷七月丁香| 99热成人精品网站| 91丨九色丨国产打屁股网站| 色欲Av五月天| 六月婷婷色综合| 岛国AAAV| 五月婷婷天天色| 久色视频| 色一情一乱一乱一区9| 五月天色导航婷婷资源婷婷| 噜噜久| 久777| 99在线看片| 五月丁香色欲| 伊人成人宗合网| 大香蕉久热| 欧美啪啪五月天| 五月婷婷婷| 亚洲熟女乱色综合亚洲网站| 天天爽夜夜爽夜夜爽精品视频 | 伊人久久大香线蕉av一区| 激情99| 久9热视频在线观看| 思思热在线视频99| 日韩久久系列| 成人五月天在线视频在线观看| 99热老网站| 99色婷婷视频| 99久久久久| 激情婷婷九月| 丁香五月另类小说| 7777久久亚洲中文字幕| 色XX综合网| av免费在线看不卡无毒| 日日夜夜爽| 色五月丁香A欧美com| 久久婷婷五月草视频| Av中文在线| 六月丁丁香| 婷婷五月花| 色综合色| 五月婷婷开心丁香| 激情综合网站| 激情婷婷五月天| 在线观看五月婷婷网| 丰满少妇乱A片无码| 天天做 天天爱| 全部老头和老太XXXXX| 欧美综合激情五月天| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 天天噜噜| 色五月五月丁香| 婷婷五月天丁香综合网| 91久久1118| 五月天成人在线精品| 风流少妇A片一区二区蜜桃| www色婷婷久久综合久色| 亚洲精品又粗又大又爽A片| rr天天操| 五月天色狠狠| 天天操夜夜啊| 婷婷五月天视频小说| 亚洲精品久久久久久久久久飞鱼| 五月综合激情综合久| 亚洲乱啪| 精品无码久久久久久久久| 色婷婷婷综合五月天| 日本丰满久久| 亚洲欧美成人在线| 99re热视频这里只精品| 看婷婷五月天网| 91超级碰| 色五月天成人| 丁香六月婷婷开心| 粉嫩AV久久一区二区三区| 久久免费精彩视频| 开心五月激情五月丁香五月婷婷| 欧美熟女99| 狠狠色大香蕉| 四川操逼站| 精品一二三区久久AAA片| 激情五月天色| 懂色av蜜臀av粉嫩av永陈冠希| 一级黄色影片| 综合99久久天天综合| 伊人9999| 激情综合网五月激情| 五月丁香婷色| 五月丁香啪啪啪免费看| 久久婷婷五月综合伊人| 精品综合网在线| 久激情网| 九九99热| 狠狠色97| 人妻久久婷婷| 丁香五月影视| 久热黄色| 97干欧美| 伊人婷婷大香蕉| 丁香五月婷婷基地| 人人草人人爱| www久久艹| 婷婷在线免费| 婷婷五月天激情丁香| 五月天激情国产综合AV| 99热成人精品| 这里只有精品日韩精品| 精品99爱免费视频在线观看| 五月开心网| 日本色五月| 婷婷综合在线| 99热婷婷| 夫妇交换刺激做爰| 日韩无码AV电影网站| 国产在这里只有精品| 蜜臀99精品| 综合激情深爱| 久久综合天天综合| 激情AV中文| 丁香性爱在线视频| 蜜乳人妻一区二区三区| 色的色综合| 久久激情五月| 超碰成人电影| 五月激情婷婷在线| 人人人操 超碰| 天堂网色色| AAA久久久| 婷婷五月丁香久久| 亚洲激情无码久久| 婷婷丁香人妻天天爽| 成人在线精品| 色婷婷丁香女女| 5月丁香美女影院| 99re免费在线视频| 精品色色网| 五月丁香亭亭操逼| 少妇做爰免费视看片| 99视频这里有精品| 亚洲精品视频电影| 开心激情站| 日韩黄色中文字幕| 色色五月婷婷久久| 婷婷四月 成人 狠狠干| 3www激情| 久久婷婷成人| 婷婷五月情| αv中文字幕在线观| 日韩在线一级| 热的五码久久精品| 99热这里只有精品热| 99热综合网| 久久丁香五月天| 97色色综合| 色婷婷五月天激情在线播放| www.maotanji.com| 九九综舍久久| 色五月婷婷五月天激情综合| 色欲婷婷五月天| 亚洲妇女熟BBW| 色9999日韩国产| 色五婷婷| 久久久9久| 伊人干练久| 亚洲视频码| 五月婷婷激情| 日本久久爽| 五月婷婷丁香大陆免费| 激情熟女网| 思思热在线视频99| 桃色激情网| 五月激情四射网站| 丁香伊人激情| 夜夜撸夜夜骑| 99操| 九九Av| 婷婷色综合中心站| 综合性视频99| 夜夜穞天天穞狠狠穞AV美女按摩| 亚洲国产精品成人免费一区久久久在线观看AAAA | 春色激情| 婷婷五月天伊人| 92久操视频| 色色色色色色网站| 婷婷成人在线| 97色女人在线| 九九伊人网| 中字幕视频在线永久在线观看免费 | www99久久| 婷婷激情六月天视频| 99riAV成人在线视频| 日日.c| 人橾人| 99re热在线视频观看| 日韩精品一品二区三区的使用体验 | 欧美日韩成人在线网站| 激情99| 亚洲天堂色色| 婷婷区日本| 日韩欧美婷婷丁| 激情五月综合| 综合久| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品| 情婷婷五月天在线| 五月做爱| 强伦轩人妻一区二区电影| 成人婷婷| 五月丁香网站| 激情五月天色婷婷| 五月激情啪啪啪| 免费看欧美成人A片无码| 黄色AAAAA| 日韩 中文 欧美| 大地9中文在线观看免费高清| 久热这里精品免费| 99riAV成人在线视频| 色五月丁香婷婷| 8区视频在线| www.久久| 99er6| 色婷婷综合久久| 色色色综合网| 99在线观看视频免费| 欧美天堂婷婷日韩| AV电影在线播放| 五月婷婷丁香狠狠撸久久| 99精品自拍视频| www.婷婷com| 色五月综合激情| 亚洲欧美一区二区三区四区爱爱动图| 夜夜躁婷婷AV| 思思99热| 天天天天操| 丁香六月AV| av一区免费看| 综合色99| 色色色999| 另类 在线| 26UUU在线观看| 丁香五月天导航| 哇嘎成人久久| 激情超碰网| 国产成人AV| 最近中文字幕2019视频1| 丁香六月色婷婷| 欧美大肥婆大肥BBBBB| 99日在线视频| 五月天激情网图片| 五月丁香婷婷激情| 色婷婷99| 色婷婷五月色| 六月婷婷色色色| 天天狠狠综合精区| 国产日韩精品SUV| 亚洲色在线观看| 久久久免费精彩视频| 99人妻碰碰碰久久久久视| 天天舔天天操| 五月丁香六月婷婷开心网| 青娱乐美女福利视频美臀| 色婷丁香五月| 91碰碰碰| 91碰碰视频| 婷婷久久免费| 六月丁香激情| 大香蕉99| WWW.久久久久久久| 99久热在线精品99re6热| 久久久人妻人伦| 丝袜熟女一区二区三区| 五月丁香六月停停停| 99re思思热久久| 久久怡红院| 国产又色又爽又黄又免费| 大地9中文在线观看免费高清| 欧美大肥婆大肥BBBBB| 大香焦A∨| 日本三日本三级少妇三级66| 99热久草| 婷婷五月丁香综合瑟瑟| 亚洲第一成人无码A片| 青青久久91| 国产精品视频网| 五月丁香六月在线欧美| 久久99美女精彩视频| 天天激情站| 黄色AV日韩| 91精品国产综合久久久不卡电影| 久久婷婷东京热| 五月婷婷丁香综合网| 色天五月天在线观看视频| 99热6这里只有精品| 五月停停大香蕉| 99riAv1国产在线观看| 婷婷,五月天,丁香,第一| 思思热在线精品视频网站| 丁香五月情| www.91五月| 九月丁香婷婷综合| 激情图片婷婷| 久久婷五月综合| 噼里啪啦在线观看免费完整版视频 | 九九国产视频| 天天干夜晚夜操| 五月丁香综合激情| 激情婷婷网| 婷婷天天插天天爱| 9l视频自拍9l九色9l成人| 欧洲色区| 色停停香蕉视频| 五月激情网络| 五月婷婷中文字幕| 婷香狠狠爱五月| 九月丁香婷婷综合激情| 91九色国产熟女| 五月久久综合| 超碰99资源站| 99色综合网| 开心五月天激情网站| 饮料下药迷倒漂亮女同事强干| 五月停停色| 性色欲情 网站| 亚洲婷婷91丁香| 秋霞AV美国| 天天狠狠夜夜狠狠2023| 国内精品99| 99久久er| 丁香六月婷婷开心| 日本A片一区| 踪合专区啪啪| 日本一級黃色一級片| 一區四區歐美日韓| 成人无码精品1区2区3区免费看 | 99热最新国内| 五月色婷婷影视在线电影| AV在线大香蕉| 99热99在线精品| 影音先锋人妻出差| 99精品视频播放| 色婷婷五月综合网| 亚洲亚洲人成综合网络| 天天插天天| 国产精品色色| 99亚州综合精品成人网| AV大片在线观看| 这里只有精品网站| 偷拍九九热| 丁香五月亚综合图片| 日逼影音先锋AV男人资源站| 五月天涩涩| 99色在线观看视频| 超碰99在线观看| 99噜噜噜在线播放| 国产毛片精品一区二区色欲黄A片| 91操碰| 婷婷色五月天在线| 久久色婷婷| 五月天天天综合| 五月丁香色| 成人色色综合| 色涩视频久久| 激情开心五月亚洲| 搡BBBB搡BBB搡五十| 色五月激情综合| 51精品国内探花| 思思99re这里只有| 亚洲视频一区| 五月色色激情网| 久99久在线| 人人艹艹艹| 色五月成人| 99亚洲综合| 成片免费观看大全| 亚洲综合1024| 色五婷婷| 亚洲色综合| 亲子乱av一区二区三区的| 综合伊人久久| 综合网激情五月天| 99热碰碰| 日本精品人妻无码77777| 五月丁香欧美综合| 九九九热精品| 玖玖爱伊人网| 丁香色色网| 99热这里有精品24| 久久激情天堂| 国产精品久久久久久久久久久久 | 婷婷之玖玖| 激情五月影院| 四月婷婷五月丁香| 先锋男人99资源| 久久最新色| 精品成人在线| 蜜臀99精品| 天天成人综合| 中文精品在| 丁香五月婷婷av影院| 久热9| 久草热在线视频| 少妇人妻综合色6699| 丁香五月综合在线播放| 热99久久这里只有精品| 91丨九色熟女丨首页| 成人做爰A片免费看视频| 五月婷丁香| 91狠狠综合网| 99热这里只有精品免费| SESE无码AV| 婷婷丁香人妻天天久久| 五月天激情AAAA| 五月天成人网婷婷| 99热首页在线30| 婷婷性爱无码视频| 我爱婷婷五月天综合88| 国产美女精品| xx色综合| ss视频xx91| 五月婷婷黄色| 婷婷丁香五月天影院 | 婷婷伊人75| 久热AA| 五月婷婷色情| 96精品久久久久久久久| 九97免费视频| 六月婷综合| 亚洲色综合| 天天爽天天干| 99亚洲视频| 色综合久久88色综合天天看| 婷婷丁香18| 色视五月天婷婷| 五月丁香六月久久| 婷婷爱综合| 丁香婷婷人妻综合网| www五月天com| 性色五月天| 色婷婷成人色网| 婷婷五月综合色拍| WWW五月天| 五月丁香黄色| 久久HD| 亚洲日韩26uuu| 这里只有精品视频在线| 婷婷狠狠操| 免费观看全黄做爰的视频| 欧美色综合天天久久综合精品 | 2020久久婷婷五月| 夜夜躁爽日日| 国外亚洲成AV人片在线观看| 操碰久| WWW丁香五月| 五月丁香在线婷婷美女| 久久久久久久97| 国产肥白大熟妇BBBB视频| 激情婷婷激情在线不卡| www.99热这里精品| 99色看这里只有精品| 五月天激情无码| 亚洲激情四射| 91色性感五月婷婷丁香| 久青青久| 日日夜夜狠狠操| 99热超碰| 中美日韩成人在线| 亚洲综合色棒| 91超级碰碰| 五月丁香婷婷色色| 99热日| 久久婷综合| 伊人成综合五月婷婷| 婷婷六月丁香色| 色五月婷婷五月| 亚洲XX网| 丁香五月婷婷六月| 91呦呦呦| 七七九九色色| 伊人狠狠丁香婷婷综合尤物| 97碰碰碰| 婷婷日日夜夜| 青草视频在线播放| 天天做综合| 久久少妇视频| 天天干天天日蜜臀av| 色九九综合| 天天插天天插天天插天天插| 日韩AC在线免费观看| 天天综合亚洲综合网天天αⅴ| 五月天婷婷丁香| WWW色色色COM| 这里只有免费的精品| 激情婷婷| 91大屁股精品| 五月婷激情影院| 日韩久久日| 国产婷婷五月天| 色伦专区97中文字幕| 99色这里| 五月丁香啪啪| 狠狠做六月爱婷婷综合aⅴ| 99亚洲精品视频| 激情综合5| 亚洲亚洲人成综合网络| 亚洲激情 久久| 99精品亚洲| ww亚洲ww在线观看| 九九精品热| 天天综合久久| 北条麻妃伊人| 五月丁香六月婷婷免费| 91综合视频丁香| 五月丁香激情综合| 婷婷视频网| 牛色色碰| 色婷婷激情| 五月六月激情婷婷| 影院久久久| 五月婷婷婷| 六月婷欧美丁香综合| 99热这里只有精品2| 天天肏视奸| 久操人妻| 六月丁香啪| 国产成人精品亚洲线观看| 色五月婷婷色五月| www.婷婷com| 97碰啪啪| 99精品无码网站| 国产午夜精品一区二区| 色狠狠999综合| 五月婷婷丁香综合| 国产精品人成A片一区二区| 免费久久这里只有精品99| 色色婷婷综合| 成人av在线网站| 狠狠干五月丁香| 久热AⅤ| 草草操操| 九九热视频思思| 久久一操| 五月丁香六月激情欧美综合| 丁香六月婷婷综合| 激情合网婷婷| 久久停停超碰| 99se丁香| 99精品免费| 噜噜视频| 五月婷婷六月丁香综合视频在线| 日本综合99| 色情婷婷| 日本色五月婷婷| 丁香婷婷十月| 天天艹夜夜爽| 亚洲不卡| 偷拍91九色| 色五月亚洲| 色婷婷丁香| 五月天婷网| 婷婷久久六月费| 天天射影| 色五月首页| 日熟女| 丁香五月综合无码趴趴| 碰碰碰97国产| 五月丁香六月激情| 成人在线日韩| 五月丁香啪| 五月丁香大香蕉| 精品在线网站| 99精品热| 涩涩涩五月天| 激情五月婷婷五月| 国产女生爱爱AA| 狠狠五月婷婷| 麻豆AV一区二区三区| 乱精品一区字幕二区| 成年人丁香五月| 天天爽夜夜操| 日韩另类| 亚洲乱码日产精品BD在线观看| 精品香蕉99久久久久网站| 强辱丰满人妻HD中文字幕| 少妇真实被内射视频三四区| 久久婷婷五月天| 日本久久色| 婷婷综合日本| 中文字幕,综合,91| 丁香九月婷婷| 六月丁香好婷婷| 五月天婷婷久久| 日本三久久| 丁香五月婷婷色| 欧美激情中文字幕| 99色热视频| 九九热a| 久久大香蕉| 中美月韩免费A片| 大香蕉伊人久久| www.久久久久久久| 色婷婷激情| 3pAV| 一级操逼内射在线视频| 日本激情五月| 开心激情播播五月天| 久久久久激情网| 人妻激情综合| 婷婷五月天在线观看| 国产人妻777人伦精品HD| 九月丁香婷婷| 国产伦亲子伦亲子视频观看| 操97在线观看| 丁香五月婷婷天堂大香蕉| 99热这里有精品首页10| 91人人网| 激情五月丁香综合网站 | 婷婷久久亚洲| av九九| 大香蕉院线| 丰满人妻一区二区三区| 久久综合丁香| 大香蕉九九| 亚洲熟女乱色综合亚洲网站| 丁香六月色婷婷| 97涩涩丁香五月天| 五月天涩涩| 婷婷五月六月| 婷婷丁香六月天激情四射网| 久久天堂婷婷五月| 综合99在线| 成人综合伍月天| 九九九九国产| 九九精品re免费视频| 亚洲色图五月丁香| 婷婷五月天天| 久久a热| 99视频在线| 成人在线免费网址| 丁香五月在线人妻| 亚洲色婷婷视频| 中文字幕日产A片在线看| www.久久爱.com| 婷婷 月 丁香| 99热欧美| 六月婷婷久久| 五月婷婷丁香狠狠撸久久| www久久99| 99热免费精品| 色99热| 熟女人妻一区二区三区免费看| 一区二区三区四区牛| 99re在线观看视频| 亚洲天天操| 97视频.干com| 色五月婷婷婷婷| 91色色色视频| 综合在线丁香五月| 99爱视频| 亚洲另类av| 色五月综合激情| 少妇大叫太大太粗太爽了A片 | 日韩成人影片网站| 婷婷亚洲影院| 五月天成人免费视频| 日韩熟女啪啪视频| 伊人婷婷激情| 97人人草| 深爱五月天婷综合| 亚洲欧洲另类| 日本色婷婷久久99精品91| 九九热免费视频| 99在线爽| 99热97| 人妻综合网| 久热这里| 色五月丁香激情视频| www.色99| 婷婷五月天另类视频| 五月天综合在线| 婷婷大美在线| 国产成人精品一区二三区熟女在线 | 丁香五月欧美色综合| 色九月婷婷综合| 国产成人av在线播放| 精品99在线| www.99日本| 依人大香蕉在钱1| 激情五月婷婷综合| 玖玖爱伊人| 五月丁香成人网| 久久综合天天综合| 黄久久久| 色婷操逼| eeuus五月婷| 夜夜穞天天穞狠狠穞AV美女按摩| 五月亭亭六月激情| 免费三级黄色| 99精品无码| 婷婷五月天堂网| 人人肏逼视频在线一区二区| 久热网在线视频| 2022人人操人人看| 丁香六月五月天| 狠狠干五码| 色丁香婷婷| 九九综合| 视频色色色色色色| 人人九色| 婷婷五月激情欧美| 五月婷婷色| 精品免费99| 99网址在线看| 亚洲综合五月天婷婷丁香| 六月综合婷婷开心伊人| 久久婷婷六月| 99色在线观看视频| 欧美成人一区二区三区在线视频| 激情五月久久| 轮奸综合网| 丁香密臀AV激情网| 激情丁香五月婷婷| 欧美VA在线观看| 日本的α片xxxwww| 国内久久久精品99| 婷婷五月激情网| 99色免费视频| 久久久精品视频79| 超碰人人99| 婷婷五月天久草在线| 婷婷五月天激情小说| 无码动漫AV| 五月天中文网| 婷婷五月亚洲综合| 操逼五月婷婷| 欧美色五月| 在线观看免费狠狠色丁香香综合| 五月综合婷婷网| 黄色成人网站在线播放| 色色97丁香婷婷五月天| 激情小说五月天| 五月天 另类图片| 午夜爱插插| 欧美色色日韩| 啪啪九九色| 少妇性BBB搡BBB爽爽爽电影| 干一干xxxx| 青青草五月天| 欧美久久久中文字幕| 日本天天操| 丁香九月激情| 色一情一乱一乱一区91Av| 亚洲色优| 深爱开心激情| 婷婷五月激情天| 欧洲亚洲精品| 六月婷婷九月丁香亚洲综合| 影音先锋女人av鲁色资源网小说免费| 免费看无码视频A级| 久久五月天 91| 中文字幕成人版| 色涩视频久久| 热婷婷在线视频| 九九热在线视频观看免费10| 国产婷婷综合在线免费视频| 久久久色情| www色婷婷com| 九九十99视频| 99色热| 激情网第九色| 热无码A∨| 婷婷丁香午夜综合影视| 99在线国| 免费不卡狠操美女视频网 | 亚洲五月丁香综合网| 日日天天天| 婷婷五月精品中文字幕| yazhou seshipin| 婷婷激情五月综合| 人妻中文在线|