欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

從零搭建AI工程:環(huán)境、數(shù)據(jù)、訓(xùn)練與部署的全流程實(shí)戰(zhàn)指南

從零搭建AI工程:環(huán)境、數(shù)據(jù)、訓(xùn)練與部署的全流程實(shí)戰(zhàn)指南 1. 先搞明白AI工程和“調(diào)模型”到底差在哪1.1 什么是真正的 ai-engineering而不是跑通一個(gè) demo先說(shuō)個(gè)我自己的經(jīng)歷。前兩年我第一次接觸一個(gè)所謂的“AI項(xiàng)目”實(shí)際上就是拿到一個(gè)公開(kāi)的模型權(quán)重寫(xiě)了個(gè)30行的Python腳本調(diào)用了一下輸出了幾個(gè)結(jié)果。那叫“用AI”不叫“AI工程”。真正讓我意識(shí)到兩者差距的是后來(lái)接了一個(gè)內(nèi)部需求公司想讓員工在一個(gè)集中式入口里用自然語(yǔ)言提問(wèn)然后系統(tǒng)從幾十萬(wàn)份技術(shù)文檔里找到答案還要帶著來(lái)源引用返回。一開(kāi)始我覺(jué)得這有什么難的——模型加載起來(lái)做個(gè)embedding接個(gè)向量庫(kù)完事了。結(jié)果真正做下去才發(fā)現(xiàn)模型加載跑通只是這個(gè)項(xiàng)目里最不起眼的5%。剩下95%的時(shí)間都在處理數(shù)據(jù)質(zhì)量、環(huán)境一致性、訓(xùn)練穩(wěn)定性、線(xiàn)上延遲、評(píng)測(cè)標(biāo)準(zhǔn)、回歸回歸回歸——這才是ai-engineering from scratch的核心。所以這篇文章想分享的不是某一個(gè)模型的調(diào)用代碼而是當(dāng)你決定“從零開(kāi)始把一條AI產(chǎn)品線(xiàn)真正落地”時(shí)你需要面對(duì)的那些繞不開(kāi)的問(wèn)題以及我踩過(guò)之后留下的方案。適合剛?cè)腴T(mén)的算法工程師、想把模型產(chǎn)品化的后端開(kāi)發(fā)以及正在復(fù)現(xiàn)論文或開(kāi)源項(xiàng)目、卻被環(huán)境、數(shù)據(jù)、部署折磨到懷疑人生的學(xué)生。標(biāo)題里的“from scratch”有兩層含義技術(shù)棧上的從零不是用別人封裝好的Paas平臺(tái)拖幾個(gè)組件而是自己掌握鏈路里的每一個(gè)關(guān)鍵環(huán)節(jié)。認(rèn)知上的從零打破“模型就是一切”的幻覺(jué)建立工程化思維。1.2 為什么選擇自建而不是直接套現(xiàn)成平臺(tái)做AI工程第一件事通常是選型用現(xiàn)成的大模型API還是自己微調(diào)部署用托管的向量數(shù)據(jù)庫(kù)還是自己起一個(gè)這里沒(méi)有標(biāo)準(zhǔn)答案但有決策框架。我當(dāng)時(shí)的判斷標(biāo)準(zhǔn)是四看看數(shù)據(jù)敏感性企業(yè)內(nèi)部文檔涉及業(yè)務(wù)細(xì)節(jié)不能隨便出網(wǎng)??炊ㄖ粕疃葐?wèn)答效果依賴(lài)對(duì)私有術(shù)語(yǔ)的理解通用模型明顯不夠??撮L(zhǎng)期成本調(diào)用量上來(lái)之后按token付費(fèi)的費(fèi)用遠(yuǎn)高于自建推理??磮F(tuán)隊(duì)成長(zhǎng)希望團(tuán)隊(duì)借這個(gè)項(xiàng)目真正建立AI工程能力而不是變成一個(gè)API轉(zhuǎn)發(fā)器。四條下來(lái)“自建 開(kāi)源模型微調(diào) 私有部署”是唯一合理的路徑。但自建有一個(gè)被嚴(yán)重低估的代價(jià)鏈路變長(zhǎng)了。以前用一個(gè)API只需要關(guān)注輸入輸出自建之后你要關(guān)注數(shù)據(jù)管道、GPU資源、訓(xùn)練穩(wěn)定性、推理吞吐、監(jiān)控告警。每多一個(gè)環(huán)節(jié)就多了一批潛在的故障點(diǎn)。這是所有從零開(kāi)始的人要先做好的心理建設(shè)。1.3 一個(gè)貫穿全文的實(shí)例內(nèi)部文檔問(wèn)答機(jī)器人為了讓下面的內(nèi)容不至于飄在理論上我以“企業(yè)內(nèi)部文檔問(wèn)答機(jī)器人”作為貫穿案例。項(xiàng)目目標(biāo)很明確用戶(hù)輸入一個(gè)問(wèn)題系統(tǒng)返回一段答案并附帶來(lái)源文檔和頁(yè)碼。業(yè)務(wù)上要求準(zhǔn)確率不低于85%首字節(jié)延遲低于2秒支持30個(gè)并發(fā)。訓(xùn)練數(shù)據(jù)來(lái)自公司內(nèi)部的技術(shù)文檔、產(chǎn)品手冊(cè)、歷史工單大約50萬(wàn)條。這個(gè)例子覆蓋了AI工程的主要模塊數(shù)據(jù)管道、模型微調(diào)、推理部署、評(píng)測(cè)反饋。后面每個(gè)章節(jié)都會(huì)用它來(lái)說(shuō)明“為什么這么做”“參數(shù)怎么定”“踩了什么坑”。2. 環(huán)境與基礎(chǔ)設(shè)施搭地基的姿勢(shì)決定上層建筑的穩(wěn)定程度2.1 GPU選型與驅(qū)動(dòng)別一上來(lái)就被顯存卡死做AI工程第一道坎通常是硬件環(huán)境。我當(dāng)時(shí)拿到的是一臺(tái)雙卡機(jī)器配置是2塊24G顯存的GPU。很多人會(huì)問(wèn)“顯存選多大”其實(shí)這個(gè)問(wèn)題不應(yīng)該脫離模型規(guī)模去談。如果目標(biāo)是微調(diào)一個(gè)7B參數(shù)量的模型采用LoRA方式24G顯存跑fp16是夠的如果要全參數(shù)微調(diào)24G會(huì)很吃力。訓(xùn)練和推理的顯存需求差異也很大推理階段可以用量化大幅壓縮。選型的時(shí)候我列過(guò)一個(gè)粗略的評(píng)估表模型規(guī)模推理最低顯存FP16微調(diào)推薦顯存LoRA全參微調(diào)推薦顯存1B以下4G8G16G7B16G24G80G13B32G48G160G注意這只是經(jīng)驗(yàn)值實(shí)際要看序列長(zhǎng)度和batch size。序列越長(zhǎng)、batch越大顯存需求越高。驅(qū)動(dòng)和CUDA版本這塊我吃過(guò)一次虧?rùn)C(jī)器上預(yù)裝了CUDA 11.8但PyTorch版本要求CUDA 12.1結(jié)果程序沒(méi)有報(bào)CUDA錯(cuò)誤而是直接報(bào)“illegal memory access”排查了一天最后才發(fā)現(xiàn)是版本不匹配。現(xiàn)在我的原則是先查PyTorch官方對(duì)應(yīng)的CUDA版本再回過(guò)頭配置驅(qū)動(dòng)。跑一個(gè)簡(jiǎn)單的驗(yàn)證命令確認(rèn)環(huán)境正常python -c import torch; print(torch.__version__, torch.cuda.is_available(), torch.cuda.get_device_name(0))如果輸出顯示的GPU名稱(chēng)正確CUDA可用再開(kāi)始裝模型能省掉一大半玄學(xué)問(wèn)題。2.2 用Docker把環(huán)境固化下來(lái)不要相信“在我電腦上是好的”AI工程的復(fù)現(xiàn)性有一個(gè)大敵環(huán)境漂移。“在我電腦上跑得好好的”這句話(huà)在AI項(xiàng)目里出現(xiàn)的頻率遠(yuǎn)超其他軟件項(xiàng)目。原因很簡(jiǎn)單訓(xùn)練腳本依賴(lài)的Python包有幾百個(gè)每個(gè)包又有不同版本某次升級(jí)一個(gè)小版本可能就帶來(lái)數(shù)值變化。為了把環(huán)境固化我強(qiáng)烈建議從第一步就引入Docker。我用的基礎(chǔ)鏡像形如FROM pytorch/pytorch:2.1.0-cuda12.1-cudnn8-runtime RUN apt-get update apt-get install -y git curl RUN pip install --no-cache-dir transformers datasets accelerate peft trl COPY ./requirements.txt /app/ RUN pip install --no-cache-dir -r /app/requirements.txt這樣做的好處有三個(gè)環(huán)境與宿主隔離不會(huì)再因?yàn)橄到y(tǒng)Python升級(jí)導(dǎo)致依賴(lài)崩掉。訓(xùn)練、推理、測(cè)試用同一個(gè)鏡像結(jié)果可以對(duì)比。部署的時(shí)候直接把鏡像推到內(nèi)部倉(cāng)庫(kù)生產(chǎn)機(jī)和開(kāi)發(fā)機(jī)環(huán)境完全一致。我用的是conda還是Docker答案是都要。conda負(fù)責(zé)創(chuàng)建Python虛擬環(huán)境Docker負(fù)責(zé)把整個(gè)系統(tǒng)層傳下去。在Docker里面再用conda管理Python環(huán)境可以兼顧靈活與可復(fù)現(xiàn)。2.3 實(shí)驗(yàn)跟蹤沒(méi)有記錄的訓(xùn)練都是白訓(xùn)從零開(kāi)始做AI工程最容易忽略的一個(gè)環(huán)節(jié)是實(shí)驗(yàn)記錄。我早期就是這樣改個(gè)參數(shù)跑一晚上第二天醒來(lái)發(fā)現(xiàn)效果好了但忘了昨天改了什么。那種“明明前一天還在變好現(xiàn)在怎么退步了”的困惑基本都源于沒(méi)有做好跟蹤。后來(lái)我引入了MLflow配合一套簡(jiǎn)單的命名規(guī)范。每個(gè)實(shí)驗(yàn)記錄三樣?xùn)|西超參數(shù)學(xué)習(xí)率、batch size、epoch數(shù)、LoRA rank指標(biāo)訓(xùn)練loss、驗(yàn)證loss、準(zhǔn)確率、F1產(chǎn)物模型檢查點(diǎn)路徑、評(píng)測(cè)報(bào)告、日志文件命名規(guī)范是“日期-模型-版本-說(shuō)明”比如“20240601-bert-base-zh-v01-lr2e5”。不要小看命名一個(gè)清晰的名字能讓你三個(gè)月后翻記錄時(shí)省下大量時(shí)間。如果你不想引入額外的服務(wù)也可以用最簡(jiǎn)單的CSV記錄表。核心不是工具而是“每次改動(dòng)都有跡可循”這個(gè)習(xí)慣。2.4 項(xiàng)目目錄結(jié)構(gòu)讓數(shù)據(jù)、代碼、模型、實(shí)驗(yàn)各歸其位從零搭建AI工程第一個(gè)該建立的不是模型而是目錄結(jié)構(gòu)?;靵y的目錄是后期維護(hù)的地獄。我最后固定的結(jié)構(gòu)是這樣的ai-engineering/ ├── configs/ # 所有訓(xùn)練、推理、評(píng)測(cè)的配置 ├── data/ # 數(shù)據(jù)原始、清洗后、切分后 ├── src/ # 代碼 │ ├── data/ # 數(shù)據(jù)處理邏輯 │ ├── models/ # 模型定義 │ ├── train/ # 訓(xùn)練腳本 │ ├── infer/ # 推理邏輯 │ └── eval/ # 評(píng)測(cè)邏輯 ├── experiments/ # 實(shí)驗(yàn)記錄與產(chǎn)物 ├── models/ # 最終模型權(quán)重 └── scripts/ # 運(yùn)行入口腳本這個(gè)結(jié)構(gòu)的原則是數(shù)據(jù)和模型不跟代碼混在一起配置和實(shí)驗(yàn)結(jié)果又跟代碼分開(kāi)。實(shí)際用下來(lái)的好處是很多時(shí)候只需要拷貝某個(gè)子目錄就能完成交接不用把“那一堆亂七八糟的文件”一起拷走。3. 數(shù)據(jù)是真正的上線(xiàn)難點(diǎn)清洗、版本化、切分3.1 從原始文檔到訓(xùn)練數(shù)據(jù)清洗規(guī)則怎么定很多從零開(kāi)始做AI工程的人會(huì)低估數(shù)據(jù)處理的比重。真實(shí)情況是一個(gè)生產(chǎn)中可用的模型其數(shù)據(jù)工程耗時(shí)往往占總工時(shí)的60%以上。尤其像文檔問(wèn)答這種場(chǎng)景原始數(shù)據(jù)是PDF、Word、HTML混在一起排版各異直接拿去訓(xùn)練根本不可能。我的清洗分四步走第一步做格式轉(zhuǎn)換。PDF用解析工具抽出文本W(wǎng)ord轉(zhuǎn)成純文本HTML剝掉標(biāo)簽。這里要注意PDF雙欄排版很容易抽取錯(cuò)亂需要按欄切分再拼接。第二步做段落切分。按標(biāo)題層級(jí)和段落邊界把文檔切成“語(yǔ)塊”而不是簡(jiǎn)單按字符數(shù)硬切。我當(dāng)時(shí)用了一套基于標(biāo)題編號(hào)的規(guī)則同時(shí)保留每塊的來(lái)源元數(shù)據(jù)文檔名、章節(jié)路徑、頁(yè)碼。第三步做規(guī)則過(guò)濾。批量去掉頁(yè)眉頁(yè)腳、導(dǎo)航重復(fù)段落、空行、亂碼字符。規(guī)則要寫(xiě)成腳本反復(fù)迭代不要手動(dòng)刪。第四步做人工抽檢。每清洗完一批數(shù)據(jù)隨機(jī)抽100條檢查質(zhì)量。如果錯(cuò)誤率超過(guò)2%說(shuō)明清洗規(guī)則還需要補(bǔ)。一點(diǎn)心得清洗規(guī)則寧多勿少因?yàn)榕K數(shù)據(jù)給模型帶來(lái)的傷害是隱性的——它不會(huì)報(bào)錯(cuò)只會(huì)讓效果差一點(diǎn)、再差一點(diǎn)最終你根本不知道是模型的問(wèn)題還是數(shù)據(jù)的問(wèn)題。3.2 數(shù)據(jù)版本管理改過(guò)什么永遠(yuǎn)要能查談到數(shù)據(jù)AI工程師圈子里流傳著一句話(huà)“模型是數(shù)據(jù)的影子。”你改了一版數(shù)據(jù)模型效果完全不同。這時(shí)如果你沒(méi)記錄數(shù)據(jù)版本那么復(fù)現(xiàn)就是一個(gè)笑話(huà)。我做數(shù)據(jù)版本管理的辦法不復(fù)雜用類(lèi)似DVC的方式但核心是把兩樣?xùn)|西固定下來(lái)——數(shù)據(jù)文件的哈希值和一份數(shù)據(jù)清單。每當(dāng)數(shù)據(jù)變更我會(huì)生成一個(gè)新的數(shù)據(jù)版本號(hào)格式是“v日期-序號(hào)”并記錄原始數(shù)據(jù)來(lái)源清洗腳本版本清洗參數(shù)清洗后樣本數(shù)量人工抽檢結(jié)果這份記錄放在數(shù)據(jù)目錄的“CHANGELOG.md”里。為什么這么在意因?yàn)楫?dāng)我發(fā)現(xiàn)模型效果下降時(shí)第一件事就是檢查數(shù)據(jù)版本是否被動(dòng)過(guò)。有一次團(tuán)隊(duì)同事順手“優(yōu)化”了清洗腳本去掉了一個(gè)去重步驟結(jié)果數(shù)據(jù)量從50萬(wàn)變成55萬(wàn)模型準(zhǔn)確率掉了3個(gè)點(diǎn)。查了兩天最后定位到就是數(shù)據(jù)版本變了。如果一開(kāi)始就查CHANGELOG十分鐘就能解決。3.3 切分與分布檢查訓(xùn)練集驗(yàn)證集的劃分要防止“作弊”數(shù)據(jù)切分看起來(lái)是個(gè)簡(jiǎn)單問(wèn)題——隨機(jī)分一下就行其實(shí)不是。文檔問(wèn)答場(chǎng)景有一個(gè)典型風(fēng)險(xiǎn)同一份文檔的不同段落可能既出現(xiàn)在訓(xùn)練集又出現(xiàn)在驗(yàn)證集。模型見(jiàn)過(guò)相關(guān)內(nèi)容驗(yàn)證集分?jǐn)?shù)虛高上線(xiàn)后面對(duì)新文檔效果驟降。這就是數(shù)據(jù)泄露。我的切分原則是按文檔級(jí)別切分而不是按段落切分。同一篇文檔的段落放進(jìn)同一個(gè)集合。驗(yàn)證集和測(cè)試集不使用同一批文檔。切分之后人工檢查類(lèi)別分布。比如工單類(lèi)的數(shù)據(jù)占了60%驗(yàn)證集也要保持類(lèi)似的占比否則指標(biāo)會(huì)有偏。切分完一定要跑一個(gè)簡(jiǎn)單的分布檢查腳本輸出訓(xùn)練/驗(yàn)證/測(cè)試三個(gè)集合的樣本量、來(lái)源分布、平均長(zhǎng)度??吹饺M數(shù)字大致匹配再進(jìn)入訓(xùn)練環(huán)節(jié)。這里特別提醒一點(diǎn)不要反復(fù)在測(cè)試集上調(diào)參。測(cè)試集的唯一使命是最終評(píng)估一次。想調(diào)參用驗(yàn)證集。這個(gè)原則違反了你的指標(biāo)就只是“對(duì)測(cè)試集的記憶”不是真實(shí)能力。4. 模型訓(xùn)練與微調(diào)的實(shí)操?gòu)募虞d到收斂4.1 訓(xùn)練循環(huán)骨架每一行都有存在的理由從零開(kāi)始寫(xiě)訓(xùn)練循環(huán)不是把模型的forward和backward拼在一起就完事。一個(gè)生產(chǎn)可用的訓(xùn)練腳本要考慮的東西比教科書(shū)示例多得多梯度累積、混合精度、梯度裁剪、checkpoint保存、日志頻率。我用的訓(xùn)練循環(huán)骨架大致長(zhǎng)這樣for epoch in range(num_epochs): model.train() for step, batch in enumerate(train_loader): batch {k: v.to(device) for k, v in batch.items()} outputs model(**batch) loss outputs.loss / grad_accum_steps loss.backward() if (step 1) % grad_accum_steps 0: torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() scheduler.step() optimizer.zero_grad() if step % log_steps 0: logger.info(fepoch {epoch}, step {step}, loss {loss.item():.4f}) # 每N步做一次驗(yàn)證 evaluate(model, val_loader)看起來(lái)平平無(wú)奇但有幾個(gè)點(diǎn)值得展開(kāi)。梯度累積是為了在單卡顯存受限時(shí)用多個(gè)小batch模擬大batch的效果。grad_accum_steps 理想batch size / 實(shí)際batch size。比如理想batch是32顯存只放得下8那accum_steps就是4?;旌暇華MP可以讓訓(xùn)練加速且省顯存。PyTorch里用torch.cuda.amp即可一般不改業(yè)務(wù)代碼。但要注意部分模型在FP16下數(shù)值不穩(wěn)定loss會(huì)突變成nan。如果你遇到這種問(wèn)題可以退回FP32或者用BF16在許多新卡上更穩(wěn)。4.2 超參數(shù)的起點(diǎn)以及調(diào)參的順序邏輯超參數(shù)是玄學(xué)嗎某種意義上是的但調(diào)參順序是有邏輯的。我的經(jīng)驗(yàn)是從學(xué)習(xí)率開(kāi)始調(diào)。找一個(gè)大致的范圍比如1e-5到5e-5先用小數(shù)據(jù)集快速跑幾個(gè)epoch觀察loss走勢(shì)。loss不降說(shuō)明學(xué)習(xí)率太小或者模型結(jié)構(gòu)有問(wèn)題loss震蕩說(shuō)明學(xué)習(xí)率太大。選定學(xué)習(xí)率之后再調(diào)batch size。batch size主要影響訓(xùn)練穩(wěn)定性和收斂速度太大會(huì)顯存爆炸太小會(huì)導(dǎo)致梯度噪聲大、收斂慢。再然后是epoch數(shù)。epoch數(shù)其實(shí)不是一個(gè)需要“調(diào)”的參數(shù)而是和早停early stopping配合的概念。我一般設(shè)置一個(gè)上限比如10個(gè)epoch如果驗(yàn)證指標(biāo)連續(xù)3個(gè)epoch沒(méi)有提升就提前結(jié)束訓(xùn)練并保存驗(yàn)證集上表現(xiàn)最好的那個(gè)檢查點(diǎn)。warmup比例也值得一說(shuō)。很多模型微調(diào)時(shí)會(huì)設(shè)置一段“預(yù)熱期”學(xué)習(xí)率從零線(xiàn)性上升到目標(biāo)值再按余弦曲線(xiàn)下降。warmup的比例我習(xí)慣設(shè)為總步數(shù)的3%到5%。它的作用是防止訓(xùn)練初期由于學(xué)習(xí)率過(guò)大導(dǎo)致模型參數(shù)劇烈震蕩。4.3 什么時(shí)候上分布式單卡能解決的事別浪費(fèi)時(shí)間在多卡上很多從零開(kāi)始的人有個(gè)誤區(qū)一上來(lái)就研究分布式訓(xùn)練框架。其實(shí)大多數(shù)項(xiàng)目單卡就能搞定。我的判斷標(biāo)準(zhǔn)是如果單卡訓(xùn)練一輪的時(shí)間在可接受范圍內(nèi)比如一個(gè)晚上能跑完就絕對(duì)不要上分布式。分布式訓(xùn)練帶來(lái)的增益不是沒(méi)有但它同時(shí)引入通信開(kāi)銷(xiāo)、調(diào)試難度和版本兼容問(wèn)題。性?xún)r(jià)比極低。只有當(dāng)訓(xùn)練時(shí)間超過(guò)資源容忍度比如單卡要跑一周以上才是考慮DDPDistributedDataParallel的時(shí)機(jī)。如果可以?xún)?yōu)先用LoRA這種參數(shù)高效微調(diào)技術(shù)而不是全參微調(diào)。它在保持效果接近的情況下顯存占用和訓(xùn)練時(shí)間都能大幅降低。微調(diào)一個(gè)7B模型的LoRA24G單卡完全夠用。這個(gè)決策讓我的團(tuán)隊(duì)省下了一整臺(tái)A100預(yù)算。4.4 模型產(chǎn)物管理檢查點(diǎn)怎么存選哪個(gè)版本上線(xiàn)一個(gè)訓(xùn)練任務(wù)跑完會(huì)留下很多檢查點(diǎn)每個(gè)epoch保存一次加上早停保存的最佳檢查點(diǎn)以及最后一輪檢查點(diǎn)。不可能全部上線(xiàn)需要一套選擇邏輯。我現(xiàn)在的規(guī)則是候選檢查點(diǎn)都跑一遍評(píng)測(cè)集記錄核心指標(biāo)準(zhǔn)確率、F1、延遲。上線(xiàn)選擇不只看單一指標(biāo)。比如準(zhǔn)確率最高的檢查點(diǎn)可能在某類(lèi)問(wèn)題上的穩(wěn)定性很差我會(huì)看分項(xiàng)指標(biāo)再?zèng)Q定。所有檢查點(diǎn)統(tǒng)一命名格式模型名-訓(xùn)練數(shù)據(jù)版本-epoch號(hào)-指標(biāo)值。這個(gè)格式保證三個(gè)月后還能定位到“為什么選它”。保存檢查點(diǎn)的時(shí)候不只是存權(quán)重還要把訓(xùn)練配置和tokenizer一起打包。有過(guò)一次教訓(xùn)三個(gè)月后想恢復(fù)一個(gè)模型繼續(xù)訓(xùn)練結(jié)果只找到權(quán)重文件tokenizer配置丟了那個(gè)模型直接報(bào)廢。權(quán)重可以不要tokenizer和config一定要留在模型目錄里。5. 推理部署與性能調(diào)優(yōu)模型跑起來(lái)只是開(kāi)始5.1 在線(xiàn)服務(wù)還是離線(xiàn)批量先想清楚業(yè)務(wù)形態(tài)部署的第一步不是寫(xiě)API而是判斷業(yè)務(wù)到底需要什么形態(tài)。文檔問(wèn)答這個(gè)場(chǎng)景用戶(hù)需要實(shí)時(shí)交互所以必須是在線(xiàn)服務(wù)接口響應(yīng)要快。而像“每周自動(dòng)給全量工單打標(biāo)簽”這種就不需要API跑一個(gè)批量腳本就行。在線(xiàn)服務(wù)又分同步和異步。同步返回適合單次問(wèn)答場(chǎng)景簡(jiǎn)單直接。異步適合處理慢操作比如生成很長(zhǎng)的答案先返回任務(wù)ID用戶(hù)再通過(guò)輪詢(xún)拿結(jié)果。我當(dāng)時(shí)的業(yè)務(wù)首字節(jié)延遲要求是2秒同步就夠用沒(méi)有引入額外的消息隊(duì)列。這里提醒一點(diǎn)不要為了“看起來(lái)高級(jí)”而加消息隊(duì)列。每多一個(gè)組件就多一層運(yùn)維負(fù)擔(dān)。先把同步接口做好發(fā)現(xiàn)瓶頸再演進(jìn)。5.2 推理加速量化、批處理、緩存三板斧模型部署之后第一件事就是壓測(cè)。我的經(jīng)驗(yàn)是不要憑感覺(jué)判斷性能直接用壓測(cè)工具跑指標(biāo)。壓測(cè)看三個(gè)數(shù)字QPS每秒能處理多少請(qǐng)求、P99延遲最慢的1%請(qǐng)求耗時(shí)、顯存占用。我的壓測(cè)結(jié)果是單卡初始QPS只有5P99延遲4秒遠(yuǎn)遠(yuǎn)不夠。之后我做了三板斧優(yōu)化第一板斧是量化。把模型從FP16量化到INT8或INT4顯存占用直接下降50%以上推理速度提升明顯。當(dāng)時(shí)用的是類(lèi)似GPTQ的思路通過(guò)校準(zhǔn)集選擇量化參數(shù)。INT4的量化會(huì)讓效果略有下降但在這個(gè)業(yè)務(wù)場(chǎng)景下可接受。第二板斧是批處理。在線(xiàn)推理服務(wù)默認(rèn)是一個(gè)請(qǐng)求一個(gè)請(qǐng)求地過(guò)模型GPU利用率很低。改成動(dòng)態(tài)批處理服務(wù)在極短的時(shí)間窗口比如50ms內(nèi)收集多個(gè)請(qǐng)求合并成一個(gè)batch同時(shí)推理。這個(gè)改動(dòng)把GPU利用率從20%拉到80%以上QPS直接翻了幾倍。第三板斧是結(jié)果緩存。高頻問(wèn)題往往占線(xiàn)上請(qǐng)求的大頭。對(duì)完全相同或高度相似的query直接用Redis緩存之前的結(jié)果。這個(gè)改動(dòng)把30%的請(qǐng)求變成“零推理”效果立竿見(jiàn)影。優(yōu)化后我的最終指標(biāo)是QPS 25P99延遲1.2秒滿(mǎn)足業(yè)務(wù)需求。別小看這些優(yōu)化它們是“從能跑到能扛流量”的關(guān)鍵。5.3 API服務(wù)怎么做才像話(huà)模型推理服務(wù)本質(zhì)上是一個(gè)高并發(fā)的接口服務(wù)工程上不能裸奔。我用FastAPI搭的服務(wù)骨架大概長(zhǎng)這樣from fastapi import FastAPI, HTTPException from pydantic import BaseModel app FastAPI() class Query(BaseModel): question: str top_k: int 3 app.post(/v1/qa) async def qa(query: Query): try: result pipeline.run(query.question, top_kquery.top_k) return {answer: result[answer], sources: result[sources]} except Exception: raise HTTPException(status_code500, detailinternal error)但光有這個(gè)還不行生產(chǎn)環(huán)境至少還要有超時(shí)控制每個(gè)推理請(qǐng)求設(shè)置超時(shí)上限比如5秒避免慢請(qǐng)求拖垮線(xiàn)程池。重試策略對(duì)偶發(fā)的GPU顯存不足、臨時(shí)CUDA錯(cuò)誤做有限重試。限流對(duì)用戶(hù)或客戶(hù)端IP做每分鐘請(qǐng)求數(shù)限制防止惡意調(diào)用。隊(duì)列上限當(dāng)并發(fā)過(guò)大時(shí)服務(wù)的策略是“快速失敗”還是“排隊(duì)等待”要提前定好。我當(dāng)時(shí)選的是快速失敗返回503讓調(diào)用方自己退避。5.4 上線(xiàn)后的監(jiān)控沒(méi)有監(jiān)控的服務(wù)是一顆定時(shí)炸彈服務(wù)上線(xiàn)后我開(kāi)始搭建最基本的監(jiān)控指標(biāo)。不是要什么花哨的可觀測(cè)性平臺(tái)而是先把最關(guān)鍵的指標(biāo)看住。GPU監(jiān)控利用工具每10秒采集一次顯存使用率、GPU利用率和溫度寫(xiě)入時(shí)序數(shù)據(jù)庫(kù)畫(huà)到面板上。顯存持續(xù)上漲是泄漏的典型信號(hào)基本可以斷定服務(wù)代碼或推理框架有內(nèi)存管理問(wèn)題。請(qǐng)求監(jiān)控記錄QPS、P99/平均延遲、超時(shí)率和5xx錯(cuò)誤率。延遲突增和錯(cuò)誤率飆升是兩大核心告警。數(shù)據(jù)漂移監(jiān)控上線(xiàn)后的模型會(huì)面對(duì)未知的線(xiàn)上數(shù)據(jù)分布。我的做法是定期從線(xiàn)上日志里取最新的query樣本和訓(xùn)練時(shí)的query做embedding距離分布對(duì)比。如果分布偏移過(guò)大就需要考慮重新訓(xùn)練。這個(gè)問(wèn)題在文檔問(wèn)答場(chǎng)景很常見(jiàn)——業(yè)務(wù)人員提問(wèn)習(xí)慣會(huì)隨時(shí)間變化。不做監(jiān)控模型就像蒙著眼開(kāi)車(chē)。你永遠(yuǎn)不知道它在生產(chǎn)環(huán)境里已經(jīng)被用戶(hù)的真實(shí)請(qǐng)求折磨成什么樣了。6. 評(píng)測(cè)體系與回歸測(cè)試不評(píng)測(cè)等于白做6.1 評(píng)測(cè)集是AI工程的“法律文件”模型好用不好用不是訓(xùn)練指標(biāo)說(shuō)了算而是評(píng)測(cè)集說(shuō)了算。很多人只盯著訓(xùn)練集上的loss降沒(méi)降這是最大的誤區(qū)。Loss降了可能是過(guò)擬合可能是數(shù)據(jù)泄漏可能只是“背題”。真正衡量模型能力的是一份和訓(xùn)練集完全獨(dú)立、由人工標(biāo)注、覆蓋真實(shí)業(yè)務(wù)場(chǎng)景的評(píng)測(cè)集。我當(dāng)時(shí)花了兩周時(shí)間做評(píng)測(cè)集。從50萬(wàn)條數(shù)據(jù)里挑出2000條作為評(píng)測(cè)樣本覆蓋幾十種問(wèn)題類(lèi)型每條由三個(gè)人獨(dú)立標(biāo)注取多數(shù)作為最終答案。同時(shí)保證評(píng)測(cè)集里的文檔不會(huì)出現(xiàn)在訓(xùn)練集里。評(píng)測(cè)集要包含兩類(lèi)樣本常規(guī)樣本絕大多數(shù)線(xiàn)上請(qǐng)求長(zhǎng)什么樣評(píng)測(cè)集就長(zhǎng)什么樣。邊界樣本故意放一些模糊問(wèn)題、帶錯(cuò)別字的query、語(yǔ)義相近但答案不同的陷阱題。沒(méi)有邊界樣本你的評(píng)測(cè)分?jǐn)?shù)會(huì)很漂亮但上線(xiàn)后被真實(shí)用戶(hù)一問(wèn)就原形畢露。6.2 自動(dòng)化回歸測(cè)試改一個(gè)參數(shù)不要把全線(xiàn)上搞掛有了評(píng)測(cè)集下一步是把評(píng)測(cè)自動(dòng)化。我設(shè)計(jì)了一套回歸測(cè)試流程每次模型更新或者數(shù)據(jù)更新都會(huì)跑一遍。流程分三段第一段是冒煙測(cè)試。用10條左右的高置信度樣本驗(yàn)證模型能不能正常加載、推理會(huì)不會(huì)報(bào)錯(cuò)。耗時(shí)兩分鐘作用是把明顯的代碼問(wèn)題擋在門(mén)口。第二段是核心評(píng)測(cè)。用完整的2000條評(píng)測(cè)集跑一遍生成詳細(xì)報(bào)告。包括總體準(zhǔn)確率、分類(lèi)型準(zhǔn)確率、和上一版模型的對(duì)比。如果新版模型總體指標(biāo)下降超過(guò)1%除非有明確理由否則默認(rèn)不通過(guò)。第三段是錯(cuò)誤case留檔。每次評(píng)測(cè)失敗的樣本自動(dòng)記錄下來(lái)標(biāo)記“待人工分析”。這些case是數(shù)據(jù)迭代最寶貴的來(lái)源。我從這個(gè)流程里吃到最大的甜頭是再也不用擔(dān)心團(tuán)隊(duì)里任何人“偷偷把參數(shù)改了”之后影響線(xiàn)上效果看不到——自動(dòng)化測(cè)試會(huì)用指標(biāo)說(shuō)話(huà)。6.3 基于bad case的迭代閉環(huán)AI工程的“永動(dòng)機(jī)”效果提升不是靠突然的靈感而是靠對(duì)bad case的持續(xù)分析。我的操作流程是收集錯(cuò)誤樣本從評(píng)測(cè)失敗和線(xiàn)上日志里匯總bad case。聚類(lèi)分析把bad case歸類(lèi)。比如“模型分不清‘退款’和‘退貨’的區(qū)別”“模型對(duì)縮寫(xiě)理解錯(cuò)誤”“檢索結(jié)果缺失導(dǎo)致生成失敗”。每類(lèi)給一個(gè)標(biāo)簽。定位根因有些bad case是數(shù)據(jù)問(wèn)題有些是檢索問(wèn)題有些是模型能力邊界。根因不同解決方案完全不同。數(shù)據(jù)補(bǔ)強(qiáng)針對(duì)根因補(bǔ)充對(duì)應(yīng)的訓(xùn)練數(shù)據(jù)或調(diào)整清洗規(guī)則。重新訓(xùn)練和評(píng)測(cè)回到訓(xùn)練階段跑完自動(dòng)化測(cè)試看是否解決。這個(gè)循環(huán)跑上個(gè)10輪模型效果就會(huì)逐步逼近業(yè)務(wù)預(yù)期。數(shù)據(jù)版本管理、實(shí)驗(yàn)記錄、自動(dòng)化評(píng)測(cè)的意義在這個(gè)閉環(huán)里全部體現(xiàn)出來(lái)。7. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄7.1 環(huán)境與訓(xùn)練階段的高頻問(wèn)題現(xiàn)象常見(jiàn)原因排查思路啟動(dòng)就報(bào)“illegal memory access”CUDA版本與PyTorch不匹配先核對(duì)PyTorch官方要求的CUDA版本再檢查驅(qū)動(dòng)與CUDA訓(xùn)練中途顯存OOMbatch size過(guò)大或顯存碎片化先減小batch size或開(kāi)啟梯度累積再檢查是否有變量未釋放loss是NaN學(xué)習(xí)率過(guò)大、FP16數(shù)值不穩(wěn)定、數(shù)據(jù)里有臟標(biāo)簽降低學(xué)習(xí)率可嘗試BF16檢查數(shù)據(jù)清洗loss一直不降學(xué)習(xí)率太小或訓(xùn)練數(shù)據(jù)分布混亂快速跑5個(gè)epoch看loss斜率排除數(shù)據(jù)標(biāo)簽大量錯(cuò)誤訓(xùn)練完指標(biāo)高線(xiàn)上效果差數(shù)據(jù)泄漏或評(píng)測(cè)集覆蓋不足檢查切分是否按文檔級(jí)別補(bǔ)充邊界樣本OOM是我遇到最多的。一開(kāi)始我以為是GPU顯存不夠排查老半天發(fā)現(xiàn)是某個(gè)代碼片段把中間結(jié)果列表全部積在內(nèi)存里batch的loss都正常但內(nèi)存先爆了。用free -g看一眼系統(tǒng)內(nèi)存能快速區(qū)分是顯存還是內(nèi)存問(wèn)題。7.2 部署與服務(wù)階段的高頻問(wèn)題現(xiàn)象常見(jiàn)原因排查思路P99延遲持續(xù)走高并發(fā)排隊(duì)過(guò)多或批處理窗口設(shè)置不合理看隊(duì)列長(zhǎng)度調(diào)整動(dòng)態(tài)批處理最大等待時(shí)間GPU顯存使用率只增不減推理框架或服務(wù)代碼內(nèi)存泄漏用監(jiān)控工具觀察顯存曲線(xiàn)最小化復(fù)現(xiàn)定位是框架還是業(yè)務(wù)代碼請(qǐng)求大量返回503隊(duì)列上限觸發(fā)快速失敗放寬隊(duì)列上限或增加實(shí)例檢查限流配置是否誤傷正常用戶(hù)修改代碼后推理結(jié)果變了未固定隨機(jī)種子或模型未加載同一檢查點(diǎn)固定PYTHONHASHSEED和隨機(jī)種子核對(duì)模型路徑與config服務(wù)重啟后首次請(qǐng)求特別慢模型冷加載上線(xiàn)時(shí)寫(xiě)預(yù)熱腳本啟動(dòng)后發(fā)送幾條請(qǐng)求讓模型預(yù)熱再對(duì)外服務(wù)部署階段有個(gè)細(xì)節(jié)容易被忽視模型文件的加載路徑。我犯過(guò)一次錯(cuò)部署時(shí)從網(wǎng)盤(pán)下載模型下載完成度沒(méi)有校驗(yàn)結(jié)果服務(wù)用的是一半的權(quán)重文件準(zhǔn)確率低到不可思議還沒(méi)有報(bào)錯(cuò)。后來(lái)我在所有模型加載環(huán)節(jié)都加了一步校驗(yàn)加載后跑一遍冒煙測(cè)試檢查輸出是否符合預(yù)期。這個(gè)習(xí)慣救了我好幾次。7.3 數(shù)據(jù)層面的問(wèn)題排查數(shù)據(jù)的問(wèn)題最隱蔽因?yàn)椴粓?bào)錯(cuò)。我發(fā)現(xiàn)過(guò)一個(gè)現(xiàn)象模型對(duì)英文縮寫(xiě)理解特別差一開(kāi)始以為是模型能力問(wèn)題后來(lái)分析是清洗腳本把所有句點(diǎn)都去掉了導(dǎo)致“U.S.A”這種詞被粘連成“USA”含義還算對(duì)但“app.v1.2.3”這種版本號(hào)被破壞訓(xùn)練樣本全亂了。這類(lèi)問(wèn)題只能靠“清洗后人工抽檢”和“數(shù)據(jù)分布統(tǒng)計(jì)”這類(lèi)預(yù)防機(jī)制出了再查往往為時(shí)已晚。另一個(gè)高發(fā)問(wèn)題是重復(fù)數(shù)據(jù)。很多文檔的內(nèi)容是重復(fù)粘貼的如果不做去重某些句子在訓(xùn)練集中出現(xiàn)幾十次模型就會(huì)嚴(yán)重偏向這些說(shuō)法對(duì)其他同義表達(dá)不敏感。至少做一次MinHash或simhash去重比任何調(diào)參都管用。8. 最后分享兩個(gè)親測(cè)有效的習(xí)慣寫(xiě)到最后說(shuō)點(diǎn)不太能寫(xiě)進(jìn)項(xiàng)目匯報(bào)里的體會(huì)。第一個(gè)習(xí)慣是把每一步的關(guān)鍵決策和踩坑記錄下來(lái)。不是寫(xiě)API文檔那種而是記錄“為什么當(dāng)時(shí)那么選”“后來(lái)發(fā)現(xiàn)有什么問(wèn)題”“下次怎么做更好”。這種草根筆記看著不起眼但在項(xiàng)目中期回頭查問(wèn)題時(shí)它的價(jià)值超過(guò)任何一本教科書(shū)。第二個(gè)習(xí)慣是永遠(yuǎn)從最小閉環(huán)開(kāi)始。不要一開(kāi)始就規(guī)劃一個(gè)完美的大系統(tǒng)而是先做一個(gè)丑但通全鏈路的版本10條數(shù)據(jù)、1個(gè)模型、1個(gè)接口、10條評(píng)測(cè)樣本。跑通之后再一步步把工程化能力加進(jìn)去。所有大的AI工程問(wèn)題都是在閉環(huán)里逐個(gè)暴露、逐個(gè)解決的。從零到一搭建AI工程確實(shí)不容易但這個(gè)過(guò)程建立的工程判斷力和排錯(cuò)能力才是真正的資產(chǎn)。項(xiàng)目會(huì)結(jié)束模型會(huì)迭代但這些能力會(huì)留在這個(gè)團(tuán)隊(duì)的血液里后面的路自然會(huì)越走越穩(wěn)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日本色色网站| 97韩国久久电影院| 久草热8精品视频在线观看 | 色婷婷99| 激情性爱网站| 五月综合激情啪啪啪啪啪| 97色在线观看视频| 深爱激情六月| 美女黄频aⅴ视频| 国产美女无遮挡裸体毛片A片 | 激情综合五月| 久久9热| 五月开心久久| 亚洲婷婷免费| 五月丁香激情深爱婷婷| 人人色性网| 亚洲人妻电影| 婷婷94s| 99热这里只有精品55| 香蕉久操| 国产67194| 久热这里只有| 五月婷婷婷婷婷| 2015WWW永久免费观看播放| 九九视频在线观看| 欧美日韩成人在线| 免费视频WWW在线观看网站| www99热| www.99热最新视频8| www五月| 99久久久久久| 色伊人婷婷| 狠狠色综合777| 亚洲九九夜夜| 色婷婷五月综合| 五月综合激情综合久| 91疯狂操操操操| 丁香五月婷婷社区| 青青草伊人婷婷| 91男同| 丰满熟女人妻一区二区三| 国产伊人五月天| 丁香婷婷九月| 日韩AV在线影片| 操久久网| 中文字幕精品无码一区二区| 婷婷综合| 国产片XXXXA片国语对白| 婷色五月天| 99久久性爱| 天天操夜夜夜拍拍拍| 香蕉婷婷| 热久久成人| 亚洲精品成人| 婷婷五月中文在线| 五月婷婷这里都是精品| 色色自拍视频网站| 丁香五月第九色| 色婷婷丁香六月| 色综合久久久久| 丁香六月婷| 久热99久热| 在线不卡中文字幕| 管管補管管紱| 丁香六月激情综合| 襙逼网| 成人噜噜网| 99热婷婷| aaaa久久| 99热思思久| 99热色精品| 久久久久久久久18久久| yirenjiqingshiping| 亚洲综合激情五月久久| 在线18av | 精品久久人妻| 丁香五月花影院| 思思久久99热只有频精品66| 免费看欧美成人A片无码| 天天天天操| 俺去也婷婷| 色婷婷激情| 色综合色色| 91久热| 日本片日本片祼观看网站在线看中文版网页在线看 | 综合久久狠狠| 大香人妻| 97色色婷婷| 五月天开心激情网色欲无码| 激情色视频| 久久久久丁香婷婷五月天| 综合激情视频| 玖玖精品视频| 丁香五月色情av| 婷婷五月精品| 国产激情久久| 五月停停激情网| 国产午夜一区二区三区| 天天综合色| 激婷网| 精品一区久热| 日韩一级片| 亚洲色频| 超碰操日| 丁香五月在线自慰| 婷婷五月婷婷五月天| 五月婷婷精品无在线| 五月丁香婷婷深深爱| AV九九| 亚洲无码色| 青青草大香| 超碰99热在线观看| 久鲁鲁色网| 丁香美女主播视频在线观看| 99热这里只有精品66| 日产精品一线二线三线芒果| 久久五月天视频| 久久综合热17c| 亚洲婷婷激情五月天| 色偷偷色婷婷| 狠狠婷婷综合| 丁香五月天天| 婷婷综合激情| 亚洲av无码精品色午夜| 五月丁香六月欧美| 久热9| 男女激情久久| 丁香五月色播中文在线播放| 99色网站| 婷婷五月六月丁香| 99热在线观看这里只有精品| 天天干天天色综合| 激情五月天天狠狠久久| 亭亭玉月丁香| 丁香 久久| 婷婷久久六月天| 99久久婷婷五月综合| 最新高清无码专区| 开心五月天私房婷婷| 成人超碰Av| 婷婷丁香五月激情| 8区视频在线| 亚洲性色XXXXX| 久久婷婷影院| 色天堂A| 激情性五月天免费小说视频| 国产偷人爽久久久久久老妇APP| 超碰99热精品| 99精品免费视频| www.色五月| 日日干天天射| 超碰免费成人| 亚洲乱码在线观看| 亚洲色夜| www.五月天婷婷| 色综合综合网| 99久久欧美| 亚洲亚洲激情| 亚洲日韩一页精品发布| 欧美日朝成人| 99碰超| 国产性av| 色爱终和网| 久久人妻爱爱| 99久久久久| 午夜日日| 九热视频在线精品15| 婷婷成人av| 欧美va国产va| 少妇高潮A片无套内谢麻豆传| 九九色色网| 九九99热久久精品66中文字幕| 成人国产网| 五月丁香婷婷六月天| 五月激情小说| ...婷婷国产成人亚洲日韩| 婷婷五月色情天| 亚洲综合草草| 欧美婷婷综合| 亚洲色爽| 丁香五月av| 99热只有精品在线播放| 五月天伊人| 婷婷在线播放av| 91viP在线看| 久久99久久99精品免观看粉| 婷婷色婷婷| 影音先锋偷偷色男人站| 午夜爱爱网站| 91碰碰| 日日夜夜天天综合| 99综合久久| 综合久久久| 成人婷99最新| 超碰久热| 快色t v在线入口| www久视频com| 狠狠干激情五月| 刘玥av在线| 婷婷五月丁香伊人网| 五月婷无码| 国产精品久久久久久久久久| 婷婷五月骚厕所| 亚洲AV日韩AV永久无码网站| 综合另类视频| 天天噜天天爱| 国产第99页| 天天色天天日天天舔| 中文字幕av亚洲| 丁香九月婷婷综合| 色婷婷丁香五月天在线视频| 色婷小说| 久99热| 非洲一级AV| 超碰人人操人人干| 久久 这里只有精品1| 亚洲精品白浆高清久久久久久| 婷婷五月天深爱| 熟女色色一区二区| 99视频在线播放大全| 色色爽爽天天| 青柠影视免费高清电视剧| 五月丁香av在线| 久久这里有精品| 九热电影av| 成人色情五月天婷婷丁香| 亚洲精品国产成人AV在线| 婷婷五月大香蕉| 久久人人妻| 日本熟妇乱妇熟色A片蜜桃| 狠狠色色| 综合网色| 伊人久久婷婷| AAAA亚洲| 激情文学天天| 欧美色爱五月天| 久久超级碰碰| 这里只有精品96| 色色色色av色色色色| 亚洲色图81p| 日韩欧美成人片| 激情精品久久| 91色逼| 日日干天天爽| 亚洲激情网| 天天色月| 99热1| 少妇真实被内射视频三四区| 欧美久久婷婷| 色五月色五天免费视频| 色婷丨日丨天丨综合久久| 丁J香六月首页| 色色色成人网| 婷婷五月色情| 五月色天情| 五月天婷婷三级黄| 色婷成人狠干| 99热在线观看成人| 少妇AB又爽又紧无码网站| 丁香五月激情综合在线观看| 五月丁香 六月婷婷a| 91色性感五月婷婷丁香| 精品人妻一区二区三区四区不卡在| 丁香五月婷婷黑人妻黄色电影院| 中文超碰视在线| 人人摸人人| 欧美综合五月丁香六月婷| 六月婷婷操逼| 97操操网| 99综合网| 九九Av| 影音先锋天天日| 五月色综合| 丰满人妻一区二区三区| 色五月,com| 亚洲视频99| 97干干干丁香| www.久久| 可以免费观看的AV| 色五月婷婷激情基地| 免费观看欧美成人AA片爱我多深| 99热久| 色色国产| 综合网五月| 天天干、天天日日| 99热欧| 色色操| 丁香六月综合激| 伊人在线视频| 日韩成人精品中文字幕电影| 伊人激情AV一区二区三区| 激情久久久久久| 99久久大片| 婷婷色色播五月天| 这里只有精品视频看看| 激情亚洲婷婷六月| 婷婷五月色丁香在线看| 中文国产五月天| 五月丁香六月婷婷中文版| 久久激情网| 婷婷五月丁香香蕉| 五月婷天天搞视频| 婷婷欧美| 性欧美日本| 五月天com| 热99只有里视频| 亚洲日韩26uuu| 第六色在线| 丁香婷婷五月综合色情| 99热这里只有精品26| 91丁香五月| 久七香蕉| 97干婷婷| 噜噜噜噜噜在线| 五月婷婷色| 这里只有精品视频222| 国产在线中文字幕| 天天狠狠插| 思思久ren热| 色99亚洲| 中文字幕簧片| 亚洲综合丁香五月天| 婷婷色av| www.99热在线观看| 91九色网| 九九热青草| 婷婷碰碰| 猫咪伊人久久| 26uuu美女三级视频| 狠狠色丁香99| 五月天亭亭俺也| 天天弄天天操| 色婷婷色99国产综合精品| 色情婷婷五月天| 亚洲成人网站在线观看| 婷婷五月天综合中文| 停停五月天激情网| 久久99久久99精品免观看粉嫩| 婷婷五月丁香超碰| 五月丁香六月天| 99噜噜噜在线播放| 丁香五月婷婷亚洲天堂| 日韩成人精品中文字幕| www,五月天激情| 开心激情网五月天| 五月天丁香婷| 五月婷婷色欲| 日韩高清成人| 五月婷丁香久久久| 人人摸人人干| A片试看120分钟做受视频红杏| 天天干天天日蜜臀av| 77777亚洲午夜久久| 成人精品在线| 五月丁香黄色视频| 亚洲国产99| 91超级碰碰碰| 亚洲一级AV在线免费播放| 成人色五月天婷婷| 久久偷拍综合五月天| 五月色网| 国产精女同一区二区三区久| 亚洲超级碰| 成人五月天婷婷| 秋霞三及片| 久久98| 蜜桃成语时李时珍 免费| 丁香六月婷婷色XXXXX| 中文字幕+中文在线| 99久久综合| 亚洲久热无码| 永久无码色| 精品皮股午夜AV| 超碰免费人妻| 婷婷综合伊人| 久久婷五月综合色| 亚洲永久四色| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 大操人妻| 婷婷六月丁香在线| 五月天婷婷基地综合网| 丁香婷婷五月激情四射网| 97人人做| 欧洲激情精品婷婷| 九九婷婷五月天| 九月色婷婷| 国产精品VA在线| 国产美女无遮挡裸体毛片A片 | 成人做爰A片免费看网站找不到了| 综合五月激情网| 九色视频91疯狂| 99九九热播在线免费视频| 亚洲国产色婷婷| 婷婷国产成人| www网站在线观看| 开心亚洲久久开心| 九九色婷婷| 91疯狂操操操操| 丁香五月婷婷色播艳门照| 久久 婷婷 五月天| 在线中文亚洲| AV人人操| 亚洲一区二区 成人网站戴套| 五月婷婷色综图片| 伊人激情| 小视频aaa久久久| 新97人人上人人| 丁香婷婷性久久| 久久久精久人妻| 亚洲九九夜夜| 婷婷五月天播| 大香蕉久久| 久久WW| 五月天婷婷婷| 99视频综合网| 五月天婷婷五月| 成人精品视频99在线观看免费| 激情综合久久| 夜夜干天天操| 99资源在线视频| 电影91久久久| 亚洲成人色五月婷婷综合| 激情综合亚洲| 亚洲激情亚洲激情| 任你日视频| 偷拍91九色| 六月婷婷八月丁香| 99热久草| 六月综合婷婷开心伊人| 婷香五月网在线| 激情五月天影院| 六月丁香婷婷五月天| 婷婷色五月开心五月| 久久九九婷婷| 婷婷五月丁香综合激情| 9久久婷婷国产综合精品性色| 开心激情站| 久久免费丁香| 91啪啪视频| 久久XX| 天天操天天干天天日| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 亚洲热热视频| 91超碰在线播放| 色五月婷婷基地| 九月婷婷久久| 四虎国产精品永久在线国在线| 99热大全在线观看| 天天干一干| 亚洲mm色| 激情文学 综合 九月| 五月婷婷丁香俺日污视频| 欧美日本国产| 中文字幕av在线播放| 久久综合伊人77777蜜臀| 六月丁香色色| 日韩狠狠色婷婷| 婷婷99综合| 五月婷婷婷| 五月丁香六月婷婷成人| 天天色综网| caobi四区| 国产99久| 五月天婷婷激情| 99九无网码| 久久这里只有精品07| 射区导航| 日韩黄色电影| 五月丁香五月天现场视频| 丁香婷婷浪潮AV久久综合| 欧美va在线观看| 人人九色| 99在线免费视频| 婷婷丁香五月天亚洲| 婷婷中文字幕网| 99精品免费| 伊人久久婷婷| 97高清国语自产拍| 色婷另类| 色五月五月天| 九九亚洲综合| 黄色录像网点| 欧美精品99| 色欲日日躁| 91女人18毛片水多国产| 久操热线| 亚洲欧美999| 99精品热| 免费观看2018www黄色操逼网站| 爱射综合| 天天做天天爱天天要| AV在线资源| 婷婷五月综合激情小说| 密乳Va| 色九月婷婷| 丁香六月五月婷婷| 丁香激惜男女| 大香蕉婷婷五月| http:色情日本com| 日本99视频| 五月丁香无码视频| 99视频久久免费视频| 99视频极品在线香蕉| 99免费在线视频| 色综合色综合色综合色综合| 丁香婷婷六月激情| 久9热| 五月丁香A片| 九九亚洲| AV电影在线播放| 婷婷色日本| 91操熟女| 婷婷五月天情色| 五月网站| 激情五月激情综合网| 天天综合网~91| 久久五月天综合视频网站| 婷婷五月丁香综合瑟瑟| 天天插天天干| 激情綜合W W W,激情五月天| 日韩欧美成人片| 99爱免费视频| 色综合色欲综合天天免费| 伊人久久大香网| 色色九区| 激情五月天第四色| 91在线人| 久久久全国免费视频| 色五月综合网| 久久精品人妻| 日韩1区2区| 日本高清久| 久久久久人妻精选| 婷婷成人综合五月| 很操日本7| 色综合中文| 免费观看高清无码| 综合色五月亭亭| 九九热AV| 丁香五月偷拍| 99热网站| 天天日,天天插| 人妻AV在线观看| 日韩淑女人妻luan伦激情精品一区二| 久久九九热视频| 日本九九热| 五月天激情Av| 99精品久久久久久久婷婷久久| 成人在线综合| 亚洲不卡欧洲| 亚洲精久久| 一逼色综合| 丁香五月激情五月| 影院久久久| 天堂久久大香蕉| Aα在线免费观看| 伊人九热| 中文字幕免费高清电视剧| 国产又粗又大又爽又黄| 亚洲欧洲中文日韩久久AV乱码| 狠狠干综合| 精品久久人妻| 99精品视频在线观看| 色婷婷a v| 在线视频你懂得| 成人看片网站| 99激情视频| 无码人妻丰满熟妇奶水区码| 婷婷五月综合国产精品| 狼人伊人干| 五月婷婷综合色啪首页| 婷婷丁香综合| 色婷婷香蕉| 五月天色播网| 玖玖资源天天无码| 天天擼久久擼在线| 五月天激情国产综合婷婷婷| 色婷婷综合网| 九九激情网| 五月婷A V在线| AV片一区在线观看| 狠狠色综合网站久久久久| 999久久久国产精品| 五月丁香啪啪综合网| 香蕉久久国产av一区二区| 婷婷的99视频网站| 亚洲夜五月| 色色综合视频| 五月天伊人| 日韩九区| 人碰人人人玩91| 99re久热| 狠狠搞五月天| 天天射夜夜骑| 99久久久免费| 天海翼中文字幕高| 久久久久久99精品无码| 婷婷五日b| 婷婷丁香五月亚洲| 亚洲人妻Av| www.夜夜| 亚洲av电影网站| 综激情网| 婷婷五月丁香激情色情| 99热天堂| 日本视频不卡123区| 伊人大香蕉爱聚| 热九九精品| 精品一区二区三区木瓜| 人人人操| 岛囯综合激情网| 久久99综合| 97婷婷五月天| 激情五月婷婷综合| 激情九月天天天天婷婷| 天天肏天天肏天天肏| 五月色丁香综合| 婷婷狠狠色| 成人电影一区| 日本九九视频| 五月亭亭综合五码| jiZZdr| 人人97操| 精品九九视频| 国产精品社区| 五月天丁香看婷婷| 日日鲁鲁夜夜爽爽| 九九热最新地址| 五月丁香大香蕉| 中文字幕激情综合| 国产婷婷五月中文字幕高清| 色玖玖爱| 中文字幕欧美日韩VA免费视频| 一婬一伦一区二区三区| 五月丁香成人日| 五月丁香色| 天堂在线婷婷| 99精品在线下载| 七七色色综合| 免费色婷婷| 欧美天天综合网站上去吧| 中文字幕av久久爽一区| 丁香五月婷婷少妇| 激情五月婷婷色播网| 五月丁香综合网| 99热主页日本| 丁香五月开心婷婷| 色欧美色色色| www.色婷婷。com| 日日撸夜夜操| 久久女婷| 综合久久婷婷| 丁香五月自拍| 大香网伊人久久综合| 丁香9月婷婷| 五月久久婷婷| 伊人久久婷婷| 超碰人人操| 色色五月婷婷| 香蕉久久av一区二区三区| 久久婷五月| 综合色99| 激情综合网激情五月俺也去| 久久久久9| 丁香婷婷六月激情文学 | 激情开心五月天| 日韩操人| 人人干天天操五月丁香| 婷婷性爱影院| 激情综合啪啪| 99热9| 婷婷色导航| 欧洲亚洲免费视频9| 97色色色| 99欧美精品99日本精品| 大胆伊人久久| 影音先锋色色色资源色资源色| 天天插天天插天天日| 亚洲超级碰| 激情五月综合网最新| 五月丁香久久综合91| 色色色色色色97| 久久久精品免费啪啪国| 久久伊人日日夜夜| 五月丁香综合色婷婷| 五月婷婷色情| 青青草国产亚洲精品久久| 激情网 五月天| 9精品久久999| 婷婷成人五月天成人文学小说| 国产亚洲AV人片在线| 五月丁香狠狠爱婷婷综合| 亚洲av| 狠狠狠夜夜夜| 99色在线观看视频| 欧美操人| 91dy.av| 乱乱av| 终合激情网| 99热欧美偷拍| 久久婷婷啪啪视频| 午夜理论片最新午夜理论剧| 任你躁XXXXX麻豆精品| 亚洲激情97五月天| 日本精品干| 97人人操人人爽| AV无码免费| 日日操夜夜爽| 天天爽夜夜爽天天爽夜夜爽| 婷婷丁香五月天影院| 婷婷五月色天| 久久99这里只有精品| 乱岳熟女50岁| 五月天婷婷色播在线网| 亚洲免费在线观看岛国| 婷婷射综合| 婷婷久久夜| 丁香av网| 伊人久久艹| 888精品福利地址| 成人AV片播放| 五月情色天| 欧美性爱五月天| 五月婷婷久久大片| 色婷婷www| 色小说婷婷五月天天天| 九九综合图片网| 日本狠狠干| 五月天激情www| 中文字幕在线日亚州9| 国产亚洲精品久久久久久郑州| 五月激情开心婷婷| 欧在线一区| 丁香六月啪| 天天五月情| 日本三级大片| 色五月婷婷天堂| 久热这里| 五月天操逼网| 久久99色色| 婷婷五月天综合网| .肏屄视频一区二区| 99热只有这里有精品| 深情五月天| 电影《战争与艾拉》免费观看| 99ri国产精品| 国自产拍偷拍精品啪啪一区二区| 丁香开心深爱| 亚洲超级碰| 99热免费观看| www,五月天激情| 91精品久久久久久| 人妻丰满精品一区二区A片| 9色在线视频| 色综合天天天天做夜夜| 亚洲亚洲激情| 99精品国产热久久91色欲| 天天久久九九| 97超碰婷婷五月天| 婷婷亚洲综合| 久久婷婷丁香| 色五月婷婷综合| 五月花婷婷最新| a色色色色色| 国产日韩av片| 久热伊人在91| 另类婷婷五月天啪帕帕| 欧美精品中文字幕亚洲专区| 精品久久人妻| 91热99| 婷婷五月影院| 国产综合网在线| 丁香五月天五码婷婷| 亚洲色涩视频| 超碰99在线观看| 热99精品视频| 十区av| 色综合色色色色色色综合| 亚洲亚洲人成综合网络| 色婷网| 亚洲天天| 婷婷激情小说| 久99| 欧美黄色AA片哗啦啦啦| 成人综合AV| 五月天综合影院| 日日做天天操夜夜爽| 综合亚洲六月婷婷在线| 亚洲综合婷婷五月| 日韩美女在线视频19| 成人在线免费网址| 五月婷婷无码| 精品色色| 亚洲国产精品SUV| 丁香五月天视频| 99精品热| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 亚洲色网络| 26uuu欧美日本| 五月婷婷丁香av| 色五月成人在线| 我要看激情五月天| www.99成人视频| 婷婷婷婷色| 婷婷激情五月天在线| 九月丁香五月婷婷| 啪到高潮激情丁香五月| 91色情播放| 91精品久久久久久| 激情五月丁香亭亭 | 内射爽无广熟女亚洲| 亚洲精品无人区| 国内自拍97在线| 九九久久精品國產| 五月丁香网站| 華人性愛AV在線| 婷婷五六日| 五月天五月天成人网亭亭成人色网站| 五月丁香婷婷综合视频| 99精品国产热久久91色欲| 99热这里只有精品5| 日本人妻伦在线中文字幕| 国产亚洲AV人片在线| 无码A片一区二区免费| 欧美在线操| 色色色在线播放| 婷婷五月丁综合| 婷婷五月天情色| 五月天激情图片| 大香蕉久久综合网| 97久久久免费福利网址| 玖玖视频福利| 天天操夜夜爽| 4399在线日本A片| 五月婷婷综合在线| 色噜婷婷| 亚洲黄色影视| 亚洲婷婷乱乱丁香| 99久超碰| 香蕉久久国产AV一区二区| 亚洲 成人 电影av在线观看| 亚洲无码另类| 婷婷成人丁香色情基地30 | 可以看的AV网站| 中文av网站| 蜜乳久AV| 激情文学久久| 99re这里只有精品在线观看| 欧美97色| www.91av.com| 97超碰人人操| 精品一二三区久久AAA片| 无码人妻一区| av在线资源| 蜜乳AV成人| www.激情五月天.com| 99热在线精品观看| 丁香五月天社区| 丁香青青五月天| 五月丁香日本在线视频观看| www99热| 五月天伊人| 免费看片操逼| 日韩一区二区三区无码| AV成人在线播放| 日韩欧美不卡| 激情综合啪啪| 天天爽,夜夜爽| 日日夜夜干| 五月丁香好婷婷A片网| Va另类视频| 丁香五月婷婷网| 综合五月婷婷| 99久久高清视频| 在线看黄色| 丁香五月婷婷亚洲另类| 99久在线精品99re8热| 国洲夜色亚热在线久久| 噜噜噜噜噜日本视频| 伊人婷婷大香蕉| 久久久精品免费啪啪国| 97色色婷婷| 欧美三级巜人妻互换| 丁香五月综合高清在线| 九九精品热| www.婷婷| 另类A片| 91精品啪| 久久激情五月| 婷婷五月成人社区| 综合一啪| 五月综合在线婷婷图片| 婷婷激情六月| 噜噜色五月| 激情欧美五月丁香| 国产性av| 欧美婷婷五月无砖| 五月丁香狠狠爱| 九九精品综合| 婷婷五月天伊人| 日本在线wwww| 俺也去综合| 日产精品一线二线三线芒果| 激情五月综合色| 超碰97人人操| 天天肏天天肏天天肏| 五月天另类小说| 七七色综合| 色六月天| 91se视频| 五月丁香六月合| 拍真实国产伦偷精品| www.婷婷五月天,com| 狠狠干综合| AV在线观看网站| 九色自拍| 五月丁香激情啪啪网| 日韩aaa| 综合九九久久| 五月婷婷亚洲| 欧美激情久| 久狠狠狠| 香蕉久久六月| 欧洲一区二区| 九九操操| 久久伊人五月天| WWW五月婷婷| 激情五月综合| 伊人久久婷婷五月天激情四射| 97色婷婷成人综合在线观看| 中文字幕在线日亚州9| 玖玖在线视频| 五月婷婷色播视频| 另类少妇人与禽zOZZ0性伦| 六月香五月婷| 九九精品9| 久久婷婷激情视频| 国产小网站| 婷婷射丁香| 精品久久99| 激情综合网激情五月天| 五月婷婷网久久| 九九爱精品网站| 日日综合网| 久99久热| 99久久9| 六月婷婷视频| 五月丁香色停停啪啪啪| 夜夜爽天天干| 久久婷婷影院| 99国产精品久久久久久久久久久| www 五月天 com| 免费观看高清无码| 美欧日韩国产成人在战| 久久精彩综合视频| 99色爱| 色色色色热| 色婷婷丁香五月天| 无码人妻精品一区二区蜜桃色欲| ss视频xx91| 97婷婷丁香| 国产精品人成A片一区二区| 这里只有精品久| 色婷婷狠狠久久YY| 可以免费观看的AV| 婷婷五月深爱五月| 九九色大香蕉| 裸体做A爰片毛片A片免费| 天天爽天天摸| 超碰日日操| 九九热AV| 草综合14| 久久黄A片| 欧美,日韩成人在线| 色色色在线观看| 九九热这里都是精品6| 亚洲免费成人电影AV| 99九九在线精品热动漫| 欧美激情丁香五月天久久婷婷一区| 激情综合网婷婷五夜| 青青草轻轻操| 五月激情综合五月| 婷婷丁香五月天影院 | 欧洲亚洲精品| 九九热精品6| 久久xxxx| 伊人久久丁香狠狠婷婷综合香蕉 | 色色色色色热| 97碰碰久久| 国产激情综合五月久久| 色播五月天天| 五月丁香人妻| www.色五月| 婷婷五月天情色| 五月天伊人日日噜影片AV| www.无码com| 免费无码毛片一区二区A片| 天天干天天干天天干| 五月丁香婷婷五月色| www.婷婷,com| 成人亚洲精品久久久久| 综合色情网| 日韩十国产极品久久| 色婷婷丁香网| 亚州操逼网| 九九亚洲天堂| 五月婷婷在线免费观看| 噜噜色噜噜网| 丁香亚洲婷婷五月| 在线播放中文字幕| se婷97| 精品国产乱码久久久久久免费| 丁香婷婷激情六月五月开心| 99热这里只有精品1998| 久久9RE热视频精品98| 久久久国产精品黄毛片| 99热精品中文字幕| 五月丁香婷婷综合网| 婷婷五月丁香伊人网| 亚洲免费看片| 超碰不卡在线| 婷婷丁香黄色| 江苏少妇性BBB搡BBB爽爽爽| 九九热在线视频观看| 欧洲色| 亚洲色模骚货| 五月丁香六月婷婷久久久综合| 激情小说五月天社区丁香| 久久大香蕉同僚| 亚洲区1| 好吊兆人妻| 九八Av| 99热这里是精品| 大香蕉520| 亚洲成人av在线播放| 野战毛片三一3| 夜夜爽天操| 国产淫熟妇| 精品国产va久久久久久久| 五月天婷婷久久| 色色色婷婷五月天| 国产97色在线| 国产肏屄大片| 五月天另类图片区99| 五月丁香婷婷激情爱爱| 色色色色丁香| 成人婷婷色综合| 大地资源色婷婷视频在线| 色婷婷六月| 丁香五月六月综合激情| 五月丁香啪啪综合| 五月丁香婷婷成人网| 91人人网| 国产成人av在线播放| 婷婷激情六月| 91精品久久久久、久五月天| 俺去也综合| 99色色色色| 综合一本道| 天天玩夜夜操| 五月天激情小说欧美激情| 亚洲天堂aaa| 五月天六月婷| 欧美色婷婷| 色婷六月| 婷婷九月综合| 婷婷久草| 成年人丁香五月| 思思热在线| 香蕉久久国产AV一区二区| 无码人妻精品一区二区蜜桃色欲| 午夜天堂一区人妻| 成人丁香婷婷| 久久性都花花世界成人免费视频| 一区中文字幕电影| 丁香五月WWW| 色婷婷AV在线| 亚洲另类在线观看| 九九人妻福利| 色丁香婷婷美女视频网站| 婷婷射图五月天| 五月色网| 色五月av| 婷婷综合色| 99在线精品观看99| 超碰狠狠干99| 啪啪视频99| 六月丁香婷婷色狠狠久久| 91爱啪啪| site:minyis.com| www.av骚货| 播四月婷婷六月丁香| 五月婷婷丁香六月| 激情六月丁香| 五月天婷婷激情春色小说| 天堂五月婷婷| 婷婷综合网| 激情五月丁香亭亭| 综合狠狠干| 亚洲色图日韩网址| 综合99久久| 99热中文字幕久久| 久久这里只有精品5| se99热久久一本| 五月激情综合网| 99热1| AV性爱在线| www.夜夜夜| 亚洲天堂无码| 欧美成人日韩| 精品热九九| 99热综合网| 婷婷丁香色五月久久88| 97五月天婷婷综合激情网| 五月婷婷 婷婷五月 一区二区 久久久| 婷婷五月天在线一区| 开心五月六月婷婷| 欧美日韩国产伦精品日韩人妻一| 99久久婷婷国产综合精品| 婷婷97碰碰| 天堂AV在线看| 欧美性色五月天| 久久免费婷婷视频| 大香蕉综合视频在线| 夜夜骑夜夜撸| 91热视频| 五月婷色| 天天做天天爱综合| 九九色综合九九色| 99干在线视频| 久久婷婷五月天| 亚洲另类噜噜| 亚洲色五月| 婷婷五月天美女21p| 99热8| 婷婷综合五月天亚洲综合| 夜夜做天天爽| 人妻操操色| 色狠狠六月| www狠狠| 五五月五月| 日韩在线aaa| 99在线小视频| 婷婷五月花丁香| 天天干天天干天天干| 欧美性猛交99久久久久99按摩| 久久婷婷亚洲| 丁香久久久| 天天碰天天插天天操| 九九青草热| 99在线视频。| 久久婷婷六月综合| 操逼视频网址| 草操网| 日日噜噜夜夜狠狠久久丁香五月| 六月激情婷婷色| 亚洲视频伍月婷婷| 五月丁香久久网| 丁香五月激情综合久久| 狠狠艹狠狠艹| 96精品久久久久久久久| 婷婷成人基地| 九九碰九九爱97超碰| 亚洲天天操| 婷婷丁香91综合| 狠狠精品干练久久久无码中文字幕| 袁子仪视频观看| 色墦五月丁香| 天天射夜夜爽| 久久99婷婷| 激情九月综合| 亚洲综合另类| 丁香五月婷婷激情完整版| 再次出发二| 91青娱乐青青草| 欧美日本不卡黄色片| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 色综合五月婷婷狠狠干| 亚洲天堂久久| 乱精品一区字幕二区| 99九九99九九九视频精品| A A色色| 色999五月色| 激情五月丁香综合蜜桃| 天天色天天爱天天爽| 无码免费人妻A片AAA毛片西瓜| 91视频一起草| 99九九视频| 九月丁香八月婷婷久久综合久97| 天天射色五月天| 日韩五月婷婷久久| 99热99在线| 玖玖热视频| 天天爽在线视频| 综合久| 久操大香蕉| 激情综合网五月激情| 国产婷婷五月天| 97在线刺激| 九九热中文| 亚洲另类在线观看| 天天性视频| 欧美黄色AA片哗啦啦啦| 亚洲综合激情五月久久| 九九色热| www.狠狠操.co m| 噜噜视频| 思思99精品视频| WWW.国产| 五月青青草综合| 成人做爰黄A片免费看直播室男男 A片试看120分钟做受图片 | 色情成人五月天| 99五月婷| 97碰在线| 操一区| 99热婷婷| 岛国资源网| 色欧美一级| 26uuu亚洲精品国产| CAOBIBI| 成人版视频在线观看| 久久九九@| 婷婷色导航| 午夜理论片最新午夜理论剧| 丁香五月婷婷五月| 玖玖精品资源| 色婷综合| 91色操| 激情五月天丁香| 色偷偷AV亚洲男人的天堂| 六月丁香婷婷在线波多| 欧美一级a| 精品色色| 亚洲va欧美| 欧美六月| 成人婷婷色五月天| 色五月激情五月天| 色色操| 五月天激情综合10p| 丁香狠狠色婷婷久久无码视频| 婷婷精品性视频| 色琪琪一综合久久激情五月视频| 五月天激情国产综合婷婷婷| 婷婷五月免费观看| 大大香蕉综合在线| 涩综合网| 婷婷 久综合| 国产精品成人网址| 色色色婷婷五月| 草美女在线观看视频在线播放| 国产精品久久久久久喷浆| 五月丁香婷婷成人网| 97综合在线| 天天弄天天操| 情婷婷五月天| 性色婷婷| 五月婷婷色欲| 激情五月丁香亭亭| 五月婷五月婷伊人伊人五月婷| 超碰成人公开| AV成人在线播放| 五月丁香色婷婷婷基地| 亚洲情欲久久| 中文字幕 中文字幕明步| 久久丁香久久| 亚洲AV成人精品日韩在线播放|