欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

CogVLM與CogAgent本地部署實(shí)戰(zhàn):顯存、版本與坐標(biāo)換算避坑指南

CogVLM與CogAgent本地部署實(shí)戰(zhàn):顯存、版本與坐標(biāo)換算避坑指南 1. 先把這兩個(gè)模型能干什么弄清楚再談怎么跑想把 CogVLM 與 CogAgent 部署到本地最容易踩的第一個(gè)坑是以為它們是同一類東西裝個(gè)環(huán)境就能一起用。實(shí)際情況差得挺遠(yuǎn)CogVLM 是通用的視覺語言模型你給它一張圖加一句話它給你一段描述、一段分析或者一段 OCR 結(jié)果CogAgent 是在前者的底座上繼續(xù)往 GUI 方向訓(xùn)練出來的智能體模型它看的是截圖輸出的是“點(diǎn)哪里、輸入什么、往下滾多少”這類動(dòng)作指令。部署 CogVLM 的流程和部署 CogAgent 的流程九成相似但剩下那一成——輸入分辨率、prompt 模板、坐標(biāo)換算——決定了你能不能真正跑起來。我前后在兩臺(tái)機(jī)器上折騰了差不多一周第一臺(tái)是單卡 24G 的消費(fèi)級(jí)卡第二臺(tái)是雙卡 48G 的工作站中間踩的坑基本都集中在顯存、依賴版本和坐標(biāo)映射這三處所以下面按這三條主線展開。先說清楚“本地部署”這件事的價(jià)值。很多人第一反應(yīng)是調(diào)接口不就完了何必自己折騰顯存和依賴。但實(shí)際項(xiàng)目里需要本地跑的場景非常硬內(nèi)網(wǎng)隔離的機(jī)器沒有外網(wǎng)、每天要處理幾萬張截圖不能按次計(jì)費(fèi)、需要對(duì)模型輸出做自由的后處理、需要把模型嵌進(jìn)已有的自動(dòng)化流程里當(dāng)一個(gè)小模塊用。這些需求疊在一起本地部署就成了唯一解。而 CogVLM 這類模型的好處在于它的權(quán)重和推理代碼都是開放的你能看到視覺專家模塊怎么接進(jìn)去、圖像怎么預(yù)處理、tokenizer 怎么拼 prompt這些細(xì)節(jié)在調(diào)效果的時(shí)候全是關(guān)鍵。1.1 CogVLM看圖說話的通用底座CogVLM 的結(jié)構(gòu)可以拆成三塊來理解一塊視覺編碼器負(fù)責(zé)把圖片變成特征一塊語言模型負(fù)責(zé)生成文字中間還有一個(gè)“視覺專家”模塊專門在語言模型的若干層里插入可訓(xùn)練的視覺通路。打個(gè)比方語言模型是一條跑了很久的高速公路視覺專家相當(dāng)于在關(guān)鍵路口修了幾條匝道讓圖像信息能就近匯入而不是全部擠在入口處硬塞進(jìn)去。這個(gè)設(shè)計(jì)帶來的直接好處是模型對(duì)圖像細(xì)節(jié)的敏感度比“把圖像特征拼在 prompt 前面”那種樸素做法要好不少尤其是小字、表格、界面元素這類需要精確讀取的內(nèi)容。對(duì)部署者來說這個(gè)結(jié)構(gòu)意味著兩件事。第一模型總參數(shù)量比同級(jí)別的純文本模型大權(quán)重占用的顯存更多17B 級(jí)別的模型在半精度下光權(quán)重就要 34GB 上下單卡 24G 根本放不下必須走量化或者多卡。第二它依賴trust_remote_codeTrue加載自定義代碼也就是說模型目錄里自帶建模文件這些文件對(duì)transformers的版本相當(dāng)挑剔版本差一點(diǎn)就可能報(bào)出一堆看著莫名其妙的錯(cuò)。后面我會(huì)具體說版本怎么選。1.2 CogAgent盯著屏幕找按鈕的那一類CogAgent 的定位更垂直。它的輸入是一張屏幕截圖輸出是結(jié)構(gòu)化的動(dòng)作比如點(diǎn)擊某個(gè)坐標(biāo)、在某個(gè)位置輸入文本、滾動(dòng)頁面。它的圖像輸入分辨率比通用版更高因?yàn)?GUI 界面上的按鈕、輸入框、圖標(biāo)都很小壓縮得太狠模型就看不見了。高分辨率帶來的代價(jià)是顯存和計(jì)算量同步上升同樣一張圖編碼出來的視覺 token 數(shù)量可能是普通圖片的好幾倍。部署 CogAgent 時(shí)最需要提前想清楚的是坐標(biāo)系問題。模型是在縮放后的圖像上做定位的而你的真實(shí)屏幕是原始分辨率兩者之間差一個(gè)縮放比和一個(gè)可能的填充偏移。這個(gè)換算如果做錯(cuò)模型明明“看對(duì)了”點(diǎn)下去卻偏了半個(gè)屏幕排查起來非常折磨人。我建議在正式接入自動(dòng)化流程之前先做一次坐標(biāo)標(biāo)定用幾個(gè)已知位置的元素驗(yàn)證映射關(guān)系這一步花十分鐘能省掉后面幾小時(shí)的懷疑人生。1.3 什么配置的機(jī)器能跑先說結(jié)論很多人卡在第一步不知道自己手上的機(jī)器夠不夠。我把幾種常見配置的實(shí)際情況列出來方便你對(duì)照。注意這里說的是“能跑起來并輸出合理結(jié)果”不是“能跑得飛快”。模型規(guī)模精度權(quán)重顯存加上激活與KV后的實(shí)際占用建議硬件17B 級(jí)別bf16約 34GB38GB 到 42GB單卡 48G 或雙卡 24G17B 級(jí)別4bit 量化約 10GB13GB 到 16GB單卡 24G 可用19B 級(jí)別bf16約 38GB42GB 到 46GB單卡 48G雙卡更穩(wěn)19B 級(jí)別4bit 量化約 11GB14GB 到 18GB單卡 24G 可跑18B 級(jí)別GUI 版4bit 量化約 11GB15GB 到 19GB單卡 24G高分辨率截圖更吃顯存這張表里的“實(shí)際占用”不是拍腦袋后面會(huì)給出估算方法。簡單說權(quán)重只是地基真正把顯存撐爆的往往是長 prompt 的 KV Cache 和高分辨率圖像產(chǎn)生的視覺 token。一張 1120 見方的截圖編碼出來的 token 數(shù)量可能頂?shù)蒙蠋装賯€(gè)中文字做多輪對(duì)話時(shí)這部分會(huì)持續(xù)累積。2. 環(huán)境這一關(guān)版本對(duì)齊比裝包重要得多我先說一個(gè)反直覺的結(jié)論這類模型的部署失敗八成不是硬件不夠是版本不對(duì)。你按某個(gè)教程裝了一套包代碼跑起來報(bào)AttributeError或者KeyError搜半天發(fā)現(xiàn)是transformers小版本差了兩位。這種問題沒有通用解只能靠鎖定版本。我的做法是先在一個(gè)干凈環(huán)境里裝最小依賴集跑通官方示例再往里面加?xùn)|西一旦加出問題立刻回退絕不在一棵已經(jīng)長歪的樹上繼續(xù)嫁接。2.1 依賴版本的三角關(guān)系需要同時(shí)對(duì)齊的有三樣CUDA 驅(qū)動(dòng)、PyTorch、transformers。三者是鏈?zhǔn)揭蕾嚾魏我画h(huán)錯(cuò)位都會(huì)在加載模型時(shí)炸出來。CUDA 與 PyTorch先看nvidia-smi右上角顯示的驅(qū)動(dòng)支持的最高 CUDA 版本然后選一個(gè)不高于它的 PyTorch 輪子。驅(qū)動(dòng)支持 12.1你裝 cu121 的輪子最省事硬裝 cu118 的輪子通常也能跑但要留意量化庫有沒有對(duì)應(yīng)編譯版本。PyTorch 與transformers這一對(duì)最容易出事。模型自帶的建模代碼里會(huì) import 一些內(nèi)部類新版transformers改了簽名就會(huì)直接報(bào)錯(cuò)。量化庫4bit 加載依賴bitsandbytes它需要和 CUDA 運(yùn)行時(shí)匹配版本太舊會(huì)報(bào)找不到符號(hào)。我實(shí)測下來比較穩(wěn)的一組是PyTorch 2.1 到 2.3 區(qū)間transformers4.37 到 4.42 區(qū)間accelerate0.26 以上bitsandbytes0.41 以上。這個(gè)組合不是唯一解但它是個(gè)“大多數(shù)教程和模型自帶代碼都能兼容”的安全區(qū)。如果你拿到的是更新的模型版本可以適當(dāng)往上走但務(wù)必先用最小腳本驗(yàn)證加載別一上來就跑完整業(yè)務(wù)。提示不要用pip install -U無腦升級(jí)。跑通之后立刻pip freeze requirements.lock把當(dāng)前環(huán)境凍住這是血淚教訓(xùn)。我有一次為了裝另一個(gè)庫順手升了transformers第二天回來模型加載直接崩回滾花了半小時(shí)。2.2 隔離環(huán)境與目錄規(guī)劃不要往系統(tǒng) Python 里裝東西這是底線。用 conda 或者 venv 建一個(gè)獨(dú)立環(huán)境名字起得直白點(diǎn)比如vlm-local。模型權(quán)重體積大一般十幾個(gè)到幾十個(gè) G別放在系統(tǒng)盤找個(gè)數(shù)據(jù)盤建個(gè)統(tǒng)一目錄mkdir -p /data/models/cogvlm-chat-hf mkdir -p /data/models/cogagent-chat-hf mkdir -p /data/workspace/vlm-demo權(quán)重放/data/models下代碼放/data/workspace下緩存目錄也要單獨(dú)指出來否則 HuggingFace 默認(rèn)會(huì)往家目錄的隱藏文件夾里塞跑幾個(gè)模型下來把根分區(qū)撐滿是常有的事。環(huán)境變量這樣設(shè)export HF_HOME/data/hf_cache export TRANSFORMERS_CACHE/data/hf_cache/transformers export HF_HUB_OFFLINE1最后一行是給內(nèi)網(wǎng)機(jī)器準(zhǔn)備的。權(quán)重提前從有網(wǎng)的機(jī)器下載好、整目錄拷進(jìn)來之后把離線模式打開避免程序啟動(dòng)時(shí)還去聯(lián)網(wǎng)檢查更新卡在那里轉(zhuǎn)圈。2.3 權(quán)重文件的完整性檢查從外部拷貝權(quán)重最容易出的問題是文件不齊。模型目錄里一般有config.json、modeling_*.py、tokenizer.model、若干*.safetensors分片還有一個(gè)*.index.json記錄分片映射??截愔袛鄷?huì)導(dǎo)致最后一個(gè)分片體積不對(duì)加載時(shí)報(bào) safetensors 解析錯(cuò)誤但報(bào)錯(cuò)信息往往指向別的地方很容易誤判。我的檢查習(xí)慣是兩步先看分片數(shù)量和 index 文件里列的數(shù)量是否一致再逐個(gè)比對(duì)文件大小是否和源端一致。如果是用工具下載的注意下載工具的靜默失敗——看著進(jìn)度條走完了實(shí)際缺一個(gè)文件。穩(wěn)妥做法是下載完之后立刻跑一次“只加載 tokenizer”的測試這一步幾乎不耗顯存能快速確認(rèn)目錄結(jié)構(gòu)對(duì)不對(duì)。from transformers import LlamaTokenizer tok LlamaTokenizer.from_pretrained(/data/models/cogvlm-chat-hf, trust_remote_codeTrue) print(len(tok), tok.convert_tokens_to_ids(|endoftext|))能正常打印出詞表大小說明 tokenizer 這塊沒問題可以繼續(xù)往下走。3. 從零把模型加載起來環(huán)境齊了權(quán)重到位了接下來是最激動(dòng)人心也最容易翻車的一步把模型讀進(jìn)顯存。這一節(jié)從最小可運(yùn)行代碼開始逐步加量化、加多卡最后給一個(gè)能直接抄的模板。3.1 半精度加載先跑通再優(yōu)化第一版代碼不要開量化不要開多卡就在能裝得下的機(jī)器上用半精度跑一次。目的是確認(rèn)模型本身沒問題把變量降到最少。import torch from transformers import AutoModelForCausalLM, LlamaTokenizer MODEL_PATH /data/models/cogvlm-chat-hf tokenizer LlamaTokenizer.from_pretrained(MODEL_PATH, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( MODEL_PATH, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, trust_remote_codeTrue, device_mapcuda:0, ).eval()幾個(gè)參數(shù)值得解釋。low_cpu_mem_usageTrue會(huì)分片加載權(quán)重避免先把整個(gè)模型讀進(jìn)內(nèi)存再搬到顯存對(duì)于內(nèi)存不大比如 64G的機(jī)器這個(gè)開關(guān)是從“卡死”到“能跑”的區(qū)別。device_map這里我故意寫死成cuda:0而不是auto原因后面講多卡時(shí)會(huì)說到。加載完成后先用一段純文本跑一次確認(rèn)語言部分正常resp, _ model.chat(tokenizer, 用一句話說明什么是視覺語言模型, history[]) print(resp)這一步不涉及圖像速度很快。如果這一步就出問題那多半是 tokenizer 或者模型文件的問題和視覺模塊無關(guān)排查范圍小很多。3.2 圖像輸入的正確喂法圖像輸入不是簡單地把 PIL 對(duì)象傳進(jìn)去就完事。模型自帶的build_conversation_input_ids會(huì)做一套預(yù)處理縮放、歸一化、切成 patch然后把視覺 token 按模板拼進(jìn) prompt。你需要注意的是圖像尺寸和格式。from PIL import Image image Image.open(/data/workspace/demo.png).convert(RGB) inputs model.build_conversation_input_ids( tokenizer, query這張圖里有什么請?jiān)敿?xì)描述。, history[], images[image], ) inputs {k: v.to(cuda:0).to(torch.bfloat16) if v.dtype torch.float32 else v.to(cuda:0) for k, v in inputs.items()} with torch.no_grad(): out model.generate(**inputs, max_new_tokens256, do_sampleFalse) print(tokenizer.decode(out[0][inputs[input_ids].shape[1]:], skip_special_tokensTrue))這里有個(gè)細(xì)節(jié)很多人忽略build_conversation_input_ids返回的是一個(gè)字典里面的images字段類型是float32的張量。如果你的模型是 bf16 精度這個(gè)張量也要轉(zhuǎn)成 bf16否則會(huì)在視覺編碼器里報(bào) dtype 不匹配。上面那行推導(dǎo)式就是干這個(gè)的雖然寫得有點(diǎn)丑但比在模型內(nèi)部改代碼安全。另一個(gè)細(xì)節(jié)是do_sampleFalse。做圖像理解和 GUI 定位這類任務(wù)時(shí)我強(qiáng)烈建議用貪心解碼也就是關(guān)掉采樣。采樣帶來的多樣性在這里是負(fù)面因素——同一個(gè)按鈕兩次運(yùn)行給你兩個(gè)不同坐標(biāo)下游流程根本沒法用。只有做開放式描述、創(chuàng)意類問答時(shí)才需要打開temperature。3.3 4bit 量化把大模型塞進(jìn)小顯存單卡 24G 是很多人的現(xiàn)實(shí)條件這時(shí)候 4bit 量化幾乎是唯一選擇。做法不復(fù)雜加一個(gè)量化配置對(duì)象就行import torch from transformers import AutoModelForCausalLM, LlamaTokenizer, BitsAndBytesConfig MODEL_PATH /data/models/cogvlm-chat-hf bnb_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_quant_typenf4, bnb_4bit_compute_dtypetorch.bfloat16, bnb_4bit_use_double_quantTrue, ) tokenizer LlamaTokenizer.from_pretrained(MODEL_PATH, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( MODEL_PATH, quantization_configbnb_config, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, trust_remote_codeTrue, device_mapcuda:0, ).eval()nf4是正態(tài)分布友好的 4bit 數(shù)據(jù)類型比普通 int4 在這類模型上掉的精度少double_quant是對(duì)量化常數(shù)再做一次量化能再省一兩個(gè) G代價(jià)是加載稍微慢一點(diǎn)。compute_dtype一定要設(shè)成 bf16設(shè)成 fp16 在部分卡上會(huì)出現(xiàn)激活溢出輸出變成一堆重復(fù)的字符或者直接 NaN。量化之后的實(shí)際體驗(yàn)在 24G 卡上跑 17B 模型留出 4G 左右給上下文對(duì)話輪次控制在 3 輪以內(nèi)基本不會(huì) OOM。速度方面生成一句話二三十個(gè) token大概一兩秒描述一張中等復(fù)雜度的圖兩百 token十幾秒的量級(jí)。這個(gè)速度做批處理不算快做交互式工具完全夠用。注意量化后模型對(duì)數(shù)字和精確坐標(biāo)的敏感度會(huì)下降。做 GUI 定位時(shí)如果發(fā)現(xiàn)坐標(biāo)明顯漂移先試著回到半精度驗(yàn)證是不是量化導(dǎo)致的別一頭扎進(jìn)坐標(biāo)換算里查半天。3.4 雙卡切分與那些說不清的報(bào)錯(cuò)顯存夠但單卡裝不下時(shí)第一反應(yīng)是把device_map改成auto。這一步能成但成功率不高。原因在于這類模型的視覺專家模塊是通過自定義邏輯插入的accelerate的自動(dòng)切分策略不一定能正確識(shí)別這些層結(jié)果就是一部分權(quán)重被放到 cuda:1但計(jì)算時(shí)張量在 cuda:0報(bào)一個(gè) device mismatch。我的處理順序是這樣的先試device_mapauto能跑就不管了報(bào) device 錯(cuò)誤就改成手工指定的字典把視覺相關(guān)的層固定在第一張卡上語言層往后排。手工字典寫起來麻煩但可控。另一個(gè)辦法是干脆用兩張卡各跑一個(gè)模型實(shí)例前面掛個(gè)簡單的調(diào)度做并發(fā)處理這在批處理場景下反而更簡單粗暴有效。還有一個(gè)常見問題是雙卡機(jī)器上的 NVLink 缺失。沒有 NVLink 時(shí)跨卡通信走 PCIe速度會(huì)掉一截特別是層間頻繁交換數(shù)據(jù)的結(jié)構(gòu)。如果你的機(jī)器沒有 NVLink別對(duì)雙卡加速抱太大期望能跑通就行。4. CogAgent 的 GUI 能力怎么真正用起來CogVLM 的用法相對(duì)直白進(jìn)去一張圖出來一段字。CogAgent 的鏈路長得多截屏、預(yù)處理、構(gòu)造 prompt、推理、解析動(dòng)作、坐標(biāo)換算、執(zhí)行、再截屏形成一個(gè)閉環(huán)。任何一個(gè)環(huán)節(jié)沒對(duì)齊整個(gè)鏈路就是錯(cuò)的而且很難從最終現(xiàn)象倒推是哪一環(huán)。4.1 分辨率與 letterbox 預(yù)處理高分辨率是 CogAgent 的核心賣點(diǎn)但“高分辨率”不等于“直接把原圖丟進(jìn)去”。模型有一個(gè)固定的輸入尺寸通常是 1120 這個(gè)量級(jí)你的截圖可能是 1920x1080也可能是 2560x1440直接 resize 會(huì)拉伸變形模型對(duì)按鈕形狀的判斷會(huì)受影響。正確做法是等比縮放加填充也就是 letterbox。from PIL import Image def letterbox(img, target1120): w, h img.size scale min(target / w, target / h) nw, nh int(round(w * scale)), int(round(h * scale)) resized img.resize((nw, nh), Image.BICUBIC) canvas Image.new(RGB, (target, target), (0, 0, 0)) pad_x (target - nw) // 2 pad_y (target - nh) // 2 canvas.paste(resized, (pad_x, pad_y)) return canvas, scale, pad_x, pad_y函數(shù)返回的scale、pad_x、pad_y三個(gè)值要一路帶著走后面坐標(biāo)換算全靠它們。這里用 BICUBIC 而不是默認(rèn)的 NEAREST是因?yàn)榻缑嫔系男∽趾图?xì)線條在 NEAREST 下會(huì)丟信息縮完以后模型讀不出來。填充色用黑色0,0,0比較穩(wěn)妥。有些實(shí)現(xiàn)用白色在某些淺色主題的界面上會(huì)和內(nèi)容混在一起模型分不清邊界。4.2 動(dòng)作解析別信“模型會(huì)給你標(biāo)準(zhǔn)格式”模型輸出的動(dòng)作文本理想情況下是規(guī)整的一行比如“點(diǎn)擊坐標(biāo) (x, y)”。實(shí)際跑起來你會(huì)發(fā)現(xiàn)它偶爾加一句解釋、偶爾換個(gè)動(dòng)詞、偶爾把坐標(biāo)寫進(jìn)括號(hào)里又跟一句補(bǔ)充說明。所以解析層必須寫得寬容一些用正則去撈關(guān)鍵信息而不是拿字符串精確匹配。我一般的做法是先按行切找包含動(dòng)作關(guān)鍵詞的那一行再用正則提取動(dòng)作類型和參數(shù)。動(dòng)作類型做一層映射把同義詞歸到統(tǒng)一的枚舉里比如“點(diǎn)擊”“按”“點(diǎn)一下”統(tǒng)一成 CLICK。坐標(biāo)提取用\(?\s*(\d)\s*[,]\s*(\d)\s*\)?這種寬松模式中英文逗號(hào)都要考慮。解析失敗時(shí)不要直接拋異常讓流程中斷應(yīng)該記錄原始輸出、記錄當(dāng)時(shí)的截圖然后走一個(gè)兜底分支。這個(gè)日志在調(diào) prompt 的時(shí)候價(jià)值極高你能看到模型到底在哪一步“想偏了”。4.3 坐標(biāo)換算與標(biāo)定這是整個(gè)鏈路里最容易出錯(cuò)的地方。模型輸出的坐標(biāo)是在 1120 空間里的你要換成真實(shí)屏幕坐標(biāo)公式是def to_screen(x_model, y_model, scale, pad_x, pad_y): x (x_model - pad_x) / scale y (y_model - pad_y) / scale return int(round(x)), int(round(y))看起來很簡單但有兩個(gè)陷阱。第一有些模型的輸出坐標(biāo)已經(jīng)內(nèi)部還原到原圖了你再還原一次就錯(cuò)得離譜。第二縮放用的是min而不是等比拉伸如果原圖不是正方形橫縱比例其實(shí)是一致的但填充偏移只在某一個(gè)方向上有。判斷到底是哪種情況靠標(biāo)定。截一張圖上面畫幾個(gè)位置已知的標(biāo)記讓模型去找其中一個(gè)看輸出的數(shù)值落在哪個(gè)區(qū)間。如果數(shù)值都在 0 到 1120 之間那就是縮放空間如果數(shù)值接近原圖寬高那就是已經(jīng)還原過。這個(gè)測試做一次后面就不用反復(fù)猜了。實(shí)操心得標(biāo)定的時(shí)候多用幾個(gè)不同位置的元素比如左上角、右下角、正中心各一個(gè)。如果中心點(diǎn)準(zhǔn)而邊角偏說明是填充偏移沒減對(duì)如果整體線性偏移說明縮放比算錯(cuò)了如果只有某個(gè)方向偏檢查一下是不是寬高搞反了。5. 踩坑實(shí)錄與排查速查表這一節(jié)把我實(shí)際遇到的和同行反饋過的問題整理成表按現(xiàn)象倒查原因。這類問題的特點(diǎn)是報(bào)錯(cuò)信息經(jīng)?!拔牟粚?duì)題”看報(bào)錯(cuò)猜原因大概率猜錯(cuò)還是按現(xiàn)象查比較快。5.1 加載階段的問題現(xiàn)象大概率原因處理方式KeyError: xxx出現(xiàn)在 config 解析處transformers版本過新或過舊回退到 4.37 到 4.42 區(qū)間AttributeError: module has no attribute _supports_sdpa版本不匹配的典型表現(xiàn)同上鎖版本而非改代碼safetensors解析失敗權(quán)重分片不完整核對(duì)分片數(shù)量與 index 文件CUDA out of memory在加載時(shí)未開low_cpu_mem_usage加上該參數(shù)并考慮量化卡在Loading checkpoint shards很久磁盤 IO 瓶頸或內(nèi)存不足換數(shù)據(jù)盤檢查 swap 是否被瘋狂使用No module named xxx模型自帶代碼依賴了沒裝的包看報(bào)錯(cuò)補(bǔ)裝注意版本別太新加載階段的問題九成能靠“鎖版本 查文件完整性”解決。我遇到過最詭異的一次是 safetensors 報(bào)錯(cuò)查了半天發(fā)現(xiàn)是拷貝過程中磁盤滿了最后一個(gè)分片被截?cái)?。這種問題報(bào)錯(cuò)信息完全不指向磁盤只能靠比對(duì)文件大小發(fā)現(xiàn)。5.2 推理階段的問題推理階段的現(xiàn)象更隱蔽因?yàn)槌绦虿粓?bào)錯(cuò)只是結(jié)果不對(duì)。輸出全是重復(fù)字符或者亂碼。第一反應(yīng)是量化精度問題特別是compute_dtype設(shè)成了 fp16 的情況。改成 bf16 通常就好。如果沒開量化也這樣檢查一下是不是max_new_tokens設(shè)得太大配合了錯(cuò)誤的eos_token_id模型不知道什么時(shí)候停。答非所問或者把圖片內(nèi)容完全說錯(cuò)。先確認(rèn)圖像張量的 dtype 和 device 都對(duì)。我踩過一次圖像張量留在了 CPU 上模型居然沒報(bào)錯(cuò)只是把圖像當(dāng)成全黑處理輸出了一段完全不相干的描述。這種“靜默失敗”最坑所以加載完之后一定要打印一下輸入張量的 shape、dtype 和 device 做核對(duì)。生成到一半卡住不動(dòng)。多半是顯存臨界系統(tǒng)在做內(nèi)存和顯存之間的交換。把max_new_tokens降下來或者減少歷史輪次。多輪對(duì)話越跑越慢。KV Cache 在累積。這類模型每輪都要重新處理歷史長對(duì)話下顯存和耗時(shí)都是線性增長的。做批處理時(shí)我一般每張圖開一個(gè)全新會(huì)話不共享歷史反而更快更穩(wěn)。5.3 GUI 定位專項(xiàng)問題GUI 場景的問題和通用理解不太一樣單獨(dú)拎出來說。坐標(biāo)系統(tǒng)性偏移。大概率是 letterbox 參數(shù)沒跟上。檢查縮放比是用min算的還是用寬高分別算的填充偏移有沒有在不同分辨率下重新計(jì)算。我見過一個(gè)實(shí)現(xiàn)把pad_x、pad_y寫成了全局常量換一臺(tái)顯示器就全錯(cuò)。模型說“找不到該元素”。先看截圖里那個(gè)元素是不是太小或者對(duì)比度太低。高分辨率輸入的意義就在這如果元素在縮放后只有幾個(gè)像素模型確實(shí)看不見。解決辦法是局部截圖——先把屏幕分成幾塊逐塊送進(jìn)去找找到了再在原圖里換算。這個(gè)策略在復(fù)雜界面上比整屏一次送入準(zhǔn)確得多。動(dòng)作類型判斷錯(cuò)誤。比如該點(diǎn)擊的它說要輸入。這種情況多半是 prompt 描述得不夠明確。把當(dāng)前界面的上下文、上一步做了什么、目標(biāo)是什么寫清楚準(zhǔn)確率會(huì)明顯上升。GUI 任務(wù)對(duì) prompt 的敏感度遠(yuǎn)高于通用問答。連續(xù)兩步動(dòng)作互相矛盾。因?yàn)槊恳徊蕉际仟?dú)立推理模型沒有記憶。要么把歷史動(dòng)作拼進(jìn) prompt要么在外部加一層狀態(tài)機(jī)做約束。我傾向于后者狀態(tài)機(jī)邏輯清晰、可控模型只負(fù)責(zé)“看”決策交給代碼。6. 讓它跑得更好幾個(gè)真正有效的調(diào)優(yōu)點(diǎn)模型能跑起來只是及格線實(shí)際用起來你會(huì)發(fā)現(xiàn)效果差異很大而差異的來源往往不是模型本身是輸入的組織方式。6.1 prompt 的組織方式視覺語言模型對(duì) prompt 的敏感度比純文本模型高因?yàn)閳D像信息和文本信息要在同一個(gè)上下文里對(duì)齊。幾條我驗(yàn)證過有效的經(jīng)驗(yàn)提問要具體不要說“描述這張圖”要說“圖中表格第三行第二列的內(nèi)容是什么”。前者模型會(huì)給你一段泛泛而談后者能直接命中你要的信息。需要結(jié)構(gòu)化輸出時(shí)在 prompt 里給格式示例比事后用正則去撈要可靠得多。比如你要 JSON就在 prompt 里寫一個(gè) JSON 骨架模型會(huì)照著填。中文和英文混著用一般沒問題但涉及界面元素名稱時(shí)用界面上實(shí)際顯示的語言更準(zhǔn)。界面上寫的是英文按鈕你問“那個(gè)藍(lán)色的確認(rèn)按鈕在哪”不如問“Where is the Submit button”。做 OCR 類任務(wù)時(shí)明確告訴模型“只輸出識(shí)別到的文字不要解釋”能省掉大量后處理。6.2 推理參數(shù)的取舍參數(shù)不多但每個(gè)都影響結(jié)果參數(shù)通用理解任務(wù)GUI 定位任務(wù)說明do_sample可開可關(guān)必須關(guān)采樣會(huì)引入不確定性temperature0.2 到 0.7不適用關(guān)閉采樣后此參數(shù)失效max_new_tokens256 到 51264 到 128定位類輸出很短設(shè)大了浪費(fèi)repetition_penalty1.0 到 1.11.0過高會(huì)讓輸出變得生硬num_beams11束搜索在這類任務(wù)上收益很低GUI 任務(wù)里我把max_new_tokens壓到 128 甚至 64效果反而是提升的。原因很簡單輸出空間被限制后模型沒有余地在那里“思考人生”必須盡快給出動(dòng)作。這是個(gè)很實(shí)用的小技巧。6.3 批處理與吞吐如果要做批量圖片理解逐張串行跑會(huì)非常慢??尚械募铀俜绞接袔讉€(gè)層次第一層是把多張圖拼成一個(gè) batch 送進(jìn)去。這類模型對(duì) batch 的支持要看具體實(shí)現(xiàn)有的版本在build_conversation_input_ids層面就只支持單圖硬拼會(huì)出錯(cuò)得自己改預(yù)處理邏輯。改動(dòng)有風(fēng)險(xiǎn)建議先在小樣本上驗(yàn)證結(jié)果一致性。第二層是起多個(gè)進(jìn)程每個(gè)進(jìn)程占一張卡或者共享一張卡的不同顯存段。簡單粗暴但有效尤其是處理幾千張圖的離線任務(wù)多進(jìn)程的收益比任何模型層面的優(yōu)化都直接。第三層是推理框架。有些通用推理加速框架對(duì)這類自定義結(jié)構(gòu)的支持有限需要額外的適配工作投入產(chǎn)出比要先算清楚。如果只是自己用多進(jìn)程加 4bit 量化基本夠如果要上生產(chǎn)那值得花時(shí)間做專門的適配。提示批處理時(shí)務(wù)必給每張圖記錄完整的輸入?yún)?shù)和輸出原文。模型偶爾會(huì)在某張圖上抽風(fēng)沒有日志你根本不知道是哪張、為什么。我習(xí)慣把原圖、prompt、原始輸出、解析后的結(jié)果四樣一起落盤出問題直接翻記錄。7. 我在這套流程里攢下的幾點(diǎn)體會(huì)第一點(diǎn)關(guān)于顯存。別一上來就追求半精度跑滿血版本量化帶來的精度損失在大多數(shù)任務(wù)里感知不到但省下來的顯存能讓你把上下文拉長、把 batch 開大綜合體驗(yàn)反而更好。真正需要半精度的場景是坐標(biāo)精度要求極高的 GUI 定位和細(xì)小文字的 OCR這兩種情況我才會(huì)回到 bf16 并接受更慢的速度。第二點(diǎn)關(guān)于版本。這類模型的自定義代碼是把雙刃劍它讓模型能做很多標(biāo)準(zhǔn)架構(gòu)做不到的事也讓部署變得脆弱。我的做法是每個(gè)項(xiàng)目建一個(gè)獨(dú)立環(huán)境并凍結(jié)依賴寧可磁盤多占幾個(gè) G也不要讓兩個(gè)項(xiàng)目共用一個(gè)環(huán)境互相打架。這個(gè)習(xí)慣救過我很多次。第三點(diǎn)關(guān)于坐標(biāo)。GUI 相關(guān)的坑九成能在標(biāo)定這一步提前發(fā)現(xiàn)。別嫌麻煩畫幾個(gè)標(biāo)記點(diǎn)測一次把縮放比和偏移量打印出來肉眼確認(rèn)數(shù)值合理再往下接自動(dòng)化。我見過太多人跳過這一步然后在“為什么點(diǎn)不準(zhǔn)”上耗掉一整天。最后分享一個(gè)排查思路。當(dāng)模型輸出明顯不對(duì)時(shí)先別改 prompt、別調(diào)參數(shù)先把輸入可視化出來看一眼——圖像有沒有變形、有沒有被裁掉、顏色通道對(duì)不對(duì)、張量在不在正確的設(shè)備上。我遇到過的“模型不行”里至少一半最后發(fā)現(xiàn)是輸入喂錯(cuò)了。把輸入管好剩下的問題才好談。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久99热| 婷婷爱爱蜜臀天天操| 五月丁香六月色婷| 蜜桃婷婷狠狠久久综合| 日韩操人| 九九视频这里有精品| 任你弄在线视频免费| 99国产这里只有精品| av中文网| 日本91在线| 久久激情视频99| 久草丁香婷婷1024| 欧美成人AAA片一区国产精品 | 五月天激情久久| 99免费视频精品| 天天综合五月| 色蜜婷婷| 日韩无码91| 色九区| 天天摸天天舔天天天天爽| 91色欲综合| 久久怡红院| 97色色视频| 伊人狠狠操| 五月丁香猫咪久久婷婷综合视频激情四射网入口| 精品无码久久久久久久久| 99色播| 亚洲综合激情五月久久| 婷婷五月综合中文字幕| 免费黄色视频网址| AA丁香综合激情| 综合视频久久| 91视频综合网| 久久丁香五月婷婷| 五月天婷婷综合网| 天天干夜夜谢| 丁香五月色情| 婷婷啪啪| 国产成人AV| 在线播放中文字幕| 亚洲精品婷婷| 天天日天天爽| 无码色| 色播五月| 日韩婷婷| 久久9热好| 激情欧美五月丁香| 婷婷五月天av| 国产精品色情AAAAA片软件| 久碰婷婷视频| 99日在线视频| 亚洲色五月婷婷| 开心婷婷五月| 婷婷丁香六月| 亚洲另类婷婷综合| 激情五月婷婷网| 99热老司机| 五月天色色无码| 五月丁香成人| 五月丁香婷婷啪啪| 婷婷五月天精品| 色色操| 五月丁香啪啪综合网| 9久9久| 激情色中文| 亚洲色视频| 欧美精品999| 99ri视频在线观看| 天天夜夜爽| 婷五月天天| 五月天综合网| 九九99热| 大香蕉婷婷五月| 伊人婷婷大香蕉在线| www.粉嫩av.com| 五月六月激情婷婷| 亚洲无aV在线中文字幕| 激情小说五月天社区丁香| 五月天丁香成人社| 色综合久久88色综合天天看| 男女啪啪做爰高潮无遮挡| 思思热久久久在线| 五月婷婷香| 婷婷久久免费| 欧美激情综合色丁香婷婷五月天| 91婷婷丁香五月天免费视频网站| 秋霞丝袜啪啪啪| 激情九九综合网| 99热只有这里有精品| 丁香五月天婷婷中文字幕| 六月激情丁香一道本7777| 色播五月| 九九热这里有精品视频| 色婷婷五月天在线观看| 九九成人| 婷婷五点亚洲| 婷婷丁香色情| 亚洲精品99| 天天做天天视天天谢| 亚洲日韩国产黑丝黑丝AVAV一区二区三区| 婷婷综合激情| 99色区| 日熟女| 国产亚洲AV人片在线| 五月情涩综合婷婷| 久久98热re| 丁香婷婷久久综合在线| 五月婷婷丁香在线| 2018国产大陆天天弄| 强辱丰满人妻HD中文字幕 | 99亚州综合精品成人网| 日操熟女| 久久久久久久97| 婷婷五月天综合中文| 久久激情综合| 91免费看片| 色五月天综合| 色~性~乱~伦~噜| 天天操狠狠操| 色999五月色| 久久久久久久91| 五月婷婷六月基地| 婷婷伊人久久| 日本熟妇乱妇熟色A片蜜桃| 日韩十国产极品久久| 五月天五月色婷婷综合| 亚洲激情网| 久久狠色噜噜狠狠狠狠97| 人人人操B超碰| 中文精品在| 夜夜爽天天爽| 99九九视频精彩在线| 日韩久久视频| 久草热在线视频| 久久999久久999久久999久久| 就爱啪啪婷婷| 婷婷一本和五月丁香| 婷婷丁香亚洲色综合91| 手机在线日韩视频中文字幕| 任你搞网站| 在线国产精品色| 色婷婷丁香五月| 深爱五月最新网址| 梁铮版蜘蛛女在线观看| 97色色视频| 五月天免费色| 婷五月天| 九九九干精品| 国产看真人毛片爱做A片| 99re热精品在线视频| 99热这里只有精品9| 任你爽精品免费视频6| 色播五月| 亚洲色婷婷| 激情五月开心五月丁香五月| 天天搡日日搡aaaaⅩ| 日韩黄色中文字幕| 婷婷五月激情小说| 开心色五月天久久久久久久| 777.色色| 人妻久久久久久久久妻久久久久久久久| 大香蕉Av在线| 亚洲成人av在线| 色婷婷AⅤ| 9精品视频在线观看| 男同91| 91九色最新视频| 婷婷五月花| 青青999| 婷婷五月天av| 米奇激情婷婷| 色色综合网站| 婷婷九九视频| 欧美婷婷五月激情| 婷婷五月激情五月激情| 天天干-天天日| 天天天操天天天日| 最近韩国日本免费高清观看| 五月婷婷中文| 99精品无码| 99九九视频| 久久人人妻| 婷婷99狠狠躁天天| 亚洲久久天堂| 综合欧美五月婷婷| 99这里只有| 婷婷五月天播播| 在线网黄| 狠狠色色| 亚洲欧美成人在线观看| 天天天天天日| 免费看成人AA片无码视频吃奶| 超碰人妻在线| 亚洲av无码影院| 五月色丁香综合| 五月婷婷中文| 成人免费在线电影| 婷婷香蕉| 五月天丁香婷婷视频网址| 亚洲成人在线播放| 色婷婷先锋| 激情99热| 色五月综合在线| 久久色六月| 9色在线视频精品观看| 欧美色婷婷| 天天射影院| 五月天婷婷激情六月久久| 国产精品美女久久久久AV超清 | 在线sebiav精品视频| 色婷九九九| 超碰精品手机在线| 无码激情AAAAA片-区区| 超碰爱爱爱| www.ppypp| 激情婷婷。| 日本欧美国产| 五月天丁香婷婷久久九| 99在线视频色版| 亚洲操逼片| 婷婷综合一二三| WWW.五月com| 久久这里有| 欧美三级视频下载| 九九视频在线观看| 日韩 中文 欧美| 99免费视频| 国内熟女黄色系列| 亚洲婷婷六月天| 99这里只有精品| 精热在线综合网| 久久婷婷亚洲| 丁香五月婷婷天堂大香蕉| 久久久久久久久久久44| 99小视频在线| 婷婷五月丁香五月| 欧美综合在线五月天色婷婷| 国产 亚洲 在线| 日本天堂爱爱| 欧洲色| 超碰精品在线| 国产午夜精品一区二区三区四区 | 色婷婷综合在线| 开心五月深爱婷婷| 亚洲操人| 一区二区传媒视频| 香蕉久久国产AV一区二区| 久久视9精| www夜夜操comwww| 狼人婷婷综合| 91九九热| 久久免费精彩视频| 丁香五月天婷婷中文| 婷婷五月激情综合| 天天综合中文| 久色五月| 日本五月视频| 婷婷五月天综合色| 婷婷五月AV| 久月婷婷| 色色九区| 综合日本婷婷| 欧美天堂婷婷日韩| 99视频这里有精品| 999热这里只有精品| 中文幕无线码中文字蜜桃| 久热在线观看视频9| www.亚洲激情| 管管補管管紱| 色五月婷婷综合在线| 五月婷五月婷伊人伊人五月婷| 另类图片 五月激情| 9久精品| 国产成人av在线| 亚洲人妻av| 免费观看全黄做爰的视频 | 天天拍天天操| 久久综合久色欧美综合狠狠 | AV堂狠狠干| 五月天大香蕉AV| 99久久終合| 无码动漫av| 久99热在线观看| 五月天综合激情网| 五月激情丁香五月| 九月婷婷综合八月丁香在线观看| 国模九区| 九九色黄色| 激情五月综合网| 亚洲Va成人| 欧美叉叉叉BBB网站| 涩涩涩,com| 91大操| 猫咪伊人久久| 天天操综合网| 婷婷色狠狠| 精品一区二区三区四区五区六区介绍| 天天摸天天肏| 大香蕉五月丁香| 婷婷激情九月| 婷婷狠狠狠爱| 97在线/亚洲| 91无码高清| 丁J香六月首页| 五月婷婷性爱网| 九久热| 97色婷婷| 综合九九中文字幕| 成人片在线播放| 五月丁香成人| 五月天激情四射| 色五月天激情| 婷婷五月天黄色| 色色丁香五月天| 五月丁香网站| 五月婷婷中字在线| 五月天色婷婷图片| 日本丁香五月| 天天骑天天操| 亚洲在线播放| 国产伊人五月天| 色婷婷综合网站| 一本色道久久综合狠狠躁小说| 大胆伊人久久| 欧美情色电影一区二区| 久久香蕉影院| 爱iii做iiii日日| 久久丁香婷婷色情综合| 狠狠色噜噜狠| 99热日韩| 五月综合六月丁| 久久激情综合| 亚洲婷婷欧美婷婷| 国产高潮A片羞羞视频涩涩| 噜噜色com| 亚洲永久四色| 久久99jiu9| 91碰碰碰| 丁香五月天色婷婷| 国产真实乱对白精彩| 99精品免费视频| 五月天大香蕉AV| 日韩成人精品中文字幕| 能看的av网站| 99re在线播放| 九九精品网站| 丁香伊人网| 99久久高清视频| 久久99这里只有精品| 日日骑夜夜撸| 午夜丁香婷婷| 插逼综合网| 色五月婷婷九月| 久久婷婷丁香花综合网| 六月婷婷综合| 亚洲综合激情五月久久| 婷婷丁香成人网址| 国产成人网址| 99高级会所久久| 99热久久这里只有精品| 五月婷婷先锋| 婷婷五月美女直播| 久草婷婷视频| 综合久久高清| 五月婷婷影院| 亚州欧美黄色电影| 99热8| 香焦网五月天| 色五月天成人在线| 玖玖伦理电影| 插逼综合网| 20253AV| 青草久久五月婷伊人| 思思99精品视频在线观看| 日本成人噜噜噜| 色综合狠狠色| 婷婷丁香五月综合| 久久久久人妻中文| 中文字幕在线日亚洲9| 色色色图| www.99热在线| 91美女被操| 久久久久8888| 久久99网站| 天天天添天天操| 婷婷五月综合中文字幕| 婷婷伊人网| 色五月丁香五月| 丁香五月天在线观看视频| 精品九九视频| 99精品视频播放| 久机视频这只有精品| 亚洲天堂热| 狠狠操综合| 7777激情基地| 人妻熟人中文字幕一区二区| 五月天婷婷综合网| 久久精品国产色| 无码碰碰| 99热99在线| 狠狠五月激情在线| 99免费偷拍视频| 色色色99| 五月停停999| 综合狠狠干| 激情伊人| www.婷婷激情网.com| 久久五月天精品视频| 91se在线观看| 另类激情五月| 嫩草视频观看| 超级碰 久久9| 激情五月综合| 久久久这里有精品| 九九热只有精品| 99久久网站| 色婷婷色五月色丁香| 九九色综合| 99热人人操人人操| 中文成人在线| 国自产拍偷拍精品啪啪一区二区| 性生活久久人妻| 六月丁香婷婷视频综合在线观看| 五月婷婷欧美| 激情婷婷五月天日本系列| 激情五月婷婷老师| 熟女人妻一区二区三区免费看| 婷婷五月中文字幕国产| 天天综合91入口| 5月丁香美女影院| 久久婷婷六月综合| www.99热国产| 婷婷色狠狠| 婷婷色色宗合网| 99色热综合| 久热爱大香蕉在线蜜臀悦色| 激情av在线| 超碰A V在线| 青柠影视免费高清电视剧| 婷婷激情鹿城五月天| 亚洲AV无码影院| 永久免费视频| 日日天天操| 人妻VideOssS人妻| 亚洲激情婷婷| 日本色超碰| 久久精彩综合视频| 日韩精品色| 色丁香五月天婷婷| 婷婷91| 激情五月综合婷婷| 涩综合网| 天天日夜夜爽| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 色人五月婷婷| 婷婷五月色播放| 五月婷婷婷自由综合| 99色免费| 99啪视频在线观看| 991精品在线视频| 9色免费网| 五月天堂六月丁香亚州中文字幕久久| 六月婷婷青青青视频| 久久九九爽| 亚洲啪啪啪啪| 五月天丁香网| 精品人妻一区二区三区在| av在线免费网站 | 中文字幕97超级碰| 久久六月天| 亚洲九区| 婷婷综合欧美| 99热国产免费| 九月丁香婷婷网| 亚洲精品第一国产综合亚AV | 综合久久影院| 人人干人人操外国| 亚洲a色| 色99综合色88| 99网址在线看| 久久五月激情| 狠色狠色狠色狠色狠色网| 激情另类综合| 99视频一区| 亚洲VA口| 免看黄大片AA | 五月丁香中文婷婷中文| 久久er99| 亚洲九九视频| 在线观看免费狠狠色丁香香综合| 国内熟女黄色系列| 激情久久久| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 综合xx网| 成人免费黄色短视频| 色五月中文字幕| 亚洲色情网站| 玖玖爱导航| 久久久久人妻| 天天狠狠婷婷在线| 日本精品人妻无码77777| 六月综合婷婷开心伊人| 天天舔天天摸天天透| 久久怕怕视频| WWW丁香五月| 三级黄色大片视频| 啄木鸟丝袜美女福利视频| 日本色99| 99精品视频在线6| 大香蕉手机视频| 97精品综合久久内射| 午夜激情久久| 天天摸天天舔| 色情开心五月| 无码髙清| 五月丁香综合啪啪| 欧美成人猛片AAAAAAA| 亚洲乱码精品久久久久..| AV片在线观看| 色播五月| 五月丁香六月综合基地| 夜夜操狠狠操天天操| 婷婷五六日| 婷婷五月丁香激情| 亚洲成人婷婷| 婷婷色啪| 北京熟妇搡BBBB搡BBBB| WWW久| 九色无码| 五月丁香六月婷婷啪啪| 日本 @ va 免费| 狠狠噪| 天天日人人| 久久婷婷青青| 色香蕉影院| 亚洲激情高潮| 婷婷五月大香蕉| 亚洲综合色网| 欧美VA在线| 女人露出p毛视频www网站| 五月婷婷色播视频| 99爱最新免费视频在线观看| 99性爱视频| 91精品久久久久、久五月天| 欧类av怡春院| 99热这里都是精品| 欧美va亚洲va| 久久九九99视频| 极品人妻videosss人妻| 日韩在线aaa| 久久婷婷五月天| 日韩黄黄| 五月丁香亭亭激情操逼网| 九色成人AV在线| 色另类五月天| 丁香婷婷欧美综合| 天天干,夜夜爽| 操碰久| 日日干夜夜干| 99视频内射三四| 五月综合久久| 婷婷五月丁香基地| 五月伊人综合| 日韩成人电泉AV| 四色五月婷婷| 日韩黄色电影| 日日激情网| 99久久超级| 激情综合网五月激情| 国产亚洲成AV人片在线观黄桃| 色婷婷成人网| 午夜精品人妻无码一区二区三区 | 99热精品在线| 99久热| 婷婷在线精品| 青草青草视频2免费观看| 人人综合五月人人婷婷| 色色色五月天激情资源| 9这里只有精品| 五月天激情综合网站| 99人人干| 内射爽无广熟女亚洲| 丁香六月婷婷久久综合| 久久九九网| 狠狠干在线视频| 天天色99| 精品国产AV色一区二区深夜久久 | 色婷五月| 91干视频| 综合99久久天天综合| 五月丁香婷婷久久| 狠狠色综合网站久久久久| 激情久久久| 国产成人综合网| 97碰碰视频在线观看| 亚洲V国产V欧美V久久久久久| sewuyue第四色| 激情五月综亚网| 成人狠狠成人狠狠成人狠狠成人狠狠| 色婷綜合网| 激情5月天天天| 日本 @ va 免费| 九九热这里只有精品6| 99ri精品视频在线观看| 色婷大香蕉| 99久久精品国产色欲| 9久热在线视频精品| 色欲婷婷夜夜| 涩五月色婷婷| 国产超碰在线| 可以免费观看的av| 9久9久| 五月天天丁香婷婷在线中| 亚洲AV成人在线观看| 婷婷丁香五月亚洲| 中文字幕操比影片| 久久精典| 狠狠干婷婷| 国产精产国品一二三在观看| 人人操av| 精品婷婷| 欧洲不卡视频| 97热超碰| 欧美成人va| av无码电影| 在线综合网| 久久国产成人9999久久久久| 国精产品久久| 五月天婷婷影院| 99热偷拍| 国产首页在线| 天天天操天天天爰| 丁香五月婷婷偷拍| 激情五月婷婷视频| 婷婷色在线| 五月丁香婷婷三级| 五月天综合婷婷| 人妻中文字幕网| 五月丁香六月婷婷色| 婷婷丁香花五月天| 夜夜夜夜撸夜夜操| 婷婷五月天丁香综合网| 欧美A A A A A| 婷婷播播五月天| 久久久婷| 97九色| 在线中文字幕av| 国产44页| 天堂综合久| 色天五月天在线观看视频| 五月天久久网站| 一级韩国产精品毛| 伊人婷婷五月天| 看婷婷五月天网| 国产午夜成人AV在线播放| 婷婷 伊人 久久| 午夜性做爰电影| 99热精品在线观看| 激情综合五月激情XXXX| 久9免费视频| 丁香五月婷婷动漫视频| 大香蕉婷婷五月| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 热久综合| 99色最新在线视频| 在线亚洲综合| 五月婷婷三级| 狠狠色噜噜狠狠| 婷婷五亚洲| 国产亚洲在线观看| 任你搞网站| 极品色丁香| 精品日本视频444| 亭亭五月色男人| 5月丁香六月婷婷| www.爱婷婷.com| 亚洲无码11| 九九这里只有精品在线视频| 亚洲激情 久久| 激情深爱五月天| 六月婷婷无码观看| 五月婷婷影视| 五月婷婷综合久久| 五月丁香激情四射综合| 久久久久人妻精选| 天天婷婷综合| 午夜亚洲AV日韩无码| 五月丁香日本一抹本| www.99热这里只有精品| 91超级碰碰| 九九99九九99九九99视频网| 粉嫩av懂色av蜜臀av熟妇| 六月综和久久| 色婷婷狠狠18yy| 婷婷色啪| 婷婷精品综合| 激情五月色综合国产精品| 99热99热在线观看| 6 9式性爱视频在线播放| 五月丁香六月欧美| 色丁香久久久| 丁香五月日本| 性色播| 人妻人人操| 色婷大香蕉| 精品综合网在线| 丁香六月婷婷色XXXX| 日本成人小说婷婷六月| 超碰国产在线观看| 丁香五月伊人| 亚洲成人日韩无码精品| 黄色成人网站在线播放| 色天堂操| 伊人玖玖精品| 久久这里只有精彩| 久久精品国产色| 五月丁香激情综合网官网| 五月天婷婷激情综合| 久久精品4| 五月丁色AV| 夜夜骑日日操| 亚洲综合色棒| 色色网站在线| 最近中文字幕2019视频1| 97精品在线| 婷婷六月色| 日韩成人电泉AV| 丁香五月天狠狠操| 五月丁香综合中文| 97狠狠色| 人人澡天天色天天做| 91色色色视频| 大天天伊人| 久久精品爱爱| 伍月婷丁香花全集| 九九热re99re6在线精品| 国产一级婬片毛片| 久久综合人妻| 亚洲无码成人| 丁香婷婷九月在线| 婷婷九九| 婷婷五月丁香六月天亚洲综合| 成人在线网址| 久热a| 六月婷婷五月天| 99久久終合| 欧美激情五月天在线观看| 五月婷婷激情四季| 五月激情六月综合| 精品久久久999| 337久久| 狠狠综合色网| www.日日日.com| 色婷婷五月综合| 九九这里是免费的视频5| 噜色精品| www色五月| 久久免费操| 九月婷婷激情久久| 色丁香五月婷婷婷| 91爱啪啪| www.久久爱.c n| 大香蕉人在线65| 天天日天天草| 九九性爱网| 激情五月婷婷综合视频| 五月色综合网| 1区2区视频| 亚洲黄色精品| 亚洲精品色色| 日韩精品AV一区二区三区| 专区无日本视频高清8| 色吧99| 亚洲天天综合| 久久香视频| 操91| 99热亚洲精品66| AA片在线观看视频在线播放| AV电影在线播放| 伊人9在线| 天天日夜夜拍| 丁香涩涩爱| 极品色丁香| 免费看欧美成人A片无码| 黄色99热| 91大神操美女| 这里只有精品99视频| 五月天伊人日日噜影片AV| 久久精品4| 天干干夜夜操| 丁香婷婷成年| 五月天婷婷视频小说| 这里只有精品在线观看视频| 2025神马午夜福利| 日韩99色99| 丁J香六月首页| 久久婷婷综合基地| 日韩久久这里只有精品| 99欧美| 亚洲天堂aaa| 色婷婷激情视频| 色色色色av色色色色| 涩综合网| www五月天激情com| 色综合色五月| 欧美性猛交XXXX乱大交极品| 在线观看中文字幕亚洲| 丁香五月天啪啪激情综和网 | www。五月天。com| 91精品电影18T| 色情五月丁香| 欧美一级a| 五月婷婷天| 另类小说激情五月天| 色婷天天| 久久婷婷五月综合色和| 热久91| 六月激情网| 99激情网| 激情综合网五月| 激情婷婷狠狠干| 九色 在线| 婷婷伊人75| 99免费在线视频| 激情伊人网| 蜜臀av粉嫩av懂色av| 狠狠综合网| 人妻AV在线| 99视频日韩| 123草逼网| 激情色播| 嫩草视频在线观看| 久操综合| 久久婷婷草| 操人视频91| 五月丁香色婷婷色| 久久资源网五月婷| 四色综合网| 六月色伊人婷婷| ri电影在线| site:publishdd.com| 九九热精品99| 深爱 五月天| 狠狠色噜噜| 久热无码| 欧美顶级少妇做爰HD| 色婷婷五月色| 成人网在线观看视频| 深爱婷婷网| 这里只有精品在线看| 久久综合久色欧美综合狠狠| 五月天 无码| 思思热久久艹| 538在线精品| 国产精品美女| 国产69久久久欧美黑人A片| 五月丁香婷婷潮喷中文字幕| 天天综合久久| 超碰在线看| 337p午夜影院| 激情综合丁| 中文字幕操比影片| 五月情四婷婷| 婷婷五月综合在线| 久久婷五月综合| 99亚洲综合| 丁香五月色欲| 亚洲精品色| 熟女激情网| 99热成人在线观看| 欧洲色| 九九99免费理论| 丁香六月婷婷社区| 色综合伊人网| 啪啪视频99| 五月婷五月婷伊人伊人五月婷| 任你擦免费视频| 懂色AⅤ| 久久久激情视频| AV中文网| va中文资源在线观看| 天堂久久性| 久久久五月婷婷| 超碰免费在线| 色色五月天丁香婷婷| 人人操大| 丁香婷婷五月基地| 在线超碰免费| 99久视频| 久久综合九九| 五月天激情视频| 99热精品一区| 99精品网址| 五月天另类激情在线| 久 久9 9 热 视 频| 亚洲avjiujiur91| 99热综合网| 婷婷日本色| 五月婷婷在线观看黄| 999精品乱码77777| 中文字幕97超级碰| 久久久com| 婷婷中文字幕版| 久久五月热| 五月色色网| 九九AV在线| 婷婷五月天小说| 久久婷婷操| 婷婷九九| 五月婷在线| 中文不卡av| 襙比视频| 国产美女无遮挡裸体毛片A片| 激情五月天网站| 久久99视频| 亚洲丁香婷婷丁香五月天激情| 五月色天情| 精品九九久久| 日本成人噜噜噜| 日本欧美啪啪| 婷婷六月啪啪| 亚洲久艹| 超碰免费人妻| 在线观看免费狠狠色丁香香综合| 五月丁香亭亭操逼| 色五月婷婷亚洲| 婷婷五月综合社区在线| 综合色久| 丁香五月色| 国产精品在线视频| 99精品国产在热久久| 中美日韩成人在线| 26uuu最新地址| 五月丁香六月激情网| 欧美色色色| 日本婷婷综合精品| 色99久草在线| 亚洲综合五月天| 丁香五月天黄色片| 这里只有精品视频在线| 色综合久久久无码中文字幕999| 色综合香蕉视频| 99色综合| 99热99在线| 成人草榴视频| 丁香久月| 久9综合| 亚洲综合欧美色丁香婷婷888月图片| 久久五月天黄色五月天色网址| 久婷婷视平| 日韩AV免费电影在线播放| 99精品在| 婷婷天天婷婷天天澡| 人人妻人人澡人人爽| 亚洲五月天婷婷在线| 欧美99热| 六月丁香花婷婷| 啪啪综合网| 丁香六月激情综合| 婷婷色导航| 国产美女最新VA在线免费观看| 7777国产盗摄农村女人| 婷婷基地爱| 可以直接看的av网站| 久久中国毛毛片爱久久| 激情综合网五月婷婷| 大香蕉院线| 人人干人人操人人摸| 丁香色五月直播| 欧美色骚婷婷五月天| 月色色综合婷婷网| 九九香蕉网| 婷婷色成人| 99色视频| 九九色99| 99国产性感视频| 久热在线中文字幕色999舞| 激情五月天网站| 婷婷色一二三区波多野结衣| 天天综合色| 综合久久综合五月天婷婷| 九九超日本| 婷婷丁香色五月亚洲| 五月天开心网| 九月丁香| 九九性视频| 亚洲综合久| 久久婷婷色| 五月丁香激情婷婷| 超碰碰碰碰| 黄色网址五月婷婷| caop在线视频| 午夜婷婷五月天在线| 激情五月久久| 日本操逼九九九九58日本操逼| 五月激情综合婷婷| 91丨九色丨43老版熟女| 996er热| 99热| 色婷婷久久综合| 人妻操在线看| 九九色影视| 夜色热久| 激情五月天 婷婷| 五月婷婷六月丁香综合| 男人天堂AV在线一区二区| 99色在线观看视频| 最新激情五月天| 探花搜索结果 - 黄上黄| 九九热九九| 亚洲情a| 婷婷亚洲五| 欧美色碰| 欧美槡BBBB槡BBB少妇| 狠狠撸激情综合丁香五月天俺来啦| 激情综合九| 天天干天天干天天干天天干天天干| 深情六月婷婷综合久久| 超碰在线观看三级片| 久久婷婷六月综合| 五月婷婷中字在线| 亚洲婷婷激情综合激情999精品| 丁香五月综合激情啪啪| 久久婷婷五月国产激情综合片| 国产午夜成人AV在线播放| 色爱终和网| 天天综合亚洲综合网天天αⅴ| 久久小说| 五月久久婷婷成人网| 久久性操| 俺去婷婷 丁香| 欧美成人AAA片一区国产精品 | 激情五月天婷婷播播久久综合91 | 五月天激情美女久久| 婷婷五月天综合久久日| 婷婷五月天情色| 伊人色综在线| 日本在线免费中文com.| 日逼影音先锋AV男人资源站| 日本久热| 五月六月婷| 婷婷丁香五月天在线| 99久久天堂婷婷| 丁香五月狠狠在线观看| 婷婷五月激情图片| 天天爽天天操| 色色色色av色色色色| 六月丁香婷婷视频综合在线观看| 婷婷丁香色五月天| 国产亚洲精品AAAAAAA片 | 五月婷婷97| 亲子乱AV-区二区三区| 中文字幕黄色片| www.五月天婷婷| 丁香五月手机在线| 婷婷激情五月天激情| 亭亭玉立国色天香| 男女99免费视频| 中文字幕综合网| AA久久| 99狠狠| 欧洲S级在线观看| av免费在线网站| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 涩丁香| 五月婷婷啪啪啪啪| 日本V在线观看不卡视频网站| 九九热精品| 九九色色| 亚洲综合无码| 丁香九月久久| 伊人99热| 99色在线观看| 综合色99| 激情五月婷| 夜夜操狠狠操| 熟女人妻一区二区三区免费看| 99re免费精品视频| 九九色影视| 天天色亚洲| 99热在线播放| 五月婷在线| 色五月综合激情网| 99五丁香月| 日韩无码系列| 婷婷射图五月天| 五月丁香啪啪激情| 无码se| 超碰碰碰碰| 五月天婷婷网站| 激情小说之五月| 另类五月激情| 免费视频无码| 激情小说五月天| 久久xx| 六月色丁香婷婷| 五月丁香综合影院| www,久久久| 亚洲丁香五月综合| 婷婷六月激情丁香| 五月婷婷激情视频| 大香蕉99热| 91热爆在线| 婷婷激情六月中文| 99热欧美精品| 五月婷婷无码| 69激情小说| 久久免片| 五月婷婷丁香| 操操碰| 亚洲国产网站| 大香蕉啪啪网| 婷婷成人丁香色情基地30| 成年AAAA色情| 中文字幕乱轮| 欧美综合五月丁香六月婷| 极品另类| 亚洲熟女色| 99热在线精品观看| 香蕉网婷婷| 97九色视频| site:picc-up.com| 婷婷射图五月天| 丁香九月婷| 日本一级淫| 激情综合色婷婷啪啪六月天| 九伊人网| 99rewww| 久久精品视频在这里有| 五月天婷婷在线AN| 99色干| 免费碰碰视频久| 中美月韩免费A片| 五月开心六月婷婷在线播放网站| 久久视频这里都是精品| 五月婷婷黄色| 婷婷五月天亚洲综合网| 婷婷五月天综合色| 九九热中文| 狠狠色丁香乆乆| 丁香伊人网| 婷婷五月天日日日干干干| 99久久久| 天天爽天天日| 丁香97综合| 开心深爱五月天| 九九热在线精品| 丁香五月激情综合| 91成人看片| 五月天夜夜爱夜夜操| 婷婷色五月在线视频| 999久久久国产精品| 伊人久久艹| 91高潮喷水久久久久久久久| 色情五月| 亚洲AV无码久久精品色欲| 九九热经典视频在线观看| 激情六月婷| 日韩成人电影AV| 天堂网啪啪| 久久性爱网站| 欧美色婷婷| 欧洲区自拍| 色高清无码视频| 丁香六月在线| 97艹| 五月丁香六月婷婷a v| 综合网天天| 国产偷人爽久久久久久老妇APP| 久久99免费视频网站| 很很色丁香久久停停| 激情久久 婷婷| 九九亚洲小视频| 99精彩视频| 五月丁香综合成人社区| 欧美五月丁香啪啪响视频| 色五月成人在线| 91精品久久久久久综合五月天| 香蕉视频性爱BB做爱| 婷婷狠狠18禁久久| www.五月天激情| 成人国产欧美大片一区| 影音先锋偷偷色男人站| 五月天婷婷六月激情网| 天堂草在线观看| 最近中文字幕2019视频1| 99超碰人人| 久久激情五月网| 亚洲精品又粗又大又爽A片 | 超碰无码老师| 久久九精品| 97超碰,人人舔,人人操,人人摸| 狠狠99| 夜夜骑夜夜操| 色五月在线综合| 色婷婷丁香五月天激情综合网| 色五月激情网| 婷婷丁香久久网| 九九热99精品在线| 婷婷涩五月| 久久精品凹凸分类| 婷婷国产日本欧美| 99久久婷婷国产综合精品草原| 天天综合天综合久久网| 丁香婷婷六月天| 日韩99视频| 九九色区| 人人干av| 吾爱AV导航| 思思久久99热只有频精品66| 天天日天天舔| 久久er这里只有精品| 看片视频在线免费日产在线看| 99国产精品久久久久久久久久久 | 天天做天天爱天天爽| 日日操夜夜操无码免费| 五月天婷婷影院影院| 婷婷丁香久久| 女性自慰系列第五页| 99操无码视频观看| www.五月婷婷久久.com| 天天干电影| 五月丁香六月婷婷久久肏| 国产成人99久久亚洲综合精品| 六月丁香五月婷婷| 伊人久久婷婷| 欧美成人精品A片免费一区99| 99热超碰| 中国女人做爰A片| 五月丁香婷婷激激激综合网色播| 国产亚洲精品久久久久久牛牛| 久久婷婷色| 国外亚洲成AV人片在线观看| 影音先锋一区二区三区| 九九这里都是精品| 丁香五月九九| 激情五月天偷拍综合网| www.婷婷五月天,com| 伊人网欧美在线男人天堂五月丁香| 强伦轩人妻一区二区电影| 五月综合人妻| 色日本五月天| 超碰在线9| 99re这里| 天天做综合网色综合| 大地9中文在线观看免费高清| 婷婷精品视频| 禁欲电影完整版在线播放| 99re这里只有精品99| 亚洲第一成人无码A片| 综合网啪| 天天射综合网站| 日本久热| 五月婷色| 婷婷丁香激情五月天色色| 久久精品99| 天天日人人爽| 97婷婷丁香五月天激情图片| 丁香六月婷婷综合啪啪| 色色网站日本91| 色五月欧美| 丁香五月婷婷呀| 色吊丝99| 黄网在线免费观看| 人妻videos人妻高清| 国产人妻人伦精品一区二区|