欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Faster R-CNN與Visual Genome區(qū)域注意特征實(shí)踐

Faster R-CNN與Visual Genome區(qū)域注意特征實(shí)踐 簡介這份代碼包實(shí)現(xiàn)基于Faster R-CNNResNet-101的自下而上注意力模型面向圖像字幕與視覺問答VQA方向的研究者和開發(fā)者用以解決傳統(tǒng)CNN網(wǎng)格特征難以聚焦顯著物體區(qū)域的問題。模型借助Visual Genome的物體與屬性標(biāo)注進(jìn)行多GPU訓(xùn)練預(yù)訓(xùn)練權(quán)重可直接輸出顯著圖像區(qū)域的特征替代注意力式字幕與VQA模型中的CNN特征論文據(jù)此取得CIDEr 117.9、BLEU_4 36.9與70.3%的VQA總體準(zhǔn)確率。壓縮包共981個文件、約14.27MB以C源碼、Caffe網(wǎng)絡(luò)配置prototxt、Python腳本、CUDA核與Shell腳本為主另含Jupyter Notebook示例、Markdown說明及預(yù)訓(xùn)練權(quán)重覆蓋數(shù)據(jù)準(zhǔn)備、訓(xùn)練配置到特征提取各環(huán)節(jié)。已有753人學(xué)習(xí)讀者可獲得完整的Faster R-CNN訓(xùn)練流水線、顯著區(qū)域特征提取腳本與示例配置便于在自有數(shù)據(jù)上復(fù)現(xiàn)自下而上注意力特征并接入下游字幕或VQA模型。1. 從“整圖特征總差點(diǎn)意思”說起Faster R-CNN 加 Visual Genome 的自下而上注意模型能解決什么很多人第一次把 Faster R-CNN 的區(qū)域特征接到圖像字幕和 VQA 任務(wù)上都會遇到一個反直覺結(jié)果整圖池化看起來也能跑但一換到小目標(biāo)、遮擋和屬性問答就露餡。這套資源圍繞 Visual Genome 的區(qū)域標(biāo)注訓(xùn)練自下而上注意模型用 Caffe 做檢測與特征抽取再把區(qū)域特征送進(jìn) image captioning 和 visual question answering 分支MSCOCO 圖像常被拿來跑端到端驗(yàn)證Jupyter Notebook 負(fù)責(zé)把抽特征、訓(xùn)練和推理串成可復(fù)現(xiàn)的實(shí)驗(yàn)記錄。它適合已經(jīng)跑過基礎(chǔ) CNN 文本模型、想弄明白區(qū)域級注意到底怎么落地的人也適合需要一套可改參數(shù)、可看中間產(chǎn)物的工程樣本來排查指標(biāo)不漲的原因。2. 資源拆解與運(yùn)行底座Caffe、Faster R-CNN 與 Visual Genome 標(biāo)注怎么對齊2.1 這套資源由哪幾塊拼起來檢測器、特征、詞表與 Notebook這套資源不是單一模型文件而是“檢測器 區(qū)域特征 任務(wù)頭 實(shí)驗(yàn)記錄”的組合。Faster R-CNN 負(fù)責(zé)在圖像上產(chǎn)生候選框Visual Genome 的區(qū)域描述和屬性標(biāo)注讓候選框不只是物體框還能承載“什么顏色、什么動作、什么關(guān)系”這類語義VQA 和 image captioning 任務(wù)頭再消費(fèi)這些區(qū)域特征。Caffe 在這里的角色偏工程底座檢測網(wǎng)絡(luò)配置、權(quán)重加載和前向推理都圍繞它展開所以環(huán)境沒對齊時后面訓(xùn)練任務(wù)頭再花哨也沒有意義。Jupyter Notebook 則把抽特征、訓(xùn)練、推理切成可觀察的單元格適合調(diào)參和排查中間產(chǎn)物。模塊職責(zé)輸入輸出常見誤用Faster R-CNN 檢測器產(chǎn)生候選區(qū)域并做 ROI 特征原始圖像、檢測配置、權(quán)重區(qū)域框、分?jǐn)?shù)、區(qū)域特征直接把整圖特征當(dāng)區(qū)域特征用Visual Genome 標(biāo)注適配對齊區(qū)域描述、屬性與圖像區(qū)域標(biāo)注文件、圖像 ID區(qū)域語義標(biāo)簽、屬性表圖像 ID 與標(biāo)注 ID 沒統(tǒng)一VQA 任務(wù)頭問題編碼與區(qū)域注意分類問題詞表、區(qū)域特征、答案詞表答案分?jǐn)?shù)答案未歸一化就進(jìn)詞表圖像字幕任務(wù)頭區(qū)域特征解碼成句子區(qū)域特征、字幕詞表字幕序列時間步和區(qū)域數(shù)錯位Jupyter Notebook串聯(lián)抽特征、訓(xùn)練、推理配置、緩存、小樣本可復(fù)現(xiàn)實(shí)驗(yàn)記錄單元格亂序執(zhí)行后不回看我一般先驗(yàn)證檢測器輸出再碰任務(wù)頭。做法是抽 20 到 50 張圖打印每張圖的候選框數(shù)量、分?jǐn)?shù)分布和特征范數(shù)如果框數(shù)普遍為 0或者特征范數(shù)全是 0先別懷疑注意模塊回到檢測閾值和預(yù)處理查。這個順序能省掉大量“訓(xùn)練不漲”的假排查。資源里的 Notebook 適合當(dāng)實(shí)驗(yàn)記錄但不適合當(dāng)黑匣子每個單元格的輸入輸出要能對上否則換一臺機(jī)器就會翻車。2.2 環(huán)境與目錄約定Caffe 編譯、Python 依賴和權(quán)重放置Caffe 環(huán)境最容易出問題的地方不是編譯命令本身而是 Python 解釋器和依賴路徑混用。我的習(xí)慣是給這套資源單獨(dú)建一個工作目錄把檢測配置、權(quán)重、數(shù)據(jù)軟鏈接、輸出特征和 Notebook 分開放編譯 Caffe 時只把當(dāng)前環(huán)境需要的 Python 路徑寫進(jìn)配置不把系統(tǒng)里多個 Python 混在一起。下面這段腳本是目錄初始化和編譯前的檢查思路不是唯一寫法重點(diǎn)是每一步都能單獨(dú)驗(yàn)證。# 工作目錄按“配置、權(quán)重、數(shù)據(jù)、輸出、代碼”分開避免路徑互相污染 mkdir -p /workspace/region-attn/{configs,weights,data,outputs,notebooks} # 先確認(rèn)當(dāng)前 shell 的 python 和 pip 指向同一套環(huán)境 which python python -c import sys; print(sys.executable) # 進(jìn)入 Caffe 源碼目錄后按機(jī)器情況改 Makefile.config # 關(guān)鍵項(xiàng)CPU_ONLY、BLAS、PYTHON_INCLUDE、PYTHON_LIB、USE_OPENCV cd /workspace/region-attn/caffe make clean make -j$(nproc) make pycaffe # 把 pycaffe 加進(jìn)當(dāng)前環(huán)境的搜索路徑不要寫死到系統(tǒng)全局 export PYTHONPATH/workspace/region-attn/caffe/python:$PYTHONPATH python -c import caffe; print(caffe.__file__)這段腳本的邏輯說明先建目錄是為了讓后面所有路徑都有明確歸屬which python和sys.executable用來確認(rèn)解釋器一致避免編譯時用了一個 Python、運(yùn)行時又用另一個make pycaffe只編譯 Python 接口失敗時先看Makefile.config里的 Python 頭文件和庫路徑PYTHONPATH只對當(dāng)前 shell 生效適合臨時驗(yàn)證。參數(shù)上CPU_ONLY只在沒有可用 GPU 或只想驗(yàn)證流程時打開打開后特征抽取會慢很多USE_OPENCV和 BLAS 的選擇按機(jī)器實(shí)際庫來不要照抄別人的配置。權(quán)重放置也要有約定檢測權(quán)重放weights/配置文件放configs/數(shù)據(jù)用軟鏈接指向data/輸出統(tǒng)一落outputs/。這樣 Notebook 里只寫相對outputs/的路徑換機(jī)器時改一個根目錄即可。提示先跑單張圖的前向確認(rèn)caffe能導(dǎo)入、權(quán)重能加載、輸出 blob 名稱對得上再批量抽特征。2.3 數(shù)據(jù)契約MSCOCO 圖像、Visual Genome 屬性與 VQA 問答的字段映射數(shù)據(jù)契約沒定好后面所有指標(biāo)都不可信。MSCOCO 圖像通常用image_id關(guān)聯(lián)字幕和 VQA 問答Visual Genome 的區(qū)域標(biāo)注則有自己的圖像 ID 和區(qū)域 ID這兩套 ID 不能靠文件名猜必須有顯式映射表。VQA 分支還要把問題、答案、圖像 ID 綁在一起答案要做小寫、去標(biāo)點(diǎn)、數(shù)字歸一化否則同一個答案會裂成多個類別。下面這段代碼是一個最小映射骨架重點(diǎn)是先把字段關(guān)系跑通再談模型結(jié)構(gòu)。import json import re from collections import Counter # 答案歸一化小寫、去首尾空白、壓縮標(biāo)點(diǎn)數(shù)字單獨(dú)處理 def norm_answer(text): text text.lower().strip() text re.sub(r[^\w\s], , text) text re.sub(r\s, , text) return text # 讀取 VQA 標(biāo)注構(gòu)建 image_id - 問答列表 with open(data/vqa_annotations.json, r, encodingutf-8) as f: vqa json.load(f) # 讀取圖像 ID 映射外部 ID 到本地文件名不要假設(shè)文件名就是 ID with open(data/image_id_map.json, r, encodingutf-8) as f: id_map json.load(f) answer_counter Counter() samples [] for item in vqa[annotations]: image_key str(item[image_id]) if image_key not in id_map: continue answers [norm_answer(a[answer]) for a in item[answers]] answer_counter.update(answers) samples.append({ image_path: id_map[image_key], question: item[question].strip(), answers: answers, }) # 只保留出現(xiàn)次數(shù)達(dá)到閾值的答案低頻答案歸入占位類 min_freq 5 vocab {a for a, c in answer_counter.items() if c min_freq} for s in samples: s[answer_label] next((a for a in s[answers] if a in vocab), __unk__) print(samples:, len(samples), answers:, len(vocab)) print(samples[0])邏輯說明norm_answer把答案統(tǒng)一成可比較形式避免“Yes”“yes”“yes.”被當(dāng)成三類image_id_map是外部 ID 到本地路徑的橋缺了它就會出現(xiàn)“標(biāo)注有、圖像找不到”的靜默丟樣本min_freq控制答案詞表大小太小會引入大量低頻類太大會把有效答案壓進(jìn)__unk__。參數(shù)上min_freq可以從 5 到 10 之間試具體看數(shù)據(jù)規(guī)模問題長度和答案長度要在詞表構(gòu)建時統(tǒng)計分布不要拍腦袋截斷。字段映射建議固定成一張表image_id對圖像question_id對問答region_id對區(qū)域answer對歸一化答案attribute對 Visual Genome 屬性。每次換數(shù)據(jù)先跑一遍空值、重復(fù) ID 和缺失圖像檢查這比后面調(diào)學(xué)習(xí)率有用得多。3. 從候選框到區(qū)域特征用 Faster R-CNN 抽取自下而上注意特征的參數(shù)與落盤3.1 為什么不用整圖池化區(qū)域級特征的選型理由與參數(shù)邊界整圖池化把一張圖壓成一個向量優(yōu)點(diǎn)是簡單缺點(diǎn)是所有區(qū)域共享同一份表示遇到“左邊那只貓是什么顏色”這種問題時模型只能靠問題文本硬猜。自下而上注意的不同點(diǎn)在于候選區(qū)域來自檢測器的目標(biāo)性不是任務(wù)頭自己學(xué)出來的軟注意力Faster R-CNN 的 RPN 先給出可能包含物體的框再對每個框做 ROI 池化得到一組區(qū)域特征。VQA 和 image captioning 任務(wù)頭再在這組特征上做選擇。這個結(jié)構(gòu)適合區(qū)域級語義明顯的場景但不適合把所有希望都壓在“區(qū)域數(shù)越多越好”上框太多會引入背景噪聲框太少會漏小目標(biāo)。參數(shù)常見范圍作用調(diào)大后的風(fēng)險score_thresh0.2 到 0.5過濾低分候選框框太少小目標(biāo)被漏掉nms_thresh0.3 到 0.5抑制重疊框閾值過高會留下重復(fù)區(qū)域max_regions10 到 50控制每圖區(qū)域數(shù)顯存和后續(xù)注意計算量上升min_box_size8 到 32 像素過濾過小框小目標(biāo)召回下降特征維度按檢測器輸出ROI 池化后的通道數(shù)維度不匹配會直接報錯選型理由要落到任務(wù)上VQA 需要區(qū)域和問題的交互圖像字幕需要區(qū)域序列解碼二者都吃“區(qū)域質(zhì)量”。我一般先把score_thresh設(shè)得稍低保證召回再用nms_thresh和max_regions控制數(shù)量如果任務(wù)頭顯存吃緊優(yōu)先降max_regions不要一上來砍特征維度。特征維度必須和任務(wù)頭輸入層一致改檢測器輸出通道后要同步改任務(wù)頭否則訓(xùn)練時會在第一個全連接層報形狀錯誤。3.2 特征抽取腳本配置文件、閾值、NMS 與輸出格式特征抽取腳本的核心不是“調(diào)一次前向”而是把預(yù)處理、候選框過濾、NMS 和輸出鍵名固定下來。下面是一個 Caffe 前向的骨架寫法具體 blob 名稱要按資源里的檢測配置調(diào)整不要直接照抄 blob 名先在單張圖上打印net.blobs.keys()和輸出形狀。import numpy as np import caffe import cv2 # 檢測配置和權(quán)重按資源包實(shí)際路徑填寫 net caffe.Net(configs/detector.prototxt, weights/detector.caffemodel, caffe.TEST) # 常見預(yù)處理減均值、通道順序按訓(xùn)練配置來別把 BGR/RGB 弄反 mean np.array([104.0, 117.0, 123.0], dtypenp.float32) def preprocess(img_path, target_size600): img cv2.imread(img_path) h, w img.shape[:2] scale target_size / max(h, w) img cv2.resize(img, (int(w * scale), int(h * scale))) img img.astype(np.float32) - mean img img.transpose(2, 0, 1) # HWC - CHW return img[None, :, :, :] def nms(boxes, scores, thresh0.4): # 簡化版 NMS按分?jǐn)?shù)排序后依次抑制重疊框 order scores.argsort()[::-1] keep [] while order.size 0: i order[0] keep.append(i) xx1 np.maximum(boxes[i, 0], boxes[order[1:], 0]) yy1 np.maximum(boxes[i, 1], boxes[order[1:], 1]) xx2 np.minimum(boxes[i, 2], boxes[order[1:], 2]) yy2 np.minimum(boxes[i, 3], boxes[order[1:], 3]) w np.maximum(0.0, xx2 - xx1) h np.maximum(0.0, yy2 - yy1) iou w * h / ( (boxes[i, 2] - boxes[i, 0]) * (boxes[i, 3] - boxes[i, 1]) (boxes[order[1:], 2] - boxes[order[1:], 0]) * (boxes[order[1:], 3] - boxes[order[1:], 1]) - w * h 1e-6 ) order order[1:][iou thresh] return keep def extract_one(img_path, score_thresh0.3, nms_thresh0.4, max_regions30): blob preprocess(img_path) net.blobs[data].reshape(1, *blob.shape[1:]) net.blobs[data].data[...] blob net.forward() # 這里的 blob 名要按檢測配置替換先打印 net.blobs.keys() 確認(rèn) boxes net.blobs[rois].data.copy() scores net.blobs[scores].data.copy().reshape(-1) feats net.blobs[pool5].data.copy() keep np.where(scores score_thresh)[0] keep keep[nms(boxes[keep], scores[keep], nms_thresh)][:max_regions] return boxes[keep], scores[keep], feats[keep] boxes, scores, feats extract_one(data/sample.jpg) print(boxes.shape, scores.shape, feats.shape)邏輯說明preprocess里的均值和通道順序必須和檢測器訓(xùn)練時一致BGR/RGB 弄反是典型“特征看起來有值但指標(biāo)不漲”的原因nms用來壓掉同一物體的重復(fù)框nms_thresh越小抑制越強(qiáng)extract_one先按score_thresh過濾再 NMS最后截斷到max_regions。參數(shù)上target_size影響小目標(biāo)召回和顯存圖像長邊太小會漏小物體太大則單圖前向變慢max_regions要和任務(wù)頭的區(qū)域位置編碼或注意層容量匹配。代碼里故意保留了“blob 名要確認(rèn)”的注釋因?yàn)椴煌瑱z測配置的輸出層命名不完全一樣直接照抄很容易拿到空數(shù)組。抽完一張圖后先打印框數(shù)和分?jǐn)?shù)分布再批量跑。3.3 特征落盤與校驗(yàn)HDF5/TSV 的組織、維度與抽樣檢查區(qū)域特征落盤要有穩(wěn)定鍵名和可校驗(yàn)的維度。常見做法是按圖像 ID 建 HDF5 數(shù)據(jù)集每個數(shù)據(jù)集存boxes、scores、features三個數(shù)組如果后續(xù)要按區(qū)域做檢索再額外落一份 TSV 記錄圖像 ID、區(qū)域序號和分?jǐn)?shù)。鍵名統(tǒng)一用補(bǔ)零后的字符串或整數(shù)別一邊用000123、一邊用123。下面這段校驗(yàn)代碼適合放在抽特征之后先跑小樣本再全量。import h5py import numpy as np def save_region_features(path, image_id, boxes, scores, feats): # 統(tǒng)一鍵名格式避免 HDF5 里同時出現(xiàn) 123 和 000123 key str(image_id).zfill(6) with h5py.File(path, a) as f: if key in f: del f[key] grp f.create_group(key) grp.create_dataset(boxes, databoxes.astype(np.float32)) grp.create_dataset(scores, datascores.astype(np.float32)) grp.create_dataset(features, datafeats.astype(np.float32)) def check_h5(path, sample_n20): with h5py.File(path, r) as f: keys list(f.keys())[:sample_n] for k in keys: feats f[k][features][:] boxes f[k][boxes][:] zero_ratio float((np.abs(feats).sum(axis1) 0).mean()) print(k, regions:, feats.shape[0], dim:, feats.shape[1], zero_ratio:, round(zero_ratio, 3), boxes:, boxes.shape) check_h5(outputs/region_features.h5)邏輯說明save_region_features用補(bǔ)零鍵名統(tǒng)一格式重復(fù)寫入時先刪舊組避免調(diào)試時讀到上一次的臟數(shù)據(jù)check_h5抽樣看區(qū)域數(shù)、特征維度和全零比例zero_ratio高通常意味著候選框沒取到、預(yù)處理出錯或 ROI 層輸入不對。參數(shù)上sample_n不用太大20 到 50 個鍵就能看出問題如果特征維度在不同圖像之間不一致先查max_regions截斷邏輯和 ROI 池化輸出不要直接進(jìn)訓(xùn)練。落盤路徑建議按數(shù)據(jù)切分分文件例如訓(xùn)練集和驗(yàn)證集各一個 HDF5避免一個文件過大后隨機(jī)讀變慢。4. 把區(qū)域特征接到 VQA 與圖像字幕訓(xùn)練、推理與 Jupyter Notebook 工作流4.1 VQA 分支問題編碼、區(qū)域注意與答案詞表VQA 分支不是把問題向量和圖像向量拼起來就完事。常見做法是先用 LSTM 或 GRU 編碼問題得到每個時間步的隱狀態(tài)再用區(qū)域特征和問題向量算注意分?jǐn)?shù)對 K 個區(qū)域做 softmax 加權(quán)最后把加權(quán)區(qū)域向量和問題向量送進(jìn)分類層預(yù)測答案。這里的區(qū)域注意是任務(wù)頭自己學(xué)的軟注意和檢測器產(chǎn)生的“自下而上”候選區(qū)域是兩層概念前者決定看哪些區(qū)域后者決定有哪些區(qū)域可選。答案詞表要在訓(xùn)練前固定低頻答案歸入__unk__評估時對歸一化后的答案做匹配。import torch import torch.nn as nn class VQANet(nn.Module): def __init__(self, vocab_size, region_dim2048, hidden_dim512, num_answers1000): super().__init__() self.embed nn.Embedding(vocab_size, 300) self.question_encoder nn.LSTM(300, hidden_dim, batch_firstTrue) self.region_proj nn.Linear(region_dim, hidden_dim) self.attn nn.Linear(hidden_dim, 1) self.classifier nn.Linear(hidden_dim * 2, num_answers) def forward(self, question_ids, region_feats, region_maskNone): # question_ids: [B, L], region_feats: [B, K, D] q self.embed(question_ids) _, (h, _) self.question_encoder(q) q_vec h[-1] # [B, H] r self.region_proj(region_feats) # [B, K, H] score self.attn(torch.tanh(r q_vec.unsqueeze(1))).squeeze(-1) # [B, K] if region_mask is not None: score score.masked_fill(~region_mask, -1e9) weight torch.softmax(score, dim1) attended (r * weight.unsqueeze(-1)).sum(dim1) # [B, H] logits self.classifier(torch.cat([attended, q_vec], dim1)) return logits邏輯說明question_encoder取最后一個時間步的隱狀態(tài)作為問題向量region_proj把檢測特征投到同一維度attn給每個區(qū)域打分masked_fill用來屏蔽無效區(qū)域classifier接加權(quán)區(qū)域向量和問題向量。參數(shù)上hidden_dim要和區(qū)域特征維度解耦區(qū)域維度大時先投影再注意num_answers由答案詞表決定不要訓(xùn)練中途改region_mask在變長區(qū)域數(shù)時很重要沒有它會把補(bǔ)齊的零區(qū)域也算進(jìn) softmax。訓(xùn)練時先用小學(xué)習(xí)率跑通一個 batch確認(rèn) logits 形狀和標(biāo)簽范圍對得上再開全量。4.2 圖像字幕分支解碼器輸入、時間步對齊與 beam search圖像字幕分支的常見結(jié)構(gòu)是“區(qū)域特征編碼 文本解碼”。解碼器每個時間步輸入上一個詞和區(qū)域上下文輸出下一個詞分布。時間步對齊最容易出錯的地方是訓(xùn)練和推理不一致訓(xùn)練用 teacher forcing喂真實(shí)上一個詞推理用模型自己生成的上一個詞如果位置編碼或起始符沒對齊就會生成重復(fù)詞或空序列。區(qū)域特征可以取平均也可以做注意加權(quán)我一般先用平均池化跑通基線再換注意池化看提升。def beam_search(model, region_feats, start_id, end_id, vocab_size, beam_size3, max_len30, length_penalty0.7): # region_feats: [1, K, D]這里只演示單圖解碼流程 beams [([start_id], 0.0)] for _ in range(max_len): candidates [] for seq, score in beams: if seq[-1] end_id: candidates.append((seq, score)) continue logits model.decode_step(region_feats, seq) # [vocab_size] log_probs torch.log_softmax(logits, dim-1) topk torch.topk(log_probs, beam_size) for logp, token in zip(topk.values.tolist(), topk.indices.tolist()): candidates.append((seq [token], score logp)) # 按長度歸一化后的分?jǐn)?shù)排序避免長句被系統(tǒng)性壓低 candidates.sort(keylambda x: x[1] / (len(x[0]) ** length_penalty), reverseTrue) beams candidates[:beam_size] return beams[0][0]邏輯說明beam_search保留beam_size條候選序列每一步對每條序列取 top-k 詞擴(kuò)展length_penalty用來平衡長句和短句分?jǐn)?shù)取值小于 1 時更鼓勵長句max_len防止無限生成。參數(shù)上beam_size從 3 到 5 比較常見太大推理變慢length_penalty在 0.6 到 1.0 之間試字幕任務(wù)里太大會生成啰嗦句子。訓(xùn)練時decode_step的輸入序列要包含起始符推理時不要把真實(shí)字幕混進(jìn)去否則離線指標(biāo)會虛高。4.3 Jupyter Notebook 的執(zhí)行順序與中間產(chǎn)物緩存Notebook 的風(fēng)險是“看起來能跑”實(shí)際單元格順序已經(jīng)亂了。我的習(xí)慣是把抽特征、構(gòu)建詞表、訓(xùn)練、推理分成四個固定段落每段開頭檢查輸入文件是否存在輸出寫到帶時間戳或參數(shù)名的目錄。批量執(zhí)行用nbconvert不要靠手動點(diǎn)“全部運(yùn)行”來保證可復(fù)現(xiàn)如果 Notebook 里有大模型或大特征先清緩存再執(zhí)行避免讀到上一次的中間產(chǎn)物。# 用參數(shù)化方式執(zhí)行 Notebook輸出到獨(dú)立目錄避免覆蓋上一次結(jié)果 jupyter nbconvert --to notebook --execute notebooks/pipeline.ipynb \ --output outputs/run_001/pipeline_executed.ipynb \ --ExecutePreprocessor.timeout1800邏輯說明--execute會從頭執(zhí)行所有單元格能暴露單元格順序問題--output把執(zhí)行后的 Notebook 單獨(dú)落盤方便對比中間產(chǎn)物timeout按特征抽取或訓(xùn)練規(guī)模調(diào)整。參數(shù)上run_001這種目錄名要能對應(yīng)到配置不要用“最終版”這類不可回溯的命名。Notebook 里讀取路徑盡量用絕對路徑或從環(huán)境變量取根目錄相對路徑在本機(jī)沒問題換目錄執(zhí)行就會報找不到文件。每次改完單元格順序先重啟內(nèi)核再全量執(zhí)行一次這個動作能擋掉很多“結(jié)果不一致”的假問題。5. 避坑與排查特征、路徑、顯存和指標(biāo)的四類翻車現(xiàn)場5.1 特征全零或維度錯位從候選框閾值到 HDF5 鍵名現(xiàn)象抽完特征用腳本檢查發(fā)現(xiàn)某些圖像的區(qū)域特征全零或者訓(xùn)練時報features維度不匹配更隱蔽的是 HDF5 里能讀到鍵但鍵對應(yīng)的圖像 ID 和標(biāo)注對不上。原因常見有三類。第一score_thresh設(shè)得過高單圖沒有任何候選框通過過濾后續(xù)數(shù)組變成空第二預(yù)處理通道順序或均值不對檢測器輸出分?jǐn)?shù)整體偏低看起來像“模型不行”第三HDF5 鍵名一邊補(bǔ)零一邊不補(bǔ)零訓(xùn)練時按123取落盤時存成000123取不到就返回空數(shù)組。維度錯位多半是改了檢測器輸出通道或max_regions截斷邏輯任務(wù)頭輸入層沒同步。解決先在單圖上打印候選框數(shù)量、分?jǐn)?shù)最大值和特征范數(shù)不要批量跑完再猜。把score_thresh臨時降到 0.1 看框數(shù)是否恢復(fù)恢復(fù)說明閾值問題不恢復(fù)就查預(yù)處理和 blob 名。HDF5 鍵名統(tǒng)一用同一個函數(shù)生成讀寫都走它不要手寫字符串。任務(wù)頭輸入維度從配置文件讀不在代碼里寫死。下面這段檢查腳本可以放在抽特征之后。import h5py import numpy as np with h5py.File(outputs/region_features.h5, r) as f: bad [] for k in list(f.keys())[:100]: feats f[k][features][:] if feats.size 0 or np.abs(feats).sum() 0: bad.append((k, empty_or_zero)) elif feats.ndim ! 2: bad.append((k, bad_ndim)) print(bad samples:, bad[:10], count:, len(bad))這段腳本只做粗篩empty_or_zero指向候選框或特征寫入問題bad_ndim指向形狀問題。參數(shù)上抽樣 100 個鍵足夠發(fā)現(xiàn)系統(tǒng)性問題如果壞樣本集中在某個圖像 ID 段優(yōu)先查那批圖像的路徑和后綴。5.2 Caffe 環(huán)境與 GPU 顯存編譯、driver 與 batch 的連鎖反應(yīng)現(xiàn)象import caffe報找不到模塊或者前向跑到一半顯存溢出有時同一臺機(jī)器昨天能跑今天換了個 shell 就導(dǎo)入失敗。原因PYTHONPATH只在當(dāng)前 shell 生效換終端后失效編譯時用的 Python 和運(yùn)行時不是同一個解釋器CPU_ONLY配置和實(shí)際運(yùn)行模式不一致GPU 顯存被其他進(jìn)程占用或者單圖輸入尺寸、max_regions太大。Caffe 的報錯有時不夠直白導(dǎo)入失敗和顯存溢出容易被混為一談。解決按“導(dǎo)入、加載權(quán)重、單圖前向、批量前向”四層驗(yàn)證。導(dǎo)入失敗先看sys.path和caffe.__file__加載權(quán)重失敗看配置文件里的層名和權(quán)重是否匹配單圖前向失敗看輸入 blob 形狀批量才溢出就降 batch 或max_regions。顯存問題先用nvidia-smi看占用不要盲目重啟。我的血淚經(jīng)驗(yàn)是不要把PYTHONPATH寫進(jìn) Notebook 的第一個單元格就以為萬事大吉換內(nèi)核后要重新確認(rèn)。# 分層驗(yàn)證導(dǎo)入、路徑、單圖前向 python -c import caffe, sys; print(sys.executable); print(caffe.__file__) python -c import caffe; netcaffe.Net(configs/detector.prototxt,weights/detector.caffemodel,caffe.TEST); print(list(net.blobs.keys())[:5])參數(shù)上單圖驗(yàn)證時把輸入長邊調(diào)小、max_regions調(diào)低先確認(rèn)流程能走通再逐步放大到正式配置。不要用“能導(dǎo)入”代替“能前向”這兩步失敗原因完全不同。5.3 Notebook 狀態(tài)與路徑污染內(nèi)核重啟、相對路徑與緩存現(xiàn)象Notebook 里同樣的代碼第一次跑正常改了一個參數(shù)再跑結(jié)果對不上換目錄執(zhí)行時報文件找不到訓(xùn)練 loss 曲線和上次幾乎一樣懷疑模型沒更新。原因單元格亂序執(zhí)行變量還停留在舊狀態(tài)相對路徑依賴當(dāng)前工作目錄nbconvert和手動執(zhí)行的 cwd 可能不同中間特征或詞表緩存沒有按參數(shù)區(qū)分新實(shí)驗(yàn)讀到了舊文件。Notebook 的“全部運(yùn)行”不等于“干凈運(yùn)行”內(nèi)核里的舊變量不會自動清掉。解決每個實(shí)驗(yàn)開始前重啟內(nèi)核輸出目錄帶參數(shù)指紋讀寫路徑統(tǒng)一從環(huán)境變量或配置根目錄拼不在單元格里寫../data。批量執(zhí)行用nbconvert執(zhí)行后檢查輸出 Notebook 里的關(guān)鍵打印。緩存文件按score_thresh、max_regions、數(shù)據(jù)切分命名參數(shù)變了就換目錄。下面是一個路徑約定示例。import os from pathlib import Path ROOT Path(os.environ.get(REGION_ATTN_ROOT, /workspace/region-attn)) RUN_NAME vqa_k30_nms04_s03 OUT ROOT / outputs / RUN_NAME OUT.mkdir(parentsTrue, exist_okTrue) feature_path OUT / region_features.h5 print(feature_path:, feature_path)這段代碼把根目錄和運(yùn)行名分開RUN_NAME里帶上關(guān)鍵參數(shù)換參數(shù)就不會覆蓋舊結(jié)果。參數(shù)上REGION_ATTN_ROOT適合在本地和遠(yuǎn)程環(huán)境切換RUN_NAME不要用日期單獨(dú)命名要能看出區(qū)域數(shù)和閾值。5.4 指標(biāo)不漲的假象答案歸一化、詞表覆蓋與評估切分現(xiàn)象訓(xùn)練 loss 在降但 VQA 準(zhǔn)確率幾乎不動圖像字幕的 BLEU 或 CIDEr 看起來隨機(jī)波動換個隨機(jī)種子結(jié)果差很多。原因答案沒有歸一化yes、Yes、yes.被當(dāng)成不同類模型學(xué)到的是噪聲答案詞表覆蓋太低大量樣本落到__unk__準(zhǔn)確率自然上不去評估切分和訓(xùn)練切分有重疊或者評估時用了訓(xùn)練集詞表之外的答案映射字幕評估沒有固定解碼參數(shù)beam size 和長度懲罰一變指標(biāo)就漂。解決先統(tǒng)計答案頻次和詞表覆蓋率再看混淆矩陣。答案歸一化放在構(gòu)建詞表之前不要在評估時臨時改min_freq調(diào)大后觀察__unk__比例比例過高就降閾值或做答案聚類。評估切分固定成文件不要每次隨機(jī)切。字幕評估固定 beam size、max length 和 length penalty記錄在實(shí)驗(yàn)配置里。指標(biāo)不漲時先跑一個極小樣本過擬合如果小樣本都過擬合不了問題在數(shù)據(jù)管道或標(biāo)簽對齊不在模型容量。from collections import Counter answers [yes, Yes, yes., no, no, two, 2] norm [a.lower().strip().rstrip(.) for a in answers] counter Counter(norm) coverage sum(c for a, c in counter.items() if c 2) / len(norm) print(counter, coverage:, coverage)這段腳本只演示歸一化和覆蓋率計算coverage低說明低頻答案占比高需要調(diào)整詞表策略。參數(shù)上min_freq不要只看訓(xùn)練集驗(yàn)證集里出現(xiàn)但訓(xùn)練集沒有的答案要?dú)w入__unk__否則評估會泄漏。6. 進(jìn)階驗(yàn)證把區(qū)域數(shù)量、NMS 閾值與注意可視化做成可回滾實(shí)驗(yàn)6.1 三組參數(shù)的可回滾掃描區(qū)域數(shù)K、NMS 閾值和score_thresh是這套資源里最值得做小樣本掃描的三個參數(shù)。不要一上來全量訓(xùn)練先固定其他變量用 200 到 500 張圖跑三組配置觀察候選框數(shù)量分布、特征全零比例和任務(wù)頭小樣本過擬合能力。每組配置輸出到獨(dú)立目錄指標(biāo)和中間產(chǎn)物都能回滾。實(shí)驗(yàn)max_regionsnms_threshscore_thresh觀察點(diǎn)回滾條件A200.40.3框數(shù)是否夠小目標(biāo)小目標(biāo)漏檢明顯B300.50.2召回與噪聲平衡重復(fù)框過多、顯存漲C500.40.3任務(wù)頭上限訓(xùn)練變慢但指標(biāo)不漲掃描時固定隨機(jī)種子和數(shù)據(jù)切分記錄每組的驗(yàn)證指標(biāo)和單圖推理耗時。如果 B 組指標(biāo)最好但顯存吃緊優(yōu)先降K而不是砍特征維度如果 C 組沒有提升說明任務(wù)頭對區(qū)域數(shù)不敏感回到注意層結(jié)構(gòu)查。6.2 注意可視化與抽樣驗(yàn)證注意權(quán)重是排查“模型到底看哪”的直接手段。取一個驗(yàn)證樣本打印 top-5 區(qū)域的坐標(biāo)、分?jǐn)?shù)和注意權(quán)重和原圖對照如果權(quán)重集中在背景框先查候選框質(zhì)量和score_thresh不要急著改注意層。我一般會把可視化結(jié)果和特征文件一起落盤方便下次對比。# 假設(shè) weight 是 [K] 的注意權(quán)重boxes 是 [K, 4] topk weight.argsort(descendingTrue)[:5] for idx in topk.tolist(): print(box:, boxes[idx].tolist(), score:, float(scores[idx]), attn:, float(weight[idx]))這段代碼只打印 top-5參數(shù)上不需要畫圖也能判斷注意是否合理如果 top 區(qū)域全是邊緣框回到檢測閾值和 NMS。我后來每次接類似任務(wù)都先把K、NMS 閾值和score_thresh做成命令行參數(shù)跑三組小樣本再決定是否全量訓(xùn)練這套習(xí)慣讓我少返工很多次。如果你手上正好有這套資源先按第 3 章抽一小批特征再對照注意權(quán)重看區(qū)域質(zhì)量別直接沖全量訓(xùn)練。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99热网站| 噜噜噜噜婷婷五月天| 五月丁香成人小说| 一本到不卡高清DVD| 亚洲第一综合| 婷婷五月丁香六月| 五月丁香少妇| 国外亚洲成AV人片在线观看| 狠狠干狠狠色| 亚洲第一成人无码A片| 国精产品一区二区三区| txt五月激情四射网综合俺也来了 五月天婷婷丁香人人操91 | 妇激情基地| 婷婷伊人五月丁香天堂网| 99热免费精品| 激情婷婷久久| 99riAV国产精品视频| 五月婷婷综合激情| 天天日色情| 大陆极品少妇内射AAAAAA| 九色视频91| 99热这里只有精品21| 五月婷婷99热| 九九九九毛片| 97久久超碰| 五月婷婷亚洲色视频| 97色色-99久久| 殴美日比视频| 丁香综合婷婷开心激情网| 五月天丁香综合久久国产| 婷婷丁香社区| 丁香五月之久操视频| 午夜天堂一区人妻| 色色99| 天天日天天爽| 丁香五月色| 玖玖婷婷五月| 婷婷激情五月天小说| 丁香婷婷伊人| 激情五月六月| 五月丁香婷婷基地| 色久丁香五| 五月色婷婷综合丁香精品无遮挡| 婷婷亚洲五月丁香综合在线| 五月丁香婷婷婷婷综合网| 色婷婷丁香五月天| 五月天色婷婷视频| 九月丁香| 国产精品色色色色| 色五月无码| 日本一级一片免费视频| 欧美婷婷色| 人妻内射视频| 婷婷五月丁香基| 九久久精品视频99| 久久五月丁香婷婷| 久久久99视频| 婷婷色中文字幕| 亚洲综合久| 天天久久狠狠色综合| 五月天激情图片| 九九婷婷网五月天| 色久天| 99ER热精品视频| WWW嗯嗯啊啊啊啊| 伊人热婷婷| 五月天婷婷丁香花| 婷婷在线免费| 五月婷婷成人网首页| 天天色·欧美| 综合久色五月| 人人爱国产| 99玖玖在线视频| 精品人妻久久久久久| 久爱综合| 九九99热| 亚洲成色综合网站免费观看| 激情婷婷啪啪| 婷婷五月色色| 精国产品一区二区三区A片| 五月丁香色色色| 伊人久久大香网| 色国产五月| www.ppypp| 久99久精品| 亚洲精品99| 丁香婷婷人妻综合网| 亚洲视频丁香网va| 九九热大香蕉| www.色婷婷| 99re在线免费视频| 91日韩在线| 五月婷婷六月丁香在线| 五月天丁香花婷婷| 婷婷五月花免费视频在线| www.五月.com| 99久re热视频精品98| 九色综合网| 黄色五月婷婷| 中文字幕乱轮| 精品人妻伦九区久久AAA片| 少妇婷婷五月天| 亚洲综合另类| www.婷婷| 久久久ww| 99成人免费热视频| 国产综合色婷婷精品久久| 99热这里有精力| 深爱五月激情| 色老久久| 六月婷婷天天操夜夜爽视频| 热久久思思热思思| 丁香六月婷婷综合欧美| 五月婷婷av| 欧美性猛交 XXXX 乱大交| 99人人操| 99综合久久| 9l视频自拍9l九色成人| 天天干,夜夜爽| 五月丁香六月婷| 五月婷婷六月丁香综合| 国精产品一区一区三区有限公司杨 | 色啪综合| 欧美在线骚货| 97色啪| 色播五月天婷婷老师| 99热亚洲| 亚洲欧洲午夜成人精品av| 五月花综合网| 99热这里只有精品66| 五月丁香婷婷在线| 可以免费观看的AV| 开心日韩丁香婷婷五月| 日韩三十六页| 久久伊人大香蕉| 精品久久久久久久久久久久人妻| 亚洲一级色电影| 狠狠综合久久综合| 综合网天天| 久久性爱视频| 夜夜躁狠狠 | 天天天天做夜夜夜夜做| 久草五月婷| 色永久| 香蕉色色网| 人人草人| 人妻人人操| 五月丁香六月天| 99热永久在线观看| 综合五月激情| 色噜噜狠狠色综合网| 欧美久久婷婷| 四LLL少妇BBBB槡BBBB| 9热成人在线视频| AA片在线观看视频在线播放 | 伊人在线视频| 人人爽天天爽| 69精品人人人人| 极品人妻VIDEOSSS人妻| 六月丁香啪| 99re在线免费视频| 热99免费在线| 秋霞黄色一级久久| 天天日天天日天天搞| 国语精品探花| 激情伊人五月婷婷久久| www.深爱激情| 五月丁香综合啪啪| 国产亚洲精品AAAAAAA片| 久久精品99国产精品日本| 97人妻超级碰碰碰碰碰| 97久操视频| 成人免费高清在线播放| 高清无码 一区 二区 三区| 99色免费观看全部| www99热| 日本在线免费中文com.| 色婷婷女优有码五月亭| 91丨九色丨国产打屁股| 狠狠狠色激情综合适合| 国产精品色色666| 99视频在线9| 香焦网五月天| 99这里只有精品在线观看| 国产1区2区| 97AV人人插人人操| 操99| 99这里只有精彩视频| 久久久久亚洲AV无码网影音先锋| 久久9久| 三级片AAA久久久AAA久久久AAA | 97色欧美| 久色视频| 99亚洲精品视频| 综合久久婷婷| 97五月婷婷| 伊人春天av| 婷婷丁香成人网址| 免费黄色AV| 熟女人妻一区二区三区免费看 | 久久婷婷欧美| AVDV久久| 人人做天天爱| 久久综合激情五月天| 97色一二三| 日韩AV大全| 丁香五月婷婷狠狠色| 国产精品五月丁香| 婷婷五月色激情欧美激情| 97香蕉碰碰人妻国产欧美| 超碰久热| 成人av免费观看| 天天干天天色天天干| 日本三级日本三级三级人妇四虎| 最新无码专区| 欧洲第一无人区观看| 天天做天天爽| 狠狠五月综合在线| 欧洲亚洲最新精品| 激情九月婷婷| 成人资源在线| 最新无毒无码AV| 99热最新| 色噜噜狠噜噜视频| 噜噜噜久久亚洲精品国产品91| 狠狠干综合| 激情婷婷丁香五月天| mmm1717.6dbm人人爱人人操| 亚洲AV人人操| 九一99| 91色五月| 日韩在线成人电影| 五月丁香AV、伊人业余、性色熟妇| 亚洲激情网| 国产69久久久欧美黑人A片| 久久婷婷色情7777网站| 开心五月婷婷婷美女| 五月婷婷丁香五月| 色色婷| 亚洲色五月天| 五月九九综合| 婷婷综合成人五月天| 色色色国产| 99综合99| 538久久| 伊人五月综合网| 四川操逼站| 狠狠色丁香婷婷基地| 久99| 大香蕉九九| 五月婷婷视频| 日韩AV免费电影在线播放| 丁香五月天在线视频| 天天干天天拍| 久久思思99| 久久五月天大美女| 婷婷五月激情综合| 可以免费看av网站| 精品久久99| 中文字幕97超级碰| 久热 91| 综合五月丁香六月婷婷| 日韩有码一区| 啪啪黄页网| 大香蕉 婷婷| 午夜青草资源| 久草热8精品视频在线观看| 久热视频A.| 婷婷五月天丁香社区| 色婷婷在线电影| 天天综合天天做天天综合| 中文av网| 色9色| 五月天激情网站| 99精品国产在热久久| 久久婷婷91| 丁香五月天婷婷大香蕉| 婷婷五月美女直播| 亚洲AV无码影院| 久久久这里有精品| 久久婷婷内射| 狠狠插狠狠操| 天天久久人人| 国产精品扒开腿做爽爽爽A片唱戏| 亚洲色婷婷色| 五月伊人91| www.26uuu.com亚洲电影| 欧美情色一区| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 99热只有| 久久久久久久久久久-久五月天婷婷| 婷婷久久综合| 免费观看全黄做爰的视频| 三年高清大片免费观看国语| 7777久久亚洲中文字幕| 五月婷婷丁香俺日污视频| 不卡成人免费| 亚洲色五月| 玖玖视频福利| 久久xx| 精热在线综合网| 丁香五月婷婷久久久| 久久精品爱爱| 任你搞在线观看视频| 亚洲激情网站| 欧美日韩国产伦精品日韩人妻一| 九九99精品视频| 超碰99资源站| 天天色天天操天天射| 婷婷伊人网| 亚洲激情av| 人妻久久久| 久久A极片| 婷婷亚州综合| 婷婷性爱影院| 色婷婷五月天激情综合| 久久成人人妻| 99热综合网| 播播网色播播| 国内自拍1区| 99五月婷| 激情综合网五月| 99热只有精品综合| 开心五月婷婷在线视频免费观看| 久久久久人妻精品| 日本三级大片| 人人摸人人摸| 99九九玖玖| 噜噜噜狠狠色综合| 综合综合色色| 91AV视频| 欧美成人精品A片免费一区99| 婷婷五月18永久免费视频| 国产精品色婷婷AV综合色色| 久久久久er热| 丁香六月激情国产| 九九视频网| 日日夜夜小色哥| 六月撸婷婷| 天天做天天爽| 国产精品美女| 五月久久噜噜| www.射伊蕉婷婷| 欧美精品999| 国产综合A片| 久久久久9| 新激情五月开心五月婷婷五月丁香五月| 婷婷丁香色五月| 欧美一级色| 五月天丁香婷婷网| 狠狠搞五月天| 丁香五月色激情| 日本99在线| 五月婷婷五月| 激情五月天99色| 色蜜婷婷| 成人做爰A片免费看视频| 久久这里只有精品8| 伊人五月天日日夜夜久久久天天| 欧美人人女女精品综合五月天| 99热免费| 97色碰| 天天高潮夜夜爽| 丁香六月婷婷久久综合八月| 色婷婷天堂| 成人网在线观看视频| www.91色| 激情网婷婷五月天| 操逼棍操逼| 亚洲国产色婷婷| 日本99色| 99cao婷婷| 思思热在线| 激情綜合網址| 99热这里只有精品最新| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 色色色9 9 9| 内射在线CHINESE| 亚洲成人综合在线| 台湾无码A片一区二区| 九九热99精品在线| 天天操无码| 久久九九99视频| 26uuu视频欧美| 99视频在线精品| 亚洲日本韩国| www.com色播五月天| 五月丁香激情综合网| 色播婷婷大香蕉| 午夜色婷婷| 色婷婷在线电影| 天天色情站| 玖玖无码中文| 五月婷久久草| www.五月丁香| 久久这里只有精品视频15| 干亚洲天堂| 九热视频| 日韩欧美一级大黄网站| 色玖玖爱| 六月婷婷七月丁香| 久狠狠狠| 亚洲免费视频网站| 99在线精品免费视频| 少妇搡BBBB搡BBB搡毛茸茸| 激情婷婷丁香五月天小说| 婷婷色片| 97碰成超视频免费视频| 操比激情五月| 射婷婷中文字幕| 国产成人片| 五月天色色网站| 俺去也婷婷| 国产超碰在线| 99精品无码| 婷婷五月色天| 激情五月婷婷| 丁香网五月天| 97在线日韩| 久久密臀婷婷| 日韩在线一级| 97中文在线| 日本99热| 激情网站综合五月天| 久久久久综合激动五月天| 婷婷六月色丁香视频在线观看| 色婷婷视频| 色噜噜,噜噜色| 婷婷免费成人视频| 伊人9999| 免费亚洲婷婷五月| 日韩99视频| 91视频精品99| 五月丁香色综合| 伊人99热| 亚洲av综合在线| 激情五月婷婷色色| 五月 成人 婷婷| 五月色网| 91啪级电影| 久久久久久丁香五月| 开心五月网 | 天天五月天综合网址| 99超超碰| 天天射色五月天| 91九色PORNY大屁股| 婷婷综合六月| 五月天婷婷色情| 亚洲欧美婷婷五月色综合| 99热天堂| 国产免费一区二区在线A片视频| 五月丁香综合激情| 五月花激情网| 91人人爽狠狠狠| 色五月激情视频在线综合| AV性爱网| 丁香五月久久综合| 99精品网址| 丁香五月天之婷婷影院| 99ri国产| 大陆极品少妇内射AAAAAA| 人妻操操色| 情色五月天 网站| 久久538| 婷婷伊人综合中文字幕| 激情综合久久| 天天干天天叉| 久久免费操| 九九热视频精品| 人妻射精AV| 中文字幕日产A片在线看| 91久久1118| 亚洲艹网| 老司机日日夜夜青草| 国产亚洲精品久久久久苍井松| 婷婷五月综合啪| 欧美丁香五月| 色老久久| 丁香五月天激情综合网| www,天天干| 亚洲成人在线播放| 婷婷综合伊人| 夜夜骑日日操| 天天肏高清在线| 婷婷丁香社区| 丁香久久久| 天天在线久久综合 | 激情五月天色婷婷综合| 狠狠综合网| 日B日潘金莲BB| 操操人人| 色婷婷亚洲婷婷| 色噜噜狠狠色综合网| 婷婷伊人綜合中文字幕| 久久精品视频在这里有| www,五月天com| 级人人91| 五月天婷婷六月激情网| 5月丁香啪啪啪| 欧美丁香婷婷五月| 99热碰碰| 99热精品6| 日日天天干| 免费超碰在线| 婷婷伊人激情婷婷| 热99这就是精品视频| 久碰久| 五月丁香六月激情综合啪啪| 国产亚洲色婷婷久久99精品91| 色www久视频| 996热re视频精品视频这里| 婷婷丁香五月天影院 | 五月天色综合服务平台| 婷婷月综合| 4399无码视频| 九九久久99| 婷婷五月综合激情| 日韩1区2区| 国产午夜精品一区二区三区四区| 色性综合| 色婷婷AV久久| www超碰| 精品人妻久久久久久| 九九免费精品在线视频| 六月婷欧美| 99色嘟嘟精品网站| 激情小说五月天| 9久热在线视频精品| A网在线欧洲| 操操操av| 久久综合性| 变态另类色图 | 欧美成人AAA片一区国产精品| 久99在线视频| 国产午夜一区二区三区| 婷婷五月激情片| 99久久婷婷国产综合| 亚洲精级| 激情五月天婷婷| 欧美噜一噜| 亚洲激情网| 99在线69| 色婷婷丁香五月天| 丁香五月天啪啪| 三级三久久线久久99久目本WW| 91性人人| 五月天五月天成人网亭亭成人色网站| 久777| 美女主播野战视步页| 99免费在线视频| 亚洲婷婷丁香五月在线| 激情久久久| 丁香婷婷综合五月天| 国内外色色色色色成人视频| 情欲综合网| 九九aV| 激情五月天婷婷图| 97av在线视频| 五月丁香啪啪激情| 国产精品电| 就爱射中文字幕资源网| 色色五月综合| 婷婷激情综合| 五月婷婷六月激情在线| 欧美三级视频| 激情久久久久久久久久| 五月丁香六月色婷婷综合五月天| 日产精品久久久久久久蜜臀| 激情五月婷婷色| 97艹| 丁香五月手机在线| 婷婷五月婷婷五月天| 国产亚洲99久久精品熟| 色婷婷国产精品综合在线观看| 天天射美女| 91丨九色丨43老版熟女| 人妻精品久久久久久| 99热精品超碰| 色婷婷狠狠| 色婷婷成人影片| 99国产小视频2013| 久久性爱视频免费| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 99精品无码网站| 中文字幕丰满乱孑伦无码专区 | 久久婷婷五| 色婷婷综合丁香五月天| 在线不卡中文字幕| 婷婷五月综合社区| 99热18| 狠狠五月激情在线| 色婷婷伦理| 性爱电影科技贸易有限公司| 情婷婷五月天| 激情五月天影院| 丁香五月婷婷大香蕉| 久久精品4| 在线不卡视频| 丰满人妻一区二区三区| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 任我肏| 日本色道视频网站| 能看的av| 99啪啪网| 丁香欧美| 丁香六月啪| 亚洲色图日韩网址| 色情五月综合婷婷| 视色网在线播放| 岛国av电影网站| 五月婷婷69| 日本在线视频www色| 激情五月天色播| 丁香九月婷婷色| 夜夜大香蕉婷婷丁香| 人与禽A片啪啪| 夜夜资源站| 另类小说五月天激情| 久久 婷婷 五月天| 激情婷婷在线| 99操| 五月婷婷av| 99精品22| 婷婷六月网| 九九99九九99九九99视频网| 久草五月丁香婷婷综合| 99热国品| 中文字幕人妻AV| 99久久精品色老| 99精品视频在线免费观看| 五月激情网络| 色综合天堂| 五月天激情网图片| 欧美毛卡| 一本到不卡高清DVD| 日韩久热| 色五月播五月| www。五月天。com| 五月丁香亚洲婷婷| 第四色五月天| 亚洲无码猫咪| 这里只有精品偷拍| www.久久av.com| 婷婷色综合| 99视频免费播放| 91碰碰视频| 五月丁激情| 人人干女人| 免费看欧美成人A片无码| 国产a视频| 久久丁香婷婷五月天| 十月丁香九月婷婷综合| 99热这里只有精品在线观看| av一区免费看| 国产欧美日韩性爱| 99热这里只有精品3| 人妻久久久久久| 高清av在线国产| 婷婷五月天在线观看| 色色热| 99er精品视频| 99亚洲色色| 久久婷婷五月激情网站| 久久婷婷丁香六月天| 丁香狠狠色婷婷| 婷婷伊人五月天| 激情久久久久| 婷婷五月中文在线视频| 六月婷婷综合| 成人性爱无码| 二色AV| 色色综合网络| 丁香丁香激情网| 婷婷欧美| 丁香综合婷婷五月天| 牛牛碰免费| 深爱五月激情五月| 无码A片一区二区免费| 国产丁香五月天婷婷| 亚洲另类婷婷综合| 97热超碰| 台湾佬天天日丁香婷婷五月天| 色丁香婷婷| 日日操日日干| 久久久五月婷婷| 五月丁香 啪啪啪| 伊人五月人妻精品| 欧美综合五月丁香五月天| 婷婷五月丁香伊人网| 9999色色色色| 在热视频精品| 综合激情视频| 久久婷婷五月天激情四射| 亚洲成人中心| 99丁香婷婷综合网| 免費亭亭成人| 思思热视频在线| 婷婷综合97| 激情丁香六月| 久久婷婷五月天丁香| 99久久这里只有精品免费官网| 色999五月色| 在线观看免费狠狠色丁香香综合| 色吧五月婷婷| 婷婷五月天av小说| 蜜臀av在线成人电影| 少妇大叫太大太粗太爽了A片| 91天天操天天干天天射| 99热在线观看精品| 婷婷五月天丁香社区| 很很干夜夜干| 天天色凹凸| 婷婷五月激情在线| 欧美色片中文字幕久久久久| 色婷婷播放| 第四色色色色色丁香五月天| 综合性爱网| 色婷婷五月天激情| 久久精品66| 99免费视频| 亚洲精品色| 天天玩夜夜操天天爽| 国产成人网| 97婷婷狠狠| 欧美大香蕉视频| wWW九九在线播放| 天天在线XXX| 日韩淑女人妻luan伦激情精品一区二| 欧美成人性爱网| 男女啪啪做爰高潮无遮挡| 日韩丰满少妇无码内射| 大香伊人婷婷| 久久久久久久综合狠狠综合| 国产高清精品色| 激情六月婷婷| 国产黄大片在线观看画质优化| 九色porny在线观看激情四射| 狠狠色综合网| 麻豆五月丁香婷婷| 色五月成人| 亚洲成人无码专区| 97操视频| 人人视频色| 久热九九| 五月综合激情网| www99精品| 99色看| 99碰网站| 婷婷5月久久综合网站| 97干免费视频| 五月婷婷六月婷| 99热91| 久9草在线观看视频| 青青热视频| 夜丁香综合| 亚洲色五月| 9久久精品视频| 狠狠擼综合| 97视频久久| 91人妻九色大屁股| 五月丁香六月婷婷精品| 五月丁香激情综合网| 国产精产国品一二三在观看| 日本欧美国产| 夜夜撸日日骑| 天天弄天天操| 丁香五月综合激情啪啪| 五月天婷a| 大香蕉九九| 五月天丁香久久| 国内精品玖玖| 99亚洲精品| 999婷婷综合| 深爱激清网| 99精品偷自拍| 综合亚洲六月婷婷在线| 99在线精品视频| 岛国AAAV| 久久婷五月综合色| 97色色色色色| 1区2区视频| 人人摸人人干人人做| 天天干一干| 99激情网| 色噜噜狠狠色综无码久久合欧美| 久久艹 五月天| 色色热99| 99久久婷婷国产综合| 青青草Avb在线| 激情色情五月天| 99国产精品白浆在线观看免费| 五月天啪啪视频| 五月天婷婷激情| 色播激情| 丁香五月六月激情| 成人中文网| 99热精品10| 天天干天天操天天拍| 超碰97干| 久久九精品| 综合超碰熟| 九九激情视频| 天堂在线伊久| 色播丁香婷婷五月激情| 嫩草AV久久伊人妇女超级A| 婷婷五月激情的图片| 五月香婷婷| 五月婷婷啪啪啪| 日本系列_4页_777FP| 国产九九一区二区三区| 五月激情婷婷国产精品久久久久久| 久久精彩视频18| 色色婷婷综合网| 激情第四色| 日夜夜久久| AV色五月婷婷| 婷婷色一二三区波多野结衣| 综合色色网| 偷拍五月丁香| VA国产在线综合网站| 久久五月婷婷视频| AA片在线观看视频在线播放| 五月丁香色综合| 久久9热| www.五月.com| 婷婷成人在线| 日日干日日| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 97久久视频| 婷婷色色五月| 那里有AV网址| 99爱在线视频| 这里只有精品视频看看| A片试看120分钟做受图片| 五月天婷婷久久综合| 综合色、色综合| 色久综合天天做视频| 色9999综合久久| 妻久久人久久| 五月天婷婷丁香花| 人人人操| 亚洲精品大片| 99er6| 色爽干| 久狠日av| 九草性爱| 日韩成人中文字幕| 五月婷五月婷伊人伊人五月婷| 久99视频| 久久机只有这里精品| 国产亚洲成人综合| 五月天狠狠色| 久久婷婷五月综合97色一本| 成人国产欧美大片一区| 性生活久久朋友人妻| 最新日韩久热免费视频看看| 婷婷五月电影院| 99热这里只有在线播放| 色婷插| 丁香五月婷老师| 91干视频| 色色五月天婷婷| 丁香五月天啪啪激情综和网| 97干在线看| 亚洲高清在线| 六月丁香五月亭亭| 亚洲AV永久无码影院黑人| 色婷精品91| 成人精品一区二区三区四区五区 | 丁香五月婷婷激情蜜桃| 在线另类视频| 五月色丁香成人| AV大片在线观看| 国产成人av在线播放| 久热这里只有精品性色AV| 综合六月久久| 婷婷五月丁香91| 《战争与艾拉》完整版| 久久99草五月婷婷| 99精品热视频| RenRenSe在线视频网站| 日B日潘金莲BB| 久久免费精彩视频| 五月激情婷婷在线| 久99热| 五夜婷婷| 丁香五月天堂| 玖玖综合色| 另类专区在线| 五月婷婷色综图片| 99毛片| enecarbon-materials.com污K127封锁请涟系@wip1688 | 婷婷久久色| 新伍月婷婷| www.激情| 91操黄| 大香蕉520| www.夜夜騎夜夜狠| a在线观看| 九九色婷婷Av| 天天爽天天日| 五月婷婷 激情五月| 天天色综和网| 亚洲99一级无嗎特制在线| 九九视频在线观看| 六月丁香五月天| 五月丁香六月久久| 五月天色站| 无码日本精品XXXXXXXXX| 中文在线成人| 99色播| 婷婷伊人久久| 99精品久| www.婷婷六月天| 亚洲成人中心| 伊人深爱综合| 婷婷丁香77777| 色天使色婷婷| 亚洲欧洲美女在线观| 五月天成人综合| 久久人妻精品| 丁香六月毛片| 色色综合色视频| 丁香五月婷婷天堂大香蕉| 超碰狠狠干99| 婷婷丁香六月天| 欧美色色色色色色| 亚洲色婷婷五月| 777久久综合视频 | 久久婷婷伊人| 大香蕉人人人| 丁香桃色网| 久久久久久久久久久久久久人妻视频| 九九精品热播| 婷婷五月综合社区在线| 狠狠操天天干| 五月婷婷激情久久| 99久在线精品99re5热视频| 婷婷五月六月丁香综合| 六月综和久久| 五月总合激情网| 第五婷婷伊人丁香色| 大香蕉视频婷| 91色呦哟| 亚洲亚洲人成综合网络| 婷婷大香蕉| 天堂综合久久| 五月婷婷69| 九九视频这里只有精彩| 激情五月婷婷综合网| 97丁香花五月天激情小说| 91狠狠色| 六月丁香大香蕉| 色婷婷综合影院| 激情碰碰碰| 综合狠久久| 欧美色一级色| 国产精品人成A片一区二区| 无码色色色| 99色免费观看全部| 综合色99| 激情久久久久| 99热这里| 五月婷婷啪啪网| 激情九九六月激情免费视频| 丁香五月天狠狠| 99热九九热| 久久久精品色| 五月婷婷六月少妇激情| 亚洲aV写真天天综合网久久| 丁香五月婷婷视频| 丁香五月婷婷基地| 国产三级在线播放| 狠狠色综合网| 精品三区影院| PORNY九色9l自拍视频成人| 免费观看18视频网站| 日本黄色精品| 99热这里只有精品国产免费| 人妻无码精品一区| 丁香六月激情综合| 丁香五月婷婷啪啪啪| 爱婷婷都市激情| 成人在线视频一区| 六月丁香中文字幕| 五月婷婷六月天| 色激情五月| 综合网色| 嫩草AV久久伊人妇女超级A| 三年高清大片免费观看国语| 久操欧美在线观看97| 丁香五月婷婷av影院| 懂色av粉嫩AV蜜臀AV| 九九99偷拍视频| 久久九九囯产| 玖玖五月丁香| 色欲天天综合| 久久五月天精品视频| 天天日夜夜高潮| 丁香五月老师| 这里只有精彩亚洲视频推荐| 成人综合伍月天| 99视频精品全部免费观看| 欧美日韩成人| 亚洲人成网站999久久久综合| 77799热| 99操无码视频观看| 无码碰碰| 五月色婷婷在线观看| 五月婷婷六月丁香在线视频免费在线观看| 嫩BBB搡BBBB榛BBBB| 色婷| 久久五月天激情| 思思热在线| 色九月婷婷综合| 九九热只有精品| 久久99热这里| 第四色首页| 超碰免费99| 激情五月天丁香| 在线不卡AC| 色婷婷国产精品综合在线观看| 五月丁香 啪啪啪| 999热这里只有精品| www.色九月| 5月婷婷激情网| 人妻丰满精品一区二区A片| 人妻人人操| 婷婷五月成人| 六月婷欧美丁香综合| 色青青五月| 激情欧美五月丁香| 国产激情在线| 91人人爽久久涩噜噜噜| 亚洲欧美在线观看| 婷婷丁香69精华| www.五月婷婷.com| 亚洲无码你懂的| 婷婷激情六月天视频| 无码人妻丰满熟妇奶水区码| aaaaa不卡| 91avse| 九月婷婷综合网| 另类五月激情| 思思久久久婷婷| 国产精品噜噜在线视频| 99精品在线| 日本欧美在线| 亚洲视频二区| 婷婷色在线视频| 久久色情综合免费网站| 182无码| 色五月成人在线| 亚洲国产精品VA在线看黑人| 九九家庭影院| 狠狠干在线| 1024在线一区| 丁香五月综合无码趴趴| jiujiu无码五区| 丁香五月婷婷五月天| 开心五月婷婷| 九色 在线| 五月丁香六月停停| 婷婷午夜精品久久久| 超极99精品| 狠狠爱婷婷丁香| 开心激情网五月天| 五月天久草| 九九热只有精品| 婷婷五月欧美| 色小说五月天| se婷97| 婷婷成人五月天成人文学小说| 久久丁香婷婷色情综合| 丁香婷婷成人在线播放| 99热在线观看成人| 区区欧美你爱| 日逼影音先锋男人资源站| 五月丁香六月婷婷综合在线| www.sezonghe| 九色婷婷| 婷婷丁香五月91| 婷婷十月丁香| 性爱综合网| 色婷婷777狠狠| 91色情播放| 亚洲亚洲人成综合网络| www.久久久久| 天天干,夜夜爽| 超碰天堂网| 亚洲久久视频| 91精品久久久久久综合五月天| 亚洲天堂有码| 丁香六月成人网| 日日夜夜干| 99久久网站| 激情五月天婷婷| 日本熟女啪啪| www,婷婷五月天777me,com| 欧美性丁香色色五月天干干| 99久久精品国产色欲| 成人丁香婷婷| 精品亚洲国产成AV人片传媒| 热99久久这里只有精品| 亚洲久久天堂| 五月婷婷免费在线视频| 色你久久| 五月婷激情| 五月丁香六月婷婷中文版| www.99.色| 99热8| 91超碰在线观看| 丁香五月天激情综合| 丁香色播五月天| 久久密臀婷婷| 99热| 好好干Av| 人人插操| 婷婷久久网| 欧美狠狠色| 9色免费网| 这里精品| 九色1区视频在线| 五月天精品综合| 五月天丁香婷婷网| 九九视频这里是精品五月| 思思热这里只有精品视频666| 人人操av| 国产成人在线精品| 五月天色色网站| 夜夜骑日日夜夜| 色99视| 久久九九综合| 激情二色月| 婷婷综合仓库中文| 欧美性爱五月天| www.日本久久videos| 亚洲网站观看视频| 五月婷婷综合在线视频小说| 91久久综合| 五月天激情四射| 五月丁香婷爱在线| 另类激情四射| 日本猛少妇色XXXXX猛叫| 色播激情五月天| 97在线/亚洲| 69精品人人人人人人人人人| 99精品福利视频| 99视频内射三四| 久久精品99国产精品日本| 天天五月天综合网址| 婷婷久久五月| 99热99色| 日本全黄一级999| 超碰爱爱爱| 日韩AV片| 天天综合五月天| 综合另类视频| 天天狠天天叉| 天天色天天色天天色天天色天天色天天色| 久久婷婷五月| 99热成人精品| 久久婷婷五月天| 婷婷性福五月天| 成人va在线观看视频| 五月丁香综合网| 色婷婷色99国产综合精品| AV五月婷婷露脸| 爱射综合| 第四色色六月色综合| 日韩中文欧美| 深爱五月天 开心网| 九九热精品99| 丰满少妇猛烈A片免费看观看| 九九热精品99| 丁香婷婷人妻综合网| 亚州操操| www.ywav| 天天橾夜夜爽| 亚洲日韩操B| 思思热精品在线| 97狠狠色| 国产精自产拍久久久久久蜜| 五月丁香六月婷精品视频| 日本丰满久久| 九九99九九99九九99视频网| www.婷婷网| 日本WwW色偷偷丁香花久久久京东热| 亚洲天天| 色五月婷婷久久| 成人国产欧美大片一区| 久99久热只有精品国产99| 久久婷婷资源| 色播五月婷婷| 成 人 色 色| 综合99在线| 亚洲色综合| 五月婷婷之激情五月| 久久一级片| 五月天激情久久| 嫩草综合网| 色婷婷AⅤ| 26uuu成人网| 99热这里只有精品官网| 午夜婷婷久久| 亚洲AV免费在线| 天天激情站| 久久婷婷五月综合97色一本| 99燥99日| 99久久婷婷五月综合| 五月天婷婷在线观看精品男人| 成片免费观看大全| 人人操99| 狠狠干思思热| 久草大| 在线五月婷| 久艹大香蕉| 这里只有精品在线播放| www.婷婷.com| 成人.在线日韩| 成人婷99最新| 五月噜噜| 九热精品| 国产干逼片| 激情伊人五月天| 久久成人天| 亚洲高清在线| 久久99久久99www| 丁香五月av| 丁婷婷五月天在线播放| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 26uuu精品国产| 伊人久久丁香婷婷六月五月综合| 激情av| 日本三级片片| 日本人妻伦在线中文字幕| 久久美女五月天| 婷婷欧美综合| 中文字幕人妻AV| 婷婷五月天av小说| 超碰在线观看三级片| 免费观看的av| 婷色五月| 天天色天天操天天射| 狠狠干狠狠色| 日本在线视频播放91| 国产精品色| 99热亚洲| 丁香六月婷婷综合| 久色五月丁香视频| 99视频这里有精品免费观看| www.思思99热| 日 日干 日日做| 五月婷婷在线视频免费观看| aaa丁香五月天| 六月99天天婷婷激情综合| 美日韩成人| 一级片sese片.COM| 国产99久久久| 久久xxxx| 激情视频网址| 久久99网站| 色性综合| AV堂狠狠干| 欧美天天五月丁香免费观看| 亚洲一色色色色色色色色|