欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

基于深度學(xué)習(xí)的智能合約漏洞檢測(cè):操作碼序列分類(lèi)實(shí)戰(zhàn)

基于深度學(xué)習(xí)的智能合約漏洞檢測(cè):操作碼序列分類(lèi)實(shí)戰(zhàn) 簡(jiǎn)介面向區(qū)塊鏈安全與智能合約方向的畢業(yè)設(shè)計(jì)場(chǎng)景這份資源提供了一套基于深度學(xué)習(xí)的漏洞檢測(cè)完整方案。項(xiàng)目采用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)LSTM與雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)BLSTM作為主干并引入注意力機(jī)制聚焦漏洞關(guān)鍵特征可對(duì)Solidity合約代碼進(jìn)行自動(dòng)預(yù)測(cè)適合承擔(dān)相關(guān)課題或課程設(shè)計(jì)的高校學(xué)生、開(kāi)發(fā)者參考。壓縮包共1428個(gè)文件包含1388個(gè)sol合約樣本、11個(gè)Python腳本及日志、圖表、配置文件等整體大小僅3MB便于本地部署與快速運(yùn)行。隨附源碼與部署教程可讓用戶(hù)直接啟動(dòng)系統(tǒng)界面簡(jiǎn)潔美觀、操作易上手幫助理清數(shù)據(jù)預(yù)處理、特征提取、模型訓(xùn)練與漏洞預(yù)測(cè)的完整鏈路。當(dāng)前已有133人學(xué)習(xí)瀏覽該資源整套資料在智能合約安全分析與深度學(xué)習(xí)序列建模方面具有較高實(shí)踐價(jià)值目錄結(jié)構(gòu)清晰適合作為畢業(yè)設(shè)計(jì)或課程設(shè)計(jì)的起點(diǎn)也便于后續(xù)在此基礎(chǔ)上進(jìn)行功能擴(kuò)展與改進(jìn)。1. 為什么把合約漏洞檢測(cè)改寫(xiě)成「序列分類(lèi)任務(wù)」別一上來(lái)就盯著合約源碼逐行讀很多漏洞并不會(huì)在單行代碼里露出破綻。真正上線跑的是編譯后的字節(jié)碼反匯編出的每一條操作碼就像指令流漏洞的特征藏在 CALL、SSTORE、BALANCE 這些關(guān)鍵操作碼的組合順序里。比如一個(gè)典型的重入漏洞往往表現(xiàn)為“余額更新操作碼出現(xiàn)在外部調(diào)用之后”這種上下文關(guān)系用人眼找容易漏用序列模型反而能穩(wěn)定總結(jié)出來(lái)。這篇筆記講的正是畢業(yè)設(shè)計(jì)里最常見(jiàn)的一條閉環(huán)基于深度學(xué)習(xí)的智能合約漏洞檢測(cè)把操作碼序列當(dāng)文本輸入用 LSTM、BLSTM、BLSTM注意力機(jī)制三種模型做分類(lèi)數(shù)據(jù)準(zhǔn)備、訓(xùn)練、本地部署一條線走完。適合正在找題目、希望方案能快速出效果的同學(xué)也適合已經(jīng)有一個(gè)粗糙數(shù)據(jù)集、想換成序列模型做對(duì)比的人。2. 操作碼序列數(shù)據(jù)集的構(gòu)建從源碼到可訓(xùn)練的樣本這個(gè)方向能不能跑通七成取決于數(shù)據(jù)怎么造。模型吃的是序列原文是合約的二進(jìn)制字節(jié)碼這兩者之間還隔著一道反匯編的工序。先把這一步走穩(wěn)后面的模型才不會(huì)被垃圾輸入帶偏。2.1 從編譯產(chǎn)物到操作碼序列反匯編與詞表映射我的習(xí)慣是先積累一批合約源碼用編譯器統(tǒng)一版本編譯拿到字節(jié)碼之后反匯編成操作碼序列。為什么不用源碼直接喂模型因?yàn)樵创a經(jīng)過(guò)編譯器優(yōu)化最終執(zhí)行語(yǔ)義都在字節(jié)碼里而且不同合約的源碼風(fēng)格差異很大直接建模源碼等于讓模型先學(xué)會(huì)“讀不同人的代碼風(fēng)格”對(duì)一個(gè)小數(shù)據(jù)集來(lái)說(shuō)太奢侈。# 反匯編把十六進(jìn)制字節(jié)碼拆成一條條可讀的操作碼 from pyevmasm import disassemble_all BIN_CODE 60806040526004361061004b576000357f... # 編譯器輸出的合約字節(jié)碼 ops [str(op) for op in disassemble_all(BIN_CODE)] print(ops[:8]) # 輸出類(lèi)似 [PUSH1, 0x80, PUSH1, 0x40, MSTORE, CALLVALUE, DUP1, ISZERO]這段代碼只做一件事把十六進(jìn)制字節(jié)碼變成人類(lèi)能讀的操作碼助記符。disassemble_all返回的是指令對(duì)象str()轉(zhuǎn)出來(lái)的文本正好可以作為序列元素。注意我沒(méi)有保留操作數(shù)比如PUSH1 0x80只取PUSH1這個(gè)助記符原因在后面詞表小節(jié)里說(shuō)明。下一步是把操作碼文本映射成數(shù)字 ID。常見(jiàn)做法是維護(hù)一張固定詞表0留給 padding1留給未知操作碼。這樣訓(xùn)練和推理時(shí)用的是同一套映射不會(huì)出現(xiàn)訓(xùn)練集有一套詞表、現(xiàn)場(chǎng)部署又另起一套的尷尬。# 固定詞表示意0 是 padding1 是 UNK其余按 EVM 操作碼規(guī)范排 OPCODE2ID { PAD: 0, UNK: 1, STOP: 2, ADD: 3, MSTORE: 4, SSTORE: 5, CALL: 6, BALANCE: 7, JUMPI: 8, # ... 按需要覆蓋完整操作碼集合 } def ops_to_ids(op_list): return [OPCODE2ID.get(op, OPCODE2ID[UNK]) for op in op_list]這里把詞表固定下來(lái)很重要。很多初學(xué)者喜歡從訓(xùn)練集里動(dòng)態(tài)統(tǒng)計(jì)操作碼再建詞表結(jié)果遇到新的編譯器版本、新的合約寫(xiě)法操作碼對(duì)不上號(hào)就崩了。固定詞表配合UNK兜底雖然單條未知指令丟失了信息但模型至少不會(huì)因?yàn)檩斎刖S度不一致直接報(bào)錯(cuò)。為什么不把PUSH的不同長(zhǎng)度當(dāng)成不同詞PUSH1、PUSH2在語(yǔ)義上確實(shí)不同但也有不少方案只保留PUSH助記符。我自己的經(jīng)驗(yàn)是PUSH 后面的立即數(shù)承載了跳轉(zhuǎn)目標(biāo)、地址等重要信息但直接把操作數(shù)當(dāng)詞表成員會(huì)讓詞表膨脹一堆無(wú)意義的數(shù)字所以更穩(wěn)妥的做法是把PUSH1、PUSH2這種帶長(zhǎng)度的助記符保留下來(lái)丟棄后面的十六進(jìn)制數(shù)值。這樣詞表仍然可控信息也損失得最少。2.2 滑窗切分與定長(zhǎng)填充窗口長(zhǎng)度怎么選一整份合約反匯編出來(lái)可能有幾百上千條操作碼不能整條喂給模型。常見(jiàn)做法是滑窗切分每個(gè)窗口就是一個(gè)訓(xùn)練樣本。窗口長(zhǎng)度太短漏洞上下文被截?cái)嗵L(zhǎng)訓(xùn)練時(shí)間和顯存翻倍。我用下來(lái)的經(jīng)驗(yàn)是128 是一個(gè)性?xún)r(jià)比比較高的起點(diǎn)50 到 200 之間都可以試但不要一上來(lái)就追 256。import torch from torch.utils.data import Dataset SEQ_LEN 128 def seq_to_ids(op_list, seq_lenSEQ_LEN): ids ops_to_ids(op_list) if len(ids) seq_len: return ids[:seq_len] return ids [OPCODE2ID[PAD]] * (seq_len - len(ids)) class OpcodeDataset(Dataset): def __init__(self, samples, labels, seq_lenSEQ_LEN): self.samples [seq_to_ids(seq, seq_len) for seq in samples] self.labels labels def __len__(self): return len(self.samples) def __getitem__(self, idx): x self.samples[idx] y self.labels[idx] return torch.tensor(x, dtypetorch.long), torch.tensor(y, dtypetorch.float)這個(gè)數(shù)據(jù)集的邏輯很簡(jiǎn)單切窗、截?cái)?、補(bǔ)齊最后返回(token_ids, labels)。__getitem__里把標(biāo)簽轉(zhuǎn)成float是為了后面用BCEWithLogitsLoss多標(biāo)簽場(chǎng)景下標(biāo)簽就是 0/1 向量不需要轉(zhuǎn)成 long。滑窗的步長(zhǎng)也是一個(gè)能影響結(jié)果的小參數(shù)。步長(zhǎng)等于窗口長(zhǎng)度時(shí)樣本之間沒(méi)有重疊數(shù)據(jù)量最小步長(zhǎng)短一些會(huì)有重疊相當(dāng)于做了數(shù)據(jù)增強(qiáng)。我一般用步長(zhǎng)等于窗口長(zhǎng)度的一半128 的窗口配 64 的步長(zhǎng)。再小就很不好看了相鄰樣本幾乎一樣訓(xùn)練集和測(cè)試集的真實(shí)差異會(huì)變小評(píng)估結(jié)果虛高。2.3 多標(biāo)簽標(biāo)注與按合約劃分防同源數(shù)據(jù)泄漏一個(gè)合約片段可能同時(shí)存在多個(gè)漏洞比如重入之外還帶未受保護(hù)的selfdestruct。標(biāo)注就不能只給一個(gè)整數(shù)類(lèi)別而應(yīng)該給一個(gè)與漏洞類(lèi)型數(shù)量等長(zhǎng)的 0/1 向量。7 種常見(jiàn)漏洞就是 7 維向量某一位是 1 表示這個(gè)窗口命中了對(duì)應(yīng)類(lèi)別。這種多標(biāo)簽設(shè)定下?lián)p失函數(shù)必須用BCEWithLogitsLoss不能隨手拿CrossEntropyLoss頂上去否則模型只會(huì)學(xué)到“每個(gè)樣本恰好一個(gè)類(lèi)”的強(qiáng)假設(shè)。數(shù)據(jù)劃分上有一條血淚經(jīng)驗(yàn)先按合約劃分再切窗順序不能反。如果先切窗再把所有窗口打亂劃分訓(xùn)練集和測(cè)試集同一個(gè)合約的相鄰窗口會(huì)同時(shí)出現(xiàn)在兩邊。這相當(dāng)于把題目和答案一起放進(jìn)考場(chǎng)序列模型對(duì)這種“鄰居片段”的識(shí)別能力又特別強(qiáng)結(jié)果就是驗(yàn)證集 F1 高得離譜到真實(shí)場(chǎng)景一測(cè)就崩。from sklearn.model_selection import train_test_split contracts list(contract_data.keys()) train_cids, test_cids train_test_split(contracts, test_size0.2, random_state42) train_samples [] train_labels [] test_samples [] test_labels [] for cid in train_cids: for seq, label in contract_data[cid][windows]: train_samples.append(seq) train_labels.append(label) for cid in test_cids: for seq, label in contract_data[cid][windows]: test_samples.append(seq) test_labels.append(label)這段代碼的關(guān)鍵點(diǎn)在于先按合約 ID 拆再取窗口。這樣測(cè)試集里出現(xiàn)的任何窗口片段都不會(huì)在訓(xùn)練集里有一個(gè)“幾乎一模一樣的鄰居”。尤其要注意的是窗口重疊生成的樣本也屬于同一個(gè)合約必須在拆分之前做好分組。3. 三種序列模型的結(jié)構(gòu)拆解LSTM、BLSTM、BLSTM注意力機(jī)制代碼層面三個(gè)模型不是三個(gè)互不相干的文件而是同一個(gè)骨架上的三種配置。我更喜歡把它們做成可以切換的實(shí)現(xiàn)這樣訓(xùn)練腳本只需要傳一個(gè)名字就能跑出三組結(jié)果。本章先把三種結(jié)構(gòu)的差異講清楚下一章直接落到可復(fù)現(xiàn)的訓(xùn)練命令。3.1 LSTM 基線門(mén)控單元怎么讀操作碼上下文LSTM 的核心單元有三道門(mén)遺忘門(mén)決定丟掉多少舊信息輸入門(mén)決定寫(xiě)入多少新信息輸出門(mén)決定放出多少信息到下一步。在操作碼序列里一個(gè)CALL出現(xiàn)之后是否跟著SSTORE以及中間隔了多少步正是這種門(mén)控設(shè)計(jì)擅長(zhǎng)處理的上下文關(guān)系。LSTM 不需要像 N-gram 那樣硬掃固定窗口它能把更早之前的位置信息保留在隱狀態(tài)里所以對(duì)“前面埋了個(gè)可疑操作幾步之后才暴露”的模式更友好。import torch.nn as nn class LSTMDetector(nn.Module): def __init__(self, vocab_size, embed_dim128, hidden_dim128, num_layers2, num_labels7): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.lstm nn.LSTM( input_sizeembed_dim, hidden_sizehidden_dim, num_layersnum_layers, batch_firstTrue, dropout0.3 if num_layers 1 else 0, ) self.classifier nn.Sequential( nn.Dropout(0.5), nn.Linear(hidden_dim, num_labels), ) def forward(self, x): emb self.embedding(x) # (batch, seq_len, embed_dim) out, (h_n, c_n) self.lstm(emb) last_h h_n[-1] # 取最后一層的最后一個(gè)時(shí)間步 return self.classifier(last_h)h_n[-1]取的是 LSTM 最后一層最后的隱狀態(tài)。有一個(gè)容易被忽視的細(xì)節(jié)h_n的形狀是(num_layers, batch, hidden_dim)如果num_layers2h_n[0]是第一層的信息h_n[1]才是第二層的最終輸出。直接取h_n[-1]是穩(wěn)妥的。dropout只在層數(shù)大于 1 時(shí)生效這是 PyTorch 的規(guī)則單層 LSTM 傳dropout會(huì)被靜默忽略。多標(biāo)簽分類(lèi)的最后一層不用加 sigmoid因?yàn)橛?xùn)練時(shí)用BCEWithLogitsLoss它內(nèi)部已經(jīng)包含 sigmoid 和數(shù)值穩(wěn)定處理推理時(shí)再單獨(dú)sigmoid。3.2 BLSTM雙向上下文為什么更適合漏洞定位LSTM 只能看到過(guò)去的信息但對(duì)操作碼序列來(lái)說(shuō)一個(gè)位置是否危險(xiǎn)往往右文比左文更關(guān)鍵。比如SSTORE之前的檢查條件寫(xiě)在更早的位置而“這個(gè) CALL 是不是外部合約調(diào)用”要從后面的指令行為推斷。BLSTM 的常見(jiàn)做法是正序和反序各跑一個(gè) LSTM輸出在特征維度上拼接讓每個(gè)時(shí)間步同時(shí)擁有前后兩個(gè)方向的上下文。class BLSTMDetector(nn.Module): def __init__(self, vocab_size, embed_dim128, hidden_dim128, num_layers2, num_labels7): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.lstm nn.LSTM( input_sizeembed_dim, hidden_sizehidden_dim, num_layersnum_layers, batch_firstTrue, bidirectionalTrue, dropout0.3 if num_layers 1 else 0, ) self.classifier nn.Sequential( nn.Dropout(0.5), nn.Linear(hidden_dim * 2, num_labels), ) def forward(self, x): emb self.embedding(x) out, _ self.lstm(emb) # (batch, seq_len, hidden_dim * 2) batch_size, seq_len, hidden_x2 out.shape hidden_dim hidden_x2 // 2 # 正序取序列最后一步反序取序列第一步拼出一個(gè)整體 last_forward out[:, -1, :hidden_dim] last_backward out[:, 0, hidden_dim:] feat torch.cat([last_forward, last_backward], dim-1) return self.classifier(feat)這里沒(méi)有直接取h_n[-1]而是把輸出張量按位置切開(kāi)拼。原因在于雙向模型里正向和反向的“最后一步”不是同一個(gè)時(shí)間點(diǎn)正向的最后一步是序列末尾反向的最后一步其實(shí)是序列開(kāi)頭。如果直接拿h_n[-1]乍一看維度是對(duì)的但內(nèi)部等于是把兩個(gè)方向各自最后一個(gè)時(shí)間點(diǎn)的信息拼起來(lái)語(yǔ)義上容易混淆。out[:, -1, :hidden_dim]取正序在序列末尾的隱狀態(tài)out[:, 0, hidden_dim:]取反序在序列開(kāi)頭的隱狀態(tài)這樣拼出來(lái)的特征才各自覆蓋了兩個(gè)方向的終點(diǎn)信息。雙向帶來(lái)的代價(jià)是顯存幾乎翻倍、訓(xùn)練時(shí)間接近兩倍。如果你的實(shí)驗(yàn) GPU 只有 4G 顯存建議先跑 LSTM 基線把流程打通再切 BLSTM 調(diào)參。3.3 注意力機(jī)制讓模型自己指出關(guān)鍵操作碼BLSTM 最后只用兩個(gè)隱狀態(tài)代表整條序列信息量還是太“擠”。注意力機(jī)制可以看作是對(duì)全部時(shí)間步做加權(quán)求和權(quán)重由模型自己學(xué)哪幾個(gè)操作碼對(duì)判定漏洞貢獻(xiàn)大權(quán)重就高。這一步不只提升 F1更大的價(jià)值是可解釋性——拿到注意力權(quán)重你能告訴別人模型是因?yàn)槟臈lCALL或SSTORE判了重入漏洞。class AttentionPooling(nn.Module): def __init__(self, hidden_dim): super().__init__() self.W nn.Linear(hidden_dim, hidden_dim, biasFalse) self.v nn.Linear(hidden_dim, 1, biasFalse) def forward(self, lstm_out, maskNone): # lstm_out: (batch, seq_len, hidden_dim) energy torch.tanh(self.W(lstm_out)) scores self.v(energy).squeeze(-1) # (batch, seq_len) if mask is not None: scores scores.masked_fill(mask 0, float(-inf)) attn_weights torch.softmax(scores, dim-1) # (batch, seq_len) context (attn_weights.unsqueeze(-1) * lstm_out).sum(dim1) return context, attn_weights注意masked_fill(mask 0, float(-inf))這一行。padding 位置的注意力分?jǐn)?shù)不能參與 softmax否則模型會(huì)把“什么都沒(méi)有”的位置當(dāng)成重要特征。這個(gè) mask 可以直接從輸入 token 里生成mask (x ! PAD_IDX)。有了AttentionPoolingBLSTM注意力模型的結(jié)構(gòu)就很清晰了class BLSTMAttnDetector(nn.Module): def __init__(self, vocab_size, embed_dim128, hidden_dim128, num_layers2, num_labels7): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.lstm nn.LSTM(...) # 配置與 BLSTMDetector 相同bidirectionalTrue self.attn AttentionPooling(hidden_dim * 2) self.classifier nn.Sequential( nn.Dropout(0.5), nn.Linear(hidden_dim * 2, num_labels), ) def forward(self, x): mask (x ! PAD_IDX).unsqueeze(-1) emb self.embedding(x) out, _ self.lstm(emb) # (batch, seq_len, hidden_dim * 2) context, attn_weights self.attn(out, mask.squeeze(-1)) return self.classifier(context), attn_weightsAttentionPooling的hidden_dim傳入的是hidden_dim * 2因?yàn)?BLSTM 的輸出特征翻倍了。推理時(shí)除了 logits 還會(huì)拿到attn_weights這個(gè)輸出保留下來(lái)后面做漏洞定位解釋時(shí)有用。4. 本地訓(xùn)練與結(jié)果對(duì)比穩(wěn)定復(fù)現(xiàn)的一套參數(shù)模型結(jié)構(gòu)定下來(lái)之后訓(xùn)練環(huán)節(jié)要解決的是“怎么省事地跑出三組結(jié)果”。我通常的做法是寫(xiě)一個(gè)帶模型名字參數(shù)的單文件訓(xùn)練腳本三組實(shí)驗(yàn)的隨機(jī)種子、數(shù)據(jù)加載、優(yōu)化器設(shè)置完全一致然后只改模型名。4.1 數(shù)據(jù)加載器與訓(xùn)練循環(huán)的最小骨架三個(gè)模型只有一個(gè)構(gòu)造函數(shù)的區(qū)別可以用一個(gè)工廠函數(shù)統(tǒng)一創(chuàng)建避免在三份腳本里復(fù)制粘貼模型參數(shù)然后改漏一處。def build_model(model_name, vocab_size, num_labels): if model_name lstm: return LSTMDetector(vocab_size, 128, 128, 2, num_labels) elif model_name blstm: return BLSTMDetector(vocab_size, 128, 128, 2, num_labels) elif model_name blstm_attn: return BLSTMAttnDetector(vocab_size, 128, 128, 2, num_labels) raise ValueError(funknown model: {model_name})訓(xùn)練循環(huán)里的默認(rèn)參數(shù)我建議統(tǒng)一為batch_size64、lr1e-3、epochs30、weight_decay1e-4。不是最優(yōu)但足夠穩(wěn)先跑通再調(diào)。from torch.utils.data import DataLoader from torch.optim import AdamW import torch.nn as nn model build_model(blstm_attn, len(OPCODE2ID), 7) optimizer AdamW(model.parameters(), lr1e-3, weight_decay1e-4) criterion nn.BCEWithLogitsLoss() loader DataLoader(train_ds, batch_size64, shuffleTrue) for epoch in range(30): model.train() total_loss 0.0 for x, y in loader: optimizer.zero_grad() logits, _ model(x) loss criterion(logits, y.float()) loss.backward() # 梯度裁剪雙向模型很容易在訓(xùn)練早期梯度爆炸 nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0) optimizer.step() total_loss loss.item() print(fepoch {epoch:02d} loss {total_loss / len(loader):.4f})這里有個(gè)細(xì)節(jié)BLSTM注意力模型返回的是(logits, attn_weights)所以訓(xùn)練時(shí)要用logits, _ model(x)解包。如果只寫(xiě)logits model(x)而不解包PyTorch 在反向傳播時(shí)會(huì)把a(bǔ)ttn_weights也當(dāng)作輸出張量雖然不一定直接報(bào)錯(cuò)但損失計(jì)算和梯度傳播的邊界會(huì)變得很混亂。梯度裁剪clip_grad_norm_是雙向模型里很實(shí)用的技巧。BLSTM 反向傳播路徑變長(zhǎng)早期梯度容易過(guò)大導(dǎo)致 loss 直接變成nan。設(shè)置max_norm5.0能避免大部分翻車(chē)但不建議設(shè)太小太小會(huì)讓模型收斂變慢。4.2 三個(gè)必調(diào)參數(shù)與經(jīng)驗(yàn)范圍參數(shù)參考值我的判斷seq_len128從 64 加到 128 效果提升明顯從 128 加到 256 收益遞減訓(xùn)練時(shí)間接近翻倍hidden_dim128數(shù)據(jù)集在幾千個(gè)樣本這個(gè)規(guī)模時(shí)256 的 hidden_dim 容易過(guò)擬合提升有限lr1e-33e-4 到 2e-3 都是可以接受的范圍建議先用 1e-3 跑 10 個(gè) epoch 看 loss 是否持續(xù)下降batch_size不算最敏感的參數(shù)但要注意它和顯存的關(guān)系。BLSTM 在 128 序列長(zhǎng)度下batch_size64大概需要 6G 左右的顯存如果把序列長(zhǎng)度調(diào)到 256batch_size不減半的話很容易 OOM。顯存不足時(shí)優(yōu)先降batch_size不要急著降序列長(zhǎng)度因?yàn)樾蛄虚L(zhǎng)度對(duì)效果的貢獻(xiàn)通常更大。4.3 評(píng)估指標(biāo)與三組實(shí)驗(yàn)怎么對(duì)比多標(biāo)簽場(chǎng)景里準(zhǔn)確率基本沒(méi)有參考價(jià)值原因是類(lèi)別不平衡很常見(jiàn)模型只需要把多數(shù)類(lèi)全預(yù)測(cè)為 0準(zhǔn)確率就能到九成以上。我更推薦看 macro-F1它給每個(gè)類(lèi)別相同的權(quán)重。precision 和 recall 也要一起看這兩個(gè)指標(biāo)一個(gè)偏高一個(gè)偏低時(shí)說(shuō)明模型在“寧可錯(cuò)殺”和“盡量不漏”之間需要調(diào)閾值。from sklearn.metrics import f1_score, precision_score, recall_score model.eval() all_preds, all_labels [], [] with torch.no_grad(): for x, y in loader_test: logits, _ model(x) preds (torch.sigmoid(logits) 0.5).int() all_preds.append(preds.cpu()) all_labels.append(y.cpu()) all_preds torch.cat(all_preds).numpy() all_labels torch.cat(all_labels).numpy() print(macro-F1, f1_score(all_labels, all_preds, averagemacro)) print(precision, precision_score(all_labels, all_preds, averagemacro)) print(recall, recall_score(all_labels, all_preds, averagemacro))三組實(shí)驗(yàn)跑出來(lái)的趨勢(shì)通常是LSTM 作為基線能到七八成的 macro-F1BLSTM 在 LSTM 基礎(chǔ)上有幾個(gè)點(diǎn)的提升主要提升在那些依賴(lài)后續(xù)上下文的漏洞類(lèi)別上BLSTM注意力機(jī)制再往上走一點(diǎn)并且給出可解釋的注意力分?jǐn)?shù)。如果 BLSTM 沒(méi)有明顯提升 LSTM先檢查數(shù)據(jù)劃分和窗口長(zhǎng)度不用急著懷疑模型結(jié)構(gòu)。4.4 保存最優(yōu)模型模型參數(shù)和元信息一起存訓(xùn)練結(jié)束后要保存的不只是模型權(quán)重還有詞表、標(biāo)簽名、模型名。單條推理時(shí)這三樣缺一個(gè)都會(huì)卡殼。我是把一個(gè) dict 整體存到torch.save里。torch.save({ model_name: blstm_attn, model_state_dict: model.state_dict(), opcode2id: OPCODE2ID, label_names: label_names, }, best_model.pt)model.state_dict()只存參數(shù)不存結(jié)構(gòu)所以必須帶上model_name加載時(shí)才能重建出相同的模型結(jié)構(gòu)。opcode2id和label_names這兩樣經(jīng)常有人漏導(dǎo)致部署階段寫(xiě)了一大堆臨時(shí)兼容代碼。加載時(shí)代碼是反過(guò)來(lái)的checkpoint torch.load(best_model.pt, map_locationcpu) model build_model(checkpoint[model_name], len(checkpoint[opcode2id]), len(checkpoint[label_names])) model.load_state_dict(checkpoint[model_state_dict]) model.eval()為什么要加map_locationcpu如果 checkpoint 是在 GPU 上存的直接torch.load到無(wú) GPU 的機(jī)器會(huì)報(bào)錯(cuò)或者強(qiáng)行占用顯存。加了map_location之后同一份訓(xùn)練產(chǎn)物既能在帶顯卡的機(jī)器上繼續(xù)訓(xùn)練也能在驗(yàn)證機(jī)上做純推理。5. 避坑與排查五個(gè)讓結(jié)果翻車(chē)的真實(shí)問(wèn)題這個(gè)方向看起來(lái)流程短實(shí)際上每個(gè)環(huán)節(jié)都有暗坑。下面的五條是我自己跑這個(gè)方案時(shí)踩過(guò)的按影響程度排序每一條我都給出“現(xiàn)象、原因、解決”三段式記錄方便你對(duì)照自己的情況排查。5.1 數(shù)據(jù)泄漏窗口切完才按窗口分割現(xiàn)象驗(yàn)證集 macro-F1 高到 0.9 以上自己都覺(jué)得離譜換一批新合約一測(cè)直接跌回 0.6。原因我最早是先把所有合約的窗口全部切出來(lái)打亂之后再劃分訓(xùn)練集和測(cè)試集。由于滑窗有重疊同一個(gè)合約的相鄰窗口內(nèi)容高度相似模型等于在訓(xùn)練時(shí)見(jiàn)過(guò)測(cè)試樣本的“鄰居片段”自然學(xué)到的不是泛化特征而是對(duì)特定字節(jié)碼片段的記憶。解決改成先按合約 ID 劃分再切窗。這一步改動(dòng)之后驗(yàn)證集數(shù)字立刻變得“難看”許多但才是真實(shí)水平。5.2 詞表前后不一致新測(cè)試樣本直接 KeyError現(xiàn)象訓(xùn)練一切正常換一批測(cè)試合約后推理代碼在OPCODE2ID.get(op)處崩潰報(bào)出某個(gè) PyTorch 不認(rèn)識(shí)的字符串。原因我最初是直接對(duì)訓(xùn)練集做set()構(gòu)建詞表訓(xùn)練集里見(jiàn)過(guò)的操作碼有限測(cè)試集里出現(xiàn)了一個(gè)從未見(jiàn)過(guò)的操作碼詞表查不到就炸了。更隱蔽的是同一個(gè)操作碼在不同 solc 版本里的助記符可能略有差異。解決固定一張按操作碼規(guī)范生成的完整詞表并給所有映射不到的詞一個(gè)UNK兜底。不要信任動(dòng)態(tài)詞表所有代碼里唯一允許出現(xiàn)dict.get默認(rèn)值的地方就在這里。5.3 類(lèi)別不平衡準(zhǔn)確率虛高關(guān)鍵漏洞幾乎全漏現(xiàn)象總準(zhǔn)確率顯示 0.9但打開(kāi)混淆矩陣發(fā)現(xiàn)某一個(gè)冷門(mén)漏洞類(lèi)別的 recall 是 0模型把所有樣本都預(yù)測(cè)成了“無(wú)漏洞”。原因數(shù)據(jù)集中無(wú)漏洞樣本或常見(jiàn)漏洞占了壓倒比例模型學(xué)會(huì)無(wú)腦預(yù)測(cè)多數(shù)類(lèi)就能拿到高準(zhǔn)確率。交叉熵或普通 BCE 對(duì)少數(shù)類(lèi)沒(méi)有額外關(guān)注梯度完全被多數(shù)類(lèi)主導(dǎo)。解決換成 macro-F1 做評(píng)估指標(biāo)同時(shí)在損失函數(shù)里給少數(shù)類(lèi)更高的權(quán)重。PyTorch 的BCEWithLogitsLoss有pos_weight參數(shù)可以直接按類(lèi)別頻率反比設(shè)置。# 假設(shè) class_freq 是各漏洞類(lèi)別在訓(xùn)練集里的占比列表 pos_weight torch.tensor([1.0 / f for f in class_freq]) criterion nn.BCEWithLogitsLoss(pos_weightpos_weight)pos_weight的取值邏輯很簡(jiǎn)單某個(gè)類(lèi)別出現(xiàn)得越少權(quán)重越大。比如一個(gè)類(lèi)別只占 5%那它的權(quán)重就是 20。這會(huì)逼迫模型在梯度更新時(shí)把注意力分給少數(shù)類(lèi)。但注意不要把這個(gè)值設(shè)得過(guò)大否則模型會(huì)走向另一個(gè)極端把大量正常合約誤報(bào)成漏洞precision 反而崩掉。5.4 序列長(zhǎng)度和批量大小互相打架顯存 OOM 頻繁現(xiàn)象把seq_len從 128 調(diào)到 256 之后原來(lái)穩(wěn)定的batch_size64在訓(xùn)練中途報(bào) CUDA out of memory。原因雙向 LSTM 需要保存前向后向兩條傳播路徑的中間結(jié)果序列長(zhǎng)度翻倍顯存占用不止翻倍注意力機(jī)制還要保存所有時(shí)間步的打分矩陣顯存壓力進(jìn)一步增大。解決先降batch_size到 32 或 16確認(rèn)能跑通再觀察顯存利用率。如果仍需 256 的序列長(zhǎng)度可以先用 128 調(diào)好其他參數(shù)最后再拉長(zhǎng)序列做終版實(shí)驗(yàn)避免每次調(diào)參都在等 OOM 后重啟。5.5 固定隨機(jī)種子后結(jié)果仍然不穩(wěn)定現(xiàn)象設(shè)置了random.seed、np.random.seed連續(xù)兩次跑同一組實(shí)驗(yàn)loss 曲線不完全一致。原因PyTorch 的 GPU 算子本身有非確定性DataLoader 的 shuffle 也會(huì)引入隨機(jī)性只固定 Python 和 NumPy 的種子覆蓋不到這些環(huán)節(jié)。解決使用一個(gè)完整的種子設(shè)置函數(shù)并把 DataLoader 的隨機(jī)源也固定下來(lái)。import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False如果你的模型對(duì)數(shù)字極其敏感還要把 DataLoader 的generator一起固定。torch.Generator()傳入一個(gè)固定種子的示例g torch.Generator() g.manual_seed(42) loader DataLoader(train_ds, batch_size64, shuffleTrue, generatorg)注意一點(diǎn)cudnn.deterministic True會(huì)犧牲一部分運(yùn)行速度只建議在復(fù)現(xiàn)最終結(jié)果時(shí)開(kāi)啟日常調(diào)參可以關(guān)掉讓訓(xùn)練跑得更快。6. 把模型部署成本地推理從 checkpoint 到單條字節(jié)碼預(yù)測(cè)訓(xùn)練只是這個(gè)方向的一半另一半是把模型真正用起來(lái)。一個(gè)模型如果不部署永遠(yuǎn)只是實(shí)驗(yàn)報(bào)告里的數(shù)字。本章給出一個(gè)能在本地直接運(yùn)行的推理鏈路從加載模型到輸出漏洞概率再到解釋推理依據(jù)。6.1 用 checkpoint 恢復(fù)模型并做單條預(yù)測(cè)推理腳本的模型構(gòu)建必須和訓(xùn)練時(shí)完全一致。我已經(jīng)把opcode2id、label_names保存在 checkpoint 里加載時(shí)直接取用不寫(xiě)任何硬編碼的維度數(shù)字。checkpoint torch.load(best_model.pt, map_locationcpu) model build_model( checkpoint[model_name], len(checkpoint[opcode2id]), len(checkpoint[label_names]), ) model.load_state_dict(checkpoint[model_state_dict]) model.eval() def predict_bin(bin_code, seq_len128, threshold0.5): ops [str(op) for op in disassemble_all(bin_code)] ids [OPCODE2ID.get(op, OPCODE2ID[UNK]) for op in ops] ids ids[:seq_len] [OPCODE2ID[PAD]] * max(0, seq_len - len(ids)) x torch.tensor([ids], dtypetorch.long) with torch.no_grad(): logits, attn_weights model(x) probs torch.sigmoid(logits).numpy()[0] result {} for i, label in enumerate(checkpoint[label_names]): result[label] float(probs[i]) return result, attn_weights單條推理的關(guān)鍵是全程不計(jì)算梯度用torch.no_grad()包住前向傳播顯存占用會(huì)小一個(gè)量級(jí)。推理速度一般在毫秒到十幾毫秒取決于序列長(zhǎng)度和模型維度本地部署完全夠用。6.2 閾值不必固定 0.5注意力權(quán)重是解釋入口多標(biāo)簽輸出經(jīng)過(guò) sigmoid 之后每個(gè)類(lèi)別的概率是一個(gè) 0 到 1 之間的數(shù)字。默認(rèn)取 0.5 作為判定閾值但冷門(mén)類(lèi)別可能因?yàn)闃颖旧俣w概率偏低此時(shí)可以考慮把閾值降到 0.35 或 0.4 來(lái)提升召回反過(guò)來(lái)如果誤報(bào)太多就調(diào)高閾值。這個(gè)閾值應(yīng)該放在測(cè)試集上試幾組值選 macro-F1 最高的那個(gè)而不是拍腦袋定。注意力權(quán)重是這個(gè)模型比普通 BLSTM 多出來(lái)的紅利。推理時(shí)我已經(jīng)把a(bǔ)ttn_weights帶出來(lái)了可以找到權(quán)重最大的那幾條操作碼告訴使用者模型依據(jù)什么做的判斷。top_idx attn_weights[0].argmax().item() print(f模型最關(guān)注的位置: seq {top_idx}, opcode {ops[top_idx] if top_idx len(ops) else PAD})如果模型在CALL附近給了一個(gè)明顯高于周?chē)臋?quán)重那這個(gè)判斷就有了可解釋的依據(jù)。這一點(diǎn)在畢業(yè)設(shè)計(jì)答辯時(shí)非常加分也是我推薦做注意力模型而不是只做 LSTM 的最重要原因。6.3 這個(gè)方案值不值得投入以及往深走的三個(gè)方向作為畢業(yè)設(shè)計(jì)這個(gè)方向性?xún)r(jià)比很高數(shù)據(jù)構(gòu)造方法清晰、三種模型對(duì)比有梯度、指標(biāo)設(shè)計(jì)有講究、部署落地不復(fù)雜足夠撐起一個(gè)完整的技術(shù)報(bào)告。但也要誠(chéng)實(shí)說(shuō)清楚它的邊界基于操作碼序列的模型更像一個(gè)“模式識(shí)別器”能發(fā)現(xiàn)和訓(xùn)練集中已知漏洞相似的模式但它并不理解操作碼背后的語(yǔ)義遇到全新類(lèi)型的漏洞時(shí)它的召回能力有限。想把這個(gè)方案做得更扎實(shí)有三個(gè)方向值得投入第一個(gè)是把字節(jié)碼層面的純序列建模升級(jí)為融合語(yǔ)義特征的多輸入模型比如把靜態(tài)分析器輸出的“調(diào)用圖結(jié)構(gòu)”和操作碼序列并行輸入讓模型不只看到指令順序還看到函數(shù)之間的調(diào)用關(guān)系。第二個(gè)是利用注意力權(quán)重做漏洞定位的可視化把模型認(rèn)為危險(xiǎn)的操作碼高亮出來(lái)再結(jié)合人工審計(jì)確認(rèn)這樣模型的輸出就不只是一堆概率而是可以直接進(jìn)入審計(jì)工作流的提示。第三個(gè)是預(yù)訓(xùn)練方向用大量未標(biāo)注的合約操作碼序列先預(yù)訓(xùn)練一個(gè)序列編碼器再在小規(guī)模標(biāo)注數(shù)據(jù)上微調(diào)原理類(lèi)似文本領(lǐng)域的做法。這條路能明顯緩解標(biāo)注樣本不足的問(wèn)題但訓(xùn)練成本和數(shù)據(jù)收集成本都比較高適合作為后續(xù)延伸研究。我自己把這個(gè)方案從數(shù)據(jù)處理到部署完整跑過(guò)一遍之后最大的體會(huì)是數(shù)據(jù)劃分和詞表一致性這兩件事比調(diào)模型結(jié)構(gòu)參數(shù)更影響最終結(jié)果。很多同學(xué)一上來(lái)就折騰模型層數(shù)結(jié)果數(shù)據(jù)泄漏導(dǎo)致指標(biāo)虛高而不自知白白消耗了時(shí)間。走這個(gè)方向先把數(shù)據(jù)鏈路做干凈模型部分反而是一個(gè)按部就班就能出結(jié)果的過(guò)程。希望這篇筆記能幫你少走幾步彎路。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月天欧美图片在线播放电驴| 五月婷久久| 久久丁香九| 激情AV在线| 久这里只有精品| 亚洲AV影片在线观看| 丁香婷婷五月| 国产99视频永久免费| 激情色情五月天| 色5月婷婷色| 一区二区中文字幕| 99热新网址| 成人综合网站| 亚洲五月婷| 97色色色色色色色色色色色色色| 大香蕉五月天婷婷| 第四色大香蕉| 色情激情五月婷婷| 超碰在线免费观看日韩| 婷婷五月天久久久| caop在线| 殴美日韩成人| 99亚洲无码| 欧美日韩成人在线| 97人人看| 天堂综合久久| 涩婷婷视频快播人妻| 99精品视频免费观看| 婷婷五月天综合小说网| 人人干AV| 色色日韩无码| 色黑鬼导航| 97碰碰在线观看视频| 亚洲乱码精品久久久久..| 丁香婷婷成人网站| 99热国产这里只有精品| 97色婷婷五月天| 色啪影院| 久综合网| 爱射综合| 激情网站五月| 久久五月天色婷婷| 五月天婷婷色色| Caoub青青超碰| 六月丁香五月婷婷| 亚洲无AV在线中文字幕| 9热网站| 97人人超| 天天影院色| 天天草天天爽| 99亚洲视频| 婷婷五月天成人网站| 成人视频九九| 99在线观看精彩视频| 99黄色性生活| 97成人丁香婷婷| 91尤物九色在线| 又大又粗九一在线| 91a片爽| 国产AV国片偷人妻麻豆| 中文幕无线码中文字蜜桃| www.五月天婷婷| 婷婷性爱网| 开心激情五月天网| 婷婷色在线视频| 婷婷草| 狠狠久综合| 提提热五月天婷婷| 五月激情婷婷女| 襙比视频| 第四色五月天| 婷婷久久亚洲| 五月天婷婷影院| 玖玖爱资源站| 亚洲操B| 99久久婷婷| 开心婷婷五月| 欧美情色电影一区二区| 久久日本wwww色| 欧美人人草草| 99色五月| 综合狠狠伊人| 亚洲一区二区无码蜜乳av| www.狠狠色.com| 六月婷婷七月丁香| 99热都是精品| 五月天另类激情在线| 俺去也综合| 啪啪一区| 九九热99精品| 91九色 婷婷| 色色色地址| 九九精品综合| 综合热无码| 99re思思精品在线观看| 亚洲欧美婷婷五月色综合| 99久久玖玖| 玖玖综合色| 五月天婷婷社区| 日韩成人网址| 亚洲啪啪精品| 五月婷丁香花| www.五月天激情| www.夜夜操| 久久五月激情| 爱操天堂| 亚洲av综合网| 中文成人在线| 97色婷婷五月天| 网色99| 五月激情综合美女久久| 天天夜夜操| 一起操最新网址| 激情五月小说婷婷| 亚洲1区| 婷婷丁香色五月| 伊人丁香五月婷婷潮吹| 亚洲成人免费在线| 五月天婷婷无码视频| 久久人妻乱| 亚洲99热| 亚洲AV永久无码影院黑人| 色色色色色色色色色色色色色97| 天天插天天很| 亚洲啪啪网| 激情综合婷婷| 色五狠狠| 97色干| 99网| 九月丁香| 人人摸人人澡人人| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 色优久久| 美欧成人视频| 亚洲色亚洲精品| 九九视屏| 亚洲丁香婷婷| 久久五月丁香六月婷| 国产无套精品一区二区| 91久久日日| 玖玖在线| 五月久视频| 狠狠综合网| 亚洲成人无码免费| 婷婷丁香人妻久久在线观看| 色99在线| 久久性爱视频| 色哟哟精品| 色五月综合激情网| 青青操绿aaa一区日v| 色五月第四色| www.婷婷com| 色播六月| 婷婷五月色综合| 色婷婷综合久久| 黑人无码一区| 六月天婷婷| 疯狂做受XXXX高潮A片| 日本三级中国三级99| 天天综合网亚洲综合网| 五月开心久久| 五月婷成人| 色婷婷亚洲五月天| 久久精品五月| 激情婷婷五月社区| 欧美人人草草| 亚洲欧美国产高清vA在线播放| 久久机热/这里只有精品| 一区二区传媒视频| 狠狠色综合精品视频在线| 亚洲九区| 亚洲美女婷婷五月天| 类似婷婷激情综合网站| 国产免费一区二区三州老师F1F1……| 婷婷五月天黄色小说| 天天插天天插| 亚洲十月婷婷综合| 久热一区| 激情网五月天| 狠狠草天天草| 思思99热| 激情五月婷婷色播网| 色色国产| 狠狠另类视频| 夜夜嗨一区二区三区直播内容| 婷婷五月天受日本法律保护| 99精品网| 午夜不卡成人一区二区| 久777| 五月婷婷色综图片| 久操欧美在线观看97| Av大香蕉| 欧美黑人巨大性生话| 亚洲一个色| 亚洲中文字幕AV| 丁香婷婷五月色成人网站| 丁香久久| 人人操操97| 最新五月天婷婷影| 99 福利 导航| 九九99精品视频| 丁香五月手机视频| 欧美三日本三级少妇三99| 婷婷五月天午夜激情影院| 99热这里只有精品2| 免费观看高清无码| 久色激情| 五月婷婷丁香啪啪| 五月开心播播网| 丁香成人综合| 六月丁香AV| 五月天激情电影| 中文字幕无码成人电影| 亚洲AV网站| 91超级碰| 色色色色色色综合网| 五月丁香婷婷五月色| 六月丁香花婷婷| 久久久久9999| 午夜精品777| 丁香五月激动深爱欧美| 久久美女五月天| 久久国产高清| 99免费在线视频| 五月婷色丁香| 1024成人在线观看| 疯狂做受XXXX高潮A片| 天天操天天操| 五月婷婷导航| 国产亚洲精品AAAAAAA片| 五月激情丁香久久综合网| 天天操人人干| 欧美激情综合色丁香婷婷五月天| 久久色天堂| 99热这里| 五月婷AV| 涩五月婷婷| 另类少妇人与禽zOZZ0性伦| 欧美色色色色色色色| 在线中文字幕免费视频| 色狠狠综合| 色播丁香五月婷婷操:屄| 五月桃花网综合| 六月激情综合| 五月天自拍网| 超碰91在线| 大地9中文在线观看免费高清| 亚洲综合色棒| 97人人做| 日韩无码亚欧无码| 欧美人妻一区二区| 五月天亚洲色| 五月婷色丁香| 另类激情五月| ,99视频久久| 国av网| 97精品自拍视频| 亚洲丁香婷婷五月天综合色| 日韩肏屄网| 国产乱人偷精品人妻A片| 婷婷丁香五月色| 激情小说五月天社区丁香| 九月色婷婷婷| 中文成人在线| 老司机日日夜夜青草| 五月婷在线视频免费播放| 久久婷五月综合| av大片在线| 超碰com| 这里只有精品99www| AV操逼网| 久久99精品久久久久久三级| 日韩有码一区| 99国产精品白浆在线观看免费 | 五月天另类小说久久小说网| 操国产人妻| 色日本颜射| 亚洲AV成人在线| 婷婷五月天天aV| 婷婷色色狠狠| 亚洲中文av| 九月婷婷在线观看| 九九激情| 超碰在线99| 青青草五月天| 婷婷色五月色| 操逼视频网址| 婷婷99狠狠躁天天久久久九九九| 色婷婷AV在线| 停停五月丁香| 久久思思精品| 色色欧美色色| 五月天另类图片| 国产精品五月丁香| 久久久妻人人人| 午夜爱爱网站| 激情久久肏屄视频| 综合99综合久久久久久久| 91在线看片| 九九色情网站| 国产毛片精品一区二区色欲黄A片| 亚洲综合视频网| 99热精品9| 午夜 外网 精品 在线| 97操在线视频| 五月天丁香六月综合| 婷婷五月丁香激情图片| 婷婷色色丁香| 国产免费av在线| 9色免费网| 少妇被躁爽到高潮无码文| 色色色色网| 91日本在线| 久久五月天婷婷| 99亚洲日韩| 思思国产99| 天天日天天狠狠操| 五月婷免费视频久久久| 久久视频九九视频| 成年人看Va免费视频| Www.Av网9| yw国产AV| 丁香玖玖视频大全| 91婷婷搞| 91在线视频综合| 91日韩美女被插视频| 天堂爱啪啪| 久久超级碰碰| 婷婷色五月综合丁香| 狠狠综合| 婷婷色色网| 狠狠人妻久久久久久综合丁香| 婷婷激情五月综合基地| 亚洲va欧美va国产综合久久久| 深爱激情九九五月天 | 色五月 五月婷婷| 97丁香五月| 精品人人操| 久久久久er热| 中文字幕网伦射乱中文| 色五月,婷婷大香蕉| 色五月婷婷综合在线| 激情五月丁香五月色| #NAME?| 九九热99精品| 激情五月婷黄版| 天天干夜夜b| www.思思99热| 超碰人人91| 五月婷视频| 五月开心播播网| 亚洲精品中文字幕成人片| 97干欧美| 国精产品一区二区三区| 欧美三日本三级少妇三99| 色五月激情综合网| ji'qing'luan'ren'lun| 99热思思| 免费无码毛片一区二区A片| 精品亚洲国产成AV人片传媒| 亚洲AV第二区国产精品| 天天摸天天舔天天爽| 人妻肉射免费观看| 超碰日日操| 五月激情综合网| 丁香婷婷成年| 五月婷婷六月丁香综合| www.sezonghe| 亚洲色网络| AA片在线观看视频在线播放 | 九九热免费| 99燥99日| 久久九九爽| www.夜夜操.con| 色5月婷婷| 久9久9久9久9久9久9| 熟惀91九色在线| 亚卅毛片| 综合网五月天123| 激情综合色图| 在线免费视频caop| 五月丁香六月婷婷综合在线| 丁香五月天婷婷中文字幕| 久久久18| 任你日热视频| 精品久久久久久久久久久久人妻| 久久3p| 99热精品在线| 国产免费av在线| 五月天婷婷六月激情网| 中文久久婷婷| 欧美激情综合色综合| 婷婷九月激情| 久热AⅤ| 人人色AV| 色婷婷基地| 男人的天堂在线婷婷| 日本一道久久| 任你搞网站| 久久婷婷五月综合色区| 婷丁香五月天| 五月丁香六月欧美综合网站| 五月丁香亭亭操逼| 天天做天天爽| 免费在线a| 婷婷五月天成人在线视频| 五月天久久网站| 操人91| 99乱视频| 六月激情久久| 超级碰91| 日日色综合| 久在热99| 五月婷婷丁香综合网| 国产精自产拍久久久久久蜜| av 一区三区四区| 丁香婷婷五月六月久久| 婷婷色在线视频| 亚州色色色| 97碰碰草| 婷婷丁香色五月久久88| 99亚洲精品综合在线| 五月丁香六月婷婷不卡免费无码| 专区无日本视频高清8| 极品色丁香| 99精品自拍| 亚洲天堂无码| 99热这里只有在线| 偷拍九九热| 五月天婷婷开心| 天天操综合网| 我要色综合五月婷婷| 五月综合久久| 无码地址| 日日操日日射| 婷婷综合中文字幕| 久久久五月四色| 天堂在线伊久| 五月婷婷丁香社区| 五月 激情视频| 夜夜谢天天干| xxxx久| 久操97| 亚洲色图五月丁香| 狠狠综合| 草AV9999| 碰人人97| 免费观看的av| 丁香九月激情| 免费无码毛片一区二区A片 | 激情AV在线| 亚洲精品视频电影| www婷婷| 五月激情五月丁香| 综合久久十三| 丁香婷婷在线| 97极品在线| 欧美人妻一区二区| 五月激情综合五月| 在线看av| 99re思思热久久| 丁香五月色综合色播五月| 男女啪啪做爰高潮无遮挡| 婷婷色五月天第7色| 超喷97免费在线视频| 九九热这里只有精品31| 猫咪伊人久久| 国产成人精品亚洲线观看| 天天爽天天爽夜夜爽| 免费看片操逼| 任你爽视频| 五月天婷婷青青草| 2017人人操| 五月亭亭直播| 99热这是里只有精品| 久久九九激情五月天| www.婷婷com| 六月丁香五月婷婷| 日韩一级A片黄色| 疯狂做受XXXX高潮A片动画| 99热12| 第五婷婷伊人丁香色| 婷婷激情图片| 中文网av| 婷婷久久午夜网| 蜜乳AV成人| 91爱啪啪| 五月婷婷六月丁香综合| 九九热这里只有精品首页| 超碰色热| 思思精品视频| 可以直接看的av| 婷婷亚洲五| 噜噜五月天综合| 丁香六月欧美| 久久这里只有精品热在99| 色婷婷在线播放| 黄网在线播放| 97操碰在线视频| 综合丁香婷婷五月天| 婷婷五月综合丁香久久| 亚洲午夜AV| 五月天成人小说网| 狠狠操天天操综合| 97在线/亚洲| 狠狠婷婷色| 色婷婷久久综合| 日本www五月婷婷| 婷婷五月丁香欧洲| 伊人香大香蕉视频| 67194国产| 女人天堂久久| 五月婷婷开心丁香| 欧美日韓成人亚洲精品另类| 51成人| 91久久人人操| 久9热| 在线观看免费狠狠色丁香香综合| 国产精品视频久久99| 深爱婷婷基地| 日韩一级A片黄色| 最新日韩AV中文字幕| 九色婷婷| 亚洲综合成人网| 久久精品噜噜噜成人A∨色欲| 激情综合五月| 久热免费| 婷婷九月丁香| 婷婷97碰碰| 婷婷射丁香| 99亚洲大片精品永久在线观看 | 五月婷婷综合网| 色婷婷丁香| 精品久久久人妻| 五月在在观看| 色天天久婷婷| 婷婷五月天视| 五月婷五月婷伊人伊人五月婷| 亚洲精品中文字幕成人片| 综合六月久久| 国产欧美精品AAAAAA片| 久久婷婷五月天| 中文字幕在线日亚洲9| 亚洲精品婷婷| 婷婷综合成人| AV性爱网| 色色色综合网| 激情综合五月| 日本激情91| 国产精品美女| 色综合久久天天综合网| 97色婷婷| 激情五月天激情小说| 99精品综合视频| 人人操婷婷| 国产熟女日日骚五月丁香爱| 五月天社区| 久久综合中文| 婷婷五月天影院| 99精色| 色丁香久久| 九九热re99re6在线精品| 激情六月婷婷| 久久总和99| 久久婷婷热| 婷婷五月香蕉| 六月婷婷色综合| 五月丁香六月激情综合| www.狠狠| 九九草草逼| 久草嫩草在线观看| 91人人澡人人爽人人看| pom538精品视频| 日韩人妻在线观看| 丁香婷婷六月天| 婷婷丁香社区网| 这里只有精品,日韩视频| 五月婷高清视频| 欧美在线骚货| 丁香婷婷激情网站| 91凹凸在线| 涩五月婷婷| 国产美女无遮挡裸体毛片A片| 亚洲精品又粗又大又爽A片| 超碰婷婷色| 欧美婷婷九月| 亚洲AV免费在线| 久久er九九| 色色色色色色97| 五月天啪啪啪| 亚洲人人操| 福利视频在线播放| 91在线观看www| 操操国产| 婷婷五月天com| 婷婷六月情| 亚州操操| 亚洲欧美在线观看| 国产操B| 六月婷色| 五月丁香婷婷五月色| 欧美色色色色色色色| 久久婷婷五月综合激情国产 | 极品精品一区二区三区在线| 91丨九色丨熟女丰满| 综合激情啪啪| 天天谢天天操| 丁香婷婷六月天| 精品香蕉99久久久久网站| 婷婷中文网站| 色波激情五月天| 激情五月天无人视频在线| 婷婷丁香成人| 情色五月天 网站| AV电影在线播放| 欧美激情五月天在线观看| 99热这里只有精品中文字幕| 超碰国产在线| 狠狠色噜噜狠狠| 26uuu亚洲欧美另类| 激情五月天啪啪| 国产精品久久久久9999小说| 欧美久久网| 5月色亭亭视频| 五月天久久91| 免费观看全黄做爰的视频| 久久超视频| 狠狠搞五月天| 五月天色综合| 婷婷色五月大香蕉在线| 五月六月播婷婷| 色噜噜狠狠狠综合曰曰曰| 丁香六月综合激情| 日韩黄色AV无码| 在线综合婷婷| 中文字幕永久免费| 2022人人操人人看| 99热这里只有精品无码| 久久香蕉影院| 综合激情在线| 79精品视频在线观看,| 免费无码毛片一区二区A片| 色热久| 激情六月综合| 色和综合网| 精品婷婷五| 五月天婷婷色色网| 亚州婷婷五月激情综合| 互月天综合| 天天操夜夜操| 狠狠综合网| 激情99| 色天使久久综合| 丁香五月日啪| 五月婷婷开心网| 影视av久久久噜噜噜噜噜三级| 99免费热视频| 国产女18毛片多18精品| 狠狠狠狠狠狠草| 九九99精品视频在线观看| 色婷婷丁香九月| 激情五月天无人视频在线| 九九九九操逼| 九九在线免费观看| 香蕉人妻AV久久久久天天| 99热 这里只有精品 国产 日韩| 丁香五月婷婷在线| 亚洲激情六月| 国产婷婷五月色情综合| 中文字幕精品推荐免费在线观| 色五月婷婷啪啪五月| 人妻丰满精品一区二区A片| 无码四色色色| 婷婷天堂站| 色,激情五月天| 五月丁香婷婷基地| 久久99婷婷| 99在线热| 婷婷五月天受日本法律保护| 九九热精品| 五月天激情综合在线| 五月天激情四射| 伊人丁香六月婷婷| 99这里有精品| renre人人操国产超碰在线| A片试看50分钟做受视频| 少妇激情五月婷婷| 国产一级视频a| AV天堂淫乩| 99精品国产在热久久| 丁香五月综合在线播放| 成人免费超碰| 中文资源在线a| 国产成人网站在线观看| 色欲久久综合| 色五月丁香总合网| 9久热在线视频| 丰满人妻一区二区三区| 久久久久9| 99热在线观看| 婷婷五月激情在线| 99五月婷| 日日操日日撸| 丁六月激情| 九九成年视频| 欧美 日韩 成人 在线| 国产成人网址| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 久久久五月婷婷| ou洲色吧| 丁香九月综合激情| 五月丁香综合啪啪啪啪啪| A片试看120分钟做受图片| 激情五月天无人视频在线| 欧美色色色色色色色色色色| 日本久久天堂| 激情五月婷婷老师| 久久性爱视频| 图片区 小说区 区 亚洲五月| 一本伊人色婷| 色婷婷亚洲| 成 人片 黄 色 大 片| www.久久av.com| 99热爱爱干干日| 伊人综合网站| 天堂AV在线看| 色丁香五月婷婷| 婷婷色色综合| 在线观看av网站| 亚洲一色色色色色色色色| 91干99| 91碰碰| 熟女激情五月天| 开心五月天私房婷婷| 另类婷婷五月天啪帕帕| 丁香五月天网站| 婷婷丁香五月综合激情小说| 婷婷五月天丁香| 激情综合五月丁香六月婷婷| 激情综合五月天| 亚洲色视频| 三区激情四射av| 精品AV无码超碰| 91丨九色丨熟女高潮| 狠狠插狠狠| 91日本在线观看| 婷婷丁香婷婷97| 五月婷婷六月天| 五月婷丁香| 99这里只有精品国产| 五月天AV大香蕉| 国产精品久久久久久久久久| 亚洲AV日韩在线观看| 五月激情在线| 碰97久久| 亚洲夜夜操| 久久久精品视频79| 丁香五月综合久久| www五月婷婷| 激情小说婷婷| 色久女| 天天综合在线网| tingting五月天亚洲| 亚洲婷婷激情综合激情999精品| 色婷婷基地 | 超碰久热| 天天色99| 婷婷五月天小说网| 天天日天天操天天干| 九九碰九九爱97| 九九久久高清| 亚洲AV无码电影| 伊人激情AV一区二区三区| 第四色大香蕉| 久久99热这里只有精品| 俺去也在线官网| 丁香婷婷五月天色综合| 五月婷久久| 停停六月 综合| 色婷婷成人色网| 国产看真人毛片爱做A片| 91精品综合久久久久久五月丁香| 五月婷婷草| 深爱激情六月天| 六月丁香婷婷在线波多 | 激情五月婷婷欧美极品| 五月婷中文字幕| 色婷婷狠狠久久YY| 色婷成人狠干| 色婷婷在线影院| 在线sebiav精品视频| 久久九九热38| 婷婷久久色五月婷婷久久久| 大陆极品少妇内射AAAAAA| 大香蕉综合| 99热久| 丁香婷婷影院| 五月婷婷丁香六月| 大香蕉五月天婷婷| 丁香五月婷婷六月| 97色色网| 欧美大片免费播放器| 99热官网| 久色精品| 北条麻妃伊人 | 91xxxx九色| 欧美日韩五月婷婷| 婷婷丁香五月色偷偷| 九色PORNY自拍成人精彩视频| 五月丁香亭亭操逼| 亚洲成人网在线观看| 99re思思| 丁香五月宝贝激情网| 五月欧美色色五月| 色色色无码| 日韩欧美成人片| 99精品久久久| 婷婷五月成人| 97超碰免费超级在线观看| 字幕网AV中文字幕| 欧美日韩五月婷婷| www.99婷婷| 五月婷婷黄色| 26uuu亚洲欧美| 色播五月婷婷五月| 激情五月色婷婷| 五月大香蕉| 91妻人人爽人人看片| 大香蕉在线99热| 色婷婷久久天天性爱| 久久久久久久久久8888| xxxx五月| 五月婷婷69| 91偷拍视频| WWW,五月| 91操人人操| www99xxxx五月丁| 超碰在线精品| 婷婷五月天激情综合| 久久久久久综合五月婷婷| 五月综合婷婷五月| 成人版视频在线观看| 日日操日日撸| 亚洲精品无码A片一区二区| 色婷婷丁香AV综合| 久久久久久综合88| 99热精这里只有精品| 免费观看的婷婷五月视频在线| www.五月天色色.com| 人人操AV| 成人 九九九九| 婷婷五月av| 婷婷色五月色妇| 丁香久久久| 99操碰| 久久精彩视频99| 婷婷色导航| 丁香五月天啪啪激情综和网| 天堂久久婷婷| 三人荫蒂添的好舒服A片| 91色九| 五月丁香六月婷婷亚洲| 九色91视频| 日本三级日本黄色| 99超级碰免费视频| 五月天社区狠狠| 99热超碰在线| 9999热在线观看| 欧美精品999| 99热这里只有是亚洲国产| 五月丁香影院| 伊人婷婷99热精品| 中文字幕在线观看视频www| 婷婷激情五月天小说| 综合五月婷婷| 人妻激情视频| 天天添天天摸天天天天做| 色婷婷www| 婷婷黄色网| 在线观看的av| 久久99免费视频| 91精品久久久久久77777| 九九久久精品國產| 婷婷五六日| 九九婷婷综合| 日韩成人影片在线观看| 色久婷婷网| 香蕉狠狠爱视频| 有码一区二区三区| 91操色| 五月天综合久久| 婷婷五月超碰| 激情五月综亚网| 亚洲精品国产成人AV在线| 九九成人电影婷婷| 六月婷婷无码| 天天射影院| aaaa久久| 丁香香五月激情免费视频| 亚洲综合在线播放| 丁香五月婷婷久久久| 亚洲婷婷开心五月| 六月丁香激情网| 26uuu偷拍亚洲欧洲综合| 思思视频这里是精品| 色在线99| 九九超碰人人| 国产精品日韩十五区| 色婷婷成人| 久久久18| 91狠狠综合久久久久久| www.久久久久久| 婷婷五月天激情AV影院| 伊人综合网站| 久久久久婷婷五月热综合| 婷婷精品免费久久| 中文字幕欧美久久| 久久久久人妻网址| 色婷婷小视频| 日本熟女一区二区| 亚洲免费综合一区| 亚洲人妻一区二区| 国产人妻人伦精品一区二区| 激情婷婷五月亚洲| 涩五月婷婷| 色欲婷婷五月天| 日本色爽| 99热99思午夜精品| 婷婷五月天六点丁香五月| 久久曰9| 疯狂做受XXXX高潮A片动画| 综合激情五月四射婷婷| 欧美这里只有精品| 激情图片亚洲| 九九热在线精品视频| 久久狠狠欧美| 久久这里有精品| 激情丁香婷婷六月天| 亚洲中文乱字字幕在线永久| 久久99热这里只有精品首| 欧洲色色| 激情欧美婷五月| 思思久久99热只有频精品66| 色综合色欲综合天天免费| 香蕉AV福利精品导航| 天干干夜夜操| 婷婷丁香91综合| 婷婷五月天综合小说网| 五月激情丁香啪啪| 色婷婷社区| 欧美啪啪五月天| 欧美啪啪9| 伊人99热| 欧美成人精品A片免费一区99| 婷婷五月天伦理| 丁香婷婷激情| 韩国久久少妇视屏| 色很久综合| 玖玖爱综合网| 夜夜夜天天操| 久久久久久人妻| 久久久久久综合五月婷婷| 欧亚中文A V| 影视av久久久噜噜噜噜噜三级| 狠狠爱综合| 丁香五月天堂网| 日韩一区二区三区无码| 久久婷婷青青| 69色婷婷| 天天日日夜夜爽| 夜夜爽天天干| 婷婷五月丁香五月天| 亚洲韩国日产综合AV| 婷婷五月影院| 久久只有精| 亚洲婷婷性爱| 激情五月天偷拍综合网| 久热九九| 九九热内射| 激情99热| 2020夜夜操天天爽| 9 9热这里有精品| 深爱激情五月婷婷| 日日爱699| 久激情网| 色九月综合| 色婷婷亚洲婷婷| 六月婷婷网站| 超碰在线免费9| 婷婷俺去也| 天天舔天天操| 久久精品爱爱| 中文字幕综合色| 97婷婷色| 5月婷婷6月六月丁香| 日本99久久| 久久亚洲婷婷| 色小说五月天| 99热99网| 色爽九九| 久99999热视频在线观看免费| 五月天婷婷丁香| 亚洲丁香五月综合| 99操不停| 99九九精品| 五月丁香五月婷婷| 丁香五月天婷婷中文| 亚洲性爱电影| 深爱五月天婷综合| 久久婷婷五月综合啪| 激情五月婷婷| 开心激情站| 亚洲十月婷婷综合| 成人五月天婷婷| 婷婷色五月天色| 亚洲乱码日产精品BD| 狠狠人妻色综合| 婷婷综合网在线| 人橾人| 四川BBB搡BBB爽爽视频| 五月婷婷成人| 婷婷开心激情综合五月天| 大香蕉综合在线| 亚洲视频在线网| 国产一区二区三区影院| 久久东京热婷婷五月| 婷婷五月天激情在线| 色黑鬼导航| 9福利性视频欧美| 情色五月天 网站| 国内外色色色色色成人视频| 日韩色久| 婷婷五月丁香基地| 九玖欧洲亚洲| 综合激情婷婷| 婷婷娌伦网| Av狠狠色丁香婷| 婷婷综合| 婷香五月激情视频| 182TV大香蕉| 国产午夜一区二区三区| 国产又黄又爽又激情不遮挡视频在线观看| 亚洲99综合| 婷婷五月综合激情小说| 国产激情AV| 99在线热视频| 婷婷五月情天| 五月婷婷深爱六月| 99热国产国产| 色婷婷基地在线| 久久作爱| 精品99*| 国产全是老熟女太爽了| 国产美女无遮挡裸体毛片A片 | 色综合77777| 农村熟妇高潮精品A片| 9月色婷婷| 婷婷国产成人| 99成人无码| 99久久综合网| 深爱五月天婷综合| er99免费视频在线| 五月丁香啪啪拍| 亚洲女婷婷五月基地综合久久久| 丁香五月天天| 婷婷六月丁香开心深深爱| 九九碰九九爱97超碰| 久久中文人妻系列| 永久思思热在线| 亚洲婷婷丁香五月天激情小说| se99高清无码| site:hcxsz888.com| 天天激情5月天亚洲| 91男同| 久久久五月天| 色婷婷狠| 日木狠狠干| 爱性综合网| 丁香伊人激情| 日日噜狠狠色综合久久| 台湾佬天天日丁香婷婷五月天| 99re这里只有精品首页| 六月婷婷在线| 久久久这里有精品| 天天色粽合合合合合合合| 天天操天天插| 天天干天天操天天射| 天天射影院| 另类视频综合| 俺去也综合| 99亚洲精品| seav天堂| 超碰五月婷婷五月天| 色天堂操| 激情综合九月| 一起草AV| 伊人久久婷婷五月天激情四射| 丁香五月婷婷乱| 色99热| 91se在线观看| 婷婷啪啪| 五月天开心网| 久久小说网| 国产精品久久久爽爽爽麻豆色哟哟| 丰满女老板BD高清A片| 婷婷五月天网| 五月婷色| 伊人喵咪a V| 五月天丁香啪啪啪啪| 另类激情四射| 婷久久| 婷婷,五月天,丁香,第一| 青草视频在线蜜臀| 色色色色五月| 最新色色五月天| 丁香六月婷婷| 色婷婷成人做爰A片免费看网站| 婷婷五月天免费99| 狠狠 久久| 中文字幕97超级碰| 激情美女五月天| 亚洲开心激情网| 日日夜夜爽| 激情五月天天狠狠久久| 色色a| 色狠狠色综合久久久绯色aⅴ影视| 奇米影视在线视频| 在线看片av| 丁香五月综合福利视频导航| 五月婷婷六月丁香色| 97狠狠色| 成人 在线观看国产| 97超级操操| 色性综合| 精品A√| 99色综合| 婷婷最新地址| 91黄址| 婷婷丁香五月亚洲| 99视频在线| 久久久久九九九九视屏小说88| 丁香五月婷婷黑人妻黄色电影院| 日韩人妻操逼视频| 久久婷婷精品| 婷婷黄色网| 人人操AV| www.99热视频| 婷婷综合激情| 五月婷婷亚洲色图| 伊人久久婷婷| 大香蕉院线| 久色五月丁香视频| 精品无码久久久久久久久| 国产三级片91| 婷婷色Av| 狠狠综合| 免费在线a| 秋霞黄色一级久久| 播播网色播播| 丁香婷婷综合影院| 丁香五月 综合| 开心五月激情网| 国产精产国品一二三在观看| 五月丁香婷婷综合网| 日韩色五月| 97夫妻超碰| 91丨九色丨东北熟女| 天天爽天天| 五月婷婷色色爱| va中文资源在线观看| 啪啪操超碰| 影音先锋秋秋五月婷婷| 天天综合网~91| 日日懆天天懆| 99热个人在线| 色综合爽| 婷婷色五月丁香六月欧美啪| 久久婷婷东京热大香樵| 人人噜天天上| 日本色色影片| 6月丁香婷婷激情| 激情综合国产| 丁香五月婷综合| 99热精品10| 久久99网站| 99乱视频| 色五月天综合网| 亚洲视频码| 99热骚货| 国产婷婷色综合AV蜜臀AV | 9九色首页| 99网99热| cao视频,现在观看| 亚洲综合视频一下| 婷婷玖玖丁香| 婷婷五月天黄色网址| 激情色视频| 黄网在线免费观| 亚洲丁香五月天在线视频| 二色av| 深爱激情中文五月天av| 久久五月网| 久久婷视频| 开心五月网 | 婷婷欧美| 中文字幕在线免费观看视频| 91九色国产| 日本女人久久| 色色无码| 色综合视频| 超碰国产在线观看| 九九www| 久久精彩视频| 五月婷婷三级| 色七七九九| 欧美影院婷婷| 五月色网| 97资源碰碰| 99色在线| 婷婷五月天堂网| 色婷婷小说| 超碰人人操| 丁香五月综合| 国产免费一区二区在线A片视频| 五月丁香六月婷| 丁香五月影院| 欧洲色色| 激情五月天久久丁香| 色色五月婷婷| 久久黄色免费视频| 桃色成人网| 久久成人天| 综合激情四射一theav| 五月天婷婷亚洲| 91视频免费后入强操| 超碰99在线观看| 婷婷射图| 成年人丁香五月| 丁香五月天人体| 琪琪色五月婷婷老师| 五月婷婷开心色伊人| 大香蕉五月天| 欧美五月丁香在线| 99色天堂| 五月天色婷婷伊人网| 新激情综合| av在线免费播放| sesesesezonghe| 亚洲亚洲人成综合网络| 色丁香影院| 91人人操人人看| 99热最新网址| 九九九午夜影院成人| 色婷婷aV四虎| 亚洲激情在线| 99er6| 91热在线观看视频| 天天干天天干天天| 亚洲视频五区| 丁香婷婷色五月| 色综合五月在线| 2020日日干| 天天干,天天日| 婷婷五月综合激情免费视频| 久久99综合网| 五月天丁香|