欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

惡意代碼家族分類(lèi)實(shí)戰(zhàn):特征表達(dá)增強(qiáng)與模型調(diào)優(yōu)

惡意代碼家族分類(lèi)實(shí)戰(zhàn):特征表達(dá)增強(qiáng)與模型調(diào)優(yōu) 簡(jiǎn)介基于Python開(kāi)發(fā)的特征表達(dá)增強(qiáng)的惡意代碼家族分類(lèi)方法是一套面向網(wǎng)絡(luò)安全研究者與機(jī)器學(xué)習(xí)初學(xué)者的完整可運(yùn)行方案。其核心流程為先反編譯惡意程序得到字節(jié)碼與匯編文件利用N-Gram算法提取文本特征同時(shí)將文件轉(zhuǎn)為灰度圖借助灰度共生矩陣和灰度直方圖提取紋理與顏色特征最終融合三類(lèi)特征訓(xùn)練分類(lèi)模型增強(qiáng)惡意代碼的表征能力。資源包為zip格式共25個(gè)文件、約19.92MB涵蓋11個(gè)Python腳本、2個(gè)字節(jié)碼樣本、2個(gè)匯編樣本、6張分類(lèi)結(jié)果圖以及界面文件、運(yùn)行腳本和說(shuō)明文檔覆蓋數(shù)據(jù)預(yù)處理、特征提取、家族分類(lèi)與可視界面全鏈路。目前已有兩百六十人學(xué)習(xí)下載。讀者可直接復(fù)現(xiàn)Kaggle惡意代碼分類(lèi)賽題的完整流程通過(guò)模塊化代碼理解特征融合思路也可基于樣例數(shù)據(jù)替換或擴(kuò)展特征工程用于惡意軟件檢測(cè)相關(guān)研究與實(shí)驗(yàn)。1. 惡意代碼家族分類(lèi)為什么特征表達(dá)增強(qiáng)是項(xiàng)目里最值得投入的一環(huán)“惡意代碼家族分類(lèi)”并不是一個(gè)新鮮的題目但大多數(shù)公開(kāi)教程停在“跑通一個(gè)隨機(jī)森林”就結(jié)束了特征處理要么直接丟原始字節(jié)要么抓幾個(gè)統(tǒng)計(jì)量糊弄過(guò)去。真實(shí)的情報(bào)場(chǎng)景里每個(gè)小時(shí)都有上千份新樣本進(jìn)來(lái)變體多、命名亂、樣本量懸殊模型稍微偷懶誤報(bào)率就高得沒(méi)法給分析師用。這個(gè)標(biāo)題指向的其實(shí)是一條從 PE 文件到家族標(biāo)簽的完整流水線(xiàn)數(shù)據(jù)預(yù)處理、特征表達(dá)增強(qiáng)、家族分類(lèi)、可視界面四塊缺一不可。適合正在搭?lèi)阂獯a自動(dòng)化研判平臺(tái)的安全工程師或者想在一個(gè)完整項(xiàng)目里把特征工程和分類(lèi)評(píng)估串起來(lái)的人。我之前在復(fù)現(xiàn)類(lèi)似項(xiàng)目時(shí)最深的感受是分類(lèi)器選型根本不是瓶頸真正決定效果上限的是特征表達(dá)那一步。字節(jié)直方圖誰(shuí)都會(huì)算N-gram 誰(shuí)都會(huì)拼但怎么把 PE 結(jié)構(gòu)信息、圖像化特征和字節(jié)序列特征融合起來(lái)再砍掉噪聲維度才是這個(gè)項(xiàng)目里最值得砸時(shí)間的地方。下面按一條可落地的完整鏈路來(lái)講代碼可以直接抄坑也一并標(biāo)出來(lái)。2. 數(shù)據(jù)預(yù)處理把可執(zhí)行文件變成模型能吃的矩陣2.1 數(shù)據(jù)集怎么選公開(kāi)樣本與自采樣本的邊界做這個(gè)方向首先要面對(duì)的是數(shù)據(jù)來(lái)源問(wèn)題。公開(kāi)可復(fù)現(xiàn)的樣本集里BIG 2015微軟惡意軟件分類(lèi)挑戰(zhàn)賽是最常被用作 baseline 的樣本是真正的 PE 文件給了 9 個(gè)家族的標(biāo)簽適合驗(yàn)證完整的預(yù)處理、特征提取、分類(lèi)鏈路。另一類(lèi)像 Malimg是把惡意軟件樣本預(yù)先轉(zhuǎn)成了灰度圖25 個(gè)家族適合快速驗(yàn)證圖像化特征是否有效但它跳過(guò)了字節(jié)級(jí)特征提取這一步不適合直接套在這個(gè)項(xiàng)目的預(yù)處理流程上。自采樣本一般從公開(kāi)惡意軟件平臺(tái)拿標(biāo)簽來(lái)自多個(gè)反病毒引擎的命名噪音很大需要先聚合清洗。數(shù)據(jù)來(lái)源樣本形態(tài)家族數(shù)量適合驗(yàn)證的內(nèi)容BIG 2015原始 PE 文件9字節(jié)級(jí) N-gram、PE 統(tǒng)計(jì)特征、完整 pipelineMalimg灰度圖25圖像化特征與分類(lèi)器快速驗(yàn)證自采樣本原始 PE 文件不定補(bǔ)充樣本量、貼近真實(shí)分布我的建議是復(fù)現(xiàn)這個(gè)標(biāo)題項(xiàng)目時(shí)主用 BIG 2015Malimg 只拿來(lái)做消融實(shí)驗(yàn)。另外自采樣本一定要記錄來(lái)源后面劃分訓(xùn)練集和測(cè)試集時(shí)要按來(lái)源分組不然會(huì)出現(xiàn)嚴(yán)重的樣本重疊泄漏這個(gè)問(wèn)題第 5 章專(zhuān)門(mén)講。2.2 字節(jié)轉(zhuǎn)灰度圖最小實(shí)現(xiàn)與兩個(gè)關(guān)鍵參數(shù)雖然這個(gè)項(xiàng)目的核心特征是字節(jié)序列但把 PE 文件轉(zhuǎn)成灰度圖仍然是個(gè)很實(shí)用的預(yù)處理手段——一方面可以作為可視化界面里的展示輸入另一方面圖像化特征可以跟 N-gram 特征做融合。最常見(jiàn)的做法是直接把二進(jìn)制字節(jié)流按 8 bit 一組映射成 0~255 的像素值再重排成二維灰度圖。import numpy as np import cv2 from pathlib import Path MAX_BYTES 65536 # 只取 PE 文件前 64KB def pe_to_grayscale(file_path: str, target_size(128, 128)): with open(file_path, rb) as f: data f.read(MAX_BYTES) byte_array np.frombuffer(data, dtypenp.uint8) # 邊長(zhǎng)向上取整保證能排成正方形 side max(16, int(np.ceil(np.sqrt(len(byte_array))))) padded np.zeros(side * side, dtypenp.uint8) padded[: len(byte_array)] byte_array image padded.reshape((side, side)) # 統(tǒng)一尺寸縮小優(yōu)先用 INTER_AREA保留模式信息 image cv2.resize(image, target_size, interpolationcv2.INTER_AREA) return image這段代碼里有幾個(gè)參數(shù)值得說(shuō)清楚。MAX_BYTES設(shè)為 64KB 并不是拍腦袋PE 文件的 DOS 頭、PE 頭、節(jié)區(qū)表和入口點(diǎn)代碼基本都集中在前 64KB對(duì)多數(shù)樣本來(lái)說(shuō)截?cái)嗟?64KB 損失的信息遠(yuǎn)小于大文件整讀帶來(lái)的內(nèi)存壓力。np.frombuffer是零拷貝構(gòu)造數(shù)組比np.array(list(data))快一個(gè)量級(jí)。side用ceil加max(16, ...)兜底避免空文件或極短樣本導(dǎo)致 reshape 報(bào)錯(cuò)。resize的插值方式對(duì)效果影響不小??s小圖像時(shí)INTER_AREA是對(duì)區(qū)域像素做平均能保留局部字節(jié)模式的統(tǒng)計(jì)特征如果用INTER_LINEAR縮小時(shí)容易丟細(xì)節(jié)。如果后續(xù)要放大圖像做增強(qiáng)再用INTER_CUBIC。這套邏輯放在數(shù)據(jù)預(yù)處理階段完成后續(xù)特征提取就不需要重復(fù)處理原始文件。2.3 標(biāo)簽清洗與類(lèi)別映射先統(tǒng)一命名再進(jìn)模型惡意代碼家族標(biāo)簽是字符串直接喂給分類(lèi)器不行而且不同反病毒引擎對(duì)同一個(gè)樣本的家族命名往往不一致。比如某個(gè)勒索軟件卡巴斯基報(bào)一個(gè)家族名微軟報(bào)另一個(gè)樣本的真實(shí)歸屬只能靠多數(shù)投票或人工確認(rèn)。常見(jiàn)做法是先歸一化命名再映射成整數(shù)標(biāo)簽。# BIG 2015 的 9 個(gè)家族按約定順序映射為整數(shù) label_map { Ramnit: 0, Lollipop: 1, Kelihos_ver3: 2, Vundo: 3, Simda: 4, Tracur: 5, Kelihos_ver1: 6, Obfuscator.ACY: 7, Gatak: 8, } def normalize_label(votes: list) - int: # 多個(gè)引擎投票取出現(xiàn)次數(shù)最多的家族名 counter {} for name in votes: name name.strip() counter[name] counter.get(name, 0) 1 top_name max(counter, keycounter.get) return label_map.get(top_name, -1) # -1 表示無(wú)法確認(rèn)進(jìn)入人工隊(duì)列這里有個(gè)很容易被忽略的細(xì)節(jié)標(biāo)簽映射要在數(shù)據(jù)預(yù)處理一開(kāi)始就定好不能邊訓(xùn)練邊改。我見(jiàn)過(guò)有人先按家族名排序自動(dòng)生成映射結(jié)果樣本分布一變索引全亂了。固定label_map的好處是后續(xù)模型輸出、可視化界面、混淆矩陣展示都能對(duì)齊。normalize_label返回-1的樣本不要直接刪先丟到待確認(rèn)隊(duì)列等數(shù)量多了再人工標(biāo)注這比硬塞進(jìn)模型里當(dāng)噪聲強(qiáng)得多。3. 特征表達(dá)增強(qiáng)N-gram、統(tǒng)計(jì)特征與融合的取舍3.1 原始字節(jié)為什么不夠特征表達(dá)增強(qiáng)到底在增強(qiáng)什么先明確“特征表達(dá)增強(qiáng)”在這個(gè)項(xiàng)目里的定位。原始字節(jié)流能直接喂模型嗎能但效果不穩(wěn)定。字節(jié)直方圖只反映全局分布兩個(gè)家族的整體字節(jié)頻率可能很接近直方圖根本分不開(kāi)。增強(qiáng)的意思是給模型多提供幾套互不冗余的證據(jù)視圖N-gram 捕捉局部字節(jié)模式PE 結(jié)構(gòu)統(tǒng)計(jì)捕捉宏觀信息再通過(guò)融合和選擇去掉噪聲。這個(gè)組合對(duì)幾千到幾萬(wàn)規(guī)模的惡意代碼樣本集尤其適用比無(wú)腦堆深度網(wǎng)絡(luò)更可控。N-gram 的直覺(jué)很簡(jiǎn)單惡意代碼家族的差異經(jīng)常體現(xiàn)在局部字節(jié)模式上。某個(gè)家族的加殼器會(huì)在入口點(diǎn)重復(fù)一段固定字節(jié)序列另一個(gè)家族的下載器總是在資源節(jié)里藏一段相同的載荷。把字節(jié)序列切成 2-gram、3-gram、4-gram這些重復(fù)模式就被量化成可統(tǒng)計(jì)的特征了。但 N-gram 本身維度爆炸直接全量展開(kāi)會(huì)讓矩陣大到內(nèi)存都裝不下所以要用截?cái)嗪?TF-IDF 加權(quán)來(lái)約束。3.2 N-gram 加 TF-IDF第一層增強(qiáng)的具體實(shí)現(xiàn)這一步是特征提取的核心動(dòng)作。先把每個(gè)樣本的原始字節(jié)轉(zhuǎn)成十六進(jìn)制 token 字符串再用CountVectorizer生成 N-gram 計(jì)數(shù)最后用TfidfTransformer做加權(quán)。TF-IDF 在這里的作用不是信息檢索里的關(guān)鍵詞權(quán)重而是壓低所有惡意代碼共有的高頻字節(jié)模式突出家族特有的模式。from sklearn.feature_extraction.text import CountVectorizer, TfidfTransformer import numpy as np def bytes_to_hex_tokens(raw: bytes) - str: # 每個(gè)字節(jié)轉(zhuǎn)成兩位十六進(jìn)制空格分隔例如 4d 5a 90 00 return .join(f{b:02x} for b in raw) # 讀取樣本時(shí)沿用 2.2 的 MAX_BYTES 截?cái)噙壿?corpus [ bytes_to_hex_tokens(open(p, rb).read(MAX_BYTES)) for p in pe_file_list ] count_vec CountVectorizer( analyzerlambda s: s.split(), ngram_range(2, 4), max_features20000, min_df3, dtypenp.float32, ) X_count count_vec.fit_transform(corpus) tfidf TfidfTransformer(sublinear_tfTrue) X_tfidf tfidf.fit_transform(X_count)參數(shù)選擇有幾個(gè)關(guān)鍵點(diǎn)。ngram_range(2, 4)是實(shí)戰(zhàn)里比較穩(wěn)的區(qū)間2-gram 太碎單字節(jié)模式重復(fù)率高5-gram 以上特征空間膨脹到內(nèi)存無(wú)法承受。max_features20000給維度上了上限經(jīng)驗(yàn)值樣本量過(guò)萬(wàn)時(shí) 2 萬(wàn)維足夠覆蓋絕大多數(shù)判別模式。min_df3把只在兩三個(gè)樣本里出現(xiàn)的偶發(fā)字節(jié)模式剔除這類(lèi)模式基本是樣本個(gè)體差異而不是家族共性。dtypenp.float32比默認(rèn) float64 省一半內(nèi)存樣本上萬(wàn)時(shí)差距非常明顯。sublinear_tfTrue對(duì)詞頻做 log 縮放防止某一段高頻重復(fù)的加殼填充字節(jié)完全蓋過(guò)其他有效模式。3.3 PE 結(jié)構(gòu)統(tǒng)計(jì)特征與 N-gram 互補(bǔ)的第二視圖N-gram 看不到文件結(jié)構(gòu)層面的信息。加殼樣本的入口點(diǎn)熵值通常接近 8普通編譯樣本的節(jié)區(qū)熵一般在 5 到 6 之間節(jié)區(qū)數(shù)量、導(dǎo)入表里的 DLL 數(shù)量也跟家族行為模式強(qiáng)相關(guān)。這些宏觀特征靠字節(jié) N-gram 很難捕捉需要單獨(dú)提取。常見(jiàn)做法是用pefile庫(kù)解析 PE 文件抽取一組輕量統(tǒng)計(jì)量。import math import pefile def shannon_entropy(block: bytes) - float: if not block: return 0.0 freq {} for b in block: freq[b] freq.get(b, 0) 1 length len(block) ent 0.0 for count in freq.values(): p count / length ent - p * math.log2(p) return ent def pe_stat_features(file_path: str): try: pe pefile.PE(file_path, fast_loadTrue) pe.parse_data_directories(directories[pefile.DIRECTORY_ENTRY_IMPORT]) n_sections len(pe.sections) entry_entropy shannon_entropy(pe.get_memory_mapped_image()[:4096]) imports len(pe.DIRECTORY_ENTRY_IMPORT) if hasattr(pe, DIRECTORY_ENTRY_IMPORT) else 0 return [entry_entropy, n_sections, imports] except Exception: # 解析失敗時(shí)返回零向量不中斷整個(gè) pipeline return [0.0, 0, 0]fast_loadTrue只加載文件頭部解析速度比完整加載快一個(gè)量級(jí)對(duì)批量處理上萬(wàn)樣本很關(guān)鍵。parse_data_directories必須顯式調(diào)用才能拿到導(dǎo)入表信息這是我第一次踩過(guò)的坑——不調(diào)用的話(huà)DIRECTORY_ENTRY_IMPORT根本不存在。入口點(diǎn)熵取內(nèi)存映射圖的前 4096 字節(jié)覆蓋入口代碼所在的頁(yè)面。except Exception兜底很重要樣本集里總有幾份畸形 PE 文件解析失敗直接中斷會(huì)讓整個(gè)訓(xùn)練流程白跑。3.4 特征融合與特征選擇維度壓下去判別力提上來(lái)N-gram 的稀疏矩陣和 PE 統(tǒng)計(jì)特征矩陣要拼成一個(gè)整體。PE 統(tǒng)計(jì)特征先轉(zhuǎn)成稀疏矩陣再用hstack拼接。拼接之后特征維度會(huì)到 2 萬(wàn)以上其中有大量冗余維度需要用特征選擇壓縮。from scipy.sparse import hstack, csr_matrix from sklearn.preprocessing import StandardScaler from sklearn.ensemble import RandomForestClassifier from sklearn.feature_selection import SelectFromModel # 統(tǒng)計(jì)特征轉(zhuǎn)稀疏后橫向拼接 X_stat_sparse csr_matrix(X_stat) X_combined hstack([X_tfidf, X_stat_sparse], formatcsr) # 稀疏矩陣不能做中心化with_mean 必須為 False scaler StandardScaler(with_meanFalse) X_scaled scaler.fit_transform(X_combined) # 用隨機(jī)森林的特征重要性做選擇保留中位數(shù)以上的維度 selector SelectFromModel( RandomForestClassifier(n_estimators100, n_jobs-1, random_state42), thresholdmedian, ) X_final selector.fit_transform(X_scaled, y)這里有個(gè)很關(guān)鍵的坑StandardScaler在稀疏矩陣上不能設(shè)置with_meanTrue因?yàn)橹行幕瘯?huì)讓稀疏矩陣變成稠密矩陣內(nèi)存直接爆掉。with_meanFalse只做方差縮放數(shù)據(jù)量大的時(shí)候建議直接把X_scaled轉(zhuǎn)成稀疏格式存儲(chǔ)不要留中間變量Python 進(jìn)程的內(nèi)存回收有時(shí)候沒(méi)那么及時(shí)。SelectFromModel配隨機(jī)森林是一個(gè)比較通用的選擇thresholdmedian表示保留特征重要性高于所有特征中位數(shù)的維度實(shí)際效果通常是砍掉一半以上的特征F1 略有波動(dòng)但訓(xùn)練速度大幅提升。如果這里遇到SelectFromModel在稀疏矩陣上的兼容性報(bào)錯(cuò)可以換成SelectKBest(mutual_info_classif)用互信息打分選固定數(shù)量的特征效果接近但更穩(wěn)。4. 家族分類(lèi)從隨機(jī)森林到 XGBoost 的參數(shù)邊界4.1 先把驗(yàn)證策略定對(duì)按文件劃分和按家族劃分是完全兩件事訓(xùn)練集和測(cè)試集的劃分方式直接決定實(shí)驗(yàn)結(jié)論是否可信。惡意代碼樣本有個(gè)顯著特點(diǎn)同一個(gè)惡意軟件包解壓出來(lái)的多個(gè)文件特征高度相似。如果簡(jiǎn)單train_test_split大量“孿生樣本”會(huì)被同時(shí)分到訓(xùn)練集和測(cè)試集測(cè)試集 F1 虛高到 0.99換到新樣本上立刻崩盤(pán)。正確的做法是先用 SHA256 去重再按來(lái)源包或哈希聚類(lèi)的分組 ID 劃分。from sklearn.model_selection import GroupShuffleSplit # sample_group_ids每個(gè)樣本所屬來(lái)源包的 ID從元數(shù)據(jù)洗出來(lái)的 gss GroupShuffleSplit(n_splits1, test_size0.2, random_state42) train_idx, test_idx next(gss.split(X_final, y, groupssample_group_ids)) X_train, X_test X_final[train_idx], X_final[test_idx] y_train, y_test y[train_idx], y[test_idx]GroupShuffleSplit保證同一個(gè)組的樣本不會(huì)同時(shí)出現(xiàn)在兩個(gè)集合里這對(duì)惡意代碼分類(lèi)來(lái)說(shuō)是必須的。如果樣本沒(méi)有來(lái)源包信息退而求其次先做 SHA256 去重再把文件大小接近、字節(jié)重疊度高的樣本聚成一組。粗粒度的組也比無(wú)腦切分強(qiáng)至少能擋住最致命的數(shù)據(jù)泄漏。4.2 XGBoost 分類(lèi)器一組穩(wěn)妥的初始參數(shù)分類(lèi)器選型上XGBoost 是這個(gè)項(xiàng)目最穩(wěn)的選擇。它對(duì)稀疏矩陣支持好自帶正則化多分類(lèi)輸出概率也很方便接可視化界面。隨機(jī)森林可以做 baseline但如果追求宏平均 F1XGBoost 通常明顯更優(yōu)。from xgboost import XGBClassifier clf XGBClassifier( n_estimators300, max_depth6, learning_rate0.1, subsample0.8, colsample_bytree0.8, objectivemulti:softprob, num_classlen(label_map), random_state42, n_jobs-1, ) clf.fit(X_train, y_train)參數(shù)取值作用n_estimators300樹(shù)的數(shù)量越大越容易過(guò)擬合max_depth6單棵樹(shù)深度惡意代碼特征維度高時(shí)不宜過(guò)深learning_rate0.1收縮步長(zhǎng)調(diào)小需要同步加大 n_estimatorssubsample0.8每棵樹(shù)樣本采樣比例抑制過(guò)擬合colsample_bytree0.8每棵樹(shù)特征采樣比例增加樹(shù)間多樣性objectivemulti:softprob多分類(lèi)輸出概率向量eval_metricmlogloss多分類(lèi)交叉熵反向監(jiān)控訓(xùn)練過(guò)程multi:softprob比multi:softmax更適合這個(gè)場(chǎng)景因?yàn)楹罄m(xù)置信度閾值判斷需要每個(gè)家族的概率。n_jobs-1在多分類(lèi) 2 萬(wàn)維特征時(shí)能省大量時(shí)間但要注意和GridSearchCV嵌套使用時(shí) CPU 會(huì)被打滿(mǎn)建議在網(wǎng)格搜索階段限制n_jobs4。4.3 網(wǎng)格搜索與交叉驗(yàn)證三組參數(shù)已經(jīng)夠用網(wǎng)格搜索沒(méi)必要鋪太大惡意代碼特征維度高全參網(wǎng)格會(huì)讓訓(xùn)練時(shí)間變成天文數(shù)字。先用小范圍鎖定max_depth、learning_rate、n_estimators這三個(gè)核心參數(shù)。from sklearn.model_selection import GridSearchCV, StratifiedKFold param_grid { max_depth: [4, 6, 8], learning_rate: [0.05, 0.1], n_estimators: [200, 300], } grid GridSearchCV( XGBClassifier(objectivemulti:softprob, num_classlen(label_map), random_state42), param_gridparam_grid, scoringf1_macro, cvStratifiedKFold(n_splits5, shuffleTrue, random_state42), n_jobs4, verbose1, ) grid.fit(X_train, y_train) print(grid.best_params_, grid.best_score_)scoringf1_macro而不是accuracy原因是惡意代碼家族樣本極不均衡準(zhǔn)確率會(huì)被大族帶偏。StratifiedKFold保證每一折里各類(lèi)別比例和整體一致。這里有個(gè)實(shí)操技巧先用 1/10 的樣本跑一輪網(wǎng)格搜索確定方向再用全量數(shù)據(jù)跑最終參數(shù)能節(jié)省大量時(shí)間而且最終選出來(lái)的參數(shù)組合基本一致。4.4 評(píng)估指標(biāo)宏平均 F1 與混淆矩陣別被準(zhǔn)確率騙了模型訓(xùn)練完評(píng)估才是見(jiàn)真章的地方。報(bào)告里第一行先看宏平均 F1再看每個(gè)家族的精確率和召回率。某個(gè)家族召回率低于 0.5意味著它經(jīng)常被誤判成別的家族這在安全運(yùn)營(yíng)里比整體準(zhǔn)確率下降更危險(xiǎn)。from sklearn.metrics import classification_report, confusion_matrix y_pred grid.best_estimator_.predict(X_test) print(classification_report(y_test, y_pred, target_nameslist(label_map.keys()))) print(confusion_matrix(y_test, y_pred))輸出里重點(diǎn)看兩個(gè)地方第一哪些家族互相混淆比如加殼變體家族之間經(jīng)常出現(xiàn)高混淆說(shuō)明特征的熵值相關(guān)維度權(quán)重過(guò)高第二有沒(méi)有某個(gè)家族完全不被召回如果存在需要回到特征選擇那一步看是不是關(guān)鍵特征被SelectFromModel砍掉了。confusion_matrix打印出來(lái)可能行列太多看的時(shí)候配合np.set_printoptions調(diào)整格式或者直接畫(huà)熱力圖。5. 避坑指南特征提取到家族分類(lèi)最容易翻車(chē)的五個(gè)問(wèn)題5.1 樣本重疊測(cè)試集 F1 高得離譜新樣本上原形畢露現(xiàn)象某次跑完測(cè)試集宏平均 F1 到了 0.99我一度以為模型可以直接上線(xiàn)結(jié)果丟了一批新樣本進(jìn)去準(zhǔn)確率只有六成多。原因同一個(gè)惡意軟件壓縮包會(huì)釋放出大量特征碼幾乎相同的文件切分時(shí)訓(xùn)練集和測(cè)試集“串供”了。解決解析樣本時(shí)記錄來(lái)源包的唯一標(biāo)識(shí)劃分用GroupShuffleSplit或者先把所有樣本做 SHA256 去重再按哈希聚類(lèi)后切分寧可樣本少一點(diǎn)也不要測(cè)試集虛高。5.2 特征矩陣爆炸N-gram 維度可以沖到千萬(wàn)級(jí)現(xiàn)象第一次我圖省事ngram_range直接寫(xiě)了(1, 5)CountVectorizer一執(zhí)行16GB 的機(jī)器 OOM連 fit 都過(guò)不去。原因字節(jié)級(jí)特征是 256 進(jìn)制5-gram 的潛在組合是 256 的 5 次方雖然實(shí)際出現(xiàn)的組合沒(méi)那么多但稀疏矩陣規(guī)模依然大到離譜。解決把ngram_range控制在(2, 4)附近合理設(shè)置max_features如果還想往上加換HashingVectorizer用哈希碰撞換維度上限。from sklearn.feature_extraction.text import HashingVectorizer hv HashingVectorizer( analyzerlambda s: s.split(), ngram_range(2, 4), n_features2**18, # 26 萬(wàn)維內(nèi)存可控 dtypenp.float32, ) X_hash hv.fit_transform(corpus)HashingVectorizer不支持反查特征名但配合TfidfTransformer完全沒(méi)問(wèn)題適合樣本量大、內(nèi)存緊張的階段。5.3 類(lèi)別不平衡少數(shù)族被多數(shù)族吞掉現(xiàn)象BIG 2015 里不同家族樣本量能差一個(gè)數(shù)量級(jí)直接訓(xùn)練時(shí)樣本少的家族召回率只有 0.2。原因分類(lèi)器在樣本多的類(lèi)別上已經(jīng)拿到足夠好的 loss沒(méi)必要花復(fù)雜度去擬合少數(shù)類(lèi)。解決一是在 XGBClassifier 里傳sample_weight給少數(shù)族更高的權(quán)重二是對(duì)少數(shù)族做 SMOTE但 SMOTE 在高維稀疏特征上容易翻車(chē)我一般只在降維后的特征空間里用三是評(píng)估時(shí)盯著宏平均 F1 和每個(gè)家族各自的混淆矩陣看不要被整體準(zhǔn)確率騙過(guò)去。5.4 隨機(jī)種子與庫(kù)版本跑兩次結(jié)果不一樣真不是玄學(xué)現(xiàn)象同一份代碼白天跑 F1 是 0.91晚上再跑變成 0.89換了臺(tái)機(jī)器又變成 0.94誰(shuí)都說(shuō)不清問(wèn)題在哪。原因XGBoost和sklearn里多個(gè)環(huán)節(jié)默認(rèn)有隨機(jī)性scikit-learn、xgboost、numpy 的版本差異也會(huì)改變部分實(shí)現(xiàn)細(xì)節(jié)。解決把所有random_state釘死在代碼里包括train_test_split、XGBClassifier、RandomForestClassifier、GridSearchCV在項(xiàng)目根目錄放requirements.txt鎖定版本跑實(shí)驗(yàn)時(shí)把sklearn.__version__和xgboost.__version__寫(xiě)進(jìn)結(jié)果文件名后悔藥提前備好。5.5 灰度圖 resize 的邊界插值方式和大文件截?cái)喱F(xiàn)象直接對(duì)整個(gè)幾百 MB 的 PE 文件整讀生成一張幾千像素的灰度圖再 resize 到 128 乘 128分類(lèi)效果反而比只取前 64KB 的版本還差。原因resize 本質(zhì)是像素重采樣大文件壓縮成小圖會(huì)把大量局部字節(jié)模式平均掉padding 補(bǔ)零的區(qū)域又引入了和文件長(zhǎng)度相關(guān)的假特征。解決優(yōu)先截?cái)嗟焦潭ㄩL(zhǎng)度64KB 覆蓋多數(shù) PE 文件的關(guān)鍵內(nèi)容圖像尺寸統(tǒng)一用INTER_AREA縮小或INTER_CUBIC放大不要一上來(lái)就無(wú)腦INTER_LINEAR。6. 可視界面與進(jìn)階驗(yàn)證讓模型從實(shí)驗(yàn)臺(tái)走到分析師手里6.1 用 Gradio 三分鐘搭出上傳即分類(lèi)的界面模型訓(xùn)練完落地才是硬道理。Gradio 是 Python 生態(tài)里最輕量的可視界面方案不需要寫(xiě)前端一個(gè)函數(shù)加一個(gè)組件聲明就能跑起來(lái)。這個(gè)項(xiàng)目里分析師的訴求不是看訓(xùn)練日志而是拖一個(gè)文件進(jìn)去立刻看到這個(gè)文件的嫌疑家族和置信度。import gradio as gr class_names {v: k for k, v in label_map.items()} def predict_file(file_obj): proba clf.predict_proba(build_final_feature(file_obj.name))[0] top proba.argsort()[::-1][:3] return {class_names[i]: round(float(proba[i]), 4) for i in top} gr.Interface( fnpredict_file, inputsgr.File(label上傳 PE 樣本), outputsgr.Label(labelTop-3 家族置信度), ).launch()build_final_feature是把第 2 章和第 3 章的所有預(yù)處理、特征提取、縮放、選擇步驟封裝成一個(gè)函數(shù)。這里有個(gè)必須注意的點(diǎn)CountVectorizer、scaler、selector在訓(xùn)練時(shí) fit 過(guò)上線(xiàn)時(shí)要用joblib序列化后整體加載不能在預(yù)測(cè)時(shí)重新 fit這一步錯(cuò)位會(huì)導(dǎo)致特征維度對(duì)不上。我給分析師的日常界面就只有上傳框和 Top-3 結(jié)果他們不需要知道背后有 2 萬(wàn)維特征。6.2 置信度閾值兜底寧可報(bào)“未知”也不要硬猜家族多分類(lèi)模型即使分錯(cuò)了也會(huì)給一個(gè)高置信度的答案這在安全場(chǎng)景里很危險(xiǎn)——把 A 家族報(bào)成 B 家族分析師的關(guān)注點(diǎn)就全偏了。常見(jiàn)做法是在界面里加一層閾值判斷置信度不足時(shí)返回“未知”。max_p proba.max() if max_p 0.6: return 疑似新型變體/未覆蓋家族, max_p return class_names[int(proba.argmax())], max_p閾值怎么定不要拍腦袋用 0.5 或 0.6。在驗(yàn)證集上畫(huà)出置信度與宏平均 F1 的曲線(xiàn)看哪個(gè)閾值能讓錯(cuò)誤分類(lèi)的代價(jià)最小。我一般會(huì)把“未知”單獨(dú)當(dāng)成一個(gè)類(lèi)別來(lái)評(píng)估寧可多報(bào)“未知”讓分析師人工瞅一眼也不要在告警里硬塞一個(gè)錯(cuò)誤的家族名。還有一句話(huà)是我踩過(guò)坑才記住的去重永遠(yuǎn)在切分之前特征 pipeline 要能一次性回放。界面上線(xiàn)給分析師用之前我會(huì)把訓(xùn)練集的家族名和樣本哈希導(dǎo)出一份備份免得模型和界面都上了線(xiàn)才發(fā)現(xiàn)某一步預(yù)處理沒(méi)對(duì)齊。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
女人天堂 AV| 九九色播五月丁香| 葵花AV在线| 国产精品久久久60086| 亚洲综合另类| 婷婷五月天免费视频在线观看| 婷婷色五月91啪啪| 久久性爱视频网站| 亚洲激情综合网| 青青草tp| 欧美日韩999| 久久五月丁香| 天天综合干| 无码激情AAAAA片-区区| 婷婷五月天综合小说网| 婷婷激情综合色五月久久图片| 天天干天天日天天操| ai97re99一本| 色五月色五天免费视频| 色久九| 激情综合区| 狠狠色婷婷777| 五月婷在线观看| 五月天色婷婷激情综合| 67194中文在线| 五月婷婷激清网| 99re视频在线精品| 九九久久99精品免费观看www| 丝袜人妻| 日韩在线观看网址| 五月亭亭六月激情| 久久九九婷婷| 在线99热| 婷婷五月天色播| 激情AV在线| 五月天综合视频| 99狠狠| 99久久99九九99九九九| 久久这里只有精品16| 久久婷婷五月天| 五月丁香婷婷六月天| 美女婷婷激情亚洲| 日韩在线99| 《诡秘之主》在线观看| 97男人天堂| 这里只有精品视频| 狠狠色情婷婷| 五月天丁香婷婷社区| 99热精品在线| 五月综合影院| 色色五月天丁香| 六月婷婷激情| 欧美日韩成人一区二区| 人人天堂操| 丁香五月成人丝袜| 91 影音先锋| 丁香六月激情综合啪啪| 久婷久婷激情肉| 色香欲综合| 91啪级电影| 婷婷色资源| 台湾无码A片一区二区| 丁香激情五月综合网| 精品五月花| 九九热10| 婷婷五月视屏| 四色 爱 婷婷 精品 亚洲 五月天| 色色色1网址| 九九热九九| 五月天激情.com| 91pornav在线| 国产看真人毛片爱做A片| 激情五月天福利| 色级停停| 男同色五月开心五月激情五月| 第六色在线| 91午夜婷婷狠狠久久综合9色| 五月丁香综合啪啪| 狠狠丁香| 无码动漫AV| 99久久99久久综合| www.婷婷.com| 激情婷婷五月社区| 另类激情五月| 日本精品。999| 日本99视频精品免费播放| www.99热| 天天色天天操天天射| 另类图片激情五月天| 美国天天操无码| 久热一本| 日本色色网站| 五月天六月色| 丁香五月婷婷久久久| 青996青| 97干在线| 日日.c| 激情五月婷婷综合| 亚州精品色情无码A片| 色很久综合| 国产精品国产成人国产三级| 色婷婷亚洲婷婷| 99热这里只有精品青草| 五月婷婷丁香在线| 丁香激情六月天婷婷| www.五月婷| 色色色色丁香| 亚洲色啪| 五月天婷婷色| 天天干天天做| 天天综合五月| 成人电影在线免费试看| 丁香六月久久| 五月婷婷视频| 五月天色色婷婷| www激情婷婷com| 精品三区影院| 激情五月天小说| 五月丁香六月婷婷综合伊人| 久色中文| 伊人成人宗合网| 五月综合亚洲色| 婷婷五月色情天| 大香av| se婷97| 99热国产在线| 亚洲99热| 日本 色综合| 丁香啪啪中文字幕| 六月激情网| 五月婷婷久久网| 国外亚洲成AV人片在线观看| 无码成人AAAAA毛片AI换脸| 91狠狠色丁香婷婷综合久久| 少妇人妻人伦A片| 欧美日韩999| 天天综合色| 久99热| 久热成人| 五月天久久久| 天天草女人| 久久久久久久久久久-久五月天婷婷| 99热精品在线观看| 成人龟情网丁香五月| 久久婷婷五月天激情新地址| 色yeye色综合| 停停六月 综合| 五月开心啪啪| 任我肏| 深夜男女福利刺激影院一区完整| 丁香无五月网| www.夜夜夜| 婷婷放心五日爱| 丁香六月天AV| 开心色播色五月婷婷| 婷婷五月AV| 婷婷五月六月激情| 91vip在线观看| 991精品在线视频| 欧美综合五月丁香六月婷| 欧美日韩成人在线观看| 青青热久久综合| 伊人日日干| 6080av| 丁香丝袜五月| 亚洲av综合网| 99精品无码| 亚洲乱码日产精品BD| 草草色情综合网| 丁香五月 性爱| 91在线日本| 色碰碰视频| 丁香五月天色| 色色色色色色色色网站| 人妻啪啪啪| 丰满少妇猛烈A片免费看观看 | 6080av| 五月六月激情| 丁香婷婷色情| 色五月亚洲| 丰满少妇乱A片无码| 99干免费视频| 9久精品视频| 99热这里有精品24| 91色逼| 婷婷五月情色| 狠狠干天天日| 色婷婷呢狠禁久禁| 国产热精品| 婷婷玖玖五月天| 香蕉AV777XXX色综合一区| 欧美日韩国产一区| 丁香丁香激情网| 黄色五月婷婷| 日日干夜夜撸夜夜骑| 激情综合网五月在线播放| 人人肏逼视频在线一区二区| 热99这就是精品视频| 深爱五月婷婷| av人人干| 中文字幕高清av| 极品 少妇 内射| 色久激情在线| 久久五月激情| 久久9999| 日狠狠| 亭亭丁香aV| 色噜噜婷婷| 色三级色三级| 色婷婷久久综合| 丁香五月手机在线| 丁香激情合作五月| 五月天婷婷综合久久| 91精品久久久久久| www.久久久久久| 九九精品热| 天天干夜夜欢| 五月婷婷丁香五月亚洲色| 色色网站| 天天日天天久久青青| 超碰熟女农村在线69| 无码人妻激情| 可以免费观看的av| 狠狠爱婷婷五月天| 伊人超碰| 久久人妻精品| 婷婷五月综合网| 中文人妻主播久久| 欧美色色色| 五月激情站| 激情五月天色色| 26uuu欧美日本| 草草色情综合网| 超碰日韩成人| 亚洲va成人va成人va在线观看| 六月丁香五月婷婷首页| 色色色色色日韩午夜激情| 国产午夜精品一区二区| 99噜噜噜在线播放| 色综合99无码| www.天天干| 波多婷婷久久| 日韩黄色电影| 亚洲视频久久| 五月丁香综合久久| 天天搞天天色综合| 天天综合网91| 男人的天堂五月丁香| www婷婷亚洲| 色综合爽| 亚洲4区国产欧美| 久久婷婷五月综合色播| 色五月天 丁香| 99热九九这里只有精品| 人人操人av| 色狠狠综合| 九九99在线| 丁香五月中文字幕久色| 日韩av在线播放综合网| 六月丁香激情婷婷| 国产午夜精品一区二区三区四区| 五月天婷婷久久日| 99热这里只有精品8| 五月香婷婷| 丁香五月无码| 狠狠肏综合网| 久久ww| 欧美日韩二区在线| 五月综合激情| 丁香激情综合| 日日操,夜夜爽| 男女啪啪做爰高潮无遮挡 | 99视频精品全部观看10| 亚洲图色五月天| 国产资源91在线| 99久操视频| 六月婷色六月| 久久午夜丁香| 激情 婷婷| 大香蕉久久婷婷精品综合| 天天干天天日天天操| 日韩三级视频一区二区| 欧洲色色| 91久久精品无码一区二区三区| 91 九色 熟女| 日日日影院| 五月天婷婷激情干干| www.久久爱.com| 美国少妇性做爰| 性爱久久| 婷婷综合在线观看视频| 香蕉五月婷婷| 亚洲人人操BD| 97碰碰在线观看视频| 天天爱综合网| 国产精品久久欧美久久一区| 色婷婷五月综合在线| 五月激香蕉网| 成人网在线视频| 91男同| 亚洲第一第二网站| 伊人在线婷婷草| 成人国产网| 日日操夜夜骑| www.99久| 99国产在线精品视频| 99热12| 色色色成人网| 五月丁香婷婷成人网| 色婷久久| 天天爽天天日| 四虎99热在线观看网站| 91精品无码| 五月丁香偷拍| 人人干Av| 在线观看亚洲视频影院| 色婷婷基地 | www.丁香五月| 欧美在线视频99| 国产成人精品一区二三区熟女在线| 欧美97p| 日韩AV中文字幕在线| 九九九九综合| 另类激情五月| 婷婷五月天丁香成人社区| 东京热免费视频| 精品婷婷五月视| 色婷婷四虎| 日本久久天堂| 99热99这里免费的精品| www.激情| 97婷婷久久丁香| 久久婷婷啪啪视频| 狠狠操天天日| 九九99九九99九九99视频网| 国产精产国品一二三在观看| 91视频综合网| 狠狠操天天日| 四虎成人精品永久免费AV九九| 婷婷丁香社区| 日韩操逼大片| 丁香五月婷婷综合激情啪啪啪| 久久久精品婷婷五月天| 九九久久五月天| 婷婷五月天视频在线观看| av成人在线播放| 五月婷婷性爱| 狠狠爱婷婷| 热99只有精品| 思思99热这里只有精品| 99热欧美精品| 91久久精品国产91性色TV| 99精品免费欧美小视频| 日日噜噜久久婷婷五月天 | 91九色精品| 婷婷五月中文字幕国产| 俺也去婷婷五月天第五色| 精品一二三区久久AAA片| 国产夫妻操逼内射视频| 五月丁香趴趴| 99re资源在线视频导航| 亚洲99热| 99热这里在线精品| 亭亭玉月丁香| 色五月天综合网| 中文在线视频久9| AA片在线观看视频在线播放| 九九九激情网| 99热自拍| 丁香六月成人| 一起草av| www.色色五月天.com| 亚洲国产色色| 91dy.av| 另类视频综合| 色高清无码视频| 97热久久| 激情五月天综合网| 无码人妻少妇色欲AV一区二区| 久久怕怕视频| 五月丁香啪啪| 五月婷婷大香蕉| 男女久久婷婷五月天| 亚洲xx网| 丁香色综合| 五月婷婷丁香六月 | 成人永久免费视频在线观看| 超碰93在线观看| 丁香伊人网| www亚洲无码| 天堂久久性| 五月天婷婷久久| 色情婷婷。| 1024亚洲| 26UUU| 97在线综合| 五月色婷婷亚洲 | 成人在线日韩| 久久久久久久97| www.久久久久久| 婷色五月| 久草xx性爱视频| 亚洲精品久久久久久久久久吃药| 婷婷99狠| 国产亚洲99| 狠狠操在线视频| 亚洲六月婷婷| 六月丁香中文字幕| 亚洲激情av| 五月婷婷色影院| 先锋资源 996| 亚洲精品99| 色综合天天| 国外亚洲成AV人片在线观看| 激情5月婷婷| 五月天婷婷青青草| www.粉嫩av.com| 狠狠做六月爱婷婷综合aⅴ| 天天xxxxxx天天日| 丁香五月播播| 亚洲最大成人综合网720P| 国内久久亭亭| 99久.| 99热思思久| 色碰干| sesesesezonghe| 很很干在线视频| 啪啪视频99| 九九色婷婷| 日本婷婷色日| 丁香六月婷| 五月五月婷婷| 99热99干| 色色色婷| 色五月中文字幕| 99热这里只有精品268| 日本操B视频| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 欧美色五月| 最近中文字幕在线中文视频| 综合色影| 色五月五月丁香| 另类激情首页| 五月丁香成人网| 婷婷爱五月| 五月丁香淫淫婷婷婷| 武则天精品久久| 亚洲国产精品VA在线看黑人| 天天人人天天爽| 五月丁香色综合| 婷婷五月天综合网| 五月丁香婷婷综合网色欲| 少妇性BBB搡BBB爽爽爽电影| 丁香五月手机视频| 亚洲VA口| 婷婷在线日韩综合| 亚洲色爽| 欧美婷婷日本| 久9热在线免费观看| 五月婷婷精品无在线| 91超碰人人操| 丁香婷婷精品视频| 日本色色网站| 色五月婷婷综合在线| 99免费| 狠狠精品干练久久久无码中文字幕| 久久久久婷婷五月热综合| 婷婷久久久| 女性自慰系列第五页| 五月天激情图片| 国内一级精品| 五月婷婷激情| www五月婷婷88导航| 99久久国产成人精品| 欧美大片免费播放器| 99色啊| 婷婷综合| 久久久婷丁香五月| 日本理论久久| 国产激情视频在线观看| 好吊操这里只有精品| 久九男女天堂| 丁香五月激情宗合| www.久久爱| 五月丁香网中文字幕| 日日夜夜干| 久久久久久综合五月婷婷| 色站9/| 夜夜骑夜夜撸| 综合亚洲六月婷婷在线| 九九热99热| 538午夜激情| 色五月婷婷亚洲| 婷婷激情四射| 天天日夜夜拍| 日本人妻丁香婷婷久久寝取熟女五月| 天天爽综合| 内射爽无广熟女亚洲| 热无码A∨| 亚洲国产精品VA在线看黑人| 五月婷婷色丁香| xx综合网| 婷婷狠狠五月综合| 91精品激情9| 天天五月情| 亚洲中文字幕AV| 日本久久极品| 色婷婷综合影院| 久久久婷婷五月亚洲97号色| 极品少妇XXXX精品少妇偷拍| 成人永久免费视频在线观看| 思思热在线视频精品| 婷婷基地成人五月天| 久久一级免费黄色片| 成人短视频在线观看| 激情小说在线视频| 天天做综合网色综合| 狠狠色丁香婷婷| 天天日天天爽夜夜爽| 激情六月日韩| 日韩成人精品中文字幕| 亚洲妇女熟BBW| 青青草原亚洲天堂| 亚洲成色综合网站免费观看| www.色多多婷| 六月久久婷婷| 插插网爽妇五月丁香| 精品操逼一区二区| 99热传媒| 玖玖在线视频| 99啪啪视频| 激情小说 五月天| 全高清无码视頻| 丰满少妇猛烈A片免费看观看 | 异能之下短剧免费观看全集| 六月婷基地| 婷婷新网址| 97久久久久| 日韩狠狠色| 婷婷丁香花五月天| 亚洲精品性色| 婷婷五月天激情影片| 99人人干| 丁香天堂夜| 婷婷影院欧美| 色婷婷无吗| 国内自拍97在线| 九九热9| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 色色丁香五月天社区| www91色网站| 精国产品一区二区三区A片| 丰满少妇猛烈A片免费看观看| 五月天婷婷免费| 欧美一级色| 婷婷欧美综合| 九九色色网| 天天肏天天肏天天肏| 色色色色色色色色五月先| 99乱视频| 婷婷五月天综合久久| 五月情色天| 91超碰在线播放| 久久综合人妻| 伊人久久丁香狠狠婷婷综合香蕉| 色噜噜狠狠色综合日日| 免费观看欧美成人AA片爱我多深| 亚洲av电影在线| 色色婷婷丁香五月天| 亚洲黄3级片网站欧美| 狠狠色婷婷7777久综合| 久久久www| 五月综合久久| 色五月婷婷激情综合网| 精品婷婷五月视| 色99热| 婷婷色综合| 五月天激情黄色小说在线观看| 久xxxx| 欧美噜噜免费观看| 亚洲高清在线| 日本在线99| www.婷婷| 在线看av| 丁香久色| 色婷婷丁香网| 99re久热只有精品6在线直播| 丁香五月六月欧美| 操久久网| 狠狠色婷婷综合开心影视| 丁香五月花影院| 狠狠婷婷色综合| 夜夜AVV| 噜综合| 五月天激情电影| 亚洲在线操| 久久思思热| 九九综合影音先锋| 久久婷.com| 五月天天天操天天爽夜夜操| 3p日韩网站视频| 久久人妻伊人| 爱久综合| 99久久久久久久| 六月婷婷综合| 五月天天天天天天天天天天天婷婷婷| 人妻人人操| 五月天激情图片网| 国精产品久久| 国产成人精品一区二三区熟女在线 | 婷婷五月天深爱| 婷婷五月天第三页| 色九四色| 538在线| 深爱激情六月天| 色五月天综合网| 久久五月激情综合| www.婷婷六月天| 五月丁香婷婷六月| 婷婷激情在线| 丁五月激情视频免费| 色婷视频| 大香久久伊人网| 婷婷丁香五月欧美人| www.激情| 婷婷五月天777| 亚洲1区| 伊人狠狠色婷婷综合丁香一区| 丁香五月色播中文在线播放| 性爱综合网| 狠狠色综合网站久久久久| 清色五月天| www,色婷婷| 亚洲av成人一区二区电影在线| 婷婷丁香五月天婷婷| 九九热婷婷| 婷婷伊人综合| 婷婷五月天.com| 天天摸天天透天天舔| 久久性爱视频| www色色com| 午夜福利成人AV91| 性韩日色婷婷五月天激情啪啪XXX| www.minyis.com【JT】实力收量可预付QQ2101460746 | 五月激情偷拍| 激情五月天综合图片小说网站| 操逼三区| 翔田千里aV中文字幕| 99在线免费观看| AV色五月婷婷| 狠狠干.com| 亚洲综合在线丁香五月| 天天综合精品| 888精品福利地址| 99在线观看| 激情婷婷五月黑人| WWW.HENHENL.| 婷婷五月久久| 丁香五月伊人| 色色综合视频| A片一曲| 婷婷五月天精品| 久久开心五月天激情| 色射7856五月天激情四射| 激情五月天综合| 任你草| 色九月婷婷| 婷婷五日b| 超碰在线观看成人视| 婷婷丁香五月综合| 黄色成人网站在线播放| 人人摸人人搞| 五月婷婷久久激情 | 99er精品视频| 婷婷丁香六月| 日本nghangse中文字幕| www.久热| 五月丁香综合伦理片| 丁香五月天激情综合| 97激情五月天| 任我鲁这里有精品视频| 东京热五月婷婷| 五月花激情| 囯产精品一品二区三区| 神马久久五月天| 久热大香蕉| 天天插综合| 九九九九毛片| 极品少妇XXXX精品少妇偷拍| 思思热再线视频| 99久久.www| 亚洲综合丁香婷婷六月天| 婷婷九月| 综合色五月| 五月丁香成人| 五月天婷婷六月激情网| 97香蕉人人在线观看| 91日本在线| 欧美日韩91| 无码激情AAAAA片-区区| 99这里| 色综合色色色色色| 婷婷丁香五月视频| 婷婷五月天丁香综合网| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 青青草成人网| 麻豆科斗777| 九九自拍网| 久碰久| 亚洲成人AV电影在线| av在线播放网址| 色播五月丁香综合| 亚洲综合色棒| 婷婷精品在线| 色婷婷狠| 五月婷婷六月天| 中文字幕无码人妻少妇免费视频| 热久综合| 激情五月婷| 成人中文字幕在线| 啪啪综合网| 五月婷婷 欧美| 色色欧美色色色| 懂色av粉嫩AV蜜臀AV| 碰碰碰91| 九九99免费视频| 欧美激情Va| 99成人免费视频| 99aese| 99日本黄站| 人妻久久久久久久久妻久久久久久久久| 婷婷五月天成人动漫 | 日本色婷婷综合| 综合婷婷| 五月噜噜| 《蜘蛛女》梁铮1995| 激情噜噜噜| 丁香六月婷婷色XXXXX| 亚洲欧洲中文日韩久久AV乱码 | 九九性视频| 99aese| 六月份天丁香婷婷| 色色com| 蜜臀av 粉嫩av 懂色av| 婷婷综合色图| 丁香激情六月天婷婷| 婷婷五月花| 图片区 小说区 区 亚洲五月| 99热伊人综合| 天天做天天爱高潮片| 开心五月色婷婷综合开心网| 婷婷成人综合| 亚洲视频综合网| 国产精品视频| 五月婷婷在线网站| 99热在线精品观看| 久久se 综合网 | 五月婷婷日本| 色亚洲视频| 日日操夜夜爽| 精品亚洲国产成人A片在线鸭王| 岛国操B不卡在线| 人妻AV在线| 99re思思热这里| 91AV婷婷| 五月婷婷久久网| 天天日天天添| 久久久噜噜噜久久人妻| 中文字幕日产A片在线看| 欧美激情久| 99在线精品免费视频| 黄色99热| 深爱五月天 开心网| 991国产精选视频在线播放下载| 搡BBBB搡BBB搡五十| 成人婷婷| 五月丁香亚洲婷婷| 六月婷婷综合| 黄色激情久久| 色欲久久久久| 亚洲国产精品SUV| 婷婷情色五月天| 天天夜夜操| 99久久9| 欧美在线看| www一区二区三区| 五月婷婷综合激情| 欧洲色色| 91丨九色丨熟女高潮| 天天爱天天狠天天透| 91在线观看九区| 五月丁香婷婷综合激情基地| 五月婷婷激情| 超碰99在线观看| 五月丁香好婷婷A片网| 99九九免费精品| 综合激情深爱| 丁香五月天久久| 国产日日夜夜操| 色婷婷基地| 五月丁香网视频| 色色丁香婷婷| 欧日韩成人| 五月天天综合| 99久久精品国产色欲| 人人草人| 99资源人人| 精品人妻久久久久| 七七色综合| 丁香五月激情图片| 九一娱乐在线观看视频| 激情五月婷在线精品| 超碰婷婷色| 五月婷婷久久网| 国产精产国品一二三在观看| 5月丁香综合网| 五月婷婷六月色| 欧美日韩大黄| 92久久精品一区二区| 亚洲丁香五月天在线视频| 九九人人操| 日本va欧美va精品发布视频| 精品一二三区久久AAA片| 一区二区三区四区五区| 五月综合激情婷婷六月色窝| 狠狠色官网| 久久人妻少妇嫩草AV| 午夜爱爱爱成人| 伊人久久丁香狠狠婷婷综合香蕉 | 丁香涩涩爱| 99九九免费精品| 色色色色色色网站| www.99热在线| 91玖玖| 天天干天天插| 九色综合五月天婷五月| 天天摸天天肏| 免费精品99| 性色欲情 网站| 人人爱操| 亚洲综合干| 婷婷在线日韩综合| 五月丁香六月婷婷在线播放| 婷婷色色综合| 丁香六月婷婷综合在线| 综合狠久久| 久久丝丝热| 激情丁香五月婷婷| 九九热在线视频,| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 久热久| 五月激情综合网| 天天综合图片| 国产色色小草视频| 色五月av| 激情网站五月| 国产成人精品一区二三区熟女在线| 怡红院院久久| 色色色五月| 久婷久婷| www.五月天婷婷.com| 成熟妇人A片免费看网站| 天天天天天天噜| 永久热91| 日韩无码色色| AV 3P| 丁香六月青青草| 五月激情视频| 婷婷五月天激情偷拍| 欧在线一区| 久操福利| 天天综合五月| 狠狠爱成人综合网| 一区二区免费看| 97丁香五月天| 97ai婷婷| 五月激情六月宗合| 色五月婷婷激情五月| 色婷婷影| 九九热精品在线| 九月丁香五月婷婷| 久操大| 国自产拍偷拍精品啪啪一区二区| 亚洲国产va| 婷婷丁香花五月天| 青草青草视频2免费观看| 色婷婷五月综合| 99色色热| 亚洲欧洲一二| 日日天天干| 亚洲情a| 久久在这里99| 久久激情五月网| 色欲丁香| 五月桃花网综合| 五月丁香色色| 99亚洲大片精品永久在线观看| 婷婷丁香五月91| 九九视频在线| 偷拍五月丁香| 五月激情视频网| 超碰网站在线观看| 爽tv | 九九无码| 欧美视频在线观看噜噜| 91男同| 丁香五月玖玖| 大香蕉综合在线| 九九热最新地址| 五月婷婷综合色啪| 丁香五月综合无码趴趴| 风流少妇A片一区二区蜜桃| 97影院一级片| 久久成人天| 婷婷开心深爱五月天| se婷97| 全部老头和老太XXXXX| 欧美 日韩 成人在线| 夜夜操狠狠操天天操| 99玖玖免费视频| 岛国在线观看91| 婷婷五月天久久久| 婷婷五月亚洲一本在线丁香| 色五月 激情婷婷 综合五月天| 亚洲综合视频网| 欧美三级视频| 国产这里只有精品| 久久精品99久久久久久| 色婷婷色五月天| 激情五月综亚网| 大香蕉婷婷丁香视频在线| 色播色丁香五月| 国产毛片精品一区二区色欲黄A片| Av九九| 狠狠色丁香| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 人人干天天舔| 成人在线不卡| 久久全色| 欧洲色区| 欧美Va在线| 色色激情五月天| 人妻激情视频| 99资源人人| 性爱激情五月| 99热久久这里只有精品| 久久久精品人妻| 日韩人妻在线观看| 伊人婷婷五月天| 五月婷婷二月丁香| 狠狠干五码| 99久久思思| 丁香色情五月天| AV在线中文| 任你擦免费视频| 91丨九色熟女丨首页| 91黄色五月天视频| 天海翼中文字幕高| 亚洲情综合五月天| 操人无码| 大香蕉AV在线| 激情五月影院| 99热这里只有精| 婷婷午夜天| 玖玖爱伊人| 五月丁香婷婷综合| 五月丁香婷婷99| 亚洲人人艹| 色婷大香蕉| 4399精品一区二区| 色综合中文综合网| 69人人操人人爽| 五月婷婷 婷婷五月 一区二区 久久久| 免费看欧美成人A片无码| 色色色欧美| 国产肥白大熟妇BBBB视频| 婷婷色婷婷| 99热9| 成人无码髙潮喷水A片| 丁香五月天堂网| 色婷婷电影网| 五月婷婷综合网| 久久婷婷五月天| 99色色| 日韩综合成人| 综合五月激情| 99在线小视频| 日本九九九九九九| 99WWW免费视频| www98日本小时间到了| 激情婷婷综合网| pom538精品视频| www.狠狠| 九九成人| 橾逼网| 99综合网| 亚洲乱码日产精品BD| 99综合99| 99日视频在线| 亚洲综合1024| 热久久66| 日韩美女在线视频19| 99久超碰| 六月丁香影院| 狠狠爱丁香婷| 欧美99热| 在线区区区| 99这里只有精品|v| 米奇激情婷婷| 91狠狠综合久久| 激情六月下句是什么| 亚洲天堂久久| 丰满人妻一区三区三区| 五月天综合久久| 婷婷香蕉香| 久久这里只有国产| www.99免费视频| 香蕉久久六月| 色婷婷久久综合久色| 五月激情综合婷婷| 自拍盗摄 另类| 欧美综合五月丁香六月婷| 啪啪综合网| 欧洲电影在线观看免费版英语版| 97亚洲精品| 97丁香五月| 五月丁香综合啪啪啪啪啪| 日韩AAA| 色五月天综合网| 亚洲AV成人在线| 亚洲妇女熟BBW| 综合九色| 99操视频| 五月色婷婷综合丁香精品无遮挡| 天天天久久人人人合| 狠狠香蕉| 国产精品第一国产精品| 色色色色区| 日日操夜夜爽白洁| 99热99re6国产在线播放| 99熟女视频| 欧美成人AAA片一区国产精品| 九九色黄色| 97人人操在线| 久久永久网址| 色五狠狠| 丁香色婷婷五月天| 九月婷婷在线视频| 9l视频自拍9l九色9l成人| 久久黄色网扯| 久久久久久久久人妻| 97人人操人人干| www.婷婷com| 99热亚洲| 六月五月婷婷| 大香蕉av在线| 亚洲AV日韩在线观看| 99精品自拍| 天天操天天草天天草天天| 色婷婷19| 五月丁香综合色婷婷| 超碰在线国产| 思思热久久爱| 丁香五月色| 亚洲视频无| 天天舔夜夜操www com| 六月丁香网| 亚洲熟妇AV乱码在线观看| 99视频九九热| 婷婷综合六月| 日韩无码成人电影| 狠狠久综合| 精品九九视频| 久久99久久99精品免视看婷婷| 婷婷.com| 色婷婷六月性| 久久最新色| 丁香婷婷狠狠97| 国产伦理精品高清在线观看网站一区二区| 韩国三级五月天婷婷。| 综合网五月| 91|九色|动漫| 亭亭五月天成人| 五月婷丁香| 99色日本| www,av好吊操| 五月天色图| 91超级碰在线视频| 激情丁香五月天图片| 综合色99| 婷婷丁香社区| 五月天另类图片| 久草热久草在线视频| 久久多色| www.天天日| 懂色av粉嫩AV蜜臀AV| 丁香五月婷婷亚洲色图| 激情综合色图| 九九激情视频| 99色热综合| 97色碰| 色婷丁香| 色五月综合| 色天使久久综合| jiujiu无码五区| 久久婷综合| 中文字幕精品在线观看| 婷婷六月丁香五月| 狠狠CAO日日穞夜夜穞AV | 成人片在线播放| 99热碰碰| 婷婷五月情| 中文字幕网伦射乱中文| 激情婷婷丁香五月天小说| 欧美丁香五月97色| 91丁香婷婷综合资源| xfplayav在线| 欧美性猛交XXXX乱大交极品| 亚洲综合视频天天精品| 另类视频综合| 色欲色天天香综合| 99在线视频播放| 久久大香免费| 激情五月天婷婷五月天| 激情色情五月天| WWW.99热| 99欧美精品99日本精品| 五月婷婷在线网站| 三级av在线| 日本五月丁香| 免费视频WWW在线观看网站| 色亚洲中文| 五月激情小说| 国产亚洲色婷婷99精品| 色色a| 97操在线视频| 婷婷色中文字幕| 大香蕉九九| 这里只有精品视频99| 激情九月婷婷| 色五月综合在线| 99爱视频精品在线观看| 婷婷午夜| 亚洲视99| 国产av天堂| 免費亭亭成人| 国产小精品| 五月丁香六月婷婷综合伊人| 久久久宗合视频88| 五月丁花色综合网| 在线免费视频caop| 久久99性爱视频| 婷婷五月激情综合网| 婷婷五月亚洲一本在线丁香| 久久网婷婷| 五月天综合激情网| 色婷婷av在线| 婷婷色综合| 欧美五月丁香在线观看| 激情玖玖sh| 亚洲欧州色情在线观看| 久热伊人在91| 亚洲AV网站在线观看| www.99热在线观看| www.婷婷五月| 插插干干干色| 七月丁香五月婷婷在线| 成年人看Va免费视频| 97热九九| 色播五月婷婷| 丁香无五月网| 久久六月婷婷| 婷婷九月丁香| 99久久五月天| 国产67194| 五月丁香五月丁香| WWW色五月| 天天色色天天| 五月综合激情| 狠狠色综合网| 激情六月婷| 色婷婷精品视频| 亚洲精品婷婷| 99热99这里有免费的精品| www.ywav| 激情亭亭五月| 色久播播| 欧美在线ee日韩| 播五月丁香三月婷婷| 五月天丁香六月综合| 婷婷丁香日韩五月| 久久婷婷五月天| 丁香五月亚洲激情婷婷射| 91 影音先锋| 欧美激情综合色综合啪啪五月| 丁香五月天天| 激情第四色| 丁香六月无码| 中文字幕,综合,91| 啊v视频在线观看| 五月激情婷婷开心| 欧美婷婷丁香五月社区| 福利视频在线播放| 99热这里只有免费精品| 久久精品4| 中国无码av| 美欧日韩国产成人在战| 另类五月婷婷| 96色婷婷| 婷婷色综合| 五月天激情www| 婷婷丁香熟妇综合网| 爱99干99| 激情久久肏屄视频| 视频这里只有精品16| av第一二区| 五月天激情小说网| www.婷婷五月天| 丁香五月网站| 久久婷婷五月综合网| 99久久婷婷国产综合精品草原| 日日夜夜天天爽| 日本毛片内射| 丰满老熟妇BBBBB搡BBB| 色婷婷av综合网| 五月丁香花激情综合网| 五月玖玖| seav天堂| 欧美人妻一区二区| 亚洲日韩欧美综合VA| 伊人五月天日日夜夜久久久天天| 在线一起草av| 亚洲激情网| 这里只有精品视频| www 五月天 com| 五月丁香成人| 色在线免费观看| 99综合免费视频| 99狠狠操一| 人妻在线中文字幕久久| 久久9视频欧美| 婷婷五月色花丁香社区| 狠狠干综合| 久久婷婷内射| 丁香婷婷视频一区二区| 久久婷婷六月天| 嫩草视频观看| www.五月天| 五月大香蕉| 丁香五月欧美| 欧美色色色| 99天堂网| 午夜丁香综合婷婷| 婷婷五月天av小说| 色婷婷丁香五月| 五月丁香六月成人| 婷婷五月另类网站| 操嫩逼电影| 色婷婷婷av| 五月丁香无码| 激情超碰网| 色伊人91在线视频| 久久人妻精品| 97超碰人人操| 五月丁香六月婷婷欧美综合| 天天拍久久|