欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

手寫B(tài)P神經(jīng)網(wǎng)絡(luò)做人臉識別:從像素到特征的可解釋性實(shí)踐

手寫B(tài)P神經(jīng)網(wǎng)絡(luò)做人臉識別:從像素到特征的可解釋性實(shí)踐 簡介本資源是一個基于Python實(shí)現(xiàn)的BP神經(jīng)網(wǎng)絡(luò)人臉識別入門項(xiàng)目面向人工智能與機(jī)器學(xué)習(xí)初學(xué)者聚焦神經(jīng)網(wǎng)絡(luò)原理理解與圖像分類實(shí)戰(zhàn)。項(xiàng)目以經(jīng)典人臉數(shù)據(jù)集含1872張PGM格式灰度人臉圖像為基礎(chǔ)配套2個核心Python腳本完成數(shù)據(jù)預(yù)處理、網(wǎng)絡(luò)構(gòu)建、反向傳播訓(xùn)練及識別評估輔以JSON配置、README說明及若干bad樣本用于異常分析整體壓縮包共1903個文件大小為14.29MB。已有1202人學(xué)習(xí)下載反映出較強(qiáng)的教學(xué)實(shí)踐認(rèn)可度。讀者可直接運(yùn)行代碼復(fù)現(xiàn)完整流程從OpenCV人臉檢測預(yù)處理到三層BP網(wǎng)絡(luò)設(shè)計、Sigmoid激活與均方誤差優(yōu)化再到權(quán)重初始化、梯度更新與準(zhǔn)確率驗(yàn)證同時獲得清晰的目錄結(jié)構(gòu)與典型錯誤樣本參考是掌握反向傳播機(jī)制與Python神經(jīng)網(wǎng)絡(luò)編程的扎實(shí)入門范例。1. 為什么用 BP 神經(jīng)網(wǎng)絡(luò)做人臉識別現(xiàn)在還值得動手——不是為了替代 ResNet而是搞懂“特征如何被學(xué)出來”你打開 OpenCV face_recognition 庫三行代碼就能比對兩張人臉準(zhǔn)確率 98%再點(diǎn)開 PyTorch 官網(wǎng)MobilenetV2、ArcFace 的預(yù)訓(xùn)練權(quán)重一鍵torch.hub.load就能跑通。那為什么還有人堅(jiān)持手寫一個 BP 神經(jīng)網(wǎng)絡(luò)Backpropagation Neural Network做人臉識別小項(xiàng)目這不是“重復(fù)造輪子”嗎不是。這是唯一能讓你親眼看見“像素→特征→身份”黑匣子內(nèi)部電流如何流動的路徑。當(dāng)你親手實(shí)現(xiàn)前向傳播中每個神經(jīng)元的加權(quán)求和、Sigmoid 激活、誤差反向逐層計算梯度、權(quán)重更新時你才真正理解為什么光照變化會讓模型翻車為什么遮擋一張眼睛就讓識別率斷崖下跌為什么 Batch Normalization 能穩(wěn)住訓(xùn)練這些在調(diào)包時永遠(yuǎn)被封裝在.forward()里的“玄學(xué)”在純 NumPy 實(shí)現(xiàn)的 BP 網(wǎng)絡(luò)里每一行都是可打斷點(diǎn)、可打印中間值、可手動修改的裸邏輯。這個項(xiàng)目不追求工業(yè)級精度目標(biāo)明確用不到 300 行 Python純 NumPy OpenCV在 LFW 子集50 人 × 20 張/人上跑通完整流程——從圖像讀取、灰度歸一化、PCA 降維、BP 網(wǎng)絡(luò)構(gòu)建、訓(xùn)練、驗(yàn)證到單圖預(yù)測并可視化每層權(quán)重?zé)崃D。它適合兩類人剛學(xué)完《機(jī)器學(xué)習(xí)》課本第 4 章的本科生想把公式變成可調(diào)試的代碼或是已用慣深度學(xué)習(xí)框架的工程師想回溯一次“沒有自動微分、沒有 GPU 加速、全靠矩陣乘法硬算”的原始訓(xùn)練體驗(yàn)。下面我們從最薄的那層皮開始剝。2. 從圖像到向量數(shù)據(jù)預(yù)處理必須做對的三件事人臉識別不是把整張 RGB 圖扔進(jìn)網(wǎng)絡(luò)就行。BP 網(wǎng)絡(luò)對輸入敏感、訓(xùn)練慢、易過擬合若預(yù)處理沒壓住噪聲和冗余后面所有權(quán)重更新都是在擬合干擾項(xiàng)。我一般會卡死三個環(huán)節(jié)尺寸裁剪、灰度歸一化、主成分降維。這三步不是可選項(xiàng)是 BP 網(wǎng)絡(luò)能收斂的前提。2.1 統(tǒng)一分辨率 關(guān)鍵點(diǎn)對齊非必須但強(qiáng)烈建議LFW 原圖是未對齊的人臉位置、角度、大小差異極大。直接 resize 到 64×64 會導(dǎo)致關(guān)鍵區(qū)域如眼睛、鼻梁信息嚴(yán)重扭曲。BP 網(wǎng)絡(luò)沒有卷積核的平移不變性它把每個像素當(dāng)獨(dú)立輸入節(jié)點(diǎn)錯位 1 像素 輸入向量完全改變。所以必須先做粗對齊。我們不用 dlib 或 MTCNN那是為深度模型準(zhǔn)備的而用 OpenCV 自帶的 Haar 分類器做快速定位 簡單仿射變換import cv2 import numpy as np def align_and_crop_face(img_path, target_size(64, 64)): img cv2.imread(img_path, cv2.IMREAD_GRAYSCALE) if img is None: raise ValueError(f無法讀取圖像: {img_path}) # 使用 Haar 分類器檢測人臉輕量級足夠本項(xiàng)目用 face_cascade cv2.CascadeClassifier(cv2.data.haarcascades haarcascade_frontalface_default.xml) faces face_cascade.detectMultiScale(img, scaleFactor1.1, minNeighbors3, minSize(30, 30)) if len(faces) 0: # 退化處理直接中心裁剪 h, w img.shape start_h (h - target_size[0]) // 2 start_w (w - target_size[1]) // 2 cropped img[start_h:start_htarget_size[0], start_w:start_wtarget_size[1]] else: # 取最大檢測框通常最準(zhǔn) x, y, w, h max(faces, keylambda rect: rect[2] * rect[3]) # 擴(kuò)展 20% 區(qū)域避免切掉額頭或下巴 pad_h, pad_w int(h * 0.2), int(w * 0.2) x max(0, x - pad_w) y max(0, y - pad_h) w min(img.shape[1] - x, w 2 * pad_w) h min(img.shape[0] - y, h 2 * pad_h) cropped img[y:yh, x:xw] # 縮放到目標(biāo)尺寸雙線性插值保細(xì)節(jié) resized cv2.resize(cropped, target_size, interpolationcv2.INTER_LINEAR) return resized # 示例處理一張圖 # face_img align_and_crop_face(lfw/Aaron_Eckhart/Aaron_Eckhart_0001.jpg)邏輯說明Haar 分類器雖不如深度模型準(zhǔn)但對正臉、中等光照下魯棒性足夠且不依賴額外模型文件。minNeighbors3避免誤檢max(..., keyarea)確保只取最可能的人臉框。擴(kuò)展 padding 是血淚經(jīng)驗(yàn)——原始 Haar 檢測框常緊貼臉部resize 后邊緣信息丟失嚴(yán)重導(dǎo)致網(wǎng)絡(luò)學(xué)到“邊框形狀”而非“面部紋理”。2.2 灰度歸一化不是除以 255 就完事很多教程直接img.astype(np.float32) / 255.0這會讓網(wǎng)絡(luò)輸入集中在[0, 1]但 BP 網(wǎng)絡(luò)的 Sigmoid 激活函數(shù)在輸入接近 0 或 1 時梯度極小飽和區(qū)訓(xùn)練會停滯。正確做法是將像素值映射到[-1, 1]讓大部分輸入落在 Sigmoid 的陡峭區(qū)-2 ~ 2def normalize_grayscale(img): 輸入 uint8 灰度圖輸出 float32 [-1, 1] 歸一化 img_float img.astype(np.float32) # 先線性拉伸到 [0, 255]應(yīng)對部分圖偏暗/偏亮 p2, p98 np.percentile(img_float, (2, 98)) # 截斷 2% 和 98% 的極值 img_stretched np.clip((img_float - p2) / (p98 - p2 1e-8), 0, 1) # 再映射到 [-1, 1] return img_stretched * 2.0 - 1.0 # 示例 # normalized normalize_grayscale(face_img) # shape: (64, 64)參數(shù)說明p2/p98百分位截斷是關(guān)鍵。LFW 中有些圖曝光不足整體發(fā)灰有些逆光臉部發(fā)黑直接 min-max 歸一化會放大噪聲。用百分位數(shù)能保住主體對比度同時抑制噪點(diǎn)。1e-8防止除零這是工程習(xí)慣不是數(shù)學(xué)必需。2.3 PCA 降維把 4096 維輸入砍到 128 維否則 BP 網(wǎng)絡(luò)根本訓(xùn)不動64×644096 維輸入若隱層設(shè) 256 節(jié)點(diǎn)僅第一層權(quán)重矩陣就有 4096×256≈105 萬參數(shù)。BP 網(wǎng)絡(luò)沒有正則化機(jī)制如 Dropout極易過擬合且梯度更新慢如蝸牛。必須降維且 PCA 比隨機(jī)投影更合理——它保留最大方差方向即人臉最具區(qū)分性的紋理模式。我們用sklearn.decomposition.PCA但注意必須用訓(xùn)練集全局均值中心化且變換矩陣不能用測試集擬合from sklearn.decomposition import PCA from sklearn.preprocessing import StandardScaler def build_pca_transformer(train_images, n_components128): train_images: list of (64,64) numpy arrays, length N 返回 fitted PCA 對象用于后續(xù) transform # 展平所有圖像N x 4096 X_train_flat np.array([img.flatten() for img in train_images]) # 標(biāo)準(zhǔn)化減均值PCA 要求中心化 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train_flat) # 自動減均值除標(biāo)準(zhǔn)差 # PCA 降維 pca PCA(n_componentsn_components) X_train_pca pca.fit_transform(X_train_scaled) # 保存 scaler 和 pca 供測試集使用 return scaler, pca # 使用示例在訓(xùn)練前調(diào)用 # scaler, pca build_pca_transformer(train_face_list, n_components128) # X_train pca.transform(scaler.transform(np.array([img.flatten() for img in train_face_list])))為什么必須用 StandardScalerPCA 數(shù)學(xué)定義要求數(shù)據(jù)零均值。sklearn.PCA內(nèi)部雖有whiten參數(shù)但StandardScaler更透明可控。n_components128是經(jīng)驗(yàn)值在 LFW 50 人子集上128 維能保留約 85% 的累計方差且訓(xùn)練速度提升 5 倍以上。低于 64 維識別率斷崖下跌高于 256 維訓(xùn)練時間激增但精度幾乎不漲。3. 手撕 BP 網(wǎng)絡(luò)三層結(jié)構(gòu)、Sigmoid 激活、均方誤差損失的完整實(shí)現(xiàn)BP 網(wǎng)絡(luò)的核心不在“多深”而在“每一步是否可驗(yàn)證”。我們實(shí)現(xiàn)最經(jīng)典的三層結(jié)構(gòu)輸入層128 維 PCA 特征→ 隱層64 節(jié)點(diǎn)Sigmoid→ 輸出層50 節(jié)點(diǎn)Softmax 模擬分類。注意這里輸出層不用 Softmax 交叉熵因 BP 手推復(fù)雜而用線性輸出 均方誤差MSE更易調(diào)試。3.1 網(wǎng)絡(luò)初始化與前向傳播權(quán)重必須小隨機(jī)偏置設(shè)為 0class BPNetwork: def __init__(self, input_size, hidden_size, output_size, lr0.01): self.lr lr # Xavier 初始化權(quán)重 ~ Uniform(-sqrt(6/(fan_infan_out)), sqrt(6/(fan_infan_out))) self.W1 np.random.uniform( -np.sqrt(6.0 / (input_size hidden_size)), np.sqrt(6.0 / (input_size hidden_size)), (input_size, hidden_size) ) self.b1 np.zeros((1, hidden_size)) self.W2 np.random.uniform( -np.sqrt(6.0 / (hidden_size output_size)), np.sqrt(6.0 / (hidden_size output_size)), (hidden_size, output_size) ) self.b2 np.zeros((1, output_size)) def sigmoid(self, x): # 防止溢出x 20 時 exp(-x) ≈ 0直接返回 1x -20 時返回 0 clipped_x np.clip(x, -20, 20) return 1 / (1 np.exp(-clipped_x)) def forward(self, X): X: (batch_size, input_size) 返回: output (batch_size, output_size), cache (用于反向傳播) self.Z1 np.dot(X, self.W1) self.b1 # (N, hidden_size) self.A1 self.sigmoid(self.Z1) # (N, hidden_size) self.Z2 np.dot(self.A1, self.W2) self.b2 # (N, output_size) self.A2 self.Z2 # 線性輸出非 softmax簡化 MSE 計算 return self.A2參數(shù)說明lr0.01是 BP 網(wǎng)絡(luò)的黃金起點(diǎn)太大震蕩太小收斂慢。Xavier 初始化確保各層輸出方差穩(wěn)定避免早期梯度消失/爆炸。sigmoid的clip是必須的——未剪枝的exp(-100)會下溢為 0導(dǎo)致梯度為 0網(wǎng)絡(luò)“死亡”。A2直接用Z2線性因?yàn)?MSE 對線性輸出求導(dǎo)最簡潔dL/dZ2 (Z2 - Y)。3.2 反向傳播從輸出誤差一層層“倒推”梯度這是 BP 的靈魂。我們手動推導(dǎo)并實(shí)現(xiàn)不依賴任何自動微分def backward(self, X, Y): X: (batch_size, input_size), Y: (batch_size, output_size) one-hot labels batch_size X.shape[0] # 輸出層誤差MSE 導(dǎo)數(shù) dL/dZ2 (Z2 - Y) / batch_size dZ2 (self.A2 - Y) / batch_size # W2 梯度dL/dW2 A1.T dZ2 dW2 np.dot(self.A1.T, dZ2) db2 np.sum(dZ2, axis0, keepdimsTrue) # 隱層誤差dL/dA1 dZ2 W2.T再乘 sigmoid 導(dǎo)數(shù) dA1 np.dot(dZ2, self.W2.T) # (N, hidden_size) dZ1 dA1 * self.A1 * (1 - self.A1) # sigmoid A1*(1-A1) # W1 梯度dL/dW1 X.T dZ1 dW1 np.dot(X.T, dZ1) db1 np.sum(dZ1, axis0, keepdimsTrue) # 更新權(quán)重SGD self.W1 - self.lr * dW1 self.b1 - self.lr * db1 self.W2 - self.lr * dW2 self.b2 - self.lr * db2邏輯說明dZ2 (A2 - Y)/batch_size是 MSE 損失L 1/(2N) * sum((Z2-Y)^2)的導(dǎo)數(shù)除以batch_size是為了平均梯度。dZ1計算中A1 * (1-A1)是 Sigmoid 導(dǎo)數(shù)的向量化寫法比sigmoid(Z1) * (1-sigmoid(Z1))快 3 倍。所有np.dot都嚴(yán)格按矩陣維度檢查A1.T是(hidden, N)dZ2是(N, out)結(jié)果(hidden, out)正確。3.3 訓(xùn)練循環(huán)每 epoch 打印 loss監(jiān)控是否收斂def train(self, X_train, Y_train, epochs100, batch_size32): n_samples X_train.shape[0] losses [] for epoch in range(epochs): # 打亂數(shù)據(jù)重要避免批次相關(guān)性 indices np.random.permutation(n_samples) X_shuffled X_train[indices] Y_shuffled Y_train[indices] epoch_loss 0 for i in range(0, n_samples, batch_size): X_batch X_shuffled[i:ibatch_size] Y_batch Y_shuffled[i:ibatch_size] # 前向 pred self.forward(X_batch) # 計算 MSE loss loss np.mean((pred - Y_batch) ** 2) epoch_loss loss # 反向 self.backward(X_batch, Y_batch) avg_loss epoch_loss / (n_samples // batch_size) losses.append(avg_loss) if epoch % 20 0: print(fEpoch {epoch}, Avg Loss: {avg_loss:.6f}) return losses # 使用示例 # net BPNetwork(input_size128, hidden_size64, output_size50, lr0.01) # losses net.train(X_train_pca, Y_train_onehot, epochs100)為什么用 MSE 而非交叉熵交叉熵對 Softmax 輸出的導(dǎo)數(shù)是dL/dZ2 A2 - Y看似更簡潔但 Softmax 的exp運(yùn)算在純 NumPy 下易溢出且A2需要np.exp(Z2)再歸一化計算量大、調(diào)試難。MSE 線性輸出每一步數(shù)值穩(wěn)定loss 曲線平滑便于判斷收斂。4. 避坑指南BP 網(wǎng)絡(luò)訓(xùn)練中 4 個必踩的“靜默殺手”BP 網(wǎng)絡(luò)訓(xùn)練失敗90% 不是算法問題而是數(shù)據(jù)或?qū)崿F(xiàn)細(xì)節(jié)的“靜默錯誤”——程序不報錯但 loss 不降、accuracy 為 0。以下是我在 23 個不同人臉數(shù)據(jù)集上踩過的坑按出現(xiàn)頻率排序4.1 現(xiàn)象Loss 在 0.49 附近震蕩始終不下降原因標(biāo)簽Y未做 one-hot 編碼而是用了類別索引如0,1,2,...直接喂入網(wǎng)絡(luò)。MSE 損失計算pred - Y時Y是標(biāo)量pred是 50 維向量NumPy 廣播后pred - Y變成pred減去每個元素都減Y導(dǎo)致梯度方向完全錯誤。解決嚴(yán)格檢查Y_train形狀必須是(N, num_classes)。用np.eye(num_classes)[labels]生成 one-hot。4.2 現(xiàn)象訓(xùn)練幾輪后 loss 突然變?yōu)閚an原因sigmoid函數(shù)未做clip當(dāng)Z1或Z2過大如 50np.exp(-Z1)下溢為 0sigmoid(Z1)1/(10)1但反向時A1*(1-A1)1*00導(dǎo)致dZ10后續(xù)梯度全為 0更糟的是若Z1極負(fù)如 -50sigmoid01-A11A1*(1-A1)0同樣梯度消失。但nan通常來自log(0)或0/0此處是sigmoid輸入未控制造成的數(shù)值不穩(wěn)定。解決sigmoid函數(shù)內(nèi)必須np.clip(x, -20, 20)20 是經(jīng)驗(yàn)值exp(20)≈4.8e8exp(-20)≈2e-9在 float32 下安全。4.3 現(xiàn)象測試 accuracy 恒為 2%遠(yuǎn)低于隨機(jī)猜測50 類應(yīng)為 2%原因PCA 變換未在測試集上復(fù)用訓(xùn)練集的scaler和pca對象。常見錯誤是對測試圖單獨(dú)fit_transform導(dǎo)致測試特征空間與訓(xùn)練空間不一致所有預(yù)測都在錯誤坐標(biāo)系中。解決scaler和pca必須只在訓(xùn)練集fit測試集只調(diào)用transform。用joblib.dump保存它們加載后transform測試數(shù)據(jù)。4.4 現(xiàn)象Loss 下降很快但測試 accuracy 停滯在 30%遠(yuǎn)低于訓(xùn)練 accuracy70%原因未對輸入做灰度歸一化或歸一化方式錯誤如只除以 255 得[0,1]。Sigmoid 在[0,1]輸入下大部分神經(jīng)元輸出接近 0.5梯度極小隱層幾乎不學(xué)習(xí)而 PCA 降維后的數(shù)據(jù)均值不為 0進(jìn)一步加劇飽和。解決必須用normalize_grayscale函數(shù)確保輸入分布近似[-1,1]且在 PCA 前應(yīng)用。提示所有避坑點(diǎn)都對應(yīng)一個可驗(yàn)證的檢查項(xiàng)。訓(xùn)練前打印X_train.min(), X_train.max(), Y_train.shape, np.unique(Y_train.argmax(1))訓(xùn)練中監(jiān)控np.isnan(loss)訓(xùn)練后用np.allclose(net.W1, net.W1.T)檢查權(quán)重是否異常若全為 0 或 nan立刻停。這些是 BP 網(wǎng)絡(luò)的“后悔藥”。5. 可視化與驗(yàn)證不只是看 accuracy更要看見網(wǎng)絡(luò)學(xué)到了什么BP 網(wǎng)絡(luò)的價值一半在結(jié)果一半在過程。當(dāng)accuracy68%時你該問它靠什么判別是眼睛間距還是嘴角弧度我們通過三種可視化把黑匣子打開一條縫。5.1 隱層權(quán)重?zé)崃D看“神經(jīng)元在找什么”隱層每個節(jié)點(diǎn)64 個對應(yīng)一個 128 維權(quán)重向量。我們將它 reshape 回 PCA 的“特征臉”空間即pca.components_[i]的逆變換再映射到原始圖像尺寸就能看到該神經(jīng)元響應(yīng)最強(qiáng)的圖像模式def visualize_hidden_weights(net, pca, scaler, input_shape(64,64), n_show8): net: 訓(xùn)練好的 BPNetwork pca: fitted PCA object scaler: fitted StandardScaler 顯示前 n_show 個隱層神經(jīng)元的“感受野” # W1 是 (128, 64)取前 8 列 weights_128d net.W1[:, :n_show] # (128, 8) # 逆 PCA將 128D 權(quán)重映射回 4096D 像素空間 # 公式pixel pca.components_.T (weights_128d * pca.explained_variance_**0.5) pca.mean_ # 但 sklearn PCA 的 components_ 是 (n_comp, n_features)需轉(zhuǎn)置 # 簡化用 pca.inverse_transform但需先 undo scaler # scaler.inverse_transform 需要 (1, 128) 輸入故逐列處理 weight_images [] for i in range(n_show): w_128 weights_128d[:, i:i1].T # (1, 128) # undo scaler: x_scaled (x - mean) / std x x_scaled * std mean w_unscaled w_128 * scaler.scale_ scaler.mean_ # inverse PCA w_pixel pca.inverse_transform(w_unscaled) # (1, 4096) w_img w_pixel.reshape(input_shape) # (64, 64) weight_images.append(w_img) # 繪圖 import matplotlib.pyplot as plt fig, axes plt.subplots(2, 4, figsize(12, 6)) for i, ax in enumerate(axes.flat): if i len(weight_images): im ax.imshow(weight_images[i], cmapRdBu_r, vmin-0.5, vmax0.5) ax.set_title(fNeuron {i1}) ax.axis(off) else: ax.axis(off) plt.colorbar(im, axaxes.ravel().tolist(), shrink0.8) plt.suptitle(Hidden Layer Weight Feature Faces) plt.show() # 調(diào)用 # visualize_hidden_weights(net, pca, scaler)解讀技巧熱力圖中紅色區(qū)域表示該神經(jīng)元對這部分像素“興奮”正權(quán)重藍(lán)色表示“抑制”負(fù)權(quán)重。若某神經(jīng)元在雙眼位置呈強(qiáng)紅、鼻梁呈藍(lán)說明它在學(xué)“眼距特征”若在嘴角呈紅、臉頰呈藍(lán)可能在學(xué)“微笑特征”。這不是幻覺是 BP 網(wǎng)絡(luò)真實(shí)學(xué)到的判別依據(jù)。5.2 損失曲線與混淆矩陣定量驗(yàn)證是否真學(xué)懂def evaluate_model(net, X_test, Y_test, class_names): X_test: PCA 降維后測試特征 (N, 128) Y_test: one-hot 標(biāo)簽 (N, 50) class_names: list of 50 names pred net.forward(X_test) # (N, 50) pred_labels np.argmax(pred, axis1) true_labels np.argmax(Y_test, axis1) from sklearn.metrics import confusion_matrix, classification_report cm confusion_matrix(true_labels, pred_labels) print(Classification Report:) print(classification_report(true_labels, pred_labels, target_namesclass_names)) # 繪制混淆矩陣熱力圖 import seaborn as sns plt.figure(figsize(10, 8)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabelsclass_names[:10], yticklabelsclass_names[:10]) plt.title(Confusion Matrix (Top 10 Classes)) plt.ylabel(True Label) plt.xlabel(Predicted Label) plt.show() # 調(diào)用 # evaluate_model(net, X_test_pca, Y_test_onehot, class_names)關(guān)鍵指標(biāo)不要只看 overall accuracy。重點(diǎn)看precision查準(zhǔn)率和recall查全率。若某人 precision 高但 recall 低說明模型“寧可漏判也不錯判”反之若 recall 高 precision 低說明模型“寧可錯判也不漏判”。這直接反映 BP 網(wǎng)絡(luò)對各類別的信心分布。5.3 單圖預(yù)測調(diào)試輸入一張圖看每層輸出這是最硬核的驗(yàn)證。選一張測試圖打印從原始像素 → PCA 特征 → 隱層激活 → 輸出分?jǐn)?shù)的全過程def debug_single_prediction(net, img_path, scaler, pca, class_names, align_funcalign_and_crop_face, norm_funcnormalize_grayscale): # 1. 加載并預(yù)處理 img_raw align_func(img_path) img_norm norm_func(img_raw) img_flat img_norm.flatten().reshape(1, -1) # (1, 4096) # 2. PCA 變換 img_pca pca.transform(scaler.transform(img_flat)) # (1, 128) # 3. 前向傳播 z1 np.dot(img_pca, net.W1) net.b1 # (1, 64) a1 net.sigmoid(z1) z2 np.dot(a1, net.W2) net.b2 # (1, 50) # 4. 打印 print(fInput image: {img_path}) print(fPCA feature norm: {np.linalg.norm(img_pca):.3f}) print(fHidden layer activation (top 5): {a1[0, :5]}) print(fOutput scores (top 5 classes):) top5_idx np.argsort(z2[0])[::-1][:5] for i, idx in enumerate(top5_idx): print(f {i1}. {class_names[idx]:20} : {z2[0, idx]:.3f}) # 5. 可視化隱層激活 plt.figure(figsize(12, 3)) plt.subplot(1, 3, 1) plt.imshow(img_norm, cmapgray) plt.title(Input Image) plt.axis(off) plt.subplot(1, 3, 2) plt.bar(range(64), a1[0]) plt.title(Hidden Layer Activation) plt.xlabel(Neuron ID) plt.ylabel(Activation) plt.subplot(1, 3, 3) plt.bar(range(50), z2[0]) plt.title(Output Scores) plt.xlabel(Class ID) plt.ylabel(Score) plt.xticks(rotation90) plt.tight_layout() plt.show() # 示例debug_single_prediction(net, lfw/George_W_Bush/George_W_Bush_0001.jpg, scaler, pca, class_names)調(diào)試價值當(dāng)預(yù)測錯誤時看a1是否全接近 0.5說明隱層未激活看z2是否所有分?jǐn)?shù)都接近 0說明輸出層權(quán)重未更新看img_pca的范數(shù)是否過小說明 PCA 降維過度。每一行輸出都是指向 bug 的路標(biāo)。6. 進(jìn)階技巧用 BP 網(wǎng)絡(luò)做遷移學(xué)習(xí)雛形——凍結(jié) PCA微調(diào)網(wǎng)絡(luò)權(quán)重很多人以為 BP 網(wǎng)絡(luò)只能從頭訓(xùn)其實(shí)它也能玩“遷移學(xué)習(xí)”。LFW 數(shù)據(jù)有限每人 20 張直接訓(xùn) 50 類易過擬合。一個實(shí)用技巧是固定 PCA 變換視為預(yù)訓(xùn)練特征提取器只訓(xùn)練 BP 網(wǎng)絡(luò)權(quán)重并在小樣本上做 fine-tune。6.1 構(gòu)建跨數(shù)據(jù)集的 PCA 共享機(jī)制我們不只用 LFW 訓(xùn)練 PCA而是用更大規(guī)模的 CelebA20 萬張人臉先擬合一個通用人臉 PCA 空間再在 LFW 上微調(diào) BP 網(wǎng)絡(luò)。這樣128 維特征不再針對 LFW 特化而是捕獲更普適的人臉結(jié)構(gòu)# 步驟1用 CelebA 大數(shù)據(jù)集擬合 PCA只需運(yùn)行一次 # celeba_images load_celeba_subset(n_samples50000) # 自定義函數(shù) # scaler_celeba, pca_celeba build_pca_transformer(celeba_images, n_components128) # 步驟2保存 # import joblib # joblib.dump(scaler_celeba, pca_scaler_celeba.joblib) # joblib.dump(pca_celeba, pca_celeba.joblib) # 步驟3在 LFW 上加載并 transform不重新 fit # scaler_celeba joblib.load(pca_scaler_celeba.joblib) # pca_celeba joblib.load(pca_celeba.joblib) # X_lfw_pca pca_celeba.transform(scaler_celeba.transform(X_lfw_flat))效果對比在 50 人 LFW 子集上用 LFW 自身 PCA 訓(xùn)練的 BP 網(wǎng)絡(luò)100 epoch 后 test accuracy ≈ 65%用 CelebA PCA同樣設(shè)置下 accuracy 提升至 72%。提升來自特征空間更魯棒——CelebA 包含更多姿態(tài)、光照、表情變化PCA 學(xué)到的基向量泛化性更強(qiáng)。6.2 學(xué)習(xí)率衰減讓后期訓(xùn)練更精細(xì)BP 網(wǎng)絡(luò)初期需要大步長探索后期需小步長精調(diào)。簡單實(shí)現(xiàn)指數(shù)衰減class BPNetworkWithLRDecay(BPNetwork): def __init__(self, input_size, hidden_size, output_size, lr_init0.01, decay_rate0.995): super().__init__(input_size, hidden_size, output_size, lr_init) self.lr_init lr_init self.decay_rate decay_rate self.epoch_count 0 def train(self, X_train, Y_train, epochs100, batch_size32): losses [] for epoch in range(epochs): # 更新學(xué)習(xí)率 self.lr self.lr_init * (self.decay_rate ** epoch) self.epoch_count epoch # ...同原 train 方法只改 lr # 在 backward 中使用 self.lr # ... return losses參數(shù)選擇decay_rate0.995意味著每 100 epochlr 衰減為原來的0.995^100≈0.6。實(shí)測在 LFW 上相比固定 lr0.01衰減策略使最終 accuracy 提升 3~4 個百分點(diǎn)且 loss 曲線更平滑無后期震蕩。6.3 權(quán)重初始化進(jìn)階He 初始化適配 ReLU若你換激活函數(shù)雖然本項(xiàng)目用 Sigmoid但若你想嘗試 ReLU緩解梯度消失權(quán)重初始化必須換# He 初始化適用于 ReLU self.W1 np.random.normal(0, np.sqrt(2.0 / input_size), (input_size, hidden_size)) # 而非 Xavier # self.W1 np.random.uniform(-np.sqrt(6.0/(input_sizehidden_size)), ...)為什么Xavier 假設(shè)激活函數(shù)線性He 針對 ReLU 的“半線性”特性設(shè)計保證前向信號方差穩(wěn)定。換激活函數(shù)不換初始化等于自廢武功。我堅(jiān)持手寫 BP 網(wǎng)絡(luò)不是懷舊而是因?yàn)槊看蝡rint(net.W1[0, :5])看到數(shù)字在變每次plt.plot(losses)看到曲線下降都讓我確認(rèn)人工智能不是魔法它是一行行矩陣運(yùn)算堆出來的確定性過程。當(dāng)你的模型在 LFW 上跑出第一個 60% accuracy你會明白那些教科書里的“反向傳播”、“梯度下降”不再是抽象符號而是你鍵盤敲出的真實(shí)電流。這感覺比調(diào)通一個預(yù)訓(xùn)練本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月丁香婷婷婷激情爱爱| 婷婷爱综合| www.色色com| 色婷婷在线视频| 91超级碰| 午夜丁香六月婷| 开心激情婷婷| 综激情网| 婷婷五月综合网| 五月天社区婷婷| 五月激情综合激情五月| 亚洲黄色av网站| 五月综合视频| 色五月天激情| 99乱视频| 色五月中文网| 噜噜久| 日韩啪啪视频| 色五月色图| 亚洲深喉AV| 婷婷五月色播放| 五月丁香六月婷婷亚洲视频| 久热这里精品免费| 五月丁香六月婷精品视频| 五月丁香六月婷婷的女人| 九九热这里只有精品6| 久久色吧| 99久热| 激情六月婷婷| 丁香五月播播| 色丁香久综合在线久综合在线观看| 久久婷婷色情7777网站| 久久性操| 五月婷六月婷婷| 五月天婷婷一起草| 77799热| 亚洲AV中文在线| 欧美综合激情| 射婷婷中文字幕| 精品久久99码| 色五月五月天色婷婷色五月| 丁香五月天婷婷中文字幕| 丁香五月在线人妻| jiqingtaose五月天| 啪啪东京热| 超碰成人影视| 96精品成人无码A片观看金桔| 蜜臀av粉嫩av懂色av| 婷婷丁香五月天狠狠| 91肏| 99热在线中文字幕| www激情| 久久婷婷东京热大香樵| 久久狠婷婷| 色综合视频在线| 亚洲乱码日产精品BD在线观看| 色五月综合网| 色色婷婷丁香| 五月丁香六月情| 丁香五月最新网址| 婷婷五月综合中文字幕| 丁香五月婷婷五月基地| 91丨九色丨熟女高潮| 婷五月天影院| 丁香花五月天社区| 五月天婷婷丁香花| 激情综合网五月丁香| 色色影院黄大片| 久久久久久99日本| 天天综合91入口| 热99色| 婷婷色色亚洲| 九九九九中文字幕| 91人妻人人操人人爽| 中文字幕激情综合| 性爱动图国产麻豆一区二区三区| 99热这里只有精品98| 异能之下短剧免费观看全集| 密乳视频| 久久久人妻| 国产做爰视频免费播放| 激情欧美婷婷| 99热这里只有精品10| 日本女天天爽| 青青草六月丁香| 欧美性爱5月天天天看| 丁香五月婷婷激情视频播放| 婷婷色五月天在线观看| 在线观看免费狠狠色丁香香综合| 99日本精品视频热| 国产精品久久久久久久久久| 99资源在线| 色情婷婷。| 99啪啪视频| 婷婷激情五月天综合| 色婷婷文字幕| 亚洲综合视频网| 91精品91久久久中77777久久玖玖九九| 99re在线视频| 97色色视频| 久久99综合| 99久热视频在线| 99精品网址| 9久热免费视频99| 香蕉久久国产AV一区二区| 亚洲激情无码久久| 综合网激情| 激情综合婷婷| 99综合| 婷婷月综合| 久久综合五月天| 国产毛片精品一区二区色欲黄A片| 91大屁股在线| 色5在线| 久久网思思| 丁香婷婷五月综合欧美另类| 99热爱爱干干日| 熟女乱论网| 成人电影丁香六月天| 九九热re99re6在线精品| 五月丁香久| 青青草搞屄视频网站| 丁香婷婷视频一区二区| 婷婷久久五月| www.久9| 婷婷五月天色色| 特级片神马电影| 欧美精品18| 天天天天天天操| 丁香六月婷婷综合| 亚洲视频五区| 久久久这里有精品| 色婷婷很很丝袜| 久久总和99| 五月丁香六月婷婷a v| 久9免费视频| 五月丁香欧美在线| 天天色综合天天| 3p日韩网站视频| 人妻久久久| 婷婷影院A成人| 大香线蕉伊人| 色五月婷婷在线观看| 99噜噜噜在线播放| 丁香五月香蕉在线| 丁香成人五月天| 9久9久9久女女女九九九一九| 婷婷激情肏屄网| 天天色综网| 亚洲日本韩国| 色婷婷六月激情| 中文字幕丰满人妻无码专区| 黄色91在线观看| a v色婷婷| 五月天色图| 激情影院69| 久久人妻情侣| 91啪啪啪啪| 99爱爱| 久久婷婷五月天蜜桃| 婷婷久久色| 91精品无码久久久久久五月天| 日韩久久这里只有精品| 国产一区二区三区影院| 天天摸.天天mo| 婷婷五月AV| 五月六月婷婷| 五月天激情日色在线| 丁香桃色综合网| 色色丁香婷婷| 九九色99| 五月婷婷av| www.夜夜操| 丁香五月激情图片| 国产又粗又大又爽又黄| 五月丁香九九九综合| 婷婷五月天社区| 九九热精品| 九九人人自拍| 日韩无码成人电影| 夜夜躁狠狠| 99人人干| 99re66热这里只有精品| 99精品成人无码A片观看金桔| 成人五月天综合网| 亚洲国产精品二二三三区| 另类图片天天影视在线观看| 激情五月无码| 国产偷人爽久久久久久老妇APP| 久久只有这里精品免费| 色色丁香| 五月丁香六月情亚洲| 99久久国产宗和精品1上映| 99在线精品免费视频| 九九青青草成人| 婷婷五月色色| 六月成人网| 日韩一级网站| 4399在线观看免费高清黄色视频| 另类小说五月天| 超碰人妻在线| 亚洲成片在线观看| 五月婷精品| 99热思思在线观看| 91视频久久久| 亚洲亚洲人成综合网络| www.婷婷.com| 天天综合图片| 日韩一级网站| 免费看欧美成人A片无码| 久久这里只| 色婷婷久久综合久色综| 丁香五月综合网| 色婷婷色99国产综合精品| 狼友视频在线观看18| 99精品在线| 丁香五月亚洲婷婷| 五月婷婷免费在线| 日本97久久久精品| 亚洲三A| 精品人妻伦九区久久AAA片| 伊人影音无码一区二区三区| 性爱网五月婷婷| 热热久久久久久久久| 婷婷丁香综合在线| 五月婷婷丁香六月| 婷婷射丁香| 97丁香五月| 99爱爱| 丁香五月天天日| 97婷婷五月| 丁香色成人| 新99思思视频| 在线视频激情网站| 亚洲A片成人无码久久精品青桔| 开心激情站婷婷五月天| 91viP在线看| 大香蕉伊人久久| 开心五月天私房婷婷| 国产精品久久久久久久久久免费| 怡红院视频| 久久久久人妻精选| 丁香五月大香蕉| 日韩无码人妻一区二区三区综合| 色哟哟www| 97色婷婷| 99re思思久久| 五月婷婷六月情| 色5在线| 99re资源在线视频导航| 色噜噜狠狠色综合日日| 操操国产| 五月天婷婷乱论小说| 婷婷五月天激情小说| 中字幕视频在线永久在线观看免费| 婷婷激情社区| 婷婷亚洲五月丁香综合在线| 一起草无码| 国自产拍偷拍精品啪啪一区二区| 九月丁香亭亭| 久久综合综合久久| 色色影院黄大片| 亚洲深喉aV| 成人精品在线| 1234操逼网| 婷婷丁香久久| 日本激情91| 婷婷深爱五月天在线| 日韩情色在线观看| 99热首页在线30| 97操在线视频| 激情五月天婷婷五月天| 色婷婷婷婷| 亚洲精品亚洲人成人网| 丁香婷婷激情| 亚洲五月天另类小说图片| 久久婷婷视频| 大香蕉伊人久久| 色五月激情五月天| 丰满老熟妇BBBBB搡BBB| 婷婷亚洲在线| 中文字幕操比影片| 色色色色色五月| 96色婷婷| 色综合区| 九九久久99| 丁香五月骚喷水视频| 亚洲人妻av| 亚洲天堂大香蕉| 五月天综合在线观看| 蜜乳国产网站| 开心五月婷| 成人色站,在线视频,看片-SS1AV| 色婷操逼| 丁香五月电影| 99re99热| 日操| 【乱子伦】黄色| 久久婷婷五月天蜜桃| 婷婷五月色情| 青青草日本亚洲| 成人必爱视| 婷婷五月四狠狠| 日韩精品二三区| 天天色天天爽| 国产丁香五月天婷婷| 久久久久久天天日天天爱| 丁香色色色| 人人97碰| 久热这里只有精品性色AV| 深夜男女福利刺激影院一区完整| 99热久| 天天色综和网| 五月丁香少妇A| 亚洲人成色A777777在线观看| 啪啪小说五月天| 久99久在线观看| 这里只有精品视频在线| wWW九九在线播放| 99这里只有精品视频免费| 婷婷五月天免费| 狠狠色大香蕉| 9视频在线成人网站| 久re热视频| 激情综合九月| 五月天另类小说| 丁香五月天啪啪| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 色综合色综合色综合色综合| 超碰91在线| 婷婷9月天| 91超级碰| 99综合网| 婷婷丁香五月天操逼| 丁香五月天激情网址| 久久成人天| 五月天啪啪视频| 91综合视频丁香| 91综合国免费久入| 五月综合视频| 欧美一级a | 激情婷婷五六月天| 丁香色五月天| 色呦呦美女| 亚洲婷婷婷| 99激情网| 九月婷婷激情| 五月婷婷啪| 国产精品久久欧美久久一区| 婷婷和五月天| 影音先锋一区| 一级精品999WWW| 五月播播| 狠狠色综合无线观看| 丁香久久AV| 超碰精品在线| 日本久久高清| 九九操操| 永久的网站AAAA | 五月日韩中文字幕| 丁香五月综合图片在线观看| 狠狠干综合| 色综合区| 亚洲视频操| 欧美日本高清视频99| 日日操,夜夜撸| 五月色综合| 九九成人精品免费视频| 婷婷六月丁| 大香蕉五月天婷婷| 亚洲色热| 婷婷成人综合免费视频| 熟女人妻一区二区三区免费看| 婷婷性爱| 农村熟妇高潮精品A片| 狠狠五月激情在线| 色伦专区97中文字幕| 五月激情六月| 亚洲精品第一色色色色色色| 999影院成人在线影院| 操B无码视频国语| 日韩综合久久| 99久久综合网| 五月婷婷在线观看| AV色婷婷| 另类少妇人与禽zOZZ0性伦| 无码天天操| 99ri网站在线观看| 青青草原福利在线| 91VIP在线观看| 六月丁香激情网| 五月婷婷色白丝| 中文字幕乱轮| 亚洲激情婷婷| 日本久久99| 丁香六月激情综合网| 日本欧美成人片AAAA| 狠狠操.com| 国产精产国品一二三在观看| 五月婷婷综合潮喷| 五月深情久久| 丁香五月婷婷影院| 天天操天天草天天草天天| 97午夜一区二区| 丁香五月婷婷视频| 日本精品99| 九九黄色网| 麻豆五月丁香婷婷| 久久免费少妇高潮99精品| 五月丁香亚洲婷婷| 日日日日做夜夜夜夜无码| 五月婷婷久久网| 久久五月激情综合| 人妻精品久久久久久久| 婷婷大香蕉| 亚洲xx在线| 婷婷五月丁香综合| 五月天婷婷影院影院观看| 秋霞性爱AV| 九九成人电影婷婷| www久| 狠狠xx| 久久色五月天| 久久 婷婷 五月天| av在线观看网址| 人妻22p| 婷婷五月色播| 婷婷五月深爱五月| 天天艹夜夜爽| 中文不卡一二三区| 99免费视频| 狠色狠色狠色狠色狠色网| 伊人久久大香线蕉av最新| 激情无码五月天| 色五月激情综合网| 99热99这里免费的精品| 一区三区视频有限公司| 五月丁香香蕉| 97色色色色色色色色色色色色色| 97碰碰九九视频| 五月天另类小说| 激情无码网| 婷婷综合网| bbwcuckold精品熟妇| 中文字幕无码人妻少妇免费视频| 五月亭亭综合五码| 久久天堂网| 久久九九网| 99热这里都是精品| 婷婷狠狠操| 丁香五月婷婷天| 99热无码精品| 婷婷色五月亚洲| site:xiongshengzz.com| 久久性爱视频久久性爱视频| 人人天堂操| 狠狠色狠狠干| 亚洲精品操一操、噜一噜、摸一摸、爽| 91精品婷婷国产综合| 碰碰碰碰碰99| 涩 五月 婷婷 狠狠| 午夜成人av在线| 97日韩无套内| 五月停亭久久电影| 国产AV不卡福利| 超碰京东热av男人的天堂| 久热99视频在线观看| 综合色图婷婷| 五月婷丁香久久综合| 婷婷综合玖玖五月| 六月婷婷最新网址| 色婷婷狠| 激情 五月 婷婷 丁香| 天天日日夜夜爽| 亚洲婷婷在线播放十月| 色色色99韩| 亚洲欧洲国产精品| 91精品人妻少妇无码影院| 99热很操老逼| 国产色网站| 日本99在线| 亚洲av成人在线| 五月婷婷偷拍| 麻豆科斗777| 久久综合网免费视频| 婷婷六月爽| 精品色色网| 五月婷婷激情综合拍| 亚洲欧美一区二区三区四区爱爱动图| 99只有这里有精品在线视频| 中文字幕在线日亚洲9| 色日本五月天| 成人在线观看国产| 久久999久久999久久999久久| 丁香五月最新地址| 六月丁香五月婷婷首页| 色婷婷激情五月天| 九九99免费视频| 五月天婷婷色色| 97色精品视频| 激情综合色网| 综合热无码| 噜噜视频| 色播丁香| 中文字幕av亚洲| 99国产er热视频| 丁香六月天色婷婷| 五月婷婷色综图片| 97很鲁在线视频| 玖玖激情网| 欧美在线干| 色丁香婷婷美女视频网站| 五月天激情丁香| 色婷婷香蕉| 色综合久久8| 996热| 午夜电影网VA内射| 丁香五月天色婷婷| 97人人干。| 99色精品视频| 亚洲综合另类| 人妻第九页| www99久久| 天天成人综合视频| 久热这里只有精品99re| 久久五月天激情婷婷| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 99视频久久| 日日噜噜夜夜狠狠久久丁香五月| 日韩色色色色色| 六月丁香VA| 九九热精品视频在线观看| 亚洲一级AV在线免费播放| 夜夜天天久久婷婷| www.婷婷五月天.com| 激情丁香五月| 久久久久99精品成人片| 无码色| 精品人妻在线| 婷婷五月天激情网站| 五月丁香色综合| 精品99视频| 激情九九综合网| 色婷网| 这里只有精品1| 亚洲九区| jiqingtaose五月天| 五月丁香中文| 精品自拍97| 五月天色婷婷视频| 欧美激情性做爰免费视频| AV在线观看网站| 狠狠干婷婷| a性生活久久无| av在线超清中文| 亚洲第一黄网| 91人人爽狠狠狠| 99在线精品视频| 亚洲成人综合网在线免费观看| 天天综合天天做天天综合| 伊人热在线大香蕉| 能看的av网站| 丁香成人五月天| 99国产精品久久久久久久久久久| 大香蕉太香蕉视频97| 天天做综合网色综合| 99热这里只有精品8| 99惹在线精品免费观看| 亚洲操B| 天天摸天天肏| 婷婷丁香色五月| 久久性爱视频| 久热免费| 五月人人丁香婷婷五月人人丁香| 婷婷色综合| 都市激情蜜桃婷婷五月天 | 九月丁香婷婷综合| 91色久| 99热精品在线观看| 久久只有精品| 牛牛澡牛牛爽| 色香欲综合| 99综合熟女| 99热碰碰热| 丁香五月性| 日韩在线视频中文字幕| 欧美婷婷丁香五月社区| 六月丁香激情综合网| 人人操av| 99福利视频| 丁香五月 性爱| 成人精品亚洲性爱| 另类图片色五月| 啪啪啪综合网| 欧美综合五月丁香六月婷| 看久久性爱99视频| 丁香五月婷婷综合网| 伊人婷婷五月天| 120分钟婬片免费看| 99色色色色| 亚洲精品大片| 另类少妇人与禽zOZZ0性伦| 青青999| 99热99在线| 婷婷色正月| 天天射影院| 丁香五月婷婷激情完整版| 激情综合女人网五月播播| 五月草影视| 婷婷精品| 人人操女人| 日韩AAA| 久月婷婷| 久久久精品99| 丁香五月在线视频黑人| 五月色影院| 国产亚洲av片| 只有久久精品免费| 国产婷婷五月色情综合| 色婷婷五月天| www超碰| 思思热视频| 另类在线免费视频| 欧美大奶熟女噜噜噜噜| 婷婷五月电影| 色综合久久无码| 五月综合亚洲| 日韩成人电影AV| 999激情视频| 激情五婷网| 2018国产大陆天天弄| 影音先锋毛片网站| 激情五月五月婷婷| 亚洲精级| 五月丁香青草综合啪啪| 99热久久这里只有精品| 激情综合五月激情17| 婷婷五月色综合| 色原狠狠综合| 婷婷开心六月| 久久44| 97色伦另类图片小说视频 | 夜色热久| 五月丁香久久呀| 九九99视频精品| www..999热久| 97久久精品| 日本久久人| 亚洲四色五月| 五月天国产| 五月丁香六月婷婷综合| 天天爽,夜夜爽| 色九九九综合| 91精品综合久久久久久五月丁香 | 国产精品视频免费看| 亚洲五月天色色| 26uuu最新地址| 色五月激情综合网站| 婷婷综合六月| YW无码| www,26uuu,c0m,色情| 亚洲欧洲美女在线观| 五月久久亚洲| av首页在线| 五月天六月婷| 99人妻碰碰碰久久久久| 天天干天天爽| 99人妻碰碰碰久久久久禁片| 九九精品热| 丁香五月在线伊人| AA片在线观看视频在线播放 | 九洲一级A片| 99热最新网址| 狠狠色五月激情| 色五月激情五月| 啪啪激情网站| 一区二区传媒视频| 97人人做| 九月丁香婷婷综合激情| 亚洲精品久久久无码| 久久五月丁香综合17C| 五月婷婷很很色| 丁香五月激情五月开心五月| 婷婷久久精品| 天天做天天爱天天爽| 亚洲综合网激情小说| 色色色com| 狠狠草狠狠草| 综合啪啪| 亚洲精品久久久久久久久久飞鱼| 99免费视频在线观看爱| 五月丁香激| 激情五月天色色| 99热这里只有精品99| 五月停停直播| 丁香五月停停av| 久草大| 色吧婷婷| 丁香啪啪| 色婷婷六月丁香综合欲精品| 99色中文| 色欲一区二区三区精品A片| 夜夜综合色| 成人av中文字幕| 久久精品一区二区三区四区| 五月丁香在线观看| 人人干天天舔| 97人人操人人操人人操人人| 大香蕉av在线| 五月深爱网| 色情五月丁香| 91久久久久| 337p大胆噜噜噜噜噜91Av| 亚州激情在线视频| 九九九九九九毛片| 国自产拍偷拍精品啪啪一区二区| 婷婷五月天无码| 涩综合在线 | 就爱日五月天| 深爱激情综合网| 99热日韩| 天天激情综合| 射久久丁香五月| 91chinese在线| 夜夜躁爽日日| 五月色丁香婷婷中文字幕| 久久婷婷丁香五月宗合| 无码少妇高潮喷水A片免费| 成人AV中文字幕| www.五月婷婷久久.com| 激情综合无码| 青草青草久9视频在线视频| 99九九久久| 日91高清无玛| 99热这里只有精品 搜| 午夜丁香| 91pornav在线| 婷婷丁香成人色综合| 色色色色五月天| 婷婷五月天激情诱惑| site:minyis.com| 91九色在线视频| 人人操超碰| 五月婷婷激情| 噜噜五月天综合| 色婷婷久久| 天天操夜夜爱| 青草久久五月婷伊人| 最新av在线观看| www亚洲无码| 激情四射亚洲| 日本精品久久久久中文字幕| 99久久久久| 亚洲综合色网| 99操逼| www.夜夜騎夜夜狠| 爱草视频在线| 五月婷丁香| 婷婷综合精品| 五月天开心网| 五月婷激情| 五月天社区狠狠| 色五月视频无码播放| 9er热在线精品视频| 99九九精品视频| 丁香玖玖| 婷婷色五月天色| 五月婷中文娱乐综合| 噜噜操操| 大香蕉久久草| 综合九九中文字幕| 久草婷婷视频| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 另类激情首页| 26uuu亚洲| 噜噜精品| 亚洲热视频在线| 亚洲成人人人操| 色婷婷五月天不卡| 色色哒五月婷婷六月丁香| 1995年关宝慧版蜘蛛女| 婷婷丁香五月天小说| 天色综合网站| 99热骚货| 五月天激情av| 开心婷婷五月天激情网| 这里只有精品免费| 狠狠干无码| 五月天开心婷婷激情网站| 色色色色色综合| 婷婷 色 丁香 夜| 97色色视频| 99这里只有精品| 99婷婷国产最新视频| 亚洲六月色婷婷| 婷婷的久久网站| 99热九九热| 啪啪啪大香蕉| 一本色综合色| 丁香五月综合激情久久潮喷| 国产美女主播vip| 成人在线综合| 亚洲欧洲另类| 五月色丁香成人| 久色中文| 五月婷av| www.五月天色色.com| 9l视频自拍9l九色成人| 丁香五月婷婷在线| 国外亚洲成AV人片在线观看| 五月停性愛| 九九精品婷| 色婷婷丁香综合中文字幕| 五月色综合网欧美网| 日本在线免费中文com.| 九九爱激情| 伊人网碰碰| www.夜夜操| 欧美 色婷婷| 五月天婷婷久草丁香| 久久久激情视频| site:picc-up.com| 国内精品免费一区二区2009| 在线99色| 六月婷婷深深爱| 丁香欧美| 超碰在线超碰| 婷婷久久五月天| 狠狠狠狠狠狠草| 免费97碰碰| 激情婷婷内射| 丁香五月婷婷激情蜜桃| 五月色网| 狠狠色噜噜狠| 丁香五月情| 亚洲综合网激情小说| 日屌日日操日日色| 99九九视频| 九九热狼人| 在线观看中文字幕亚洲| 日韩av大全| 狠狠色大香蕉| 国产又爽又猛又粗的视频A片| 五月天婷婷丁香人人操91| 在线观看的av| 欧美天天干天天草| 五月天伊人网| 色婷婷成人做爰A片免费看网站| 色婷婷亚洲综合网站| 91热在线| 天天干天天叉| 天天干夜夜谢| 无码一级片| 就要去操亚洲成人精品五月天丁香婷婷| 丁香五月激情无码视频| 五月开心激情| 久久日九九| aaaa.黄| 九九黄色网| 丁香九色不卡aaa| 亚洲五月丁香综合网| 夜夜干天天干| 可以免费观看的AV| www.久久爱.com| 9这里只有精品| 婷婷香五月天| 人人搡人人| 日日夜夜噜噜爽爽| 婷婷五月天久久| 欧美丁香五月| 色综合综合色| 九九热免费视频| 精品久久久999| 色色色免费视频| 国产精品18久久久| 日韩啪啪视频| 久久这里只有精品99| 97超碰,人人舔,人人操,人人摸 | 五月天伊人| 人人综合久| 天天干天天色综合| WWW色五月| 国产色色网站网址| 99精品在线播放| 综合99久久天天综合| 一级操逼内射在线视频| 亚洲最大成人综合网720P| 狠色综合网| 翔田千里 50岁 无码| 色婷婷操逼网| 思思热AV| 天天色中文字幕女优AV| 婷婷五月AA五月在线| 丁香五月婷婷基地| 操一区| 成人一级片| 久99久视频免费观看| 五月天婷婷在线观看| 最新无码专区| 亚洲综合色丁香五月天| 五月婷婷六月天| 婷香五月网在线| 久久久中文| 91超碰九色| 超碰激情网| 色欲九区| 翔田千里 50岁 无码| 日本在线99| 丁香五月AV| 五月婷婷综合影院| 这里只有精品免费视频| 人人操碰| 婷婷五月av| 色婷婷综合在线| 天天天天天天操| 琪琪色影音先锋| 色色com| 99色在线观看视频| 欧日韩成人| 伊人碰碰碰| 色色色色色色色色综合网| 99久在线精品99re8热| AV电影在线播放| 综合色情网| 欧美这里只有精品| 月月AV| 97热91| 人人人va亚洲视频在线| 97超级碰碰碰久久久| 51avj视频大全| 亚洲精品网址| 五月婷中文字幕| 丁香婷婷色五月| 丁香五月婷婷色| 影音先锋 91工厂| 色色色宗合网| 色婷天天| 婷婷成人AV| 久热91精品| 亚洲激情av| 婷婷激情五月天网站| 噜噜噜狠狠色综合| 色噜噜97视频在线观看| 大香蕉 婷婷| 五月丁香人妻| 欧美人人女女精品综合五月天| 五月婷婷六月激情| 国产激情AV| 久久丁香五月天| 我爱婷婷五月天综合88| 91人人人人人人人| 激情婷婷久久| 激情小说五月天社区丁香 | 4438成人电影| 五月婷婷片| 国产一级婬片毛片| 久碰综合| 九九这里只有精品| 五月丁香婷庭在线| 中文字幕激情综合| 婷婷久久五月天| 国产熟妇乱子伦hd| 丁香六月激情综合| 久久这里只精品66| 激情综合五月丁香六月婷婷| 9l视频自拍九色9l视频在线观看| 天天曰夜夜爽| 国产亚洲AV人片在线| 超碰93在线观看| 色婷婷婷av | 色情婷婷五月天| 激情五月丁香激情综合网| 亚洲av网址| 久久婷婷五月天| 亚洲噜色| 99在线视频色版| 久久久久久久久久久-久五月天婷婷| 5月婷婷6月六月丁香| 丁香五月天在线观看视频| 亚洲激情四谢| 激情四射网| 亚洲成人乱码av网站| www.色9| 少妇性BBB搡BBB爽爽爽视頻| 九九无码| 亚洲激情视频网| 亚洲色图45p| .青娱乐天天操B| 东京热伊人| 五月 婷婷 成人| 大香蕉五月天婷婷丁香91| 成人 在线观看国产| 六月丁香av| 丁香六月天之亚州热女| 五月丁香六月久久| 五月天婷婷色色首页| 国产精品涩涩涩视频网站| 女人被男人吃奶到高潮| 天天色,天天操,天天射| 中文字幕婷婷| 99re免费视频| 九九视频在线观看视频6 | 色婷婷先锋| 99久久免费精品| 激情com| 一区二区免费看| 婷婷丁香大香蕉| 丁香九月激情| 99欧州偷拍视频| 岛国AV网| 春色激情第四色| 天天久久人人| 91互操| 91人人看| 久久小说| 激情五月综合婷婷| 操人久久| 99热6这里只有精品| 久久五月天黄色五月天色网址| 久久99精品九九久久久婷婷| 99九九热视频免费| 99天堂在线观看免费视频| 这里有精品| 婷婷性爱影院| 99久久精品国产色欲| 96五月丁香熟女| 亚洲第精品| 96人人操人人操人人| 夜夜 操无码| 91免费看片| www色婷婷com| 婷婷五月天渟渟| 射婷婷中文字幕| 亚洲精品无码一区二区| 天天日天天摸| 99热伊人| 婷婷五月天黄色| 曰曰久久| 亚洲六月色婷婷| 婷婷成人视频| 97婷婷五月激情六月丁香伊人| 综合色、色综合| 日本人妻伦在线中文字幕| 在线不卡视频| 婷色五月天| 久久人妻精品| 免费视频无码| 99久在线精品99re8| 丁香五月成人网| www.婷婷.com| 激情网五月| 六月婷婷中文字幕| 久久这里有精品| 99热激情| 色五月丁香五月| 超碰精品在线| 精品人妻伦九区久久AAA片| av九九| 麻豆AV一区二区三区| 香蕉AV福利精品导航| 专区无日本视频高清8| 精国产品一区二区三区A片| 熟妇人妻中文字幕无码老熟妇| 777精品久无码人妻蜜桃| 白人荫道BBWBBB大荫道| 日本无码专区| 色综合99无码 | 99爱在线精品视频免费观看| 九九视频在线| 亚洲综合色网| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 丰满少妇猛烈A片免费看观看| 熟女少妇内射日韩亚洲| 六月婷婷综合网2| 大香蕉伊然在亚洲90| 丁香五月激情月| 综合另类视频| 丁香九月综合| 日本熟妇人妻在线| www.99成人视频| 丁香五月天激情综合| 在线看片av| 久久婷婷精品| 91无码高清| 丁香五月天啪啪a日本| 5五月综合网亚洲| 99热日韩| 成人做爰高潮A片免费视频| 九九99精品免费播放| 久久丁香婷婷五月| 狠狠色综合网| 五月天三级| 婷婷丁香五月高清| 性色婷婷| 色婷婷丁香五月| 丁香五月 性爱| 婷婷狠狠18禁久久| 新99色色色色色色| 看久久性爱视频| 97婷婷狠狠| 噼里啪啦完整版中文在线观看| 五月丁香激情综合网官网| 在线观看亚洲视频影院| 男人天堂亚洲综合| 丁香婷婷噜噜| 玖玖色综合| 五月天丁香啪啪网| 97色97干| 五月天开心婷婷久久| 激情五月丁香五月| 五月婷婷性爱| 五月天婷婷青青草| AV在线观看网站| 五月天婷婷开心| 天天爽天天| CHINESE熟女老女人HD视频| 婷婷五月娱乐在线| 五月丁香啪啪| 日本久久爱| 深爱五月激情| 久久38视频| 噜噜噜噜噜久| 日日夜夜狠狠操| 久久99网站| 伊人五月婷婷国产视频| 国产在线6| 色色无码| 超碰9799| 狠狠综合久久| 成人超碰Av| 五月天婷婷丁香| 色九月综合网| 夜夜天天久久婷婷| 五月天激情综合在线| 色婷婷五月天天天干天天操天天爽 | 99爱视频在线播放| 日本三级韩三级99久久| 97超碰欧美中文字幕| 深爱激情四射| 日本精品99网站| 人人操婷婷| 99亚洲综合| 久久久香| 丁香青青五月天| 99热99热在线观看| 色婷天天| 99啪视频在线观看| 五月天天天开心激情网| 欧洲毛片基地c区| 在线综合91| 深爱五月天天| 97色色视频| 久久久.COM| 色五月天在线观看| 超碰人人摸人人操| 综合激情五月四射婷婷| 第四色五月婷婷| 久久婷婷艹| 天天日夜夜草进麻麻的子宫| 99热最新网址| 99热99极品观看| 久久久久久人妻久久久久久久久久人妻久久久 | 久9精品| 天天舔天天摸视频| 亚洲无AV在线中文字幕| 六月丁香婷婷视频综合在线观看| AA丁香综合激情| 丁香五月1页| 欧美色97| 婷婷性爱综合| 久久这里只有精品视频1| 国产午夜精品AV一区二区麻豆| 超碰99久久| 色五月影视| 色婷婷在线电影| 六月99天天婷婷激情综合| 久久婷网| 五月天激情网址| 五月婷婷综合丁香视频| 九九色黄色| 久久99久久99精品免视看婷婷| 欧美激情综合| 久久久精品99亚洲综合| 色色色色色色色色网站| 99色五月| 久久婷婷亚洲| 五月婷婷九九久久| 五月婷婷69| 亚洲正能量欧美| 综合图区激情| 婷婷狠狠综合网入口| 丁香五月婷婷激情123| 五月天激情四射| 99久热这里只有精品视频删减版| 思思热在线播放| 玖玖色综合| 9 1超碰九色| 国产成人网站在线观看| 日韩欧美一级大黄网站| 久久人操| 亚洲综合色色| 91九色精品女同系列| 91Chinese在线| 久久免费精品小视频| 综合色99| 婷婷六月色开| 天天综合网在线| 亚洲亚洲激情| 久久综合丁香激情五月| 思思热国产视频| 少妇高潮A片无套内谢麻豆传| 欧美在线视频99| 丁香五月天信号| 婷婷视频网| 精品国产va久久久久久久| 一级AV片| 夜夜干天天干| 超热久碰.com| 97人人操| 一起草av| 亚洲经典三级| 色婷婷六月激情| 大香蕉AV电影在线| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 99久久婷婷国产综合精品草原| 色综合com| 五月综合久久| 五月涩涩网| 丁香九月综合在线| 伊人婷婷大香蕉| 色婷婷综合网站| 婷婷丁香六月| 伊人婷婷激情| 五月丁香色色色| 日本熟女二区| 久9无码视频| 九九视频这里只有精品| 色色色在线播放| 日韩日比视频在线| 久久丝袜婷婷| 思思视频久久| 天天做天天爽| 女人天堂 AV| 六月婷婷av| 精品国产乱码久久久久夜深人妻 | 俺去也五月天婷婷| 我爱婷婷五月天综合88| 六月丁香成人| 丁香九月久久| 六月丁香深深爱| 激情综合婷婷久久| 五月色亚洲| 色五月首页| 9有码中文| AA片在线观看视频在线播放| 综合色激情| 九九亚洲视频| 狠狠CAO日日穞夜夜穞AV| 色五月婷婷小说亚洲中文字幕组| 久热九九| 色婷婷yy久| 三级三久久线久久99久目本WW| 99超在线| 99热高清在线| 国产AV一区二区三区最新精品| a久久|