欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

BP神經(jīng)網(wǎng)絡(luò)Python實(shí)現(xiàn):從零手寫回歸預(yù)測代碼與調(diào)參指南

BP神經(jīng)網(wǎng)絡(luò)Python實(shí)現(xiàn):從零手寫回歸預(yù)測代碼與調(diào)參指南 簡介資源為bp.zip壓縮包內(nèi)含單個(gè)Python源碼文件大小僅1KB卻實(shí)現(xiàn)了完整的BP神經(jīng)網(wǎng)絡(luò)核心流程。這份代碼基于numpy編寫面向深度學(xué)習(xí)入門者及需要在Python環(huán)境中快速搭建預(yù)測模型的開發(fā)者可直接用于分類或回歸任務(wù)比如股價(jià)走勢、溫度變化等數(shù)值預(yù)測。代碼涵蓋數(shù)據(jù)預(yù)處理、網(wǎng)絡(luò)結(jié)構(gòu)定義、權(quán)重初始化、前向傳播、反向傳播和訓(xùn)練循環(huán)等關(guān)鍵環(huán)節(jié)并支持通過調(diào)整迭代次數(shù)疊加次數(shù)與學(xué)習(xí)率步長來控制訓(xùn)練效果用戶只需替換輸入數(shù)據(jù)即可適配自己的業(yè)務(wù)場景。目前已有375人學(xué)習(xí)下載文件雖小但邏輯清晰適合對照理論逐行學(xué)習(xí)也為其后擴(kuò)展多層隱藏層、引入可視化調(diào)試或優(yōu)化算法提供了簡潔的起點(diǎn)適合課程設(shè)計(jì)或畢業(yè)設(shè)計(jì)參考。1. bp.py 在預(yù)測任務(wù)里的定位一份從零寫起的 BP 神經(jīng)網(wǎng)絡(luò)源碼bp.zip 里的 bp.py是一個(gè)用 Python 手寫實(shí)現(xiàn)的 BP 神經(jīng)網(wǎng)絡(luò)核心就一個(gè)文件干的事情是拿歷史數(shù)據(jù)訓(xùn)練一個(gè)多層前饋網(wǎng)絡(luò)訓(xùn)練完再對新的輸入做預(yù)測。很多來下載這份源碼的人并不是來研究 bp 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖的而是手里有一批數(shù)據(jù)要做課程設(shè)計(jì)、實(shí)驗(yàn)或者論文里的一個(gè)環(huán)節(jié)——比如預(yù)測建材價(jià)格、股票收盤價(jià)這類數(shù)值預(yù)測。這份資源實(shí)際能解決的就是這類問題把影響因子整理成特征矩陣喂進(jìn)去迭代幾千輪代碼里的疊加次數(shù)按步長學(xué)習(xí)率調(diào)權(quán)重得到一個(gè)能對未知數(shù)據(jù)輸出預(yù)測值的模型。適合兩類人一類是想讀一遍 BP 神經(jīng)網(wǎng)絡(luò) Python 代碼、搞清楚梯度下降怎么落地的入門者另一類是拿它當(dāng)基線模型、想快速出第一版預(yù)測結(jié)果再換復(fù)雜算法的。邊界也很清楚只有 bp.py 一個(gè)源碼文件沒有配套數(shù)據(jù)集歸一化、切分、調(diào)參這些都得自己補(bǔ)。2. 網(wǎng)絡(luò)結(jié)構(gòu)與權(quán)重初始化三層節(jié)點(diǎn)數(shù)和隨機(jī)數(shù)里藏著的門道2.1 三層網(wǎng)絡(luò)結(jié)構(gòu)輸入、隱藏、輸出節(jié)點(diǎn)數(shù)怎么定BP 神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)結(jié)構(gòu)是三層前饋輸入層、隱藏層、輸出層。bp.py 作為一份教學(xué)性質(zhì)的基礎(chǔ)實(shí)現(xiàn)默認(rèn)就是這種結(jié)構(gòu)隱藏層可以擴(kuò)成多層但一份跑教學(xué)的代碼通常先把單層隱藏層跑通就夠了。輸入層節(jié)點(diǎn)數(shù)沒有懸念等于你的特征維度。比如你預(yù)測建材價(jià)格輸入端用的是水泥價(jià)格指數(shù)、鋼材期貨價(jià)、人工成本、運(yùn)輸成本四個(gè)變量輸入層就是 4 個(gè)節(jié)點(diǎn)。輸出層節(jié)點(diǎn)數(shù)等于預(yù)測目標(biāo)的數(shù)量單目標(biāo)回歸就是 1 個(gè)節(jié)點(diǎn)換成分類任務(wù)才需要多個(gè)節(jié)點(diǎn)。隱藏層節(jié)點(diǎn)數(shù)是整個(gè)網(wǎng)絡(luò)里唯一需要人工試探的超參數(shù)。它的取值沒有數(shù)學(xué)上的標(biāo)準(zhǔn)答案業(yè)內(nèi)通常先用經(jīng)驗(yàn)公式估算一個(gè)范圍再在這個(gè)范圍里試幾個(gè)值對比效果。最常見的兩個(gè)估法一個(gè)是取 sqrt(輸入節(jié)點(diǎn)數(shù) × 輸出節(jié)點(diǎn)數(shù))再加一個(gè) 1 到 10 的常數(shù)另一個(gè)更粗糙直接取輸入節(jié)點(diǎn)數(shù)的 1.5 到 2 倍。我一般習(xí)慣先按輸入節(jié)點(diǎn)數(shù)的 1.5 倍跑通整個(gè)流程然后在該值上下各取兩個(gè)數(shù)字看驗(yàn)證集誤差哪個(gè)小就用哪個(gè)不追求一次到位。按任務(wù)規(guī)模給一個(gè)起步參考表| 任務(wù)規(guī)模 | 輸入節(jié)點(diǎn) | 隱藏節(jié)點(diǎn) | 輸出節(jié)點(diǎn) | 典型場景 | | 小 | 2-4 | 4-8 | 1 | 兩三個(gè)特征預(yù)測一個(gè)目標(biāo)回歸入門 | | 中 | 5-10 | 8-20 | 1-3 | 多因子價(jià)格預(yù)測、簡單分類 | | 大 | 10 | 16-40 | 1-N | 特征較多的回歸或多分類 |要說明的是這個(gè)表不是硬約束。隱藏節(jié)點(diǎn)太少網(wǎng)絡(luò)擬合能力不足訓(xùn)練集誤差都?jí)翰幌氯ル[藏節(jié)點(diǎn)太多可學(xué)習(xí)參數(shù)數(shù)量膨脹訓(xùn)練樣本不夠時(shí)極易過擬合。對 bp.py 這種基礎(chǔ)實(shí)現(xiàn)從隱藏節(jié)點(diǎn) 輸入節(jié)點(diǎn) × 1.5起步是最省事的因?yàn)楹罄m(xù)換數(shù)據(jù)、調(diào)學(xué)習(xí)率時(shí)你不用反復(fù)改結(jié)構(gòu)。另外一個(gè)容易被忽略的點(diǎn)是為什么中間必須要這一層非線性激活如果三層全部是線性變換無論堆多少層在數(shù)學(xué)上都能等價(jià)成一層線性加權(quán)擬合不了任何彎折的映射關(guān)系。sigmoid 這類非線性函數(shù)引入后網(wǎng)絡(luò)才有能力逼近非線性函數(shù)。這也是 BP 神經(jīng)網(wǎng)絡(luò)區(qū)別于普通線性回歸的根本原因理解這一點(diǎn)再去看代碼前向傳播那兩行矩陣乘法才不是死記。2.2 權(quán)重初始化numpy 里的小隨機(jī)數(shù)藏著什么講究打開 bp.py如果看過源碼就會(huì)注意到導(dǎo)入 numpy 之后第一件事基本就是生成隨機(jī)權(quán)重。這個(gè)隨機(jī)數(shù)的取值范圍不是隨便定的它直接決定網(wǎng)絡(luò)能不能正常進(jìn)入訓(xùn)練狀態(tài)。權(quán)重取太大輸入經(jīng)過線性加權(quán)后落入 sigmoid 的飽和區(qū)導(dǎo)數(shù)值接近 0反向傳播傳回來的梯度也隨即消融表現(xiàn)就是訓(xùn)練好幾輪 loss 紋絲不動(dòng)。常見做法是生成 [-1, 1] 區(qū)間的小隨機(jī)數(shù)再乘一個(gè)縮放系數(shù)讓初始權(quán)重落在 [-0.5, 0.5] 附近。如果輸入特征維度很高可以進(jìn)一步縮到 1/sqrt(input_size)保證加權(quán)和的量級(jí)不隨維度增大而膨脹。numpy 實(shí)現(xiàn)如下import numpy as np def init_network(input_size, hidden_size, output_size, seedNone): if seed is not None: np.random.seed(seed) # 輸入層到隱藏層權(quán)重矩陣shape (input_size, hidden_size) w1 np.random.uniform(-1, 1, size(input_size, hidden_size)) * 0.5 # 隱藏層到輸出層權(quán)重矩陣shape (hidden_size, output_size) w2 np.random.uniform(-1, 1, size(hidden_size, output_size)) * 0.5 # 每層各配一個(gè)偏置向量讓激活函數(shù)可以左右平移 b1 np.zeros((1, hidden_size)) b2 np.zeros((1, output_size)) return w1, b1, w2, b2這段代碼的邏輯是w1 負(fù)責(zé)把輸入特征線性組合成隱藏層的加權(quán)輸入每個(gè)隱藏節(jié)點(diǎn)其實(shí)就是一個(gè)加權(quán)求和器b1 為這組加權(quán)和加一個(gè)可偏移的常數(shù)。w2 再把隱藏層的激活輸出組合成最終預(yù)測值。權(quán)重乘 0.5 是為了把初始加權(quán)輸出盡量壓在 sigmoid 的中間線性區(qū)間附近避免一開始就進(jìn)入飽和區(qū)。seed 參數(shù)用于復(fù)現(xiàn)實(shí)驗(yàn)同樣的隨機(jī)種子每次跑結(jié)果完全一致而調(diào)參時(shí)如果沒有固定 seed兩次運(yùn)行的初始權(quán)重不一樣改一個(gè)參數(shù)得到的效果差異就分不清是參數(shù)造成的還是隨機(jī)性造成的。參數(shù)說明input_size 必須和特征矩陣 X 的列數(shù)一致寫錯(cuò)了 numpy 會(huì)直接報(bào)維度不匹配hidden_size 是唯一需要人工試的超參數(shù)output_size 在回歸任務(wù)里通常填 1。偏置全部初始化為 0 而不是隨機(jī)數(shù)這在實(shí)踐中對收斂速度影響很小好處是第一次前向傳播的輸出值更容易反推計(jì)算過程便于新手驗(yàn)證自己對網(wǎng)絡(luò)的理解。2.3 激活函數(shù)選擇與整體超參數(shù)表bp.py 里的激活函數(shù)大概率是 sigmoid因?yàn)?BP 神經(jīng)網(wǎng)絡(luò)的教材推導(dǎo)基本都拿它講。sigmoid 的輸出區(qū)間是 (0, 1)天然適合處理歸一化后的數(shù)據(jù)。不過如果你的數(shù)據(jù)預(yù)處理時(shí)歸一化到了 [-1, 1]可以考慮換成 tanh它在 0 附近的梯度更大收斂往往更快代價(jià)是反向傳播公式里導(dǎo)數(shù)項(xiàng)要跟著換。給一張超參數(shù)起步表拿到 bp.py 后先按這個(gè)底子跑一遍再逐步收緊| 參數(shù) | 推薦初值 | 調(diào)整方向 | 說明 | | 學(xué)習(xí)率步長 | 0.01 ~ 0.1 | 大 → 小 | 過大 loss 震蕩發(fā)散過小收斂太慢 | | 疊加次數(shù)epoch | 1000 ~ 10000 | 看 loss 曲線 | 教學(xué)場景 1000 次起步看曲線再?zèng)Q定加不加 | | 隱藏層節(jié)點(diǎn) | 輸入節(jié)點(diǎn) × 1.5 | 上下各試 2 個(gè) | 用驗(yàn)證集誤差選別盯著訓(xùn)練集 | | 權(quán)重初始化范圍 | [-0.5, 0.5] | 再小不過 1/sqrt(n) | 防止 sigmoid 飽和導(dǎo)致梯度消失 |這些參數(shù)在 bp.py 里對應(yīng)的是疊加次數(shù)和步長兩個(gè)變量改起來很直接但改完以后怎么判斷改得對不對要看訓(xùn)練過程中的 loss 輸出曲線這部分到第 6 章展開。3. 前向傳播到反向傳播訓(xùn)練循環(huán)里每一步都在算什么3.1 前向傳播矩陣乘法和 sigmoid 激活前向傳播是 bp.py 里最直觀的部分本質(zhì)就兩行矩陣運(yùn)算加一次激活函數(shù)。對輸入 X 做線性加權(quán)過激活函數(shù)再線性加權(quán)再過一次輸出激活得到預(yù)測值。實(shí)現(xiàn)如下def sigmoid(x): return 1.0 / (1.0 np.exp(-x)) def forward(w1, b1, w2, b2, X): # 隱藏層加權(quán)輸入 z1 np.dot(X, w1) b1 # 隱藏層激活輸出 a1 sigmoid(z1) # 輸出層加權(quán)輸入 z2 np.dot(a1, w2) b2 # 輸出層激活輸出即預(yù)測值 y_pred sigmoid(z2) return y_pred, a1, z1, z2這段代碼的邏輯是X 的形狀是 (m, input_size)m 是樣本條數(shù)。np.dot(X, w1) 得到 (m, hidden_size)加上 b1 后每個(gè)隱藏節(jié)點(diǎn)收到一個(gè)來自全部特征的加權(quán)和。sigmoid 把這個(gè)加權(quán)和壓到 (0, 1) 區(qū)間作為非線性輸出 a1。a1 再乘 w2得到 (m, output_size) 的 y_pred。返回 a1、z1、z2 是因?yàn)榉聪騻鞑ビ?jì)算梯度時(shí)要反復(fù)用到這些中間值如果前向傳播不返回它們反向傳播階段還得重新算一遍?;貧w任務(wù)里一個(gè)值得注意的點(diǎn)如果預(yù)測目標(biāo)只有正數(shù)且量級(jí)集中在某個(gè)區(qū)間最后套一層 sigmoid 是可接受的預(yù)測完再還原量綱。但如果目標(biāo)值可能跨正負(fù)或者范圍明顯超出 (0,1)輸出層的 sigmoid 就幫了倒忙這時(shí)應(yīng)該改成純線性輸出也就是 z2 直接作為 y_pred倒數(shù)第 5 章會(huì)專門講這個(gè)坑。3.2 反向傳播誤差怎么攤回去反向傳播是新手最容易懵的部分。它的核心思想一句話能說清把輸出層的誤差沿網(wǎng)絡(luò)逐層往回分配每一層根據(jù)分配到的誤差求出權(quán)重梯度。這里的依據(jù)就是鏈?zhǔn)椒▌t——損失對某個(gè)權(quán)重的偏導(dǎo)等于損失對輸出的導(dǎo)數(shù)乘以輸出對該權(quán)重的導(dǎo)數(shù)一路乘下去。以回歸任務(wù)最常用的均方誤差損失為例def backward(X, y, y_pred, a1, z1, z2, w2): m X.shape[0] # 輸出層誤差MSE 對 z2 的偏導(dǎo)注意乘上 sigmoid 導(dǎo)數(shù) d_z2 (y_pred - y) * sigmoid(z2) * (1 - sigmoid(z2)) # w2 梯度a1 轉(zhuǎn)置乘 d_z2再除以樣本數(shù)取平均 d_w2 np.dot(a1.T, d_z2) / m # b2 梯度誤差求和取平均keepdims 保持矩陣形狀 d_b2 np.sum(d_z2, axis0, keepdimsTrue) / m # 誤差經(jīng) w2 傳回隱藏層 d_a1 np.dot(d_z2, w2.T) # 隱藏層誤差乘 sigmoid 在 z1 處的導(dǎo)數(shù) d_z1 d_a1 * sigmoid(z1) * (1 - sigmoid(z1)) # w1 梯度與 b1 梯度 d_w1 np.dot(X.T, d_z1) / m d_b1 np.sum(d_z1, axis0, keepdimsTrue) / m return d_w1, d_b1, d_w2, d_b2邏輯說明d_z2 是損失對輸出層加權(quán)輸入 z2 的梯度sigmoid(z2)*(1-sigmoid(z2)) 是 sigmoid 的導(dǎo)數(shù)由鏈?zhǔn)椒▌t自然出現(xiàn)。d_w2 的形狀必須和 w2 完全一致用 a1.T 乘 d_z2 才對齊這個(gè)轉(zhuǎn)置關(guān)系是新手最容易寫錯(cuò)的地方。d_z1 的計(jì)算體現(xiàn)了反向傳播這個(gè)名字的由來輸出層誤差經(jīng)過 w2.T 傳遞回隱藏層再乘隱藏層激活函數(shù)導(dǎo)數(shù)。除以 m 是取平均梯度好處是學(xué)習(xí)率和樣本量解耦——換了一批更多或更少的數(shù)據(jù)學(xué)習(xí)率不用重新調(diào)。如果漏掉這里同樣的學(xué)習(xí)率在不同數(shù)據(jù)量下收斂速度會(huì)天差地別。3.3 訓(xùn)練循環(huán)疊加次數(shù)和步長的配合訓(xùn)練循環(huán)就是把前向傳播、反向傳播、權(quán)重更新三件事重復(fù)執(zhí)行疊加次數(shù)epoch和前向反向執(zhí)行的次數(shù)一一對應(yīng)。bp.py 里的訓(xùn)練主邏輯大致如下def train(X, y, hidden_size8, epochs2000, lr0.05): input_size X.shape[1] output_size 1 w1, b1, w2, b2 init_network(input_size, hidden_size, output_size) losses [] for epoch in range(1, epochs 1): # 前向傳播拿預(yù)測值 y_pred, a1, z1, z2 forward(w1, b1, w2, b2, X) # 反向傳播拿各層梯度 d_w1, d_b1, d_w2, d_b2 backward(X, y, y_pred, a1, z1, z2, w2) # 權(quán)重更新步長 lr 決定每步走多遠(yuǎn) w1 - lr * d_w1 b1 - lr * d_b1 w2 - lr * d_w2 b2 - lr * d_b2 if epoch % 100 0: loss np.mean((y_pred - y) ** 2) losses.append(loss) print(fepoch {epoch}, loss {loss:.6f}) return w1, b1, w2, b2, losses兩個(gè)參數(shù)的含義在代碼里很直觀epoch 就是描述里的疊加次數(shù)設(shè)成 2000 意味著同一批數(shù)據(jù)被前向反向跑 2000 遍每次迭代都按當(dāng)前梯度方向把權(quán)重挪一小步lr 就是步長控制這一步的大小。lr 取 0.05 屬于保守起步值對大多數(shù)歸一化后的回歸數(shù)據(jù)都能穩(wěn)定下降。loss 打印間隔設(shè)成 100每 100 次看一眼下降趨勢不用每一輪都往終端刷。需要注意這個(gè)訓(xùn)練循環(huán)沒有做任何學(xué)習(xí)率衰減也沒有早停機(jī)制。bp.py 作為基礎(chǔ)實(shí)現(xiàn)是夠用的但當(dāng)你發(fā)現(xiàn) loss 在某個(gè)水平震蕩不再下降時(shí)不要盲目加大 epochs那只會(huì)浪費(fèi)時(shí)間正確做法先看是不是學(xué)習(xí)率太大再考慮是否遭遇了局部最優(yōu)具體排查在第 5 章。4. 數(shù)據(jù)預(yù)處理與完整調(diào)用拿到 bp.py 后第一件事做什么4.1 歸一化為什么是 BP 能不能收斂的前置條件bp.py 沒有自帶數(shù)據(jù)集所以到手第一件事是處理你自己的數(shù)據(jù)。sigmoid 的輸出區(qū)間是 (0, 1)如果輸入特征的量級(jí)是幾千幾萬加權(quán)和會(huì)非常大sigmoid 直接飽和梯度消失訓(xùn)練等于白跑。歸一化不是可選項(xiàng)是前置條件。min-max 歸一化的 numpy 實(shí)現(xiàn)很簡單但有一個(gè)細(xì)節(jié)容易忽略保存歸一化用的最小值和跨度預(yù)測階段要用同一組參數(shù)還原量綱。def minmax_normalize(data, feature_range(0, 1)): min_val np.min(data, axis0) max_val np.max(data, axis0) span max_val - min_val # 某個(gè)特征全是相同值時(shí)跨度會(huì)是 0加個(gè)保護(hù)防止除零 span[span 0] 1 normed (data - min_val) / span normed normed * (feature_range[1] - feature_range[0]) feature_range[0] return normed, min_val, span邏輯說明data 可以是特征矩陣也可以是目標(biāo)列axis0 表示按列取最小值和最大值每一列獨(dú)立歸一化。返回值里 min_val 和 span 必須留下來因?yàn)橛?xùn)練完成后新來的預(yù)測數(shù)據(jù)要先用訓(xùn)練時(shí)保存的 min_val 和 span 做同樣的變換否則訓(xùn)練用的是 0 到 1預(yù)測時(shí)喂的是原始量級(jí)輸出必然錯(cuò)得離譜。參數(shù)說明feature_range 默認(rèn)是 (0, 1)對應(yīng) sigmoid 輸出區(qū)間。如果換用 tanh 激活可以改成 (-1, 1)效果通常更好。span[span 0] 1 這行是防御性寫法特征全相同的情況在實(shí)際數(shù)據(jù)里不少見不加這行程序會(huì)直接報(bào)除零錯(cuò)誤。4.2 訓(xùn)練集與測試集劃分固定隨機(jī)種子才能公平對比訓(xùn)練循環(huán)如果拿全部數(shù)據(jù)反復(fù)過模型對訓(xùn)練數(shù)據(jù)會(huì)擬合得非常好但看不出泛化能力。留出一部分?jǐn)?shù)據(jù)做測試是 BP 神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)的基本操作。常見比例是留出 20% 左右順序要先打亂再切分不然按時(shí)間排序的數(shù)據(jù)會(huì)讓訓(xùn)練集和測試集分布不一致。def split_dataset(X, y, test_ratio0.2, shuffleTrue, seed42): m X.shape[0] idx np.arange(m) if shuffle: # 固定 seed保證每次運(yùn)行時(shí)切分結(jié)果一致 rng np.random.default_rng(seed) rng.shuffle(idx) n_test int(m * test_ratio) test_idx idx[:n_test] train_idx idx[n_test:] return X[train_idx], X[test_idx], y[train_idx], y[test_idx]邏輯說明先給每行樣本生成索引數(shù)組打亂后按比例切出測試索引和訓(xùn)練索引。X 和 y 用同樣的索引取值保證特征和標(biāo)簽的對應(yīng)關(guān)系不亂。固定 seed42 是調(diào)參實(shí)驗(yàn)里一個(gè)特別實(shí)用的習(xí)慣。因?yàn)槊看芜\(yùn)行數(shù)據(jù)切分都一致你在調(diào)學(xué)習(xí)率、隱藏層節(jié)點(diǎn)時(shí)看到的誤差變化就只來自參數(shù)本身而不是數(shù)據(jù)劃分的隨機(jī)性。不加這個(gè) seed每次運(yùn)行測試集都不同兩次實(shí)驗(yàn)結(jié)果沒法橫向?qū)Ρ日{(diào)參就成了玄學(xué)。4.3 完整調(diào)用特征矩陣到預(yù)測結(jié)果的四步流程把上面幾個(gè)函數(shù)串起來主流程就是按固定順序執(zhí)行四件事歸一化、切分、訓(xùn)練、反歸一化預(yù)測。# X 是原始特征矩陣y 是原始目標(biāo)值列進(jìn)來先各自歸一化 X_norm, X_min, X_span minmax_normalize(X) y_norm, y_min, y_span minmax_normalize(y.reshape(-1, 1)) # 切分訓(xùn)練集和測試集 X_train, X_test, y_train, y_test split_dataset(X_norm, y_norm) # 訓(xùn)練網(wǎng)絡(luò)隱藏層 8 個(gè)節(jié)點(diǎn)3000 輪迭代學(xué)習(xí)率 0.05 w1, b1, w2, b2, losses train(X_train, y_train, hidden_size8, epochs3000, lr0.05) # 測試集前向傳播得到歸一化預(yù)測值 y_pred_norm, _, _, _ forward(w1, b1, w2, b2, X_test) # 關(guān)鍵一步還原到原始量綱否則預(yù)測結(jié)果沒法解釋 y_pred y_pred_norm * y_span y_min這段主流程里有幾個(gè)容易出錯(cuò)的位置。y.reshape(-1, 1) 是因?yàn)?minmax_normalize 按列處理y 必須從一維數(shù)組變成 (m, 1) 的矩陣不然歸一化出來的形狀不對。訓(xùn)練結(jié)束后的 y_pred_norm 是 0 到 1 之間的數(shù)直接拿去向老板匯報(bào)沒有意義必須用訓(xùn)練時(shí)保存的 y_min 和 y_span 反算回原始數(shù)值這一步漏了是新手最常見的翻車現(xiàn)場。測試集預(yù)測表現(xiàn)才是這個(gè)模型真實(shí)水平的反映。訓(xùn)練集 loss 再低都不能代表預(yù)測能力因?yàn)榫W(wǎng)絡(luò)完全可能把訓(xùn)練數(shù)據(jù)背下來了。到這一步bp.py 的主流程就跑通了剩下的問題基本都集中在參數(shù)怎么調(diào)、結(jié)果怎么判斷上。5. 避坑指南BP 神經(jīng)網(wǎng)絡(luò)跑不通的五個(gè)典型癥狀5.1 loss 震蕩不降甚至越跑越大現(xiàn)象訓(xùn)練過程輸出里 loss 不是穩(wěn)定下降而是在某個(gè)值附近來回跳或者一路走高最終模型給出的預(yù)測值明顯不合理。原因最常見的就是學(xué)習(xí)率步長設(shè)置過大。權(quán)重更新的每一步邁得太遠(yuǎn)直接跨過了損失函數(shù)的最低點(diǎn)在谷底兩側(cè)反復(fù)橫跳。另一種可能是數(shù)據(jù)沒有歸一化特征量級(jí)差異巨大導(dǎo)致梯度方向不穩(wěn)定表現(xiàn)為 loss 劇烈震蕩。解決先看 loss 輸出曲線震蕩就先把學(xué)習(xí)率降一個(gè)數(shù)量級(jí)從 0.05 降到 0.01 或 0.005重新跑。同時(shí)確認(rèn)數(shù)據(jù)已經(jīng)做過分列歸一化這一步比調(diào)學(xué)習(xí)率更基礎(chǔ)沒歸一化時(shí)調(diào)學(xué)習(xí)率基本白費(fèi)。5.2 預(yù)測結(jié)果全是一個(gè)常數(shù)根本擬合不了數(shù)據(jù)現(xiàn)象訓(xùn)練完成后對任意輸入模型輸出的預(yù)測值幾乎相同比如始終是 0.5 附近誤差一直下不去。原因權(quán)重初始化取值過大進(jìn)入 sigmoid 飽和區(qū)梯度消失導(dǎo)致權(quán)重幾乎不更新或者隱藏層節(jié)點(diǎn)太少網(wǎng)絡(luò)擬合能力不足以表達(dá)數(shù)據(jù)里的映射關(guān)系。還有一個(gè)隱性原因訓(xùn)練時(shí)把輸出層也套了 sigmoid而目標(biāo)值歸一化后的范圍不在 (0,1) 有效區(qū)間內(nèi)模型被迫永遠(yuǎn)輸出一個(gè)接近常數(shù)的值。解決把初始權(quán)重范圍改小到 [-0.25, 0.25] 重新初始化并檢查隱藏層節(jié)點(diǎn)數(shù)是否過低按輸入節(jié)點(diǎn)的 1.5 倍起步。如果輸出層用了 sigmoid先打印歸一化后 y 的最小值和最大值確認(rèn)確實(shí)落在 (0,1) 內(nèi)否則輸出層改線性輸出。5.3 訓(xùn)練集誤差很低測試集誤差很高現(xiàn)象訓(xùn)練完成打印最后一個(gè) epoch 的 loss 已經(jīng)到 0.01 以下但用測試集一算誤差大得離譜。這就是俗稱的過擬合。原因數(shù)據(jù)集太小而網(wǎng)絡(luò)容量太大。bp.py 的默認(rèn)結(jié)構(gòu)是單個(gè)隱藏層但隱藏節(jié)點(diǎn)數(shù)設(shè)到幾十上百時(shí)小數(shù)據(jù)集上的擬合能力綽綽有余網(wǎng)絡(luò)開始記憶噪聲而不是學(xué)習(xí)規(guī)律。解決優(yōu)先減小隱藏層節(jié)點(diǎn)數(shù)回到輸入節(jié)點(diǎn) 1 到 2 倍的區(qū)間其次增加數(shù)據(jù)量如果數(shù)據(jù)無法增加引入簡單的早停機(jī)制——訓(xùn)練過程中每過一定輪數(shù)在測試集上算一次誤差測試誤差開始回升就立即停止訓(xùn)練。5.4 epoch 設(shè)了 10000 還是收斂很慢現(xiàn)象loss 一直在緩慢下降跑幾千輪才降一點(diǎn)訓(xùn)練時(shí)間很長但最終效果還可以。原因?qū)W習(xí)率太小。新手容易把學(xué)習(xí)率設(shè)成 0.001 甚至更小以求穩(wěn)這在歸一化數(shù)據(jù)上是過度保守了。另一個(gè)因素是 sigmoid 在輸入較大時(shí)梯度趨近于 0訓(xùn)練本身就會(huì)慢這是結(jié)構(gòu)特性。解決把學(xué)習(xí)率先提到 0.05 到 0.1 區(qū)間跑幾百輪觀察下降斜率。如果一開始下降很快后期變慢這是正常的可以保留學(xué)習(xí)率并配合增大 epochs也可以在第 4 章訓(xùn)練循環(huán)基礎(chǔ)上加一個(gè)簡單的學(xué)習(xí)率衰減——每 500 輪把學(xué)習(xí)率乘以 0.9兼顧前期速度與后期穩(wěn)定。5.5 輸出層激活函數(shù)選錯(cuò)預(yù)測值超出正常范圍現(xiàn)象預(yù)測建材價(jià)格這類本來是正數(shù)的任務(wù)模型卻輸出了負(fù)數(shù)或者預(yù)測值全部被壓在 0 到 1 之間且還原后數(shù)值明顯不對。原因輸出層的 sigmoid 把輸出限制在 (0, 1)如果歸一化后目標(biāo)值分布不均還原后的預(yù)測誤差會(huì)被放大反過來如果輸出層是純線性而代碼里誤套了 sigmoid預(yù)測范圍又被錯(cuò)誤截?cái)唷_@兩種情況都是激活函數(shù)與目標(biāo)分布不匹配。解決回歸任務(wù)輸出層優(yōu)先用線性輸出也就是 z2 直接作為預(yù)測值只保留隱藏層的激活函數(shù)。具體做法是在 forward 函數(shù)里去掉輸出層那一次 sigmoid對應(yīng)反向傳播公式也要去掉 sigmoid 導(dǎo)數(shù)那一項(xiàng)只保留 (y_pred - y) 作為輸出層誤差。6. 誤差曲線與驗(yàn)證指標(biāo)判斷模型是真的收斂還是假收斂6.1 誤差曲線怎么讀bp.py 訓(xùn)練過程里每 100 輪打印一次 loss把這些點(diǎn)畫出來就是誤差曲線。畫曲線的代碼很直接用訓(xùn)練時(shí)返回的 losses 列表就能出圖import matplotlib.pyplot as plt plt.plot(losses) plt.xlabel(epoch (x100)) plt.ylabel(MSE loss) plt.title(BP Neural Network Training Loss) plt.show()讀這條曲線有三個(gè)關(guān)鍵判斷第一前幾百輪是不是在快速下降如果一開始就平緩或者震蕩問題基本出在學(xué)習(xí)率或歸一化第二后期是否趨于平穩(wěn)平穩(wěn)意味著梯度已經(jīng)很小網(wǎng)絡(luò)進(jìn)入收斂區(qū)問此時(shí)繼續(xù)追加 epochs 收益有限第三最后收斂的 loss 值是否達(dá)到預(yù)期這個(gè)預(yù)期來自對數(shù)據(jù)本身噪聲水平的判斷數(shù)據(jù)本身信噪比低時(shí) loss 不會(huì)降到 0。6.2 量化指標(biāo)MAE 和 RMSE 怎么算曲線只能看趨勢跟別人匯報(bào)或者論文里寫效果得用數(shù)值指標(biāo)。預(yù)測類任務(wù)最常用兩個(gè)MAE 反映平均偏差的絕對值RMSE 對大誤差更敏感兩者結(jié)合能看出誤差分布形態(tài)。mae np.mean(np.abs(y_pred - y_test)) rmse np.sqrt(np.mean((y_pred - y_test) ** 2)) print(fMAE {mae:.4f}, RMSE {rmse:.4f})兩個(gè)指標(biāo)配合著看如果 MAE 不大但 RMSE 明顯偏大說明預(yù)測值里存在少數(shù)極端偏差大的樣本這時(shí)可以考慮檢查歸一化過程是否有異常值如果兩個(gè)指標(biāo)都偏大優(yōu)先回頭調(diào)隱藏層節(jié)點(diǎn)數(shù)和學(xué)習(xí)率這通常是容量或收斂問題。指標(biāo)計(jì)算時(shí)要用反歸一化后的原始量綱 y_pred 和 y_test用歸一化后的值算出來的數(shù)字沒法跟業(yè)務(wù)實(shí)際對照。從那以后我每次跑 bp.py 都強(qiáng)制走一遍固定流程先歸一化并保存參數(shù)再固定 seed 切分?jǐn)?shù)據(jù)訓(xùn)練時(shí)把學(xué)習(xí)率和 epoch 從保守值起步最后在測試集上算 MAE 和 RMSE并且一定把還原量綱后的預(yù)測值打印出來核對量級(jí)有沒有離譜。這一套動(dòng)作做完BP 神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果基本不會(huì)出現(xiàn)第五章節(jié)那種翻車情況希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
激情五月综合网| 五月丁香婷婷综合视频| 色色综合网站| 五月天影院| 天天色凹凸| 99视频这里只有久久精品 | 精品丁香五月天在线播放| 色99在线| 色五月大| sewuyuejiqingwang| 95精品区一区二| 日日夜夜久| 人人操女人| 色狠狠综合| 激情综合五月激情XXXX| 无码髙清| www.韩日视频| 国产成人精品一区二区三区视频| 中文久久婷婷| www.亭亭五月天| 夜夜大香蕉婷婷丁香| 在线播放中文字幕| 婷婷婷婷婷婷婷婷| 成人欧美Va| 人人干人人操外国| 五月激香蕉网| 五月天婷婷色| 激情四射五月天| 婷婷六月插屄激情| 婷婷激情五月天天天开心| 乱乱av| 5月婷婷五月天| 亚洲激情五月| 在线99精品| 色色色色色网| 深爱激情丁香五月| 久色中文| 五月丁香直播| 久久五月视频| site:901-07.com| 99热最新国内| 人人妖人人97| 午夜亚洲AV日韩无码| 久99久精品| 骚货艹网站视频| 久热大香蕉| 超碰2021| 色综合区| 人色五月天婷婷| 国产毛片精品一区二区色欲黄A片| 日本一级黄色电影| 国产乱子轮XXX农村| 日韩人妻操逼视频| 99久久99九九九99九他书对| 欧美成人AAA片一区国产精品| 久色中文| 免费国产视频| 婷婷情色开心五月天99| 国产精品美女| 五月丁香亚洲综合网| 91男人资源站| 亚洲中文乱字字幕在线永久| 天天综合天综合| 婷婷国产欧美97| 六月 丁香 视频| 欧美天天干五月丁香| 色婷婷很很十八禁| 91在线日| 六月婷婷国产| 婷婷五月av| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 五月丁香久久激情综合| 影音先锋色婷婷| 欧美日本VA| 97人妻碰碰中文无码久热丝袜| 久草婷婷| 加勒比久热| 欧美性爱五月天| 成人精品在线| 色婷婷AV在线观看| www.夜夜操.com| 立川无码av| 国自产拍偷拍精品啪啪一区二区| 色色色色色网| 伊人成人宗合网| 婷婷中文字幕欧美| 熟女激情五月天| 色婷綜合网| 熟妇天天综合| 五月丁香综合色婷婷| 91传媒无码人妻精| 99久久婷婷国产综合精品草原| 开心五月婷婷激情网| 五月丁香综合中文| 丰满少妇猛烈A片免费看观看| WWW,五月| 五月婷婷色播网| 色开心五月丁香| 97色色视频| 五月激情丁香| 五月婷婷色男女| 91凹凸在线| 中文字幕乱码亚洲精品一区| 色婷婷综合网| 深爱五月激情五月| 综合色图区| 五月天激情av| 天天艹夜夜爽| 丁香五月天堂| 色九九综合色| 色五月婷婷网| 久久六月综合| 色五月激情网| 五月天综合网| 五月丁香六月婷婷国产视频| 五月丁香婷中文字幕| 九九九九综合| 天天色丁香| 91精选国| 五月婷婷激情综合| 婷婷中文字幕| 亚洲成人网在线观看| 丁香五月婷婷色播艳门照| 开心婷婷五月天综合| 91精品又长又大又粗又爽又猛| 色青青电影色五月| 五月婷婷影视| 亚洲 在线 另类| 精品人妻伦一二三区久久| 激情五月婷婷| 少妇性按摩无码中文A片| 99在线视频在线观看| 婷婷伊人綜合中文字幕小说| 狠狠综合| 六月婷婷六月天天在线免费| 97色色色色色色色| 丁香五月在线伊人| 婷婷五月天激情AV影院| 五月丁香狠狠| 激情播丁香| 亚洲激情四射| 丁香五月婷婷呀| 美妞av| 99er6免费视频热播| 国产ava| 91九色中文| 六月综合婷婷开心伊人| 欧美乱码国产一级A片| 1769在线观看欧美国产| 久久艹网| 六月婷婷AV| 色色色综合网| 99干日日干| 亚洲V国产V欧美V久久久久久| av中文在线| 天天插天天日| 婷婷性福五月天| 五月天成人小说| 这里只有精品在线看| 青草激情在线| 五月天播播中文字幕| 欧洲亚洲精品| 日本WWW九九九| 色综合色色色色色| 九九成人| 黄色五月婷婷| 丁香婷婷激情| 啪啪日热| 五月丁香好婷婷A片网| 五月婷婷六月丁香综合| 狠狠草天天草| 婷婷五月天综合小说网| 9久热在线视频精品| 色丁香五月天| 蜜桃五月天| 高清资源站日A美A欧亚…| 婷婷丁香成人色综合| 99视频在线9| 激情婷婷五月天日本系列| 丁香五月天啪啪激情综和网| 婷婷激情五月天激情| 亚州色色色| 欧洲色色| 激情五月婷婷| 91怕怕网| 九九碰九九爱97| 亚洲综合干| 激情性五月天免费小说视频| 色婷婷六月| 亚洲久热| 天堂美国久久| 久久ww| 亚洲色情一区二区三区四区| 日本成人噜噜噜| 任你爽精品免费视频6| 色婷婷网| 日日操夜夜操不卡| 99爱99操| 成人狠狠成人狠狠成人狠狠成人狠狠| 天天操综合网| 激情六月婷婷| 日本色色影院| 伊人久久激情图区五月| 丁香五月播播| 97碰久久| 五月天丁香婷婷视频网址| www,超碰| 婷婷丁香五月欧美人| 噜噜狠狠色综无码久久合欧美| 亚洲另类婷婷综合| aaaa久久| 日日日,com| 日本色综合| 亚洲视频1区| 欧美十二区| 天天干在线播放| 九九九九精品精| 麻豆AV一区二区三区| 熟妇无码乱子成人精品| 欧美成人AAA片一区国产精品 | 色婷婷五月天天天天天| 在线看黄色| 五月天色小说| 操逼视频一区| 亚洲色图在线视频| 五月激情四射网站| 婷婷激情五月天小说| WWW.久久久久久久| 五月天综合网| 亚洲偷| 中文字幕网伦射乱中文| 97涩婷婷| 97人人射| 亚洲综合婷婷六月丁香五月| 狠狠穞A片一區二區三區| 色色国产| 五月丁香色情| 综合激情四射一theav| 丁香婷婷性久久| enecarbon-materials.com污K127封锁请涟系@wip1688 | 天天综合永久| 97丁香五月| 丁香色婷婷五月天| 五月天精品综合| 任你爽精品免费视频6| 婷婷五月天激情诱惑| 色婷婷久久| 天天做天天爱| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 久久思思精品| 五月天国产| 婷婷综合玖玖五月| 91免费在线视频6| 噜噜色com| 久久婷婷五月| 99免费在线视频| 日日夜夜狠狠婷婷色| 草逼大片| 在线观看免费观看在线9久| 激情综合5月| 中文字幕精品推荐免费在线观| 狠狠久久婷五月综合色| 婷婷丁香六月| 99热在线观看99| 免费人人操| 五月天激情网图片| 五月天啪啪啪| 九月婷婷激情| 综合亚洲色色| 久re热视频| 国产99久久久国产精品免费看| 久久小说| 久婷久婷激情肉| 狠狠色 综合色区| 激情视频综合| 一区中文字幕电影| 99久久精品视频女神1| 丁香五月婷婷少妇| 玖玖爱伊人| 色综合天天网| 9999久久久久| 99er这里只有精品视频| 亚洲精品无码久久| 狠狠操综合| 91人操人人人操人| 色狠狠综合入口| 五月天激情AV| 色135综合网| 午夜丁香婷婷| 99只有精品| 五月天大香蕉| 亚洲色婷婷五月天| va婷婷在线| 国产精品色| 婷婷色婷婷| 丁香五月性| 五月天婷婷激情在线色图| 在线中文AV| 五月欧美色播| 五月婷婷,六月丁香| 色色五月天丁香| 婷婷五月天免费视频在线观看| 激情又色又爽又黄的A片| 无码A片一区二区免费| 开心五月激情婷婷| 狠狠干狠狠操狠狠爱| 激情五月www| 色情成人五月天| 天天天久久久| 夜夜穞天天穞狠狠穞AV美女按摩| 天天干天天日日| 激情内射人妻1区2区3区| 色丁香久久| 婷婷五月天成人动漫| 亚洲成人高清在线| 99热99精品| 五月天精品综合在线| 丁香五月网址| 99热国产国产| 热996精品在线观看| 亚州日本欧州韩美高青高潮一| 无码成人AAAAA毛片AI换脸| 色欲香综合网| 婷婷精品在线| 青青草国产亚洲精品久久| 久久久区区一久久久久久| 99热在线观看99| 色色色国产| 桃色激情婷婷伊人网| 99玖玖视频| 99热主页日本| 梁铮版蜘蛛女在线观看| 欧美性猛交XXXX乱大交极品| 久久99热这里只有精品| 色吧网综合| 99热碰碰| 狠狠色综合五月| 久久婷婷网| 伊人五月婷| 五月天婷婷綜合院| 伊人久久五月天| 国产无人区大片| 91碰碰| 色婷婷色五月色丁香| 伊人在线视频| 色五月激情五月| 亚洲小说五月婷婷| 日本人妻伦在线中文字幕 | 久久久999精品| 26uuu国产精品| 日本九九视频| 婷婷六月成人| 五月婷婷综合在线| 综合另类视频| 99精品性爱| 婷婷丁香视频| 在线国产精品色| 免费观看高清无码| 26uuu| 另类激情首页| 日本欧美国产| 99热这里只有精品手机在线观看| xx久久| 丁香色情五月综合激情| 激情内射人妻1区2区3区| 人妻久久人妻久久第一区| 小视频aaa久久久| 色99在线看| 五月丁香本色在线观看| 婷婷色5月激情网| 亚洲综合色激情色五月| 亚洲视频二区| 伊人久久大香线蕉av一区| 五月情色天| 欧爱综合视频| 丁香五月天激情婷婷丁香六月| 久久网婷婷| 青青久久五月| 亚洲欧洲中文日韩久久AV乱码| 五月天综合视频网| 色婷亚洲| 午夜九九电影| www,欧美干干干干干干| 五月份婷婷| 97碰| 久久婷综合| 九九热re99re6在线精品| 亚洲国产网站| 91人人妻人人操人人爽| 日韩一级一片内射视频4K| 黄色一级影片| 丁香六月激情综合| 激情五月深爱五月观看| 青草热视频这里只有精品| 亚洲激情| 久久99免费视屏| 天天做天天摸| 丁香五月婷婷天堂大香蕉| 日本色爽| 婷五月丁香俺| 91在线日本| 亚洲国产精品VA在线看黑人| 婷婷 激情 五月| 熟妇天天综合| 少妇人妻人伦A片| 久久这里都是精品| 综合亚洲六月婷婷在线| 日本www免费九九| 狠狠狠夜夜夜| www.天天色综合| 九月丁香久久网| 久久HD| 六月婷婷久久大全| 丁香六月天AV| www.maotanji.com| 91狠狠综合久久久久久| 五月天停停成人网| 丁香五月成人论坛| 日韩美女在线视频19| 性做久久久久久久免费看| 五月婷婷丁香五月 | 国产99久久久国产精品免费看| 婷婷欧美| 直接看的AV| 色五月成人婷婷| 色久九| 2015超碰| 婷婷五月六月丁香| 国产精品美女久久久久AV超清| 99碰碰视频| 九九色之九九色之88| 国产成人精品一区二三区熟女在线 | 国av网| 欧美日韩91| 五月丁香六月婷综合成人综合| .操區COm| 久久人人人人妻| 丁香五月第九色| 成人短视频在线| 五月色激情综合网| 玖玖九九超碰| 亚洲亚洲人成综合网络| 国外亚洲成AV人片在线观看| 国产精品久久久久久亚洲毛片| 婷婷色影院| 激情六月婷婷| 色欲天天综合网| 激情婷婷五月| 色色五月天激情| 26uuu精品国产| 亚洲无AV在线中文字幕| 人妻AV在线| 激情五月婷婷五月| www.99色| 色www久视频| 超碰cap| 天天日,天天干,天天操| 久久香蕉影院| 1024亚洲无码| 大香蕉伊在| 国产精品人妻在线网址| 久久婷婷精品| 婷婷色丁香五月| 天堂久久性| 99色精品| 日本久久天堂| 少妇人妻人伦A片| 色色综合网www| 成人在线视频一区| 婷五月天在线草| 性色99| www,com,五月色色| 激情丁香五月天| 91日本在线观看| 中文字幕在线免费看线人| 久热精彩视频98| 99热99ai| 久久九九蜜| 99热思思| 99热天堂| 国自产拍偷拍精品啪啪一区二区| 欧美色色日韩| 婷婷丁香一月| 97色热| 亚洲无AV在线中文字幕| 99热在线看片| 五月婷色丁香| 色五月综合在线| 九久久婷婷| 亚洲六月婷婷| jiZZdr| 五月综合久久| 玖玖午夜视频| 婷婷五月天久久久| 国产熟妇的荡欲午夜视频| 九月久久婷婷| 亚洲激情精品| 强壮公让我夜夜高潮A片视频| 久9热插入| 精品乱码视频| 九九热欧美| 91疯狂操操操操| 国产片色| 性做爰1一7伦| 操精品9| 五月婷丁香花| 色婷婷六月天| 色欲九区| 五月婷婷导航| 免费播放AV| 怡红院99| 色婷婷小说| 丁香五月色播中文在线播放| 99久久国产成人精品| 日本无码专区| 色婷网| 色婷婷色五月天| 五月丁香啪啪网| 午夜福利成人AV91| www.99热最新视频8| 99热这里只有精品1| 伊人激情啪啪| 婷婷激情综合色五月久久91| 这里只有精品在线播放| 91热爆在线| 国产1区2区| 丁香婷婷十月| 五月成人丁香av91| 欧美婷婷五月无砖| 丁香五月天激情视频| 99热这里有精品| 色爽九九| 天天插,天天射| 亚洲成人免费电影| 激情伊人六| 69精品人人人人| 伦乱美欧| 丁香网站| 久久婷婷操| 欧美激情综合五月色丁香| 91操色| 丁香五月影视| 成人中文字幕在线| 99九无网码| 欧美日韩成人在线观看| 热成人网| 超碰电影在线播放| 99热综合网| 天天爽天天日人人爱| 亚洲99综合| 影音先锋色婷婷| 人妻人人操| 操一区| 人妻久久久| 亚洲第一色网站| 免费看欧美成人A片无码| 狠狠色 综合色区| 91操在线| 91丨九色丨东北熟女| 激情五月丁香婷婷夜夜操| 中文字幕永久在线| 九九色热视频| 99免费热在线精品| 五月天丁香婷婷视频网址| 午夜爱爱爱成人| 激情丁香五月| 人人草人人舔| 毛片色五月| 99热99日天天干| 激情五月天视频| 天天噜天天插| 日本三级第一页| 欧美天堂久久| 色婷婷小说| 亚洲九区| 色色综合热| 99热精品在线在线| 怡红院视频| 色婷婷4| 五月婷婷综合影院| 欧美一级色| 五月天成人小说网| 99r久久这里只有精品| 中文字幕AV在线| 第四色色色色色丁香五月天| 99色在线| 丁香婷婷激情| 99热偷拍| 996er热| 婷婷五月天天天| 六月丁香五月亭亭| 天天天操天天天爰| 26uuu视频欧美| 日本久久人| 亚洲色五月天在线| 激情色中文| www.婷婷亚洲基地| 超碰9| 91热手机在线| 二级黄色毛片| av在线免费网站 | 香蕉AV777XXX色综合一区| 激情伊人| 99久在线精品99re8热| 五月丁香久久综合| 狠狠做深爱婷婷久久综合一区| 这里只有精品视频在线| 色九九九九| 色综合久久88色综合天天99| 色婷婷五月在线| 色欲婷婷五月天| 综合久久五月| 都市激情蜜桃婷婷五月天| 噜噜干日本| 欧美三级欧美一级| 精品久久二6| 六月丁丁香| 涩五月婷婷| www.色婷婷| BBWCUCKOLD精品熟妇| 亚洲精品白浆高清久久久久久 | 思思热在线视频99| 五月天激情小说网| 亚洲色色色| 五月婷婷影院| 狠狠色色综合| 丁香婷婷射| 另类视频五月天| 99热这里都是精品| 久热久re| 激情综合网婷婷久久| 婷婷夜夜夜夜| 天天天天天天操| 色吊操色妞| 夜夜夜天天操| 激情五月天影院| 五月天婷婷综合网| 五月天天堂久久| xxxx五月| 成人短视频在线免费观看| 91色色色| 香蕉婷婷色五月| 激情综合一| 怎么样可以看免费的一级av| 婷婷色情网| 91视屏在线观看com.wwwvv| 久久九色| 91超碰人人操| 天天久综合| 天天射天天插天天干| 婷婷五月激情图片| 九九热九九| 丁香五月婷婷综合精品素人| 六月婷婷中文字幕| 爱爱网址9| 五月婷综合性中心| 91精品久久久久久久久久| 无码九九| 婷婷九月| 婷婷九月激情| 极品少妇婷婷五月| 开心五月深爱激情| 激情色五月天| 五月婷婷之六月丁香| 色婷婷亚洲婷婷| 狠狠干狠狠干狠狠干狠狠干| 欧美成人精品A片免费一区99| 婷婷五月亚洲激情| 久久多色| 丁香九月激情| 五月婷婷精品视频| 人妻体体内射精一区二区| 99热黄| 97狠狠色| 五五月丁香花激情综合网| 九九Av| 丁香六月AV| 成人无码髙潮喷水A片| 五月天深爱激情网| 国产操B视频| 日本三级大片| 五月婷婷在线播放| 天天插天天插天天日| 色五月大香蕉| 婷婷五月天激情开心网| 日本97在线视频| 色色婷| 久久久精品色色色| 五月婷俺去也| 99er热精品视频| 嫩草AV久久伊人妇女超级A| 日本五月天激情| 综合久久婷婷五月丁香| 久久99人人| 人妻综合网| 色久激情在线| 婷婷五月天色网久| 97在线精品视频| 久久五月婷6 9| 99久久激情视频| 成年人丁香五月| 久久久久久久丁香五月天婷婷| 久久久久久久11111111111| 伊人婷婷色| 久久婷婷综合五月趴| WWW色综合| 五月丁香在线观看99| 99亚洲精品| 婷婷色网| 色婷婷亚洲婷婷| 色播六月| 丁香五月婷婷超碰在线| 啊v视频在线观看| 丁香婷婷六月在线资源观看| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 五月天婷婷综合网| 色婷婷综合网| 国外亚洲成AV人片在线观看| 四虎99热在线观看网站| 色色综合成人网| 欧美六月| 婷婷五月激情基地| 婷婷丁香五月激情中文字幕版| 欧美一级色| 这里只有精品视频222| 99re热视频这里只有综合亚洲| 4399高清无码视频| 婷婷五月丁香激情图片| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 久久婷婷五月天| 久久人妻精品| 99热精品在线观看| 日韩成人无码| 天啪色| 4399在线观看免费毛片| 久久日韩婷婷五月| 九九99免费视频| 狠狠婷婷综合| 亚洲有码在线视频| 日韩无码性爱| 噜噜噜噜噜久| 99操视频| 伊人超碰| 免费看欧美成人A片无码| 婷婷丁香六月天| AAA久久| 色播播之激情五月婷婷| 婷婷五月美女直播| 99久在线精品99re8热| 成人无码髙潮喷水A片| 潘金莲AAAAAAAAAA| 99人妻碰碰碰久久久久视| 综合五月天亚洲婷婷| 思思热视频在线| 亚洲超碰在线| 97热精品| 色婷婷五月天久久| 婷婷色综合| 日韩肏屄网| 午夜爱爱爱成人| 蜜桃婷婷丁香| 色色日本| 91丨九色丨熟女|新版| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 五月婷婷久久综合| 丁香五月五婷| AV片一区在线观看| 人人爱天天摸摸天天爱| 日韩综合久| 亚洲经典三级| 九九热精品视频九九| 五月停亭六月,六月停亭的英语| 青青草免费公开视频| 婷婷久久性爱| 九九亚洲综合| 成人丁香色| 青草五月天| 婷婷五月乱交换| 五月天天久久香| 9l视频自拍九色9l黑人| 婷婷六月开心网| 国产精产国品一二三在观看| 色五月aV| 婷婷丁香六月| 日韩AC在线免费观看| 五月丁香六月婷婷综合网缴情| 亚洲AV日韩在线观看| 五月激情开心婷婷| 精品人妻午夜一区二区三区四区| 天天日日天天| 97操碰日本女人| 性爱视频99| 97干视频在线| 这里只有精品视频| 99色在线观看| 激情深爱五月天| 大香蕉婷婷久久| 精品久久9| www婷婷| 狠狠色综合网站| 91久久久久| 六月婷婷五月丁香| 五月丁香成人版| 大香蕉久久婷婷精品综合| 俺去也五月天| 色综合久久久久| 丁香五月www| 久/久精品99看9| 蜜桃五月天色| 91婷婷丁香五月| 丁香五月激情图片婷婷| 成人免费高清在线播放| 熟女乱论网| 九九超日本| 国产69久久久欧美黑人A片| 五月开心深爱激情网| 猫咪伊人久久| 婷婷九月丁香中文| 色五月婷婷色| 91无码视频| 情趣视频66| 日韩六十路91性交电影| 婷久久| 99无码视频| 操一区| 欧美日韩AAAA| 五月婷婷视频啪啪美女| 色99在线| 天天操天天干天天射| 久久激情视频| 91九色熟女| 国产精品国产| 99re热免费观看视频精品| 丁香五月 综合| 丁香婷婷综合影院| 五月天堂六月丁香亚州中文字幕久久 | 他改变了拜占庭| 午夜丁香六月婷| 岛国午夜视频| 色九九丁香九月色九九色| 丰满女老板BD高清A片| 97色色网| 久久3级片| 人妻第九页| 91精品激情9| 五月美女婷婷风骚| 丁香九色不卡aaa| 色婷婷瘦婷婷日韩| 色综合区| 四季AV综合网| 99精品国产在热久久婷婷| 野外99热| 大香蕉五月天婷婷丁香91| 色欲九区| 久久久人妻久久久| 亚洲色综久久五月| 99热这里只有精品18| 26uuu亚洲色| 丁香五月av| 五月亭亭直播| 91丁香色| 大香蕉久操| 狠狠色婷婷六月激情网| 久碰婷婷视频| 五月开心播播网| 99操九九网| 国产精品成人AV在线| 淫视馆aV二区一区| 狠狠草狠狠草| 天天操综合网| av人人操| 日本激情ⅩXX免费视频| 激情五月天综合婷婷网| 99亚洲天堂| 91超碰在线观看| 这里只有精品,日韩视频| 噜噜色com| 欧美成人一区二区三区在线视频| 在线成人av播放| 激情开心五月婷婷| 婷婷五月天视频| 色婷婷最新域名| 色欲香综合网| 亚洲无码色| 亚洲综合婷婷五月| 丁香婷婷视频在线| 丁香五月婷婷www..com| 激情宗合哪里能看| 欧美成人日韩| 国产精品国产| 九九九这里只有精品| 五月天开心网| 97操在线视频| 色五月婷婷av| 99超碰在线免费| 五月婷婷六月色| 丁香青青五月天| 亚洲人妻一区二区| 久久五月情| 丁香婷婷中文字幕| 操老逼综合网| 色狠狠综合入口| 黄色网址五月婷婷| 热99精品视频| 久久久人人操A V| 久久这里有精品| 五月丁香毛片| 97操碰碰无码视频| 久大香蕉| 色五月丁香五月| 99热精这里只有精品| 天天干天天爽| WwW天天干| 免费三级黄色| 日韩AAAAA| 亚洲区视频| 午夜不卡久久精品无码免费| 五月婷婷丁香狠狠撸久久| 国产精品18久久久| 天天搡日日搡aaaaⅩ| 国产成人AV在线播放| 久九男女天堂| 婷婷五月天色播| 五月婷婷婷婷婷| 色哟哟精品| 成熟妇人A片免费看网站| 久久这里只有国产精品视频| www.综合久久| 97碰碰碰免费公开在线视频| 欧美色五月天| 色天天综合色| 欧美久久网| 粉嫩AV久久一区二区三区| 日本va欧美va精品发布视频 | 亚洲天天操| 色 色 色综合com| 激情99热| 91精品人妻少妇无码影院| 欧美大片免费观看| 亚洲综合色丁香婷婷六月| 色婷婷综合电影| 成人精品视频99在线观看免费| 九九精品亚洲| 色五月激情五月天| 久久婷婷五月丁香| 香蕉影院色| 99精品综合| 丁香九月婷婷综合| www五月天com| 99热8| 秋霞免费三级片| 亚洲无码AV片| 久久99激情五月天| 中文字幕日本最新乱码视频| 人人播| 婷婷五月天免费视频| 99热在线这里只有精品| 5月婷婷综合| site:901-07.com| 99热在线爱| 婷婷五月精品在线| 五月丁香婷婷国产精品综合| 亚洲精品va| 激情五月天综合图片小说网站| 9久热在线精品| 激情伊人网| 国产ava| 激情综合区| 99色精品视频| 婷婷久久综合| 久久99热这里只有精品首| 7超碰自拍| 亚洲成人免费电影| 一个色的综合| 五月婷婷丁香在线视频| 久久99热这里只有精品| 久久久ww| 99无码视频| 青草青草视频2免费观看| 99操网站| 2020日日干| 久久大香蕉| 五月情涩综合婷婷| 激情综合久久| 婷婷五月丁香五月| 久久综合影院| 成人人操| 婷婷五月天激情影片| 九九热思思| 丁香婷婷影院| 成人网页在线观看| 婷婷午夜激情| 五月天婷婷视频30| 久99视频| 99热欧美精品| 99er国产| 伊人五月婷婷| 欧在线一区| 大香蕉伊人99| 可以直接看的av| 午夜丁香| 99热国产精品| 婷婷五月天狠狠搞干| 色五月婷婷亚洲| 色狠狠色综合久久久绯色AⅤ影视| 东北婷婷五月天| 国产亚洲成AV人片在线观黄桃| 九九精品亚洲| 五月丁香六月激情网| 五月天丁香网| 99自拍视频在线| 庭庭久久内射| 午夜日韩久久久网站| 中国AV性爱观看| 色婷婷六月| 丁香六月婷婷综合激情欧美| www超碰com| 五月丁香六月婷婷亚洲天堂网站| 97亚洲婷婷| 色色色com| 激情综合网 激情五月天| 婷婷五月欧美综合| 五月丁香婷婷AV天堂| 99这里有精品视频| 91精品熟女| 久久AV无码精品人妻系列试探| 思思re视频在线| 狠狠婷婷综合| 丁香五月婷婷五月天| 激情久久 婷婷| 在线色色| 亚洲区,视频区,视频区免费| 噜噜噜久久| 亚洲综合色五月| 狠狠色婷| 成人av在线网站| 婷婷欧美偷拍综合| 欧美叉叉叉BBB网站| AV五月婷婷露脸| 1024手机在线观看看片_日韩精品| 秋霞性爱AV| 久久996re热这里只有精品无码| 成人婷婷色综合| 色婷婷基地| 六月久久婷婷| 欧美顶级少妇做爰HD| 超碰97人人操| 五月婷啪啪| 天天肏天天肏天天肏| 五月开心婷婷| 99热6这里只有精品6| 久久伊人婷婷| 五月婷婷综合影院| 久久九⑨| 伊人五月天97| 7777精品伊人久久久大香线蕉最新版| 丁香婷婷激情网站| 色综合五月| 久久久久久五月天| 精品人妻伦一二三区久久| 日本三级大片| 色综合色色| 99在线精品观看99| 色综合婷婷| 久久98| AV中文在线| 婷婷大香焦| 免费在线观看av网站| 久久婷婷大香蕉| 丁香五月久久社区| 影音先锋天天日| 亚洲色碰| 蜜桃婷婷丁香五月天狠狠久久综合| 在线区区区| 亚洲色色香蕉| 日本啪啪天堂| 麻豆AV一区二区三区| 五月婷婷影视| www,com,五月色色| 五月天婷婷基地丁香| 99.色| 色五月欧美| 日本99热| 亚洲AV日韩AV永久无码网站| 成人国产综合| 东北婷婷五月天| 国产97色在线 | 日韩| 日韩aaaaa| 777久久久| 99精品色色| 欧美丁香五月夫妻天| 熟女激情五月天| 区欧美日韩成人| 天天艹天天综合网| 日日激情网| 丁香午夜天| 欧美日韩成人高清在线| 日日夜夜青青草| 激情www| 天天色99| 亚洲视频伍月婷婷| 婷婷丁香久久| 天堂五月婷婷| 色婷婷激情视频| 免费看欧美成人A片无码| 九热视频在线精品15| 涩涩涩.com| 最近中文字幕2019视频1| 91狠狠色| 超碰资源在线| 六月婷婷视频| 五月激情综| www,超碰| 色99在线观看| 伊人狠狠色婷婷综合丁香一区| 丁香六月亚洲综合| 97爱艹婷婷开心丁香激情综合| 在线五月色播| 国产精品a无线| 婷婷五月天va| 香蕉AV777XXX色综合一区| 激情文学天天| 99自拍视频在线| 五月欧美色播| 99热思思| 五月天激情AAAA| 黄色视频网站在线播放| 欧美色色色| 影音先锋AV男人站| 这里只有精品无码| 日韩AV在线免费观看| 超碰人人艹| 99,色| 韩国中文字幕91| 99久久九九| 久久99精品日本| 五月激情婷婷在线| 99爱免费在线观看| 婷婷五月综合中文字幕| 国产精品香蕉| 欧美天堂久久| 久久精品这里只有精品免费首页| 日本综合久| 亚洲成人AV高清字幕| 丁香 亚洲 久久| www久久五月com| 成人无码中文| 成人午夜无码视频| 丁香婷婷色情社区成人小说| 五月丁香趴趴| www.五月天色色色| www.henhenl| 五月丁香成人| 丁香婷婷色色| 丁香五月婷婷图片综合| 色色色在线观看| 狠狠干伊人| 丁香综合伊人| 欧美精产国品一二三区| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 99精品热视频| 天天色粽合合合合合合合| 激情五月天婷婷直播| 色欲色香综合网站| 国产AV一区二区三区日韩| 天天天天操| 久久激情五月天| 丁香六月爱综合| 久久99这里只有精品| 99热精品10| 1024在线视频| Blackedraw视频一区二区| 人妻九九九九| 99热综合在线| 五月天激情婷婷| 99惹精品视频| 婷婷五月激情网站| 天天色图| 色五月激情| 色色五月天丁香| 超碰超碰在线| 免费啪啪亚州视频| 久久色五月天| 婷婷丁香亚洲色综合91| 色五月美女| 在线看的免费网站| 国产69久久久欧美黑人A片| 在线99热| 亚洲精品V天堂中文字幕| 99热自拍| 亚洲乱码精品久久久久..| 色婷婷影院| 99精品国产在热久久| 伊人婷婷99热精品| 超碰在线资源| 99re视频在线播放| 激情综合无码| 这里只有视频精品| tingting五月天亚洲| 五月天婷婷黄色| 91精品国产91久久久久青草| 99热这里只有精品免费| 91chinese在线| 亚洲精品第一国产综合亚AV| 9999综合99综合人| 色婷婷中文在线| 丁香五月综合在线| 99综合自拍| 少妇高潮A片无套内谢麻豆传| 久久艹 五月天| 超碰9| 婷婷五月天婷婷| 亚洲综合99| 狠狠色婷婷综合开心影视| 色婷婷久久综合| 精品99网站| 九月激情网| 伊人99久久| 热99国产精品| 婷婷五月丁香手机在线视频| 中文av网| 大香蕉欧美在线| 亚洲精品操一操、噜一噜、摸一摸、爽 | 婷婷开心青青草| 九色视频91| 日韩xx在线| 五月天色网站| 欧美性生交XXXXX无码小说| 日熟女| 色婷婷狠狠| 毛片九九九九九九九九18| 俺也去婷婷五月天第五色| 激情综合99| AV中文字幕夜夜操b天天摸bb| 五月丁香激情五月天| 丁香色色色| 伊人激情综合网| 色五月丁香五月| 色亭亭九月| 丁香婷婷激情网站| 草草色情综合网| 操逼福利视频| 国产成人综合网| 欧美日韩AAAAA| 99re在线播放| 清色五月天| 双性美人被调教到喷水A片| 久热这里只有精品在线观看 | 婷婷丁香五月色| 色婷婷亚洲在线观看| 很很干天天干| 久操激情| 丁香婷婷色五月| 老司机午夜福利视频金瓶梅| A久久| www夜夜操wwwcon| 久热re视频在线观看网站| 播五月丁香六月| 日韩三及成人AV片| 这里只有精品视频| 91久久久久久久久久久| 狠狠操狠狠操| 狠狠五月天婷婷| 日本色啪| 五月色丁香| 婷久看人爽|