欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

BAS-SCA混合優(yōu)化極限學(xué)習(xí)機(jī):從ELM隨機(jī)性痛點(diǎn)看參數(shù)尋優(yōu)實(shí)戰(zhàn)

BAS-SCA混合優(yōu)化極限學(xué)習(xí)機(jī):從ELM隨機(jī)性痛點(diǎn)看參數(shù)尋優(yōu)實(shí)戰(zhàn) 做機(jī)器學(xué)習(xí)調(diào)參這些年我一直對(duì)極限學(xué)習(xí)機(jī)ELM又愛又恨。愛的是它訓(xùn)練速度確實(shí)快恨的是它那套隨機(jī)生成輸入權(quán)重和隱層偏置的機(jī)制導(dǎo)致每次跑出來的結(jié)果方差極大換個(gè)隨機(jī)種子預(yù)測(cè)精度就跟過山車一樣。后來我在實(shí)際項(xiàng)目中嘗試用天牛須算法BAS和正余弦算法SCA做了一版混合改進(jìn)的BAS-SCA優(yōu)化ELM方案用雙重搜索機(jī)制去替代ELM的隨機(jī)初始化實(shí)測(cè)下來不但精度上去了穩(wěn)定性也比單用BAS或單用SCA好不少。這篇就把這套方案的完整思路、融合機(jī)制、代碼實(shí)現(xiàn)和調(diào)參經(jīng)驗(yàn)一次講清楚給同樣被ELM隨機(jī)性困擾的朋友做個(gè)參考。1. 先從ELM的痛點(diǎn)聊起為什么要優(yōu)化它1.1 ELM的隨機(jī)權(quán)重問題到底影響多大極限學(xué)習(xí)機(jī)的核心邏輯說起來很簡(jiǎn)單輸入層到隱層的權(quán)重 W 和偏置 b 隨機(jī)生成然后用解析方式求解輸出層權(quán)重 β。因?yàn)?β 是通過最小二乘或嶺回歸一步計(jì)算出來的所以訓(xùn)練過程不需要反向傳播速度自然快得離譜。但問題恰恰出在那個(gè)“隨機(jī)生成”上——ELM的理論基礎(chǔ)之一是只要隱層節(jié)點(diǎn)足夠多隨機(jī)映射也能把原始特征投影到高維空間使得原本線性不可分的問題變得線性可分。理論沒問題實(shí)際操作中卻隱藏著一個(gè)巨大的坑隨機(jī)權(quán)重不同隱層輸出矩陣 H 就不同最終求出來的 β 也完全不同模型的泛化性能跟著劇烈波動(dòng)。我在回歸任務(wù)上做過一個(gè)簡(jiǎn)單實(shí)驗(yàn)同一個(gè)數(shù)據(jù)集隱層節(jié)點(diǎn)設(shè)為20連續(xù)跑10次原始ELM測(cè)試集RMSE的極差能差出30%以上。這在工業(yè)落地場(chǎng)景中是很難接受的——你今天訓(xùn)練好一個(gè)模型上線明天重新訓(xùn)練一遍性能就變了下游業(yè)務(wù)根本沒法穩(wěn)定復(fù)用。所以業(yè)內(nèi)很自然的思路就是用一個(gè)優(yōu)化算法去搜索出一組更優(yōu)的初始權(quán)重和偏置讓ELM不再完全依賴“隨機(jī)抽卡”而是通過尋優(yōu)讓每次訓(xùn)練都能落在更優(yōu)的參數(shù)區(qū)間。1.2 BAS和SCA為什么會(huì)出現(xiàn)在同一個(gè)解決方案里既然要優(yōu)化ELM選擇哪個(gè)優(yōu)化算法就成了關(guān)鍵。我當(dāng)時(shí)最先嘗試的是天牛須算法BAS因?yàn)樗慕Y(jié)構(gòu)非常簡(jiǎn)單不需要群體協(xié)作只靠一只“天?!庇脙筛毺綔y(cè)左右兩側(cè)的氣味濃度差異就能朝更優(yōu)方向移動(dòng)。BAS收斂速度快、計(jì)算開銷小用起來很順手。但它的問題也很明顯單一個(gè)體沒有種群信息共享天牛只能感知當(dāng)前點(diǎn)附近的局部梯度特別容易陷進(jìn)局部最優(yōu)。一旦初始位置選得不好后面再怎么走都翻不出那個(gè)局部坑。后來我在另一個(gè)項(xiàng)目里接觸了正余弦算法SCA它的設(shè)計(jì)思路跟BAS完全相反——維護(hù)一個(gè)種群每個(gè)個(gè)體通過正弦和余弦函數(shù)的振蕩波形在搜索空間里來回?cái)[動(dòng)既能做大幅度的全局探索也能逐步收斂到最優(yōu)解附近。SCA的全局搜索能力比BAS強(qiáng)得多但它的更新方式依賴于“當(dāng)前個(gè)體與全局最優(yōu)之間的差值”到了后期種群會(huì)快速向最優(yōu)個(gè)體靠攏搜索步長(zhǎng)逐漸收縮收斂精度其實(shí)一般。一個(gè)小技巧是先各自跑一遍然后觀察收斂曲線BAS前期下降極快后期幾乎不挪動(dòng)SCA前期探索充分但收斂慢后期精度提升也很有限。這時(shí)我意識(shí)到把BAS的局部感知能力和SCA的全局振蕩能力結(jié)合起來正好可以互補(bǔ)——用SCA保證大范圍找到靠譜區(qū)域用BAS在找到的區(qū)域里做精細(xì)打磨這才是這套方案真正的出發(fā)點(diǎn)。1.3 整體方案設(shè)計(jì)思路互補(bǔ)優(yōu)于單一BAS-SCA混合算法的設(shè)計(jì)邏輯并不復(fù)雜但融合方式需要仔細(xì)推敲。最樸素的做法是“串行”先用SCA跑一半迭代再用BAS接著精搜。但這樣會(huì)導(dǎo)致兩個(gè)算法各自為政切換時(shí)信息斷層前期SCA收斂到的位置未必是適合BAS繼續(xù)開發(fā)的位置。我最終采用的是“并行混合”策略每個(gè)個(gè)體在同一輪迭代中同時(shí)執(zhí)行SCA更新和BAS搜索通過一個(gè)隨迭代次數(shù)變化的融合權(quán)重 λ把兩種機(jī)制的貢獻(xiàn)動(dòng)態(tài)疊加起來。前期讓SCA的全局振蕩占主導(dǎo)后期讓BAS的局部精細(xì)搜索占主導(dǎo)。這樣既不會(huì)丟失全局探索能力又能保證收斂階段的精度是整個(gè)算法的關(guān)鍵所在。另外這套方案要作用的對(duì)象是ELM而不是一個(gè)抽象的優(yōu)化測(cè)試函數(shù)所以在設(shè)計(jì)時(shí)還必須考慮ELM本身的特性——權(quán)重和偏置的取值范圍、適應(yīng)度函數(shù)的計(jì)算成本、隱層節(jié)點(diǎn)數(shù)量對(duì)搜索維度的影響等。這些細(xì)節(jié)處理不好優(yōu)化算法的理論再好也落不了地。2. 三個(gè)基礎(chǔ)算法的核心機(jī)制先搞清楚再動(dòng)手2.1 天牛須算法BAS一只天牛怎么找食物天牛須算法的靈感來自天牛覓食時(shí)的行為天牛的兩根觸須可以感知食物氣味的濃度如果左側(cè)氣味濃它就往左走如果右側(cè)濃就往右走。這個(gè)過程抽象成數(shù)學(xué)模型后非常簡(jiǎn)潔。假設(shè)當(dāng)前位置是 X天牛隨機(jī)生成一個(gè)歸一化的方向向量 dir左須位置和右須位置分別表示為XL X d * dir / 2 XR X - d * dir / 2其中 d 表示兩只觸須之間的距離。然后分別計(jì)算左右兩個(gè)位置對(duì)應(yīng)的適應(yīng)度 f(XL) 和 f(XR)如果左須位置的適應(yīng)度更好求最小值時(shí)更小天牛就朝左移動(dòng)否則朝右移動(dòng)。位置更新公式為X_new X - step * sign(f(XL) - f(XR)) * dir這里的 step 是天牛的搜索步長(zhǎng)sign 是符號(hào)函數(shù)決定移動(dòng)方向。隨著迭代推進(jìn)step 和 d 都會(huì)按一定比例衰減模擬天牛越來越接近食物源時(shí)步子越邁越小的過程。BAS的優(yōu)點(diǎn)是單個(gè)體搜索每輪只算兩次適應(yīng)度開銷低、收斂快缺點(diǎn)是缺少種群信息一旦方向判斷出錯(cuò)就可能直接走進(jìn)死胡同。2.2 正余弦算法SCA用三角函數(shù)畫出來的搜索軌跡SCA是Mirjalili在2016年提出的群體智能優(yōu)化算法核心思想是用正弦和余弦函數(shù)的周期性震蕩來模擬個(gè)體在解空間中的波動(dòng)搜索。對(duì)種群中的每個(gè)個(gè)體位置更新公式如下當(dāng) r4 0.5 時(shí) X_new X r1 * sin(r2) * |r3 * P - X|當(dāng) r4 0.5 時(shí) X_new X r1 * cos(r2) * |r3 * P - X|這里的 P 是當(dāng)前全局最優(yōu)位置r2 是[0, 2π]內(nèi)的隨機(jī)數(shù)決定步進(jìn)方向r3 是[0, 2]內(nèi)的隨機(jī)數(shù)用來給最優(yōu)位置加一個(gè)隨機(jī)權(quán)重r4 是[0, 1]內(nèi)的隨機(jī)數(shù)用來在正弦和余弦兩種更新模式之間做選擇。r1 是一個(gè)從 a 線性遞減到 0 的控制參數(shù)a 通常取2它決定了搜索幅度前期 r1 大個(gè)體大范圍震蕩進(jìn)行全局探索后期 r1 小震蕩幅度收窄轉(zhuǎn)為局部開發(fā)。所以SCA本質(zhì)上是通過三角函數(shù)周期性和隨機(jī)參數(shù)配合在“探索”和“開發(fā)”之間做平衡的多個(gè)體搜索算法。2.3 極限學(xué)習(xí)機(jī)ELM隨機(jī)映射加一步解析求解ELM的結(jié)構(gòu)是一個(gè)單隱層前饋神經(jīng)網(wǎng)絡(luò)假設(shè)輸入樣本是 X隱層節(jié)點(diǎn)數(shù)是 L激活函數(shù)是 g。隱層輸出矩陣 H 通過下面的公式計(jì)算H g(X * W b)其中 W 是輸入層到隱層的權(quán)重矩陣b 是隱層偏置這兩個(gè)就是隨機(jī)生成的部分。ELM的訓(xùn)練核心在于輸出權(quán)重 β 的求解目標(biāo)是最小化 ||Hβ - T||2其中 T 是訓(xùn)練目標(biāo)。這是一個(gè)線性最小二乘問題可以直接用Moore-Penrose偽逆求解β pinv(H) * T整個(gè)訓(xùn)練過程一步到位沒有任何迭代式梯度更新所以訓(xùn)練速度極快。但正因?yàn)?W 和 b 是隨機(jī)生成的H 的好壞完全取決于運(yùn)氣。如果隨機(jī)生成的映射不能有效提取特征ELM的精度就會(huì)很差。所以用BAS-SCA去搜索最優(yōu)的 W 和 b本質(zhì)上是把ELM從“隨機(jī)映射”升級(jí)為“優(yōu)化映射”在保留快速訓(xùn)練優(yōu)勢(shì)的同時(shí)大幅提升模型性能的穩(wěn)定性和上限。3. 融合邏輯與混合改進(jìn)機(jī)制的核心設(shè)計(jì)3.1 第一個(gè)改進(jìn)把天牛須擾動(dòng)嵌進(jìn)SCA更新公式這是整套混合機(jī)制最核心的部分。我沒有把BAS和SCA當(dāng)作兩個(gè)獨(dú)立的流水線串聯(lián)使用而是把BAS產(chǎn)生的方向擾動(dòng)直接作為一項(xiàng)修正量注入SCA的更新公式中。混合后的位置更新式為X_new λ * X_sca (1 - λ) * X_bas其中 X_sca 是SCA生成的候選位置X_bas 是BAS生成的候選位置。X_sca 保證了當(dāng)前個(gè)體向全局最優(yōu)方向移動(dòng)的趨勢(shì)X_bas 則通過左右須的適應(yīng)度比較提供了局部的方向修正。融合權(quán)重 λ 控制兩種機(jī)制的貢獻(xiàn)比例。這樣做有一個(gè)很實(shí)際的好處如果某個(gè)個(gè)體位于一個(gè)局部最優(yōu)附近SCA的震蕩幅度又已經(jīng)很小單靠SCA幾乎不可能跳出去而BAS的左右須方向判斷可以提供繞開局部坑的微調(diào)路徑相當(dāng)于在SCA的搜索路徑上增加了一個(gè)局部勘探器。反過來BAS容易誤判方向的問題也能被SCA的全局最優(yōu)牽引所糾正不至于走偏太遠(yuǎn)。3.2 第二個(gè)改進(jìn)自適應(yīng)融合權(quán)重的動(dòng)態(tài)調(diào)節(jié)融合權(quán)重 λ 不是固定值而是隨迭代次數(shù)動(dòng)態(tài)調(diào)整的。我使用的公式是λ 0.8 - 0.6 * (t / T)其中 t 是當(dāng)前迭代次數(shù)T 是最大迭代次數(shù)。迭代初期 t0 時(shí) λ0.8SCA占絕對(duì)主導(dǎo)保證種群在全局范圍內(nèi)充分探索迭代結(jié)束時(shí) λ0.2BAS占主導(dǎo)對(duì)已經(jīng)找到的較優(yōu)區(qū)域做精細(xì)搜索。這個(gè)設(shè)計(jì)的思路很簡(jiǎn)單全局探索階段需要大尺度的震蕩BAS的步長(zhǎng)再大也有限不如讓SCA放開手腳跑到了后期種群已經(jīng)集中在某個(gè)區(qū)域了再用SCA大幅震蕩反而會(huì)破壞已找到的好解此時(shí)BAS的小步精細(xì)修正更有價(jià)值。在實(shí)際操作中有人也會(huì)用非線性衰減或余弦衰減來調(diào)整 λ比如 λ 0.5 0.3 * cos(π * t / T)效果大同小異。我建議不用糾結(jié)具體衰減函數(shù)關(guān)鍵是保證“前期探索、后期開發(fā)”這個(gè)趨勢(shì)不能變。3.3 第三個(gè)改進(jìn)邊界反射與精英保留策略優(yōu)化ELM的權(quán)重和偏置時(shí)搜索范圍通常被限制在[-1, 1]或[-2, 2]之間。如果某個(gè)個(gè)體的位置更新后超出了邊界最常見的處理是直接裁剪到邊界值但這樣會(huì)導(dǎo)致大量個(gè)體聚集在邊界上損失種群多樣性。我實(shí)際用的是反射邊界策略如果某一維度的值超過上界就根據(jù)超出部分按比例反彈回邊界內(nèi)。反射法能把個(gè)體留在邊界附近但又不全部疊在邊界點(diǎn)上對(duì)保持種群多樣性有明顯幫助。同時(shí)每一輪迭代結(jié)束后我會(huì)單獨(dú)記錄全局歷史最優(yōu)解下一輪不論個(gè)體如何更新全局最優(yōu)始終不會(huì)被覆蓋。這個(gè)精英保留策略幾乎是所有優(yōu)化算法落地時(shí)的標(biāo)配尤其當(dāng)適應(yīng)度函數(shù)本身有一定噪聲時(shí)比如數(shù)據(jù)分布不均勻沒有精英保留很容易把已經(jīng)找到的好解弄丟。3.4 改進(jìn)后的搜索行為分析從搜索行為上看改進(jìn)后的BAS-SCA兼具了“群體信息共享”和“單體方向感知”兩種能力。SCA負(fù)責(zé)在宏觀上把種群引向有希望的區(qū)域BAS負(fù)責(zé)在每個(gè)個(gè)體層面做微觀修正。融合權(quán)重 λ 又保證了兩者的主導(dǎo)地位隨時(shí)間平滑切換。相比原始BAS混合算法顯著降低陷入局部最優(yōu)的概率相比原始SCA混合算法在后期的收斂精度和收斂速度都有提升。我在測(cè)試函數(shù)Sphere、Rastrigin和Griewank上做過快速驗(yàn)證結(jié)論很直觀在Rastrigin這種多峰函數(shù)上原始BAS基本逃不出局部最優(yōu)原始SCA能到達(dá)不錯(cuò)的區(qū)域但后期收斂緩慢BAS-SCA不僅收斂到了更優(yōu)值而且連續(xù)運(yùn)行多次的方差明顯小于兩個(gè)單一算法。這個(gè)結(jié)果也讓我放心把它用到ELM參數(shù)尋優(yōu)上。4. 手把手實(shí)操BAS-SCA優(yōu)化ELM的完整實(shí)現(xiàn)4.1 個(gè)體編碼與適應(yīng)度函數(shù)用BAS-SCA優(yōu)化ELM第一步是把ELM的待優(yōu)化參數(shù)編碼成優(yōu)化算法中的個(gè)體向量。假設(shè)輸入特征維度是 n_input隱層節(jié)點(diǎn)數(shù)是 n_hidden那么需要優(yōu)化的參數(shù)包括輸入權(quán)重 W形狀為 n_input × n_hidden和隱層偏置 b形狀為 1 × n_hidden。把 W 展平后拼接上 b得到一個(gè)長(zhǎng)度為 n_input * n_hidden n_hidden 的向量這就是一個(gè)個(gè)體。適應(yīng)度函數(shù)的設(shè)計(jì)直接影響最終效果。分類任務(wù)可以用錯(cuò)誤率或交叉熵作為適應(yīng)度回歸任務(wù)最常用的是均方根誤差RMSE或平均絕對(duì)誤差MAE。我習(xí)慣用驗(yàn)證集上的誤差來評(píng)估個(gè)體的好壞而不是用訓(xùn)練集因?yàn)閮?yōu)化算法很可能過擬合訓(xùn)練集導(dǎo)致最終選出的參數(shù)泛化性能差。如果數(shù)據(jù)集規(guī)模較小也可以采用K折交叉驗(yàn)證取平均誤差作為適應(yīng)度。4.2 核心代碼實(shí)現(xiàn)下面是我整理出的一個(gè)可以直接跑通的核心代碼框架依賴只有numpy。這段代碼用偽代碼風(fēng)格保留了主要邏輯幫助你理解每個(gè)步驟到底在干什么。import numpy as np def sigmoid(x): return 1.0 / (1.0 np.exp(-x)) def elm_predict(X, W, b, beta): H sigmoid(X W b) return H beta def compute_beta(X, y, W, b): H sigmoid(X W b) # 加入小量正則項(xiàng)防止偽逆計(jì)算不穩(wěn)定 return np.linalg.pinv(H.T H 1e-6 * np.eye(H.shape[1])) H.T y def fitness_function(individual, X_train, y_train, X_val, y_val, n_input, n_hidden): W individual[:n_input * n_hidden].reshape(n_input, n_hidden) b individual[n_input * n_hidden:].reshape(1, n_hidden) beta compute_beta(X_train, y_train, W, b) y_pred elm_predict(X_val, y_val, W, b, beta) return np.sqrt(np.mean((y_val - y_pred) ** 2)) # RMSE def bas_sca_elm(X_train, y_train, X_val, y_val, n_input, n_hidden, pop_size20, max_iter100, lb-1.0, ub1.0): dim n_input * n_hidden n_hidden # 初始化種群 pop np.random.uniform(lb, ub, (pop_size, dim)) fitness np.array([fitness_function(ind, X_train, y_train, X_val, y_val, n_input, n_hidden) for ind in pop]) gbest_idx np.argmin(fitness) gbest pop[gbest_idx].copy() gbest_fit fitness[gbest_idx] a 2.0 step0 (ub - lb) * 0.3 for t in range(max_iter): r1 a - t * (a / max_iter) for i in range(pop_size): # SCA更新 r2 2 * np.pi * np.random.rand() r3 2 * np.random.rand() r4 np.random.rand() if r4 0.5: X_sca pop[i] r1 * np.sin(r2) * np.abs(r3 * gbest - pop[i]) else: X_sca pop[i] r1 * np.cos(r2) * np.abs(r3 * gbest - pop[i]) # BAS更新方向感知 step step0 * (1 - t / max_iter) d step * 0.5 dir_vec np.random.randn(dim) dir_vec dir_vec / np.linalg.norm(dir_vec) XL pop[i] d * dir_vec / 2 XR pop[i] - d * dir_vec / 2 fL fitness_function(XL, X_train, y_train, X_val, y_val, n_input, n_hidden) fR fitness_function(XR, X_train, y_train, X_val, y_val, n_input, n_hidden) direction -1 if fL fR else 1 X_bas pop[i] - step * direction * dir_vec # 融合權(quán)重前期SCA主導(dǎo)后期BAS主導(dǎo) lam 0.8 - 0.6 * (t / max_iter) X_new lam * X_sca (1 - lam) * X_bas # 邊界反射 for j in range(dim): if X_new[j] ub: X_new[j] 2 * ub - X_new[j] if X_new[j] lb: X_new[j] 2 * lb - X_new[j] pop[i] X_new fitness[i] fitness_function(pop[i], X_train, y_train, X_val, y_val, n_input, n_hidden) gbest_idx np.argmin(fitness) if fitness[gbest_idx] gbest_fit: gbest pop[gbest_idx].copy() gbest_fit fitness[gbest_idx] W gbest[:n_input * n_hidden].reshape(n_input, n_hidden) b gbest[n_input * n_hidden:].reshape(1, n_hidden) beta compute_beta(X_train, y_train, W, b) return W, b, beta, gbest_fit代碼中需要特別留意的有兩點(diǎn)一是 compute_beta 中給 H.T H 加了一個(gè)小量正則項(xiàng)防止矩陣奇異導(dǎo)致偽逆計(jì)算報(bào)錯(cuò)二是邊界反射是逐維度處理的避免整體向量操作時(shí)邊界邏輯出錯(cuò)。這段代碼在中小規(guī)模數(shù)據(jù)集上運(yùn)行的速度是可以接受的適應(yīng)度函數(shù)的計(jì)算次數(shù)是 pop_size * (1 2) * max_iter也就是每輪每個(gè)個(gè)體除了自身適應(yīng)度外還要額外算兩次天牛須位置的適應(yīng)度計(jì)算量相比標(biāo)準(zhǔn)SCA有所增加但換來的是更穩(wěn)的收斂表現(xiàn)。4.3 參數(shù)配置建議把代碼跑起來之后參數(shù)配置就成了決定效果好壞的另一個(gè)關(guān)鍵因素。我不建議一上來就照搬默認(rèn)參數(shù)因?yàn)椴煌瑪?shù)據(jù)集的維度和樣本量差異很大。以下是我調(diào)參過程中的一些經(jīng)驗(yàn)值參數(shù)建議范圍說明種群規(guī)模 pop_size20~30太小容易早熟太大增加計(jì)算開銷最大迭代次數(shù) max_iter100~300視適應(yīng)度函數(shù)計(jì)算成本靈活調(diào)整邊界范圍 lb/ub±1 或 ±2權(quán)重和偏置在這個(gè)范圍通常夠用初始步長(zhǎng) step0邊界寬度的0.3倍過大導(dǎo)致震蕩劇烈過小收斂慢融合權(quán)重初值0.8保證前期SCA主導(dǎo)探索融合權(quán)重終值0.2保證后期BAS主導(dǎo)精細(xì)搜索4.4 效果對(duì)比怎么看驗(yàn)證混合算法的效果不能只看一次實(shí)驗(yàn)的結(jié)果。因?yàn)镋LM本身有隨機(jī)性優(yōu)化算法也有隨機(jī)性至少要跑10次以上對(duì)比平均值和標(biāo)準(zhǔn)差。我在實(shí)際項(xiàng)目中通常做這樣幾組對(duì)比原始ELM隨機(jī)初始化、BAS-ELM、SCA-ELM、BAS-SCA-ELM。觀察兩個(gè)維度一是平均預(yù)測(cè)誤差二是多次運(yùn)行的標(biāo)準(zhǔn)差。前者看精度上限后者看穩(wěn)定性。典型的實(shí)驗(yàn)趨勢(shì)是原始ELM的平均誤差最大且方差極大BAS-ELM精度提升明顯但方差依然不小說明BAS在某些初始點(diǎn)上會(huì)陷進(jìn)局部最優(yōu)SCA-ELM平均誤差優(yōu)于原始ELM但收斂需要的迭代次數(shù)更長(zhǎng)BAS-SCA-ELM在平均誤差和方差兩個(gè)指標(biāo)上通常都是最優(yōu)的。如果你跑出來的結(jié)果違背了這個(gè)規(guī)律大概率是參數(shù)沒調(diào)對(duì)而不是算法有問題繼續(xù)往下面的排查思路去找原因。5. 我踩過的坑與排查經(jīng)驗(yàn)5.1 優(yōu)化后精度反而更差先查這四處第一處是隱層節(jié)點(diǎn)數(shù)太少。ELM本身能力不足時(shí)任何優(yōu)化算法都救不回來因?yàn)樗阉骺臻g本身就不存在足夠好的解。隱層節(jié)點(diǎn)數(shù)一般先按輸入特征的2到3倍起步再逐步增加觀察效果。第二處是適應(yīng)度函數(shù)用錯(cuò)了數(shù)據(jù)集——如果直接在訓(xùn)練集上優(yōu)化得到的結(jié)果在測(cè)試集上反而差大概率是過擬合了換成驗(yàn)證集評(píng)估或者加交叉驗(yàn)證能緩解。第三處是邊界范圍設(shè)置不合理。權(quán)重初始化為±1是ELM的常見做法但不同數(shù)據(jù)集的合適范圍差異很大有時(shí)候把邊界放到±2反而更好這個(gè)需要根據(jù)激活函數(shù)和數(shù)據(jù)分布去試。第四處是融合權(quán)重衰減速度太快導(dǎo)致后期完全切到BAS模式后全局?jǐn)_動(dòng)消失而BAS又正好陷在局部最優(yōu)里出不來把 λ 終值從0.2適當(dāng)上調(diào)到0.3或0.4保留一部分SCA擾動(dòng)經(jīng)常能解決問題。5.2 算法收斂到一半就僵住了怎么診斷“僵住”表現(xiàn)為適應(yīng)度曲線在迭代中段就長(zhǎng)期持平幾乎不再下降。最直接的原因通常是種群多樣性喪失——所有個(gè)體都聚集到了同一個(gè)位置附近SCA的震蕩幅度又已經(jīng)被 r1 衰減得很小個(gè)體之間差異幾乎為零算法失去了繼續(xù)搜索的動(dòng)力。這時(shí)可以先檢查種群的分布情況如果所有個(gè)體的距離都很小說明多樣性出了問題。一個(gè)問題排查順序是先調(diào)大 r1 的初始值讓前期的震蕩幅度更大再檢查邊界反射實(shí)現(xiàn)是否有 bug如果實(shí)現(xiàn)正確個(gè)體應(yīng)該不會(huì)大量堆積在邊界上最后檢查是否不小心把全局最優(yōu)個(gè)體也覆蓋掉了沒有精英保留的話這種情況特別容易發(fā)生。我最初實(shí)現(xiàn)時(shí)就是因?yàn)槁┝司⒈A魧?dǎo)致每輪的最優(yōu)解在下一次迭代中被新的隨機(jī)更新沖掉曲線看起來就像一直原地踏步。5.3 面對(duì)不同數(shù)據(jù)集的調(diào)參路線如果做的是高維稀疏數(shù)據(jù)比如文本分類搜索維度會(huì)非常高個(gè)體長(zhǎng)度動(dòng)輒幾千這時(shí)需要把種群規(guī)模降下來、迭代次數(shù)適當(dāng)增加因?yàn)槊看芜m應(yīng)度計(jì)算都涉及矩陣運(yùn)算種群太大會(huì)拖慢整體速度。如果面對(duì)的是小樣本數(shù)據(jù)集適應(yīng)度評(píng)估很容易受噪聲影響建議用交叉驗(yàn)證代替單次驗(yàn)證集評(píng)估同時(shí)把邊界范圍縮小防止優(yōu)化算法在噪聲中亂跑。如果隱層節(jié)點(diǎn)數(shù)較多超過50搜索維度就很大BAS天牛須的方向向量生成和歸一化會(huì)占不少計(jì)算時(shí)間。一種優(yōu)化做法是先把ELM的隱層特征中心初始化到一個(gè)合理范圍比如通過原始ELM跑幾次取平均權(quán)重再用BAS-SCA在這個(gè)范圍內(nèi)做局部精搜。這樣可以大幅縮短搜索空間但代價(jià)是可能錯(cuò)過真正的最優(yōu)解屬于精度和速度之間的權(quán)衡。5.4 這套方案最適用的場(chǎng)景我不建議在超大規(guī)模數(shù)據(jù)集上直接使用這套方案因?yàn)閮?yōu)化算法需要反復(fù)計(jì)算ELM的適應(yīng)度每一輪都要做矩陣偽逆運(yùn)算數(shù)據(jù)量大了之后整體耗時(shí)不可接受。它更契合的場(chǎng)景是中小規(guī)模數(shù)據(jù)、對(duì)模型穩(wěn)定性要求高的任務(wù)比如工業(yè)設(shè)備的故障診斷、小樣本回歸預(yù)測(cè)、金融風(fēng)控里的評(píng)分卡建模這些場(chǎng)景數(shù)據(jù)量可控但對(duì)每次訓(xùn)練的結(jié)果一致性要求很高很值得用BAS-SCA-ELM去替換原始ELM。如果數(shù)據(jù)集樣本量在幾千到幾萬級(jí)別、特征維度在幾十到幾百這個(gè)范圍BAS-SCA-ELM的尋優(yōu)時(shí)間通常在幾十秒到幾分鐘內(nèi)可以完成換來的穩(wěn)定性提升是實(shí)打?qū)嵉?。另一個(gè)常見用途是作為集成學(xué)習(xí)里的基學(xué)習(xí)器——由于優(yōu)化后的ELM每次運(yùn)行結(jié)果更一致集成時(shí)不容易出現(xiàn)個(gè)別基學(xué)習(xí)器效果極差拉低整體表現(xiàn)的問題。最后再分享一個(gè)實(shí)際使用中的小技巧在跑BAS-SCA-ELM之前先用原始ELM快速跑幾輪記錄一下隨機(jī)初始化下的典型誤差水平然后把這個(gè)誤差水平作為BAS-SCA尋優(yōu)的“基線”。如果優(yōu)化后的結(jié)果連基線都打不過說明算法流程中一定有 bug而不是算法本身沒用。這個(gè)習(xí)慣幫我排查了很多初期實(shí)現(xiàn)問題也適合你在自己調(diào)試代碼時(shí)參考。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
wwccc久久久| 丁香婷婷丁香五月欧美人| 天天肏高清在线| 国产精品日日躁夜夜躁| 七月婷婷色香综合网| 婷婷五月天BBw| 999激情视频| 99小视频在线观看| 激情五月瑟瑟| AV九九| 亚洲 在线 性爱| 影音先锋91视频| 婷婷狠狠干| 国产精品美女久久久久AV超清| 日本9区视频| 91色在线/日韩| 亚州视频九九99| 亚洲AVDVD| 天天影院色| 久久这里只有精品网| 久操97| 99这里有精品视频| 色欲av伊人久久大香线蕉影院| 婷婷色天香| 婷婷五月网图片区| 婷婷久久婷婷色五月| 99热精品无码| 91久久久久久久久18| 99热中文字幕久久| 99热在线观看这里只有精品| 91婷婷五月天综合视频| 国产淫熟妇| 99视频在线播放大全| 婷婷中文字幕| 91九九| 六月久久婷婷| 人妻激情综合| 狠狠操综合| 五月丁香六月婷婷综合网缴情| 久久久999精品| 超碰69天堂| 色婷婷电影网| 国产精品久久久久久妇女6080| 色爽九九| 99热偷拍| 五月停停99| 五月天婷婷基地综合网| 丁香婷婷五月色成人网站| 夜丁香五月婷婷| 婷婷五月丁香亚洲| 色综合久久天天综合网| 蜘蛛女免费观看完整版高清电影| 天天 青草 制服丝袜 在线| 久久一品区| 欧美午夜乱妇午夜福利| 久久五月婷天天干| 国产原创视频91九色| 亚洲乱码精品久久久久..| 狠狠色婷婷| 丁香婷婷色情| 99热这里只有精品1| 黄色一级影片| 亚洲AV综合网| 婷婷五月天激情网址| 亚洲愉拍99热成人精品| 一本久道综合色婷婷五月| 狠狠爱深色婷婷综合| 另类激情综合| 五月天天丁香婷婷| 亚洲四色五月| 97久久视频| 日本啪啪天堂| 狠狠五月天婷婷| 激情综合青草| 婷婷五亚洲| A A色色| 停停色综合伊人| 丁香五月狠狠在线观看| 五月丁香青草综合啪啪| 综合网五月| 草综合14| 激情综合一| 91精品久久久久久久| 男女免费视频999| 亚洲第一黄网| 久久总和99| 婷婷五月天狠狠| 手机免费福利视频| 狠狠色婷婷7777久| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 五月婷婷啪啪| 婷婷久久在线| 伊人五月久久| 日韩在线观看亚洲| 色婷婷五月在线| 99热免费| 超碰在线综合| 激情的五月| 激情五月视频在线婷婷| 天天色宗合| 五月天社区| 九热av| 亚洲六月色婷婷| 5月婷婷视频网站综合| 欧美黑人巨大猛烈cuckold| 蜜乳中文字| 97人人射| 婷色视频| 骚货艹网站视频| 色色99| 久久精彩免费视频| 丁香五月AV| 五月丁香日本片| 色999;丁香五月| 天天激情欧美美女| 丁香五月偷拍| 97人凄人人操人人爽| 天天草天天爱| 久久只有18视频| 开心五月婷婷伊人| 久久丁香| 伊人网啪啪| 国外亚洲成AV人片在线观看| 五月香婷婷| 五月天婷婷五月| 成人五月丁香社区| 婷婷丁香五月91| 伊人大香五月天| 精品久久久人妻| 五月婷视频| 91好好热日本在线| 婷婷五月天激情诱惑| 色色色99韩| 在线超碰精品| a色色色色色| 97五月天婷婷| 影音先锋美国A| 丁香五月天啪啪| 久久色五月天激情小说| 亚洲区在线| 五月婷婷激情四季| 丁香五月手机在线| 婷婷五月深情丁香深爱日韩| 97超碰综合| 伊人在线大香蕉网| 婷婷va| 成 人片 黄 色 大 片| 色五月人妻| 婷婷色五月天在线观看| 香蕉国产2013| 大香蕉久艹| 一级黄色操B| 婷婷六月综合在线| 欧类av怡春院| 婷婷六月丁香在线| 色综合久| 成人天天爽| 丁香五月日韩| 亚洲人妻AV| 久久人妻精品| 色综合中文| 猫咪伊人久久| 香蕉婷婷| 另类图片五月天| 久草性爱| 丁香六月婷婷| 色五月丁香一区在线| 五月婷婷中文字幕| 六月伊人婷婷| 91五月花丁香| 中文字幕AV网址| 色欲久久久久久综合网综合网| 九九热在线99| 久久东京热婷婷五月| 九九自拍网| 小色小蛇伊人婷婷色香五月| 任你艹| a在线观看| 欧美精品999| 五月婷啪啪| 2022人人操人人看| 亚洲综合色色色| 国产超碰在线| 99国产精品白浆在线观看免费| 五月天成人网婷婷| 久热爱大香蕉在线蜜臀悦色| 99re热在线视频| 亚洲永久免费| 色播五月丁香| 久久99性爱| 精品综合爱| 日韩综合久久| 亚洲婷婷五月天激情综合| 成人中文网| 天天插天天| 丁香婷婷激情四射五月| 国产亚洲在线观看| 亚洲色色香蕉| 久久99久久99久久99人受| 久久久激情| xxx日本东京热| 中文字幕不卡网站| 婷婷永久在线| 九九无码视屏| 日本女va| 久久加勒比| 丁香五月天综合| 色五月五月天| www99在线观看视频| 婷婷色女| 狠狠se| 成人AV免费观看| 色碰干| 欧美日韩婷婷五月天| 天天综合网色欲香| 婷婷丁香久久| 久久婷婷国产| 99热成人在线观看| 丁香色五月直播| 丰满少妇猛烈A片免费看观看| 偷拍五月丁香| 久久草婷婷丁香网站| 五月婷婷九| 开心激情网五月天| 国产精品国产| 99爱在线视频观看| 色综合色色| 狠狠噪| 91精品久久久久久| 五月丁香激情综合啪啪| 免费观看欧美成人AA片爱我多深| 色婷婷久久综合久色| 久久久久久9热不雅视频| 丁香六月综合激情| av色婷婷| 激情五月色婷婷| AV 3P| 激情亚洲婷婷| 亚美欧色影院| www.夜夜.com| 欧洲亚洲激情五月天在线| 国产婷婷色五月| 婷婷丁香五月基地| 91怕怕网| 精品日本视频444| 丁香五月天堂| www.色婷婷| 五月婷婷综合视频| 思思精品视频| 色欲一区二区三区精品A片| 亚洲射激情| 六月色婷婷色| 国产五月丁香在线| 激情五月深爱五月观看| 五月天婷婷激情网| 99,色| 97干在线看| 一本到不卡高清DVD| 色色激情网| 伊人啪啪网| 婷婷狠狠五月综合| http://www.lingjunshare.com/ | 婷婷丁香五月天色色| 五月激情综合网| 亚洲精品亚洲人成人网| 伊人五月天在线| 日韩另类在线观看| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 婷婷五月丁香综合| 亚洲色涩视频| 精品婷婷五月天| 噜噜色五月| 91人妻PORNY九色大屁股| 大香蕉久艹| 五月停停色色丁香| 九九综合视频在线观看| 久久婷婷六月天| 婷婷色网| 五月天色官网| 婷婷.com| 黄网在线免费观看| 色色色色色色色色色色色色色97| 亚洲色99| 91黄色五月天视频| 天天拍久久| 久久久97| 一本道综合网| 婷婷丁香五月天狠狠| 色狠狠综合网| 久久久久人妻网址| 色婷网| 色五月激情网| se色婷婷视频| 九九热在线观看视频| 久久九九热视频| 久久综合人妻| 婷婷亚洲综合| 免费观看高清无码| 欧洲毛片基地c区| 五月激情丁香五月| 99热中文字幕久久| 成人视屏在线观看| 亚洲乱码日产精品BD| 国产成人AV| 香蕉久久五月| 99在线精品视频免费| 久久网站观看免费欧洲国产| 久热网站| 婷婷六月丁| 五月丁香综合啪啪| 99婷婷综合| 大香蕉久久草| 五月天狠狠干| 婷婷五月天激情文学| 538在线精品| 久久嘟嘟丁香| 九九热这里有精品视频| 久久综合五月天| 六月激情综合| 亚洲人妻电影| 久久这里99| 激情五月天综合网| 婷婷五月丁香基| 91综合色| 99se丁香| 欧美内射AA| 这里只有精品在线免费视频| 性爱综合网| 九九综合影音先锋 | 伊人色综合久久久| 日韩六十路91性交电影| 五月丁香六月色| 成人亚洲精品久久久久| 99色在线视频观看| 激情综合色婷婷啪啪六月天| 成人丁香婷婷| 久久黄色免费视频| 丁香九月激情| 久久99激情| 亚洲久久婷婷丁香五月天| 狠狠色大香蕉| 欧美超碰亚洲| 婷婷综合六| 激情www| 先锋影音男人的天堂AV| 伊人日日干| 激情综合五月| 超碰在线99热| 亚洲婷婷欧美婷婷| 婷婷丁香先锋资源网站| 婷婷五月丁综合| 国产毛片欧美毛片久久久| 啪啪99| 亚洲第一精品成人999久久精品| 色激情五月天| site:pzdcoin.com| 六月婷婷五月丁香| 六月99天天婷婷激情综合| 婷婷亚洲五月| 亚洲视频国产一区| 天堂综合久| 人妻在线观看视频| 丁香五月婷婷综合网| 五月丁香啪啪啪| 九月丁香亭亭| 九九香蕉网| 久久五月天视频| 婷婷性爱五月天| 青青草原亚洲久| 人人舔人人色人人高潮| 亚洲精品无人区| 色播五月婷婷综合| 亚洲无AV在线中文字幕| 另类图片 五月激情| 六月婷婷色综合| 久久99免费视屏| 综合网色| 欧日韩AV| 亚洲12p| 色婷婷婷综合五月天| 99久久九九| aaa丁香五月天| 五月亭亭六月天| 五月丁香激情四射| 天天狠狠夜夜狠狠2023| 色欲操| 九九在线精品| 丁香五月激情站| 日韩精品视频中文字幕| 婷婷五月亚洲一本在线丁香| 91凹凸在线| 色色色在线观看| 五月天婷婷綜合院| 可以免费观看的av| 这里只有免费的精品| 人五月天婷婷喷水| 91综合色| 六月丁香射婷婷欧美色图片| 中文字幕人妻一区二区| 欧美激情综合色综合啪啪五月| 婷婷涩涩五月天| 欧美日韩一区二区三区四区| 伊人超碰| av无码电影| 久久五月丁香婷婷| 激情五月丁香在线观看直播| 成人网页在线观看| 天天拍天天操| 中文在线视频久1| 九月av| 99热综合网| 思思色综合网站| 黄色短视频在线观看| 99热综合色图| 天天日,夜夜爽| 成人精品网站在线观看| 天天干一干| 五月丁香亚洲校园欧美| 国产精品 的国产| 99热9| 久久亚洲婷婷| 成年人夜夜喷水| 免费视频WWW在线观看网站| 国产精品久久7777777精品无码| 欧美啪啪五月天| 婷婷色导航| 色五月婷婷大| 狠狠色婷婷| 99操不停| 精品无码久久久久久久久| 狠狠色综合精品视频在线| 东京热免费视频网站| 涩涩五月天| 五月丁香欧美综合| 天天草天天爱| 亚洲精品无码久久| 欧美婷婷精品激| 99无码视频| 亚洲成人无码网站| 人人爱人人摸人人澡| 香蕉久久国产AV一区二区| 91婷婷视频| 国产成人+综合亚洲+天堂| 久久黄色免费视频| 91久久1118| 天天综合网色欲香| 色欲五月丁香| 少妇高潮A片无套内谢麻豆传| 九九热最新| 天天拍久久| 国产成人+综合亚洲+天堂| 九月婷婷人人操人人舔人人爱| www.夜夜操.com| 综合99久久天天综合| 国产,欧美,日韩,性爱| 丁香五月天啪啪| 久久久A级视频| 99精彩视频网站在线| 99在线热| 26uuu在线观看| 五月婷婷香蕉| 婷婷天天插天天爱| 永久无码色| 99日逼视频| 日本99婷婷| 国色天香成人网| 79精品视频在线观看,| 五月婷婷综合在线| 中文在线成人| 综合激情在线视频| 大香蕉五月婷婷| 99激情视频| 激情综合丁香五月| 日日夜夜婷婷| 婷婷午夜天| 九九精品视频在线6| 日逼免费视频 | 五月天综合激情网| 色99在线视频| www.久操| 9l视频自拍九色9l黑人| 婷婷香蕉精品| 久久se 综合网| AA片在线观看视频在线播放 | av网址在线| 五月丁香在线| 超碰免费99| 日本色图综合| 99这里有精品视频| 婷婷俺去也| 激情五月天色色网| ..真实国产乱子伦对白在线_欧| 婷婷五月天福利| 日日爽夜夜爽| 婷婷在线日韩综合| 大胆伊人久久| 狼人狠狠操| 玖玖五月丁香| www色婷婷| 色婷丁香| 这里只有视频精品| 操日本人妻视频| 亚洲综合婷婷六月丁香五月| 色五月天电影| 大香蕉九九| 色色网站| 久久视9精| 欧美男女婷婷| 久久久人妻人伦| 深爱五月激情网| 久久九九99字幕| 色婷五月| 九色1区视频在线| 操人视频91| 久草天堂| 中文国产五月天| 俺去也综合| 色情婷婷五月天| 欧美大片| 婷婷天堂视频| 婷婷区日本| 色丁香久久久| 狠狠色婷婷777| 日本熟妇乱妇熟色A片蜜桃| 亚洲日本三级片| 亚洲综合五月天综合| 久热精彩视频98| 狠狠色97| 99热在线中文字幕| 涩涩涩.com| 激情综合五月天| 久久九久久| 丁香五月婷婷啪啪啪| 丁香六月毛片| 99热精品在线观看| 国产操肏网站| 激情都市五月天| 天天日天天插| 亚洲视频在线网站| 性韩日色婷婷五月天激情啪啪XXX| 欧美性丁香色色五月天| 91丨九色丨高潮丰满日本| 国产精品日本一区二区在线播放| 五月色色网| 小视频一区 | 五月婷五月婷伊人伊人五月婷| 日韩一区二区三区无码| 色久五月天| 99热这里是精品| 99在线综合视频| 十月丁香婷婷| 97九色| 五月美女婷婷风骚| 91久久1118| Www.狠狠| 久久婷婷五月天丁香| 亚洲国产精品成人免费一区久久久在线观看AAAA | 日日肏夜夜干| 思思久久99热只有频精品66| 激情久久久久| 六月婷婷色色色| 91人妻九色大屁股| 五月天影院婷婷在线观看| 超碰人人91| 欧美成综合在线观看| 激情六月丁香综合| 五月丁香啪啪综合| 99精品在线播放| 热99这就是精品视频| 777精品久无码人妻蜜桃| 色色五月天丁香婷婷| 色综合天天天天做夜夜| 五月伊人91| 青青草深爱激情网| 久久久精品人妻| 4399亚洲视频| 色婷婷久久综合| 中文字幕97超级碰| 婷婷激情视频| 九热...av| 六月婷婷综合激情| 久超超碰| 久久丁香五月天| 久久久99久久| 香蕉婷婷| 丁香婷婷五月天亚洲| 色色a| 色色婷婷婷丁香五月天| 免费在线观看欧美激情xx小视频| 五月香蕉网| 色五婷婷开心缴| 色婷婷综合网| 99在线免费视频| site:wpjngj.com| 激情五月九九九| 大香蕉啪啪啪| 99久久久国产大片区| 性爱综合网| 婷婷伊人综合中文字幕| 色婷婷视频在线| 久热黄色| 深爱五月天| 丁香五月骚喷水视频| 亚洲A片成人无码久久精品青桔| 五月婷婷色丁香| 99久热视频在线| 久草五月天| 亚洲操B视频| 色婷婷9| 久久激情视频| 欧美日韩二区在线| 天天狠狠六月婷丁香影院| 亚洲婷婷五月| 亚洲色视频| 五月天丁香综合久久国产| 久久五月天婷婷| 五月天色婷伊人| 99九九这里有免费视频| 狠狠五月激情丁香六月| 婷婷午夜| 亚洲黄色影视| 九九AV在线| 操一区| 激情综合另类| 色娸娸综合网| 国精产品一区一区三区免费视频| 99热无码首页| av在线资源| 国产肥白大熟妇BBBB视频| 亚洲色 视频| 国产1区2区| 九九热精品视频| 五月天激情中文字幕| 美腿丝袜AV天堂网| 欧美成人精品三区综合A片| 狠狠色噜噜色狠狠狠综合久久成人波| 另类激情五月| 婷婷伊人综合| 亚洲欧美成人在线| 日本婷婷五月天| 亚洲视频在线观看99| 色爱爱综合网| 91碰碰| 激情噜噜噜| 九热在线这里有精品6| 超碰人妻公开在线| 色五月激情五月| 人妻无码精品一区| 五月的婷婷六月丁香| 中文字幕97超级碰| 日本在线观看aaa 99| 伊人色综合网| 色五月婷婷综合| 欧美va欧美va差| 五月丁香日本在线视频观看| 91热视频色网站| 亚洲AV成人在线观看| 婷婷六月激情| 五月激情综合美女久久| 色色婷| 人人操人人看97干| www,99视频| 色婷婷国产精品综合在线观看| 五月丁香综合久久| 久热视频A.| 久久一伦| 色色色色色色色五月| 少妇高潮A片无套内谢麻豆传| 五月天婷婷基地综合网| 亚洲精品国产精品乱码视99| 久久久久久综合五月婷婷| 丁香五月 综合| 丁香六月婷婷综合激情欧美| 色综合久久88| 色婷婷影音| 国产国产乱老熟女视频网站97| av在线激情| 丁香六月激情网C0W| 九九视频精品视频精品| 五月天婷婷久久日| 五月婷婷激情久久| 久久婷婷国产| 九九AV在线| 久久99久久99精品免观看粉嫩| 色婷婷情片| WWW、日本色丁香、co m| 91精品久久久久久久久久| 婷婷五月成人| 丰满少妇猛烈A片免费看观看 | 欧美va在线观看| 丁香婷婷影院| 99热成人精品网站| 综激情网| 大香蕉手机视频| 色五月网址| 婷婷五月天精品| 婷婷成人五月天成人文学| 丁香六月欧美| 亚洲色色色| 大香蕉伊人久久| 国产熟妇的荡欲午夜视频| 亚洲日韩乱码一区二区三区四区| 96丁香婷婷九月蜜桃综合久久| 99久操视频| 1024在线一区| www激情网站| 亚洲综合婷婷五月| 人人色婷婷五月天| 26UUU精品一区二区c〇m| 这里只有精品免费视频在线观看| 九九久热| 丁香六月婷婷综合激情欧美| 亚洲视频99| 八戒青柠影视剧在线观看| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 农村熟妇高潮精品A片| www五月| 欧美日韩二区在线| 综合激情在线观看| 97人人看| 青草性爱视频| 都市激情小说婷婷| 丁香六月狠狠干| 另类视频五月天| 久久久av久av久片一区二区| 超碰9在| 色婷婷文字幕| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 偷偷操九九| 九月丁香婷婷综合| 五月丁香婷婷无码A∨| 天堂草在线观| 久久女婷| 就去色色五月丁香婷婷久久久| 成人版视频在线观看| 十月丁香婷婷| 97se视频在线| 日本三级中国三级99人妇网站| 婷婷婷婷婷婷婷婷婷婷丁香| av最新在线| 亚洲精品乱码久久久久99| 天天天操天天天日| www色婷婷| 四川操逼站| 九九热10| 久久综合中文字幕| 色色三级视频| 婷婷五月丁香五月| www.minyis.com【JT】实力收量可预付QQ2101460746 | 开心激情网五月天| www.丁香黄色五月天人与| 天天在线XXX| 色吧婷婷五月亚洲| 婷婷欧美激情综合| 巴基斯坦粉嫩无码视频| 亚洲精品V天堂中文字幕| 影音先锋91| www夜夜操comwww| 色婷婷色99国产综合精品| WWW·色色色·COM| 天天爽综合网| 人妻内射一区二区在线视频| 九九九这里只有精品| 丁香五月婷婷网| 99精品偷自拍| 久久五月人人摸| 日本综合色色| 97干视频| 66成人网| 99ri视频在线观看| 色五月婷婷丁香五月| 怡红院AV亚洲一区二区三区H| 欧美激情综合| 五月丁香婷婷色色色| 婷婷丁香五月基地| 国产婷婷五月色情综合| 雪千夏麻豆| 婷婷久久婷婷色五月| 久久a热| 五月婷六月| 婷婷五月天天爽| 色色色五月天激情资源| 人妻自慰高清合集| 99精品丰满| www.av骚货| 国内自拍97在线| 襙逼网| 嫩草AV久久伊人妇女超级A| 婷婷五月天激情在线观看 | 99热综合网| 久久久91| 99九色视频在线观看| 99精品久久久久久久婷婷| 天天射天天干天插色综合| 99热在线精品观看| 可以免费看AV网站| 婷婷五月激情欧美大胆视频| 亚洲五月天婷婷综合| 精品少妇人妻AV无码专区偷人| 综合97五月| 久久五月婷| 欧美日韩大黄| 婷久久高清| 午夜做爱影院| 色欲婷婷五月天丁香| 另类图片五月天| 久久久久久久久久91| 97av在线视频| 婷婷久久婷婷色五月| 日日操夜夜擼| 狠狠五月激情丁香六月| 久久色吧| 久久亚洲婷婷| 色爱综合视频| 色五月天 丁香| 99精品热| 国产精品人妻在线网址| 九九色热| 婷婷五月天日逼| 九九综合88| 色99自拍| 日本色婷婷综合| 99热传媒| 亚洲天堂啪啪| 丁香五月骚喷水视频| 99爱在线| 色五月天激情| 成人网站免费sxj| 九九超碰人人| 六月激情婷婷| 五月天电影网| 激情婷婷丁香五月天| 婷婷五月天成人| 丁香五月婷婷视频| 蜜臀AV在线成人| 天天久久九九| 色色婷婷五月| 思思热在线免费视频| 黄色五月婷婷| 男人先锋久久| 99思思| 激情婷婷五月色| 久久久五月五丁香| 亚洲乱码日产精品BD| 国产美女视频久| 99久久黄色顶级视频| 婷婷干六月综合旧址| a久久| 日本人人xxx| 夜夜操夜夜爽| 丁香五月综合久久综合| 午夜性做爰电影| 五月天丁香成人| ji'qing'luan'ren'lun| 久久婷婷五月丁香网| 丁香五月婷婷激情97| 婷婷香蕉| 五月亚洲| 色欲香综合网| 五月丁香激情综合| 极品嫩草| 精品人妻午夜一区二区三区四区| 9热在线观看| 色婷婷五月天天天干天天操天天爽 | 国产欧美性成人精品午夜| AV在线免费播放| 日韩av网址大全| 色5月婷婷色| 五月天丁香综合在线| 精品人妻午夜一区二区三区四区| 欧美色色色色色| 这里只有精品无码| 这里只有精品免费视频在线观看| 噜综合| 91久久婷婷| aaaa.黄| 天天色天天| 97色久| 日韩AAAAAAAAAAA片| 狠狠五月天婷婷激情网。| 九九热这里只有精品23| 婷婷操久久| 日韩美一级毛卡片| 密黄站| 操逼毛片国语对白| 91免费试看| 色哟呦av| 荡乳尤物3HP1V5| 99久在线精品99re8热| 九九99在线免费在线观看视频| 激情 婷婷| 狠狠色综合精品视频在线| 天天操夜夜爽| 激情久久天天| 深爱激情五月天婷婷网| 婷婷五月天成人动漫 | 久久38视频| 丁香,开心成人,久久| 婷婷久久综合| 婷婷五月天在线观看| 伊人干综合| 日日夜夜婷婷| 中文av网站| 婷婷伊人| 无码日本精品XXXXXXXXX| 精品亚洲国产成人A片在线鸭王| 久99| 婷色五月| 激情婷婷五月天| 国产人妻777人伦精品HD| 色五月婷婷久久| 99热超碰在线| 午夜大香蕉| 丁香网站| 亚洲av电影网站| 日韩小视频在线99| 99久久99视频| 丁香五月香蕉| 日韩草草草草草草草草草草草草| 九九视频这里只有精品在线播放| 五月天六月天| www,婷婷五月天777me,com| 性生活久久朋友人妻| 色吧五月婷婷| 亚洲天堂啪啪| 天天操天天操天天操天天操天天操| 97在线精品视频| 色综合天天综合成人网| 婷婷五月天综合网| 丁香六月丁香婷婷激情| 天天婬色综合| 91婷婷丁香| 亭亭丁香久久五月| 这里只有精品视频一区| 天天干夜夜谢| www.婷婷五月天.com| 国产又黄又爽又色的免费| 日韩有码一区| 9久国产精品| 丁香婷婷六月激情| 99热.com| 五月激情影院| 亚州男人天堂婷婷五月| 丁香五月网址| 国产欧美日韩一区二区三区| 深爱五月激情| 91狠狠综合久久久| 影音先锋91在线资源站| 久久综合五月| 久久久WWW| 六月丁香婷婷天堂| 日日夜夜爽| 婷婷激情小说| 色婷婷小视频| 婷婷国产综合| 丁香五月天网友自拍啪啪啪视频| AV在线资源| 亚洲色图欧美色图日本视频| 琪琪色热色色| 激情丰满熟妇五月| 激情综合五月天| 热久精品| 月色色综合婷婷网| 综合丁香婷婷五月天| 丁香婷婷激情网站| 五月天婷婷在线播放| 曰本aaaaaa丈片| 五月婷婷干干干| 伊人色综合网| 农村熟妇高潮精品A片| 五月丁香啪啪综合| 天天情色五月天| 综合网五月| 亚洲最大视频网站| 五月人妻婷婷| 成人婷99最新| 18久久| 婷婷六月插屄激情| 色婷婷www| 六月激情网| 亚洲五月天狠狠| 色婷婷影院| 伊人三级激情| www.五月婷婷久久.com| 婷婷五月天网| 亚洲性爱电影| 五月婷婷综合在线视频小说| 激情五月天婷婷| 91性高潮久久久久久久久| 99热这里只有精品99| 国产99久久久| 久色中文| 夜夜爱网站| 天天干天天做| 人妻久热| 五月天激情视频| 色婷婷中文| 亚洲日韩26uuu| 99热免| 五月婷婷婷综合网| 综合五月激情网| 日本一级黄色片。| 4399在线观看免费高清电视剧| www久久99| 97婷婷狠狠久久综合9色| 婷婷王月天影院| 婷婷综合五月天| 538在线| 婷婷丁香十月| 日本va欧美va欧美va精品| 操九色| 婷婷丁香色情| 天天日天天操心| 婷婷五月色惰| 99热免费在线| 狠狠久久婷婷| 丁婷婷五月天在线播放| 99ri国产精品| 99色色色色| 夜夜骑夜夜操| 婷婷大香蕉| 日本丁香五月婷婷| 婷婷色色网| 九九热10| 免看黄大片AA | 99色视频在线观看| 182tv992tv人之初午夜免费观看| 全国最新疫情| 婷婷五月天丁香综合网| 俺去也在线www色官网| 人人妖人人97| 夜丁香综合| 中文字幕激情综合| 青青草原伊人网| 色情五月综合婷婷| AV性爱在线| 色。 日日日| 国产日韩欧美| 好好干av| 绿色小导航AV| 六月婷婷色色色| 国产亚洲色婷婷久久99精品91| 日本综合色图| 狠狠干2007| 午夜伊人大香蕉| 欧美狠狠色| 性色婷婷| 激情小说五月天| 日韩av大全| 夫妻超碰在线| 五月婷婷丁香五月 | www色色色com| 五月丁香婷婷伊人| 激情五月天情色| 91干| 色婷婷六月激情| 91人人妻人人操人人爽| 天天插AV丝袜中| 色射影院| 色五月丁香五| 激情都市丁香婷婷| 亚洲激情综合色站| 大香蕉在九| www.maotanji.com| www久久99com| av人人操| 97超碰在线免费观看| 五月丁香视频在线观看| 色五月婷婷在线视频| 狠狠综合区| 色停停五月,在线观看| site:hcxsz888.com| 激情人妻蜜夜系列区| 九色91视频| 九九热99精品在线| 五月天婷婷狠狠| 免费黄色视频网址| 丁香六月天婷婷开心综合| 五月天婷婷狠狠| 色综合九九| 99aese| 欧美在线操| 影音先锋日本三级资源| 色五月大| 色婷婷a三区麻| AV操逼网| www色哟哟| 67194成I人在线观看线路1| 婷婷五月色综合| 中文精品久久久久人妻不| 9999热免费视频视频| 激情丁香婷婷| 色五月亚洲| 久久99久久99精品免观看软件| 激情五月婷婷综合秋霞| 99热这里是精品| 日本久久人| 丁香五月,激情五月,深爱五月| 九九热这里只有精品7| 九九色黄色| 色哟呦av| 99久热| 亚洲成人AV在线观看| 丁香婷婷深情五月亚洲| 色五月激情问网站| 91超碰九色| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 日韩1区2区| 成人精品视频99在线观看免费 | 激情婷婷久久| 五月丁香淫淫婷婷婷| 深爱五月综合网| 日本成人综合| 99热精品网| 色一色综合| 无码人妻少妇色欲AV一区二区| 激情综合五月天| 五月婷婷色激情| 精品无码视频| 丁香婷婷偷拍| 99热6这里之有精品| 久久久五月五丁香| 激情伊人网| 五月丁香六月片| 色日本颜射| 91久久久久久久久久18| www.91色| 色爱综合网| 色婷婷视频| 操91| 狠狠综合久久| 久热99热| 丝袜激情网| 99热这里只有精品8| 丁香99| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | www.91色| 97干在线| www.色五月.com| 五月婷在线| 第四色婷婷日本| 综合婷婷| 蜜臀A∨在线水帘洞| 五月开心婷婷网| 婷婷色在线| site:hcxsz888.com| 日韩无码专区| WWW.激情| 丁香五月婷婷动漫| 天天干天天色天天干| 五月天激情社区| 无码网站视频| 激情九九六月激情免费视频| 丁香五月手机在线| 五月丁香久人妻中文| 99精品在线播放| 六月丁香五月婷婷| 国产黄大片在线观看画质优化 | 亚洲美女高潮久久久久久69| 91色五月| 热的国产,热的综合,热的有码| 五月婷婷久久内射| 亚洲婷婷丁香五月视频| 色五月丁香五月天| 丁香五月乱中文字幕| 久久久久久人妻| 香蕉久久国产AV一区二区| 天天噜噜| 超碰免费成人网站| 久久99三级在线视频| 色色激情| 熟女重口味αV| 人人舔天天| 骚。com| 久久婷婷五月综合激情国产| www.色五月.com| 五月天开心网| 丁香花综合永久入口| 丁香视频| 精品99这里有| 欧洲日韩一区二区三区| www.狠狠艹| 九九碰九九爱97超碰| 91狠狠色丁香婷婷综合久久| 极品五月天| 色色婷婷丁香| 爱草视频在线观看| 五月天色区| 伊人久久婷婷| 丰滿爆乳一区二区三区| 五月婷婷啪啪网| 五月天六月天| 九月色婷婷综合| 午夜不卡久久精品无码免费| 91女人18毛片水多国产| 新97人人上人人| 免费色色色| 久久这里只有精品99| 九月丁香婷婷| 丁香五月 无码| 99在线精品视频观看免费下载| 九九热视频思思| 色综合久久88色综合天天99| 丰满老熟妇BBBBB搡BBB| 1024婷婷综合久久五月天| 久久综合热17c| 超级碰碰碰97免费| 极品人妻VIDEOSSS人妻| 午夜成人网站在线观看| 色婷婷五月天综合网| 综合激情在线| 五月四色激情| 在线视频色五月| 舔色婷婷| 黄色中文字目| 天天做天天爱天天爽夜夜揉| 色五婷婷| 福利视频在线播放| 丁香五月首页| 六月久久狠狠| 99精品偷自拍| 国产资源在线视频| 久久这里只有精品22| 午夜丁香婷婷| 日本三级网址| www一区二区三区| 99在线精品免费视频| 麻豆雪千夏| 婷婷色激情五月天| 无码激情AAAAA片-区区| 国产ava| 五月天婷婷爱| 五月婷婷 激情按摩| 色婷婷丁香网| 日本色99| 婷婷九色| 色偷偷狠狠| 97高清国语自产拍| 五月天激情小说婷婷| 日韩综合久| 99热久久日本| 天天色综合图片| 人妻体体内射精一区二区| 婷婷丁香五月天综合AV| 久久大香蕉同僚| 男人的天堂av俄罗斯热| 五月婷婷开心六月激情小说| 最近中文字幕大全免费版在线| 五月婷婷色综图片| 色婷婷国产精品综合在线观看| 狠狠干狠狠操狠狠爱| 欧洲激情五月天| 欧美性色A片免费免费观看的| 婷婷激情肏屄网| 大香蕉婷婷五月| 丁香五月天狠狠操| 天天干天天做| 婷婷五月天渟渟| 五月激情天天干| 婷婷国产五月天17c| 亚洲婷婷五月天激情综合| 日韩在线看AV| 久色五月| 精品久久穴| 5月丁香六月婷婷| www.玖玖婷婷在线|