欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

MATLAB非線(xiàn)性規(guī)劃建模實(shí)戰(zhàn):從fmincon算法到投資組合優(yōu)化

MATLAB非線(xiàn)性規(guī)劃建模實(shí)戰(zhàn):從fmincon算法到投資組合優(yōu)化 1. 項(xiàng)目概述為什么非線(xiàn)性規(guī)劃是建模的“硬骨頭”搞數(shù)學(xué)建模的朋友尤其是參加過(guò)國(guó)賽、美賽的應(yīng)該都深有體會(huì)線(xiàn)性規(guī)劃模型雖然基礎(chǔ)但真正讓你頭疼、讓你熬夜掉頭發(fā)的往往是那些“非線(xiàn)性”的家伙。題目里一旦出現(xiàn)“成本隨產(chǎn)量增加而邊際遞減”、“傳播速率與接觸人數(shù)成二次關(guān)系”、“收益與風(fēng)險(xiǎn)的非線(xiàn)性權(quán)衡”你的模型復(fù)雜度就立刻上了一個(gè)臺(tái)階。這就是非線(xiàn)性規(guī)劃Nonlinear Programming, NLP的領(lǐng)域。它不像線(xiàn)性規(guī)劃那樣有單純形法這種“萬(wàn)能鑰匙”其求解過(guò)程更像是在崎嶇的山地中尋找最高點(diǎn)你可能會(huì)陷入局部最優(yōu)的“小水坑”里而錯(cuò)過(guò)了遠(yuǎn)處的“山峰”。我最初接觸非線(xiàn)性規(guī)劃時(shí)也被各種算法、各種MATLAB函數(shù)搞得暈頭轉(zhuǎn)向。fmincon、fminunc、ga...每個(gè)函數(shù)都有一堆參數(shù)每個(gè)算法都有其適用場(chǎng)景用錯(cuò)了不僅結(jié)果不對(duì)還可能直接報(bào)錯(cuò)。市面上很多教程要么過(guò)于理論滿(mǎn)篇都是KKT條件、拉格朗日乘子要么過(guò)于簡(jiǎn)略只給個(gè)函數(shù)名了事。這篇內(nèi)容我就結(jié)合自己多年踩坑和輔導(dǎo)學(xué)生的經(jīng)驗(yàn)試圖把這塊“硬骨頭”啃碎、講透。我們的目標(biāo)很明確讓你在拿到一個(gè)非線(xiàn)性問(wèn)題后能迅速判斷其類(lèi)型選擇合適的MATLAB工具正確設(shè)置參數(shù)并解讀結(jié)果最終完成一篇邏輯清晰、求解可靠的建模論文。這篇文章將不僅僅是一個(gè)函數(shù)說(shuō)明書(shū)。我會(huì)從“道”與“術(shù)”兩個(gè)層面展開(kāi)“道”是理解非線(xiàn)性規(guī)劃問(wèn)題的本質(zhì)、分類(lèi)和求解思路“術(shù)”是掌握MATLAB特別是fmincon這個(gè)核心求解器的實(shí)戰(zhàn)技巧包括如何處理各種約束、如何選擇算法、如何調(diào)試和驗(yàn)證結(jié)果。無(wú)論你是建模新手還是想深化理解的進(jìn)階者希望都能從這里獲得可以直接“抄作業(yè)”的實(shí)用指南。2. 非線(xiàn)性規(guī)劃的核心思想與模型分類(lèi)在深入代碼之前我們必須把腦子里的概念理清楚。非線(xiàn)性規(guī)劃顧名思義就是目標(biāo)函數(shù)或約束條件中至少有一個(gè)是非線(xiàn)性函數(shù)的數(shù)學(xué)規(guī)劃問(wèn)題。它的通用形式可以寫(xiě)成最小化f(x)滿(mǎn)足A*x ≤ b(線(xiàn)性不等式約束)Aeq*x beq(線(xiàn)性等式約束)c(x) ≤ 0(非線(xiàn)性不等式約束)ceq(x) 0(非線(xiàn)性等式約束)lb ≤ x ≤ ub(決策變量上下界)其中x是決策變量向量f(x)是目標(biāo)函數(shù)c(x)和ceq(x)是非線(xiàn)性約束函數(shù)。注意A*x ≤ b和Aeq*x beq屬于線(xiàn)性約束它們可以和上下界lb,ub一起被高效處理。2.1 從幾何直觀理解“非線(xiàn)性”為什么非線(xiàn)性問(wèn)題難我們想象一個(gè)地形圖。線(xiàn)性規(guī)劃尋找最優(yōu)解就像在一個(gè)平坦的、傾斜的平面上找最低點(diǎn)你沿著坡度最陡的方向負(fù)梯度走一定能走到邊界上的最低點(diǎn)。而非線(xiàn)性規(guī)劃的地形可能是連綿起伏的山丘和山谷。凸函數(shù)與凹函數(shù)這是最重要的概念之一。如果目標(biāo)函數(shù)是凸函數(shù)并且可行域是凸集那么任何局部最優(yōu)解就是全局最優(yōu)解。這就像在一個(gè)碗狀地形里碗底只有一個(gè)。fmincon等求解器最喜歡這類(lèi)問(wèn)題求解效率高且結(jié)果可靠。反之如果是非凸的地形就像瑞士奶酪有很多局部最低點(diǎn)坑算法很容易掉進(jìn)某個(gè)坑里就停下來(lái)了以為找到了最優(yōu)解。約束的非線(xiàn)性約束條件畫(huà)出的可行域邊界不再是直線(xiàn)或平面可能是曲線(xiàn)或曲面。這會(huì)讓可行域的形狀變得復(fù)雜甚至不連通進(jìn)一步增加了搜索難度。2.2 常見(jiàn)非線(xiàn)性模型類(lèi)型舉例理解分類(lèi)才能對(duì)癥下藥。無(wú)約束非線(xiàn)性?xún)?yōu)化最簡(jiǎn)單的一類(lèi)只有目標(biāo)函數(shù)f(x)沒(méi)有約束。例如擬合一個(gè)非線(xiàn)性模型時(shí)的參數(shù)估計(jì)最小二乘法本質(zhì)就是在最小化誤差平方和這個(gè)非線(xiàn)性函數(shù)。MATLAB中用fminunc或fminsearch求解。僅含邊界約束變量有上下限比如物理意義要求數(shù)量非負(fù)x ≥ 0。這可以通過(guò)lb和ub參數(shù)輕松設(shè)置。線(xiàn)性約束非線(xiàn)性?xún)?yōu)化目標(biāo)函數(shù)非線(xiàn)性但所有約束都是線(xiàn)性的。這是fmincon非常擅長(zhǎng)處理的類(lèi)型。非線(xiàn)性約束優(yōu)化約束條件中出現(xiàn)了非線(xiàn)性函數(shù)。這是最復(fù)雜的一類(lèi)求解難度和計(jì)算量最大。例如在結(jié)構(gòu)設(shè)計(jì)中應(yīng)力、形變等約束常常是非線(xiàn)性的。二次規(guī)劃目標(biāo)函數(shù)是二次函數(shù)約束是線(xiàn)性的。它是非線(xiàn)性規(guī)劃中的一個(gè)特例有更高效的專(zhuān)門(mén)算法如quadprog。非線(xiàn)性最小二乘目標(biāo)函數(shù)形如一系列平方和的最小化。MATLAB提供了lsqnonlin和lsqcurvefit等專(zhuān)用函數(shù)比通用的fmincon效率更高。注意在數(shù)學(xué)建模競(jìng)賽中你遇到的大部分問(wèn)題都可以歸結(jié)為前三種。純非線(xiàn)性約束的問(wèn)題較少因?yàn)槠淝蠼夂捅硎鰧?duì)本科生而言挑戰(zhàn)較大。通常我們會(huì)嘗試通過(guò)變量代換、分段線(xiàn)性化等方法將非線(xiàn)性約束轉(zhuǎn)化為線(xiàn)性或邊界約束。2.3 求解的基本思路迭代與搜索所有數(shù)值優(yōu)化算法都是迭代法。它們從一個(gè)初始猜測(cè)解x0開(kāi)始然后根據(jù)某種規(guī)則算法產(chǎn)生一個(gè)搜索方向p_k和一個(gè)步長(zhǎng)α_k從而更新解x_{k1} x_k α_k * p_k。重復(fù)這個(gè)過(guò)程直到滿(mǎn)足停止條件如梯度足夠小、迭代次數(shù)超限、函數(shù)值變化不大等。不同的算法在于如何計(jì)算搜索方向p_k梯度下降法p_k取當(dāng)前點(diǎn)的負(fù)梯度方向。簡(jiǎn)單但可能在“山谷”中 zig-zag 前進(jìn)收斂慢。牛頓法利用目標(biāo)函數(shù)的二階導(dǎo)數(shù)Hessian矩陣信息能預(yù)測(cè)更優(yōu)的搜索方向收斂更快但計(jì)算 Hessian 矩陣代價(jià)高。擬牛頓法如BFGS牛頓法的改進(jìn)版通過(guò)迭代近似 Hessian 矩陣在收斂速度和計(jì)算成本間取得了很好的平衡。fmincon的內(nèi)點(diǎn)法和序列二次規(guī)劃算法都內(nèi)置了擬牛頓法更新。信賴(lài)域法在當(dāng)前位置的一個(gè)小“信賴(lài)域”內(nèi)用一個(gè)簡(jiǎn)單模型如二次模型近似原函數(shù)先優(yōu)化這個(gè)近似模型再根據(jù)結(jié)果調(diào)整信賴(lài)域大小和下一步迭代點(diǎn)。智能優(yōu)化算法如遺傳算法ga適用于高度非線(xiàn)性、非凸、甚至不連續(xù)的問(wèn)題。它們通過(guò)模擬自然進(jìn)化等過(guò)程進(jìn)行全局搜索不容易陷入局部最優(yōu)但計(jì)算量大且結(jié)果具有隨機(jī)性。對(duì)于建模我們的策略通常是先用智能算法如ga進(jìn)行全局粗略搜索找到潛力區(qū)域再將其結(jié)果作為fmincon的初始值x0進(jìn)行局部精細(xì)優(yōu)化。這能有效結(jié)合兩者的優(yōu)勢(shì)。3. MATLAB 核心求解器 fmincon 深度解析fmincon是MATLAB優(yōu)化工具箱中求解約束非線(xiàn)性多變量函數(shù)最小值的核心函數(shù)??梢哉f(shuō)掌握了fmincon就解決了80%以上的建模中的非線(xiàn)性規(guī)劃問(wèn)題。它的基本調(diào)用語(yǔ)法是[x, fval, exitflag, output, lambda, grad, hessian] fmincon(fun, x0, A, b, Aeq, beq, lb, ub, nonlcon, options)參數(shù)雖多但理解了邏輯就很簡(jiǎn)單。3.1 參數(shù)詳解與實(shí)戰(zhàn)準(zhǔn)備我們以一個(gè)經(jīng)典例子貫穿講解投資組合優(yōu)化。假設(shè)你有兩種資產(chǎn)期望收益率分別為r [0.15; 0.1]風(fēng)險(xiǎn)方差協(xié)方差矩陣為Sigma [0.2^2, 0.1*0.2*0.15; 0.1*0.2*0.15, 0.15^2]。你希望最小化投資組合的風(fēng)險(xiǎn)方差同時(shí)要求期望收益率不低于0.12且資金全部投出權(quán)重和為1每種資產(chǎn)投資比例非負(fù)。fun目標(biāo)函數(shù)句柄。這是需要你最小化的函數(shù)。它必須接受一個(gè)向量x并返回一個(gè)標(biāo)量。% 投資組合方差x * Sigma * x Sigma [0.04, 0.003; 0.003, 0.0225]; fun (x) x * Sigma * x;x0初始點(diǎn)。這是迭代的起點(diǎn)極其重要。一個(gè)糟糕的初始點(diǎn)可能導(dǎo)致算法收斂到局部最優(yōu)甚至失敗。對(duì)于有約束問(wèn)題x0必須是一個(gè)可行解即滿(mǎn)足所有約束。對(duì)于我們的例子可以設(shè)x0 [0.5; 0.5]它滿(mǎn)足權(quán)重和為1且非負(fù)。A, b線(xiàn)性不等式約束。表示A*x ≤ b。我們的收益率要求r*x ≥ 0.12是不等式需要轉(zhuǎn)化為-r*x ≤ -0.12。r [0.15; 0.1]; A -r; % 注意轉(zhuǎn)置因?yàn)?x 是列向量 b -0.12;Aeq, beq線(xiàn)性等式約束。表示Aeq*x beq。資金全部投出[1, 1] * x 1。Aeq [1, 1]; beq 1;lb, ub決策變量下界和上界。投資比例非負(fù)lb [0; 0]。沒(méi)有上限可以設(shè)為空[]。lb [0; 0]; ub []; % 表示無(wú)上界nonlcon非線(xiàn)性約束函數(shù)句柄。如果問(wèn)題有非線(xiàn)性約束c(x) ≤ 0或ceq(x) 0就需要定義這個(gè)函數(shù)。它接受x返回兩個(gè)向量[c, ceq]。本例沒(méi)有非線(xiàn)性約束設(shè)為[]。options優(yōu)化選項(xiàng)。這是高級(jí)用法和調(diào)試的關(guān)鍵。通過(guò)optimoptions(fmincon)創(chuàng)建。options optimoptions(fmincon, Display, iter, Algorithm, interior-point);Display, iter顯示每次迭代的詳細(xì)信息便于調(diào)試。Algorithm選擇核心算法這是重中之重下文詳述。3.2 算法選擇四大內(nèi)功心法fmincon提供了多種算法對(duì)應(yīng)不同的“內(nèi)功心法”。選擇不當(dāng)輕則效率低下重則無(wú)法收斂。interior-point內(nèi)點(diǎn)法默認(rèn)算法原理從可行域內(nèi)部出發(fā)通過(guò)構(gòu)造障礙函數(shù)在迭代過(guò)程中始終保持在可行域內(nèi)部并逐漸逼近邊界上的最優(yōu)解。優(yōu)點(diǎn)處理大規(guī)模問(wèn)題變量多、約束多性能優(yōu)秀特別擅長(zhǎng)處理不等式約束和邊界約束。對(duì)于我們的投資組合問(wèn)題有不等式和邊界約束它是很好的選擇。缺點(diǎn)對(duì)于問(wèn)題尺度較小或主要包含等式約束的問(wèn)題可能不是最快。適用默認(rèn)首選尤其當(dāng)你的問(wèn)題包含大量不等式約束時(shí)。sqp序列二次規(guī)劃法原理在每一步迭代用二次函數(shù)近似目標(biāo)函數(shù)用線(xiàn)性函數(shù)近似約束求解一個(gè)二次規(guī)劃子問(wèn)題從而確定搜索方向。優(yōu)點(diǎn)對(duì)于中小規(guī)模問(wèn)題特別是非線(xiàn)性約束問(wèn)題往往非常高效和精確。它能很好地利用目標(biāo)函數(shù)和約束的函數(shù)值、梯度信息。缺點(diǎn)對(duì)于大規(guī)模問(wèn)題子問(wèn)題的求解可能變得昂貴。適用問(wèn)題規(guī)模不大變量數(shù)幾百以?xún)?nèi)且含有非線(xiàn)性約束時(shí)可以?xún)?yōu)先嘗試sqp。active-set有效集法原理猜測(cè)哪些約束在最優(yōu)解處是“激活”的等式成立然后主要在這些約束構(gòu)成的子空間上進(jìn)行優(yōu)化。優(yōu)點(diǎn)能提供非常精確的拉格朗日乘子估計(jì)lambda輸出對(duì)于需要靈敏度分析的情況很有用。缺點(diǎn)不適合大規(guī)模問(wèn)題迭代過(guò)程中可能需要在有效集之間頻繁切換效率可能不如內(nèi)點(diǎn)法。適用需要高精度的乘子信息或者問(wèn)題規(guī)模較小且已知最優(yōu)解大概在哪些約束邊界上時(shí)。trust-region-reflective信賴(lài)域反射法原理屬于信賴(lài)域法要求目標(biāo)函數(shù)能提供梯度并且約束只能是邊界約束或線(xiàn)性等式約束。不能處理非線(xiàn)性約束或線(xiàn)性不等式約束。優(yōu)點(diǎn)對(duì)于邊界約束或線(xiàn)性等式約束的問(wèn)題如果提供了梯度此法可能非常高效。缺點(diǎn)適用范圍窄。適用只有邊界約束或邊界約束線(xiàn)性等式約束的問(wèn)題且你能計(jì)算或提供目標(biāo)函數(shù)的梯度。實(shí)操心得對(duì)于建模競(jìng)賽中的大部分問(wèn)題我的建議是無(wú)腦先用interior-point。如果求解失敗或結(jié)果可疑再?lài)L試sqp。除非問(wèn)題有特殊結(jié)構(gòu)如純邊界約束否則很少需要手動(dòng)切到其他算法。將Display設(shè)為iter觀察迭代過(guò)程是判斷算法是否正常工作的好方法。3.3 完整求解示例與結(jié)果解讀現(xiàn)在我們把所有部分組合起來(lái)求解投資組合問(wèn)題。% 1. 定義問(wèn)題數(shù)據(jù) Sigma [0.04, 0.003; 0.003, 0.0225]; % 協(xié)方差矩陣 r [0.15; 0.1]; % 期望收益率 targetReturn 0.12; % 目標(biāo)最低收益率 % 2. 定義目標(biāo)函數(shù) fun (x) x * Sigma * x; % 3. 初始點(diǎn) (一個(gè)可行的猜測(cè)) x0 [0.5; 0.5]; % 4. 線(xiàn)性不等式約束: r*x targetReturn - -r*x -targetReturn A -r; b -targetReturn; % 5. 線(xiàn)性等式約束: 權(quán)重之和為1 Aeq [1, 1]; beq 1; % 6. 邊界約束: 權(quán)重非負(fù) lb [0; 0]; ub []; % 無(wú)上界 % 7. 非線(xiàn)性約束: 無(wú) nonlcon []; % 8. 設(shè)置選項(xiàng)使用內(nèi)點(diǎn)法并顯示迭代信息 options optimoptions(fmincon, Display, iter, Algorithm, interior-point); % 9. 調(diào)用 fmincon 求解 [x_opt, fval_opt, exitflag, output, lambda] fmincon(fun, x0, A, b, Aeq, beq, lb, ub, nonlcon, options); % 10. 輸出結(jié)果 fprintf(最優(yōu)投資比例\n); fprintf( 資產(chǎn)1: %.4f\n, x_opt(1)); fprintf( 資產(chǎn)2: %.4f\n, x_opt(2)); fprintf(投資組合最小方差風(fēng)險(xiǎn): %.6f\n, fval_opt); fprintf(投資組合期望收益率: %.4f\n, r*x_opt); fprintf(退出標(biāo)志 exitflag: %d\n, exitflag); fprintf(迭代次數(shù): %d\n, output.iterations); fprintf(函數(shù)計(jì)算次數(shù): %d\n, output.funcCount);運(yùn)行后你會(huì)在命令窗口看到詳細(xì)的迭代過(guò)程最后得到結(jié)果。關(guān)鍵是要會(huì)看exitflagexitflag 0優(yōu)化成功收斂。通常是1表示一階最優(yōu)性條件在指定容差內(nèi)滿(mǎn)足。exitflag 0迭代次數(shù)或函數(shù)計(jì)算次數(shù)超過(guò)了options.MaxIterations或options.MaxFunctionEvaluations。此時(shí)結(jié)果可能不是最優(yōu)的需要增加迭代上限或檢查問(wèn)題。exitflag 0優(yōu)化失敗。常見(jiàn)的有 -2未找到可行點(diǎn)檢查初始點(diǎn)x0和約束-1被輸出函數(shù)或繪圖函數(shù)終止。在我們的例子中應(yīng)該會(huì)得到exitflag 1以及類(lèi)似x_opt [0.4; 0.6]的結(jié)果。lambda結(jié)構(gòu)體包含了約束對(duì)應(yīng)的拉格朗日乘子其eqlin字段對(duì)應(yīng)等式約束的乘子ineqlin對(duì)應(yīng)不等式約束lower/upper對(duì)應(yīng)邊界約束。乘子的絕對(duì)值大小反映了該約束的“緊度”或“價(jià)值”。4. 從理論到實(shí)戰(zhàn)復(fù)雜模型構(gòu)建與求解策略掌握了基礎(chǔ)我們來(lái)看幾個(gè)建模中更典型的復(fù)雜場(chǎng)景及其處理策略。4.1 場(chǎng)景一目標(biāo)函數(shù)或約束需要外部數(shù)據(jù)或復(fù)雜計(jì)算很多時(shí)候你的目標(biāo)函數(shù)f(x)不是一個(gè)簡(jiǎn)單的數(shù)學(xué)表達(dá)式而是一個(gè)“黑箱”過(guò)程。比如x是某個(gè)系統(tǒng)的設(shè)計(jì)參數(shù)f(x)是需要調(diào)用一個(gè)仿真程序如 Simulink 模型、有限元分析才能計(jì)算出的性能指標(biāo)。策略封裝函數(shù)將仿真過(guò)程寫(xiě)成一個(gè)獨(dú)立的MATLAB函數(shù)mySimulation(x)該函數(shù)接受參數(shù)x運(yùn)行仿真并返回標(biāo)量結(jié)果如最大應(yīng)力、總能耗。然后fun句柄指向這個(gè)封裝函數(shù)。function cost myComplexObjective(x) % x 是設(shè)計(jì)參數(shù) % 1. 根據(jù)x設(shè)置模型參數(shù) setModelParameters(x); % 2. 運(yùn)行外部仿真或復(fù)雜計(jì)算這里用耗時(shí)計(jì)算模擬 result runExternalSimulation(); % 假設(shè)這個(gè)函數(shù)很耗時(shí) % 3. 從結(jié)果中提取目標(biāo)值 cost extractCostFromResult(result); end % 在優(yōu)化中調(diào)用 fun myComplexObjective;注意事項(xiàng)這類(lèi)問(wèn)題計(jì)算一次目標(biāo)函數(shù)代價(jià)很高。務(wù)必設(shè)置合理的options.MaxFunctionEvaluations和options.MaxIterations避免無(wú)意義的長(zhǎng)時(shí)間運(yùn)行。同時(shí)考慮使用UseParallel選項(xiàng)為true如果目標(biāo)函數(shù)計(jì)算可以并行化的話(huà)能極大加速。4.2 場(chǎng)景二多目標(biāo)優(yōu)化問(wèn)題現(xiàn)實(shí)中我們常需要權(quán)衡多個(gè)目標(biāo)例如“成本最低”和“性能最好”。這被稱(chēng)為多目標(biāo)優(yōu)化其解不是一個(gè)點(diǎn)而是一個(gè)“帕累托前沿”P(pán)areto Front。策略加權(quán)求和法最直接的方法是將多目標(biāo)轉(zhuǎn)化為單目標(biāo)F(x) w1 * f1(x) w2 * f2(x)。通過(guò)調(diào)整權(quán)重w1,w2可以得到前沿上的不同點(diǎn)。w1 0.7; w2 0.3; % 權(quán)重代表決策者的偏好 fun (x) w1 * costFunction(x) w2 * (-performanceFunction(x)); % 注意性能可能是最大化加負(fù)號(hào)轉(zhuǎn)為最小化策略目標(biāo)規(guī)劃法設(shè)定一個(gè)理想的目標(biāo)值然后最小化與它的偏差。targetCost 1000; targetPerf 50; fun (x) abs(costFunction(x) - targetCost) abs(performanceFunction(x) - targetPerf);策略使用帕累托搜索算法對(duì)于復(fù)雜的多目標(biāo)問(wèn)題可以使用MATLAB的paretosearch或gamultiobj多目標(biāo)遺傳算法來(lái)直接尋找近似帕累托前沿。這在建模中是非常高級(jí)和出彩的技巧。4.3 場(chǎng)景三含非線(xiàn)性約束的問(wèn)題假設(shè)在投資組合中我們?cè)黾右粋€(gè)非線(xiàn)性約束要求兩種資產(chǎn)權(quán)重的乘積不超過(guò)某個(gè)值模擬某種關(guān)聯(lián)性限制即x1 * x2 ≤ 0.2。這時(shí)就需要定義nonlcon函數(shù)。function [c, ceq] myNonlcon(x) % 非線(xiàn)性不等式約束 c(x) 0 c x(1) * x(2) - 0.2; % 注意要求 c 0所以是 x1*x2 - 0.2 0 % 非線(xiàn)性等式約束 ceq(x) 0 ceq []; % 本例沒(méi)有非線(xiàn)性等式約束 end % 在 fmincon 調(diào)用中傳入 nonlcon myNonlcon; [x_opt, fval] fmincon(fun, x0, A, b, Aeq, beq, lb, ub, myNonlcon, options);踩坑記錄非線(xiàn)性約束函數(shù)的編寫(xiě)是錯(cuò)誤高發(fā)區(qū)。務(wù)必記住c(x) ≤ 0和ceq(x) 0。經(jīng)常有人把不等式方向?qū)懛?。另外確保nonlcon函數(shù)能正確返回兩個(gè)輸出[c, ceq]即使其中一個(gè)為空。4.4 場(chǎng)景四變量離散或整數(shù)規(guī)劃如果變量只能取整數(shù)如設(shè)備臺(tái)數(shù)或離散值如標(biāo)準(zhǔn)尺寸問(wèn)題就變成了混合整數(shù)非線(xiàn)性規(guī)劃。fmincon無(wú)法直接處理。策略連續(xù)松弛圓整先忽略整數(shù)約束用fmincon求解連續(xù)問(wèn)題。得到連續(xù)最優(yōu)解后將其圓整到最近的整數(shù)或離散值。但要注意圓整后的解可能不可行違反約束或遠(yuǎn)離真正的最優(yōu)解。這只是一種近似啟發(fā)式方法。策略使用專(zhuān)用求解器MATLAB的全局優(yōu)化工具箱提供了ga遺傳算法支持整數(shù)約束和surrogateopt代理優(yōu)化等可以直接處理整數(shù)變量。對(duì)于復(fù)雜的整數(shù)非線(xiàn)性規(guī)劃可能需要更專(zhuān)業(yè)的工具如intlinprog僅線(xiàn)性或第三方求解器。5. 調(diào)試、驗(yàn)證與結(jié)果分析避免“垃圾進(jìn)垃圾出”優(yōu)化求解器不是魔法它只是忠實(shí)地執(zhí)行你定義的模型。如果模型有誤、初始點(diǎn)太差或參數(shù)設(shè)置不當(dāng)?shù)玫降慕Y(jié)果就是無(wú)意義的。因此求解后的調(diào)試和驗(yàn)證至關(guān)重要。5.1 診斷求解失敗如果exitflag不是正數(shù)按以下步驟排查檢查初始點(diǎn)x0它必須是可行的用x0代入所有約束條件驗(yàn)算。對(duì)于不等式A*x0 b和c(x0) 0以及等式Aeq*x0 beq和ceq(x0) 0在容差內(nèi)。一個(gè)簡(jiǎn)單的方法是先求解一個(gè)可行性問(wèn)題或者手動(dòng)構(gòu)造一個(gè)明顯的可行點(diǎn)。檢查約束矛盾約束是否可能相互沖突導(dǎo)致無(wú)解例如兩個(gè)不等式約束可能定義了空集??梢試L試放松或移除部分約束看問(wèn)題是否變得可行。檢查梯度/導(dǎo)數(shù)信息如果你通過(guò)options提供了梯度或 Hessian 函數(shù)SpecifyObjectiveGradient,true務(wù)必檢查其計(jì)算是否正確。一個(gè)錯(cuò)誤的梯度會(huì)導(dǎo)致算法在錯(cuò)誤的方向搜索??梢允褂胏heckGradients選項(xiàng)或fmincon的CheckGradients選項(xiàng)進(jìn)行數(shù)值驗(yàn)證。調(diào)整算法和選項(xiàng)換一個(gè)算法試試如從interior-point換到sqp。增加迭代次數(shù)和函數(shù)計(jì)算次數(shù)上限MaxIterations,MaxFunctionEvaluations。放寬最優(yōu)性容差OptimalityTolerance或約束容差ConstraintTolerance尤其是在目標(biāo)函數(shù)或約束值非常小或非常大時(shí)。嘗試不同的初始點(diǎn)x0。多跑幾次從隨機(jī)初始點(diǎn)開(kāi)始觀察是否收斂到同一點(diǎn)。5.2 驗(yàn)證最優(yōu)解即使exitflag 0也未必是全局最優(yōu)尤其是對(duì)于非凸問(wèn)題??尚行则?yàn)證將最優(yōu)解x_opt代回所有約束確保滿(mǎn)足在ConstraintTolerance內(nèi)。局部最優(yōu)性檢查觀察output.firstorderopt輸出它是一階最優(yōu)性條件的度量值越小越好接近OptimalityTolerance。對(duì)于無(wú)約束問(wèn)題可以手動(dòng)計(jì)算梯度gradient(fun, x_opt)看其范數(shù)是否接近零。敏感性分析拉格朗日乘子lambda結(jié)構(gòu)體中的乘子提供了寶貴信息。對(duì)于一個(gè)不等式約束如果其乘子lambda.ineqlin(i)的絕對(duì)值很大說(shuō)明這個(gè)約束是“緊”的活躍的放松它會(huì)對(duì)目標(biāo)函數(shù)有顯著改善。如果乘子為0則該約束在最優(yōu)解處不活躍。全局最優(yōu)性試探多初始點(diǎn)法從多個(gè)隨機(jī)初始點(diǎn)運(yùn)行fmincon比較得到的目標(biāo)函數(shù)值。如果都收斂到相同或相近的值則全局最優(yōu)的可能性增大。使用全局優(yōu)化求解器用ga遺傳算法或particleswarm粒子群算法等全局優(yōu)化器求解同一個(gè)問(wèn)題。比較它們找到的最佳值與fmincon的結(jié)果。如果fmincon的結(jié)果差很多說(shuō)明它可能陷入了局部最優(yōu)。此時(shí)可以將ga找到的解作為fmincon的初始點(diǎn)進(jìn)行“雜交”優(yōu)化。5.3 結(jié)果呈現(xiàn)與論文寫(xiě)作在建模論文中不能只扔出一個(gè)數(shù)字。清晰表述模型用數(shù)學(xué)公式明確寫(xiě)出目標(biāo)函數(shù)和所有約束。說(shuō)明求解工具寫(xiě)明“使用MATLAB R2023a的優(yōu)化工具箱中的fmincon函數(shù)進(jìn)行求解采用內(nèi)點(diǎn)算法”。報(bào)告關(guān)鍵參數(shù)給出初始點(diǎn)x0、重要的options設(shè)置如算法、容差。展示求解結(jié)果以表格形式呈現(xiàn)最優(yōu)解x_opt、最優(yōu)目標(biāo)值fval、關(guān)鍵約束的滿(mǎn)足情況。進(jìn)行分析討論靈敏度分析改變模型中的某個(gè)參數(shù)如投資組合中的目標(biāo)收益率targetReturn重新求解觀察最優(yōu)解如何變化??梢岳L制出“有效前沿”曲線(xiàn)風(fēng)險(xiǎn) vs 收益。模型穩(wěn)健性如果數(shù)據(jù)有微小波動(dòng)最優(yōu)解變化大嗎可以通過(guò)在參數(shù)上加微小擾動(dòng)來(lái)測(cè)試。結(jié)果解釋最優(yōu)解在現(xiàn)實(shí)中有何意義權(quán)重分配是否符合直覺(jué)如果不符合是模型漏掉了什么重要約束嗎6. 高級(jí)技巧與性能優(yōu)化當(dāng)問(wèn)題規(guī)模變大或函數(shù)計(jì)算昂貴時(shí)這些技巧能幫你節(jié)省大量時(shí)間。6.1 提供解析梯度與Hessian默認(rèn)情況下fmincon使用有限差分法數(shù)值估算梯度。這需要多次調(diào)用目標(biāo)函數(shù)且精度有限。如果你能提供目標(biāo)函數(shù)梯度的解析表達(dá)式能極大提升速度和精度。function [f, g] myObjectiveWithGradient(x) % 計(jì)算目標(biāo)函數(shù)值 f f x(1)^2 sin(x(2)); % 計(jì)算梯度 g [df/dx1; df/dx2] if nargout 1 % 只有當(dāng)需要梯度時(shí)才計(jì)算 g [2*x(1); cos(x(2))]; end end options optimoptions(fmincon, SpecifyObjectiveGradient, true); [x, fval] fmincon(myObjectiveWithGradient, x0, ..., options);對(duì)于Hessian矩陣也是如此HessianFcn。對(duì)于大規(guī)模問(wèn)題提供梯度收益顯著。6.2 并行計(jì)算加速如果目標(biāo)函數(shù)或約束函數(shù)的計(jì)算可以向量化或獨(dú)立進(jìn)行開(kāi)啟并行計(jì)算能成倍縮短時(shí)間。options optimoptions(fmincon, UseParallel, true);在調(diào)用fmincon前確保已經(jīng)通過(guò)parpool開(kāi)啟了并行池。這特別適用于前述的“黑箱”仿真類(lèi)目標(biāo)函數(shù)或者使用多初始點(diǎn)法時(shí)。6.3 變量縮放與預(yù)處理優(yōu)化問(wèn)題的“條件數(shù)”很重要。如果變量x1的范圍是[0, 1]而x2的范圍是[1000, 2000]這會(huì)導(dǎo)致數(shù)值問(wèn)題使算法收斂緩慢。策略縮放變量。引入新的縮放變量y使得x scale * y讓y的各分量量級(jí)大致相當(dāng)。例如令y1 x1,y2 x2 / 1000。在目標(biāo)函數(shù)和約束中都用y來(lái)表示最后結(jié)果再轉(zhuǎn)換回x。這能顯著改善算法的數(shù)值穩(wěn)定性。6.4 利用問(wèn)題結(jié)構(gòu)稀疏性與對(duì)稱(chēng)性對(duì)于大規(guī)模問(wèn)題如果 Jacobian 矩陣約束的導(dǎo)數(shù)或 Hessian 矩陣是稀疏的一定要通過(guò)options告知求解器JacobPattern,HessPattern這能節(jié)省大量?jī)?nèi)存和計(jì)算時(shí)間。在建模競(jìng)賽的超大規(guī)模問(wèn)題中這一點(diǎn)可能至關(guān)重要。7. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄這里匯總了我自己和學(xué)生們?cè)趯?shí)戰(zhàn)中踩過(guò)的坑和解決方法。問(wèn)題現(xiàn)象可能原因排查與解決思路exitflag -2(找不到可行點(diǎn))1. 初始點(diǎn)x0不可行。2. 約束條件相互矛盾可行域?yàn)榭铡?.驗(yàn)證x0將其代入所有約束計(jì)算。手動(dòng)構(gòu)造一個(gè)簡(jiǎn)單的可行點(diǎn)如所有邊界的中點(diǎn)。2.松弛約束暫時(shí)注釋掉部分約束特別是非線(xiàn)性約束看問(wèn)題是否變得可行。逐步添加約束以定位矛盾點(diǎn)。exitflag 0(達(dá)到迭代上限)1. 問(wèn)題太復(fù)雜需要更多迭代。2. 算法在平緩區(qū)域“蠕動(dòng)”收斂慢。1.增加限制options.MaxIterations和options.MaxFunctionEvaluations。2.檢查收斂趨勢(shì)設(shè)置Display, iter看目標(biāo)函數(shù)值是否還在穩(wěn)定下降。如果下降緩慢可能是接近最優(yōu)解可以適當(dāng)收緊OptimalityTolerance或StepTolerance以提前停止。3.更換算法或提供梯度。結(jié)果對(duì)初始點(diǎn)x0敏感問(wèn)題是非凸的存在多個(gè)局部最優(yōu)解。1.多初始點(diǎn)法用MultiStart或GlobalSearch封裝fmincon自動(dòng)從多個(gè)初始點(diǎn)搜索。2.使用全局優(yōu)化器先用ga進(jìn)行全局搜索再用其結(jié)果作為fmincon的初始點(diǎn)。求解速度極慢1. 目標(biāo)/約束函數(shù)計(jì)算耗時(shí)。2. 問(wèn)題規(guī)模大。3. 數(shù)值條件差變量尺度差異大。1.提供解析導(dǎo)數(shù)梯度、Hessian。2.開(kāi)啟并行計(jì)算UseParallel, true。3.進(jìn)行變量縮放。4. 嘗試更高效的算法如對(duì)邊界約束問(wèn)題用trust-region-reflective。得到的結(jié)果明顯不合理(如負(fù)的投資比例)1. 邊界約束lb設(shè)置錯(cuò)誤或未設(shè)置。2. 模型本身有誤如目標(biāo)函數(shù)符號(hào)反了。3. 算法陷入了一個(gè)很差的局部最優(yōu)。1.仔細(xì)檢查模型打印出目標(biāo)函數(shù)和約束在最優(yōu)解處的值手動(dòng)驗(yàn)算。2.檢查邊界確認(rèn)lb和ub是否正確施加。3.從不同初始點(diǎn)重新求解對(duì)比結(jié)果。4.簡(jiǎn)化問(wèn)題先去掉復(fù)雜約束看基礎(chǔ)版本是否合理。fmincon提示“用戶(hù)提供的目標(biāo)函數(shù)返回了NaN或Inf”目標(biāo)函數(shù)或約束函數(shù)在某些x處未定義如除以零、對(duì)負(fù)數(shù)取對(duì)數(shù)。1. 在函數(shù)內(nèi)部添加防御性代碼檢查輸入x的有效性對(duì)非法操作返回一個(gè)很大的懲罰值如1e10引導(dǎo)優(yōu)化器離開(kāi)該區(qū)域。2. 收緊變量的上下界lb,ub避免函數(shù)未定義的區(qū)域。最后再分享一個(gè)我常用的調(diào)試流程從簡(jiǎn)到繁逐步驗(yàn)證。先構(gòu)建一個(gè)最簡(jiǎn)單的、有已知解析解或明顯答案的模型用fmincon求解確認(rèn)代碼框架和模型表述正確。然后逐步添加復(fù)雜的約束和非線(xiàn)性項(xiàng)每加一步都驗(yàn)證結(jié)果的合理性。這樣能最快地定位問(wèn)題所在避免在復(fù)雜的模型里大海撈針。非線(xiàn)性規(guī)劃求解就像偵探破案需要邏輯、耐心和對(duì)細(xì)節(jié)的把握。希望這篇超詳細(xì)的指南能成為你建模工具箱里一件稱(chēng)手的利器。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天堂五月婷婷| 91日精品| 五月婷婷六月丁香色| 操逼六区| 欧美精品中文字幕亚洲专区| 精品久久这里热66| 夜夜天天天天天干天天爽| 久久日曰| 丁香网站| 色天五月天在线观看视频| 久久视网36| 五月婷婷黄网站大全| 中文字幕av在线| 99精品在线下载| 台湾无码A片一区二区| 亚洲妇女熟BBW| 欧美五月婷婷| 日韩无码人妻一区二区三区综合| 五月丁香操婷逼| 激情综合网婷婷五夜| 成人电影在线免费试看| 久色国产| 成人精品一区二区三区四区五区| 色婷婷五月影院| 亚洲色五月| 色情成人五月天| 婷婷五月天国产手机在线视频观看| 六月综合婷婷开心伊人| 日韩一区二区A片免费观看| 国产精品电影网| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 色欲一区二区三区精品A片| 亚洲五月天另类小说图片| ri电影在线| 久草九九| 91久久久久| 色婷网| 婷婷激情综合| 色噜噜婷婷| 婷婷五月天AV| 天天搞天天色综合| AV网址大全在| 婷婷伊人久久无码色五月| www.色综合| 久狠日av| 狠狠色婷婷丁香六月| 五月丁香啪啪啪综合网| 色婷亚洲五月丁香| 嘿嘿视频免费看9| 精品无码久久久久久久久| 五月天综合激情网| 思思热高清在线观看| 激情五月天色| 中文字幕精品推荐免费在线观| 亚洲色频| 色5月婷婷色| 99九九精品| 深爱丁香网| 五月丁香婷婷综合视频| 抽插特写| 在线观看国产高清视频免费网站| 91爱啪啪| 精品99在线| 婷婷激情五月天小说校园| 99热精品少| 91色九| 丁香六月婷婷操逼网| 婷婷五月天小说| 色情五月婷| 五月天俺去也| 天天干夜夜欢| 色欲香综合网| 99 色色吧| 五月色网| 五月色婷婷中文字幕| 涩涩激情五月婷婷| 韩国不卡AC视频| 成熟妇人A片免费看网站| 天天爽夜爽| 六月丁香色色| 五月婷婷深深爱| 五月婷婷啪| 伊人六月丁香婷婷| 这里只有在线精品| 五月色亭丁香| 日本女va| txt五月激情四射网综合俺也来了| 免费看欧美成人A片无码| 日韩视频99| 色五月婷婷影院| 夜夜骑夜夜撸| 日本人人xxx| 丁香五月婷婷俺也要去| 五月婷婷丁香六月在线| 天天综合亚洲综合| 天天草天天日| 视色综合| 久久婷婷色五月| 色婷婷六月综合| 九月丁香婷婷综合激情| 九九碰九九爱97| 停停五月色宗合| 五月天婷婷涩涩| 狠狠色噜噜狠狠狠狠狠色综合久久| 极品人妻VIDEOSSS人妻| 国产99美少妇| 丁香五月天婷婷91| 久久图色4| 久婷婷久草| 九九香蕉网| 任你爽视频| 亚洲色视频| 99碰碰| 成人在线日韩| 日本熟妇乱妇熟色A片蜜桃| 最新高清无码专区| 激情国产五月| 五月婷婷性爱视频| 女婷久久| 深爱五月激情网| 草AV9999| 色婷婷婷av| 婷婷丁香成人在线视频| 色五月天本日| 精品人人操| 狠狠操狠狠操| 婷婷在线中文字幕| 久久免费丁香| 2015好吊操| 天天在线天天综合网色| 婷婷五月天激情丁香| 色丁香五月婷婷在线| 国产婷婷五月色情综合| 五月丁香激情综合网| 亚洲精品色| 欧美97超碰| 婷婷六月色情| 天天开心婷婷丁香五月| 欧美日韩aaaa| 9|无码久久久久久| 嫩草AV久久伊人妇女超级A| 天天色凹凸| www.九九婷婷| 超碰在线人妻| 婷婷色Av| 五月丁香激情婷婷| 九九黄色网| 丁香五月狠狠在线观看| 97热精品| 五月婷婷香蕉| 日本色五月婷婷| 丁香五月久久| 亚洲狠9| 色蜜婷婷| 秋霞学生妹一二级| 99爱视频免费| 久99热| 色色999三级片| 久久综合中文字幕| 五月丁香999| 51avj视频大全| 久久新地址| 熟妇内谢69XXXXXA片| 九九精品re免费视频| 操操人人| 色999;丁香五月| 天天噜| 婷婷久久综合| 五月婷婷综合影院| 亚洲天天免费| 另类图片五月天| 色啪网| 亚洲韩国日产综合AV| 99热爱爱干干日| 99色色最新视频| 激情五月婷黄版| 1000部毛片A片免费观看| 成人 九九九九| 国产91视频| 甈吧vv| 97操碰在线视频| 九月婷婷| 婷婷色在线视频| 日韩狠狠色婷婷| 亚洲五月停停| 大学生高潮无套内谢视频| 激情五月婷色| 丁香婷婷五月天亚洲| 五月丁香黄色视频| 色婷婷基地| 91AV视频| 色婷婷在线综合色播网| 噜啊噜在线| www99热| 久久182| 久99久视频| 五月丁香色婷| 99精品久久| 亚洲色啪| 伊人成综合五月婷婷| 丁香五月天啪啪| 国产婷婷五月天| 丁香五月综合| 人人草碰| 人妻久久久久久久久妻久久久久| 超碰成人电影| 日本nghangse中文字幕| 丁香 婷婷五月| 日韩精品一品二区三区的使用体验| 风流少妇A片一区二区蜜桃 | 亚洲中文AV网站| 99色激| 婷婷五月中文在线视频| 思思热在线| 波多野结衣成人作品在线| 五月天婷婷色五月天| 五月天狠狠网| www免费在线视频| 色色色干| 日本色色色| 69精品人人人人| 五月狠狠| 天天日天天干天天插天天射| 欧美大肥婆大肥BBBBB| 99丁香五月婷| 五月丁香激情婷婷| 亚洲亚洲人成综合网络| 大香蕉婷婷| 99re这里| 秋霞av吧| ri电影在线| 欧洲一区二区| 97碰操| 天天操天天操综合| 99热这里精品| 国产精品视频| 国产在这里只有精品| 极品另类| 五月丁香狠狠爱婷婷综合| 99rewww| 久re热视频| 亚洲av电影在线| 丁香 婷婷 激情 综合 五月| 2017狠狠干| 色婷婷狠狠18yy| 99er国产| 久久六月天| 无码橾| 岛国av电影网站| 九九色热| 婷婷五月亚洲综合| 中文字幕AV网址| 五月天大香蕉视频| 五月婷婷六月基地| 丁香五月天社区| 九九九九国产| 亚洲免费观看高清完整版AV线| 久久久久9久无码视频| 欧美成性色| 五月丁香婷婷色色色| 丁香五月婷综合| 操逼在线视频| 欧美内射AAAAAAXXXXX| 日本精品99| 色五月婷婷老师| 1024AV视频| 精品99久久久久成人网站免费| 久久五月视频| 五月色婷婷中文字幕| 亚亚州久久高潮| 丁香婷婷五月色综合| 欧美激情丁香五月天久久婷婷一区| www色婷婷| 色九九九九| 五月婷婷天| 久操香蕉| 日日做夜夜爱| 五月天色软件| 97色婷婷五月天| 欧美人与性动交CCOO| 99在线精品视频免费| 九九碰九九爱97超| 中文字幕综合| 影音先锋一区| 五月丁香久久呀| xxx.色婷婷| 婷婷丁香久久| 深夜男女福利刺激影院一区完整| 国产成人AV在线播放| 日韩AV一区二区三区| 五月丁香婷婷成人综合网| 五月综合激情久久| 99成人无码| 久久精品国产AV一区二区三区 | 婷婷六月啪啪| 狠狠舔| 久久久99久久| 超碰人人操人人干| 久久综合九九| 亚洲第一黄网| 婷婷九月色| 色播婷婷五月天| 丁香伊人网| 99热热这里只精品996小说| 极品人妻VideOssS人妻| CAoub青青超碰| 五月天色丁香| 91九色超碰正在播放| 欧美成人色婷婷| 九热视频免费观看| 99热在线播放| 91综合色| 国产67194| 97精品综合久久| 亚洲成人免费在线| 中文网AV| 久久曰曰| 五月丁香六月婷婷中合网| 婷婷六月天| 婷婷色五月天第7色| 丁香五月天堂网| 99久久国产成人精品| 这里只有精品久久| 天天摸,天天爽| 亚洲妇女熟BBW| 26uuu激情五月天| 五月天网址在线刘玥| 国产免费一区二区三区三州老师F1F1.CC | 丁香花大香蕉婷婷综合| 欧美人人草| 久99久视频精选| 婷婷五月丁香六月| 超碰二区| 99热地址| 五月花成人网| 狼人伊人天堂| 99久热这里只有精品| 婷婷色偷拍| 五月丁香激情综合网| 永久免费一区二区三区| 久久九区| 六月欧美综合色情| www.91av.com| 五月丁香啪啪伦理电影| 国产资源在线视频| 五月婷婷激情综合网| 九九视频网| 欧美搡BBBBB摔BBBBB| 久久五月丁香综合17C| 春色激情| 99热都是精品| 99操逼视频| 开心激情综合| www.五月婷婷久久.com| 亚洲99一级无嗎特制在线| 激情综合网五月激情网| 青青草轻轻操| 色99视频| 天天色天天爱天天爽| 碰久久精品w| 99视频激情四射| 97视频91| 五月天婷婷色| 丁香五月婷婷狠狠色| 九色PORNY9l原创自拍| www.日韩艹| 碰久久精品w| 日韩黄色电影| 欧美激情五月综合| 啪啪日热| 五月婷婷色| 丝袜人妻| 成人国产欧美大片一区| 丁香六月婷婷色XXXXX| 久久婷婷国产| 精品一二三区久久AAA片| 99re思思精品在线观看| av第一二区| 99免费热视频在线| 青青青在线视频国产| 婷婷五月天在婷| 六月婷婷色色色| 五月婷婷干干干| 九九九九精品精| 色五婷婷开心缴| 四虎成人精品永久免费AV九九| 五月综合色| 色综合网综合| 操逼三区| 亚洲色五月| 久久性爱视频这里只有精品| 婷婷激情九月| WWW.久久.COM| 激情五月激情综合网| 九九精品在线视频观看| 婷婷五月天久草在线| 国产激情婷婷| 婷婷丁香六月五月天| 91聚色综合网| 色播婷婷五月天| 婷婷五月天,影院| 日本欧美999久久久三级片| www.色综合| 深爱五月天 开心网| 婷五月天丁香婷五月| 激情六月综合| 久久这里有精品视频| 99热在线精品观看| chaopengdaxiangjiao| 99爱视频在线播放| 激情五月综合色| 精品视频二级九九| 97干97色| 淫荡工a| 97人人搞| 久久久久久五月天| 97碰碰人人| 五月婷婷婷婷婷婷艺术| 99在线视频播放| 成人免费120分钟啪啪| 亚洲五月天激情| 精品婷婷五| 人妻Av在线| 99精品亚洲| 天天操天天日天天操| 99热热热国产超碰| 成人视频网| 亚洲激情五月| 色婷婷丁香五月天在线视频| 久久Xx| 超碰v| 亚洲色五月婷婷| 性色播| 91刘玥视频在线观看| 99∨VTV| 丁香五月天啪啪a日本| 四色综合网| 色婷婷精| 丁香五月性爱| 97碰碰视频| 狠狠狠人妻| 99干日本| 天天看A片| 婷婷五月天99| 五月婷精品| 亚洲无码影音| www色五月| 日日操夜夜骑| 日日色五月天| 九九AV在线| 67194中文在线| 天天日夜夜拍| 天天操婷婷| 蜜桃婷婷丁香五月天狠狠久久综合| 九色在线观看91av| 蜜乳av一级av| 人人爽天天爽| 激情久久丁香| 久热只有这里精品| 激情六月下句是什么| 1999天天操夜夜操| 激情九月丁香婷婷| 91超碰人人操| 五月天久久综合| 五月婷婷在线观看| ri电影在线| 午夜成人综合| 九九艹女| 99成人| 色五月婷婷在线| 五月丁香花激情综合网| se色99| 99热国内精品| 狠狠色狠狠色综合日日91| 婷婷五月天成人| 91色噜噜狠狠狠狠色综合| 婷婷丁香五月天中文字幕| 亚洲AV成人精品日韩在线播放| 99久高清视频| 91精品激情9| 色五月天综合网| 婷婷色五月婷| 婷婷亚洲色| 五月天婷婷色播综合在线| 成人午夜视频精品一区| 97干在线| 亚洲成人超碰| 色五开心五月五月深深爱| www色婷婷久久综合久色| 久久久.COM| 精品导航在线x不卡| 爱99干99| 深爱五月天| 人妻中文在线| 天天综合五月天| 乱色色色| 九九久久99| 永久思思热在线| 午夜婷婷久久| AV在线不卡网站| 欧美性生交xXxX久久久| 九九热精品| 五月婷婷av| 激情综合五| 九九热精品视频九九| 99极品视频| 9+1视频网址| 伊人久久大香蕉网| 香蕉97碰碰碰超视精品| 久久九九思思| 乱乱av| 五月天婷婷激情| 日日干天天爽| 玖玖综合网| 9l视频自拍九色9l视频在线观看| 人妻啪啪啪| 五月 婷婷 成人| 色综合五月在线| 婷婷五月天成人在线视频| 99久超碰| 99人人操人人操人人精| www.99热这里精品| 丁香五月婷婷亚洲激情四射| 九九99九九精品视频| 婷婷色五月大香蕉在线| 久久久99精品免费观看| 午夜少妇在线观看视频| 婷婷操逼| 99热这里只有精品99| 在线日韩视频| 色五月激情网| 人人摸人人澡人人| 成人va在线播放| 欧美日韩一区二区三区四区| 六月丁香激情婷婷| 天天模,夜夜模夜夜爽| 99久久黄色顶级视频| #NAME?| 万月丁香狠狠爱| 久久综合九色综合97婷婷| 双性美人被调教到喷水A片| 亚洲色网址| 亚洲色五月| 操97| 91狠狠综合久久久久久| 九九99免费视频| 久久五月激情综合| www.色色五月天.com| 久久婷网| www.99热视频| PORNY九色9l自拍视频成人| 日韩一级网站| 久久婷婷五月天激情四射| 色婷婷天堂| www久久艹| 第四色五月婷婷| 激情婷婷五月天| 涩婷婷五月天在线精品视频| 色五月大| 激情婷婷丁香五月天| 97婷婷丁香| 成人在线不卡| 亚洲热久久| 人妻内射视频| 4399成人黄A片| 久久99热这里只频精品6学生| 天天干天天干天天干| 在线播放中文字幕| 国产成人精品亚洲线观看| 99爱视频在线观看| 99热超碰在线| 国产古装妇女野外A片| 国产看真人毛片爱做A片| 九九在线热九九在线热99热| 色啦啦视频| 色图亚洲91| 69久久久| 99九九中文字幕视频| 久操干| 丁香花五月天激情| 色人久久| 丁香五月狠狠在线观看| 日韩AAA| 亚洲婷婷婷| 丁香五月婷婷天| 国产精品香蕉| 色久综合| 九九色逼| 天天插天天插| 五月天色综合| 婷婷五月天天| 成人视频免费观看高清完整版在线观看| 婷婷性爱综合| 四季8848精品成人免费网站| 亚洲成人影视在线| 久久激情婷婷| 99综合自拍| 五月丁香激情四射综合| 激情黄色小说色五月| 久久草大香蕉| 色综合xx| 中文字幕乱轮| 99在线精品视频| 久久综合性| 日本三级日本三级99| 思思久久99热只有频精品66| 五月天婷婷色综合| 色噜噜五月天| 国产婷婷色五月| 五月天婷婷在看| 99爱免费视频| 九九99热| 激情深爱五月天| 怡红院AV亚洲一区二区三区H| 丁香五月色情av| 九九亚洲无码| 精品99这里有| 日日操日日射| 狠狠色成人影片| 99久久婷婷| 久久久免费精彩视频| 五月丁香六月激情| 视频一区二区在线| 超碰二区| 二人电影免费版在线观看| 久久五月婷婷开心网| 亚洲va在线∨a天堂va欧美va| 久久婷婷综合基地| 欧美槡BBBB槡BBB少妇| 任你弄在线视频免费| av第一二区| 99亚洲精品视频在线观看| 激情婷婷丁香色情五月天| 丁香六月成人| 色色99| 精品亚洲国产成AV人片传媒| 久久丁香九| 亚洲av免费在线| 国产精品五月丁香| 激情内射p| 99热老网站| 国产69久久久欧美黑人A片| 热婷婷久| 天天综合网、天天综合色 | 婷婷久久久| 91五月花丁香| 先锋资源91| 色噜噜伊人| 久久色五月天综合网| 超碰在线观看9| 天天舔天天爽| 真实熟女-91九色| 色玖玖爱| 久久成人精品视频| 亚洲综合五月天婷婷| 五月丁香六月欧美综合网站| 国产干逼片| 99网址在线看| 亚洲综合婷婷五月| 婷婷五月综合色拍| 亚洲欧洲中文日韩久久AV乱码| 怡红院91a√| www久久99com| 激情综合激情五月一起草| 淫视馆aV二区一区| 五月丁香久久综合91| 色呦呦美女| 六月伊人婷婷| 玖玖午夜视频| 在线另类| 亚洲 欧洲 国产 伦综合| 久久五月天婷婷视频| 99热这里只有精品22| 91狠狠综合久久| 国产精品成av人在线视午夜片| 久久婷婷网站| 丁香五月天无码| 99热在线观看精品| 成人网在线观看视频| 天堂久久婷婷| 天天色色婷婷| 综合色色婷婷| 男女啪啪做爰高潮无遮挡| 色五月婷婷影院| 桃色激情婷婷伊人网| 天天干,夜夜爽| 99在线精品免费视频| 九九干视频| 丁香婷婷五月六月天| 婷婷久久五月天丁香| 1024操逼| 久久久久久9| 深爱激情av| 婷婷丁香五月亚洲| 区啪精品| 日韩99色| 99色色| 九九色婷婷五月天| 婷婷伊人綜合中文字幕| 色色色无码| 天天爽天天干| 狠狠色大香蕉| 无码激情精品色婷婷久久久久| 婷婷综合色图| 婷婷五月天久久| 五月丁香A片| 丁香色情五月天| 五月激情在线| 丁香婷婷老熟女综合网| 色五月婷婷av| 丁香五月电影| AA片在线观看视频在线播放| 91viP在线看| 怡红院一二三| 国产乱妇乱子在线播视频播放网站| 九热精品| 日本五月婷婷| 丁香网五月天| 天天干,天天舔| 天天草天天爽| 国产女18毛片多18精品| 久久99激情| 99日本黄站| 丝袜熟女一区二区三区| 五月开心六月婷婷在线播放网站| 激情综合五月天| 色五月激情综合网站| 情情五月天色| 久久婷婷综合五月天| 免费亚洲成人电影AV| 丁香婷婷六月在线资源观看| 能看的AV| 亚洲操人| 亚洲无码yw| 另类国产欧美视频| 婷婷综合网伊人| 天天干天天拍| 亚洲视频五区| 六月丁香激情网| 丁香婷婷综合激情五月色| 大香蕉综合| 久草大| 99在线视频。| 色五月丁香激情视频| 激情五月小说婷婷| 一区二区免费看| 激情綜合W W W,激情五月天| 91夫妻视频| 99精品视频在线6| 97视频91| 91精品又长又大又粗又爽又猛| 天天干天天操天天上| 91色色色| 99精品久久| 九色91视频| 欧美一线视频| 五月丁香六月婷婷开心网| 国产精品久久久爽爽爽麻豆色哟哟| 日韩色色小视频| 九九视频在线免费视频| 五月综合激情| 国产亚洲在线观看| 爱婷婷都市激情| 香蕉五月婷婷| 亚洲激情免费视频| 婷婷99视频在线| 无码天天操| 丁香色五月 97干| 99久久99九九99九九九| 欧美精产国品一二三区| 久xxxx| 婷婷丁香在线播放| 免费无码毛片一区二区A片 | 色综合色综合色综合| 99re这里只有精品在线观看| 九九9久九9国产视频| 欧美日韩AAAAA| 五月天桃色深爱网| 99热综合| www99热| 伊人网碰碰| 67194中文字幕| 美欧成人视频| 六月丁香五月天| www网站在线观看| 婷婷激情五月天视频在线| 1024操逼| 色五月色综合| 国产精产国品一二三在观看| 丁香八月综合激情| 拍真实国产伦偷精品| 婷婷五月成年人| 色婷婷五月天| 五月丁香六月在线欧美| 色99网站| 天天射影| 九九综合| 有码人妻久久| 色五月激情五月| 99热这里只有精品10| 婷婷五月成人| 成人噜噜网| 99啪啪| 九九热精品| 激情五月天影院| 99热99ai| 97天堂| 天天上天天爽| 99噜噜噜在线播放| 天天拍久久| 97人碰人操| 婷婷五月天综合中文| 亚洲av电影网站| WWW,婷婷,COM| 免费播放AV| 久久婷婷成人综合色怡春院| 久久机热探花| 人妻久久久| 亚洲婷婷婷| 亚洲最大在线| 天天看A片| av狠狠操| 99在线观看这里都是精品| 欧美成人精品A片免费一区99| 亚洲精品乱码久久久久99| 99热精品免费| 五月激情丁香五月宗合| 一点色成人网| 天天操夜夜玩!| 色婷婷狠狠| 免费久久这里只有精品99| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 婷婷五月天中文字幕| 玖玖午夜视频| 99人人干| www.色五月| 99热日本| Aaa久久| 99热这里只有精品3| 久草丁香婷婷五月天婷| 性生活视频98791| 三级三久久线久久99久目本WW| 激情六月婷婷| 秋霞簧片| 无码人妻一区二区一牛影视| 99在线精品视频| 综合久久影院| 欧美成人va| 丁香五月婷婷呀| 99精品国产乱码久久久人妻| 五月婷婷精品无在线| 香蕉色色网| 激情久久丁香| 五月丁香激情综合| 99操99| 久99久热只有精品国产99| 婷婷狠狠爱| 久热99热| 亚洲精品网站色视频| 亚洲V国产V欧美V久久久久久| 国产精品激情五月天色婷婷| 丁香五月婷综合| 九九热精品99| 婷婷中文字幕| 久久99久久99久久99人受| 色综合久久99色| 99精品在线观看视频| 管管補管管紱| 99天堂在线观看免费视频| 可以看的av网站| 久操福利| 天天日夜夜拍| 五月社区婷婷激情| 99久久色| 99热99干| 99人这里只有精品| 色婷婷AV久久| 丁香六月婷婷开心| 久久五月天综合视频网站| 婷婷五月丁香青青草在线| 激情五月小说婷婷| 日韩999| 嫩草AV久久伊人妇女超级A| www.99成人视频| 五月丁香六月婷婷久久肏| 99色色网| 色天天综合成人网| 香蕉网久久| 婷婷色五月天在线观看| 亚洲色情激情丁香五月| 日韩婷久| 九九av| renre人人操国产超碰在线| 97丁香视频| 色综合久久天天综合网| 5月色亭亭视频| 色综合色综合色综合| 成人在线视频网| 五月丁香少妇A| 国产色香蕉精品五夜婷| 91操人视频| 五月激情另类| 色五月综合97| 丁香五月婷婷啪啪| 日本激情五月| 思思99久久| 亚洲精品一区中文字幕乱码| 六月色播| 亚洲天堂久久| 婷婷操无码| 久久久99免费视频| 六月丁香婷婷色综合| 91人人爽狠狠狠| 97色天堂| 成人无码髙潮喷水A片| 婷婷五月天狠狠色| 国产永久一二一起草| 中文字幕操比影片| 91九色在线| 五月婷婷婷自由综合| 久操干| 国产人妻人伦精品一区二区| 天天综合网在线| 丁香亭亭久久| 六月丁香开心婷婷欧美| 操人91| 婷婷五月激情在线| 99久久婷| 色色色色丁香| 成人欧美日韩| 五月天婷婷色小说| 久久多色| 色网五月婷婷| 婷婷五月花| 99er视频在线| 99在线观看| 超碰永久在线| 日本丁香五月| 色五月人妻| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 99综合视频在线| 久操香蕉| 婷婷金品综合视频| 丁香六月色婷婷| 深爱五月激情综合| 第五婷婷伊人丁香| 综合色久| 五月丁香激情综合| 久久奄也去色色网站| 99操无码视频观看| 刘玥精品一区| 天天干夜夜谢| 日日噜狠狠色综合久| 婷婷色系婷色| 婷久久| 99ri6在线视频| 激情五月天婷婷| 狠狠穞A片一區二區三區| 婷婷五月天影视| 丁香五月香蕉| Av在线资源| 成人精品一区日本无码网 | 五月综合丁香婷婷| 色www99| 99免费视频| 狠狠激情五月天| 蜘蛛女免费观看完整版高清电影| 国产免费av在线| 在线观看免费观看在线9久| 另类专区在线观看| 99思思热只有在这里看 | 99热精这里只有精品| 91超碰在线观看| 996黄色片| 99国产精品久久久久久久久久久 | 亚洲成人av在线| 亚洲成人av中文| 性无码专区无码| 婷婷色丁香五月| 日韩色五月| 亚洲综合丁香婷婷六月天| 五月激情综合网| 久久 中文 日本| 99色爱| 五月丁香婷婷综合网| 天天日夜夜| 欧美性爱5月天天天看| 婷婷久久欧美| 另类专区在线| 成人网站高清无码| 激情五月天天| 操人无码| 97精品欧美91久久久久久久| 操操操Av| 97色色色视频| 就爱啪啪婷婷| 婷婷五月丁香综合亚洲 | 婷色五月天| 六月丁香色婷婷| 99色丁香婷婷综合网| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 激情五月五月五月婷婷| 激情五月天色| 一起草Av| 亚洲综合成人网站| 免费在线观看av网站| 色五月激情五月| 色色五月婷婷| 另类激情五月| 九九热精品视频| 久久婷婷五月天亚洲欧美| 五月激情综合激情五月| 色噜噜狠狠色综合无码久久欧美| 五月婷婷亚洲| 大香蕉伊在| 婷婷丁香五月社区亚洲| 亚洲日本韩国| 99热这里只有精品2| 九九大香蕉黄色影院| 五月天涩涩| 思思色综合网站| 激情com| 亚洲综合99| 色噜噜五月天| 夜夜爱爱亚洲| 色天使久久综合| 嫩草极品| 九九AV| 99热这里只有精品在线| 九九热啪啪| 色噜噜狠狠一区二区三区| 夜夜操天天爽| 九九这里精品| 精品福利911| 99热国产这里只有| 六月丁香啪| 丁香五月在线人妻| 超碰在线免费| 美女黄频aⅴ视频| 久久999久久999久久999久久| 五月天堂六月丁香亚州中文字幕久久 | 台湾综合丁香五月蜜桃| 97色在线| 五月婷婷丁香| 欧美日韩99| 亚洲在线操| 强伦轩人妻一区二区电影| 亚洲无码成人网| 色约约视频一区二区三区四区五区| 天天综合天综合久久网| 黄急一级视频| 无码免费人妻A片AAA毛片西瓜| 成人精品一区日本无码网 | 激情综合青草| 五月花婷婷在线精品视频| 丁香六月综合激情| 激情久久久| 大香蕉九九| www.色综合| 99久视频| www.zbzhongsen.com| 欧美在线操| 色婷婷六月天| 婷综合| 九九热av| 91丨九色丨43老版熟女| 无码色色色色色| 色婷婷成人| 婷婷五月激情的图片| 婷婷五月天AV网| 色五月天影视| 色五月丁香六月资源站| 亚洲美女婷婷五月天| 婷婷五月综合婷婷| 久久婷婷五月国产色综合激情| 丁香五月综合久久八| 久久机热这里只有精品免费视频| 99热伊人| 婷婷五月丁香五月| 色婷婷色99国产综合精品| 婷婷五月天激情网| 99re热精品在线视频| 精品九九在线观看视频| 丁香婷婷五月天网站| 91热er| 狠色狠色狠色狠色狠色网| 99精品7| 婷婷五月综合视频| 第四色26uuu| 五月丁香六月婷婷的女人| 四色AVwww| 精品色| 女人被男人吃奶到高潮| 婷婷五月激情欧美| 久久久com| 九九久久99| 成熟妇人A片免费看网站| 99精品视频在线观看| 这里只有精品96| 免费色婷婷| 日韩天堂久久| 日本99视频精品免费播放| 五月激情婷婷综合| 九九色精品| 久久五月天综合视频网站| ji'qing'luan'ren'lun| 五月天激情图| 99热在线成人网站| 中文成人在线| 久久作爱| 亭亭五月色男人| 五月天开心网| 69超碰在线| 色婷婷色和| 久久综合婷婷五月| 九九亚洲视频| 青青草搞屄视频网站| 日韩精品色| 拳交大逼| 久草a片| 九九性视频| 精品夜夜澡人妻无码AV| 激情综合色婷婷啪啪五月天| OUMEIRIHANCHENGREN| 欧美超级视频97| 亚洲AV人人操| 久久五月天激情婷婷| 亚洲99手机免费看视频 | 99精品视频在线6| 日日做夜夜爱| 欧美婷婷五月天| 婷婷五月情| 色色操| 久草丁香婷婷1024| 婷婷激情四射五月天| 日韩av在线电影| 久鲁鲁色网| 五月天a婷婷伊人| 色狠狠色噜噜AV天堂五区消防| 99操免费视频| 亚洲色五月| 噼里啪啦完整版中文在线观看| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 91色在线 | 日韩| 另类图片天天影视在线观看| 美妞av| 激情网婷婷婷| 99久久99久久| 99热精品在线| 操逼五月婷婷| 欧美亚洲成人在线| 亚洲精久久| 99热日| 五月婷婷啪啪| 丁香六月五月天| 超碰亚洲欧美| 婷婷久久图片| www.zbzhongsen.com| 丁香五月视频在线观看| 天天天天爽爽天干| 日本啪啪网| 丁香网站| 色爱爱综合网| 一逼色综合| 六月婷婷日| 狠狠操狠狠操AV| 二色av| 强辱丰满人妻HD中文字幕| 婷婷五月综合网激情| 天天射美女| 美女激情婷婷| 亚洲无码99| 香蕉综合网| 在线观看视频1区| 五月天综合激情网| 久99| 在线A色| 色色色综合网| www超碰| 丁香五月大香蕉在线99| 久操干| 天天天天天天天干| 中文在线视频久1| 91日本在线观看| 日韩黄色中文字幕| 久久精品91视频| 婷婷五月天国产手机在线视频观看| 亚洲综合热| 天天狠狠夜夜狠狠2023| 婷婷色在线视频| 99在线播放视频| 农村熟妇高潮精品A片| 九九99男女视频在线观看| 五月婷婷丁香| 久久久精久人妻| 婷婷丁香花五月天| 精品欧美性爱超级爽| 丁香综合久久| 激情婷婷五月女| 激情五月com| 香蕉操亚洲| 九九性视频| 一操久久| 婷婷丁香五月天欧美| 亚洲色99| 99热最新网址| 另类丁香综合| 五月天婷婷自拍图片在线观看| 天天狠天天叉| av九九| 色色色色色色五月婷婷| 99热这里只有精品10| 这里只有精品视频免费在线观看| 色婷婷亚洲婷婷| 天久久久久| 色 丁香婷婷| 操人久久| 丁香五月花影院| 欧美性爱五月天| 五月天精品综合| 99热九九热| 高清 码 免费看片短视频| 久久只有这里精品免费| 五月婷婷六月丁香综合| 99热精品中文字幕| 丁香六月婷婷综合| 77777亚洲午夜久久| 激情丁香淫荡婷婷| 婷婷刺激综合| 少妇性BBB搡BBB爽爽爽电影| 久久99久久99精品免观看粉嫩| 俺去也在线官网| 丁香啪啪| 婷婷五月天首页激情| 亚洲第一色网站| 91久久电影| 在线中文AV| 99久久99久久综合| 日本色色色| 丁香五月偷拍| 九色激情网| 五月五丁香婷婷| 婷婷五月天色| 婷婷干六月综合旧址| 色五月丁香一区在线| 婷婷丁香花五月天| www91色网站| 狠狠色婷婷7| 99狠狠| 日本波多野结衣视频| 99热情这里只有精品在线播放| 丁香六月久久| 超pen个人视频97| 色九月婷婷| av人人干| 青草青草视频2免费观看| 九九99免费理论| 99色精品| 国产AV一区二区三区最新精品| 五月婷婷丁香综合| 情婷婷五月天| 成人精品视频99在线观看免费| 丁香五月综合婷婷| 天天五月天综合网址| 三十熟女| 婷婷香香五月|