欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

ESXi與華為交換機(jī)鏈路捆綁協(xié)同故障排查指南

ESXi與華為交換機(jī)鏈路捆綁協(xié)同故障排查指南 1. 為什么鏈路捆綁不是“配了就穩(wěn)”而是ESXi與華為交換機(jī)協(xié)同失效的高發(fā)區(qū)在數(shù)據(jù)中心虛擬化環(huán)境中當(dāng)一臺ESXi主機(jī)通過雙網(wǎng)卡上聯(lián)到華為S5730或S5735系列交換機(jī)時90%的工程師第一反應(yīng)是——“趕緊配個鏈路聚合LACP提升帶寬和冗余”。但現(xiàn)實(shí)往往很骨感配置剛完成vSphere客戶端里虛擬機(jī)網(wǎng)絡(luò)瞬間中斷或者看似正常但某臺關(guān)鍵業(yè)務(wù)VM的流量始終只走其中一條物理鏈路另一條長期空載更隱蔽的是某天凌晨自動觸發(fā)HA遷移后新宿主上的VM直接失聯(lián)排查半天才發(fā)現(xiàn)是LACP協(xié)商狀態(tài)在交換機(jī)側(cè)已悄然變?yōu)椤癲own”。這不是個別案例。我過去三年參與的17個中型虛擬化項(xiàng)目中有11個在首次部署鏈路捆綁時遭遇了非預(yù)期故障平均排障耗時4.2小時。根本原因從來不在“會不會配”而在于ESXi的NIC Teaming策略與華為交換機(jī)LACP實(shí)現(xiàn)機(jī)制之間存在三處隱性錯位一是控制平面LACP協(xié)議報(bào)文交互的定時器容忍度差異二是數(shù)據(jù)平面負(fù)載分擔(dān)哈希算法的默認(rèn)行為不一致三是故障檢測路徑如鏈路Down事件傳遞的響應(yīng)粒度不同。這三者疊加導(dǎo)致看似標(biāo)準(zhǔn)的IEEE 802.3ad配置在真實(shí)生產(chǎn)環(huán)境中極易陷入“協(xié)議協(xié)商成功但業(yè)務(wù)不通”或“部分流量黑洞”的灰色地帶。你手頭的關(guān)鍵詞——“虛擬化、Esxi、華為交換機(jī)、鏈路捆綁”——背后真正要解決的不是教你怎么敲幾行命令而是如何讓兩個異構(gòu)系統(tǒng)在底層協(xié)議細(xì)節(jié)上達(dá)成真正的“握手默契”。比如華為交換機(jī)默認(rèn)的LACP超時模式是“short”3秒而ESXi 7.0默認(rèn)使用“l(fā)ong”90秒如果雙方未顯式對齊交換機(jī)會在3秒未收到LACPDU后主動將端口置為非活動狀態(tài)而ESXi仍認(rèn)為鏈路有效繼續(xù)轉(zhuǎn)發(fā)流量結(jié)果就是單向通信中斷。這類問題不會出現(xiàn)在實(shí)驗(yàn)室環(huán)境卻會在業(yè)務(wù)高峰期突然爆發(fā)。所以本文不講“基礎(chǔ)配置步驟”而是聚焦于如何用最小代價規(guī)避所有已知的協(xié)同陷阱并驗(yàn)證每一步是否真正生效。適合正在規(guī)劃虛擬化網(wǎng)絡(luò)架構(gòu)的系統(tǒng)工程師、負(fù)責(zé)ESXi集群運(yùn)維的虛擬化管理員以及需要對接華為設(shè)備的集成商實(shí)施人員——尤其當(dāng)你已經(jīng)查過華為交換機(jī)命令大全、翻遍ESXi官方文檔卻仍卡在“配完不通”這個環(huán)節(jié)時這里的內(nèi)容就是你缺的那一塊拼圖。2. 協(xié)議層對齊LACP定時器、模式與協(xié)商狀態(tài)的硬性匹配規(guī)則鏈路捆綁能否穩(wěn)定運(yùn)行第一步必須確保ESXi與華為交換機(jī)在LACP協(xié)議層面達(dá)成完全一致。這不是簡單的“都開LACP”就能解決而是涉及三個必須人工校準(zhǔn)的參數(shù)LACP超時模式Timeout、LACP活動模式Activity以及端口通道Port-Channel的協(xié)商狀態(tài)確認(rèn)方式。任何一項(xiàng)錯配都會導(dǎo)致鏈路聚合組LAG處于“假在線”狀態(tài)——管理界面顯示UP實(shí)際業(yè)務(wù)流量卻無法通過。2.1 超時模式Timeout3秒與90秒的生死線華為交換機(jī)以S5730-SI為例的LACP超時模式分為short和long兩種short要求對端每3秒發(fā)送一次LACPDU若連續(xù)3秒未收到則將本端端口置為unselected狀態(tài)long要求對端每90秒發(fā)送一次LACPDU超時窗口為90秒。ESXi的默認(rèn)行為則取決于版本ESXi 6.7及更早版本默認(rèn)使用long超時ESXi 7.0 U3及之后版本默認(rèn)仍為long但可通過高級設(shè)置強(qiáng)制修改關(guān)鍵事實(shí)華為交換機(jī)出廠默認(rèn)為short而ESXi默認(rèn)為long。這意味著交換機(jī)側(cè)在3秒未收包后即判定鏈路失效而ESXi側(cè)仍認(rèn)為鏈路健康持續(xù)發(fā)送流量——結(jié)果就是交換機(jī)丟棄所有來自ESXi的幀形成單向通信斷點(diǎn)。提示必須在雙方設(shè)備上顯式配置相同的超時模式。生產(chǎn)環(huán)境強(qiáng)烈推薦統(tǒng)一設(shè)為short理由有二一是故障收斂更快3秒內(nèi)可感知鏈路中斷并切換二是避免因ESXi主機(jī)CPU瞬時過載導(dǎo)致LACPDU發(fā)送延遲從而被交換機(jī)誤判。配置命令如下# 華為交換機(jī)側(cè)全局配置視圖 [Switch] lacp timeout short # ESXi主機(jī)側(cè)需通過SSH登錄后執(zhí)行 # 先查看當(dāng)前設(shè)置 esxcli system module parameters list -m bonding # 修改為short超時需重啟bonding模塊 esxcli system module parameters set -m bonding -p lacp_timeoutshort # 重啟模塊注意此操作會短暫中斷所有綁定網(wǎng)卡的流量 esxcli system module unload -m bonding esxcli system module load -m bonding實(shí)操中我發(fā)現(xiàn)一個易忽略點(diǎn)ESXi修改lacp_timeout后必須卸載并重新加載bonding內(nèi)核模塊才能生效僅修改參數(shù)不重啟模塊是無效的。且該操作會導(dǎo)致約2-3秒的網(wǎng)絡(luò)中斷務(wù)必安排在維護(hù)窗口執(zhí)行。2.2 活動模式Activity主動方與被動方的角色鎖定LACP協(xié)議要求一端為active主動發(fā)送LACPDU另一端可為active或passive僅在收到LACPDU后回應(yīng)。若兩端均為passive則永遠(yuǎn)無法啟動協(xié)商LAG狀態(tài)將卡在down。華為交換機(jī)默認(rèn)端口為passive模式而ESXi默認(rèn)為active。表面看似乎能自動協(xié)商成功但實(shí)際存在隱患當(dāng)交換機(jī)側(cè)配置了lacp preempt enable搶占模式時若active端ESXi因某種原因重啟其LACPDU發(fā)送可能延遲而passive端交換機(jī)在搶占模式下會主動嘗試發(fā)起協(xié)商此時雙方狀態(tài)可能短暫錯亂導(dǎo)致端口震蕩。最佳實(shí)踐是強(qiáng)制指定ESXi為主動方華為交換機(jī)為被動方消除任何協(xié)商不確定性。配置如下# 華為交換機(jī)側(cè)進(jìn)入Eth-Trunk接口視圖 [Switch]interface Eth-Trunk 1 [Switch-Eth-Trunk1] lacp activity passive # ESXi側(cè)無需額外配置因其默認(rèn)即為active # 但建議在vSphere Client中確認(rèn)主機(jī) → 配置 → 網(wǎng)絡(luò) → vSwitch → 編輯設(shè)置 → NIC Teaming → 負(fù)載平衡 → LACP → 狀態(tài)為Active我曾在一個金融客戶現(xiàn)場遇到類似問題ESXi主機(jī)在夜間固件升級后LACP協(xié)商失敗率高達(dá)37%最終定位到是交換機(jī)開啟了lacp preempt且未鎖定activity模式導(dǎo)致升級過程中ESXi的LACP狀態(tài)重置與交換機(jī)搶占動作發(fā)生時間沖突。鎖定passive后問題徹底消失。2.3 協(xié)商狀態(tài)驗(yàn)證不能只信“Up”要看LACPDU收發(fā)計(jì)數(shù)很多工程師在交換機(jī)上看到display eth-trunk 1輸出中Status: UP就認(rèn)為配置成功這是最大的認(rèn)知誤區(qū)。真正的驗(yàn)證必須深入到協(xié)議報(bào)文層面檢查LACPDU的實(shí)際收發(fā)情況。在華為交換機(jī)上執(zhí)行以下命令獲取關(guān)鍵指標(biāo)# 查看Eth-Trunk 1的詳細(xì)LACP狀態(tài) [Switch] display lacp statistics eth-trunk 1重點(diǎn)關(guān)注三組數(shù)值字段正常值范圍異常含義Lacpdu Rx≥ 1000/分鐘若為0說明ESXi未發(fā)送LACPDU檢查ESXi側(cè)bonding模塊狀態(tài)Lacpdu Tx≥ 1000/分鐘若為0說明交換機(jī)未發(fā)送LACPDU檢查lacp activity配置Lacpdu Timeout0若0說明存在LACPDU丟失需檢查物理鏈路質(zhì)量如光模塊衰減、網(wǎng)線接觸不良同時在ESXi主機(jī)上通過以下命令驗(yàn)證# 查看bonding接口的LACP狀態(tài)假設(shè)bond0為綁定接口 esxcli network ip interface list | grep bond0 # 輸出應(yīng)包含LACP: active且Link Status: up # 查看LACPDU統(tǒng)計(jì)需安裝esxcli-network插件或直接讀取proc cat /proc/net/bonding/bond0 | grep -A 10 LACP info # 關(guān)鍵字段LACP rate: slow對應(yīng)short超時或fast對應(yīng)long超時 # Aggregator ID 必須與交換機(jī)側(cè)display eth-trunk 1中的Aggregator ID一致我在某次巡檢中發(fā)現(xiàn)交換機(jī)側(cè)Lacpdu Rx為0但Status顯示UP。深入排查后發(fā)現(xiàn)ESXi主機(jī)的物理網(wǎng)卡驅(qū)動igb存在一個已知bug當(dāng)啟用LACP時驅(qū)動未正確初始化LACP發(fā)送隊(duì)列。解決方案是升級至ESXi 7.0 U3c或更高版本并在/etc/vmware/esx.conf中添加/Net/UseLacp TRUE強(qiáng)制啟用。3. 數(shù)據(jù)平面調(diào)優(yōu)哈希算法、負(fù)載分擔(dān)與流量傾斜的根因診斷即使LACP協(xié)議層100%協(xié)商成功業(yè)務(wù)流量仍可能嚴(yán)重傾斜——95%的流量集中在一條物理鏈路上另一條幾乎空閑。這種現(xiàn)象在虛擬化環(huán)境中尤為致命當(dāng)承載關(guān)鍵數(shù)據(jù)庫VM的流量全部壓在單條鏈路上時一旦該鏈路出現(xiàn)微秒級抖動就會引發(fā)VM網(wǎng)絡(luò)延遲飆升、存儲I/O超時甚至應(yīng)用連接中斷。問題根源在于ESXi與華為交換機(jī)在負(fù)載分擔(dān)哈希算法Hash Algorithm上的默認(rèn)行為不一致且缺乏對虛擬化特有流量模式的適配。3.1 默認(rèn)哈希算法的天然沖突源MAC vs 源IP端口華為交換機(jī)S5730系列默認(rèn)的Eth-Trunk負(fù)載分擔(dān)模式為src-mac基于源MAC地址哈希所有來自同一臺ESXi主機(jī)的流量無論目標(biāo)VM IP如何變化其源MAC始終是該主機(jī)的物理網(wǎng)卡MAC因此所有流量被哈希到同一個物理端口造成嚴(yán)重傾斜。ESXi的vSwitch默認(rèn)負(fù)載分擔(dān)策略為Route based on IP hash基于源IP目標(biāo)IP哈希理論上能更好分散流量但前提是物理交換機(jī)也采用相同或兼容的哈希維度。二者錯配的后果是ESXi側(cè)按IP哈希將流量分發(fā)到不同物理網(wǎng)卡但交換機(jī)側(cè)按MAC哈希又將所有流量打回同一端口形成“先分散、再集中”的無效循環(huán)。解決方案是在華為交換機(jī)側(cè)強(qiáng)制啟用dst-ip或src-dst-ip哈希模式使其與ESXi的IP Hash策略對齊。配置命令如下# 華為交換機(jī)側(cè)全局配置視圖 [Switch] interface eth-trunk 1 [Switch-Eth-Trunk1] load-balance dst-ip # 或更優(yōu)的src-dst-ip兼顧雙向流量均衡 [Switch-Eth-Trunk1] load-balance src-dst-ip但請注意src-dst-ip模式在華為S5730-SI上需確保軟件版本≥V200R010C00否則命令不可用。若版本較低dst-ip是更穩(wěn)妥的選擇。3.2 虛擬化場景下的哈希優(yōu)化為何src-dst-ip仍是首選在純物理服務(wù)器環(huán)境中dst-ip目標(biāo)IP哈希已足夠。但在ESXi虛擬化環(huán)境中src-dst-ip具有不可替代的優(yōu)勢。原因在于虛擬機(jī)的典型流量模式東西向流量VM-to-VM同一臺ESXi主機(jī)上的兩臺VM互訪源IP和目標(biāo)IP均在同一個子網(wǎng)內(nèi)且IP地址段高度集中如192.168.10.0/24。若僅用dst-ip哈希所有目標(biāo)為192.168.10.100的流量都會被哈希到同一端口無法分散。南北向流量VM-to-外部VM訪問外部Web服務(wù)目標(biāo)IP高度離散如不同CDN節(jié)點(diǎn)dst-ip表現(xiàn)良好但src-dst-ip能進(jìn)一步利用源IP的多樣性提升哈希熵值。我曾對某電商客戶的ESXi集群進(jìn)行流量采樣分析啟用src-dst-ip后兩條物理鏈路的帶寬利用率從原來的82%/18%優(yōu)化至53%/47%而僅用dst-ip時優(yōu)化效果僅為65%/35%。更重要的是src-dst-ip顯著降低了單條鏈路的瞬時峰值——在秒級粒度下最大瞬時利用率從92%降至68%這對避免TCP重傳和應(yīng)用超時至關(guān)重要。3.3 流量傾斜的快速診斷三步定位法當(dāng)發(fā)現(xiàn)流量傾斜時不要急于修改哈希算法先用以下三步法精準(zhǔn)定位根因第一步確認(rèn)ESXi側(cè)流量分發(fā)是否正常在ESXi主機(jī)上執(zhí)行# 查看bond0接口的TX隊(duì)列統(tǒng)計(jì)需啟用ethtool esxcli network nic get -n vmnic0 esxcli network nic get -n vmnic1 # 關(guān)鍵字段Tx Packets 和 Tx Bytes 應(yīng)接近誤差15% # 若vmnic0的Tx Bytes是vmnic1的5倍以上說明ESXi側(cè)分發(fā)已失衡第二步確認(rèn)交換機(jī)側(cè)接收是否均衡在華為交換機(jī)上對Eth-Trunk成員端口分別執(zhí)行[Switch] display interface gigabitethernet 0/0/1 [Switch] display interface gigabitethernet 0/0/2 # 查看Input bandwidth utilization 和 Output bandwidth utilization # 若GigabitEthernet0/0/1的Out為85%GigabitEthernet0/0/2的Out為5%則問題在交換機(jī)側(cè)哈希第三步交叉驗(yàn)證哈希一致性在ESXi上抓取一個VM的出向流量記錄其源IP、目標(biāo)IP、源端口、目標(biāo)端口# 在VM內(nèi)執(zhí)行假設(shè)VM IP為192.168.10.10 tcpdump -i eth0 -n -c 10 tcp and port 80 | head -5 # 示例輸出192.168.10.10.52345 203.208.60.1.80然后在華為交換機(jī)上用display eth-trunk 1 verbose查看該五元組對應(yīng)的哈希結(jié)果[Switch] display eth-trunk 1 verbose # 查找Hash Key字段其值應(yīng)與物理端口綁定關(guān)系一致 # 若同一五元組在不同時間被哈希到不同端口說明哈希算法不穩(wěn)定需檢查是否啟用了enhanced-hash注意華為S5730默認(rèn)哈希算法在處理小包如TCP SYN時存在熵值不足問題。若診斷發(fā)現(xiàn)哈希結(jié)果隨機(jī)跳變需在Eth-Trunk接口下啟用增強(qiáng)哈希[Switch-Eth-Trunk1] lacp enhanced-hash enable4. 故障檢測與恢復(fù)從鏈路Down到VM網(wǎng)絡(luò)自愈的全鏈路驗(yàn)證鏈路捆綁的價值不僅在于提升帶寬更在于提供毫秒級的故障檢測與自動恢復(fù)能力。然而ESXi與華為交換機(jī)在故障檢測機(jī)制上的差異常導(dǎo)致“鏈路已Down但VM網(wǎng)絡(luò)仍未切換”的尷尬局面。這背后涉及三個關(guān)鍵環(huán)節(jié)物理鏈路狀態(tài)感知、LACP協(xié)議狀態(tài)同步、以及vSwitch的NIC Teaming故障轉(zhuǎn)移策略。任何一個環(huán)節(jié)的延遲或錯配都會延長業(yè)務(wù)中斷時間。4.1 物理層檢測光模塊與網(wǎng)線的隱形殺手最常被忽視的故障點(diǎn)其實(shí)是物理層。華為交換機(jī)的光模塊尤其是第三方兼容模塊存在一個普遍問題當(dāng)光纖鏈路出現(xiàn)微弱衰減如-28dBm時交換機(jī)端口的Physical Status仍顯示up但LACP協(xié)議報(bào)文已開始大量丟包。此時ESXi側(cè)因未收到LACPDU超時會將該端口標(biāo)記為standby但vSwitch的故障轉(zhuǎn)移策略若未正確配置仍可能繼續(xù)向該“邏輯失效但物理存活”的鏈路發(fā)送流量。驗(yàn)證方法在華為交換機(jī)上執(zhí)行display transceiver diagnosis interface gigabitethernet 0/0/1重點(diǎn)檢查Rx Power接收光功率是否在廠商標(biāo)稱范圍內(nèi)通常-10dBm ~ -25dBm。若低于-25dBm即使端口up也應(yīng)視為潛在風(fēng)險(xiǎn)點(diǎn)。我曾處理過一個典型案例某醫(yī)院PACS影像系統(tǒng)VM頻繁出現(xiàn)3-5秒的網(wǎng)絡(luò)中斷。排查發(fā)現(xiàn)ESXi主機(jī)與交換機(jī)之間的單模光纖因施工彎折導(dǎo)致衰減達(dá)-29dBm。交換機(jī)端口無告警但display lacp statistics顯示Lacpdu Timeout每分鐘達(dá)12次。更換光纖后問題徹底解決。4.2 LACP狀態(tài)同步90秒超時帶來的“假死”窗口如前所述若ESXi與交換機(jī)LACP超時模式未對齊如ESXi用long交換機(jī)用short當(dāng)鏈路出現(xiàn)瞬時抖動時交換機(jī)會在3秒內(nèi)將端口置為unselected而ESXi仍認(rèn)為鏈路有效。此時ESXi的vSwitch會繼續(xù)向該端口發(fā)送數(shù)據(jù)包但交換機(jī)已不再轉(zhuǎn)發(fā)形成“單向黑洞”。更危險(xiǎn)的是當(dāng)ESXi側(cè)也配置為long超時90秒時故障檢測窗口被拉長到90秒。這意味著從物理鏈路中斷到vSwitch真正將該端口標(biāo)記為failed最長可能需要90秒——這對于實(shí)時交易系統(tǒng)是不可接受的。解決方案必須啟用LACP快速檢測Fast Detection并將超時模式統(tǒng)一為short。在華為交換機(jī)上lacp timeout short已隱含快速檢測在ESXi上除設(shè)置lacp_timeoutshort外還需調(diào)整vSwitch的故障檢測間隔# 在vSphere Client中主機(jī) → 配置 → 網(wǎng)絡(luò) → vSwitch → 編輯設(shè)置 → NIC Teaming # 將Network failure detection從Link status only改為Beacon probing # 并將Notify switches設(shè)為YesBeacon probing信標(biāo)探測機(jī)制會定期從所有活動網(wǎng)卡發(fā)送廣播包若某網(wǎng)卡在連續(xù)3次探測中均未收到其他網(wǎng)卡的回復(fù)則立即判定該鏈路故障檢測時間縮短至1-3秒遠(yuǎn)優(yōu)于依賴物理鏈路狀態(tài)的Link status only。4.3 vSwitch故障轉(zhuǎn)移策略從“檢測到切換”的毫秒級優(yōu)化即使LACP和物理層都正常vSwitch的NIC Teaming策略若配置不當(dāng)仍會導(dǎo)致VM網(wǎng)絡(luò)恢復(fù)緩慢。關(guān)鍵參數(shù)有三個通知交換機(jī)Notify switches必須設(shè)為Yes。此選項(xiàng)使vSwitch在切換活動網(wǎng)卡時主動向物理交換機(jī)發(fā)送STP Topology Change NotificationTCN報(bào)文促使交換機(jī)立即刷新MAC地址表。若設(shè)為No交換機(jī)可能長達(dá)5分鐘才老化掉舊的MAC表項(xiàng)導(dǎo)致VM流量被錯誤轉(zhuǎn)發(fā)到原端口形成“黑洞”。故障檢測間隔Failure detection interval在Beacon probing模式下建議將Number of beacon probes before declaring a link down設(shè)為3默認(rèn)值并確保Beacon probe interval為1秒。這保證了故障檢測在3秒內(nèi)完成?;謴?fù)策略Failback生產(chǎn)環(huán)境強(qiáng)烈建議設(shè)為No。當(dāng)故障鏈路恢復(fù)后若設(shè)為YesvSwitch會立即將流量切回原鏈路可能引發(fā)短暫的MAC地址表震蕩。設(shè)為No則保持當(dāng)前活動鏈路直到手動干預(yù)或計(jì)劃維護(hù)。實(shí)測對比在某證券公司交易系統(tǒng)中啟用Beacon probingNotify switchesYes后單鏈路故障的VM網(wǎng)絡(luò)中斷時間從平均8.7秒降至0.3秒僅DNS緩存刷新時間而若關(guān)閉Notify switches中斷時間延長至42秒。5. 生產(chǎn)環(huán)境黃金配置清單與一鍵驗(yàn)證腳本經(jīng)過數(shù)十個項(xiàng)目的實(shí)戰(zhàn)打磨我總結(jié)出一套適用于ESXi 7.0與華為S5730/S5735系列交換機(jī)的“零踩坑”黃金配置清單。該清單不僅列出必配命令更標(biāo)注了每一項(xiàng)配置背后的原理、適用場景及常見錯誤確保你能理解“為什么這樣配”而非機(jī)械照搬。5.1 華為交換機(jī)側(cè)配置模板S5730-SI V200R010C00# 進(jìn)入系統(tǒng)視圖 system-view # 創(chuàng)建Eth-Trunk接口假設(shè)ID為1 interface Eth-Trunk 1 # 啟用LACP協(xié)議 mode lacp-static # 設(shè)置LACP超時模式為short關(guān)鍵 lacp timeout short # 設(shè)置LACP活動模式為passive關(guān)鍵 lacp activity passive # 啟用增強(qiáng)哈希提升小包分發(fā)均勻性 lacp enhanced-hash enable # 配置負(fù)載分擔(dān)模式為src-dst-ip虛擬化最佳 load-balance src-dst-ip # 退出接口視圖 quit # 將物理端口加入Eth-Trunk假設(shè)為GE0/0/1和GE0/0/2 interface gigabitethernet 0/0/1 eth-trunk 1 quit interface gigabitethernet 0/0/2 eth-trunk 1 quit # 可選配置端口描述便于后期維護(hù) interface Eth-Trunk 1 description ESXi-Host-01-Uplink quit關(guān)鍵檢查點(diǎn)mode lacp-static華為設(shè)備不支持lacp-dynamic必須用static模式lacp enhanced-hash enable在V200R010C00之前版本不支持若提示命令不存在請升級VRP版本所有物理端口的speed和duplex必須強(qiáng)制設(shè)為1000full禁止auto協(xié)商避免因協(xié)商失敗導(dǎo)致端口down。5.2 ESXi主機(jī)側(cè)配置模板SSH執(zhí)行# 1. 確認(rèn)bonding模塊已加載 esxcli system module list | grep bonding # 2. 設(shè)置LACP超時為short關(guān)鍵 esxcli system module parameters set -m bonding -p lacp_timeoutshort # 3. 重啟bonding模塊注意會中斷網(wǎng)絡(luò)1-2秒 esxcli system module unload -m bonding esxcli system module load -m bonding # 4. 驗(yàn)證LACP狀態(tài) cat /proc/net/bonding/bond0 | grep -A 5 LACP info # 5. 可選強(qiáng)制指定哈希算法為layer34與交換機(jī)src-dst-ip對齊 esxcli network vswitch standard policy failover set -v vSwitch0 -l iphash關(guān)鍵檢查點(diǎn)esxcli system module unload/load是必須步驟僅改參數(shù)不生效vSwitch0需替換為你實(shí)際使用的vSwitch名稱若使用vDS分布式交換機(jī)哈希策略在vCenter中配置無需ESXi命令。5.3 一鍵驗(yàn)證腳本3分鐘確認(rèn)全鏈路健康為避免每次配置后手動執(zhí)行十余條命令我編寫了一個ESXi側(cè)的Bash腳本可一次性完成所有核心驗(yàn)證#!/bin/bash # save as /tmp/esxi-lacp-check.sh, then run: bash /tmp/esxi-lacp-check.sh echo ESXi LACP 健康檢查報(bào)告 echo # 檢查bonding模塊狀態(tài) echo 1. Bonding模塊狀態(tài): if esxcli system module list | grep -q bonding.*true; then echo ? bonding模塊已加載 else echo ? bonding模塊未加載請執(zhí)行: esxcli system module load -m bonding exit 1 fi # 檢查LACP超時設(shè)置 echo -e \n2. LACP超時模式: if cat /proc/net/bonding/bond0 2/dev/null | grep -q LACP rate: slow; then echo ? 已啟用short超時slow rate else echo ? 未啟用short超時請執(zhí)行: esxcli system module parameters set -m bonding -p lacp_timeoutshort fi # 檢查物理網(wǎng)卡狀態(tài) echo -e \n3. 物理網(wǎng)卡狀態(tài) (vmnic0, vmnic1): for nic in vmnic0 vmnic1; do if esxcli network nic get -n $nic | grep -q Link Status: Up; then tx_bytes$(esxcli network nic stats get -n $nic | grep Tx Bytes | awk {print $4}) echo $nic: Up, Tx Bytes $tx_bytes else echo $nic: Down! 請檢查物理連接 fi done # 檢查vSwitch負(fù)載分擔(dān)策略 echo -e \n4. vSwitch負(fù)載分擔(dān)策略: if esxcli network vswitch standard policy failover get -v vSwitch0 | grep -q Load balancing: iphash; then echo ? vSwitch0 使用IP Hash策略 else echo ? vSwitch0 未使用IP Hash請?jiān)趘Center中配置 fi echo -e \n 檢查完成 echo 注若所有項(xiàng)顯示?則LACP鏈路基本健康若有?請按提示修復(fù)后重試。將此腳本保存到ESXi主機(jī)如/tmp/esxi-lacp-check.sh賦予執(zhí)行權(quán)限chmod x /tmp/esxi-lacp-check.sh運(yùn)行后即可獲得一份結(jié)構(gòu)化報(bào)告。我在多個客戶現(xiàn)場用它替代了繁瑣的手動檢查平均節(jié)省排障時間25分鐘。6. 真實(shí)故障復(fù)盤一次由BIOS虛擬化設(shè)置引發(fā)的LACP“幽靈故障”最后分享一個極具迷惑性的案例它完美詮釋了“鏈路捆綁問題未必出在鏈路捆綁本身”。某制造企業(yè)新上線的ESXi 7.0集群5臺主機(jī)全部配置了與華為S5735交換機(jī)的LACP初期運(yùn)行平穩(wěn)。但兩周后運(yùn)維人員發(fā)現(xiàn)其中一臺主機(jī)Host-03的vMotion流量異常緩慢而其他主機(jī)正常。奇怪的是esxcli network ip interface list顯示bond0狀態(tài)為updisplay eth-trunk 1在交換機(jī)側(cè)也顯示UP所有LACP統(tǒng)計(jì)計(jì)數(shù)均正常。我到達(dá)現(xiàn)場后首先執(zhí)行了前述的一鍵驗(yàn)證腳本所有檢查項(xiàng)均顯示?。接著我用tcpdump在Host-03上捕獲vMotion流量發(fā)現(xiàn)其源IP始終是192.168.100.3管理IP而非vMotion專用IP192.168.200.3。這說明vMotion服務(wù)未綁定到正確的vMotion端口組。深入排查vMotion配置發(fā)現(xiàn)Host-03的vMotion端口組綁定到了vSwitch0而vSwitch0的上行鏈路Uplink配置為vmnic0和vmnic1——這本身沒錯。但當(dāng)我執(zhí)行esxcli network nic get -n vmnic0時注意到一個異常字段Name: vmnic0 Link Status: Up Speed: 1000 Mbps Duplex: Full ... Driver Info: Driver: igb Version: 5.4.0-k Firmware Version: 1.61, 0x80000601 Bus Info: 0000:02:00.0 Hardware Address: 00:11:22:33:44:55 ... Capabilities: Link, Pause, Asym_Pause, Auto_Neg, 1000baseT_Full, 1000baseT_HalfCapabilities中缺少LACP字樣而其他正常主機(jī)的vmnic0輸出中明確包含LACP。問題根源浮出水面Host-03的物理網(wǎng)卡Intel I350在BIOS中被禁用了SR-IOV和DCB數(shù)據(jù)中心橋接功能而igb驅(qū)動的LACP支持依賴于DCB硬件加速。當(dāng)DCB被禁用時驅(qū)動降級為軟件LACP性能急劇下降且在高并發(fā)vMotion場景下LACPDU處理延遲導(dǎo)致交換機(jī)側(cè)頻繁超時。解決方案極其簡單重啟Host-03進(jìn)入BIOS找到Advanced → Network Stack Configuration → DCB Support將其設(shè)為Enabled保存退出。重啟后esxcli network nic get -n vmnic0中Capabilities立刻出現(xiàn)了LACPvMotion速度恢復(fù)正常。這個案例給我的教訓(xùn)是在虛擬化環(huán)境中BIOS級別的硬件功能開關(guān)可能成為網(wǎng)絡(luò)性能的終極瓶頸。尤其當(dāng)遇到“配置正確但性能異?!钡膯栴}時務(wù)必檢查BIOS中與網(wǎng)絡(luò)相關(guān)的所有選項(xiàng)VT-dDMA重映射、SR-IOV、DCB、Energy Efficient EthernetEEE等。很多工程師習(xí)慣性忽略BIOS因?yàn)椤八途W(wǎng)絡(luò)配置無關(guān)”但現(xiàn)實(shí)是現(xiàn)代網(wǎng)卡驅(qū)動與BIOS固件深度耦合一個開關(guān)的關(guān)閉足以讓整個LACP鏈路淪為“紙面協(xié)議”。我在后續(xù)的所有項(xiàng)目中都將BIOS檢查列為ESXi主機(jī)交付前的強(qiáng)制步驟并編寫了自動化檢查腳本確保每臺主機(jī)的DCB、VT-d等關(guān)鍵功能均處于啟用狀態(tài)。這看似多花5分鐘卻避免了未來數(shù)周的無謂排障。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
综合九九中文字幕| 色婷婷AAA| 久久婷婷青青| 日韩久久日| Aaa久久| 国产精产国品一二三在观看| 久久九九激情五月天 | 桔色成人官方网站| 丁香五月天啪啪激情综合网| 亚洲欧美一区二区三区四区爱爱动图| 亚洲天天操| 色色亚洲五月天| 色色网站在线| 免费黄色AV| aa久久| 成人精品人妻| 九九99精品视频在线观看| 丁香色五月天| 国产3p露脸普通话对白| 奇米色大香蕉| 天天综合五月| 99亚色色色| 色色色色色色色综合| 色噜噜伊人| 九九九九九无码| 婷婷操逼网| 91啪级电影| 9999热这里只有精品| 综合网五月天123| 就去涩涩丁香五月天| 五月停停丁香| 五月婷婷,狠狠操| 超碰在线视屏| 青青青在线视频国产| 国色天香成人网| 超碰免费人| 2050人人操免费工开爱| 婷婷综合在线播放| 六月亚洲婷婷6月中文字幕| 五月丁香拍拍激情综合| 超碰熟女拍拍| 婷婷色婷婷| 热久久这里只有精品| 亚洲乱码日产精品BD| 五月婷婷啪啪啪啪| 日本97久久久精品| 综合五月草| 精品人妻久久久| 久久人妻伊人| 婷婷色色网| 能看的av| 婷五月天丁香婷五月| 日本在线视频播放91| 另类激情五月天。| www五月天激情com| 日韩黄黄| 婷婷色色网站| 久久婷婷丁香| 五月丁香WWW| 精品久久久久久久人妻| 亚洲网视屏| 99热精品在线观看| 综合激情四射一theav| 99热加勒比| 久久这里只有精彩| 婷婷五月丁香综合人妻| 久久婷婷激情| 香蕉影院色| 色播五月综合网| 婷婷激情肏屄网| 五月丁香亚洲综合网| 99热这里只有精品青草| www.五月天| 天堂成人A片永久免费网站| 欧美人人草草| 99re99热| 丁香五月婷婷香| 亚州操人在线视频| 4399精品一区二区| 激情五月开心五月在线视频| 色导航色婷婷五月天在线观看| 99热无码精品| 亚洲色99| 99这里有精品| 超碰在线观看9| 色色亚洲无码| 亚洲婷婷基地| 久久六月婷婷| 色亚洲无码| 五月丁香六月婷婷婷婷| 五月婷婷婷婷| 99riAV成人在线视频| 久久婷婷五月综合激情国产| 丁香婷五月| 天天天天干| 伊人综合网站| 五月天综合久久| 色丁香婷婷| 思思精品视频| www99在线观看视频| 噜噜噜噜在线| 99re这里只有| 91精品婷婷国产综合| 狠狠色婷婷丁香六月| 久久色五月| 丁香狠狠干| 久久久.COM| 思思热性操| 激情四射婷婷| 丁香五月婷婷国产av| 五月天色色网站| 亚洲va欧美va国产综合久久久| 久久ww| www.婷婷五月天,com| 婷婷丁香六月五月天| 99热无码首页| 久99久99精品免| 免费无码毛片一区二区A片| 国产色视频网站2| site:minyis.com| 五月婷婷导航| 超碰在线资源| 五月天综合区| 天天干,天天日| 色一情一乱一乱91Av| 久久av电影| 97久久视频| 在线视频激情网站| 可以看的AV网站| 国产精产国品一二三在观看| WWW.激情| 中文字幕在线日亚洲9| 五月丁香综合成人社区| 天天插天天爽| 久久五月情| 天天爽综合| 99综合视频一体| 丁香激情久久| 九九综合| 97操视频| 欧美六月| 伊人久久大香网| 婷婷丁香五月网| 婷婷五月综合社区在线| 天天草天天日| 99婷五月| 色丁香五月综合网| 婷婷丁香熟女| 五月天黄色激情小说| 伊人无码高清| 日日操夜夜爽天天天| 久操热线| 激情五月激情综合网一级丸片| 久久只有18视频| 六月婷婷综合久久| 热五月婷婷| www综合久久| 激情开心五月天婷婷基地丁香社区| 丰满少妇猛烈A片免费看观看| bbwcuckold精品熟妇| 四色99久久| 五月天丁香网站| 26uuu欧美| 五月丁香婷婷综合网色欲| 欧美天天干天天草| 中文婷婷狠狠| 天天插天天插天天插天天插| 九九99男女视频在线观看| 91人人爽久久涩噜噜噜| 丁香香蕉婷婷| 婷婷成人AV| 婷婷成人在线| AV成人在线播放| 六月色激情| 五月综合激情网| 激情五月天99色| 婷婷色基地| 成人va在线| 综合一本道| 色综合网页| 欧美激情综合色综合| 激情婷婷五月丁香啪啪啪| 五月丁香六月色婷婷| 97色干在线观看| 九九九九九九九热| 岛国资源站| 九热视频| 人妻久久婷婷| 五月丁香六月婷婷网| 五月香婷婷| 日日干天天爽| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 天天肏高清在线| 手机旧版看人妻1025| 亚洲 视频 导航 一区| 欧美色宗和激情| 五月天久久婷婷| 久久久婷婷| 婷婷91| 这里只有精品99视频| 天天干天天拍| 五月婷婷精品无在线| 婷婷九月丁香中文| 丁香五月婷婷激情尤物| 婷婷丁香色五月亚洲| 中文字幕 码精品视频网站| 久热这里这里有精品| 嫩草AV久久伊人妇女超级A| 四虎婷婷五月天| 2050人人操免费工开爱| 色五月激情五月开心五月| 99啪99| 国产精品久久久久久白浆色欲| 国产亚洲在线观看| 免费观看欧美成人AA片爱我多深| 成年人看Va免费视频| 婷婷色六月| 丁香 久久| 久久婷婷热| 色色五月婷| 少妇口诉沐足视频播放器网址| 超碰免费观看| 九九AV在线| 26uuu欧美日韩| 97精品人人A片免费看| 五月婷六月丁香| 一区二区三区四区牛| www999日韩精品| 人妻性爱av网站| 日99网站| www.天天干| 久久九九网| 国产亚洲精品久久久久久郑州| 天天日日爽| 五月婷婷激情日本| 国产精品电影| www激情| 丁香九月婷婷综合| 在线看九一V图片| 亚洲va在线∨a天堂va欧美va| 激情四射网| 色婷婷久久| 天天xxxxxx天天日| 久久婷婷热| 三年高清大片免费观看国语| 五月丁香婷婷婷激情爱爱| 天天狠狠婷婷在线| 天天操天天国产三级片处女学生妹| 狠狠色五月| 激情五月激情综合俺也去婷婷小说| 色婷婷性爱网| 99在线观看视频| 伊人久久婷婷五月天激情四射| 91干网| 狠狠狠狠狠狠狠狠| 91色情播放| 五月天综合久久| 超碰日韩人妻在线| 91viP在线看| 这里只有精品99www| 亚洲超级碰| 另类专区在线观看| 停婷丁五月在线| 思思色播| 亚洲成Av人片乱码色第1集| 深爱五月激情| 丁香色婷婷| 日本a片网址| 亚洲不卡123| 99久热这里只有精品| WWW.99热| 久久婷婷成人视频| 狠狠狠狠狠干| 九九99偷拍视频| 丁香激情五月| 久草xx性爱视频| 乱码操操| 中文字幕在线不卡视频| 亚洲亚洲人成综合网络| xx久久| 久久99久久99久久99人受| 五月天激情综合网站| 97婷婷五月激情六月丁香伊人| 九热视频| 久热视频这里只有精品| 久久精品天| 9月色婷婷| 91综合在线| 免费看欧美成人A片无码| 成人午夜无码视频| 五月丁香网站| 婷婷五月天激情综合网| 亚洲欧洲一二| 成人美女网| 大香蕉啪啪| 99爱视频免费看| 婷婷丁香射射| 99久久99久久| 五月婷亚洲精品| 热99热| 五月丁香激情综合| h亚洲| 久久机只有这里精品| 综合另类视频| 色色丁香五月天社区| 天天色情站| 日本高清久| 天天擼久久擼在线| 热的国产,热的综合,热的有码| 亚洲无码yw| 99九九这里有免费视频| 最近中文字幕2019视频1| 婷婷五月天堂| 婷婷五月情| 五月天色在线| 日本五月婷婷久久久六月丁香| 91网站黄| 婷婷久久影院| 五月婷视频在线观看| 国产精品久久久久久久久久免费 | 丁香五月婷婷色| 99热这里只有精品5| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 色色色9| 丁香八月综合激情| www.av视频xx999.com| 思思99久久| 热久91| 无码91中文字幕| 激情六月婷婷| 99免费热视频在线| 五月丁香婷婷色色| 久9久9热久热| 亚洲婷婷91丁香| 99re8在这里只有精品| 五月婷婷婷自由综合| 免费99情趣网视频| 天天弄天天爽| 五月天国产成人| AA片在线观看视频在线播放| 婷婷五月综合网| 久久性操| 丁香激情网| 开心激情站| 色播激情五月天| 五月婷婷手机在线| 国产一级婬片毛片| 五月天激情国产综合AV| 九九热99精品在线| www.思思99热| 亚洲九九99精品视频在线播放| 色亚洲中文| 青草网在线观看| 婷婷天堂站| 欧美天堂久久| 99re视频在线播放| 第四色激情网| 久热99| www.99热| www久久99com| 中文人妻主播久久| 综合五月亭亭9| 久久激情综合| 日本熟妇人妻在线| 99视频精品全部免费观看| 五月综亚洲| 色噜噜狠狠色综合日日免费| 99热日本| 99热在线观看亚洲区| Www.婷婷五月| 五月天久久丁香| 天天精品视频在线观看视频| 久久色这里只有精品| 99爱在线视频观看| 第五色婷婷| 五月天亚洲综合网| 日本3级片一区2区| 综合AV在线| 91热99| 在线不卡视频| 色99视频| 欧美五月停| 天堂在线伊久| 久草五月婷| 91疯狂操操操操| 婷婷色导航| 天天色粽合合合合合合合| 亚洲激情综合| 精品香蕉99久久久久网站 | 最近中文字幕2019视频1| 国产精品美女久久久久AV超清 | 九九免费在线视频| 26UUU欧美| 99热只有| 国产免费一区二区在线A片视频| 26UUU欧美| 狠狠综合网| 国产AV一区二区三区最新精品| 亚洲V国产V欧美V久久久久久| 婷婷五月丁香亚洲| www,色综合| 丁香五月欧美色综合| 碰碰91| 亚洲色涩视频| 九九久久五月天综合伊人| 婷婷六月视频| 秋霞AV淫| 九九热最新| 亚洲精品一区无码A片| 六月丁花香啪啪激情欧美| Www.se.久久| 4399在线观看免费毛片| 丁香5月激情网| 26uu| 亚洲婷婷欧美婷婷| 另类小说五月天| 狠狠狠狠狠狠| www.1024久久| 天天肏视频| 亚洲五月婷婷在线| 色婷婷久综合久久一本国产AV| 六月色婷婷| 99性视频| 99热国产在线| 97婷婷狠狠| 夜夜骑操AV| 亚洲性爱区无码区| 99综合婷婷五月| 五月婷婷网五月在线| 久热超碰91| 91精品久久久久久综合五月天| 婷婷五月综合国产精品| 超碰在线免费9| 五月婷婷六月丁| 这里只有精品视频在线看| 婷婷五月天网址| 五月天伊人| 亚洲精品第一国产综合亚AV| 99热青青草| 婷婷色播六月无码| 五月丁香婷婷综合| 东京热免费视频| 婷婷伊人综合| 97人人草| 色色色色色网站| 大香蕉久操| 久在线88综合| www999日韩精品| 91热er| 亚洲va欧美va天堂v国产综合| 亚洲99热| 色约约视频一区二区三区四区五区 | 综合99综合久久久久久久| 天天日天天摸天天| 色婷婷精品视频| 天天爽天天爽| 99热这里有精品首页10| 热热久久久久久久久| 丰满人妻一区二区三区| 夜夜爽77777妓女免费下载| 亚洲无码www| 婷婷在线五月天观看| 婷婷深爱五月| 777精品久无码人妻蜜桃| 99热久久日本| 综合狠狠五月婷婷| 任你爽精品免费视频6| 天久综合91综合首页| 五月丁香啪啪综合网| 天插天啪天啪天啪| 台湾佬天天日丁香婷婷五月天| 9l视频自拍九色9l视频在线观看| 婷婷综合中文| 天天性视频| 影音先锋777xfplay色资源网站| 99热手机在线精品| 2013AV天堂| 亚洲色欲欧美一区二区三区| 婷婷色情网| 狠狠色丁香乆乆| 综合激情五月天| 亚洲色激情| 超碰99在线| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 色播五月天天| 9l视频自拍9l九色成人| 久久网婷婷| 六月丁香深深爱| www色五月| 大香蕉视频99| 2020久久婷婷五月| 99热都是精品| 99热久久日本| 天天擼久久擼在线| 婷婷午夜| 超碰人人射| 久久久久久久久人妻| 九九视频在线观看视频6 | 夜夜资源站| 日日插日日干| 99久久九九视频| 婷婷成人综合| 91丁香五月| 天天视频精品9| 色婷婷婷婷成人网| 五月天婷婷在线视频| 免费AV在线| 婷婷五月深深爱| 天天爽天天| 色丁香五月天| 激情小说五月天社区丁香| 丁香五月婷婷在线| 婷婷天堂综合网| 五月婷婷开心激情六月蜜桃| 色婷婷五月天在线观看| AV操逼网| 99精品无码| 五月天婷婷激情六月久久 | 国产亚洲精品久久久久久久久动漫 | 色色色五月婷婷| 激情久久 婷婷| 五月丁香六月婷婷视频| 97日韩无套内| 激情亚洲五月| 99色| 五月婷婷与六月丁香图片激情| 久久狠狠干| 色五月婷婷激情基地| 久久这里只有欧美| 久久色六月| 五月婷久久| 亚洲综合五月天| Av大香蕉| 日本片日本片祼观看网站在线看中文版网页在线看 | 综合五月激情| 久久激情五月网| 日本人人超碰| 99热首页在线30| 婷婷五月天激情小说| 五月久久五月激情| 九九热最新地址| 91狠狠色| 久久综合丁香激情五月| 91操熟女| 91精品久久久久久77777| 婷婷五月综激情| 九九99香蕉在线视频播放| 超碰京东热av男人的天堂| 色五月首页| 99爱操| 色色色色色色色色色999| 丁香色五月天| 综合爱久久| 婷婷六月丁香五月| 影音先锋91资源站| 69色婷婷| 久久3p| 在线观看av网站| 久久精品综合色| 激情爱爱网站| 激情五婷网| 色色免费网站| 97精品综合| www.五月丁香| WWW.五月天9999| 五月天婷婷成人网| 天天色,天天操,天天射| 五月丁香婷婷欧美色图视频五月丁香777电影 | 99精品久久| 99在线观看免费精品视频| 五月天婷婷小说| 色婷婷欧美在线| 国产精品A成V人在线播放| 97久久香草精品视频| A片试看120分钟做受图片| 丁香激情六月天婷婷| 婷婷五月天天| 久久A V无码视频| 99久久終合| 人妻少妇色综合| 九九色色色| 亚洲99综合| 色色五月婷| 超碰免费人人| 夜夜夜叫天天天做| 欧美婷婷综合| 婷婷久久99| 91欧美| 久草热8精品视频在线观看| 欧美性爱特黄一级aaaassss| 婷婷婷久久| 99热成人| 欧美性二区| 免费看欧美成人A片无码| 亚洲精品性色| 色婷婷AⅤ| 天天射美女| 丁香五月六月久久综合| 狠狠干最新地址| 久机视频这只有精品| 久久久久久久久久91| 五月婷婷啪| 狠狠夜夜五月丁香| 美女久久天堂| 九九色大香蕉| 5月婷婷综合| 婷婷五月欧美综合| 久久人妻精品| 99热大全在线观看| 激情五月婷婷综合网| 婷婷五月六| 伊人激情综合网| 五月婷婷六月天| 久久久精品人妻录| 五月丁香欧美综合| 五月婷婷五月天| 人妻VideOssS人妻高清| 五月丁香 啪啪| 婷色五月天| 激情五月www| 99视频在线观看网址| 久久99热这里只有精品| www.热99热| 97se视频在线| 99操| 五月在线| 99色色热| 久草视频大香蕉99| 天天日,天天干,天天操| 中文不卡一二区| 26uuu精品一区二区| 国产FREESEXVIDEOS性中国| 99热免费精品| 性爱AV天堂| 婷婷五月丁香成人网| 五月婷婷色影院| 天天草天天舔| 1024成人在线观看| 国产亚洲精品久久久久久郑州| 激情五月天开心总和网| 丁香六月婷婷综情欧美| 超碰免费观看| 五月婷在线观看| 婷婷丁香在线播放| 婷婷六月色| 丁香av网| 99这里有精品视频| 色婷婷狠狠| www久久五月com| 9在线9在线婷婷在线国产| 激情五月影院| 99免费| 梁铮版《蜘蛛女侠》在线| 激情色情五月天| www.夜夜| 婷婷丁香六月天| 日本五月丁香| 欧美 日韩 成人在线| 4438亚洲欧美| 婷婷伊人綜合中文字幕| 婷婷王月天影院| 精品婷婷五| 伊人三级激情| 国产肥白大熟妇BBBB视频| 九九人人精品| 五月丁香基地| 丁香五月婷婷亚洲色图| 亚洲99在线| 五月婷婷色在线| 大香蕉520| 欧美日韩AAAA| 色综合久久88色综合天天人守婷| 国产日韩av片| 婷婷五月成人社区| 操碰97| 激情四射婷婷| 激情婷婷五月天日本系列 | 久色网五月| 天天做天天爱天天搞| 亚州激情九月| 操老逼综合网| 婷婷成人视频| 噜噜操操| 五月婷视屏在线观看| 综合久色五月| 91chinese在线| 六月激情丁香一道本7777| 激情内射人妻1区2区3区| 97色婷婷成人综合在线观看| 丁香婷婷深情五月亚洲| 日日射天天射| 伍月婷丁香婷| 中文字幕av在线| 99精品偷拍视频| 大香蕉 婷婷| www.久久久久| 五月丁香性爱| 开心婷婷五月| 婷婷五月天激情丁香| 激情5月婷婷狠狠干| 伊人婷婷五月天| 操人视频91| www.夜夜爱.com| 欧美S码亚洲码精品M码| 婷香五月激情视频| 五月婷婷色影院| 第五色色色婷婷| 综合六月激情婷婷| 天天在线久久综合 | 久9免费视频| 日韩色五月| 婷婷综合伊人丁香| 五月天婷婷网站| 噜综合| 亚洲欧美婷婷五月色综合| www热久久yy9| 久久99精品久久久| 99操不停| 久热re视频在线观看网站| 欧美日本日韩| 久久九九99| 亚洲综合五月| 99热亚洲精品| 五月天激情影院| 色情五月天丁香社区| 色婷婷小说网| 五月天网站免费欧美| 五月婷婷网五月在线| 色色色色色色色色色999| 亚洲色欲欧美一区二区三区| 色色色视频免费无码 | 禁片二区| 综合久久8| 欧美,日韩成人在线| 婷婷丁香激情五月天色色色| 影音先锋美国A| 777米奇影视第四色| 综合久久99| 五月丁香啪啪网| 丁香五月影院| 五月丁香啪啪网| 亚洲色五月| 色婷婷狠狠18禁| 丁香五月天激情综合| 五月婷婷激情五月| 五月天婷婷综合| 久久人人看| 91久久婷婷| 色播五月婷婷| 国产SUV精品一区二区6| 欧美内射AAAAAAXXXXX| 五月综合激情婷婷六月色窝| 少妇AB又爽又紧无码网站| 亚洲妇女熟BBW| 精品亚洲国产成AV人片传媒| ..真实国产乱子伦对白在线_欧 | 五月天激情亚洲| 亚洲天堂碰碰婷婷| 亚洲欧洲一二| 97干婷婷| 國語久久婷| 在线不卡视频| 九九蜜臀精品| 激情的五月| 九九热99精品| 深爱激情六月| 久久99网| 欧美三日本三级少妇三99| 日韩成人无码人妻| 久久性爱视频网站| 五月婷婷激情综合| 亚洲欧洲另类图片| 色五月综合网站| 色五月婷婷影视| 五月丁香少妇| 久热欧美| 综合婷婷六月| 婷婷久久六月费| 99日这里只有精品| 99热首页| 久草大| 色婷婷在线视频| 搡BBBB搡BBB搡五十| 九九九激情网| 九九久久高清| 大香蕉精品视频| 综合在线网| 丁香婷五月| 五月天激情无码| 五月丁香成年黄色| 26uuu最新地址| 国产美女无遮挡裸体毛片A片| 涩丁香| 亚洲激情| 综合色99| 丁香婷婷六月激情| 99在线精品视频免费观看20| 日亚二欧美| 五月天啪啪啪| 成人五月丁香花| 色色色天堂网| 日韩999| 婷婷五月天成人动漫 | 婷婷激情视频| 超碰久热| 琪琪狠狠干| 色色色区| 操笔无码| 五月天激情AV| 综合另类视频| 熟女人妻一区二区三区免费看| 五月天婷婷Av| 99热亚洲| 久久香蕉婷婷五月天| 五月天婷婷激情在线色图| 成人亚洲精品| 三十熟女| 草榴视频网| 综合丁香婷婷五月天| 久久久五月婷婷| 五月丁香成年黄色| 亚洲欧洲另类| 热久久婷婷| 久久人人看| 五月婷婷m| 激情五月婷婷丁香综合网| 天天爱天天秀天天做| 婷婷五月天福利| 五月丁香色停停啪啪啪| 狠狠干综合网| 亚洲精品欧洲精品| 亚洲日日日| 激情www| 丁香五月婷婷社区| 九色自拍| 26uuu国产精品| 日韩在线一级| 婷婷五月天伊人| 亚洲av网址| 日本女va| 天天操婷婷| 婷婷综合五月天| 日韩成人无码片| 99re在线观看| 涩涩涩.com| 九月婷婷| 五月婷婷综合成人| 四色永久成人网站| 五月婷婷九月婷婷九月婷婷| www久久99| 亚洲丁香花五月丁香花| 九色视频91| 婷婷六月视频| 色五月天在线观看| 超级久久久| 欧美天天草人人草| 丁香五月六月婷婷怡红院| AV中文在线| 狠狠色中色| 久久这里只有国产| 久久久这里有精品| 女人高潮内射99精品| 久久久27操| 思思热在线精品视频网站| 婷婷情色五月天| 婷婷五月天激情开心网| 欧美成人精品三区综合A片| 色五月自偷自拍婷婷婷婷| 婷婷激情综合无月| 激情丁香五月| 播丁香五月婷婷欧美| 六月丁香啪啪啪| 女人天堂 AV| 天天日天天插| 婷婷伊人75| 亚洲九九99精品视频在线播放| 中文无码婷婷| 东京热人妻一区二区三区在线| 六月亚洲婷婷6月中文字幕| 激情第四色| 亚洲成人无码专区| 久久这里精彩免费在线观看| 深爱激情五月网| 99精品成人无码A片观看金桔| 外国碰视频网站97| 伊人五月成人| 国产毛片精品一区二区色欲黄A片| 91精产一区三区免费观看| 久久成人天| 九九热视频在线观看| 一二区成人电影| 性色99| 99色综合| 大香蕉天堂| 久热视频这里只有精品| 国产全是老熟女太爽了| www.婷婷| 亚洲精品色| 久久丁香综合精品综合| 五月激情五月丁香| 97人凄人人操人人爽| 一区操| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 无码毛片992367| 婷婷色婷婷| se.久久视频在线观看| 艹| 五月天激情丁香| 丁香久久综合| 亚洲六月色| 91男同视频| 26uuu国产色| 色综合丁香| 97色婷婷在线观看| 天天操天天谢| 午夜少妇在线观看视频| 天天性视频| 色综合久久88色综合天天看| 五月丁香久久婷| anquye五月| 香蕉久久国产AV一区二区| 丁香五月天天哦| 亚洲六月婷婷| 九九综合网色全集| 狠狠五月激情丁香六月| 亚洲AV影片在线观看| 99热精品在线播放观看| 超碰在线99| 丁香五月影视| 婷婷成人视频| 91精品丝袜久久久久久久久粉嫩| 婷婷六月激情丁香| 亚洲精品又粗又大又爽A片| 99视频色在线观看| 婷婷五月天黄色| 婷婷婷久久久| 思思热视频| 欧美超碰亚洲| 天天天天爽爽天干| 久久综合婷婷激情| 啪啪啪五月天| 国产精产国品一二三在观看| 亚洲五月丁香综合网| 五月天激情国产综合婷婷| 欧美 日韩 成人在线| 99操无码视频观看| 《久久综合九色综合97婷婷| 五月婷婷综合丁香视频| 国产亚洲av片| 五月婷婷性| 99久久五月婷婷| 婷婷五月天综合中文| 激情五月四色| 五月婷婷丁香色吧网| 岛国在线观看91| 色婷五月天网站| 日本人妻伦在线中文字幕| 激情五月综合色婷婷| 国产成人精品123区免费视频| 青青夜夜狠狠夜夜狠狠| 婷婷色导航| 五月丁香狠狠爱| 婷婷深爱五月| 日日日,com| 精品色色| 亚洲第一色色色色| 最近中文字幕大全免费版在线| 婷婷五月蜜桃成人桃色丁香| 99色在线| 婷婷丁香五月天在线视频| 少妇性按摩无码中文A片| 天天操九九插| 国产无套精品一区二区| 亚洲99在线视频| 婷婷色色亚洲| 成人性爱无码| 五月开心啪啪| 婷婷五月影院| 亚洲熟女色| 超碰在线人妻| 午夜丁香丁香婷婷| 色婷婷导航| 国产精品色色666| 激情内射人妻1区2区3区| 婷婷综合伊人丁香| 四色五月婷婷| www色五月| 日韩成人综合| 国产激情在线| 深夜男女福利刺激影院一区| 五月天婷婷无码| 婷婷五月成人有| 丰满少妇猛烈A片免费看观看| 欧美婷婷五月| 久久资源综合| 丝袜激情网| 日韩啪啪视频| 九九热免费视频| 天天插天天| 激情五月婷婷色色| 2017狠狠干| 婷婷丁香五月天综合AV| 婷婷五月成人| 亚洲婷婷成人五月天| 就爱日五月天| 婷婷玖玖五月天| 丁香五月婷婷色| 色99色| wwwC0maV五月花| 色婷婷AⅤ| 色停停香蕉视频| 丁香五月天激情五月天激情五月天激情网| 思思re最新视频| 热99AV网站| 99riAV国产精品视频| 天天综合在线网| 亚洲婷婷丁香五月亚洲| 奇米四色五月天| 五月丁香综合中文| 亚洲激情亚洲激情| 91色呦哟| 中文AV网站| 丁香五月婷婷啪啪啪| 丁香婷婷综合激情五月色| 婷婷五月天婷婷| 91艹人| 激情五月影院| www.五月丁香av| www.sebowuyue| 日日操夜夜撸| 婷婷五月六月丁香综合| 婷婷成人AV| 色99视频| 免费视频这里只有精品| 无码AV免费精品一区二区三区 | 新五月天婷婷激情电影| 色一情一乱一乱一区9| 日韩一级片| 99热在线这里只有精品| 九九热婷婷| 国产精品色| 九九亚洲视频| 久久9视频| 91人久| 麻豆雪千夏| 99色视| 麻豆忘忧草午夜| www色色com| 久久99久久99精品免视看婷婷| 婷婷九月丁香天堂丁香天堂| 亚洲成人免费在线| 狠狠插日日干撸| 综合网色| 精品热青草| 人人97碰| 亚洲九九99精品视频在线播放| 久久人人九| 天天弄天天操| 可以免费观看的AV| 国产成人VA| 久久182| 婷婷久久大香蕉| 玖玖热视频| 亚洲综人色综网| 午夜激情四射影院| 日本五月婷婷| 五月停停激情网| 五月婷婷激情刺激| 日日操无码| 婷婷五月天小说网| www色婷婷com| WWW·天天操·视频?| 五月婷婷久久爱| 26uuu成人网| 五月天开心激情综合网| 人妻狠狠操| 天堂久久大香蕉| 极品少妇高潮啪啪AV无码| 996er热| 五月色丁香婷婷中文字幕| 97色在线观看视频| 丰满少妇猛烈A片免费看观看| 人妻AV在线观看| 色偷偷狠狠| 丁香五月性| 久久人视频| 香蕉AV777XXX色综合一区| 狠狠爱婷婷丁香| 五月丁香花免费视频| 婷婷五月丁香综合亚洲 | 99在线免费视| 九草性爱| 日本色色影片| 九九av| 色五月综合在线| 婷婷亚洲丁香五月| 五月天激情影院| 91九色在线观看免费| 国产精品涩涩涩视频网站| 五月天婷婷基地综合网| 久久久久人妻中文| 国产亚洲99| 中文字幕欧美久久| 久久成人亚洲欧美电影| 五月天色婷婷综合| 综合色色婷婷| 五月婷导航| 深爱激情网五月| 亚洲黄色精品| 中文字幕久久婷九女同| 五月丁香| 黄网在线免费观看| 少妇激情五月天| 激情五月综合色婷婷| 这里只有精品免费在线视频| 操操精品| 五月婷婷丁香日韩在线| 九九在线视频| 亚洲婷婷丁香| 久久免片| 久香草视频在线观看| 婷婷五月天激情四射五月天激情| 久久婷婷人人| 淫视馆av三区| 大地9中文在线观看免费高清| 亚洲九九夜夜| AV性爱在线| 亚洲免费99| 就爱啪啪婷婷| 伊人婷婷青青cao| 综合一区二区三区| 亚洲 成人 电影av在线观看| 99久久户外勾搭| 五月天色五月| 九九激情综合| 黄网在线观看免费| 国产精品热搜丁香五月婷婷| 色婷婷色五月色丁香| 色八月婷婷| 97碰| 狠狠色噜噜狠狠| 婷婷丁香综合在线| 色啦啦视频| 亚洲精品无码一区二区| 五月天社区| 米奇影视五月天| 深爱五月月天| 五月综合激情| 日韩美女羞羞网站在线观看| 色婷婷在线视频观看| 日本精品人妻无码77777| 99热久| 色婷婷导航| 国产性爱一级| 亚洲激情另类| 亚洲第一精品成人999久久精品| 国产在线另类五月婷婷| 久色视频首页| 丁香久久| 大香网伊人久久综合| 九月激情综合| 日韩精品超碰在线观看| 久久一伦| 色婷婷亚洲综合天堂| 狼人伊人天堂| 色吧婷婷五月亚洲| 亚洲精品白浆高清久久久久久| 婷婷五月天成人| 国产毛片精品一区二区色欲黄A片| 淫视馆aV二区一区| 久久婷五月综合| 婷婷色操| 婷婷六月天天| 女人被男人吃奶到高潮| 亚洲婷婷免费| 日日夜夜狠狠操| 天天干 夜夜爽| 午夜爱爱爱成人| 久久99久久99精品免视看婷婷| se99在线| 久久 这里只有精品1| 婷婷香蕉| 成人做爰A片免费看网站找不到了| 五月婷婷六月丁香免费| 色婷婷综合网站| 日夜操B| 99er这里只有精品| 精品国产va久久久久| 六月丁香激情综合网| 五月开心婷婷极品激情| 秋霞三级色戒| site:minyis.com| 怕怕av| 99久久a线观| 亚洲五月婷天天操| www.五月天。com| 开心五月深爱五月婷| 99热精这里只有精品| 欧美婷婷五月天综合| 丁香婷婷伊人| av操一操| 五月丁香六月香综合激情| 亚洲va欧洲va国产va不卡| 国产VA亚洲VA96| 99色热视频在线| 99热新网址| 97AV在线视频| 思思re99视频在线观看| 91精品丝袜久久久久久| 极品人妻VIDEOSSS人妻| 香蕉AV777XXX色综合一区 | A片试看50分钟做受视频| 激情五月丁香五月综合| 九热网站| 婷婷久久18| aa久久| 开心久久五月天| 99热国内| 岛国av电影网站| AV性爱在线| 五月天丁香网站| 六月丁香啪啪| 99re在线观看| 久久精品99国产精品日本| 日韩在线视频9色| wwww.9免费视频| 丁香五月婷婷激情尤物| www.91操| 亚洲色爽| 五月丁香六月综合激情网| 五月天婷婷激情小说电影| 婷婷五月天亚洲五码| www.99视频| 九九热在线视频| 97午夜一区二区| 综合色网站| 久操人妻| 有码人妻久久| 开心五月激情婷婷| 综合99久久天天综合| 91碰碰| 欧美性生交XXXXX无码小说| 色情成人五月天| 色综合大香蕉| 九九99视频精品| 五月婷婷开心六月激情小说| 色天五月天在线观看视频| 久久激情网| 人妻内射一区二区在线视频| 99re欧美精品| 色婷婷情片| 黄色大片又大粗又爽| 青草热视频这里只有精品| 婷婷激情图片| wwwss在线观看| 江苏少妇性BBB搡BBB爽爽爽| 狠狠色九月| 色色操| 激情综合网络插| 丁香五月天网友自拍啪啪啪视频| 色五月偷偷| 色五月网址| 五月综合激情网| 婷婷五月丁香91| 色综合爱综合| 婷婷激情综合|