欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

交換機(jī)堆疊與集群:從原理到實(shí)戰(zhàn)的完整指南

交換機(jī)堆疊與集群:從原理到實(shí)戰(zhàn)的完整指南 前陣子一個(gè)老客戶半夜打電話過(guò)來(lái)說(shuō)辦公室網(wǎng)絡(luò)突然卡得沒(méi)法用。我遠(yuǎn)程一看拓?fù)淅锖诵慕粨Q機(jī)后面掛著兩臺(tái)接入交換機(jī)其中一臺(tái)離線了業(yè)務(wù)流量全擠到剩下那一臺(tái)上面廣播域又大環(huán)路檢測(cè)又沒(méi)做好整個(gè)局域網(wǎng)直接半癱瘓。這事其實(shí)挺典型的單臺(tái)交換機(jī)跑關(guān)鍵業(yè)務(wù)不出事怎么都好說(shuō)一出事就是全網(wǎng)陪葬。后來(lái)我過(guò)去幫他們把兩臺(tái)接入交換機(jī)做了堆疊又順手整理了上聯(lián)鏈路問(wèn)題才算徹底解決。今天沒(méi)別的就著這個(gè)場(chǎng)景認(rèn)真聊聊交換機(jī)的堆疊與集群。1. 為什么說(shuō)堆疊和集群是網(wǎng)絡(luò)運(yùn)維的“雙保險(xiǎn)”很多人第一次接觸堆疊和集群都是在被領(lǐng)導(dǎo)批評(píng)之后核心設(shè)備單點(diǎn)故障、鏈路帶寬不夠、管理地址太多太亂、配置同步麻煩。堆疊和集群這個(gè)名字一聽就覺(jué)得高端其實(shí)本質(zhì)思路特別樸素把多臺(tái)交換機(jī)變成一臺(tái)來(lái)用。1.1 一個(gè)“拿走交換機(jī)就卡死”的經(jīng)典故障熱搜里有個(gè)問(wèn)題我一直印象很深為什么從局域網(wǎng)中拿走一個(gè)交換機(jī)后很卡這個(gè)問(wèn)題如果放在沒(méi)有堆疊、沒(méi)有集群的環(huán)境里答案基本就一句話——拿走的那臺(tái)交換機(jī)承擔(dān)了部分網(wǎng)關(guān)或匯聚功能或者干脆就是環(huán)路被破壞了之后STP重新收斂導(dǎo)致全網(wǎng)廣播風(fēng)暴。但更深層的原因是你的網(wǎng)絡(luò)設(shè)計(jì)里壓根沒(méi)考慮設(shè)備冗余和鏈路冗余單臺(tái)設(shè)備死掉流量只能繞路繞路之后帶寬或者路徑又不對(duì)于是卡。我自己踩過(guò)的坑是公司有四個(gè)部門原來(lái)規(guī)劃是每層樓一臺(tái)24口接入交換機(jī)分別上聯(lián)到一臺(tái)核心核心沒(méi)做雙機(jī)接入更沒(méi)做堆疊。結(jié)果有一次一臺(tái)接入交換機(jī)因?yàn)殡娫茨K老化直接斷電整個(gè)樓層辦公全部斷網(wǎng)。修好之后我做了兩件事一是把接入交換機(jī)全部換成支持堆疊的型號(hào)并兩兩堆疊二是把上聯(lián)改成雙鏈路到兩臺(tái)核心。從那以后再遇到單臺(tái)硬件故障用戶基本無(wú)感知頂多丟一兩個(gè)包。1.2 我理解的堆疊和集群到底解決什么問(wèn)題如果非要用一句話概括堆疊解決的是橫向擴(kuò)展和簡(jiǎn)化管理的問(wèn)題集群解決的是高可用和負(fù)載分擔(dān)的問(wèn)題。堆疊把多臺(tái)物理設(shè)備虛擬成一臺(tái)邏輯設(shè)備管理IP只有一個(gè)配置可以統(tǒng)一下發(fā)跨設(shè)備的鏈路可以捆綁成Eth-Trunk環(huán)路被天然消除。集群則更偏重控制層面的協(xié)同多臺(tái)設(shè)備之間通過(guò)心跳互相備份狀態(tài)一臺(tái)掛了另一臺(tái)立刻接管業(yè)務(wù)。我舉個(gè)生活化的例子堆疊就像你雇了好幾個(gè)員工但他們坐在一起對(duì)外只留一個(gè)接待窗口客戶覺(jué)得你是一個(gè)人集群呢是開了好幾個(gè)分店每家店都有人值班一家店出了問(wèn)題客戶走到另一家店照樣辦事。前者優(yōu)化的是內(nèi)部效率和資源利用率后者保障的是服務(wù)的連續(xù)性。這里我得強(qiáng)調(diào)一點(diǎn)堆疊和集群不是替代關(guān)系。很多場(chǎng)景下它們會(huì)配合使用——接入層用堆疊擴(kuò)展端口密度和上聯(lián)帶寬核心層用集群或雙機(jī)熱備保障整網(wǎng)穩(wěn)定。如果你在規(guī)劃設(shè)計(jì)階段把這兩件事分開想后面很多麻煩其實(shí)都可以避免。2. 堆疊與集群的底層邏輯拆解光知道概念不頂用咱得把原理吃透。交換機(jī)的堆疊和集群核心都是虛擬化技術(shù)但虛擬化的層面不同。2.1 堆疊是怎么“變一臺(tái)”的堆疊的底層實(shí)現(xiàn)簡(jiǎn)單說(shuō)就是把多臺(tái)交換機(jī)的控制平面和轉(zhuǎn)發(fā)平面合并成一個(gè)。每臺(tái)參與堆疊的設(shè)備叫成員交換機(jī)按角色分為主交換機(jī)、備交換機(jī)和從交換機(jī)。主交換機(jī)負(fù)責(zé)整個(gè)堆疊系統(tǒng)的管理和協(xié)議計(jì)算備交換機(jī)是主交換機(jī)的備份從交換機(jī)只做業(yè)務(wù)轉(zhuǎn)發(fā)。三者的角色不是固定的系統(tǒng)運(yùn)行中會(huì)根據(jù)角色選舉規(guī)則動(dòng)態(tài)調(diào)整比如主交換機(jī)掛了備交換機(jī)會(huì)自動(dòng)頂上。堆疊系統(tǒng)的控制平面是合并的對(duì)外表現(xiàn)就是一臺(tái)設(shè)備。你登錄堆疊系統(tǒng)之后看到的接口會(huì)帶一個(gè)成員編號(hào)前綴比如GigabitEthernet 1/0/1和GigabitEthernet 2/0/1分別表示第一臺(tái)成員和第二臺(tái)成員上的接口。配置的時(shí)候一條命令就能下發(fā)到所有成員VLAN、ACL、路由協(xié)議這些配置全部全局生效。這里面最關(guān)鍵的是堆疊口。堆疊口是專門用來(lái)連接成員設(shè)備之間高速鏈路的口業(yè)務(wù)數(shù)據(jù)和控制報(bào)文都會(huì)走這個(gè)口。華為的設(shè)備上堆疊口可以是一個(gè)物理口也可以把多個(gè)物理口捆綁成一個(gè)邏輯堆疊口來(lái)用目的就是提高堆疊鏈路的帶寬和可靠性。2.2 集群/高可用和堆疊的差異集群這個(gè)詞在網(wǎng)絡(luò)里用得挺泛思科叫StackWise和VSS華為叫集群交換機(jī)系統(tǒng)Cluster Switch SystemCSSH3C叫IRFIntelligent Resilient Framework銳捷有自己的VSUVirtual Switching Unit。不同廠商的命名不同但核心思想都差不多把兩臺(tái)或多臺(tái)設(shè)備組合成一臺(tái)邏輯設(shè)備統(tǒng)一管理、統(tǒng)一轉(zhuǎn)發(fā)。集群和堆疊的區(qū)別最容易讓人暈的地方在于廠商有時(shí)會(huì)把這兩種技術(shù)混著叫。以我實(shí)際使用經(jīng)驗(yàn)來(lái)看判斷標(biāo)準(zhǔn)很簡(jiǎn)單——看它對(duì)控制平面的處理方式。堆疊通常是把多臺(tái)設(shè)備的控制平面合并成一個(gè)邏輯控制平面參與堆疊的設(shè)備之間通過(guò)堆疊口傳輸大量的協(xié)議報(bào)文和表項(xiàng)同步信息集群則更強(qiáng)調(diào)獨(dú)立設(shè)備的協(xié)同每臺(tái)設(shè)備仍然有自己的控制平面但通過(guò)集群協(xié)議同步關(guān)鍵狀態(tài)對(duì)外虛擬成一個(gè)整體。用華為的iStackIntelligent Stack和CSS來(lái)對(duì)比更直觀iStack一般用于中低端框式或盒式交換機(jī)最多支持9臺(tái)堆疊適合接入層和匯聚層CSS一般用于核心交換機(jī)本質(zhì)是把兩臺(tái)框式交換機(jī)虛擬成一臺(tái)適合數(shù)據(jù)中心核心或園區(qū)網(wǎng)核心。CSS對(duì)硬件的要求更高需要專門的集群接口板或集群線纜穩(wěn)定性也更強(qiáng)。2.3 各廠商堆疊技術(shù)命名與定位我在實(shí)際項(xiàng)目中接觸過(guò)不少?gòu)S商設(shè)備各家堆疊技術(shù)能力參差但總體上都挺成熟這里按我自己的經(jīng)驗(yàn)給個(gè)定位參考廠商技術(shù)名稱典型型號(hào)最大成員數(shù)我的使用感受華為iStack / CSSS5720、S6720、S12700iStack 9臺(tái) / CSS 2臺(tái)配置直觀堆疊口和邏輯口概念清晰適合園區(qū)網(wǎng)思科StackWise / StackWise VirtualC9300、C95008臺(tái) / 2臺(tái)Catalyst 9000系列體驗(yàn)很好StackWise線纜即插即用H3CIRFS5130、S6520、S105009臺(tái) / 2臺(tái)IRF老牌穩(wěn)定配置命令多但資料全銳捷VSURG-S5750、RG-S62202~4臺(tái)界面友好中專院校和中小項(xiàng)目用得多中興堆疊R10系列2~4臺(tái)配置風(fēng)格接近華為做政企項(xiàng)目時(shí)見(jiàn)過(guò)表格里這些數(shù)字是常規(guī)值具體還要看軟件版本不要拿老版本的限制套新版本設(shè)備。另外我得提醒一句跨廠商堆疊是行不通的堆疊協(xié)議是私有的不用想著華為和思科混堆選型的時(shí)候就得把品牌統(tǒng)一。3. 華為堆疊配置實(shí)戰(zhàn)從零到一落地前面聊了原理下面拿華為設(shè)備走一遍真實(shí)配置。我這邊用的示例是兩臺(tái)S5720-52X-SI版本是V200R019C10做的是業(yè)務(wù)口堆疊。為什么選業(yè)務(wù)口堆疊而不是專門的堆疊口因?yàn)镾5720這種盒式交換機(jī)大多數(shù)沒(méi)有專門堆疊口直接拿萬(wàn)兆光口或者千兆光口當(dāng)堆疊口就能用靈活又省錢。3.1 開工前必須確認(rèn)的硬件條件做堆疊前先檢查三樣?xùn)|西缺一樣都別開工第一軟件版本必須一致。我用華為設(shè)備比較多在系統(tǒng)視圖下執(zhí)行display version就能看到版本號(hào)參與堆疊的設(shè)備版本不一致時(shí)系統(tǒng)會(huì)提示可能堆疊失敗。哪怕小版本號(hào)不同也建議先升級(jí)再組堆疊不然有的功能會(huì)異常。第二堆疊口之間的連線必須做對(duì)。華為的堆疊口是有編號(hào)的業(yè)務(wù)口堆疊的時(shí)候需要先創(chuàng)建邏輯堆疊口再把物理口加進(jìn)去。兩臺(tái)設(shè)備組堆疊時(shí)通常要兩根線交叉連接1號(hào)設(shè)備的堆疊口1連2號(hào)設(shè)備的堆疊口21號(hào)設(shè)備的堆疊口2連2號(hào)設(shè)備的堆疊口1。如果接成直連堆疊會(huì)起不來(lái)。第三設(shè)備啟動(dòng)方式要是堆疊模式。華為很多盒式交換機(jī)出廠默認(rèn)就是堆疊模式不用額外切換但有些型號(hào)需要在BIOS里改啟動(dòng)模式。我遇到過(guò)一次設(shè)備是獨(dú)立模式怎么配堆疊都不生效后來(lái)查文檔才發(fā)現(xiàn)要改啟動(dòng)方式并重啟。3.2 華為堆疊配置從規(guī)劃到命令行我規(guī)劃的是兩臺(tái)設(shè)備組成一個(gè)堆疊系統(tǒng)成員編號(hào)分別是1和2堆疊域編號(hào)固定為10堆疊優(yōu)先級(jí)1號(hào)設(shè)為200讓它成為主2號(hào)保留默認(rèn)100。這樣設(shè)計(jì)是防止設(shè)備同時(shí)啟動(dòng)時(shí)角色競(jìng)爭(zhēng)不穩(wěn)定。先配置1號(hào)設(shè)備。進(jìn)入系統(tǒng)視圖修改成員編號(hào)和優(yōu)先級(jí)再創(chuàng)建堆疊端口system-view sysname SW_Building_A stack stack member 1 priority 200 stack member 1 domain 10 stack-port 1/1 port interface GigabitEthernet0/0/27 stack-port 2/1 port interface GigabitEthernet0/0/28注意這里的stack-port寫法第一個(gè)數(shù)字是成員編號(hào)第二個(gè)數(shù)字是堆疊口編號(hào)。比如stack-port 1/1表示給1號(hào)成員創(chuàng)建堆疊口1再把物理口27加進(jìn)去。2號(hào)設(shè)備同樣操作但成員編號(hào)改成2優(yōu)先級(jí)保持默認(rèn)system-view sysname SW_Building_A stack stack member 2 domain 10 stack-port 1/2 port interface GigabitEthernet0/0/27 stack-port 2/2 port interface GigabitEthernet0/0/28然后把兩臺(tái)設(shè)備斷電用堆疊線纜交叉連接1號(hào)設(shè)備的物理口27連2號(hào)設(shè)備的物理口281號(hào)設(shè)備的物理口28連2號(hào)設(shè)備的物理口27。接好后先給1號(hào)設(shè)備上電等它完全啟動(dòng)后再給2號(hào)設(shè)備上電。這樣做的目的是讓1號(hào)先完成初始化大概率穩(wěn)坐主角色。兩臺(tái)設(shè)備都啟動(dòng)后在1號(hào)設(shè)備上執(zhí)行display stack查看堆疊狀態(tài)。如果顯示堆疊成員有2臺(tái)角色一個(gè)是Master一個(gè)是Standby那就說(shuō)明堆疊建立成功。如果只顯示1臺(tái)或者成員角色不對(duì)優(yōu)先檢查連線順序和堆疊口配置。3.3 業(yè)務(wù)口堆疊的雷區(qū)和注意事項(xiàng)業(yè)務(wù)口堆疊雖然方便坑也不少。第一物理口加入堆疊口之后這個(gè)物理口就不能再當(dāng)普通業(yè)務(wù)口用了。我見(jiàn)過(guò)有人配完堆疊后怎么都ping不通某些業(yè)務(wù)地址排查半天發(fā)現(xiàn)是在堆疊口里加了業(yè)務(wù)物理口導(dǎo)致那根線被堆疊系統(tǒng)占用了。所以在規(guī)劃的時(shí)候端口預(yù)留一定要夠別把堆疊口和業(yè)務(wù)口混在一起。第二堆疊鏈路的帶寬會(huì)影響整機(jī)轉(zhuǎn)發(fā)性能。兩臺(tái)設(shè)備之間的流量如果走堆疊口帶寬不夠就會(huì)擁塞。我的建議是堆疊口至少用萬(wàn)兆如果只有千兆口堆疊內(nèi)跨設(shè)備流量大的時(shí)候會(huì)明顯掉速。S5720-SI這種型號(hào)自帶4個(gè)萬(wàn)兆光口優(yōu)先拿萬(wàn)兆口做堆疊千兆口留給業(yè)務(wù)。第三跨設(shè)備鏈路聚合很重要。堆疊做完之后一定要把上聯(lián)口或下聯(lián)口跨設(shè)備捆綁成Eth-Trunk不然堆疊就失去了一半意義。我處理過(guò)一個(gè)現(xiàn)場(chǎng)堆疊做完了但下聯(lián)服務(wù)器的兩根網(wǎng)線分別插在不同成員交換機(jī)上沒(méi)有做鏈路聚合結(jié)果一臺(tái)成員設(shè)備掛了服務(wù)器依然斷網(wǎng)??缭O(shè)備聚合才能讓流量在成員間自動(dòng)切換才能真正利用堆疊的冗余能力。4. 堆疊核心機(jī)制選舉、分裂與MAD配置做完只是第一步能把堆疊運(yùn)行機(jī)制搞明白后面出問(wèn)題才能快速定位。堆疊系統(tǒng)里最核心的三個(gè)機(jī)制角色選舉、成員加入、堆疊分裂。這三個(gè)機(jī)制決定了一旦拓?fù)渥兓询B表現(xiàn)如何。4.1 堆疊系統(tǒng)的角色選舉規(guī)則堆疊建立或拓?fù)渥兓臅r(shí)候會(huì)觸發(fā)角色選舉。選舉規(guī)則按順序比較運(yùn)行狀態(tài)已經(jīng)運(yùn)行的優(yōu)先、堆疊優(yōu)先級(jí)數(shù)值大的優(yōu)先、MAC地址小的優(yōu)先。我前面配置里把1號(hào)設(shè)備的優(yōu)先級(jí)設(shè)成200就是為了保證它穩(wěn)定當(dāng)主設(shè)備。角色確定后主交換機(jī)會(huì)負(fù)責(zé)收集所有成員的拓?fù)湫畔⒂?jì)算轉(zhuǎn)發(fā)表項(xiàng)然后同步給備機(jī)和從機(jī)。這里有個(gè)細(xì)節(jié)如果后來(lái)新加入一臺(tái)設(shè)備它的配置會(huì)和主設(shè)備沖突新設(shè)備會(huì)自動(dòng)清空自己的配置跟隨主設(shè)備重新下發(fā)配置。所以給堆疊系統(tǒng)加新成員時(shí)千萬(wàn)別接上就完事要等它自動(dòng)同步著急開業(yè)務(wù)可能會(huì)因?yàn)榕渲貌灰恢庐a(chǎn)生奇怪問(wèn)題。4.2 堆疊分裂為什么很危險(xiǎn)堆疊分裂是運(yùn)行中最危險(xiǎn)的事件沒(méi)有之一。人為原因最常見(jiàn)有人拔了堆疊線纜或者某臺(tái)設(shè)備的堆疊口光模塊壞了。一旦堆疊鏈路斷開原本的一個(gè)堆疊系統(tǒng)會(huì)變成兩個(gè)獨(dú)立的系統(tǒng)而且是兩個(gè)系統(tǒng)還在轉(zhuǎn)發(fā)同一個(gè)網(wǎng)段的流量IP地址、VLAN配置完全一樣這就形成了事實(shí)上的雙主沖突。雙主沖突之后原來(lái)走堆疊口的跨設(shè)備流量全部斷掉網(wǎng)絡(luò)廣播報(bào)文還會(huì)在兩個(gè)系統(tǒng)之間反復(fù)橫跳嚴(yán)重時(shí)直接廣播風(fēng)暴。這時(shí)候如果沒(méi)做MAD檢測(cè)整個(gè)網(wǎng)絡(luò)會(huì)變得極其不穩(wěn)定想遠(yuǎn)程登錄設(shè)備處理都困難。4.3 MAD檢測(cè)配置與建議MADMulti-Active Detection多主檢測(cè)就是專門用來(lái)解決這個(gè)問(wèn)題的。它通過(guò)一條獨(dú)立于堆疊口的鏈路檢測(cè)對(duì)方是否存活。常用的MAD方式有直連檢測(cè)和代理檢測(cè)。直連檢測(cè)適合兩臺(tái)成員設(shè)備的場(chǎng)景用一根普通網(wǎng)線把兩臺(tái)設(shè)備的檢測(cè)口互連代理檢測(cè)適合多成員設(shè)備通過(guò)中間設(shè)備進(jìn)行檢測(cè)。華為設(shè)備配置直連MAD的典型命令system-view interface GigabitEthernet0/0/29 mad detect mode direct我在實(shí)際項(xiàng)目中習(xí)慣把所有空閑端口也開啟mad檢測(cè)并把堆疊域編號(hào)統(tǒng)一規(guī)劃。要注意MAD檢測(cè)口不能用來(lái)跑業(yè)務(wù)必須獨(dú)立占用一個(gè)物理口最好是千兆以上端口專門留給堆疊自愈用的。還有一個(gè)容易忽略的坑MAD檢測(cè)配置在成員設(shè)備上要寫一樣的命令。如果只在一臺(tái)設(shè)備上配了另一臺(tái)沒(méi)配分裂后檢測(cè)機(jī)制形同虛設(shè)。5. 從交換機(jī)堆疊看向服務(wù)器集群聊了這么多交換機(jī)堆疊肯定有不少朋友是搞服務(wù)器集群的。其實(shí)這兩個(gè)方向在工程實(shí)踐中往往是綁定的服務(wù)器集群要穩(wěn)定網(wǎng)絡(luò)側(cè)必須給力。5.1 服務(wù)器集群對(duì)網(wǎng)絡(luò)的新要求我自己搭過(guò)Hadoop、Kafka和K8s集群也幫人排查過(guò)因?yàn)榫W(wǎng)絡(luò)問(wèn)題導(dǎo)致集群不穩(wěn)定的案例。服務(wù)器集群的流量模式和傳統(tǒng)辦公網(wǎng)差別很大東西向流量占比極高節(jié)點(diǎn)之間要頻繁通信數(shù)據(jù)副本同步、任務(wù)調(diào)度、心跳檢測(cè)全都在局域網(wǎng)內(nèi)完成。比如Kafka集群broker之間要復(fù)制消息節(jié)點(diǎn)一多內(nèi)網(wǎng)帶寬很容易被刷滿。這時(shí)候如果接入交換機(jī)的帶寬不夠、單臺(tái)設(shè)備轉(zhuǎn)發(fā)能力弱就會(huì)出現(xiàn)消費(fèi)者拉取消息延遲、rebalance頻繁觸發(fā)。Hadoop集群跑shuffle的時(shí)候多個(gè)節(jié)點(diǎn)同時(shí)拉取中間結(jié)果對(duì)網(wǎng)絡(luò)時(shí)延非常敏感交換機(jī)緩存太小都會(huì)拖慢整個(gè)任務(wù)進(jìn)度。所以有條件的情況下服務(wù)器接入交換機(jī)最好也是雙機(jī)上聯(lián)堆疊或集群服務(wù)器網(wǎng)卡做bond交換機(jī)之間做跨設(shè)備鏈路聚合。這樣即使一臺(tái)交換機(jī)故障集群通信也不會(huì)中斷不會(huì)因?yàn)榫W(wǎng)絡(luò)抖動(dòng)觸發(fā)節(jié)點(diǎn)間心跳超時(shí)。5.2 網(wǎng)絡(luò)側(cè)給集群做保障的幾個(gè)習(xí)慣第一把服務(wù)器區(qū)域單獨(dú)劃VLAN隔離廣播域。辦公網(wǎng)的廣播報(bào)文本來(lái)就多如果服務(wù)器和辦公電腦混在一起集群通信會(huì)被擊穿。我的習(xí)慣是把服務(wù)器單獨(dú)劃一個(gè)VLAN并關(guān)閉不必要組播減少無(wú)謂的協(xié)議報(bào)文干擾。第二給集群業(yè)務(wù)流量打上高優(yōu)先級(jí)。現(xiàn)在很多交換機(jī)支持簡(jiǎn)單的QoS可以通過(guò)簡(jiǎn)化優(yōu)先級(jí)的配置讓集群的心跳、存儲(chǔ)同步這些關(guān)鍵流量?jī)?yōu)先轉(zhuǎn)發(fā)。我用華為設(shè)備時(shí)會(huì)做流策略把服務(wù)器網(wǎng)段的流量映射到EF隊(duì)列保證集群流量在網(wǎng)絡(luò)擁塞時(shí)不被丟棄。第三監(jiān)控交換機(jī)的CPU和內(nèi)存。集群跑大任務(wù)的時(shí)候交換機(jī)如果處理不過(guò)來(lái)會(huì)出現(xiàn)CPU占用率飆升表現(xiàn)為管理面卡頓、協(xié)議鄰居頻繁震蕩。遇到這種情況優(yōu)先檢查是不是交換機(jī)型號(hào)選得小了其次檢查有沒(méi)有被異常廣播報(bào)文打滿。我一般會(huì)開啟SNMP配合Prometheus或Zabbix監(jiān)控交換機(jī)端口流量、CPU、內(nèi)存提前發(fā)現(xiàn)問(wèn)題。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄寫了這么多最后來(lái)點(diǎn)實(shí)踐沉淀。我整理了一張速查表全是在現(xiàn)場(chǎng)遇到過(guò)的真實(shí)問(wèn)題照著排查能省很多時(shí)間。6.1 我整理的一份常見(jiàn)故障速查表現(xiàn)象可能原因排查思路堆疊系統(tǒng)里少了一臺(tái)成員堆疊線纜松動(dòng)或光模塊故障兩端查看端口物理狀態(tài)重啟堆疊口堆疊口配置失敗物理口被業(yè)務(wù)口占用檢查端口是否加入其他接口組或Eth-Trunk堆疊建立后業(yè)務(wù)中斷跨設(shè)備鏈路未做聚合配置跨設(shè)備Eth-Trunk不要跨成員單鏈路跑業(yè)務(wù)堆疊雙主網(wǎng)絡(luò)廣播嚴(yán)重MAD未配置或配置錯(cuò)誤檢查MAD檢測(cè)鏈路重新配置mad detect mode堆疊成員配置自動(dòng)丟失新加入設(shè)備配置與主設(shè)備沖突確認(rèn)新設(shè)備軟件版本一致再組堆疊交換機(jī)CPU高管理卡頓被廣播報(bào)文攻擊或網(wǎng)段廣播域過(guò)大查日志、抓包縮小廣播域堆疊后端口速率不達(dá)標(biāo)堆疊口帶寬不足萬(wàn)兆堆疊優(yōu)先跨設(shè)備流量避免走聚合單鏈路交換機(jī)之間STP震蕩堆疊和STP配置沖突堆疊后跨設(shè)備鏈路做成Eth-Trunk關(guān)閉不必要的STP6.2 華為6720堆疊配置踩坑筆記熱搜里也有華為6720堆疊我順手說(shuō)一下。S6720系列本身是數(shù)據(jù)中心接入交換機(jī)做堆疊和普通S5720思路類似但要注意它的40GE端口用得比較多配置堆疊口的時(shí)候需要指定端口類型。配置示例interface Stack-Port 1/1 port interface 40GE1/0/27 interface Stack-Port 2/1 port interface 40GE1/0/28我遇到過(guò)一次詭異問(wèn)題S6720堆疊建好之后display stack顯示正常但兩臺(tái)設(shè)備之間的三層轉(zhuǎn)發(fā)一直不通。后來(lái)抓包發(fā)現(xiàn)是堆疊系統(tǒng)的虛擬MAC地址在跨設(shè)備學(xué)習(xí)的時(shí)候出了岔子最后把MAC地址老化時(shí)間調(diào)短、同時(shí)清空動(dòng)態(tài)表項(xiàng)才恢復(fù)正常。這種底層表項(xiàng)問(wèn)題不好復(fù)現(xiàn)真遇到了別慌先從表項(xiàng)查。6.3 銳捷、H3C堆疊的配置習(xí)慣銳捷交換機(jī)做VSU我習(xí)慣先確認(rèn)設(shè)備是否支持因?yàn)椴皇撬行吞?hào)都支持VSU。VSU配置需要在特定視圖下進(jìn)行先給設(shè)備配置域編號(hào)再指定成員ID然后創(chuàng)建VSL端口并把物理口加進(jìn)去。銳捷的VSL端口綁定和華為的邏輯堆疊口類似但它更強(qiáng)調(diào)物理口要成對(duì)綁定不推薦一根線堆疊。H3C的IRF配置邏輯和華為很像核心命令是irf member、irf-port、port group interface。H3C的坑在于如果設(shè)備之前配置過(guò)業(yè)務(wù)重新組IRF時(shí)經(jīng)常出現(xiàn)配置沖突最好的辦法是清空設(shè)備配置再組。H3C的IRF分裂之后也有irf mad檢測(cè)包括鏈路級(jí)檢測(cè)和擴(kuò)展LACP檢測(cè)合理使用都能快速感知雙主問(wèn)題。7. 最后分享幾個(gè)我自己的使用體會(huì)寫到這里差不多把我的經(jīng)驗(yàn)和理解都鋪開了最后收個(gè)尾說(shuō)幾句真心話。堆疊和集群說(shuō)到底只是網(wǎng)絡(luò)高可用方案的前半段設(shè)備級(jí)冗余解決了后面還要考慮鏈路級(jí)、網(wǎng)關(guān)級(jí)、甚至機(jī)房級(jí)的冗余。我在實(shí)際規(guī)劃時(shí)一般遵循一個(gè)原則能成對(duì)就成對(duì)能聚合就聚合能檢測(cè)就檢測(cè)。堆疊解決了設(shè)備層面的虛擬化Eth-Trunk解決鏈路層面的冗余MAD解決分裂后的腦裂問(wèn)題三者配合才能真正把網(wǎng)絡(luò)做穩(wěn)。我個(gè)人最深的體會(huì)是堆疊和集群不是配完就完事。我見(jiàn)過(guò)太多項(xiàng)目堆疊配好了但MAD沒(méi)開、跨設(shè)備聚合沒(méi)做、堆疊線纜質(zhì)量差、堆疊口帶寬不夠整個(gè)堆疊系統(tǒng)的價(jià)值大打折扣。技術(shù)沒(méi)有銀彈關(guān)鍵還是看落地細(xì)節(jié)。后面如果你也準(zhǔn)備給自己的網(wǎng)絡(luò)加堆疊建議先在小范圍測(cè)試環(huán)境里把配置和故障演練做一遍再上生產(chǎn)這樣會(huì)踏實(shí)很多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香五月婷婷社区| 亚洲狠狠婷婷| 久久九九囯产| 色婷婷玖玖影院| 欧美激情 日韩无码 婷婷 五月天| 日本97在线看片| 免费在线观看av网站| 亚韩精品视频1区| 色涩视频久久| 99色中文| 九九色综合| 五月婷婷在线免费观看| 777精品久无码人妻蜜桃| 五月天综合| 国产精品色| 中文字幕人妻熟女在线| tingtingseav| 综合色网站| 久久婷狠狠色| 国产裸舞福利资源在线视频| 色狠狠综合| 国产色五月| 日日综合网| 日本色婷婷| 色婷婷五月天成人网| 色色免费网站| 在线理论片| 国产免费性爱| 婷婷va| www.91在线观看| 成人亚洲精品| 婷婷五月天com| 26uuu另类亚洲欧美日本一| 丁香五月激情在线| www.99婷婷| 开心五月网| 99色在线| 婷婷五月天久| 亚洲第一成人无码A片| 亚洲视频一区| 五月婷婷丁香六月| 婷婷基地成人五月天| 亚洲欧洲自拍图片专区五月天| 久久机热这里只有精品| 97精品欧美91久久久久久久| 99性视频| 五月丁香综合久久夜夜| 色欲影香| 久久狠色噜噜狠狠狠狠97| 俺去也在线官网| 欧州色色| 五月丁香偷拍| 丁香五月激情五月| 久久综合激情| 开心五月婷婷99| 99爱在线免费视频| 亚洲黄色影视| 婷婷五月天性爱视频| 久久99精品久久久| www。狠狠干。com| 婷婷色五月天在线| 亚洲九九视频| 丁香五月天社区婷婷| 色婷婷伊人| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 五月激情网站| 国产偷人爽久久久久久老妇APP| 亚洲av电影在线| 99日精品视频| 色婷婷综合五月| 婷婷五月天免费视频| 色五月激情网| 久久丁香综合精品综合| 99精品在线观看| 五月天婷婷激情小说| 色在线视频网2025| 九九人人操| 日本97在线观看| 五月丁香婷中文| 五月激情偷拍婷婷| 激情无码网| 激情五月天网站| 狠狠爱丁香婷| 激情深爱综合| 9月色婷婷| 丁香激情网| 激情AV中文| 中文字幕婷婷五月天| www,av好吊操| 成人日韩欧美| 九九色色色| 婷婷五月天色网久| 激情AV| 五月婷婷视频| 婷婷丁香色女人| 91人人网| 五月丁查人人| 丁香五月影院| 爆乳熟妇一区二区三区爆乳| 婷婷激情五月天在线| 亚洲色综合| 日本熟女啪啪| 成人五月天视频| 丁香婷婷噜噜| 99热在线观看| 丁香激情久久| 玖玖热视频| 九九99精品| 丁香五月97视频| 亚洲精品色色| 色狠狠999综合| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | bbwcuckold精品熟妇| 久久国产色| 成人做爰A片免费看视频| 激情丁香久久久久久| 人人操Av| 狠狠干婷婷| 免费看片在线观看| 婷婷五月中文字幕国产| 久草热8精品视频在线观看| 天天se在线视频| 亚洲丁香网| 成人婷婷深爱综合网| 亚洲99在线| 蜜臀久久99精品久久久久久酒店| 熟女婷婷网站一婷婷五月一丁香婷婷一婷婷激情网| 欧美色97| 色婷婷色五月综合| 久热只有这里精品| 欧美特大片黄| 99爱免费在线观看| 99精彩视频| 无码橾| 日日夜夜爽爽| 国产精产国品一二三在观看| 五月激情丁香久久综合网| 色久影院| 久久加勒比| 九九热在这里只有精品| 99国产精品久久久久久久久久久| 成人做爰A片免费看网站找不到了| 五月色丁香| 色青青电影色五月| 天天艹天天色| 精品欧美一区二区三区久久久| wwwss在线观看| 91人操人人人操人| 久久色9| 亚洲国产色色| 丁香婷婷五月色综合| 五月婷婷在线丁香| www.99热| 色五月婷婷色| 五月婷网| 少妇人妻人伦A片| 怡红院 久久| 久久最新色| 日本在线wwww| 五月人妻婷婷视频| 任你搞在线观看视频| 婷婷五月天激情五月天网站| 五月丁香花成人社区| 色五月婷婷少妇人妻| 五月丁香啪啪啪| 偷拍91九色| 五月丁香香蕉| 日本丁香久在线| 婷婷激情五月综合| 黄页免费一级视频懂色| AV性爱在线| 免费观看日韩成人av| 欧洲免费视频色| 欧美69久成人做爰视频| 色宗合久久五月婷婷| 专区无日本视频高清8| 夜夜涩涩涩| 成人日韩欧美| 成人精品一区二区三区四区五区| 这里有精品| sS丁香五月婷婷| 久久这里有精品| 亚洲综合在线视频| 综合激情婷婷| 少妇日麻屄| 色五月婷婷老师| 色色五月天婷婷| 99超级碰免费视频| 九九视频免费| 日婷婷久久开心| 日韩AC在线免费观看| 日逼免费视频| 嫩草视频| 欧洲色色| 在线成人网站| 亚洲色啪| 婷婷五月天激情综合深爱| 成人无码髙潮喷水A片| 色五月亚洲五月天| 九九操屄| 日本va欧美va欧美精品88| 色婷婷最新域名| 四月丁香五月婷婷久久| 伊人婷婷大香蕉| 99精品在线播放| 婷婷五月播| 大香蕉手机视频| 五月丁香啪啪拍| 双性美人被调教到喷水A片| 538久久| 91久久久久久久久久18| 99在线精品在线视频| 91精品视频男人的天堂| 五月婷婷99热| 思思色播| 婷婷六月激情综合| 成人在线99| 99久久精品色老| 91五月天| 99热在线中文字幕| 日本在线视频看se99| 九九无码| 亚洲国产精品成人免费一区久久久在线观看AAAA | 超碰成人黄色网| 婷婷五月天美女视频| 亚洲视频码| 热99在线| 久久免费9| 99精品热| 色婷婷香蕉丁丁网| 天天色综| 欧美熟女99| 久热这里只精品| 丁香五月激情性色郤| 久久九九激情五月天| 久久久久久人妻久久久久久久久久人妻久久久| 午夜爱插插| 九色婷婷| 亚洲成人黄色网| 丁香六月婷| 亚洲激情网| 五月丁香激情综合六月涩涩爱| 99干在线视频| 婷婷久久五月| 日韩精品色| 九九视屏| 日韩成人电影AV| www.五月天婷婷姐姐| 久久久五月天婷婷成人网| 婷婷五月综合色拍| 日日操,日日爽| 99re久热| 久久五月天综合| 婷婷五月色网| 亚洲无码播放| seuuu婷婷| 天天综合色| 久热精品视频在线观| 久久久婷婷五月天| 五月玖玖| 99精品在线下载| 干一干xxxx| 夜夜撸日日操| 很很干天天干| 有码人妻久久| 婷婷六月综合| co超碰在线观看| 五月天激情小说| 草美女在线观看视频在线播放| 91主播在线| 久久色情| 婷婷激情五月色综合| 色99网| 国产成人精品一区二区三区视频| 久操97| 五月婷婷就去色| 97在线日本| 婷婷五月天AV| 99热精品中文字幕| 这里只有精品,日韩视频| 97国产精品女人碰碰| 五月丁香啪啪| www.夜夜操.com| 色久婷婷网| 五月亭亭色| 五月婷丁香| 26uuu在线观看| 婷婷久久午夜网| 热996精品在线观看| 91日韩在线| 天天日天天摸| 天天模,夜夜模夜夜爽| 日韩99视频| 极品人妻VIDEOSSS人妻| 五月婷婷基地| 天天激情欧美美女| 五月婷婷插一插| 婷婷精品在线| 久久国产高潮白浆免费观看99| 久久五月丁香| 人妻九九九九| 色狠狠色噜噜AV天堂五区消防| 五月丁香日本一抹本| 人妻在线网站| 97在线观视频免费观看| 天天综合在线网| 婷婷五月av| 天天婷婷天天| 九九热这里只有精品556| 天天操五月天| 色婷婷小视频| ..真实国产乱子伦对白在线_欧| 青青草原亚洲天堂| AV性爱网| jiqingliuyuetian| 玖玖精品视频99| 九月丁香| 丁香色成人| 午夜丁香久久久久久| 色色操| 五月综合在线| 五月丁六月香| 五月丁香花开综合网| 安息电影在线观看完整版| 婷婷综合视频| 六月激情网| 国产美女无遮挡裸体毛片A片| 91se在线视频| 丁香五月激情网| 婷婷五月天激情丁香| 99色看这里只有精品| 国产免费AV在线| 丁香五月手机视频| 色五月在线综合| 无码人妻丰满熟妇奶水区码| 99操碰| 日韩成人AV在线| 夜夜夜夜夜操| 岛国AV网站| 99热首页在线30| 人人爱干人人爱草| 他改变了拜占庭| 99综合一区| 久久久A级视频| 91黄色五月天视频| 91丁香色| 丁香六月丁香婷婷激情| 国内一级片| 无码99| XX色综合| 26uuu最新地址| 91狠狠综合网| 99精品在线观看视频| 噜噜视频| 五月丁香六月玩女人| 在线可以看的av网址| 综合久久五月| 色婷婷九月综合| 婷婷五月丁香婷婷| 国产精品色色色色| 激情五月天色爱| 五月丁香六月婷婷,婷| av中文在线| 色综合久久天天综合网| 亚洲午夜av| 五月婷婷偷拍| 9久久久久久久久久久| 婷丁香五月天| 99精品一二三四视频| 伊人综合色干| 日本成人综合| 亚洲色图45p| 99啪99| 丁香五月婷婷亚洲激情四射| 亚洲av午夜精品一区二区| 五月天婷婷Av| 99玖玖精品| 五月天激情图片网| 午夜九九九九九九九九九九九九九| 六月婷婷久久| 色五月首页| 91热在线| 天天 青草 制服丝袜 在线| 五月丁香六月在线欧美| 天天射影| 欧美99热| 99爱免费视频| 亚洲综合五月天| 操逼三区| 国产午夜一区二区三区| 成人精品视频99在线观看免费| 国产精品涩涩涩视频网站| 久久精品国产AV一区二区三区 | 婷婷黄色网| 99热一本久道| 激情久久久久| 婷五月天在线草| 99热骚货| 思思久久精品| 丁香五月婷婷啪| 色色色无码| 狠狠干狠狠干| 婷婷激情五月天桃花网| 久久综合伊人77777蜜臀| 婷婷性爱影院| 我要色综合五月婷婷| 激情五月婷婷在线| 91人碰| 99在线精品免费视频| 中文字幕无码人妻少妇免费视频 | 丁香五月 性爱| 欧美婷婷精品激| 伊人久久大香网| 色五月激情问网站| av操一操| 99色综合网| 综合色99| 99九九99九九九视频精品| 五月久久网| 色综合夜夜| 婷婷中文字幕版| www.99热这里只有精品| 久久久久er热| 亚洲狠狠终合停停终合| 五月天婷婷爱| 色婷婷4| 丁香五月婷婷在线观看| 色综合久| 五月婷视频| www久| 亚洲AV影片在线观看| 婷婷狠狠狠爱| 天天爱天天日| 夜夜干 夜夜操| 97干在线视频| 国产精品成av人在线视午夜片| 综合色吧| 国产欧美婷婷五月| 综合啪啪| 99精品国产乱码久久久人妻| 亚洲操B视频| 久久66er久久| 色五月婷婷很很操| 久久九九网| 97伦色婷婷| 亚洲中文字幕AV| 久久精彩视频99| 激情五月色婷婷| 内射人妻视频国内| 成人网在线视频| 亚洲第一色色色| 欧美日韩一区二区三区四区| 亚洲五月色| 99re热在线视频| 成人中文网| 91视频五月丁香| 婷婷五月天激情偷拍| 99在线观看精品视频| 99色视频| 婷婷久久影院| 26UUU在线观看| 中文字幕,综合,91| 青青久在线视频免费观看| 婷婷综合影院| va婷婷在线免费观看| 97热这里精品在线视频| 综合 激情 婷婷| 婷婷午夜激情| 久久成人人妻| www.夜夜| 一级性感黄色内射视频| 99热这里只有精品在线播放| 99自拍视频在线| 婷婷丁香综合| 五月婷婷激情69| 久色网| 色五月婷婷丁香凹凸| 五月婷婷深深的爱| 亚洲久久激情| 91精品国产综合久久久不卡电影| 色五月婷婷色| www.操.com| 免费视频WWW在线观看网站| 日本成人综合| 九九激情视频| 国产成人精品一区二三区熟女在线| 玖玖婷婷综合| 开心激情播播五月天| 天天插天天射| 五月丁香婷婷色色| 天天插天天爽| 碰碰碰97国产| 五月丁香天天| 思思久久精品| 色婷婷a v| 婷婷开心激情五月激情网| 国产日比| 婷婷在线精品| 伊人婷婷五月天| 色色色香蕉五月婷| 色五月婷婷少妇人妻| 成人av在线网站| 91精品久| 婷婷五月天a| 综合激情五月丁香| 啪啪激情综合| 综合五月丁香六月婷婷| 变态另类色图| 天天天天天天天操| 欧美交换配乱吟粗大25P| 8区视频在线| 99这里都是精品6| 久久色六月| 天天日综合网射| 激情综合色网| 91ncm视频| 丁香午夜天| www婷婷色| 亚洲性爱99| www.99视频| 久艹大香蕉| 夜夜干夜夜操| 久久99久久99www| 色五月婷婷激情五月| 99热日本| 久er免费视频| 久久草大香蕉| 在线中文字幕av| 成人网址在线观看| 伊人三级激情| 婷婷五月天亚洲| 果冻传媒A片一二三区| 激情五月丁香在线观看直播| av亚洲国产小电影| 五月婷婷视频啪啪美女| 欧美色婷婷| www.激情五月天。com| www99精品| 123草逼网| 播播网色播播| 在线99精品| 开心五月网 | 99热久| 成人在线精品| 婷婷五月天激情网| 色~性~乱~伦~噜| 色99在线观看| 99热爱爱干干日| 久综合色| 五月婷网| 久久婷五月| 色色色色色色色色五月先| 色婷婷www| 久久色五月| 丁香久久综合| 激情综合网五月丁香| 99啪| 五月丁香婷婷啪啪| 五月之婷婷| 五月婷婷 婷婷五月 一区二区 久久久| 五月综合激情图片 | 色婷婷六月精品| 色色五月婷婷网| 五月四色婷婷| 亚洲9久久精品| 久久人妻视步| 2013AV天堂| 丁香综合婷婷五月天| 丁香六月青青草| 婷婷另类小说| 丁香五月综合激情啪啪| 五月天婷婷色色| 7月婷婷六月丁香| www.久久99| www,欧美干干干干干干| 婷婷丁香18| 思思热精品在线观看| 一起草aV| 99九九在线观看免费| 大香蕉精品视频| 婷婷五月天AV| 一二三区视频韩国| 极品嫩草| 激情图片婷婷丁香五月| 色五月天丁香| 九九热精品| 色高清无码视频| a免费在线| 可以免费看的AV网站| 大伊香蕉玖玖爱| 99热碰碰热| 99热这里只有精品268| 婷婷五月花| 久久在线人妻| 久久日韩婷婷五月| 在线婷婷| 天天色天天爱天天舔| 婷婷香蕉精品| 日日操夜夜撸| 五月香婷婷| 国产精产国品一二三在观看| 婷婷五月丁香网| 伊人玖玖婷婷| 99精品网| site:feetmall.com| 人人叉久| 婷婷五月丁香六月| 丁香五月天欧美在线| 天天网曰日曰夜夜综合永久免费| www.91操| 无码中文一区二区三区| 6 9式性爱视频在线播放| 伊人五月综合网| 天天婷婷综合| 亚洲AV无码成人电影| 69色婷婷| jiujiu无码五区| 亚洲精品九九| 一本久道综合色婷婷五月| 五月激情婷婷开心五月| 一区二区aV电影免费看| 六月激情婷婷| 五月婷婷福利| 亚洲美女高潮久久久久久69| 尤物一区二区| 欧美在线视频免费播放| 亚洲 精品 综合 精品| 九热av| 成人视屏在线观看| 婷婷丁香基地在线| 啪啪婷婷五月天激情| 国产精品99久久久久久久女警| 99热精品在线免费观看| 99视频自拍| 色婷婷激情Av久久久| 七七九色| 精品99网站| 天天肏高清在线| 国产精品人人做人人爽人人添| 五月婷婷激情综合网 | 综合一啪| 成人片在线播放| 深爱激清网| 6月丁香婷婷| 大大香蕉综合在线| 五月丁香成人网| 天天色色天天| www.天天干.com| 伊人影院久久网| 欧洲色| 亚州色色色| 另类色视频| 18久久| 国产精品国产成人国产三级| 人人草人人舔| 六月天六月婷| 婷婷在线精品| 丁香六月婷婷色XXXXX| 99精品热| 亚洲婷婷五月| 丁香五月av在线| 亚洲综合在线视频| 碰碰碰91| 日本无码专区| 婷婷99狠狠| 天天爽天天摸人妻综合网| 五月丁香六月婷婷综合在线| 二区成人视频| 国产精品国产成人国产三级| 激情五月综合网| 婷婷四色五月| 婷婷中文字幕| 欧美精品A片一区在线观看| 婷婷五月天社区| 六月婷婷色综合| 色五月丁香一区在线| 九九av在线| 字幕网AV中文字幕| 六月丁香激情网| 五月婷婷五月丁香| 天天模,夜夜模夜夜爽| 91综合国免费久入| 大香蕉在线观看9| 无码AV免费精品一区二区三区| 热久国产| www.五月天社区| 丁香五月婷婷呀| 日本在线视频播放91| 青青久久五月天丁香婷婷| 狠狠操狠狠| 中文字幕,综合,91| 婷婷视频在线| 五月色 亚洲| 婷香五月| 九九99热久久精品66中文字幕| 五月综合激情久久| 九九这里都是精品| 久婷久婷| 激情小说婷婷五月| 五月婷婷婷婷婷婷艺术| 精品视频这里只有精品| 日本三级中国三级99| 色综合色综合色综合| 天天躁日日躁狠狠躁日日躁2022年5月9日| 欧美激情综合| 欧美精产国品一二三区| 欧美成人网99网| 丁香五月天欧美在线| 99 热| 色五月婷婷综合在线| 亚洲国产成人AV在线| 亚洲第一成人无码A片| 婷婷五月天成人| 婷婷人人操| 五月天色婷婷综合| 色丁香婷婷| 久久草婷婷丁香网站| www色婷婷久久综合久色 | 婷婷欧美激情综合| 五月天综合婷婷| 色五月婷婷久久大| 色噜噜狠狠色综合日日免费| 丁香五月天色综合| 婷婷综合久久| 五月天婷婷色色网| 狠狠色丁香久久婷婷综合五月| 成人五月天综合网| 爱99干99| 婷婷在线播放| 五月丁香色综合| 思思热视频| www.国产色| 久操无码| 五月丁香婷婷中文| 亚洲免费观看高清完整版AV线| 色久丁香五| 噜噜精品| 色婷婷成人五月| 五月深爱网| 人人人舔人人人操人人人摸人人人97| 综合久久五月| 日日操人人操| 中文不卡一二区| 精品人妻久久久久久久| 五月丁香婷婷婷婷综合网| 色5在线| 狠狠色丁香| 日本一级特黄大片AAAAA级| 久久最新色| 97色在线观看视频| 另类A片| 久99视频在线观看| 91九色在线| 97碰免费视频在线| 六月丁香婷婷五月天| 成人丁香五月| 精热在线综合网| 精品视频这里只有精品| 九九热在视频| 天天拍天天做视频| 丁香五月婷婷激情视频播放| 六月色色婷婷| 26uuu另类亚洲欧美日本一| 99日这里只有精品| 伊人五月综合网| 婷婷丁香五月综合免费视频百花| 综合狠狠干| 操久久网| www.色婷婷.com| 亚洲九九夜夜| 天天色天天操天天射| 婷婷五月欧美综合| 色婷小说| 六月激情丁香一道本7777| 铁牛TV人妻| 无码区婷婷五月花开| 日韩啪啪网| 婷色人人狠| 婷婷色香六月综合激情| 色 五月婷婷基地| 一级操逼内射在线视频| 99热久| 黄色一级影片| 四色永久成人网站| 五月激情在线| 色综合综合综合| 丁香五月久久社区| 成人AV中文字幕| 伊人久久婷婷| 热久久99视频| 五月天俺去也| 婷婷五月丁香五月| 久久综合丁香激情五月| 色婷婷影院| 久久五月婷综合| 伊人久久大香| 激情六月丁香| 草操AV在线| 人妻精品久久久久久久| 高清无码视频网址| 婷婷色影院| 色色色综合网| www.亚洲激情.com| 六月婷婷啪啪| 激情五月黄色小说| 综合色色婷婷| 婷婷大乡焦噜噜| 丁香五月天啪啪| www免费在线视频| 91日综合欧美| 开心五月婷婷激情| 色五月丁香激情| 免费视频99| 丁香五月婷婷影院| 日韩丁香涩| 7777精品伊人久久久大香线蕉最新版| 丁香五月大香蕉| 久久午夜理论| 草五月| 五月婷婷婷| 欧美婷婷丁香社区在线播放| 久久综合五月情| 超碰九九热| 先锋资源996| 婷婷成年人免费视频| 香蕉久久国产AV一区二区| 激情婷婷五月天| 超碰国产一区| 综合色色网| 色青青视频| 色五月大| 五月丁香啪啪啪| 色欲天天综合网| 国产乱子轮XXX农村| 激情婷婷九月| 影音先锋xfplay资源男人网| 久久婷婷综合五月趴| 超碰人人色| 97色射| 中文精品在| 五月开心婷婷| 五月丁香花视频| 国产乱人偷精品人妻A片| 91操在线| 激情涩涩网| 噜噜视频| 亚洲精品视频在线播放| 丁香花五月天婷婷成人社区| 大香蕉婷婷丁香视频在线| 色色亚卅| 91色五月| 久久这里只有精品视频15| 超碰在线免费| 丁香五月天综合网| 久久婷婷热| 波多婷婷久久| 91狠狠综合久久| 五月婷婷色激情| 丁香桃色网| 五月丁香婷婷老司机| 激情五月天在线观看婷婷| 深爱激情六月天| 中文字幕黄色片| 久草丁香婷婷五月天婷| 天天婷婷操| 婷婷色在线播放| 国产,欧美,学生妹,视频| 色99热| 69色色视频| 五月天com| 久久香蕉婷婷| 日本在线免费中文com.| 亚洲欧洲国产精品| 果冻传媒A片一二三区| 色丁香五月天射婷婷爱婷婷| 五月天激情久久| 亚洲精品又粗又大又爽A片| 美女黄频aⅴ视频| 操一操| 91热爆在线| 91视频人人做97| 亚洲五月天婷婷综合| 久99热| 欧美久人人| 婷婷激情鹿城五月天| 色五月丁香一区在线| 香焦网五月天| 九色99视频| 激情五月第四色| 天天插天天插| 日韩野外 无套| 婷婷,五月天,丁香,第一| 日韩黄色电影| 日韩在线视频9色| 99热99日…..| 欧美日比视频| 99久久高清视频| 伊人丁香婷婷东京| 五月开心激情| 色情五月婷| 深夜A片| 国产精品18久久久| 天天做天天爱天天搞| 亚洲人妻电影| 婷婷五月花| 综合丁香婷婷五月天| 97干视频| 涩 五月 婷婷 狠狠| 狠狠狠五月婷婷六月丁香| 天天干天天拍| 99热偷拍| 六月丁香网| 香蕉五月婷婷| www.夜夜.com| 在线观看免费视频| 婷婷 久综合| 色五月综合在线| 噜噜狠狠色综合久| 亚洲国产色色| 色婷婷网大全在线| 婷婷五月丁香在线观看| 精品色| 99熟女视频| 五月婷丁香| 91窝窝| 婷婷五月天色综合| 欧美性生交XXXXX无码小说| 色色亚洲无码| 99热精品在线| 色九月婷婷综合| 狠狠狠色激情综合适合| 国产人人操| 婷婷涩五月天综合| 97热91| 人妻五月天激情开心网| www色色com| 久热精品视频在线观| 在线成人网站| 六月婷婷av| 麻豆雪千夏| 99久久精品国产色欲| 亚洲男女激情| 婷综合六月| 五月婷视屏在线观看| 新激情五月天| 日韩色情亚洲五月天婷婷| BBWCUCKOLD精品熟妇| 99区视频| 97精品人人A片免费看| av在线超清中文| 激情五月天色色网| www。五月天激情| 久久久久这里只有精品| 97干97色| 色婷婷网| 亚洲操操| 久久婷婷六月综合| 久久丁香婷| 婷婷涩五月天综合| 超碰色碰碰| 亚洲人成人五月天| 婷婷五月丁香国产| 成年人看Va免费视频| av五月天婷婷丁香| 丁香涩涩爱| 色五月丁香激情| 91婷婷视频| 五月婷婷综合热| 99热在线看| 日韩艹比| 玖操97| 色和综合网| 五月开心深深爱激情综合| 97碰碰草| 很很干天天干| 日本三级毛片| 青青草tp| 一起草AV| 天天日天天舔| 五月天色婷婷av| 丁香六月婷| 婷婷六月中文字幕| 九九婷婷激情综合网| 狠狠插狠狠| 久久99免费视屏| 色久丁香五| 六月婷久久| 久久99热这里只有精品| 97色色色色色色色| 双性美人被调教到喷水A片| 五月天色官网| 岛国AAAV| 蜜臀丁香黄色婷婷五月天| 久久久久久久久久久97| 啪啪婷婷五月天激情| 美女黄频aⅴ视频| 久/久精品99看9| peg 2区三区四区的| 五月丁香好婷婷姑娘综合网| 婷婷深爱五月丁香| 91疯狂操操操操| 婷婷丁香六月| 色综合爱综合| 4399无码视频二区| 婷婷中文字幕| 五月婷婷大香蕉| 日日夜夜干| 这里只有精品免费视频在线观看 | 五月婷婷激清网| 亚洲啪啪自拍| 色情五月天丁香社区| 亚洲视频a| 亚洲精品V天堂中文字幕| 日夜夜久久| 另类激情四射| 久久狠狠干| 色婷婷五月网| 激情九九九九| 五月丁香久久综合| 五月激情精品视频| 婷婷丁香久久网| 久草性爱| 成人精品一区二区三区四区五区 | www夜夜操com| 丁香婷婷色色| 99性爱视频| 婷婷色丁香六月| AV无码免费| 99久热| 天天干天天干天天干天天干天天干天天干天天 | 四季8848精品成人免费网站| 激情五月视频在线婷婷| 婷婷五月天激情电影| 狠狠干狠狠干| 色综合射婷婷| 激情综合无码| av中文字幕免费观看| 婷婷激情六月| 激情五月深爱五月| 九热视频在线伦| 伊人狠狠丁香婷婷综合尤物| 亚洲综合色网站| 色婷婷精品视频在线播放| 婷婷永久在线| 色色网站免费观看| 超碰9在| 99久久99九九99九九九| 婷婷色爱| 色综合色五月| 五月天丁香婷婷久久九| 99热6色| jiujiu热在线视频| 婷婷丁香五月社区亚洲| 亚洲操逼片| 狠狠久综合| 在线观看中文字幕亚洲| 免费看成人AA片无码视频吃奶| 日本色五月| 九九成人高清视频| 激情碰碰碰| 午夜丁香| 九九这里都是精品| 热的国产99热| 我想看国产大学生口爆吞精的视频| 97人人超| 五月婷婷性| 天天干,天天舔| 丁香五月停停av| 色婷婷www| www色婷婷com| 丁香五月天无码AV| 色婷婷五月影视| 五月天综合在线| 色无码| 国产五月天激情小说| 九九综合网色全集 | 五月色网| 婷婷五月天国产在线播放| 五月激情丁香六月狠狠干| 视频在线免费观看欧洲乱码| 国产69久久久欧美黑人A片| 天天爱天天吃狠天天透| 中文字幕丁香五月| 激情婷婷久久| 婷婷五月天VI| 九九色热| 色情五月婷婷| 天天激情视频| 五月丁香91| 久久久久九九九九视屏小说88| 日日天天干| 五月天色区| 亚洲综合婷婷五月| 91超碰人人操| 免费成人中文字幕| 五月天婷婷在线播放| 99精品视频免费观看| 人人干人人操人人摸人人做| 婷婷99中文字幕| 丁香激情五月天| 亚洲亚洲人成综合网络| 涩综合网| 开心激情播播五月天| 婷婷丁香五月天综合网| 婷婷久久五月天丁香| 天堂网操| 狠狠精品干练久久久无码中文字幕| 六月丁香综合| 五月的色婷婷高潮| 森林影视大全,最好看的2019年视频 | 婷婷色啪| 婷婷视频在线| 天天干天天日天天插| 玖玖综合色| 丁香97综合| 激情婷婷丁香| 超碰九色| 99色热视频| 日韩五月丁香| 五月丁香六月婷婷在线播放| 五月天激情国产综合婷婷婷就去爱| 婷婷色中文| 潮汕成人AV片在线| 亚洲乱码日产精品BD| 亚洲激情婷婷| 日韩AV片| 这里只有精品1| 丁香六月视频免费观看| 婷婷色五月亚洲| 色婷久久| 激情四射婷婷| 黄色一极大片| 香蕉AV777XXX色综合一区| 色情成人五月天| 99人碰碰碰| 婷婷九月在线| 91精品综合久久久久久五月丁香| 1995年关宝慧版蜘蛛女| 色综久久久| 97超碰综合| 91狠狠综合网| 无码yw| 久草视频大香蕉99| 亚洲超碰青涩| 欧美黄色一级录像| 九九热在线观看视频| 97碰免费视频在线| 亚洲碰碰碰| 成人丁香五月| 婷婷五月天激情五月天深爱五月天| 久久精彩视频99| 天天上天天爽| 久久机热这里只有精品免费视频| 4438激情网| 日本97久久久精品| 日韩AV在线电影| 婷婷99视频全集高清| 丰满少妇猛烈A片免费看观看 | 色99视频| 亚洲精品视频在线| 日本一道久久| 亚洲区视频| 色99在线视频| 天堂五月婷婷| 天天爱天天秀天天做| 久久久精品人妻| 天天插天天操| 五月天婷婷婷| 色激情五月| 激情小说五月欧美亚洲丁香| 操逼棍操逼| 日日舔夜夜操| 99热这里只有精品搜| 久草xx性爱视频| 五月丁香AV在线| 色五月婷婷五月丁香五月| 99热99这里有免费的精品| 九九久久五月天综合伊人| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 亚洲成人网站在线播放| 五月激情综合美女久久| 五月婷婷性| 日本操B视频| 五月天天视频| 夜夜撸夜夜骑| 另类 在线| 婷婷丁香花五月天| 99热在线看片| 丁香婷婷色| 色五月首页| 亚洲激情五月天| 欧美婷婷综合| 婷婷五月天激情小说| 99热这里有精品| 亚洲第一成人无码A片| 日韩综合成人| 丁香花狠狠婷婷亚洲中文字幕| 亚洲亚洲人成综合网络| 久久久97| 青青草成人网| 日日操天天操| 亚洲日韩一页精品发布| 国产69久久久欧美黑人A片| 国产亚洲精品AAAAAAA片| 91超级碰碰碰| 免费观看18视频网站| 97操操网| 91熟妇大香蕉| 四射综合网| 成人永久免费视频在线观看| 五月丁香成人| 2015好吊操| 思思99热在线| 开心五月婷婷在线| 深爱激情丁香五月| www.五月丁香| 91碰| 婷婷激情五月| 9久热精品在线视频| 91美女啪啪| 久色88| 玖玖综合网| 日本的α片xxxwww| 狠狠色狠狠鲁| 啪到高潮激情丁香五月| 日本色色网站| www激情| 风流少妇A片一区二区蜜桃| 碰碰碰97国产| av第一二区| 99性视频| 99热这里只有精品10| www天天干| 99成人免费热视频| 99丁香五月婷| 九九热精品视频| 欧美成人AAA片一区国产精品| 性爱激情久久| 99久re热| 丁香五月婷婷无码AV| 精品99爱免费视频在线观看 | 丁香五月天BBw| 蜘蛛女侠2003满天星免费观看| 超碰二区| 大香蕉伊人久久| 抽插特写| 九色91美女| 亚洲国产色婷婷| 色丁香久久久| 在线视频99| 日本片日本片祼观看网站在线看中文版网页在线看 | 婷婷五六日| 五月色天情| 中文字幕,综合,91| 伊人91| 91seAV| 色情五月综合婷婷| 五月丁香啪啪拍| 色五月色五天免费视频| www99热| 精品成人在线| 五月天AV大香蕉| se99高清无码| 四色AVwww| 99精品在这里| 色五月综合激情网|