欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Hadoop HA高可用集群搭建全指南:從NameNode單點故障到自動故障轉(zhuǎn)移

Hadoop HA高可用集群搭建全指南:從NameNode單點故障到自動故障轉(zhuǎn)移 凌晨兩點監(jiān)控大屏的告警把我從睡夢里拽起來HDFS的NameNode進(jìn)程沒了。當(dāng)時那套Hadoop集群沒有任何HA高可用機(jī)制只配了一個SecondaryNameNode——很多剛接觸Hadoop的人以為它是熱備其實它隔很久才做一次checkpoint根本不能自動接管。等我把元數(shù)據(jù)手動恢復(fù)回來凌晨批次的離線任務(wù)已經(jīng)垮了一大片。那次之后我不光把集群補成了正規(guī)的Hadoop HA高可用集群還把整套過程整理成了一篇可以照著做的搭建手冊。今天分享出來適合所有正在維護(hù)Hadoop集群、或者準(zhǔn)備把測試集群推向生產(chǎn)的工程師。市面上講Hadoop HA的文檔很多但大多只貼配置不解釋原理要么就是直接甩一個安裝腳本。真到了自己動手搭的時候你會發(fā)現(xiàn)最花時間的不是敲命令而是理解為什么要這樣設(shè)計。這篇我會把組件分工、節(jié)點規(guī)劃、配置文件每個參數(shù)的含義、首次啟動的嚴(yán)格順序、故障切換演練和經(jīng)典事故全部串起來講盡量做到你看完不僅能搭起來還能自己排查問題。1. 為什么說SecondaryNameNode不是熱備HA組件分工與防腦裂思路1.1 NameNode單點故障到底有多痛先回顧一下HDFS的基本結(jié)構(gòu)NameNode負(fù)責(zé)管理整個文件系統(tǒng)的元數(shù)據(jù)所有目錄、文件名、塊信息、副本位置都在它腦子里。DataNode只負(fù)責(zé)存儲實際的數(shù)據(jù)塊每隔一段時間向NameNode匯報狀態(tài)。只要NameNode掛了客戶端就不知道文件在哪里、目錄結(jié)構(gòu)長什么樣整個集群對外就是不可用的狀態(tài)。很多人剛?cè)腴T時有個錯覺DataNode還在跑數(shù)據(jù)塊還在磁盤上NameNode掛了不應(yīng)該影響讀取啊實際情況是客戶端讀取文件時首先要問NameNode要文件的塊映射這個映射關(guān)系斷了DataNode手里有數(shù)據(jù)也不知道該把哪些塊交給誰。所以NameNode的可用性直接決定整個HDFS的可用性。我在第一批生產(chǎn)集群上吃的虧就是只配了SecondaryNameNode。它的工作其實是定期把NameNode內(nèi)存里的FsImage和磁盤上的EditLog合并生成一個新的檢查點順便幫助NameNode減小EditLog的體積。它做的這個動作在Hadoop 1.x時代很流行但它始終是一個輔助性角色既沒有NameNode的完整元數(shù)據(jù)也不能在NameNode故障時自動接管服務(wù)。等你手動把它恢復(fù)出來業(yè)務(wù)早就斷了。1.2 HA方案里真正的角色分工Hadoop HA高可用集群的底座思路很直白用兩個NameNode組成主備一個Active對外提供服務(wù)一個Standby在旁邊實時熱備。Active掛了Standby馬上頂上去。聽起來很簡單但有兩個核心問題必須解決第一兩個NameNode的元數(shù)據(jù)如何保持一致元數(shù)據(jù)由兩部分組成FsImage是某個時間點的完整快照EditLog是后續(xù)的增量修改記錄。HA方案的做法是引入一組JournalNodeActive NameNode每做一次修改操作先把EditLog寫入這一組JournalNodeStandby NameNode從這組JournalNode拉取EditLog并應(yīng)用到自己的內(nèi)存里讓自己的元數(shù)據(jù)始終追上Active。這樣無論哪臺機(jī)器宕機(jī)另一臺的元數(shù)據(jù)都不會落后太多。第二誰來決定什么時候切換、切換給誰這里引入了ZooKeeper和ZKFCZooKeeper Failover Controller。每個NameNode旁邊都有一個ZKFC守護(hù)進(jìn)程它的工作有兩塊一是定時探測本機(jī)NameNode的存活狀態(tài)和健康狀態(tài)二是和ZooKeeper中的一個臨時節(jié)點競爭鎖。Active的ZKFC成功持有鎖Standby的ZKFC在等待。一旦Active側(cè)的ZKFC探測到NameNode掛了它會主動釋放鎖Standby側(cè)的ZKFC發(fā)現(xiàn)鎖被釋放就競爭上鎖并把自己這邊的NameNode提升為Active。1.3 腦裂問題與fencing機(jī)制雙主設(shè)計最怕的不是一臺掛了而是兩臺都認(rèn)為自己是Active同時對外提供服務(wù)。一旦出現(xiàn)這種局面兩個NameNode會同時往JournalNode寫EditLog元數(shù)據(jù)就徹底分叉了整個集群的元數(shù)據(jù)變成一鍋粥。這就是腦裂split-brain。為了防止腦裂HA方案強(qiáng)制要求在切換之前一定要把舊的Active NameNode隔離掉。這個隔離動作叫fencing柵欄。在Hadoop里最常用的是sshfence新的Active發(fā)出切換請求時通過SSH登錄到舊Active所在節(jié)點直接執(zhí)行命令把舊NameNode的進(jìn)程殺掉。這個機(jī)制聽起來粗暴但在分布式系統(tǒng)里粗暴往往是最可靠的。這里有個被我反復(fù)強(qiáng)調(diào)的細(xì)節(jié)fencing動作依賴SSH免密而且必須是從新Active所在節(jié)點能免密登錄到舊Active所在節(jié)點。很多人搭建時配了單向免密結(jié)果切換的時候fencing執(zhí)行失敗整個自動切換流程卡住最后只能人肉介入。后面踩坑部分我會細(xì)講。1.4 用記賬本的類比理解JournalNode為了讓不熟悉分布式原理的朋友更容易理解我習(xí)慣把整個HA機(jī)制比作兩個會計共用一個賬本。Active會計負(fù)責(zé)記賬每次發(fā)生一筆新業(yè)務(wù)他不會只寫在自己的小本子上而是把記錄同步抄送到三個獨立的賬單房間JournalNode只有超過半數(shù)房間確認(rèn)收到了這筆賬才算記成功。Standby會計不從Active那里直接拿數(shù)據(jù)而是自己去這三個房間把記錄取回來更新手里那本復(fù)制的賬本。這里為什么要超過半數(shù)確認(rèn)因為就算其中一個房間著火了剩下兩個房間仍然能湊出多數(shù)保證賬目完整。如果只有兩個房間其中一個掛了剩下一個即使完好也無法滿足超過半數(shù)的條件整個賬本就沒人敢認(rèn)定是完整的。這就是JournalNode必須配置奇數(shù)個、且最少三個的根本原因。一下把核心原理講透后面配置參數(shù)時你自然就明白為什么要填三個地址了。2. 三節(jié)點還是五節(jié)點主機(jī)規(guī)劃、版本選擇和易被忽略的預(yù)環(huán)境2.1 生產(chǎn)環(huán)境推薦的最小拓?fù)浯罱℉A集群之前第一件事是確定機(jī)器數(shù)量。我的建議是真正用于生產(chǎn)環(huán)境的Hadoop HA集群至少準(zhǔn)備三臺機(jī)器。這三臺機(jī)器上要混部JournalNode、ZooKeeper、NameNode、ZKFC和DataNode角色分配大概是這樣的節(jié)點NameNodeZKFCJournalNodeZooKeeperDataNodenode1nn1初始Active有有有有node2nn2初始Standby有有有有node3無無有有有三臺機(jī)器里NameNode一定放在前兩臺兩臺的配置要盡量一樣內(nèi)存和CPU都不能差太多否則切換后性能差異會直接影響業(yè)務(wù)。JournalNode和ZooKeeper要落在三臺上湊出奇數(shù)個。如果你的機(jī)器更富余可以拆成五臺甚至更多NameNode和ZKFC仍然必須在同一臺JournalNode至少三臺ZooKeeper也至少三臺。為什么ZKFC必須和NameNode同機(jī)部署因為ZKFC要探測NameNode的進(jìn)程狀態(tài)如果分開部署它只能通過RPC端口探測一旦網(wǎng)絡(luò)分區(qū)ZKFC可能誤判NameNode已死導(dǎo)致無謂的切換。放在同一臺機(jī)器上可以直接檢查本機(jī)進(jìn)程判斷準(zhǔn)確得多。2.2 版本與JDK的兼容性選擇版本選型是很多新手忽略的坑。我建議不要用太老的Hadoop 2.x除非你維護(hù)的是歷史存量集群。新搭建的集群直接用Hadoop 3.x系列比如3.2.4、3.3.6這些穩(wěn)定版本配套的ZooKeeper選3.6以上的版本。JDK方面Hadoop 3.x官方支持JDK 8和JDK 11。我自己在多個環(huán)境里測試下來JDK 8的兼容性最穩(wěn)如果你公司有強(qiáng)制安全要求必須用更高版本也要先做一輪功能性驗證再上生產(chǎn)。另外ZooKeeper本身也是跑在JVM上的所有節(jié)點的JDK版本保持一致不要一臺是8另一臺是11否則跨節(jié)點通信時可能出現(xiàn)序列化相關(guān)的問題。版本選擇的另一個隱藏要求是所有節(jié)點的Hadoop發(fā)行版版本必須一模一樣。有的團(tuán)隊圖省事node1和node2用同一個版本node3卻用了稍老一點的版本JournalNode之間的通信協(xié)議有差異輕則日志刷WARN重則EditLog同步異常。2.3 用戶、目錄、SSH免密、時鐘同步正式搭之前有幾個環(huán)境項必須提前處理好任何一個出問題都會在啟動階段變成莫名其妙的報錯。第一統(tǒng)一使用普通用戶不要用root跑Hadoop。我習(xí)慣創(chuàng)建hadoop用戶然后用這個用戶解壓安裝包、創(chuàng)建數(shù)據(jù)目錄。原因是Hadoop的很多腳本對目錄權(quán)限有隱式要求用root運行容易在啟動時產(chǎn)生Permission denied或者目錄所有者的奇怪問題不好排查。第二規(guī)劃好數(shù)據(jù)目錄。NameNode元數(shù)據(jù)目錄和JournalNode數(shù)據(jù)目錄不要放在系統(tǒng)根分區(qū)更不要放在/tmp下面。我見過不止一次有人把hadoop.tmp.dir默認(rèn)配置放到/tmp服務(wù)器重啟后/tmp被清理NameNode的FsImage和EditLog全沒了集群直接報廢。建議統(tǒng)一用/data/hadoop/tmp和/data/hadoop/jn這樣的獨立目錄并且預(yù)留足夠磁盤空間。第三SSH免密。搭建時我建議把三臺節(jié)點之間全部配成雙向免密不要只配NameNode到DataNode的單向。因為不僅啟動腳本要用SSH拉起遠(yuǎn)端進(jìn)程ZKFC的sshfence還要從新Active登錄到舊Active去殺進(jìn)程。另外如果你的環(huán)境中有人改了SSH端口或者禁用了密碼登錄一定要提前確認(rèn)免密鏈路全部通暢。第四時鐘同步。ZooKeeper的會話機(jī)制對時間偏差很敏感節(jié)點之間的系統(tǒng)時間如果差太多ZK會誤判會話超時進(jìn)而觸發(fā)毫無意義的NameNode切換。生產(chǎn)環(huán)境用chronyd或者ntpd統(tǒng)一對時搭建前先用date命令人工確認(rèn)三臺機(jī)器的時間基本一致。2.4 部署目錄結(jié)構(gòu)示例我習(xí)慣把軟件和數(shù)據(jù)目錄分開每個節(jié)點統(tǒng)一按下面這個結(jié)構(gòu)準(zhǔn)備/opt/hadoopHadoop安裝目錄/opt/zookeeperZooKeeper安裝目錄/data/hadoop/tmpNameNode元數(shù)據(jù)目錄包含F(xiàn)sImage和EditLog/data/hadoop/jnJournalNode數(shù)據(jù)目錄/data/hadoop/logs各進(jìn)程日志目錄日志一定要單獨放方便排查目錄準(zhǔn)備好之后記得把/data目錄的屬主改成hadoop用戶并確認(rèn)磁盤空間足夠。JournalNode的EditLog會持續(xù)增長建議單獨給/data/hadoop/jn掛一塊獨立磁盤避免和其他日志、臨時文件搶空間。3. 配置文件逐項拆解每個參數(shù)背后的防呆邏輯3.1 core-site.xml默認(rèn)文件系統(tǒng)與ZK地址核心配置都在core-site.xml和hdfs-site.xml兩個文件里所有節(jié)點都要保持一致的配置。先看core-site.xml里必配的三個參數(shù)configuration property namefs.defaultFS/name valuehdfs://mycluster/value /property property namehadoop.tmp.dir/name value/data/hadoop/tmp/value /property property nameha.zookeeper.quorum/name valuenode1:2181,node2:2181,node3:2181/value /property /configurationfs.defaultFS這里填的不是某個單點主機(jī)名而是一個邏輯名稱mycluster這個名稱必須和下文中hdfs-site.xml里配置的nameservice完全一致。它決定了所有客戶端進(jìn)程知道這套集群對外叫mycluster具體該連哪臺NameNode由后面的failover provider來決定。ha.zookeeper.quorum里填的是三臺ZooKeeper的地址逗號分隔一行寫完。這個參數(shù)會被ZKFC用來連接ZooKeeper集群也會被客戶端在解析集群狀態(tài)時使用。端口默認(rèn)是2181如果你改了ZooKeeper端口這里必須同步改。hadoop.tmp.dir之所以要單獨強(qiáng)調(diào)是因為很多衍生目錄默認(rèn)都在它下面。比如NameNode的元數(shù)據(jù)目錄默認(rèn)是${hadoop.tmp.dir}/dfs/name如果你不把它指到獨立磁盤后面擴(kuò)容和排障都會被系統(tǒng)盤空間卡脖子。3.2 hdfs-site.xmlnameservice、雙NN與JournalNodehdfs-site.xml是HA配置的核心參數(shù)最多也最容易填錯。我把關(guān)鍵的幾個拆開講property namedfs.nameservices/name valuemycluster/value /property property namedfs.ha.namenodes.mycluster/name valuenn1,nn2/value /propertydfs.nameservices定義一個邏輯集群的名字dfs.ha.namenodes.mycluster定義了這個邏輯集群里有哪些NameNode這里用nn1和nn2作為兩個邏輯ID。注意nn1、nn2并不是機(jī)器名只是邏輯代號后面所有配置里都要用這兩個ID來區(qū)分兩臺NameNode。property namedfs.namenode.rpc-address.mycluster.nn1/name valuenode1:8020/value /property property namedfs.namenode.rpc-address.mycluster.nn2/name valuenode2:8020/value /property property namedfs.namenode.http-address.mycluster.nn1/name valuenode1:9870/value /property property namedfs.namenode.http-address.mycluster.nn2/name valuenode2:9870/value /property這段是給兩個NameNode綁定實際的RPC地址和HTTP管理界面地址。RPC端口是客戶端訪問用的我習(xí)慣統(tǒng)一用8020HTTP端口是Web管理頁面Hadoop 3.x默認(rèn)是9870。這些地址寫錯或者端口被占用啟動時NameNode會直接報BindException排查時優(yōu)先看端口和hosts解析。接下來是JournalNode的共享存儲配置這是HA的數(shù)據(jù)同步命脈property namedfs.namenode.shared.edits.dir/name valueqjournal://node1:8485;node2:8485;node3:8485/mycluster/value /property property namedfs.journalnode.edits.dir/name value/data/hadoop/jn/value /propertydfs.namenode.shared.edits.dir告訴兩個NameNode你們的EditLog要寫到這臺機(jī)器上的JournalNode多個地址用分號分隔路徑最后是/mycluster。這個/mycluster可以理解成JournalNode上命名空間的一個標(biāo)識和前面的nameservice是兩回事很多人會混淆。dfs.journalnode.edits.dir是每臺機(jī)器上JournalNode進(jìn)程本地存儲EditLog的目錄寫在hdfs-site.xml里各節(jié)點保持一致即可。3.3 自動故障轉(zhuǎn)移和隔離方法參數(shù)下面幾個參數(shù)直接決定能不能自動切換和切換時怎么防腦裂property namedfs.ha.automatic-failover.enabled/name valuetrue/value /property property namedfs.client.failover.proxy.provider.mycluster/name valueorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider/value /property property namedfs.ha.fencing.methods/name valuesshfence/value /property property namedfs.ha.fencing.ssh.connect-timeout/name value30000/value /property property namedfs.ha.fencing.ssh.private-key-files/name value/home/hadoop/.ssh/id_rsa/value /propertyautomatic-failover.enabled不設(shè)成true你搭起來的HA就只是個半成品NameNode掛了只能靠haadmin命令手動切換不會自動頂上去。很多教程沒強(qiáng)調(diào)這一點導(dǎo)致讀者搭完后發(fā)現(xiàn)完全不自動。ConfiguredFailoverProxyProvider是客戶端側(cè)的故障轉(zhuǎn)移代理。它的作用是讓客戶端在訪問NameNode失敗時自動嘗試另一臺NameNode而不是報錯。這個類名必須完整填寫不小心中間漏個字母就會在客戶端初始化時拋出ClassNotFoundException。sshfence是隔離方法結(jié)合前面的fencing原理這部分要重點檢查。connect-timeout是SSH連接超時時間單位毫秒我建議設(shè)成30000。太短在機(jī)器負(fù)載高時會誤判fencing失敗太長又會讓整個切換過程拖到一分鐘以上。private-key-files指定sshfence要用哪個私鑰認(rèn)證必須配置成hadoop用戶的私鑰路徑并且對應(yīng)公鑰要已經(jīng)寫入所有目標(biāo)節(jié)點的authorized_keys。3.4 完整配置樣例與參數(shù)速查表兩套配置我貼一份能直接用的完整版本你可以按自己的主機(jī)名和目錄調(diào)整core-site.xmlconfiguration property namefs.defaultFS/name valuehdfs://mycluster/value /property property namehadoop.tmp.dir/name value/data/hadoop/tmp/value /property property nameha.zookeeper.quorum/name valuenode1:2181,node2:2181,node3:2181/value /property /configurationhdfs-site.xmlconfiguration property namedfs.nameservices/name valuemycluster/value /property property namedfs.ha.namenodes.mycluster/name valuenn1,nn2/value /property property namedfs.namenode.rpc-address.mycluster.nn1/name valuenode1:8020/value /property property namedfs.namenode.rpc-address.mycluster.nn2/name valuenode2:8020/value /property property namedfs.namenode.http-address.mycluster.nn1/name valuenode1:9870/value /property property namedfs.namenode.http-address.mycluster.nn2/name valuenode2:9870/value /property property namedfs.namenode.shared.edits.dir/name valueqjournal://node1:8485;node2:8485;node3:8485/mycluster/value /property property namedfs.journalnode.edits.dir/name value/data/hadoop/jn/value /property property namedfs.client.failover.proxy.provider.mycluster/name valueorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider/value /property property namedfs.ha.automatic-failover.enabled/name valuetrue/value /property property namedfs.ha.fencing.methods/name valuesshfence/value /property property namedfs.ha.fencing.ssh.connect-timeout/name value30000/value /property property namedfs.ha.fencing.ssh.private-key-files/name value/home/hadoop/.ssh/id_rsa/value /property property namedfs.replication/name value2/value /property /configuration最后列一個參數(shù)速查表方便你配置后逐項核對參數(shù)含義常見錯誤fs.defaultFS客戶端默認(rèn)訪問的HDFS集群地址寫成單機(jī)hdfs://node1:8020dfs.nameservicesHDFS邏輯集群名與fs.defaultFS不一致dfs.ha.namenodes.mycluster邏輯集群內(nèi)的NN列表把機(jī)器名當(dāng)NN IDdfs.namenode.shared.edits.dirJournalNode共享編輯日志地址漏掉QJM協(xié)議前綴qjournaldfs.ha.automatic-failover.enabled是否開啟自動故障轉(zhuǎn)移只配了HA但沒開啟自動dfs.ha.fencing.methods隔離舊Active的方式?jīng)]配sshfence導(dǎo)致腦裂風(fēng)險4. 首次啟動的嚴(yán)格順序從格式化到bootstrapStandby的完整命令鏈4.1 為什么JournalNode必須先于NameNode啟動我見過的很多第一次搭建失敗案例問題都出在啟動順序上。NameNode進(jìn)程啟動時會去連接配置里指定的JournalNode讀取EditLog如果JournalNode還沒起來NameNode會一直重試連接直到超時報錯。所以首要原則是先啟動ZooKeeper再啟動所有JournalNode最后才啟動NameNode相關(guān)進(jìn)程。JournalNode的啟動命令在Hadoop 3.x里是hdfs --daemon start journalnode三臺機(jī)器都要執(zhí)行。啟動后用jps可以確認(rèn)看到JournalNode進(jìn)程。這時候如果配置里的目錄權(quán)限不對JournalNode會立刻報錯退出所以啟動后最好看一眼日志或者用jps確認(rèn)進(jìn)程還活著。4.2 格式化只能做一次再談bootstrapStandby第一次搭建時必須對其中一個NameNode執(zhí)行元數(shù)據(jù)格式化生成初始的FsImage和ClusterIDhdfs namenode -format這里我要把話說得非常重只格式化nn1不要在nn2上再執(zhí)行同樣的format。如果兩臺NameNode分別格式化它們會生成不同的ClusterIDStandby節(jié)點啟動后根本無法與Active節(jié)點共享同一份元數(shù)據(jù)后面怎么同步都追不上。正確的做法是在nn2上執(zhí)行hdfs namenode -bootstrapStandbybootstrapStandby會自動從nn1Active所在節(jié)點的本地元數(shù)據(jù)目錄把FsImage和相關(guān)的VERSION等文件拷貝過來并構(gòu)建出Standby節(jié)點的初始元數(shù)據(jù)。它是HA集群搭建時的標(biāo)準(zhǔn)動作比手動scp再改配置穩(wěn)妥得多。4.3 格式化ZKFC狀態(tài)zkfc -formatZK還有一個只做一次的動作就是初始化ZooKeeper中的HA狀態(tài)hdfs zkfc -formatZK這個命令在任意一個NameNode節(jié)點上執(zhí)行一次即可。它的作用是在ZooKeeper里創(chuàng)建/hadoop-ha/mycluster節(jié)點ZKFC后續(xù)就是在這個節(jié)點上搶鎖。如果跳過這一步后面啟動ZKFC時它會報錯找不到父節(jié)點自動切換根本沒法工作。4.4 無一遺漏的首次啟動命令鏈我把完整命令鏈按順序列出來你在三臺機(jī)器上依次操作即可在三臺節(jié)點上分別啟動ZooKeeperzkServer.sh start在三臺節(jié)點上分別啟動JournalNodehdfs --daemon start journalnode在nn1所在節(jié)點執(zhí)行格式化hdfs namenode -format在nn2所在節(jié)點執(zhí)行bootstrapStandbyhdfs namenode -bootstrapStandby在nn1所在節(jié)點執(zhí)行ZKFC狀態(tài)初始化hdfs zkfc -formatZK分別在nn1、nn2上啟動NameNodehdfs --daemon start namenode分別在nn1、nn2上啟動ZKFChdfs --daemon start zkfc在任意一臺DataNode節(jié)點上啟動DataNodehdfs --daemon start datanode如果你配置了完整的slaves/workers文件列表也可以用start-dfs.sh統(tǒng)一啟動DataNode。但首次搭建我不推薦用腳本一把梭原因是你需要觀察每一步的日志輸出確認(rèn)沒有隱藏錯誤。啟動完成后在第一臺NameNode節(jié)點上執(zhí)行hdfs haadmin -getAllServiceState正常情況下輸出應(yīng)該是nn1顯示activenn2顯示standby。如果看到的都是standby說明ZKFC搶鎖沒生效優(yōu)先檢查zkfc -formatZK是否執(zhí)行過、ZooKeeper地址是否可連通。4.5 日常重啟與首次搭建的命令區(qū)別集群搭好之后日常維護(hù)的啟動流程和首次搭建完全不同不用再格式化也不用再bootstrapStandby。正常流程是stop-dfs.sh # 然后在三臺機(jī)器上啟停ZooKeeper zkServer.sh start # 最后 start-dfs.shstart-dfs.sh在檢測到HA配置后會自動按順序拉起JournalNode、NameNode、ZKFC和DataNode你只需要確保ZooKeeper已經(jīng)提前啟動即可。日常重啟時如果某臺節(jié)點因為之前的異常退出還殘留PID文件腳本可能提示already running as process xxx這時候去/tmp/hadoop-xxx目錄下把對應(yīng).pid文件清掉再重啟。5. 故障切換實戰(zhàn)演練主動kill掉Active NameNode后集群發(fā)生了什么5.1 切換前準(zhǔn)備測試文件與集群狀態(tài)基線集群搭建完成不代表萬事大吉我強(qiáng)烈建議每次交付前都做一輪故障切換演練。先把集群狀態(tài)確認(rèn)一遍hdfs haadmin -getAllServiceState hdfs dfsadmin -report再往HDFS里放一個測試文件hdfs dfs -mkdir -p /test/ha echo hello hadoop ha | hdfs dfs -put - /test/ha/hello.txt hdfs dfs -cat /test/ha/hello.txt確保次文件能正常寫入和讀取這樣演練時心里有底。5.2 硬故障演練kill -9之后觀察切換硬故障演練的目標(biāo)是模擬NameNode進(jìn)程意外崩潰。先確定當(dāng)前Active是nn1然后登錄nn1所在節(jié)點執(zhí)行jps # 找到NameNode的進(jìn)程PID然后 kill -9 PIDkill -9之后的幾秒內(nèi)ZKFC會檢測到NameNode心跳消失主動釋放ZooKeeper鎖并觸發(fā)fencing流程。站在nn2節(jié)點上觀察日志tail -f /data/hadoop/logs/hadoop-hadoop-namenode-node2.log你會看到類似下面這樣的關(guān)鍵內(nèi)容檢測到Active NameNode失聯(lián)開始競選鎖執(zhí)行sshfence成功成為Active。整個過程快的話5到10秒就完成。切換完成后重新驗證服務(wù)hdfs haadmin -getAllServiceState hdfs dfs -cat /test/ha/hello.txt命令能正常返回說明客戶端請求已經(jīng)自動走了新的Active節(jié)點集群對外幾乎沒有中斷。這里要補充一點讀取操作完全無感但正在執(zhí)行的寫作業(yè)可能因為連接中斷而報錯需要客戶端重試。這是分布式系統(tǒng)的正常行為不是HA沒生效。5.3 優(yōu)雅切換演練手動置standby再置active除了硬故障日常運維中更多是主動運維切換比如要升級NameNode節(jié)點的內(nèi)核、換硬件。這時建議走優(yōu)雅切換流程讓故障轉(zhuǎn)移時間更短、對業(yè)務(wù)影響更小。先執(zhí)行hdfs haadmin -transitionToStandby nn1把nn1從Active降為Standby此時nn2會自動升為Active。如果自動故障轉(zhuǎn)移已經(jīng)開啟你甚至可以直接在nn2上執(zhí)行hdfs haadmin -transitionToActive nn2這里有個小原則要牢記手動切換時永遠(yuǎn)先把當(dāng)前Active降為Standby再把另一臺升為Active。如果反過來兩邊同時處于Active狀態(tài)即便有fencing機(jī)制也會觸發(fā)不必要的殺進(jìn)程動作給自己找麻煩。5.4 切換耗時分析和腦裂防護(hù)效果驗證切換耗時主要受兩個因素影響一個是ZooKeeper的會話超時時間另一個是ZKFC對NameNode健康檢查的間隔。ZooKeeper默認(rèn)sessionTimeout是30秒左右但ZKFC內(nèi)部還有更細(xì)粒度的健康探測所以實際切換很少真的等到30秒。在我自己的測試環(huán)境里硬故障切換在5到8秒之間優(yōu)雅切換在3秒左右。腦裂防護(hù)的驗證方式是在Simulate網(wǎng)絡(luò)分區(qū)時觀察是否只有一臺NN在寫EditLog。具體做法是人為把Active節(jié)點的ZKFC停掉但不殺NameNode這時候新Active可能會嘗試sshfence去殺舊Active的進(jìn)程。如果配置正確舊NameNode進(jìn)程會被殺掉系統(tǒng)里始終只有一個真正的Active。這個演練比較激進(jìn)建議在測試環(huán)境先驗證明白了再在生產(chǎn)上操作。6. 搭建過程中的經(jīng)典事故排查思路與修復(fù)記錄6.1 事故一重復(fù)format導(dǎo)致clusterID分叉有一次我接手別人搭了一半的集群發(fā)現(xiàn)Node2的NameNode狀態(tài)一直顯示standby但它的日志里不斷出現(xiàn)同步EditLog失敗。我第一反應(yīng)是JournalNode之間的網(wǎng)絡(luò)問題抓了一圈包沒發(fā)現(xiàn)問題。后來直接把兩臺NameNode元數(shù)據(jù)目錄里的VERSION文件拉出來對比發(fā)現(xiàn)clusterID完全不一樣。根因很清晰當(dāng)初搭建的人分別在兩臺NameNode上執(zhí)行了格式化導(dǎo)致兩個節(jié)點的元數(shù)據(jù)各自為政。修復(fù)方法也談不上優(yōu)雅只能把整個元數(shù)據(jù)存續(xù)狀態(tài)清掉重新來關(guān)閉所有進(jìn)程刪掉/data/hadoop/tmp/dfs/name目錄內(nèi)容、/data/hadoop/jn目錄內(nèi)容、以及ZooKeeper里/hadoop-ha節(jié)點然后再嚴(yán)格按首次搭建的命令鏈走一遍。這個教訓(xùn)告訴我們格式化這個動作在HA集群里是有排他性的做一次就夠了。6.2 事故二sshfence超時自動切換卡住第二次踩坑是在一次演練中我故意kill掉Active NameNode后等了半分鐘Standby還沒提升。查看日志發(fā)現(xiàn)fencing環(huán)節(jié)一直卡住報錯信息大致是ssh connection timed out。逐項排查后問題出在兩臺節(jié)點之間的SSH免密只配了一個方向從nn2到nn1可以免密但從nn1到nn2配漏了。切換發(fā)生時nn2作為新Active要登錄nn1去殺進(jìn)程這條鏈路恰好沒打通。這個坑的隱蔽性在于平時啟動完全正常因為start-dfs.sh做的是遠(yuǎn)端拉起那是另一條SSH鏈路而sshfence走的是完全相反的登錄方向。修復(fù)方法很簡單把雙向SSH免密徹底配好再確認(rèn)dfs.ha.fencing.ssh.private-key-files指向的私鑰就是hadoop用戶持有的那一個。配好之后重新演練切換就順了。6.3 事故三時鐘漂移引發(fā)ZKFC反復(fù)抖動有一個環(huán)境在運行兩周后監(jiān)控突然報警NameNode狀態(tài)在active和standby之間來回切換業(yè)務(wù)側(cè)雖然沒中斷但每次切換都會產(chǎn)生大量告警和連接重試。翻ZKFC日志發(fā)現(xiàn)它不斷在連接ZooKeeper和會話過期之間循環(huán)。進(jìn)一步檢查各節(jié)點系統(tǒng)時間發(fā)現(xiàn)其中一臺機(jī)器的時鐘比另外兩臺快了將近三分鐘。ZooKeeper的會話機(jī)制對超時非常敏感時鐘偏差一大服務(wù)端就認(rèn)為客戶端會話已經(jīng)過期鎖被釋放另一邊又開始搶鎖兩邊就進(jìn)入抖動狀態(tài)。修復(fù)手段不是只有調(diào)整時間而是裝上chronyd并配置好統(tǒng)一對時源讓所有節(jié)點的時間偏差保持在100毫秒以內(nèi)。從那以后我對所有集群節(jié)點都強(qiáng)制加了時間同步檢查搭建清單里也固定有這個步驟。6.4 事故四tmp目錄被系統(tǒng)清理導(dǎo)致元數(shù)據(jù)全丟早年間我見過一個更慘的案例。某套測試集群一直跑得好好的直到有一次服務(wù)器重啟整個HDFS的NameNode起不來了。排查時發(fā)現(xiàn)元數(shù)據(jù)目錄是空的原因是配置文件里的hadoop.tmp.dir指向了系統(tǒng)默認(rèn)的/tmp目錄而很多操作系統(tǒng)的tmpfiles機(jī)制會在重啟后清理/tmp下的內(nèi)容。這個案例直接改變了我的目錄規(guī)劃原則Hadoop相關(guān)的所有持久化目錄必須放在獨立的數(shù)據(jù)盤上并且盡早在部署清單中免疫這種問題。FsImage是HDFS元數(shù)據(jù)安全的最后底線靠系統(tǒng)臨時目錄來保存是不可接受的。6.5 事故五JN單點部署HA形同虛設(shè)有一種情況最具有迷惑性節(jié)點上把雙NameNode配好了自動轉(zhuǎn)移也能工作但JournalNode也只有一個而且就跑在某個NameNode同一臺機(jī)器上。結(jié)果這臺機(jī)器整機(jī)宕機(jī)時元數(shù)據(jù)無法寫入JournalNode新Active也無法讀取到完整EditLog整個HA機(jī)制形同虛設(shè)。JournalNode的作用是共享EditLog它自身必須是多副本并且滿足多數(shù)派可用。生產(chǎn)環(huán)境JN最少三臺有條件的分散到不同機(jī)架或不同交換機(jī)下。每次審查集群架構(gòu)時我都會把JN的分布單獨拉出來看一遍寧可多花機(jī)器成本也不能讓HA變成假高可用。7. 日常維護(hù)與監(jiān)控建議搭建手冊寫完最后再補充幾條日常維護(hù)經(jīng)驗。第一監(jiān)控上一定要盯四類指標(biāo)NameNode狀態(tài)是否有一臺active、ZKFC進(jìn)程是否存活、JournalNode目錄磁盤使用率、ZooKeeper會話數(shù)是否穩(wěn)定。這四個指標(biāo)能覆蓋大多數(shù)HA故障場景。第二建議每季度做一次主動切換演練不要等到事故來了才驗證HA鏈路。演練前選好業(yè)務(wù)低峰期把切換流程寫成checklist讓所有運維成員都實際操作一遍避免關(guān)鍵時刻只有個別人會處理。第三即使有了HAFsImage的異地備份也不能停。HA解決的是單點故障下的可用性問題它不能防范磁盤物理損壞或者元數(shù)據(jù)目錄被誤刪。定期把Active NameNode的FsImage文件同步到獨立存儲是cost很低但回報極高的事。最后再分享我的一個習(xí)慣每次搭建完集群我都會用hdfs haadmin -getAllServiceState確認(rèn)狀態(tài)然后立刻做一次kill -9演練。這個過程雖然會短暫地制造一次故障但它能暴露幾乎所有配置層面的問題比我后來遇到事故再去救火要劃算得多。把HA集群當(dāng)成一個需要反復(fù)驗證的系統(tǒng)而不是搭完就撒手的靜態(tài)配置這才是高可用真正落地的開始。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月天狠狠网| 日本在线视频www色| 人人妻久久妻| 成人在线网址| 久久AV无码精品人妻系列试探| 无码少妇高潮喷水A片免费| 成人免费黄色短视频| 丁香婷婷浪潮AV久久综合| 婷婷丁香五月基地| 久久精彩免费视频精彩免费视频| 囯产精品一品二区三区| 欧美五月婷婷| 欧美交换配乱吟粗大25P| 婷婷五月天成人小说| 欧美丁香婷婷五月天| 99这里有精品| 极品人妻VIDEOSSS人妻| 99亚洲视频| 91啪啪视频| 天天综合干| 思思国产99| 97狠狠色| 久久久久9久无码视频| 日本一级大片| 米奇激情婷婷| 五月婷婷中文字幕AV| 99这里只有精品|v| 曰韩五月丁香色婷婷无码| 综合玖玖偷拍| 涩涩五| 天天日夜夜曹| 亚洲精品国产A久久久久久| 97在线日韩| 色欲九区| 这里只有精品2| 大香蕉五月天婷婷| 久色大香蕉| 五月丁香六月婷| 天天天天做夜夜夜夜做| 婷婷五月情| 婷婷色色欧美综合网| 久久久久er热| 色约约视频一区二区三区四区五区| 五月婷婷丁香综合| 婷婷婷婷婷开心无码播放| 欧美丁香婷婷五月| 69人妻人人澡人人爽久久| 大香蕉久久伊人婷婷五月丁香| 丁香五月婷婷色播艳门照| 99热国产精品| 色婷av| 婷婷在线精品| 五月天色区| 色情综合| 五月色网| 人人操人人干AV| 亚洲乱码日产精品BD| 婷婷va| 逼逼AV| 六月婷婷激情图片| 天色综合网| 久久婷婷成人视频| 五月天大香蕉| 99热在线看片| 九九精品在线观看视频6| 色播丁香| 五月婷成人| 人妻内射视频| 超碰免费观看| 五月婷婷在线网站| 丁香色情五月综合网站| 免费视频无码| 狠狠爱综合| 26uuu| 欧美特大片黄| www.婷婷,com| 久久综合九九| 成久综合视频| 99色天堂| 亚洲精品国产setv| 五月丁香六月激情| 欧美月久久| 天干干夜夜操| 五月婷婷五月天| 亚洲无线视频| 综合网啪啪| 4438全国最大视频成人网站在线观看| 99色一| 99在线免费视频| 偷拍91九色| 丁香五月婷婷色| 26uuu欧美| 99操视频| 99色网站| 99久久99热| WWW.99热| 久久久999精品| 色婷婷五月天小说| 婷婷综合国产| 天天日天天干天天天| 久久婷婷五月天激情唯美| 丁香五月综合婷婷| 五月婷精品| 五月天亚洲色| 黑人熟妇一区二区三区| 在线网黄| 婷婷色五月婷婷姐妹| 五月天伊人网| 五月综亚洲| 精品一二三区久久AAA片| 色视频2025| 欧美成人精品A片免费一区99| 国产伦理精品高清在线观看网站一区二区| 中文字幕在线观看视频www| 开心六月婷| 天天操人人干| 人人色AV| 超级碰碰视频无码| 婷婷九九| 亚洲成人色五月婷婷综合| 嫩草AV久久伊人妇女超级A| 九九热这里精品| 99ER热精品视频| 色五月五月丁香| 亚洲精品第一色色色色色色| 狠狠草狠狠草| 色五月综合激情| 狠狠干在线| 婷婷免费精品视频| 亚洲无码影音| 色色综合无码| 99国产精品白浆在线观看免费 | 9久久精品| 婷婷六月开心网| 婷婷五月欧美综合| 日日干日日| 色丁香五月天| 欧美日韩精品人妻狠狠躁免费视频| 玖久精品视频9| 亚洲电影中文字幕| 99久久综合网| 五月天激情中文字幕| 91五月花丁香| 婷香五月| 六月丁香婷婷色69| 91综合色| 蜜桃五月天| 婷婷射婷婷舔| 中文字幕av久久爽一区| 美女婷婷激情亚洲| 99re热在线视频| A√天堂网在线| 日韩一级| 欧美在线视频99| 丁香五月激情综合网激情五月| 激情五月婷婷色综合| 色综合久久中文| 这里只有精彩小视频视频网站| 婷婷D区| 五月激情六月综合| 热无码A∨| 日日操夜夜爽| 色五月丁香五月激情五月激情| 五月天婷婷色播综合在线| 5月婷婷6月六月丁香| 丁香五月婷婷基地| 中文字幕精品推荐免费在线观| 激情床戏| 久久婷婷色五月| 99资源在线视频| 97色婷| 国产VA亚洲VA96| 色婷操逼| 丁香五月天堂亚洲社区| 色婷五月天| 五月天涩涩| 日本久久天堂| 日韩情色在线观看| 亚洲熟妇AV乱码在线观看| 日韩aaa| 色五月涩涩婷婷蜜桃| 日韩久久日| 99热这| 色五月视频,小说| 色综合久久天天综合网| 任你干线上免费视频有3吗| 色啪网| 婷婷五月丁综合| 97综合在线| 亚洲区1| 丁香六月婷婷色XXXXX| 婷婷五月天美女视频| 亚洲激情综合网| 色五月播五月| 深爱五月天婷综合| 五月婷婷激情网| 九九伦子片| 天天干天天操天天爽| Www,五月天| 深爱婷婷基地| 97人人看| 婷五月天六| 97高清国语自产拍| 久久小视频| 极品人妻VideOssS人妻| 婷婷六月天激情影院| 婷婷激情四射| 中文字幕丰满人妻无码专区| 久操大屁股女人av| 色综久久久| 能看的av| 九九成人视频| 超碰在线精品| 天天插天天日| 婷婷六月五月| 天天干狠狠艹| 五月丁香亚洲综合网| 色五月激情网| 日本美女上人| 97碰碰在线观看视频| 碰99在线| 开心色色五月天综合| 思思热在线视频精品| 99视频激情四射| 日日狠狠久久偷偷四色综合免费 | 九九这里有精品| 天堂爱爱| 婷婷综合激情五月中文字幕| ww亚洲ww在线观看| 色墦五月丁香| 亚洲成人免费电影| 色香蕉影院| 午夜婷婷久久 | 色综合伊人网| 六月婷婷色综合| 激情九色| 色综合久久中文| 五月婷婷香| 丁香五月婷婷骚视屏| 人人舔人人色人人高潮| 凹凸探花电影| 激情五月婷婷欧美极品| 激情五月天综合图片小说网站| 久久婷婷亚洲| 99re热精品在线视频| 日本色天堂| 亭亭玉月丁香| 婷婷激情在线| 五月丁香免费视频| 97干在线视频| 天天摸.天天mo| 三级三久久线久久99久目本WW| 热99免费在线| 操操人人| 精热在线综合网| 就是色婷婷五月亚洲色| 五月婷婷亚洲天堂激情在线| 亚洲成色综合网站免费观看| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 久久精品99国产精品日本| 婷婷五月天色色| 亚洲男女激情| 亚洲妇女熟BBW| 色婷婷久久| 丁香五月影院| 精品久9| 欧美日韩成人h| 1024AV视频| 超碰免费观看| 五月天婷婷狠狠| 黑人熟妇一区二区三区| 久热人妻| 欧洲亚洲免费视频区| 99re久热只有精品6在线直播| 五月激情婷婷图片基地| 69午夜成人影片| 亭亭五月天黑人2014| 狠狠干思思热| 99久久精品国产色欲| 久热超碰91| 亚韩在线视频| 色99视频| 亚州第一黄网| 美女黄频aⅴ视频| 欧美性爱五月天| 九九热这里只有精品首页| 99热 在线观看| 天天天添天天操| 色五月丁香六月婷婷| 九九热最新地址| 色噜噜狠狠色综无码久久合欧美| 久久免片| 综合婷婷五月天| 狼友超碰| 欧洲色色| 九九超碰人人| 欧美欧盟性爱网| 国产寻花在线| 久久精品人妻| 婷婷五月影院| 97伦色婷婷| 亚洲婷婷婷| av大香蕉| 九九色热视频| 婷婷在线免费| 五月丁香亭亭电影久久| 玖玖婷婷综合| 色婷婷综合五月| 婷婷五月天在线综合| 丁香五月91| 99自拍视频在线| 丁香花社区av| 9久久婷婷国产综合精品性色| .操區COm| 四月婷婷五月丁香| 拍真实国产伦偷精品| 久久综合55| 亚洲最大在线| 天天爽夜夜爽夜爽精品| 色婷婷久久综合| 国产成人精品一区二三区熟女在线| 国产操逼视频网站| 天天搞夜夜叫| 久久99热免费最新版| 97人人操人人干| 91久久18| 午夜理论片最新午夜理论剧 | 色色激情| 伊人久久大香线蕉AV最新午夜| 在线色色| 99久久久| 色色操| 丁香五月婷婷高清| 五月停停直播| 玖玖在线| 天天综合区| 丁香综合婷婷开心激情网| 色99欧洲色19| 99热18| 五月激情综合深爱| 免费精品99| 婷婷五月天在线一区| 六月丁香激情综合| 99精色| av首页在线| 色婷婷小说| 五月天狠狠草| 99无码| 97碰碰在线观看视频| 色婷婷六月激情| 精品99在线观看| 色伦专区97中文字幕| 久久婷婷五月综合激情国产| 常久最新免费的色吊丝| 国产精品一区在线观看你懂的| 色色色婷婷| 日韩AAA| 色婷久久| 婷婷趴趴| 色五月婷婷激情| 激情四射五月天| 天堂综合久久| 久久久精品色色色| 亚洲综合网在线| www.婷婷五月天,com| 色五月丁香婷婷| 四川BBB搡BBB爽爽视频| 超碰三级秋霞| 91九色国产| 99久久婷婷国产综合亚洲| 丁香五月在线伊人| 精品久热| 五月婷婷偷拍| 激情五月色婷婷| 久久婷婷六月综合国际| 1024操逼| 婷婷色五月噜噜| 五月天丁香成人社| 9久久AV| 五月婷婷我| 九九成人| 五月丁香爱婷婷深深| 成人一级片| 婷婷色五月天色色| 久热视频这里只有精品| 婷婷.com| 丁香五月 六月婷婷首页| 99碰碰| 99操碰| 五月丁香在线| 丁香五月婷婷亚洲激情四射| av操一操| 中文成人在线| 日本婷色| 国产视频福利| 婷婷操超碰| 九九色天堂| 五月丁香六月婷婷视频| 色婷婷91激情小说| 五月婷色激情五月| 69人人操人人爽| 婷婷五月综合啪| 国产毛片精品一区二区色欲黄A片| 天天搞夜夜叫| 国产精品电影| 蜜桃婷婷丁香五月天狠狠久久综合| 九九热99热| 成人亚洲精品| 九九热只有精品| 五月天综合久久| 另类激情五月| 色9999日韩国产| 日本91在线| 色婷婷婷婷| 91婷色| 91黄操| 任我肏| 殴美激情综合网| 色婷婷88| 97人人干| 狠狠干综合| 丁香六月av| 人妻丰满精品一区二区A片| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | a免费在线| 天天日天天做天天操| 日本美女97在线视频| 色婷婷五月天小说网| 婷婷色五月大香蕉在线| 九九精品在线观看视频6| 婷婷五月丁香色色| 99色在线免费观看视频| 欧美极品999| 99热精品中文字幕| 99热这里只有精品手机在线观看| 少妇真实被内射视频三四区| www激情网| 久久丁香网| 五月婷婷色五月| 色播五月综合网| 91碰在线| 亚洲精品欧洲精品| 大香蕉五月婷婷丁香| 99热亚洲精品66| 男人視頻站| 亚洲在线操| 这里只有精品视频视频在线观看| 国产真人做爰视频免费| WWW五月| 99人妻碰碰碰久久久久视| 综合久久影院| 视色网在线播放| 嫩草免费视频| 狠狠色97| 亚洲色婷婷婷婷人人爽| 色九九一二| 夜夜资源站| 久久精品色| 九九成人电影婷婷| 免费黄色AV| 九九视频免费| 久久久久久9热不雅视频| 成人视频在线免费播放| 思思久ren热| 亚洲狠9| 久久五月天色婷婷| 丁香六月中文| 成年视频免费观看| 99色综合| 婷婷99狠狠躁| 婷婷爱在线观看| 婷婷五月天免费99| 色热久| www.色婷婷。com| 99热一本| 激情五月综合网| 伊人久久五月天综合| 久久与婷婷| 国产精品久久久久久久久久免费| 少妇人妻人伦A片| 播五月婷婷开心| 色99久草在线| 色色射| 五月激情综合深爱| 色婷婷久久综合| 这里只有精品96| 九九色欲网| 欧美性丁香色色五月天| aa久久| 91在线观看九区| 久婷| 开心激情网在线| 激情文学 综合 色| 大香蕉欧美在线| 国产又黄又爽又色的免费| 九九热精品视频| 婷婷久久视频| 五月婷婷丁香综合| 欧美偷偷操| 五月天色不卡| 五月丁香六月激情综合| 深爱激情网噜噜色| 狠狠色丁香| 色五月色情| 久久婷婷五月综合| 伊人狠狠丁香婷婷综合尤物| 五月天俺去也| 性小说五月天| 操久久网| 狠狠草网| 91麻豆国产三级精品福利在线观看| 九九九热精品| 国产性爱亚洲是图| 色色色色色色色色色999| 国产 亚洲 在线| 五月停亭久久电影| 亚洲日本韩国| 99精品综合视频| 激情网婷婷五月天| 能直接看的AV网站| 丁香五月瑟瑟| 18av天堂| 色五月色五天色情网| 九一九九黄色| 色五月,com| 激情综合五月天| 久青操| 狠狠五月激情丁香六月| 五月天综合区| 77799热| 国产 亚洲 在线| 2015WWW永久免费观看播放| 玖玖婷婷免费| 超碰狠狠干99| 国产伦亲子伦亲子视频观看 | 色综合色婷婷色伊人| 欧美日韩成人在线观看| 五月天婷婷涩涩| 碰碰碰97国产| 色.五月综合网| 99久久久| 久久久中文| 亭亭色色五月天| 99热日| 婷婷六月丁香欧美视频在线| 天天摸天天日天天舔| 色插综合网| 五月丁香综合网色欲| VA色婷婷| 色5月婷婷色| 综合99久久天天综合| 永久热91| 18久久| 色综合久久8| 91大操| 五月综合激情久久| 五月丁香色欲| 九九爱精品网站| 九九色情网站| 99热超碰人| AV大片在线播放| 最近免费中文字幕大全高清大全1| 亚洲成人免费电影| 丁香五月大香蕉| 五月丁香影视| 久久综合婷婷| 香蕉久久国产AV一区二区| 99自拍视频| 色五月综合网| 成人做爰高潮A片免费视频| 五月天激情四射| 五月香婷婷| 色综合五月天| 综合激情婷婷| 成人做爰A片免费看视频| 99国产精品白浆在线观看免费| 久久婷婷亚洲| 免费视频WWW在线观看网站| 搡BBBB搡BBB搡18| 亚州美女| 综合久久五| 色婷婷很很丝袜| 免费在线观看av网站| 麻豆忘忧草午夜| 97ai婷婷| 26UUU欧美激情一区二区| 激情丁香六月| 婷婷丁香六月综合激情站| 婷婷五月在线综合| 婷婷五月丁香五月天| 久久这里99| 99热这里只有精品搜| 26uuu欧美日本| 久久99热免费最新版| 91九色熟女| 99这里只有精品|v| 国产做爰视频免费播放| 日本www免费九九| 天天综合色99| 久久婷婷网| 婷婷开心深爱五月天| 五月天天丁香婷婷在线中| 婷婷伊人激情婷婷| 天天综合亚洲| 丁香婷婷色色| 亚洲丁香花色| 日操夜操天天操不卡| 亚洲国产网站| 色色五月婷| 美女婷婷六月色| 伊人色综在线| 人妻激情在线| 国产这里只有精品| 热久免费视频9| 欧美三级黄色片久久| 五月天无码| 婷婷婷五月天最新综合你懂的| 五月天激情无码| 91婷婷色五月| 97精品人人A片免费看| 不卡成人免费| 色综合综合色| 99热这里只有精品23| 激情五月婷婷丁香| 激情五月六月婷婷| 婷婷天堂伊人| 精品在线网站| 日日射天天射| 久久久精品AV| 97热91| 亚洲av无码精品色午夜| 久婷婷五月激情| 九九精品网| 99热婷婷| tingtingseav| 91一起操| 丁香 婷婷 亚洲 熟女| 大香蕉婷婷丁香天堂AV| 成人龟情网丁香五月| 蜜臀av粉嫩av懂色av| 性 色 婷婷| 夜夜骑天天操| WWW.桔色成人.COM| 成人免费在线电影| 婷婷六月插屄激情| 婷婷色情网| 成人丁香婷婷| 婷婷五月天色色| www夜夜操wwwcon| 日日干天天射| 色9999综合久久| 五月婷婷另类| 婷婷六月啪啪| 国产国产乱老熟女视频网站97 | 国产成人网| 激情久久综合网| 久久这里只有精品07| 五月婷视频在线| 青青草视频免费观看| 久久婷婷色综合| 操熟女成人网| 午夜丁香| 色吧五月婷婷| 99精品视频网站| 天天操天天插| 爱久综合| 九九视频这里只有精品| 成人做爰A片免费看视频| 99操无码视频观看| 五月天社区狠狠| 九九热九九| 亚洲婷婷婷| SS丁香五月婷婷| 亚洲色五月婷婷| 9精品视频在线| 五月天黄色激情小说| 天天爽天天干| 久久婷婷色情7777网站| 亚洲热久久| 亚洲无AV在线中文字幕| 丁香五月天在线观看视频| 婷婷丁香六月天| 综合网精品99| 我爱宗和色| 丁香色五月天| 182TV亚洲| 五月的色婷婷高潮| 97五月婷| 2020久久婷婷五月| 第五色婷婷| 中文色婷婷| 俺去也五月| 婷婷丁香熟女| 五月丁香999| 综合久久99| 日韩一级A片黄色| 久久婷婷视频| 肏日网在线看| 五月婷婷我| 中国女人内射6XXXXX| 这里只有精品在线视频精品| 超碰人人超碰| 黄网在线观看免费| 激情网婷婷五月天| 亚洲色五月婷婷| 99日韩网站| 丁香狠狠干| 日日干综合| 久久激情五月| 丁香六月婷婷综合激情欧美 | 韩日另类| 婷婷六月天精品| 99热免费| 欧洲亚洲免费视频区| 色婷婷丁香五月| 激情五月天婷婷图| 日日综合网| 亚洲九区| 五月色影院| 五月天色图| 色色激情| 婷婷丁五月| 日韩1区2区| 日韩婷婷五月| 五月成人网站| 婷香五月网在线| 五月天婷婷社区| 天天做天天爱天天搞| AV大香蕉| 天天做天天爱天天日| 99在线免费视频| 丁香亭亭久久| 国产毛片精品一区二区色欲黄A片| 婷婷丁香视频在线观看免费| 五月婷婷大香蕉| 五月丁香亭亭成人电影| 中国丰满熟女A片免费观| 夜夜www| 俺也去五月婷婷丁| 丁香五月色五月婷婷宗合| 天天射综合网夜夜操| 91男人操女人视频| 国产精品视频久久99| 五月婷婷激情在线| 久热免费| 久久久精品AV| 五月天综合视频| 久婷婷五月激情| 亚洲妇女熟BBW| 丁香婷婷六月在线资源观看| 婷婷免费视频| 九九精品热播| 色婷婷视频| 亚洲人妻av伦理| 日逼免费视频| 五月婷婷亚洲色图| 久久永久视频| 丁香五月自拍| 婷婷综合九色伊人| 亚洲综合五月天婷婷| 日本一毛片| 婷婷五月天综合网| 五月婷婷深爱六月| 九月大香蕉| www.精品99| 激情综合网络插| av免费在线看不卡无毒| 欧美va在线| 在线你懂的亚洲欧| 色婷婷久久| 日本AAAAAAAAAAAAAA片| 超碰97久久| 色色色色色网| 色色色欧美色色| 色月丁| 91久操| 99色播| 五月天AV大香蕉| 俺去也五月天婷婷| 色色婷婷综合网| 亚洲一级AV在线免费播放| 精品久久99码| 五月丁香在线精品| 中文字幕婷婷在线| www.婷婷五月| 丁香五月婷在线| 激情婷婷在线中文字幕| 欧美大肥婆大肥BBBBB| 五月激情天天干| 色情五月综合婷婷| 超碰人人摸人人操| 婷婷五月综激情| 天天干,噜噜色,狠狠色| 9热在线视频| 激情综合一| 丁香五月激情综合啪啪| 99热日韩| 五月丁小婷婷激情四射| 丁香六月啪啪啪| 嫩草视频。| 久热婷婷| 色综合色综合网| 狠狠色综合网| 五月丁香婷婷激情图片| 婷婷中文字幕| 五月丁香激情婷婷| 亚洲另类婷婷五月丁香在线播放| 色综合中文综合网| 99热一区| 丁香婷婷视频在线| 丁香五月AV在线| 影音先锋 一区| 丁香六月激情| 色五月成人| er99免费视频在线| 五月丁香激情四射| 果冻传媒A片一二三区| 超碰在线国产| www激情com| 丁香六月天AV| 天天干,天天操,天天射| 日本精品人妻无码77777| 9久热在线视频精品| 亚洲精品久久久久久久久久吃药| 久久网日本| 九九色插| 人人操AV| 97丁香婷婷| 99在线精品视频免费观看20| 色婷婷婷av| 久久婷婷夜| 丁香六月天婷婷色| 亚洲色婷婷| 91视频五月丁香| 婷婷五月天婷婷| 美女天天久久| 午夜爱爱网站| 色婷婷四虎| AA片在线观看视频在线播放| 色狠狠色| 色综合伊人网| 日日夜夜天天爽| 亚洲激情无码久久| 五月激情婷婷综合| 久久久久久久久久久久63| 中字幕视频在线永久在线观看免费| 色婷婷综合久久久久| 九九热在线99| 婷婷网五月| 99er免费在线观看| 久9热| 日韩日比视频| 激情丁香五月综合| 婷婷欠久少妇| 婷婷丁香六月| 夜夜爱网站| www.精品99| 激情五月天偷拍综合网| 丁香婷婷综合激情五月色| 欧洲亚洲免费视频区| 超碰九色| 久久婷狠狠色| 26uuu欧美日本| 综合五月天| 黄色激情五月天| 日日撸日日操| 思思久久96热在精品国产,| 欧美激情五月综合| 婷婷色综合| 五月丁香色色| 99狠狠色| 神马欧美精| 激情AV中文| 五月丁香婷婷老司机| 热99玖玖99玖玖99九九| 黄色中文字目| 国产精品第一国产精品| 日本欧美成人片AAAA| 丁香六月天| 五月天成人综合| 五月婷婷六月丁香| 在线婷婷| 天堂A∨在线| 日韩在线视频中文字幕| 六月丁香中文字幕| 久热99热| 色玖玖爱| www.久久久.com| 婷婷激情九月| AV在线免费播放| 婷婷九月综合| AV在线观看网站| 五月婷婷激情性爱| 久色网址| 五月天大香蕉| 丁香五月婷婷在线| 欧美性爱五月天| 婷婷五月天社区| 天天干天天拍| 国产99久久久国产精品免费看| 欧美内射AAAAAAXXXXX| 亚洲字幕AV一区二区三区四区| 国产69久久久欧美黑人A片 | se.久久视频在线观看| 综合精品啪啪| 婷婷五月激情五月丁香五月| 99久久.www| 99资源在线视频| AV五月丁香| 另类激情五月天。| 深爱女色婷婷丁香五月亚洲图区| 秋霞午夜理论| 免费久久这里只有精品99| 五月天成人在线| 人人摸人人干人人做| 色七七色九九| 91日日日| 婷婷五月天AV| 欧洲色| 中文字幕一色哟哟哟哟| 亚洲美女裸体被操在线观看| 久久爱综合| 免费AV在线| 久久综合激情| 日本熟女三区| 亚洲男人的天堂婷婷色五月| 婷婷丁香五月高清| 色九九九九| 99热在线精品观看| 午夜不卡久久精品无码免费| 久久九久久| 9超碰在线| 色婷婷AAA| 成人视频九九| 九九青草热| 99在线视频色版| 激情涩涩网| 日本AAAAAAAAAAAAAA片| 九九视频在线| 亚洲色视频| 综合天堂AV久久久久久久| 无码人妻一区二区一牛影视| 色爽九九| 欧美在线骚货| 欧美激情五月| 国产精品电影网| 五月天激情小说| 色婷婷成人色网| av在线免费网站 | 激情综合网激情五月欧美| 99热这里只有精品18| A1片久久久| 精品色色| 激情五月天福利| 五月色网| 九月婷婷丁香| 99色在线观看视频| 开心五月婷婷激情| 9l视频自拍九色9l黑人| 91九色熟女| 伊人六月丁香婷婷| 丁香五月六月综合激情| 网站免费一站二站| 人人摸人人干| 色欲丁香| 能直接看的AV网站| 丁香色色色| 91操人人操| 亚洲色激情| www.久久五月天.com| 九九色热| 国产成人+综合亚洲+天堂| 热久91| 91狠狠色丁香婷婷综合久久| 五月天深爱激情网| 婷婷久月| 国产精品成人网址| 欧美精品999| 这里只有精品免费视频在线观看| 91色综合| 婷婷色资源| 亚洲小视频免费播放| 日韩色色视频www| 九九伊人网| 丁香色色五月| 俺也去婷婷五月天第五色| 九九激情视频| 五月激情综合网| 狠狠久综合| 丁香五月视频在线观看| 手机旧版看人妻1025| 亚洲无AV在线中文字幕| 在线网黄| 五月天激情视频五月天| 久久99网| 久草丁香婷婷五月天婷| 天堂五月婷婷| 特黄三级片| 丁香五月熟女| 开心深爱五月天| 激情五月天网站| 国产性av| 五月丁香亚洲校园欧美| 国产午夜一区二区三区| 午夜不卡久久精品无码免费 | 不卡在线超碰| 五月丁香婷婷综合| 婷婷五月天亚洲| 国产成人精品一区二区三区视频| 女同激情久久av久久| 天天操夜夜爽歪歪| 色色色.com| 色99网| 六月色激情| www色中色综合| 天天爽人人综合免费7799| 色播播婷婷| 色婷婷五月天天天干天天操天天爽| AV性爱在线| AV成人在线播放| 亚洲狠狠狠| 欧美色综合天天久久综合精品 | 久久九九思思| 日本本土色网第一区| 99久在线观看| 青草青草久9视频在线视频| 六月丁香婷婷尤物| 91啪啪视频| 婷婷五月天奸女| 激情五月婷婷五月丁香五月开心五月| 日产精品一线二线三线芒果| www久久99com| 久久99婷婷| 国产亚洲网站在线| 五月婷婷激情综合网 | 婷婷五月综合社区| 操婷婷基地| 这里只精品热在线18| 成 人片 黄 色 大 片| 亚洲视频a| 亚洲激情av| 91互操| 五月综合激情视频在线| 亚洲AV无码电影| 亚洲色欲AAAAAA| 五月综合激情婷婷六月色窝| 色色色色热热| 亚洲人妻AV| 9色在线视频| 午夜爱爱网站| 吊色AV男人的天堂| 婷婷五月激情六月| 操操熟女| 这里精品| www.婷婷五月.com| 丁香五月网在线观看| 国产成人精品一区二区三区视频| 免费的日逼视频| 丁香五月激情五月| www.激情五月天。com| 欧美日韩999| AV在线中文| 超碰超碰在线| 久久多色| 另类激情综合| 97碰碰在线看视频免费| 99操无码视频观看| 婷丁香五月天| 综合伊人久久| 激情图片婷婷| 五月激情网站| 久久婷婷五月丁香网| 久99久精品| 97久久精品| 97碰在线| 91碰碰碰| www.狠狠操| www.激情五月天.com| www.99热| 色婷婷色久综| 久久se 综合网 | 97五月婷婷| 97色97干| 99精品久久久久久久婷婷| 色99网| 99爱视频精品| 色狠狠色| 五月婷婷色播网| 爆乳熟妇一区二区三区四区| 久久99久久99精品免观看软件| 久99久视频精品| 丁香五月色欲| 激情综合在线播放| 99操免费视频| 丁香婷婷五月天激情四射| 九九热免费| 五月丁香婷婷综合在线| 嫩草AV久久伊人妇女超级A| 99久久精品网| 婷婷五月激情视频网| 色婷婷精品视频| 91在线日| 大香蕉久久| 婷婷五月天伊人网在线观看视频| 99久久婷婷精品视频| 婷婷激情五月天激情| 日韩欧美老妇性视频91久久久| 丁香五月婷婷啪| 天天婷婷综合| 久久99热网| 色婷视频| 色99热| 精品婷婷| 99色一| 在线超碰91| www.91久久| 精品婷婷五月视| 欧美久久九九| 99热这里| 这里只有精彩小视频视频网站| 少妇真实被内射视频三四区| 色婷婷丁香香香蕉视频| 狠狠色大香蕉| 99A片| 国产99视频永久免费| 六月婷婷操逼| 久久久99久久| 综合激情五月综合激情五月激情1| 综合狠久久| 99热碰碰| 丁香六月婷婷开心| 99惹 精品在线| 少妇搡BBBB搡BBB搡毛茸茸 | 五月丁香久久精品在线观看 | www.激情.com.| 狠狠干最新地址| 五月天婷婷丁香| 久久久人妻人伦| W色综合| 99九九综合久久九九| 天天AV导航网| 97操男人的天堂| 亚洲最大视频| 99热777| 丁香五月网址| 五月天网址在线刘玥| 99无码精品| 久久五月天精品视频| 中文字幕人妻一区二区| 99视频久久| 99热这里只有国产精品| 五月天三级久久| 做爰丰满少妇1313| 激情五月丁香婷婷| 99rewww| 色天堂操| 五月婷婷综合激情| 丁香五月婷婷香| 丁香五月天激情五月天激情五月天激情网| 婷婷五月精品| 99网| 深爱婷婷丁香五月激情| AV九九| 九久热| 欧洲色色| 久久久精品人妻| 激情婷婷亚洲五月| 午夜丁香六月婷| 色婷婷成人做爰A片免费看网站| 激情婷婷六月天| 久久老码第一| 激情五月色综合网| 久久视频在线视频| 9热视频在线观看| 五月天色网站| 九九Av| av在线不卡播放| 99热这里是精品| 操日视频| 五月丁香啪啪综合网| 久久伊人大香蕉| 免费看片在线观看| 成人无码髙潮喷水A片| 超碰在线观看9| 成人色色视频| 狠狠五月激情在线| 在线观看亚洲AV| 九九色婷婷五月天| 91碰碰| 夜夜谢天天干| 亚洲人妻一区二区 | 艾小青av| 五月丁香婷婷爱激情综合网| 天堂网色婷婷| 嫩草极品| 亚洲久久激情| 亚洲人成色A777777在线观看 | 五夜婷婷| 色欲一二三| sewuyue第四色| 狠狠搞五月天| 婷婷五月激情的图片| 亚洲黄色操逼| 成人综合网站| 婷婷婷婷婷婷婷五月丁香| 五月婷婷成人| 夜夜撸天天日| 热这里只有精| 日夜操B| 性色av大香综合| 婷婷五月综合色小姐小说| 国产精品99久久久久久久女警 | 婷婷五月美女直播| 精品综合久久久久久五月天| 五月天综合网| 九九狠狠干| 秋霞av不能| 99热综合在线观看| 夫妇交换刺激做爰| 久久丁香五月| 婷婷丁香97| 丁香五月影院| 天天色综网| 国产精品久久久60086| 思思热99er在线视频| 五月丁香婷婷综合| 久久综合无| 亚洲一级AV在线免费播放| 色色色丁香| 91丁香色| 狠狠精品干练久久久无码中文字幕| 成功精品影院| 日本三级黄色大片| 亚洲av日韩无码| 五月五丁香婷婷| 亚洲色五月婷婷| 91九九九九九九| 麻豆WWWCOM内射软件| 五月天婷婷小说| 婷婷99| 久久六月天| 五月天丁香综合久久国产| 蜘蛛女侠2003满天星免费观看| 色婷婷丁香五月综合| 青青福利网| 久久有码| 思思色综合网站| 丁香五月婷婷色五月| 怕怕av| 色色色在线免费视频| 五月丁香色色综合| 色婷婷五月六月丁香综合视频| 欧亚洲在线高清视频| 99碰碰| 婷婷激情五月| 欧美激情综合| 99热在线观看免费中文| 久久五月婷| 噜噜噜噜噜在线| 女性自慰系列第五页| 天天做天天爱天天搞| 狠狠做五月| 婷婷伊在线| 人人人人人人人人人草| 欧美性爱特黄一级aaaassss| 色婷婷丁香AV综合|