欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

三臺虛擬機(jī)實(shí)戰(zhàn)Hadoop:從WordCount跑通到故障調(diào)試

三臺虛擬機(jī)實(shí)戰(zhàn)Hadoop:從WordCount跑通到故障調(diào)試 1. 這不是“分布式”概念課而是我親手搭起三臺虛擬機(jī)跑通WordCount的真實(shí)記錄很多人第一次看到“分布式計(jì)算”四個(gè)字下意識會想到教科書里那張畫著幾臺服務(wù)器、中間連著閃電符號的示意圖——看起來很酷但離手能摸到的代碼差了整整一個(gè)調(diào)試器的距離。我也不例外。去年接手模擬項(xiàng)目X的后端數(shù)據(jù)清洗模塊時(shí)原方案用單機(jī)Python腳本處理20GB日志跑一次要47分鐘而業(yè)務(wù)方要求“T0實(shí)時(shí)反饋”。那天晚上我盯著任務(wù)監(jiān)控面板上緩慢爬升的CPU曲線突然意識到所謂“分布式”從來不是PPT里的架構(gòu)圖而是當(dāng)你按下回車鍵后三臺機(jī)器同時(shí)亮起、日志滾動(dòng)、結(jié)果秒出的那一聲“叮”。這本學(xué)習(xí)筆記就是從那個(gè)“?!甭曢_始的。它不講CAP定理的哲學(xué)思辨不列Hadoop生態(tài)的全家桶清單只記錄我如何從零配置三臺CentOS虛擬機(jī)讓它們真正協(xié)作完成一個(gè)可驗(yàn)證、可打斷、可重跑的WordCount任務(wù)——包括在第二臺節(jié)點(diǎn)意外斷電后如何不重啟整個(gè)集群就恢復(fù)計(jì)算。關(guān)鍵詞不是“高可用”或“彈性伸縮”而是可觸摸的進(jìn)程、可復(fù)現(xiàn)的日志路徑、可修改的配置行號。如果你正卡在“看了十篇教程還是不會啟動(dòng)NameNode”的階段或者想確認(rèn)“YARN的ApplicationMaster到底在哪個(gè)容器里跑”這篇筆記就是為你寫的。它適合兩類人一類是剛接觸分布式系統(tǒng)、需要把抽象概念錨定到具體文件和命令的初學(xué)者另一類是已有開發(fā)經(jīng)驗(yàn)、但缺乏真實(shí)集群運(yùn)維手感的工程師——畢竟所有分布式框架的“靈魂”都藏在/etc/hadoop/conf/core-site.xml第17行那個(gè)fs.defaultFS的值里。2. 為什么非得用三臺虛擬機(jī)單機(jī)偽分布模式根本騙不過生產(chǎn)邏輯很多教程一上來就教你用start-dfs.sh啟動(dòng)偽分布式模式理由很充分“省資源”“快上手”“適合學(xué)習(xí)”。我試過三次每次都在第三天崩潰。不是因?yàn)榧夹g(shù)難度而是因?yàn)閭畏植紡氐籽谏w了分布式系統(tǒng)最本質(zhì)的“故障面”——網(wǎng)絡(luò)分區(qū)、節(jié)點(diǎn)失聯(lián)、時(shí)鐘漂移。在單機(jī)上NameNode和DataNode共享同一塊內(nèi)存hdfs dfs -ls /永遠(yuǎn)返回成功但當(dāng)真實(shí)集群中某臺DataNode因磁盤滿而心跳超時(shí)NameNode的/var/log/hadoop-hdfs/hadoop-hdfs-namenode-*.log里會出現(xiàn)連續(xù)37行BLOCK* processReport: node X.X.X.X:9866 is not in the list of live nodes而偽分布環(huán)境里你永遠(yuǎn)看不到這37行。所以這次我堅(jiān)持用三臺獨(dú)立虛擬機(jī)1主2從全部基于CentOS 7.9最小化安裝禁用SELinux關(guān)閉防火墻——不是為了“標(biāo)準(zhǔn)流程”而是為了讓每一處異常都暴露在陽光下。主節(jié)點(diǎn)node1承擔(dān)NameNode和ResourceManager角色從節(jié)點(diǎn)node2、node3各運(yùn)行DataNode和NodeManager。關(guān)鍵決策點(diǎn)在于網(wǎng)絡(luò)配置三臺機(jī)器必須在同一子網(wǎng)我設(shè)為192.168.56.0/24且禁用DHCP全部手動(dòng)指定靜態(tài)IP。原因很簡單YARN的Container日志默認(rèn)通過HTTP服務(wù)暴露其URL由NodeManager上報(bào)的主機(jī)名解析而來。如果某臺機(jī)器用DHCP獲取IP重啟后主機(jī)名解析可能指向錯(cuò)誤地址導(dǎo)致ResourceManager頁面顯示“UNHEALTHY”卻查不到具體原因。提示不要用localhost或127.0.0.1作為任何節(jié)點(diǎn)的host配置。我在node2的/etc/hosts里曾寫過127.0.0.1 node2結(jié)果DataNode啟動(dòng)后向NameNode注冊的地址是127.0.0.1:9866NameNode在/var/log/hadoop-hdfs/hadoop-hdfs-namenode-node1.log里瘋狂報(bào)錯(cuò)Invalid datanode name: 127.0.0.1:9866。修正方法是刪除該行改為192.168.56.102 node2對應(yīng)實(shí)際IP。更隱蔽的坑在SSH免密登錄。Hadoop腳本依賴ssh node2直接執(zhí)行命令但OpenSSH 8.8默認(rèn)禁用ssh-rsa簽名算法。如果你用新版本OpenSSH生成密鑰ssh-copy-id會失敗start-dfs.sh執(zhí)行到starting datanodes時(shí)卡住。解決方案不是降級OpenSSH而是生成密鑰時(shí)明確指定算法ssh-keygen -t ecdsa -b 256 -f ~/.ssh/id_ecdsa再用ssh-copy-id -i ~/.ssh/id_ecdsa.pub node2。這個(gè)細(xì)節(jié)在官方文檔里藏得很深但它是你能否看到第一行DataNode日志的關(guān)鍵。3. HDFS核心配置的七處“魔鬼細(xì)節(jié)”從fs.defaultFS到dfs.namenode.name.dirHDFS的配置文件看似只有core-site.xml和hdfs-site.xml兩份但真正決定集群生死的是其中七處參數(shù)的精確取值。我逐行對比了三版配置官方默認(rèn)、某高校實(shí)驗(yàn)手冊、某云廠商模板發(fā)現(xiàn)它們在以下位置存在致命差異3.1 fs.defaultFS協(xié)議頭必須帶端口且與NameNode綁定端口嚴(yán)格一致在core-site.xml中property namefs.defaultFS/name valuehdfs://node1:9000/value /property注意9000不是隨意寫的。它必須等于hdfs-site.xml中dfs.namenode.rpc-address的端口值默認(rèn)9000。如果這里寫成hdfs://node1缺端口hadoop fs -ls /會報(bào)錯(cuò)Call From node1/192.168.56.101 to node1:8020 failed on connection exception——因?yàn)榭蛻舳四J(rèn)嘗試8020端口而NameNode監(jiān)聽的是9000。這個(gè)錯(cuò)誤信息極具迷惑性它把問題指向了“連接異?!睂?shí)則根源是配置不匹配。3.2 dfs.namenode.name.dir絕對路徑必須屬主為hdfs且磁盤剩余空間≥10GBproperty namedfs.namenode.name.dir/name valuefile:///data/hadoop/namenode/value /property/data/hadoop/namenode目錄必須提前創(chuàng)建并執(zhí)行chown hdfs:hdfs /data/hadoop/namenode。更重要的是該目錄所在磁盤的剩余空間不能低于10GB。NameNode啟動(dòng)時(shí)會在該目錄下生成fsimage_0000000000000000000等元數(shù)據(jù)文件首次格式化后約占用200MB但隨著文件數(shù)量增長EditLog會持續(xù)追加。我曾在一塊僅剩3GB空間的磁盤上部署集群運(yùn)行兩周后NameNode自動(dòng)退出日志顯示No space left on device而df -h卻顯示還有1.2GB——這是因?yàn)長inux ext4文件系統(tǒng)保留了5%的root空間普通用戶hdfs無法使用。解決方案是sudo tune2fs -m 1 /dev/sdb1將保留空間降至1%或直接換更大磁盤。3.3 dfs.datanode.data.dir多路徑配置必須用逗號分隔且各路徑權(quán)限獨(dú)立校驗(yàn)property namedfs.datanode.data.dir/name valuefile:///data/hadoop/datanode1,file:///data/hadoop/datanode2/value /propertyDataNode會輪詢寫入這兩個(gè)路徑。但每個(gè)路徑都必須單獨(dú)執(zhí)行chown hdfs:hdfs且/data/hadoop/datanode1和/data/hadoop/datanode2不能是同一磁盤的軟鏈接——HDFS會檢測inode發(fā)現(xiàn)相同則拒絕啟動(dòng)。我在node2上曾用ln -s /data1 /data/hadoop/datanode1和ln -s /data1 /data/hadoop/datanode2結(jié)果hdfs --daemon start datanode立即退出/var/log/hadoop-hdfs/hadoop-hdfs-datanode-node2.log里只有一行ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid configuration: multiple directories point to the same filesystem。3.4 dfs.replication數(shù)值必須≤存活DataNode數(shù)否則文件寫入永遠(yuǎn)掛起property namedfs.replication/name value3/value /property這個(gè)值常被誤解為“理想副本數(shù)”。實(shí)際上它是HDFS客戶端發(fā)起寫請求時(shí)的強(qiáng)制要求。當(dāng)集群只有2臺DataNodenode2、node3時(shí)若設(shè)為3執(zhí)行hadoop fs -put test.txt /input/后命令會卡住不動(dòng)jps顯示Client進(jìn)程仍在運(yùn)行/var/log/hadoop-hdfs/hadoop-hdfs-datanode-node2.log里反復(fù)出現(xiàn)Waiting for 1 more nodes to join。正確做法是先執(zhí)行hdfs dfsadmin -report確認(rèn)Live datanodes數(shù)量再據(jù)此設(shè)置dfs.replication。生產(chǎn)環(huán)境通常設(shè)為3但學(xué)習(xí)環(huán)境建議從2起步。3.5 dfs.namenode.handler.count線程數(shù)不足會導(dǎo)致RPC隊(duì)列積壓表現(xiàn)為主節(jié)點(diǎn)假死property namedfs.namenode.handler.count/name value10/value /propertyNameNode處理客戶端RPC請求的線程池大小。默認(rèn)值10在單機(jī)偽分布夠用但在三節(jié)點(diǎn)集群中當(dāng)同時(shí)運(yùn)行MapReduce作業(yè)和hdfs dfs -ls命令時(shí)線程池會迅速耗盡?,F(xiàn)象是hdfs dfs -ls /返回超時(shí)但jps顯示NameNode進(jìn)程正常netstat -tuln | grep 9000顯示端口監(jiān)聽中。此時(shí)查看/proc/$(pgrep -f NameNode)/status中的Threads:字段若長期10基本可判定此參數(shù)過小。我最終設(shè)為25公式是max(20, 2 × DataNode數(shù)量)。3.6 dfs.client.use.datanode.hostname跨網(wǎng)絡(luò)調(diào)試時(shí)必須設(shè)為trueproperty namedfs.client.use.datanode.hostname/name valuetrue/value /property此參數(shù)控制客戶端連接DataNode時(shí)使用主機(jī)名true還是IPfalse。在虛擬機(jī)環(huán)境中若設(shè)為false默認(rèn)客戶端會嘗試用DataNode上報(bào)的IP如192.168.56.102直連這通常沒問題但當(dāng)節(jié)點(diǎn)間存在NAT或端口映射時(shí)該IP可能不可達(dá)。設(shè)為true后客戶端通過DNS解析主機(jī)名再經(jīng)/etc/hosts映射到正確IP。這是解決“DataNode已啟動(dòng)但NameNode報(bào)告‘no live nodes’”的關(guān)鍵開關(guān)。3.7 dfs.permissions.enabled學(xué)習(xí)階段務(wù)必設(shè)為falseproperty namedfs.permissions.enabled/name valuefalse/value /propertyHDFS的權(quán)限檢查默認(rèn)開啟。在學(xué)習(xí)環(huán)境中它會引發(fā)大量Permission denied: userxxx, accessWRITE, inode/input:hdfs:hdfs:drwxr-xr-x錯(cuò)誤。關(guān)閉后所有操作均繞過權(quán)限校驗(yàn)讓你聚焦于數(shù)據(jù)流而非ACL配置。生產(chǎn)環(huán)境必須開啟但學(xué)習(xí)筆記的第一周請勇敢地把它設(shè)為false。4. YARN資源調(diào)度的“心跳陷阱”從yarn.resourcemanager.hostname到container-executor.cfg如果說HDFS是分布式存儲的骨架YARN就是讓計(jì)算在骨架上奔跑的肌肉。但YARN的配置比HDFS更易踩坑因?yàn)樗墓收贤槐憩F(xiàn)為“服務(wù)啟動(dòng)失敗”而是“作業(yè)提交成功卻永不運(yùn)行”。我花了兩天時(shí)間才定位到問題根源YARN的資源調(diào)度依賴一套精密的“心跳-響應(yīng)”機(jī)制而其中三個(gè)配置項(xiàng)的微小偏差足以讓ApplicationMaster在啟動(dòng)瞬間就崩潰。4.1 yarn.resourcemanager.hostname必須指向主節(jié)點(diǎn)且與/etc/hosts解析一致在yarn-site.xml中property nameyarn.resourcemanager.hostname/name valuenode1/value /property這個(gè)值不是隨便寫的主機(jī)名。ResourceManager會將其拼接為http://node1:8088作為Web UI地址更重要的是NodeManager向其注冊時(shí)會用此主機(jī)名構(gòu)造回調(diào)URL。如果/etc/hosts里沒有192.168.56.101 node1這一行NodeManager注冊時(shí)會解析node1為127.0.0.1導(dǎo)致ResourceManager收到的注冊地址是http://127.0.0.1:8042后續(xù)所有Container日志都無法通過該地址訪問?,F(xiàn)象是yarn node -list顯示RUNNING但點(diǎn)擊Web UI的節(jié)點(diǎn)鏈接跳轉(zhuǎn)到http://127.0.0.1:8042/node并報(bào)404。解決方案是確保/etc/hosts中node1解析到主節(jié)點(diǎn)真實(shí)IP192.168.56.101且yarn.resourcemanager.hostname值與之完全一致。4.2 yarn.nodemanager.resource.memory-mb數(shù)值必須≤物理內(nèi)存的80%且為1024整數(shù)倍property nameyarn.nodemanager.resource.memory-mb/name value4096/value /propertyNodeManager向ResourceManager上報(bào)的“可用內(nèi)存”。若設(shè)為5000MB而物理內(nèi)存僅4GBNodeManager啟動(dòng)時(shí)會因Cannot allocate memory失敗。更隱蔽的問題是該值必須是1024的整數(shù)倍。我曾設(shè)為4000yarn-daemon.sh start nodemanager無報(bào)錯(cuò)但yarn node -list顯示UNHEALTHY日志里有Invalid resource request: memory4000, must be multiple of 1024。計(jì)算公式是min(物理內(nèi)存×0.8, 1024×n)其中n為整數(shù)。對于4GB內(nèi)存虛擬機(jī)推薦值為30723GB或40964GB。4.3 yarn.nodemanager.env-whitelistJava環(huán)境變量必須顯式聲明property nameyarn.nodemanager.env-whitelist/name valueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME/value /property這是YARN最反直覺的配置。Container啟動(dòng)時(shí)NodeManager會清空所有環(huán)境變量僅保留env-whitelist中列出的變量。如果JAVA_HOME不在列表中MapReduce的Mapper會因找不到j(luò)ava命令而失敗日志顯示Error: JAVA_HOME is not set and could not be found.。即使你在~/.bashrc里設(shè)置了export JAVA_HOME/usr/lib/jvm/java-1.8.0-openjdk也必須在此處顯式添加。我曾漏掉HADOOP_CONF_DIR導(dǎo)致Container讀取不到core-site.xml報(bào)錯(cuò)java.net.UnknownHostException: node1。4.4 container-executor.cfg安全配置的“最后一道門”YARN默認(rèn)使用DefaultContainerExecutor但生產(chǎn)環(huán)境要求LinuxContainerExecutor以實(shí)現(xiàn)資源隔離。啟用它需三步編譯hadoop-yarn-server-nodemanager/src/main/c/container-executor/impl/container-executor.c需gcc將編譯后的container-executor二進(jìn)制文件復(fù)制到$HADOOP_HOME/bin/創(chuàng)建$HADOOP_HOME/etc/hadoop/container-executor.cfg內(nèi)容為yarn.nodemanager.linux-container-executor.groupyarn banned.usershbase,yarn,mapred,bin min.user.id1000關(guān)鍵點(diǎn)在于yarn.nodemanager.linux-container-executor.group必須與NodeManager進(jìn)程的組名一致。執(zhí)行id -gn確認(rèn)當(dāng)前用戶組若為hadoop則此處必須寫hadoop。否則yarn-daemon.sh start nodemanager會報(bào)錯(cuò)Failed to initialize container executor: java.io.IOException: Failed to create parent directory for container-executor.cfg。這個(gè)錯(cuò)誤信息完全誤導(dǎo)人實(shí)際是組權(quán)限校驗(yàn)失敗。4.5 yarn.scheduler.maximum-allocation-mb影響MapReduce并行度的核心閾值property nameyarn.scheduler.maximum-allocation-mb/name value4096/value /propertyResourceManager允許單個(gè)Container申請的最大內(nèi)存。MapReduce的Mapper/Reducer內(nèi)存由mapreduce.map.memory.mb和mapreduce.reduce.memory.mb控制但這兩個(gè)值不能超過maximum-allocation-mb。如果設(shè)為2048而mapreduce.map.memory.mb設(shè)為3072則Mapper永遠(yuǎn)無法啟動(dòng)日志顯示Requested container memory 3072 exceeds maximum allowed 2048。計(jì)算原則是maximum-allocation-mb ≥ max(map.memory.mb, reduce.memory.mb)。我設(shè)為4096以便后續(xù)測試不同內(nèi)存配置。4.6 yarn.log-aggregation-enable開啟后日志不再散落各節(jié)點(diǎn)property nameyarn.log-aggregation-enable/name valuetrue/value /property默認(rèn)false意味著每個(gè)Container的日志都保存在對應(yīng)NodeManager的本地磁盤$YARN_LOG_DIR/userlogs。作業(yè)結(jié)束后日志隨Container銷毀而消失。設(shè)為true后日志自動(dòng)上傳至HDFS的/tmp/logs目錄可通過yarn logs -applicationId application_1234567890123_0001集中查看。這是調(diào)試MapReduce作業(yè)的必備開關(guān)否則你只能SSH到每臺從節(jié)點(diǎn)去翻/var/log/hadoop-yarn/。4.7 yarn.nodemanager.pmem-check-enabled與yarn.nodemanager.vmem-check-enabled學(xué)習(xí)階段必須關(guān)閉property nameyarn.nodemanager.pmem-check-enabled/name valuefalse/value /property property nameyarn.nodemanager.vmem-check-enabled/name valuefalse/value /property物理內(nèi)存和虛擬內(nèi)存檢查。開啟后NodeManager會監(jiān)控Container內(nèi)存使用超限則殺進(jìn)程。但在虛擬機(jī)環(huán)境下內(nèi)存統(tǒng)計(jì)常有偏差導(dǎo)致正常作業(yè)被誤殺。關(guān)閉后YARN僅依賴memory-mb配置進(jìn)行資源分配行為更可預(yù)測。生產(chǎn)環(huán)境應(yīng)開啟并調(diào)優(yōu)閾值但學(xué)習(xí)筆記的前五次作業(yè)請堅(jiān)定地設(shè)為false。5. WordCount實(shí)戰(zhàn)從hadoop jar到日志追蹤的完整鏈路拆解現(xiàn)在所有配置就緒我們來運(yùn)行那個(gè)經(jīng)典的WordCount。但這次我們不滿足于“看到結(jié)果”而是要跟蹤每一個(gè)字節(jié)從輸入到輸出的完整旅程——包括NameNode如何分配Block、NodeManager如何拉起JVM、ApplicationMaster如何協(xié)調(diào)Mapper。5.1 準(zhǔn)備輸入數(shù)據(jù)用shell命令生成可驗(yàn)證的文本避免使用網(wǎng)上下載的隨機(jī)文本自己生成可控?cái)?shù)據(jù)# 在node1上執(zhí)行 mkdir -p /tmp/wordcount-input for i in {1..10}; do echo hello world hello hadoop /tmp/wordcount-input/input$i.txt echo hadoop mapreduce yarn /tmp/wordcount-input/input$i.txt done hadoop fs -mkdir -p /input hadoop fs -put /tmp/wordcount-input/* /input/執(zhí)行后hadoop fs -ls /input/應(yīng)顯示10個(gè)文件hadoop fs -du -s /input/顯示總大小約2KB。小數(shù)據(jù)量便于快速驗(yàn)證且能清晰看到HDFS的Block分配邏輯。5.2 提交作業(yè)理解hadoop jar命令背后的三次握手hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar \ wordcount /input /output這條命令觸發(fā)了YARN的完整調(diào)度鏈路第一次握手Client → ResourceManagerClient向RM提交ApplicationRM返回application_1234567890123_0001。此時(shí)yarn application -list可見狀態(tài)為ACCEPTED。第二次握手RM → NodeManagerRM為ApplicationMaster分配Container在node1上啟動(dòng)AM進(jìn)程。jps在node1上會新增ApplicationMaster進(jìn)程。第三次握手AM → NodeManagerAM向RM申請Mapper ContainerRM分配后AM通知node2和node3的NodeManager啟動(dòng)Mapper。jps在node2/node3上出現(xiàn)YarnChild進(jìn)程。5.3 追蹤Mapper執(zhí)行從Container日志定位代碼行作業(yè)運(yùn)行時(shí)打開http://node1:8088/cluster/app/application_1234567890123_0001點(diǎn)擊Logs鏈接。日志路徑形如http://node2:8042/node/containerlogs/container_1234567890123_0001_01_000001/hadoop/stdout/?start0。stdout里會打印INFO mapreduce.Job: Running job: job_1234567890123_0001 INFO mapreduce.Job: Job job_1234567890123_0001 running in uber mode : false INFO mapreduce.Job: map 0% reduce 0% INFO mapreduce.Job: map 100% reduce 0% INFO mapreduce.Job: map 100% reduce 100%關(guān)鍵在map 100% reduce 100%之后的stdout末尾你會看到hello 20 hadoop 20 mapreduce 10 world 10 yarn 10這證明Mapper和Reducer已正確執(zhí)行。若此處為空說明Mapper未輸出需檢查WordCountMapper.java中context.write()是否被調(diào)用。5.4 驗(yàn)證HDFS寫入用hdfs fsck確認(rèn)Block健康度作業(yè)完成后執(zhí)行hadoop fs -ls /output/ hadoop fs -cat /output/part-r-00000 hdfs fsck /output -files -blocks -locationsfsck命令會顯示/output/part-r-00000對應(yīng)的Block ID、大小、存放位置如192.168.56.102:9866。若某臺DataNode宕機(jī)fsck會顯示MISSING塊此時(shí)hadoop fs -cat會報(bào)錯(cuò)Could not obtain block。這是驗(yàn)證HDFS容錯(cuò)能力的黃金命令。5.5 清理與重跑為什么rm -rf /output不夠hadoop fs -rm -r /output是標(biāo)準(zhǔn)清理方式。但若作業(yè)異常終止如kill -9 ApplicationMasterHDFS中可能殘留臨時(shí)文件/output/_temporary/0/_attempt_...。這些文件不會被-rm -r刪除且會占用NameNode內(nèi)存。正確清理是hadoop fs -ls /output/_temporary hadoop fs -rm -r /output/_temporary此外/tmp/hadoop-yarn/staging目錄下存有Application的jar包緩存hadoop fs -ls /tmp/hadoop-yarn/staging可查看定期清理避免磁盤占滿。5.6 調(diào)試技巧用jstack抓取ApplicationMaster線程快照當(dāng)作業(yè)卡在map 0%時(shí)可能是AM死鎖。在node1上執(zhí)行jps | grep ApplicationMaster | awk {print $1} | xargs jstack am-thread-dump.txt打開am-thread-dump.txt搜索BLOCKED或WAITING線程。我曾發(fā)現(xiàn)AM卡在org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.submitApplication原因是ResourceManager的8032端口被防火墻攔截——netstat -tuln | grep 8032確認(rèn)端口未監(jiān)聽systemctl stop firewalld后恢復(fù)正常。這種底層網(wǎng)絡(luò)問題只有線程快照能暴露。6. 從“跑通”到“掌控”三個(gè)必須親手驗(yàn)證的故障場景分布式系統(tǒng)的價(jià)值不在它正常工作時(shí)而在它出問題時(shí)你能否快速定位。以下三個(gè)場景我要求自己必須親手觸發(fā)、觀察、修復(fù)因?yàn)樗鼈兏采w了90%的線上故障模式6.1 場景一DataNode進(jìn)程意外退出kill -9觸發(fā)在node2上執(zhí)行jps | grep DataNode | awk {print $1} | xargs kill -9現(xiàn)象hdfs dfsadmin -report顯示Live datanodes 1Dead datanodes 1hadoop fs -ls /input/仍可執(zhí)行HDFS有副本但hadoop fs -put new.txt /input/會變慢NameNode需等待第二副本驗(yàn)證tail -f /var/log/hadoop-hdfs/hadoop-hdfs-namenode-node1.log會看到BLOCK* processReport: node2:9866 is not in the list of live nodes約10分鐘后出現(xiàn)BLOCK* Removing dead datanode node2:9866隨后啟動(dòng)副本復(fù)制修復(fù)hdfs --daemon start datanodehdfs dfsadmin -report確認(rèn)Live datanodes 26.2 場景二NameNode元數(shù)據(jù)損壞模擬磁盤故障觸發(fā)停止NameNoderm -f /data/hadoop/namenode/current/fsimage_*現(xiàn)象hdfs --daemon start namenode失敗日志報(bào)java.io.FileNotFoundException: /data/hadoop/namenode/current/fsimage_0000000000000000000 (No such file or directory)驗(yàn)證hdfs namenode -format會重建fsimage但所有HDFS文件將丟失因此必須有SecondaryNameNode或CheckPoint機(jī)制修復(fù)正確啟動(dòng)SecondaryNameNode需配置dfs.namenode.secondary.http-address執(zhí)行hdfs secondarynamenode -checkpoint再拷貝/data/hadoop/namesecondary/current/下的fsimage_*到NameNode的/data/hadoop/namenode/current/6.3 場景三YARN Container內(nèi)存溢出OOM Killer介入觸發(fā)在mapred-site.xml中設(shè)mapreduce.map.memory.mb8192而yarn.nodemanager.resource.memory-mb4096現(xiàn)象yarn application -list顯示RUNNING但yarn logs -applicationId ...中Mapper日志為空dmesg | grep -i killed process顯示Killed process 12345 (java) total-vm:8592128kB, anon-rss:4212345kB驗(yàn)證Linux OOM Killer因Container申請內(nèi)存超限8GB NodeManager上報(bào)的4GB而殺死了JVM進(jìn)程修復(fù)降低mapreduce.map.memory.mb至≤4096或提高yarn.nodemanager.resource.memory-mb這三個(gè)場景的共同啟示是分布式系統(tǒng)沒有“黑盒”。每一次kill、每一次rm、每一次dmesg都是對系統(tǒng)邊界的主動(dòng)探測。真正的掌控感來自你知道hdfs dfsadmin -report的輸出里哪一行代表心跳超時(shí)哪一行代表副本缺失哪一行代表正在修復(fù)。7. 我的配置文件管理心得用git diff代替記憶用ansible腳本代替重復(fù)最后分享一個(gè)血淚教訓(xùn)別信自己的記憶力。我曾因記錯(cuò)core-site.xml里fs.defaultFS的端口在三臺機(jī)器上手動(dòng)改了六次配置每次改完都要stop-dfs.sh start-dfs.sh耗時(shí)42分鐘。后來我建立了嚴(yán)格的配置管理流程7.1 所有配置文件納入Git版本控制在node1上初始化倉庫mkdir ~/hadoop-config cd ~/hadoop-config git init cp $HADOOP_HOME/etc/hadoop/*.xml . git add . git commit -m init config每次修改前先git status確認(rèn)無未提交變更修改后git diff清晰顯示改動(dòng)行如- valuehdfs://node1:8020/value→ valuehdfs://node1:9000/value提交時(shí)寫明原因git commit -m fix port mismatch: core-site.xml fs.defaultFS now matches dfs.namenode.rpc-address。這樣任何配置漂移都能在5秒內(nèi)定位。7.2 用Ansible批量同步配置編寫deploy.yml- hosts: hadoop_nodes become: yes tasks: - name: Copy core-site.xml copy: src: ./core-site.xml dest: /opt/hadoop/etc/hadoop/core-site.xml owner: hdfs group: hdfs mode: 0644 - name: Restart HDFS shell: /opt/hadoop/sbin/stop-dfs.sh /opt/hadoop/sbin/start-dfs.sh args: executable: /bin/bash when: inventory_hostname node1執(zhí)行ansible-playbook -i inventory deploy.yml三臺機(jī)器配置秒級同步。Inventory文件定義節(jié)點(diǎn)分組[hadoop_master] node1 ansible_host192.168.56.101 [hadoop_slaves] node2 ansible_host192.168.56.102 node3 ansible_host192.168.56.103 [hadoop_nodes:children] hadoop_master hadoop_slaves7.3 日志歸檔策略用logrotate防止磁盤爆滿/var/log/hadoop-*日志不壓縮會迅速占滿磁盤。在/etc/logrotate.d/hadoop中配置/var/log/hadoop-*/hadoop-*.log { daily missingok rotate 30 compress delaycompress notifempty create 644 hdfs hdfs sharedscripts postrotate if [ -f /var/run/hadoop-hdfs-namenode.pid ]; then kill -USR1 cat /var/run/hadoop-hdfs-namenode.pid fi endscript }postrotate段向NameNode發(fā)送USR1信號使其重新打開日志文件避免重啟服務(wù)。這些工具不是炫技而是把“分布式”從玄學(xué)拉回工程——當(dāng)你能用git blame查到某行配置是誰在何時(shí)為何修改當(dāng)你能用ansible --check預(yù)演配置變更的影響當(dāng)你能用logrotate -d /etc/logrotate.d/hadoop調(diào)試日志輪轉(zhuǎn)邏輯你就真正擁有了對這個(gè)系統(tǒng)的掌控權(quán)。它不再是一堆神秘的服務(wù)而是一套可審計(jì)、可預(yù)測、可修復(fù)的工程產(chǎn)物。我在實(shí)際使用中發(fā)現(xiàn)最有效的學(xué)習(xí)方式不是讀完所有文檔而是選定一個(gè)最小可行目標(biāo)比如讓W(xué)ordCount在三臺機(jī)器上跑通然后主動(dòng)制造故障、閱讀日志、修改配置、驗(yàn)證結(jié)果。每一次tail -f的等待每一次jps的確認(rèn)每一次hdfs fsck的掃描都在把抽象的“分布式”概念鍛造成指尖可觸的操作肌肉。這本筆記里沒有終極答案只有我親手踩過的坑、填過的坑、以及坑邊上插的警示牌——愿你在自己的集群里也能聽到那聲清脆的“?!?。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99热这里是精品| 精品一区二区三区免费毛片爱| www.AV在线| 另类图片婷婷五月天| 色婷婷亚洲婷婷| 五月天综合在线| www.久久久久久久| 婷婷五月天成人网| 婷婷99狠狠| 婷婷丁香视频在线观看免费 | AA丁香综合激情| 99热亚洲精品| 亚洲网视屏| 亚洲99综合| 色噜噜狠狠色综合网| 日韩99视频| 六月丁香色色| 播播网色播播| xxx综合在线| 99热伊人| 亚洲久久视频| 97大香蕉五月天| 五月丁香成人版| 欧美色男人网站| 久久99久久99精品免观看软件| 不卡的AV网站| 激情都市丁香婷婷| 亚洲妇女熟BBW| 天天色·欧美| 亚洲激情四射色| 五月熟妇婷婷久久| 丁香婷婷浪潮AV久久综合| 丁香六月婷婷姐网| 69久久99精品久久久久婷婷| 丁香五月六月综合激情| 99热精这里只有精品| 丁香性爱在线视频| 丁香五月婷婷五月| 婷婷五月大香蕉| 精品人人操| 亚洲激情亚洲激情| 五月天丁香久久综合 | 噼里啪啦在线观看免费完整版视频| 久久久久久久综合狠狠综合| 丁香五月花| 先锋av性爱成人电影| 免费一区二区三区| 中文字幕视频在线播放| 管管補管管紱| 婷婷99丁香| 26.uuu丁香五月婷婷| 婷婷成人AV| 97久久超碰| 婷婷丁香五月综合网| 极品人妻videosss人妻| 亚洲秘 无码一区二区三区妃光/1| 丁香六月婷婷色播| jiujiu无码五区| 专区无日本视频高清8| 日本五月婷婷久久久六月丁香| 无码免费人妻A片AAA毛片西瓜| 天天成人综合视频| 欧美久久网| 人妻操逼视频| 丁香五月冃欧美| 精品综合爱| www夜夜| 开心亚洲久久开心| 久9热插入| av在线观看网站| 色狠狠999综合网| 婷婷五月久久| 99热这里都是精品| 开心色播色五月婷婷| se.久久视频在线观看| 色婷婷久久综合| 色视频2025| 90色免费视频| 99热在线播放| 五月花综合视频| 久久aaaaa| 色九月| 狠狠色狠狠色综合日日91| 成人在线视频一区| 开心五月深爱五月婷| 97操碰人人| 5月丁香啪啪啪| 婷婷五月天色综合| 第四色婷婷日本| 国产成人综合亚洲| 99热精品在线播放| 亚洲成人五月天| 色狠狠综合| 色婷婷五月综合激情中文字幕| 99精品国产在热久久婷婷| 丁香五月天激情网址| 丁香五月玖玖| 一本久道综合色婷婷五月| 婷婷五月天综合蜜桃| 丁香五月激情五月色综合| 99热免费精品| 色五月婷婷五月丁香五月| 久99热在线观看| 国产乱妇无乱码大黄AA片| 五月天com| 欧美五月丁香啪啪响视频| 青青草伊人婷婷| 婷婷色播婷婷| 婷婷六月激情| 激情二色月| 99精品久久| 开心五月天激情| 黄色五月婷婷| AV网在线观看| 疯狂做受XXXX高潮A片| www999日韩精品| 色狠狠六月| 无码人妻激情| 久久一品区| 亚洲高清在线| 丁香色六月婷婷| 丁香五月乱中文字幕| 久久久久久久丁香五月天婷婷| 综合久久综合五月天婷婷| 五月婷婷激情综合网| 丁香婷婷五色月| 色综合激情| 色色色色色日韩午夜激情| 思思热99热| 综合五月天完整| 婷婷丁五月| 久久精品噜噜噜成人A∨色欲| 激情婷婷五月天| 九九亚洲综合| 狠狠综合网| 97激情五月天| 六月亚洲婷婷6月中文字幕| 久草a片| 激情五月天天| 天天揷综合网| 久热这里只有| 99热在线免费观看精品| 九九色影视| 正宗黄色毛片| 人人操人| 色五月丁香91| 99精品丁香五月| 99精品无码| 碰碰91| 开心婷婷五月| 操一操插一插| www.lingjunshare.com| 婷婷四色五月| 99久久综合精品五月天| 美女主播野战视步页| 新久久五月天激情| 九九热这里有精品视频| 天天狠狠婷婷在线| 欧美A级网站| 久久久久8888| 亚洲操女| 亚洲字幕AV一区二区三区四区| 99精品热| 久色网| 九九综合久久| 色香欲综合| 9久久久久久久久久久| 日婷婷| 五月天综合图片| 噜噜噜色噜噜| 亚洲综合狠狠艹| 9在线9在线婷婷在线国产| 99国产精品久久久久久久久久久| 少妇人妻丰满做爰XXX| 日本狠狠干| 思思热精品在线| 婷婷亚洲综合| 综合色色婷婷| 九色自拍| www.婷婷| 五月开心网| 天天狠天天叉| 丁香五月婷婷啪啪| 狠狠精品干练久久久无码中文字幕| 久99热| 丁香五月社区| 成人午夜天| 亚洲无码www| 亚洲第一黄网| 9人人操人人看| 色五月婷婷中文字幕| 九九婷婷网五月天| 国产真实乱对白精彩| 丁香五月激情图片婷婷| 欧美性色A片免费免费观看的| 91精品婷婷国产综合久久| 亚洲综合激情五月天婷婷| 五月丁香综合久久夜夜| 欧美性丁香色色五月天综合爱爱| 97伦色婷婷| 久久综合婷婷激情| 天堂在线婷婷| 五月天社区婷婷丁香社区| 久久综合五月| 99爱99操| 久99久视频| 五月大香蕉| 六月丁香婷| 五月婷婷激情综合在线| 久久99色色| 久久婷婷五月综合伊人| 夜色综合网| www.henhenl| 99热精品在线播放| 欧美韩国日本| 96色婷婷| 99自拍网| 丁香婷婷五月天色综合| 久久婷婷色五月| 十月色综合| 天天插综合网| 色婷婷丁香五月天| 成人国产欧美大片一区| 99cao婷婷| 狠狠色中色| 天天综合久久| 婷婷激情中文综合| 五月天婷a| 五月婷婷官网色| 五月婷婷狠狠干| 免费亚洲婷婷| 日本高清不卡免费一区二区三区| 99在线小视频| 亚洲AV日韩在线观看| se色综合网| 超碰com| www.25五月婷婷| 热久久国产视频| 99热一区| 综合激情五月天| 久久R激情| 玖玖99精品视频| 亚洲超碰在线| 在线综合婷婷| 综合伊人久久| 国产精品扒开腿做爽爽爽A片唱戏| 婷婷综合婷婷| 婷婷精品在线| 熟女激情网| 激情小说 五月天| 丁香五月香蕉| 激情小说五月天| 大香蕉AV电影在线| 久99热| 热久久66| 久久狼人天堂| 狠狠婷婷色综合| av最新在线| 免费视频舔| 99热在线观看这里只有精品| 九九色影视| 欧美激情五月天| 丁香青青五月天| 日韩成人免费电影| 91精品91久久久中77777久久玖玖九九| 天天插天天玩天天干| 久久久久久综合五月婷婷| 婷婷激情综合| 色欲色香综合网站| 日韩狠狠色婷婷| 亚洲色网址| 狠狠爱综合网| 97干视频在线| 九九机热| 天天干天天做| 免费人人操| 九九视频精品这里只有| 五月婷婷六月丁香玖玖玫瑰91| 天天射影院| 99久re热| 一区二区三区四区无码| 一级性爱视频| 日韩伊人大香蕉| aaaaaa片| 国产成人综合在线| 丁香婷婷影院| 六月婷婷色五月| 中文资源在线a| 福利视频在线播放| 婷婷五月情| 美英法精品无码免费视频| 天天日,天天插| www.一起草av| 91操操操| 六月激情网| 五月五月婷婷| 先锋av性爱成人电影| 99久久综合网| 4399在线观看免费毛片| 中文字幕AV网址| 五月丁香久久激情网| 亚洲色久| 精品99在线| 色丁香久久久| 大香蕉婷婷| 六月婷婷啪啪| 亚洲成人五月| 色综合婷婷99| 99综合| 五月天婷婷激情| 丁香五月av| 人妻激情在线| 久久久无码精品成人A片小说| 内射人妻视频国内| 色综合爽| 婷婷99狠狠躁天天躁| 人人97操| 精品久久66| 国产偷人爽久久久久久老妇APP| 97超级操操| 丁香八月综合激情| 欧美色五月| 亚洲av成人在线| 99re这里只有精品在线观看| 51精品国自产在线| 亚洲视频在线观看99| 爆乳熟妇一区二区三区爆乳照片| 伊人大香蕉在线视频| 99色1| 成人在线日韩| 深爱丁香网| 天堂中文国产| 婷婷天堂视频| 亚洲热热视频| 欧美性生交A片免费看| 九月色婷婷| 亚洲av成人在线| 五月天啪啪| 综合网网欲色| 欧美五月婷婷| 中文字幕成| 伊人网色婷婷五月天| 强辱丰满人妻HD中文字幕| 淫荡家庭AV| www,久久久| 色色色色区| 激情综合网五月激情| 九色在线五月婷婷网址| 天天操夜夜夜拍拍拍| 国产成人+综合亚洲+天堂| 九九色逼| 五月天大香蕉| 99热九九这里只有精品| www.五月.com| 婷婷五六月丁香| 九九無妻| 人人操Av| 日日夜夜天天| 丁香六月 人妻| 9999久久久久| 色婷婷五月网| 五月婷婷 自拍| 色丁香六月| 美女被肏网站在线看| 九九性视频| 国产亚洲成人综合| 久久综合中文字幕| 丁香成人五月天| 99色在线观看视频| 啪到高潮激情丁香五月| 五月丁香六月激情综合| 日韩婷婷| 五月婷伊人| 99热婷婷| 最新日韩久热免费视频看看| 熟女强人妻一区二区三区四区无| 少妇婷婷五月天| 五月天色丁香| 91婷婷丁香五月| 伊人久久大香蕉网| 亚洲无AV在线中文字幕| www.五月天婷婷姐姐| 97精品人人A片免费看| 99热99日…..| 99青青草99| 综合色五月| 五月婷婷婷色| 91超碰在线播放| 人人爽天天莫| 激情综合五月天| 五月天婷婷色小说| 停停六月 综合| 五月天国产| 丁香五月中文字幕| 国产成人精品一区二三区熟女在线| 亚洲 激情 中文| 五月天婷婷色播综合在线| 青青草原福利在线| 99热精品网| 色情丁香五月婷婷精品| 色婷婷精品小视频| 久月久在线视频| 激情综合丁香五月| 中文无码婷婷| 婷婷激情四射| 亚洲激情综合免费| 97人人做| 无码日本精品XXXXXXXXX | 久色五月| 婷婷综合亚洲| 图片区 小说区 区 亚洲五月| www.色擼擼.com| 伊人综合婷婷| 久久99综合| 伊人六月无码视频| 91VIP在线观看| 丁香五月开心亚洲| 综合xx网| 色婷婷色| 免费视频99| 欧美日本99| 欧美五月婷婷| 精品久久99码| 激情玖玖综合网| 成人av播放| 五月激情开心婷婷| 国产91九色| 九九热在线精品视频| 色五月丁香在线| 日本97在线视频| 婷婷导航| 免费观看的av| 米奇激情婷婷| 97干综合网| 天天干一干| 婷婷五月另类网站| 天天综合亚洲综合网天天αⅴ| 日本波多野结衣视频| 久久总和99| 久久婷五月综合色| 91九色中文| 狠狠干综合| 五月婷婷激情久久| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 色综合香蕉| 久久九九色| 激情小说视频图片网| 丁香五月91| 婷婷大香焦| 91色噜噜狠狠狠狠色综合| www.日日日.com| 殴美日韩成人| 国产美女无遮挡裸体毛片A片| 这里只有精品免费| 五月丁香综合久久| 久久精品91视频| 字幕网AV中文字幕| 888精品福利地址| 久久女人九九| 午夜无码熟熟妇丰满人妻 | wwwav大香蕉| 激情五月天影院| 97亚洲色 torrent magnet| 99欧美精品99日本精品| 色色免费网站| 成人丁香婷婷五月天| 亚洲人妻AV| 97操资源婷婷| 成人在线日韩| 久热欧美| 这里只有精品免费| 俺五月| 色99网站| 97热视频| 亚洲午夜一区二区| 欧美日本国产| 免费无码毛片一区二区A片 | 五月花成人网| 欧亚洲在线高清视频| 9精品一区| 99超超碰| 国产成人网站在线观看| 影音先锋噜一噜| 成人超碰Av| 99久热这里有精品| 99自拍视频| 啪啪色区| 成人一区在线观看| 又大又粗九一在线| 国产精品人人做人人爽人人添 | 五月天另类小说| 五月丁香网站在线播放| 丁香蜜臀黄色婷婷五月天| 久久最新色| 综久久久| 男人的天堂99| 国产乱轮一区二区三区| 中文字幕无线久必| 成人精品一区日本无码网| 日本一级特黄大片AAAAA级| 开心激情网在线| 热这里| 青青操绿aaa一区日v| AV在线观看网站| 9精品视频在线| 六月婷婷操逼| 97成人视频| 午夜精品人妻无码一区二区三区| 丁香色色网| 天天干天天操天天拍| 91人人操人人爱| 激情影院丁香五月| 六月婷婷开心| 婷婷五月天激情五月天| 色久婷婷网| 国产99美少妇| 一本久道综合色婷婷五月| 日韩高清成人| 亚洲性爱电影| 久久狠狠干| 婷五月天丁香婷五月| 婷婷成人基地| 欧美69久成人做爰视频| 丰满少妇猛烈A片免费看观看| 99爱这里只有精品免费视频| 99超级碰免费视频| 91久久久久久| 婷婷亚洲综合| 色色色色色色网站| 五月亭亭开心网| 激情五月婷婷五月| 五月婷婷六月天| 色色亚洲五月天| 亚洲免费婷婷| 狠狠狠狠狠操| 西瓜美女a片| 亚洲人妻一区二区 | 午夜精品777| 国产五月天激情小说| 中文字幕在线不卡| 伊人91| 九九五月天| 色五月天激情| 狠狠色五月激情| 亚洲第一色色色色| 色婷婷色五月丁香| 天天操天天草天天草天天| www.ppypp| 开心五月网 | 丁香五月激情五月| 亚洲色无码A片一区二区麻豆| 免费看欧美成人A片无码| 超碰在线观看三级片| 久久ri精品| 亚洲V国产V欧美V久久久久久| 亚洲亚洲人成综合网络| 99热人人艹| 教师性爱毛片| 在线超碰91| 99色.com| 91天天操天天干天天射| 天天做天天爱天天日| 亚洲色欲欧美一区二区三区| 日本五月视频| 婷婷五月激情的图片| 国产免费一区二区三区三州老师F1F1.CC| 色在线99| 26uuu成人网| .精品久久久麻豆国产精品| 色狠狠色综合久久久绯色aⅴ影视| 中文字幕网伦射乱中文| 九九美女视频| 亚洲熟女乱色综合亚洲网站| 色婷婷综合网站| 色色五月天激情| 情欲综合网| 亚洲色婷婷视频| 天天做天天爱天天玩| 人人干人人看| 九九色婷婷| 五月婷婷激情综合| 超碰无码老师| 伊人激情综合网| 午夜理论片最新午夜理论剧| 99日韩网站| 色情五月综合婷婷| 婷婷五月天色播| 人妻丰满精品一区二区A片| 9久热视频| 91久久精品无码一区二区三区| 久久婷婷六月综合| 五月综合婷婷久久在线| 99成人在线观看| 五月天激情图片| 婷婷97狠狠成人网站| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 五月婷婷电影院| 人妻中文字幕网| 亚洲五月天,激情视频| 色色色在线免费视频| 17.c黄色| 99久久99九九99九九九| 精品少妇人妻AV无码专区偷人| 国产a视频| 久久婷网| 先锋av性爱成人电影| 夜夜撸日日操| 婷婷六月天| 欧美色偷偷大香| 操人无码| 五月婷婷欧美激情| 五月天色色色| 日韩99无码| 婷婷五月丁香综合| 亚洲激情网站| 婷婷色九月| 日韩欧美不卡| 色呦呦免费观看| 思思视频精品| 九色七七| 91婷婷视频| 亚洲欧美婷婷五月色综合| 这里只有精品在线免费视频| 九九色热| 综合网网欲色| 琪琪秋霞| 日韩成人电影在线播放| 色综合久久久综合久久网| 婷婷丁香97| 亚洲激情五月丁香久久久久| 日本一道久久| 成人 AV播放| 婷婷涩五月| 天天干天天爽天天操| 亚洲色视频| 日本少妇AA一级特黄大片| 亚洲激情免费久久| 婷婷久久丁香五月| wuyuedingxiang| 99er精品| 超碰色综合| 久草婷妨| 99高级会所久久| 久婷婷色| 五月丁香天堂| 色婷婷色久综| 五月丁香激情四射| 婷婷日本在线| 深爱激情四射| 日本三级韩三级99久久| 久操大屁股女人av| 99热大片| 婷婷五月天久久| 色综合网页| 五月丁香婷婷福利| 成人婷婷| 亚洲第二AV| 天天日狠狠| 91丨九色丨东北熟女| 99热在线看片| 天天操天天操天天操天天操天天操天天操| 99超级碰免费视频| 天堂中文国产| 久久婷婷五月天蜜桃| 成人 在线观看国产| 五月天色图| 亚洲最大五月六月丁香婷婷| 99在线小视频| 久久在这里99| 91九色精品| 九九综合五月欧美| 五月天婷婷开心| 五月天开心网| 亚洲成人网站在线观看| 婷婷五月天播播| 亚洲五月六月婷婷| 五月丁香综合伦理片| 99婷婷| 强伦轩人妻一区二区电影| AV操操操| 日本A片一区| 久久最新色色色| 色丁香五月婷婷| 九九综合网色全集| 天天影院色| 97人人操人人插| 天天摸日日舔狠狠添婷婷婷| 成人片黄网站色大片免费毛片| 免费AAAAA网| 99超级碰免费视频| 97色片| 99久久www| 丁香五月开心亚洲| 五月天亚洲综合网| 岛国资源站| 丁香五月激情综合啪啪| 202丰满熟女妇大| 日夜操B| 大香蕉啪啪| 影视av久久久噜噜噜噜噜三级| 成人免费在线电影| 9 99免费视频| 91操在线视频| 久久久99免费视频| 夜夜谢天天干| 99久高清视频| 日日综合网| 五月婷婷亚洲综合在线| 婷婷五月丁香在线视频| 丁香香蕉婷婷| 亚洲激情97五月天| 中文字幕成人日韩| 91成人性爱视频| 丁香五月婷婷亚洲激情四射| 久热这里| 国产.亚洲.欧洲视频在线| 色色网站在线| 五月激情婷婷国产精品久久久久久| 开心婷婷中文字幕| 色综合香蕉| 可以免费看AV网站| 婷婷五月色花丁香社区| 99亚州综合精品成人网| www.91婷婷| 日本99视频| 天天做天天爱天天日| 日本精品久久久久中文字幕| 五月开心啪啪| 超碰婷婷五月| 婷婷五月亚洲一本在线丁香| 婷婷五月欧美| 国产VA亚洲VA96| 婷婷综合久久综合| 久久黄色片| 超碰人人99| 91九色国产| 亚洲性天天| 国产人妻777人伦精品HD| www.狠狠狠.com| 丁香五月天大香蕉啪啪| 99视频热| 激情骚五月| 亚洲精品视频电影| 色色色国产| 超碰人人操人人干| 色色综合无码| 国产精品第一国产精品| 婷婷五月久久| 丁香婷婷五月综合欧美另类| 日本九九视频| www.婷婷网| 九月婷婷在线视频| 六月丁香五月婷婷| 六月色婷婷色| 超碰在线50| 亚亚州久久高潮| 成人在线日韩欧美| 色五月婷婷五月| 五月丁香色色综合| 丁香五月 性爱| 五月婷婷天天| 五月婷婷欧美| 国产做爰视频免费播放| 亚洲国产精品VA在线看黑人| 久久草大香蕉| 三人荫蒂添的好舒服A片| 99re热视频这里只精品5| 九九re精品视频在线观看| 99热18| www.色色色色| 任你日视频| 99久久极情精品一区| 操日本人妻视频| 婷婷丁香综合| 五月丁香综合在线| 99在线国| 欧美色色色色色色色| 欧美顶级少妇做爰HD| 五月丁香六月欧美综合网站| 国产精品久久99| 好叼操在线观看| 97热在线精品| 久久狠色噜噜狠狠狠狠97| 综合一啪| 99在线精品观看99| 99视频只有这里精品| 九色婷婷| 91综合网| 五月天伊人| 日日噜噜夜夜狠狠久久丁香五月| 青青操绿aaa一区日v| 丁香六月色| 北京熟妇搡BBBB搡BBBB| 婷婷五月天小说| 99re思思在线视频| 婷婷色基地在线看 | 色色色色综合网| 这里只有精品在线视频在线观看| 五月丁香激情五月天| 3DAV亚洲香蕉久久 一区二区| 婷婷五月丁香六月| 五月婷婷六月丁香在线| 婷婷五月丁香高清无码| av国产精品偷| 丁香五月成人| 99热欧| 婷婷终合色图| 综合六月久久| 九九热在线视频观看| 五月激情综合美女久久| 婷婷伊人激情婷婷| w婷婷五月婷婷w| 亚洲岛国电影| 国产精品电影| 婷婷五月天综合网| 亚洲性图一区二区| 99这里有精品久久97| 99ri视频在线播放| www.ywav| 亚洲精品又粗又大又爽A片| www.91.com黄| 精a品a| 99秘 在线| 日本色频| 久久婷婷内射| 99干免费视频| 国产精品人成A片一区二区| A片一曲| 婷婷六月激情| 天天日天天操天天干| 亚洲、欧美、国产另类笫二区| 97操碰日本女人| 日韩丰满少妇无码内射| 亚洲激情五月天| 玖玖婷婷色五月| 99亚洲色色| 五月丁香久久综合精品| 色五月婷婷在线| 天堂va久久久噜噜噜久久Va| 内射在线CHINESE| 免费观看的av| 欧洲不卡视频| www.婷婷| jizzdr| www色中色综合| 国产夫妻操逼内射视频| 99热九九这里只有精品| w婷婷五月婷婷w| 日韩精品99久久| 亚洲美女裸体被操在线观看| 无码激情AAAAA片-区区| 色播丁香| 婷婷丁香人妻天天爽| 婷婷99视频精品| 五月丁香六月激情在线| 99热在线观看免费| 久热视频这里只有精品68| 五月开心婷婷极品激情| 色色色99| 五月天色综合| 性高潮久久久久久-九九九九九九九九九九热-成人AV| 久久久久视剧HD| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 婷婷五月 丁香六月| 综合久久婷婷| 色色免费网站| 91亚洲免费片| 丁香婷婷综合色五月激情国产基地| 另类五月激情| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 99综合视频| 丁香五月激情视频在线| 色婷丁香五月| 亚洲激情综合色站| 久思思热视频在线观看| 丁香五月天堂网| 黄网免费观看| 影音先锋色婷婷| A片一曲| A片一曲| 久久综合爱| 91久久久久久久| 日本久久99| 五月婷婷六月丁香| 亚洲成人综合在线| 欧美日本VA| 激情综合五月| 婷五月丁香俺| 五月噜噜噜色综合| 天堂婷婷五月在线| 亚洲成人色五月婷婷综合| 国产色色网址网站| 婷婷丁香五月天欧美| 五月天六月天| 97色伦另类图片小说视频 | 欧美精品中文字幕亚洲专区| 日产精品久久久久久久蜜臀| 成人无码髙潮喷水A片| 四川BBB搡BBB爽爽视频| 伊久大香蕉| 2050人人操免费工开爱| 色伊人91在线视频| 狠狠色噜噜狠| 五月天婷婷网站| 丁香五月婷婷五月基地| 成人精品视频99在线观看免费| 亚洲精品无码一区二区| enecarbon-materials.com污K127封锁请涟系@wip1688 | 天天舔日日肏夜夜爽| 亚洲传媒在线观看| 精品人妻伦一二三区久久| 激情五月婷婷| 亚洲精品久久久无码| 最近中文字幕2019视频1| 电影91久久久| 亚洲三A| 五月刺激丁香月综合| 爱狠射| 先锋资源婷婷| 激情黄色小说色五月| 激情综合网五月在线播放| 久久婷婷国产| 五月天色图| 月婷婷亚洲| 99re这里只有精品首页| 欧美人人草| 丁香激情五月| 五月天激情小说| 婷婷五月天激情网| www久久久久久久久久久久久久久久久| 激情文学 综合 九月| 久99久视频免费观看| 欧美色婷婷| 五月天色婷婷小说| 婷色成人| 五月丁香婷婷激情澎湃四射| 久久激情五月| 97色色色色色| 男人操女人高潮91视频| 五月天久草| AV在线观看网站| 婷婷五月 丁香六月| 日撸夜撸日操| 1区2区视频| 丁香五月激情网| 九月丁香久久网| 9久久精品视频| 在线观看亚洲视频影院| 婷婷六月丁香激情| 2025天天爽天天摸| 五月天激情久久| AA丁香综合激情| 99热99艹在线观看| 久xxxx| 九九视频免费| 天天做天天爱天天玩夜夜爽| 人妻激情在线| 无码人妻少妇色欲AV一区二区| 久久密臀婷婷| 五月天丁香综合| 深爱激情五月天色婷婷| 丁香色五月天| www五月| 色色色九九九五月婷婷| 日韩日比视频| 婷婷丁香五月久久| 夜夜骑天天操| 亚洲精品视频在线播放| 免费日本aⅴ中文字幕| 色色色婷婷五月| 伊人六月丁香婷婷| 日韩综合久| 国产亚洲精品久久久久久牛牛| 欧美六月婷婷| 九九九精品视频免费观看| 97婷婷五月天| 超碰免费在线| 丁香深五月婷婷| 婷婷激情性爱| 久久在线人妻| 久久香蕉影院| 99视频综合| 草草操操| 天天天天色天天天天天干| 淫视馆aV二区一区| 婷婷酒色网| 欧美日本综合网| www.夜夜操.com| 年轻的妺妺伦理HD中文| 日韩国产AV播放| 99在线精品观看99| 操操操AV| 久久女婷| 99碰视频| 丁香五月婷婷天| 9999三级片| 精品九九九久| 色色婷婷五月| 天天色综网| 九九伊人网| 综合色网站| 亚洲激情色色| 五月天亭亭俺也| 人人操人人看97干| 夜夜做天天爽| 二色av| 超碰在线观看caop| 深爱网深爱综合网| 五月丁香大相交| 性色九九| 夜夜涩涩涩| 人人综合久| www.婷婷久久五月天| 五月婷丁香花| 五月天天久久香| 热日韩欧美| www.主妇. com| 婷婷婷久久久| 秋霞少妇AV网站| 久9热视频在线观看| 久久成人精品视频| 超碰91在线| 亚洲性爱电影| 激情深爱综合网| 国产精品久久久爽爽爽麻豆色哟哟| 另类视频综合| 婷婷五月天成人网| www...com黄在线观看| AV天堂淫乩| 超碰免费成人| 中文字幕五月久久婷婷| 色青五月天| 久青草影院| 五月婷婷丁香啪啪| 九九精品在线观看视频6| 国产精品18久久久| 丁香综合婷婷开心激情网| 五月天淫乱视频| 涩丁香91| 99视频在线观看视频| 日本三级韩三级99久久| 黄色AV日韩| 综合网激情| 涩婷婷视频快播人妻| 97精品综合| 欧美日韩成人在线网| 好叼操在线观看| 亚洲AAA| 99精色| 99九九精品视频| 精品人妻伦一二三区久久| 色色色色色九九九九九| 激情狠狠丁香月| 91久热| www.超碰| 国产激情综合五月久久| 五月天激情久久| 四月婷婷五月丁香| 久久丁香综合香蕉| 婷婷五月天激情在线观看| 五月天综合| 97人人草| 成人精品在线观看| 另类精品视频在线观看| 成人视频在线免费播放| 色五月婷婷AV| 六九色综合婷婷五月天| 大香蕉网 久久| 婷婷五月天激情网址| 丁香六月婷婷| 日韩另类| 色婷婷影视| 一级黄色影片| 97人人干| 思思热天天看| 99热在线精品观看| 天天综合情| 大香蕉久| 婷婷丁香在线| 久久婷婷六月综合| 中文字幕在线不卡| 婷婷视频网| 伊人干综合| 亚洲a色| 综合激情五月四射婷婷| 久久性爱视频| 99色最新在线视频| 裸睡玩奶头(高H)| 色五月激情五月丁香五月婷婷啪啪综合 | 久久九九爽| 日韩成人av在线| 91超级碰| 日狠狠| 色五月成人婷婷| 天天做天天爱天天高潮| 婷婷五月天激情综合| 热91久| 热99热9| 激情综合另类| 天天爽天天| 日本97在线视频| 婷婷六月啪啪| 成人永久免费视频在线观看| 九九亚洲综合| 天天爽在线视频| 九九成人| 深爱激情久久| WWW久久99久久99久久| 五月婷婷婷| 91热视频色网站| 久久综合性| 欧美日韩一a.无| 极品少妇XXXX精品少妇偷拍| 婷婷色系婷色| 91干99| 丁香 亚洲 久久| 婷婷在线精品| 丁香九月婷婷| 欧美熟女乱又伦| 日本nghangse中文字幕| 吉澤明步Av一區二區| 人妻Av在线| 色色综合激情| 五月丁香综合啪啪| 婷婷综合激情| 五月熟妇婷婷久久| 欧美A片在线视频免费观看| 五月婷视屏在线观看| www.五月天婷婷| 激情五月天社区| 九九一综合精品| av五月丁香婷婷网| 99re在线精品视频| 久这里只有精品99| BBWCUCKOLD精品熟妇| 五月综合六月丁| 狠狠草网| 翔田千里 50岁 无码| 六月丁香五月激情亚洲AV| 欧美人与性动交CCOO| 狠狠草综合网| 九九人人自拍| 婷婷五月色情天| 久久五月天精品视频| 亚洲成人影视在线| 热热久久99| www.91在线观看| 国产成人99久久亚洲综合精品| 丁香色啪综合| 91碰九色| av大香蕉| 激情五月婷婷中文字幕| 激情五月天婷婷视频| 风流少妇A片一区二区蜜桃 | 99热综合在线| eeuus五月婷| 影音先锋男人女人| 五月天精品| 亚洲中文丁香| 91九九九色在| 成人在线视频一区| 五月婷婷六月丁香| 久久综合99| 天天操天天操天天操天天操天天操天天操| 中文字幕,综合,91| 开心五月色婷婷综合开心网| 婷婷亚洲欧美丁香五月| 婷婷五月天激情综合| 图片区 小说区 区 亚洲五月| 九九精品视频在线观看| 五月婷婷六月激情| 天天爽日日爽夜夜爽| 超碰免费人人| 综合久久十三| 久久9久| 深爱激情网噜噜色| 97在线刺激| 日韩黄色影院| 精品色色| 天天在线久久综合 | 激情久久丁香| 五月丁香啪| 26UUU精品一区二区Com| 激情四射婷婷| 婷色天堂| 天天久久狠狠色综合| 99爱免费在线视频| 五月天激情图片| 狠狠色综合图片| www.minyis.com【JT】实力收量可预付QQ2101460746 | 超碰人人干| 婷婷丁香综合| 亚洲第二AV| 九九成人| 99久久www| 99.色| 五月丁香啪| www99xxxx五月丁| 国产日韩欧美| 亚洲va成人va成人va在线观看| 五月丁香香蕉| 亚洲激情六月丁香| 五月婷婷激情网| 涩五月婷婷| 丁香五月综合福利视频导航| 天天操婷婷| 久久玖玖综合| 色五月婷婷丁香国产在线| 亭亭玉月丁香| 影音先锋男人女人| 啪啪操超碰| 丁香婷婷伊人| 亚洲小视频免费看| 69人人操人人爽| 五月丁香综合激情| 国产精品成人AV在线| 丁香五月中文字幕久色| 大香蕉五月丁香| 天花AV无码| 国产日产亚洲系列最新| 人人操插| a69在线视频| 婷婷网影院| 亚洲黄网在线| 精品一二三区久久AAA片| 99在线免费观看| 99热成人在线观看| 综合久久婷婷五月丁香| 久久99免费视屏| 99在线精品免费视频| 色综合色五月| 天天爽天天摸天天爱| 秋霞簧片| 精品网站:999WWW| 色综合婷婷99| 伊人综合网站| 九九热这里| 激情五月天综合网| 99热99干| 色色亚洲无码| 九九aV| 久久精品系列| 日韩三级视频一区二区| 色欧美一级| 色色色网站| 欧美婷婷五月丁香| 色婷婷88| 色五月丁香五月| wwwxxx五月婷婷小说| 久久综合热17c| 综合大香蕉| 97色97干| 人人搡人人| 无码人妻一区二区一牛影视| 一区二区成人电影免费播放| 亚洲色另类| 激情小说五月天| 欧美婷婷日本| 五月丁香影视| 五月丁香激情婷婷| 色五月成人在线| 99色播| 另类图片激情五月天| 色欲Av五月天| 888精品福利地址| 99免费成人网|