欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Hadoop+MapReduce+HBase離線日志分析集群搭建實戰(zhàn)

Hadoop+MapReduce+HBase離線日志分析集群搭建實戰(zhàn) 最近有個項目要做離線日志分析和實時查詢數(shù)據(jù)量不大但增長很快我們最后選擇了CentOS 8.1 Hadoop MapReduce HBase這套組合。這套方案最直接的優(yōu)勢在于Hadoop負(fù)責(zé)海量文件的分布式存儲MapReduce處理批量計算HBase承接最終結(jié)果的高效查詢各司其職又天然配套。這篇文章就復(fù)現(xiàn)一下當(dāng)時從零搭建環(huán)境、跑通全流程的完整過程適合剛接觸大數(shù)據(jù)生態(tài)、或者準(zhǔn)備在本地/測試環(huán)境構(gòu)建這套技術(shù)棧的讀者參考。為了避免紙上談兵我會先講清楚技術(shù)選型的判斷邏輯再逐步拆解三節(jié)點集群的環(huán)境初始化、Hadoop核心配置、HBase與Hadoop的集成要點最后用一個可復(fù)現(xiàn)的離線訂單統(tǒng)計Demo串聯(lián)MapReduce讀寫HBase的代碼鏈路。整個過程盡量落在具體命令和參數(shù)上也會把踩過的坑原樣交代出來。1. 為什么選CentOS 8.1HadoopHBase從業(yè)務(wù)需求反推技術(shù)棧1.1 業(yè)務(wù)場景倒逼出的存儲與計算架構(gòu)先說背景。我們接到的任務(wù)是處理某智能硬件每日產(chǎn)生的設(shè)備上報日志單日數(shù)據(jù)量在2000萬條左右原始文件以JSON格式落盤總量約15GB。需求有兩層一是定期把這些日志做清洗、聚合算出一系列統(tǒng)計指標(biāo)二是運營后臺要能按設(shè)備ID或時間范圍快速查出明細(xì)。針對這類場景我首先排除掉傳統(tǒng)關(guān)系型數(shù)據(jù)庫。按單日2000萬條來算一個月就是6億行MySQL即使分庫分表也扛不住這種寫入壓力更別說后臺還要求毫秒級的在線查詢。于是存儲層選擇了HBase理由很實際它天生支持稀疏寬表rowkey設(shè)計得當(dāng)就能讓查詢直接命中某個Region不需要像Hive那樣啟動一個大任務(wù)去掃全表同時它可以建立在HDFS之上直接復(fù)用Hadoop的副本機制不用額外維護一套持久化鏈路。計算層選MapReduce是因為這個項目對實時性沒有過高要求統(tǒng)計任務(wù)在每天凌晨跑一次T1出結(jié)果完全能接受。MapReduce雖被人詬病“笨重”但在這類離線批處理上是極其穩(wěn)定的提交一個作業(yè)YARN負(fù)責(zé)分配資源任務(wù)失敗自動重試不需要額外部署Spark之類的計算引擎。考慮到團隊后續(xù)還打算引入Hive做SQL化分析Hadoop這套底層更是繞不開的依賴。1.2 版本選擇與兼容性這道坎版本組合必須提前定死否則后面全是淚。我經(jīng)過踩坑后固定下來的版本是CentOS 8.1 JDK 1.88u212 Hadoop 3.2.4 HBase 2.4.17 ZooKeeper 3.6.3。有人可能問CentOS 8.1已經(jīng)停止維護了為什么還要選它。這里有個現(xiàn)實原因項目現(xiàn)場那批服務(wù)器出廠預(yù)裝的就是8.1且業(yè)務(wù)方短期沒有遷移計劃。如果你是從零規(guī)劃用CentOS 7.9或Rocky Linux完全沒問題本文的部署命令除了yum源細(xì)節(jié)外基本通用。兼容性上特別注意兩點Hadoop 3.2.x系列官方支持JDK 8必須避開JDK 11因為Hadoop 3.2雖然能在JDK 11上啟動但很多第三方插件會發(fā)現(xiàn)ClassNotFound或SecurityManager異常HBase 2.4.x官方兼容矩陣?yán)锩鞔_列出的Hadoop版本是3.2.x如果你硬要配Hadoop 3.3.x很可能在HBase Master啟動時碰到protobuf版本沖突。組件版本備注操作系統(tǒng)CentOS 8.1內(nèi)核4.18若生產(chǎn)環(huán)境建議7.9或更新替代版JDK1.8.0_212不要用JDK 11跑Hadoop 3.2Hadoop3.2.4含HDFS和YARN計算層用MRHBase2.4.17與Hadoop 3.2.x官方兼容ZooKeeper3.6.3用于HBase協(xié)調(diào)生產(chǎn)必須獨立部署部署方式三節(jié)點1臺Master 2臺Worker2. 三節(jié)點集群環(huán)境初始化那些不寫進官方文檔的細(xì)節(jié)2.1 主機規(guī)劃與SSH免密登錄配置我這邊準(zhǔn)備了3臺虛擬機每臺分配4核CPU、8GB內(nèi)存、100GB磁盤。主機名分別規(guī)劃為node01、node02、node03其中node01跑NameNode、ResourceManager、HMasternode02和node03作為DataNode和RegionServer。ZooKeeper三臺都放一份構(gòu)成3節(jié)點ZooKeeper集群。開始部署前先把每臺機器的hostname和/etc/hosts整明白這個環(huán)節(jié)出問題會導(dǎo)致后面HBase RegionServer注冊不上我第7節(jié)會專門講。hostnamectl set-hostname node01 cat /etc/hosts EOF 192.168.10.11 node01 192.168.10.12 node02 192.168.10.13 node03 EOFSSH免密登錄是啟動Hadoop腳本的硬前提否則每次啟動都得輸密碼。我在node01上執(zhí)行ssh-keygen -t rsa -P -f ~/.ssh/id_rsa ssh-copy-id node01 ssh-copy-id node02 ssh-copy-id node03注意Hadoop部分命令是通過rpc遠(yuǎn)程調(diào)用執(zhí)行的所以node01必須能免密登錄到所有節(jié)點。HBase啟動時也會經(jīng)由Master去SSH到各臺RegionServer拉起進程這個權(quán)限同樣需要提前打通。2.2 JDK安裝與系統(tǒng)參數(shù)調(diào)整Hadoop 3.x對系統(tǒng)的要求比舊版嚴(yán)格文件句柄打開數(shù)和進程數(shù)必須改否則運行一段時間后DataNode會報“Too many open files”。我用root用戶完成以下配置yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel cat /etc/security/limits.conf EOF * soft nofile 65536 * hard nofile 131072 * soft nproc 65536 * hard nproc 131072 EOF同時三臺機器都執(zhí)行關(guān)閉防火墻和SELinux。很多初學(xué)者跳過這步然后發(fā)現(xiàn)9000端口、16010端口對外不通排查半天方向完全錯了systemctl stop firewalld systemctl disable firewalld sed -i s/^SELINUX.*/SELINUXdisabled/ /etc/selinux/config setenforce 0時間同步是另一個大坑。HBase的RegionServer非常依賴集群時鐘一致如果節(jié)點間時間偏差超過30秒HBase Master會把RegionServer直接踢下線。我這里用最簡單的方式配置NTP指向一臺內(nèi)網(wǎng)時間源yum install -y chrony sed -i 3,6s/^pool/server 192.168.10.1 iburst/ /etc/chrony.conf sed -i s/^pool.*/# pool./ /etc/chrony.conf systemctl restart chronyd chronyc sources -v2.3 軟件包目錄規(guī)劃與環(huán)境變量統(tǒng)一Hadoop和HBase都解壓在/opt目錄下通過軟鏈指向具體版本這樣后續(xù)升級版本不用改一大堆配置。我按自己的習(xí)慣創(chuàng)建了如下布局/opt/hadoop-3.2.4 - /opt/hadoop /opt/hbase-2.4.17 - /opt/hbase /opt/zookeeper-3.6.3 - /opt/zookeeper環(huán)境變量統(tǒng)一寫入/etc/profile.d/bigdata.sh讓所有節(jié)點加載同一份內(nèi)容export JAVA_HOME/usr/lib/jvm/java-1.8.0-openjdk export HADOOP_HOME/opt/hadoop export HBASE_HOME/opt/hbase export ZOOKEEPER_HOME/opt/zookeeper export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin這里有個建議不要用root用戶運行大數(shù)據(jù)組件因為Hadoop在安全檢查上對root有額外限制。我創(chuàng)建了一個hadoop用戶把/opt/hadoop、/opt/hbase、/opt/zookeeper三目錄的屬主都改到該用戶下后續(xù)所有啟停操作都切到這個用戶執(zhí)行。3. Hadoop核心配置逐項拆解不只是照抄官方模板3.1 core-site.xml與hdfs-site.xml的關(guān)鍵參數(shù)Hadoop部署最忌諱拿一個模板到處拷貝卻不理解每個參數(shù)的含義。我這份配置是在排掉三個不同問題后最終定稿的。core-site.xml里最關(guān)鍵的是fs.defaultFS它決定了整個集群的“根文件系統(tǒng)”指向哪里。我設(shè)置為hdfs://node01:9000后面的9000是NameNode RPC端口。hadoop.tmp.dir則指定了HDFS元數(shù)據(jù)等臨時文件的存放路徑獨立掛載的磁盤比系統(tǒng)盤更穩(wěn)妥configuration property namefs.defaultFS/name valuehdfs://node01:9000/value /property property namehadoop.tmp.dir/name value/data/hadoop/tmp/value /property /configurationhdfs-site.xml這里重點配置了三項副本數(shù)、NameNode元數(shù)據(jù)目錄、DataNode數(shù)據(jù)目錄。由于節(jié)點數(shù)只有3我設(shè)置dfs.replication為2既保證容錯又節(jié)省一半存儲若數(shù)據(jù)重要程度高保持默認(rèn)的3也不是問題configuration property namedfs.replication/name value2/value /property property namedfs.namenode.name.dir/name valuefile:///data/hadoop/namenode/value /property property namedfs.datanode.data.dir/name valuefile:///data/hadoop/datanode/value /property property namedfs.namenode.handler.count/name value100/value /property /configurationdfs.namenode.handler.count這項容易被忽略并發(fā)請求一多NameNode會成為瓶頸。經(jīng)驗值上4核機器配100足夠線程過多反而加大上下文切換開銷。3.2 YARN資源削峰小內(nèi)存機器的保命配置Hadoop 3.2.4的默認(rèn)配置是按大內(nèi)存機器設(shè)計的ResourceManager默認(rèn)會為每個容器分配很大的內(nèi)存如果你直接在小內(nèi)存機器上提交任務(wù)會看到作業(yè)無限期pending。我在這臺8GB內(nèi)存的節(jié)點上做了如下收斂configuration property nameyarn.nodemanager.resource.memory-mb/name value6144/value /property property nameyarn.nodemanager.resource.cpu-vcores/name value4/value /property property nameyarn.scheduler.minimum-allocation-mb/name value1024/value /property property nameyarn.scheduler.maximum-allocation-mb/name value3072/value /property /configuration這里計算邏輯是系統(tǒng)自身占用約1.5GBZooKeeper和HBase還需要各自預(yù)留內(nèi)存真正能分給YARN的只有6GB左右。maximum-allocation-mb設(shè)得比剛提交的MR任務(wù)所需更大同時minimum設(shè)為1GB避免小任務(wù)也要湊出一個大容器。3.3 格式化NameNode與安全模式處置首次啟動HDFS前必須格式化NameNode這一步會在namenode目錄生成fsimage。格式化命令要注意只需在node01執(zhí)行一次執(zhí)行前確認(rèn)core-site.xml和hdfs-site.xml已經(jīng)分發(fā)到所有節(jié)點hdfs namenode -format格式化完成后在node01上執(zhí)行start-dfs.sh在node02和node03執(zhí)行start-yarn.sh。為什么分開因為我們把ResourceManager放在了node01但NodeManager需要在每個節(jié)點拉起。配置文件里通過yarn-site.xml的yarn.resourcemanager.hostname指定node01。啟動后第一件事不是急著看日志而是確認(rèn)HDFS狀態(tài)退出安全模式。安全模式是HDFS啟動后自動進入的保護期此間不允許寫數(shù)據(jù)只能等待各DataNode上報塊信息hdfs dfsadmin -safemode get hdfs dfsadmin -safemode leave hdfs dfsadmin -report如果report里顯示的Live datanode數(shù)量小于3多半是DataNode沒起來或者被防火墻擋了。一個比較隱蔽的原因是DataNode進程起來后遇到磁盤空間不足主動退出這時候datanode日志會顯示“Data volume failed”字樣我第7節(jié)會專門復(fù)盤。4. HBase集成Hadoop的版本兼容與參數(shù)調(diào)優(yōu)4.1 為什么非要獨立ZooKeeperHBase的HMasia正常情況下需要ZooKeeper來協(xié)調(diào)RegionServer與Master之間的心跳以及保存meta表的位置信息。HBase內(nèi)置ZooKeeper在開發(fā)環(huán)境圖省事可以直接啟用但生產(chǎn)環(huán)境三節(jié)點的集群我選擇獨立部署ZooKeeper否則一旦HBase一停ZooKeeper也跟著沒了后續(xù)想用HBASE自帶工具排查問題非常別扭。ZooKeeper的配置文件zoo.cfg里只改三個地方dataDir、clientPort、server列表。dataDir建議放在獨立磁盤server.1、server.2、server.3必須與三臺機器對應(yīng)每臺機器都要創(chuàng)建myid文件并寫入對應(yīng)數(shù)字。dataDir/data/zookeeper server.1node01:2888:3888 server.2node02:2888:3888 server.3node03:2888:3888ZooKeeper啟動順序也有講究三臺各自執(zhí)行zkServer.sh start后用zkServer.sh status確認(rèn)其中一臺leader、兩臺follower任何一個節(jié)點狀態(tài)為standalone都是沒搭成功。4.2 hbase-site.xml里容易被誤解的配置項HBase集成Hadoop的核心配置有四個維度rootdir、zookeeper地址、RegionServer相關(guān)調(diào)優(yōu)、以及容錯參數(shù)。我貼一版實際穩(wěn)定運行很久的配置configuration property namehbase.rootdir/name valuehdfs://node01:9000/hbase/value /property property namehbase.cluster.distributed/name valuetrue/value /property property namehbase.zookeeper.quorum/name valuenode01,node02,node03/value /property property namehbase.zookeeper.property.clientPort/name value2181/value /property property namehbase.regionserver.handler.count/name value30/value /property property namehbase.hregion.memstore.flush.size/name value134217728/value /property property namehbase.client.write.buffer/name value8388608/value /property /configurationhbase.rootdir必須帶上完整的HDFS路徑不要只寫到node01:9000這一層否則HBase會試圖把表數(shù)據(jù)寫到根路徑下與HDFS的目錄結(jié)構(gòu)混淆。hbase.cluster.distributed必須設(shè)為true否則HBase認(rèn)為你是單機模式根本不會往HDFS寫數(shù)據(jù)。hbase.regionserver.handler.count可以直接理解為RegionServer同時能處理的RPC請求數(shù)這個值設(shè)得太大沒什么意義因為CPU核數(shù)有限并發(fā)請求再多也是排隊設(shè)得太小MR任務(wù)批量寫入時會頻繁報超時。30是我在4核環(huán)境下的經(jīng)驗值。4.3 RegionServer的目錄分區(qū)與內(nèi)存比例HBase要求每臺RegionServer在本地保存寫前日志W(wǎng)AL這個路徑默認(rèn)在hbase.tmp.dir下通常會被系統(tǒng)盤限制住。我在每臺機器上單獨掛載了/data/hbase并在hbase-env.sh里設(shè)置HBASE_LOG_DIR和堆大小。內(nèi)存分配是HBase最容易崩潰的根源。默認(rèn)情況下HBase的RegionServer堆大小是1GB但面對較大的寫緩存或讀緩存時1GB完全不夠GC頻繁觸發(fā)stop-the-world最終被Master判定心跳超時而移除。我把HBASE_HEAPSIZE調(diào)到4GB同時確保YARN的NodeManager不會把內(nèi)存全部搶走畢竟它們在同一臺物理機上。這里有個細(xì)節(jié)如果你的MapReduce作業(yè)會直接讀寫HBase就必須在MR JVM和HBase RegionServer之間留出足夠空間。我當(dāng)時設(shè)置時每臺機器給YARN 6GB、給HBase 4GB再加系統(tǒng)1.5GB剛好超出8GB一點于是又把HBase堆降到3.5GB留出余量這才穩(wěn)定下來。5. MapReduce直連HBase讀寫兩端的代碼實現(xiàn)5.1 為什么要讓MR直接讀寫HBase離線統(tǒng)計任務(wù)的典型流程是先由MR讀取HDFS上的日志文件做清洗然后把聚合結(jié)果寫入HBase供查詢端讀取。這里有兩種方案一種是把MR結(jié)果落地成HDFS文件再由HBase做bulk load另一種是MR直接通過TableOutputFormat寫入HBase。我選擇后者因為項目表數(shù)據(jù)量還達不到幾十TB需要bulk load的規(guī)模直接寫更省事代碼也更直觀。但前提是你得搞清楚TableOutputFormat和TableInputFormat的用法以及它們對MR job設(shè)置的特殊要求。5.2 寫入端用TableOutputFormat把計算結(jié)果落到HBase寫入端的核心思路是Mapper的輸出key為ImmutableBytesWritable或NullWritablevalue為Put對象。TableOutputFormat的OutputCommitter會把這些Put按所屬Region分發(fā)到正確的RegionServer整個過程不需要reduce參與。以下是我項目里把訂單統(tǒng)計結(jié)果寫入HBase訂單表的Mapper代碼核心部分public static class WriteMapper extends MapperLongWritable, Text, NullWritable, Put { private byte[] family Bytes.toBytes(detail); Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String[] fields value.toString().split(,); String orderId ord_ fields[0]; Put put new Put(Bytes.toBytes(saltKey(orderId) orderId)); put.addColumn(family, Bytes.toBytes(device_id), Bytes.toBytes(fields[1])); put.addColumn(family, Bytes.toBytes(status), Bytes.toBytes(fields[2])); put.addColumn(family, Bytes.toBytes(timestamp), Bytes.toBytes(Long.parseLong(fields[3]))); context.write(NullWritable.get(), put); } private String saltKey(String orderId) { int hash Math.abs(orderId.hashCode() % 8); return String.valueOf(hash); } }saltKey函數(shù)是rowkey預(yù)分區(qū)的一種簡單實現(xiàn)。HBase按rowkey的字典序把數(shù)據(jù)分布到各個Region如果直接用自增ID或時間戳當(dāng)rowkey寫入熱點會集中在最后一個Region。我按訂單ID哈希取0到7的前綴加上前綴后數(shù)據(jù)能均勻落到默認(rèn)8個預(yù)分區(qū)里。作業(yè)配置上關(guān)鍵點是必須指定輸出表名和輸出格式Job job Job.getInstance(conf, WriteOrderToHBase); job.setJarByClass(WriteOrderToHBase.class); job.setMapperClass(WriteMapper.class); job.setNumReduceTasks(0); job.setMapOutputKeyClass(NullWritable.class); job.setMapOutputValueClass(Put.class); job.setOutputFormatClass(TableOutputFormat.class); job.getConfiguration().set(TableOutputFormat.OUTPUT_TABLE, order_info);注意TableOutputFormat會主動讀取TableName參數(shù)如果你的代碼里沒有set輸出表運行時大概率報“Cannot resolve output table”之類異常。另一個容易踩的坑是TableOutputFormat要求作業(yè)輸出Path不能重復(fù)文件所以每次跑任務(wù)前最好清理輸出目錄或使用動態(tài)路徑。5.3 讀取端用TableInputFormatScan做批量分析讀取端是另一個鏡像問題把一張HBase表作為MR的輸入源。關(guān)鍵API是TableMapReduceUtil.initTableMapperJob它會基于Scan自動創(chuàng)建InputFormat并切分InputSplitpublic static class ReadMapper extends TableMapperText, IntWritable { private Text outKey new Text(); Override protected void map(ImmutableBytesWritable rowKey, Result result, Context context) throws IOException, InterruptedException { String status Bytes.toString( result.getValue(Bytes.toBytes(detail), Bytes.toBytes(status))); outKey.set(status); context.write(outKey, new IntWritable(1)); } }作業(yè)初始化時需要構(gòu)建Scan對象并傳入需要讀取的列族Scan默認(rèn)全表掃描所有列族全部版本導(dǎo)致網(wǎng)絡(luò)IO暴增。推薦的寫法是Scan scan new Scan(); scan.addFamily(Bytes.toBytes(detail)); scan.setCaching(500); scan.setCacheBlock(false); TableMapReduceUtil.initTableMapperJob( order_info, scan, ReadMapper.class, Text.class, IntWritable.class, job);scan.setCaching默認(rèn)值是100設(shè)為500能減少客戶端與RegionServer的RPC次數(shù)代價是占用更多客戶端堆內(nèi)存。scan.setCacheBlock(false)是關(guān)鍵性能開關(guān)——它告訴RegionServer在掃描過程中不要將數(shù)據(jù)塊駐留在堆緩存中因為大批量Scan很快就會把BlockCache擠滿導(dǎo)致熱點隨機讀性能大幅下降。對于離線MR任務(wù)這幾乎是必須調(diào)的一項。6. 離線訂單統(tǒng)計Demo從建表到MR任務(wù)結(jié)果全流程驗證6.1 表設(shè)計rowkey鹽值前綴與列族規(guī)劃整個Demo圍繞一個虛構(gòu)的“設(shè)備訂單上報系統(tǒng)”展開。每天有設(shè)備上報訂單狀態(tài)我們需要在第二天凌晨統(tǒng)計每臺設(shè)備當(dāng)天的訂單總數(shù)以及各狀態(tài)占比。HBase里建兩張表order_info存訂單明細(xì)user_order_count存每個人/設(shè)備的統(tǒng)計結(jié)果。通過HBase Shell建表時我特意加了預(yù)分區(qū)和壓縮hbase shell EOF create order_info, {NAME detail, COMPRESSION SNAPPY, TTL 604800}, {SPLITS [0,1,2,3,4,5,6,7]} create user_order_count, {NAME cf}, {SPLITS [a,m,z]} EOF預(yù)分區(qū)數(shù)量不必太多8個Region對于一個測試集群足夠但已經(jīng)能演示“寫入分散到多個RegionServer”的效果。TTL設(shè)置為7天讓過期明細(xì)自動清理省去后續(xù)手動刪除數(shù)據(jù)的麻煩。SNAPPY壓縮是我強烈推薦在生產(chǎn)表開啟的選項它在CPU消耗和壓縮比之間平衡最好。需要說明的是如果你啟用SNAPPY所有RegionServer節(jié)點必須安裝libsnappy庫否則HBase寫入時會報壓縮編解碼器無法加載。6.2 造數(shù)腳本與數(shù)據(jù)導(dǎo)入鏈路的坑為了驗證整條鏈路我寫了一個簡單的Python腳本生成100萬條模擬數(shù)據(jù)包括device_id、order_status、timestamp三個關(guān)鍵字段輸出成CSV格式python3 /opt/scripts/gen_data.py --rows 1000000 --output /data/input/orders.csv然后把CSV上傳到HDFS的/input目錄hdfs dfs -mkdir -p /input hdfs dfs -put /data/input/orders.csv /input/這時有個容易犯的錯誤HDFS上的數(shù)據(jù)塊默認(rèn)副本數(shù)為2我們通過hdfs dfs -put上傳的文件實際會按當(dāng)前集群副本數(shù)存儲。如果需要保存原始日志長期不刪可以把這個文件目錄單獨設(shè)置更高的副本數(shù)。Demo階段無所謂但生產(chǎn)環(huán)境要留意。接著執(zhí)行第5節(jié)的寫入端MR作業(yè)將訂單數(shù)據(jù)批量寫入order_info表。提交命令走yarnhadoop jar /opt/jars/WriteOrderToHBase-1.0.jar com.example.WriteOrderToHBase6.3 統(tǒng)計任務(wù)運行結(jié)果與驗證寫入完成后執(zhí)行讀取端統(tǒng)計作業(yè)匯總每個狀態(tài)的數(shù)量再通過另一個Mapper按device_id聚合出各自的訂單數(shù)hadoop jar /opt/jars/CountOrderFromHBase-1.0.jar com.example.CountOrderFromHBase作業(yè)跑完我直接在HBase Shell里查詢統(tǒng)計表hbase shell EOF scan user_order_count, {LIMIT 5} EOF返回結(jié)果里每條rowkey對應(yīng)一個device_id列cf:order_count就是統(tǒng)計數(shù)。拿這些數(shù)和原始CSV做對照用wc -l統(tǒng)計各狀態(tài)總量結(jié)果一致鏈路驗證通過。整個流程跑下來大約耗時12分鐘其中寫入作業(yè)5分鐘、統(tǒng)計作業(yè)6分鐘、其余為YARN調(diào)度和HBase flush時間。相比單機用awk處理100萬行數(shù)據(jù)這個速度沒有明顯優(yōu)勢但它的意義在于當(dāng)數(shù)據(jù)量從100萬漲到10億時這套架構(gòu)的擴展性才真正體現(xiàn)出來。6.4 數(shù)據(jù)正確性校驗MR結(jié)果與預(yù)期對不上怎么辦第一次跑統(tǒng)計作業(yè)時我注意到統(tǒng)計結(jié)果比預(yù)想的少了一部分?jǐn)?shù)據(jù)。檢查后發(fā)現(xiàn)是Scan的startRow和stopRow沒有設(shè)置好導(dǎo)致漏掉了開頭或結(jié)尾的Region數(shù)據(jù)。排查方法是拿同一批數(shù)據(jù)先后跑兩個不同Scan范圍的作業(yè)對比輸出條數(shù)與HBase表行數(shù)是否一致hbase org.apache.hadoop.hbase.mapreduce.RowCounter order_info detail:statusRowCounter是HBase自帶的行數(shù)統(tǒng)計工具它可以繞過MR直接讀取Region元數(shù)據(jù)做精確計數(shù)。用它作為基準(zhǔn)就能判斷自己的Scan寫漏了還是寫重了。另一個導(dǎo)致結(jié)果不一致的原因是InputSplit切分時正好跨越Region邊界某個分片包含了一個完整Region的掃描結(jié)果而另一個分片又從該Region讀了一次重復(fù)數(shù)據(jù)。遇到這種問題把作業(yè)的mapred.reduce.tasks暫時設(shè)為0觀察Map輸出條數(shù)與RowCounter結(jié)果是否吻合。7. 排障實錄四類高危問題與排查鏈路7.1 NameNode進入安全模式且長時間不退現(xiàn)象是HDFS啟動后執(zhí)行hdfs dfs -put一直報錯提示“Name node is in safe mode”。剛開始我以為等多一會兒就能自動退出但等了十分鐘依舊卡死。排查鏈路先hdfs dfsadmin -safemode get確認(rèn)狀態(tài)再hdfs dfsadmin -report看DataNode上報情況。結(jié)果發(fā)現(xiàn)有兩臺DataNode顯示為Dead原因是它們的/data/hadoop/datanode磁盤分區(qū)滿了。DataNode上報塊信息時發(fā)現(xiàn)剩余空間不足閾值就主動拒絕注冊NameNode等不到足夠數(shù)量的活動節(jié)點于是遲遲不退出安全模式。解決方式清理磁盤后重啟DataNode再手動執(zhí)行hdfs dfsadmin -safemode leave強制退出。之后的預(yù)防手段是把dfs.datanode.du.reserved設(shè)為一個絕對值比如10GB讓DataNode認(rèn)為磁盤已滿的空間預(yù)留出來避免磁盤被業(yè)務(wù)數(shù)據(jù)徹底寫滿才觸發(fā)保護。7.2 HBase RegionServer反復(fù)被移除時鐘偏移HBase集群另一個反復(fù)出現(xiàn)的怪象是RegionServer啟動后一兩分鐘就被Master標(biāo)記為DOWN并踢出集群日志顯示“RegionServer is not online”或“Clock skew too large”。根因在HBase的分布式協(xié)調(diào)機制RegionServer上報心跳時Master會校驗該節(jié)點與自身的時間差一旦超過底層連接容忍范圍就判定異常。我在三臺機器上執(zhí)行date命令發(fā)現(xiàn)node03的系統(tǒng)時間比node01慢了接近40秒。原因是在部署虛擬機時班車時間同步服務(wù)沒有成功啟動。解決方式安裝chrony并強制校準(zhǔn)一次systemctl restart chronyd chronyc makestep校準(zhǔn)后連續(xù)觀察三天沒有再出現(xiàn)RegionServer掉線。7.3 MapReduce作業(yè)一直Pending不執(zhí)行作業(yè)提交到Y(jié)ARN后狀態(tài)始終停在ACCEPTEDResourceManager頁面顯示容器始終沒有被分配。這個問題的本質(zhì)是資源調(diào)度失效。排查鏈路先看yarn logs --applicationId檢查ApplicationMaster日志發(fā)現(xiàn)一直等待NODE_IDLE資源再看NodeManager配置發(fā)現(xiàn)yarn.nodemanager.resource.memory-mb默認(rèn)值8192MB大于物理機可用內(nèi)存NodeManager啟動時判定物理資源不足主動把可用資源標(biāo)記為0所有作業(yè)只能排隊。解決方式按第3.2節(jié)調(diào)的參數(shù)改小nodeManager資源上限并重啟NodeManageryarn nodemanager --daemon stop yarn nodemanager --daemon start這里也暴露了另一個隱藏問題如果你在yarn-site.xml里同時設(shè)置了yarn.scheduler.maximum-allocation-mb大于physical memory調(diào)度器也會直接拒絕分配容器。7.4 MR寫HBase時Put超時與批量重試風(fēng)暴跑寫入作業(yè)時Map端偶爾報“Call to node02/... failed on local exception: java.net.SocketTimeoutException”重試幾次后任務(wù)失敗。排查下來發(fā)現(xiàn)是RegionServer上的handler.count默認(rèn)為10而MR的Map Task數(shù)有32個寫請求并發(fā)一高RegionServer的RPC線程池被打滿SocketTimeout自然頻繁出現(xiàn)。把hbase.regionserver.handler.count調(diào)到30并把hbase.client.retries.number適當(dāng)調(diào)低避免無謂的重試風(fēng)暴property namehbase.client.retries.number/name value3/value /property重試次數(shù)默認(rèn)是10次在批量寫入場景里10次重試會拖慢整個作業(yè)。調(diào)到3次后失敗任務(wù)快速失敗并由MR框架重新調(diào)度整體成功率反而更高。注意這里的取舍在線查詢場景下重試次數(shù)不宜太低否則瞬時網(wǎng)絡(luò)抖動會直接丟請求。7.5 一個容易被忽視的元兇文件句柄耗盡最后說一個讓DataNode和RegionServer同時異常退出的共性問題文件句柄耗盡。我們有一臺機器曾經(jīng)在一周內(nèi)突然出現(xiàn)DataNode退出的告警但日志里沒有任何異常堆棧最后看了dmesg才發(fā)現(xiàn)大量“too many open files”信息。Linux默認(rèn)單進程文件句柄限制是1024對HDFS這種大量打開小文件的系統(tǒng)來說遠(yuǎn)遠(yuǎn)不夠。按第2.2節(jié)的limits.conf提高上限后務(wù)必重啟DataNode、RegionServer等守護進程因為limits.conf對已經(jīng)啟動的進程不生效。我還額外在hbase-env.sh里加了一句ulimit -n 65536這確實是個偏門的兜底方式但能確保即使limits.conf被某些初始化腳本覆蓋HBase進程依然有充足句柄額度。最后再分享兩個擴展方向如果這篇文章只幫你把環(huán)境搭起來那任務(wù)只完成了一半。跑通Demo之后我強烈建議在同一個集群上嘗試兩個方向一是集成Hive把HBase通過StorageHandler映射成外部表這樣運營同學(xué)能用SQL查HBase數(shù)據(jù)不需要寫Java代碼二是給HBase加Phoenix或換個思路直接用Spark讀取HBase這些上層引擎可以復(fù)用同一套HDFS存儲不會額外增加運維復(fù)雜度。我在實際項目中因為在建表階段就規(guī)劃好了預(yù)分區(qū)和壓縮后續(xù)接入Hive和Spark都沒有返工。愿這篇文章能讓你少走點彎路尤其是第7節(jié)那些問題趁早排查總比上線當(dāng)晚發(fā)現(xiàn)好。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷天天五月天| 永久的网站AAAA | 丁香激情四射| 狠狠色五月激情| 久热99| 六月丁香婷婷视频综合在线观看 | AV天堂淫乩| 久久99国产综合精品免费 | 激情性爱五月天网页| 婷婷五月天亚洲综合网| 超碰99热精品| 激情婷婷丁香| 五月天开心婷婷激情网站| 青青草原伊人网| 黄色五月婷婷| 天天干夜夜b| 欧美色激情四射| 五月花在线观看视频| 五月婷婷导航| 亚洲综合另类| 天天做天天爱天天爽综合网| 人妻射精AV| 国产精品久久久爽爽爽麻豆色哟哟 | 激情五月开心五月丁香五月| 激情五月婷婷综合| 日韩野外 无套| 色色色色网| 九九亚洲综合| 97久久综合网| 色播五月| 激情五月婷婷丁香| 再次出发二| 碰碰碰97国产| 九月丁香| 色五婷婷| 色五月xxx| 禁片二区| 激情婷婷| 99在线精品视频| 久久亚洲A| Www.sesese丁香| 五月丁香六月激情在线| 婷婷五月天日逼| 99久久偷拍视频| 日本啪啪网| 怡红院99| 爆乳熟妇一区二区三区爆乳| 国产欧美大香蕉一区| 婷婷久久99| 日本无va视频| 激情综合五| 一本色道久久88综合日韩精品| 五月天久久婷婷| 久久永久网址| 成人Av在线大片| www.夜夜| 狠狠爱综合网| 亚洲激情五月| 婷婷五月天激情AV影院| 色五月婷婷天天干| 久久超级碰碰| 激情五月瑟瑟| 亚洲午夜在线视频| 色色亚洲| 丁香六月婷婷色XXXXX| 天天色天天舔天天爱天天爽 | 91丨九色丨熟女高潮| 久久这里只有国产精品视频| 这里只精品| 久久影视婷婷五月| 九九精品丁香花| 九九在线精品| 日本三级日本三级99| 丁香五月综合亚洲| 高清无码一区二区三区四区| 五月丁香网av| 狠狠色色| 丁香五月欧美成人| AV成人在线播放| 国模九区| 国产毛片操B| 99色色视频| 亚洲综合色网| 五月丁香六月情| 五月天激情在线视频| 开心五月婷婷婷美女| 国模九区| 丁香五月 性爱| 精品婷婷| 超碰在线国产| 狠狠的日| 26uuu| 五月激情综合网| 国产精品久久久久久五月天加勒比| 午夜丁香| 色九月婷婷| 综合性爱网| 7777久久亚洲中文字幕| 永久天堂日本| 亚洲成人在线观看网址| 99ri6在线视频| 嫩草AV久久伊人妇女超级A| www九九| 97 A I色色| 亚洲中文乱字字幕线在永久| 婷婷五月婷婷五月| 婷婷五月18永久免费视频| 狠色狠色狠色狠色狠色网| 色婷婷基地在线| 99热国产精品| 色色综合无码| 亚洲精品五十一区| 色五月婷婷、老熟女| 五月天婷婷色在线视频免费观看| 99热永久在线观看| 婷婷成人综合免费视频| 九九视频热| 亚洲精品乱码久久久久久综合| 91久热| 欧美日本国产欧美日本韩国99| 麻豆精品| 亚洲综合草草| WWW久久久| www.婷婷| 色激情五月| 久久HD| 亲子乱AV一区二区三区下载| www.久久| 婷婷丁香社区| 亚洲视频在线网| 伊人激情网| 色色色宗合网| 色五月大香蕉婷婷| 亚洲精品亚洲人成人网| 久久这里只有精品07 | 高清无码入口| 色色色成人网| 精品亚洲国产成AV人片传媒| 丁香婷婷五月综合欧美另类| 91激情五月开心| 五月婷婷综合久久| 久久狠色噜噜狠狠狠狠97| 婷婷丁香久久五月综合| 五月婷婷六月丁香在线视频| 26UUU欧美激情一区二区| 六月丁香色色| 午夜天堂一区人妻| 婷婷色色宗合网| 欧美久人人| 九九人人自拍| 色日本丁香婷婷| 久久这里只有国产精品视频| 91碰超| 伊人干综合| 小视频久久久aaa| 五月色综合| 五月天久久婷| 91色涩| 色婷婷丁香网| 婷婷噜噜| 色狠狠色| 大香蕉人人人| 秋霞午夜理论| 79色色色色| 思思热精品在线| 在线观看av网站| 激情综合色网| 91色色五月天| 性生活视频98791| 亚洲 综合中文| 色丁香在线视频| 五月天狠狠干| 丁香五月综合激情啪啪| 欧美成人精品A片免费一区99| 女同激情久久av久久| 色停停五月天| 性爱网六月丁香| 日日操天天操| 日逼影音先锋AV男人资源站| 第五婷婷伊人丁香色| 亚洲日韩国产黑丝黑丝AVAV一区二区三区| 五月天综合区| 武则天精品久久| 五月婷婷色五月| 97色吧| 日本97在线观看| 激情五月天啪啪| 婷婷五月天在线看| 99精色| 色婷婷激情| 99久久久久| 99热99精品在线观看| 大香AV| site:901-07.com| 亚洲色vA| 丰满人妻一区二区三区| 色99无码| 婷婷五月深情丁香深爱日韩| 丁香婷婷成人网| 99ri精品视频在线观看| 精品自拍97| 99ri国产| 五月丁香啪啪网| 五月色网| 99re久热只有精品6在线直播.com| 色五月婷婷激情综合网| 亚洲免费观看高清完整版AV线| 激情五月天综合网| 六月色激情| 色婷婷丁香五月观看| 婷婷五月天高清无码| 99九九久久| 九九操屄| 久热这里只有精品性色AV| 五月WWW| 五月婷中文字幕| 色天天久婷婷| 大香蕉99热| 日韩黄在免| 97超碰人人操| av狠狠操| 久热精品免费视频4| 在线中文字幕视频| 激情伊人五月天| 丁香六月婷婷久久综合| 婷婷伊人久久| 夜夜操夜夜操| 狠狠色噜噜狠狠狠777奇米| 丁香婷婷久久| 91婷婷搞| 4438成人电影| 天天干天干| 日日干日日| 另类亚洲2| 99九九精品| 亚洲色网址| 五月丁香视频色色| 人人爱国产| 亚洲妇女熟BBW| 丁香婷婷五月色成人网站| 99色热综合| www.色五月| 97se视频在线| 五月天婷婷激情| www.玖玖九| 538在线| 九九青青草成人| 五月婷综合| 伊人丁香婷婷东京| 亚洲精品V天堂中文字幕| 99免费综合网| 婷婷五月中文在线| 久久婷婷视频| 嫩草视频在线观看| 亚洲五月婷| 色噜久| 婷婷五月丁香伊人| 中文字幕高清av| 激情婷婷五月色| 精品人妻伦九区久久AAA片| 91疯狂操操操操| 婷婷丁香人妻天天久久| 成人超碰网| 欧美在线骚货| 国自产拍偷拍精品啪啪一区二区| 天天色天天爱天天舔| 大香蕉久艹| 九九这里是免费的视频5| 六月色播| 色在线99| 日本啪啪天堂| 九久9精品| 欧美 日韩 成人在线| 97人操| 91精品久久久久、久五月天| 五月婷婷激情日本| 国产熟女一区二区三区五月婷| 91嫩草久久| 91精品久久久久、久五月天| 色哟哟www| 久re热视频| 国产精品国产| 色色日本| 欧美美女国产日韩一区二区久| 秋霞三级影视资源| 91久久日日| 五六月丁香激情视频| 最新高清无码专区| 久久久精品色色色| 97在线干| 操久久网| 色的色综合| 大战熟女丰满人妻AV| 五月天自拍视频| 色青青电影色五月| 这里只有精品视频| 熟女色专区| 婷婷综合网站| 99这里是精品| 性热视频99精品| av在线免费播放| 五月婷婷免费在线| 成人超碰网| 婷婷五月综合激情免费| 婷色五月天| 97综合在线| 久鲁鲁色网| A片试看120分钟做受图片| 亚洲精色| 五月丁香免费视频| 久久一级AV| 天天干 夜夜爽| 五月丁香黄色| 极品少妇高潮啪啪AV无码| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 91久久久久久久久18| 婷婷五月天成人| 中文字幕丰满孑伦无码专区| 26UUU欧美| 婷婷午夜精品久久久| 日本三级日本三级99| 五月婷婷六月激情网| 丁香伊人五月色婷婷五十路| 亚洲视频99| 久久99热网| 久久九九99亚洲国产久精综合| 色久一| 色婷婷AAA| 操逼福利视频| 色婷天天| OYIWbGcPu8H| 中文资源在线a| 丁香五月婷婷少妇| 色综合香蕉| 日本色色色| 99热这里只有精品2| 熟女网站久久| 涩丁香| 日韩人妻在线观看| 婷婷丁香五月综合网上 | 亚洲久热| 人人干av| 亚洲女婷婷五月基地综合久久久| 91超碰在线观看| 五月丁久久| 99熟女啪啪视频| 亚洲狠狠狠色婷婷综合激情久久久| 丁香五月性爱爱五月| 亚洲这里只有精品| 玖玖午夜视频| 人人草人人视| 亚洲五月丁| 大香蕉五月天婷婷丁香91| 国产乱妇无乱码大黄AA片| 色久五月天| 国产片天天爽夜夜爽| 91综合色噜噜| 亚洲宗合激情| 五月天开心网| 久久久香| 国产综合A片| 久久曰曰| WWW.桔色成人.COM| 五月天成人小说网| 六月婷婷私欲| 亚洲小说五月婷婷| 色综合综合色| 天堂综合久| 99热传媒| 嫩草AV久久伊人妇女超级A| 99日本精品视频热| 色婷婷激情| 伊人五月网| 丁香五月电影| 亚洲成人无码网站| 99亚洲精品视频| 99爱操| 丁香婷婷色五月| 婷婷的99视频网站| 婷婷五月天狠狠色| 丁香五月另类小说| 99爱视频在线| 噜噜色噜噜网| 欧美丁香五月| 性日本精品| 国产精品色色色色| 激情丰满熟妇五月| 日 日干 日日做| 天天操天天日天天爱| 婷婷婷久久久| 97九色视频| 丁香婷婷五月份| 五月天婷婷综合网| 六月婷婷色综合| 天天射美女| 五月天婷婷基地| site:feetmall.com| www.五月天| 26uuu精品一区二区| 91色操| 成人短视频在线免费观看| 天天操综合网站| 久久这里只有精品视频26| 九九av| 亚洲六月婷婷| 激情五月天丁香| 日韩一级A片黄色| 久久99精品日本| 午夜色丁香| 日韩精品VIP| 高清a片基地| 日本韩国视频在线观看社区免费的9| 少妇大叫太大太粗太爽了A片| 丁香啪啪| 极品人妻VIDEOSSS人妻| 大香蕉AV电影在线| 人人97操| 中文字幕成| 亚洲免费av在线| 丁香五月最新地址| 五月婷在线| 久久久久妻| 美女天天艹人人爽| 日日婷婷不卡| 激情五月天小说| 26uuu精品一区二区| 第五色婷婷| 99热在线观看| 九九热最新地址| 五月激情影院| 欧美情色电影一区二区| 9999热精品| 久久久久婷| 97久人人| 欧美成人无码一区二区三区| 五月天激情Av| 九九热精品视频| 婷婷激情六月综合| 综合色99| 玖玖伊人网| 操久久精| 天天搞夜夜叫| 综合五月天婷婷色| 激情六月日韩| 色~性~乱~伦~噜| 九九热视频在线观看| 国产精品第一国产精品| 激情婷婷99| 一级黄色操B| 玖玖在线视| 五月天社区| 欧美黑人巨大猛烈cuckold| www.26uuu.com亚洲电影| 五月丁香中文字幕| 五月婷久久| 伊人激情AV一区二区三区| 中文字幕在线视频播放| 91操屁股| 26uuu.| 热成人网| 色香欲综合| 草草夜夜操| 91精品啪| 九九热这里都是精品6| 婷婷十月激情综合网| 久99久在线| 被男人添B超爽视频| 亚洲成人丁香花| 9久久婷婷国产综合精品性色| 五月婷婷新网站| 色五月视频无码播放| 另类视频五月天| 六月天婷婷| 激情精品久久| 五月天国产成人| 日韩在线五月天婷婷| 丁香狠狠色婷婷| 亚洲日韩乱码一区二区三区四区 | 九九操综合网| PORNY九色9l自拍视频成人| 99国产精品久久久久久久久久久| 激情九月天天天天婷婷| 激情纯色婷婷五月天在线不卡视频| 亚洲中文乱字字幕在线永久| 国外亚洲成AV人片在线观看| 婷婷玖玖五月天| jiujiu无码五区| 亚洲美女网Va| 人人艹艹艹| 五月婷啪| 人人草开心五月天| 精品香蕉99久久久久网站| 久艹大香蕉| 丁香网五月网| 91色色色| 五月婷婷黄| 丁香婷婷久久激情| 91玖玖| 婷婷五月丁香性爱| 三区激情四射av| 99免费| 在线看的免费网站| 99热18| 人人干av| 91男人资源站| 六月丁香激情最新更新| 直接看的AV| 人人叉久| 另类综合婷婷五月天欧美视频| 综合久| 亚洲婷婷久久综合| 婷婷五月激情视频在线| 国产熟妇乱子伦hd| 99热久久这里只有精品| 婷婷五月丁香香蕉| 色婷婷五月色| 狠狠色噜噜狠狠| 操逼视频网址| 五月丁香五月天现场视频| 丁香六月婷婷| 色婷婷导航| 五月天另类激情在线| 亚洲亚洲人成综合网络| 人人草成人视频| 色婷婷狠| 五月丁香久久呀| 丁香五月婷中字幕| 丁香五月婷婷操逼| 成人超碰Av| 99国产在线精品视频| 五月婷婷 欧美| 日本一道久久| 99九九99九九九视频精彩| 激情网婷婷五月天| 久久99日本精品视频免费观看| 五月噜噜| 色色欧美色色色| 天天干天天日日| 超碰97人人操| 超碰免费在线| 亚洲热视频在线| 亚洲综合成人网| 碰碰91| 久色网址| 久久久com| 久久资源网五月婷| 五月丁香激情综合网| 91AV婷婷| 丁香五月电影| 激情5月舔| 久久综合五月天| 天天色月| 九九人人操| 五月丁香综合啪啪啪啪啪| 久久综合婷婷| 婷婷色在线观看| 亚洲激情网| 九九色精品| 色屌丝中文字幕| 26uuu国自产精品| 久久久97| 六月激情久久婷婷| 亚洲九N| 五月婷婷花| 91在线资源| 激情亚洲网| 婷婷色五月天色| 操逼巨乳91| 啪啪激情综合| 婷婷丁香成人| 俺去也在线官网| 精品五月花| 狠狠操综合| 五月天婷婷基地综合网| 欧美这里只有精品| 精品99网站| 国产综合A片| www.色婷婷.com| 丁香婷色| 99热精品在线| 91精品综合久久久久久五月丁香 | 激情小说色五月| 能直接看的AV网站| 九久久精品视频99| 亚洲免费婷婷| 国产精品蜜臀99| 亚洲国产网站| 婷色五月| 婷婷香五月| 九九九午夜视频| 亚洲丁香花色| 激情5月天天天| www.五月天色色色| 日本久久精品| 亚洲视频伍月婷婷| 99黄色性生活| 波多野结衣不卡AV| 伊人玖玖精品| 五月激情久久综合| 99狠狠操一| 91久久99久久91熟女精品| 深爱五月月天| 97碰 在线视频观看| 五月天综合在线观看| 青青草原亚洲天堂| 色噜噜狠狠色综无码久久合欧美| 色欲日日躁| 一操久久| 白人荫道BBWBBB大荫道| 人人摸人人| 五月色婷婷亚洲| 色综合99色| 99热这里只有精品2| 色婷婷五月综合网| 91爱啪啪| 日本一区二区三区精品视频| www.婷婷五月| 六月婷婷九月丁香亚洲综合| 欧美色五月| 久9久视频精品| 99久在线精品| 国语精品探花| 狠狠干天天内射| 婷婷综合九月| 久久精品99国产精品日本| 人妻久久久| 精品久热| 五月激情婷婷国产精品久久久久久| 日本色婷婷| 五月天综合在线观看视频| 天天日夜夜高潮| av第一二区| http:色情日本com| 婷婷久久五月| 婷婷 色 丁香 夜| 日韩少妇内射免费播放| 色综合色五月| 欧美丁香五月| 国产寻花在线| 色情婷婷| bukadeavzaixian| 色播五月婷婷| 久久久久久97| www99热| 2020久久婷婷五月| 啪啪一区| 先锋资源91| 欧美色必爱| 色色亚洲| 99热免费在线| 最新久久网址| 色停停五月,在线观看| 婷婷中文字幕版| 色丁香久久| 婷婷五月天丁香激情| 99国产精品久久久久久久久久久| 婷婷五月天丁香花| 欧洲一区二区| 五月天婷婷基地| 五月婷婷五月天亚洲无码| 开心久久xxx色| 97影院一级片| 婷婷五月天情色| 天天色五月婷婷91久久久久久久| 久久人人做人人妻人人玩精品va| 激情综合色| 超碰人妻在线| 亚洲综合99| 狠狠干狠狠干| 丁香色五月婷婷| 爱婷婷五月| WWW、日本色丁香、co m| 久久中文人妻系列| www.yw尤物| 欧美熟女99| 欧美久久网| 国产肏屄大片| 久久综合色五月| 九九激情视频| 美国天天操无码| 九九热99精品| 婷婷自拍| 金品在线视频99| 色婷婷影音| 第1影院之五月婷婷| 91seAV| 五月天久草| 97色五月丁香婷婷| 亚洲成人av中文| 97人人干| 中字幕视频在线永久在线观看免费 | 播播网色播播| 综合久久99| 五月激情啪啪| 黄桃AV无码免费一区二区三区| 欧美私人家庭影院| 中文字幕丰满孑伦无码专区| 午夜丁香婷婷| 香蕉AV777XXX色综合一区| 欧美成人AAA片一区国产精品| 亚洲无AV在线中文字幕| 色欲五月丁香| 亚州激情九月| 操逼视频一区| 99亚洲天堂| 久久九九网| 亚洲五月婷婷在线| 亚州日本欧州韩美高青高潮一| 色婷婷五月婷婷五月婷婷五月| 思思热在线精品视频网站| 久热这里只有精品99re,久热这里只有精品7 | 色七七九九| 综合久久9| 日本三级大片| hd五月婷婷在线| 狠婷婷五月| 2025天天日爽| 啪啪啪综合网| 国产人妻人伦精品一区二区| 91人妻九色大屁股| 日韩综合久| 亚洲激情AV| 五月丁香六月婷婷不卡免费无码| 国产,欧美,日韩,性爱| 婷婷深爱五月天| 久九色| 六月激情婷婷| 日操夜操天天操不卡| 久xxxx| 九九精品热| 婷婷丁香五月天在线视频| 婷婷五月天美女视频| 激情五月综合亚洲另类| 九九碰九九爱97| 国模九区| 99久在线观看| 热热久久久久久久久| 五月激情六月综合| 99热久| 波多野结衣不卡AV| 色色色婷| 久久99热 这里有精品| 5月丁香婷婷激情网| 九九精品热| 4399成人黄A片| 天天肏天天舔AV| 亚洲视频二区| 天天射色五月天| 久久综合干| 免费看欧美成人A片无码| 欧美丁香五月| 五月天色导航| 91丨九色丨丰满人妖| 国产肥白大熟妇BBBB视频| 五月J香蕉婷婷| 日本系列_4页_777FP| 六月香五月婷| 5月丁香美女影院| 天天干天天射综合网| 欧美五月婷婷| 久久婷婷综合五月| 五月婷婷啪啪网| 伊人狠狠操| 1024日韩| 91精品综合久久久久久五月天| 伊人影音无码一区二区三区| 激情五月婷婷六月丁香| 激情综合五月| 丁香婷婷91在线观看视频| 99re在线观看视频| 超碰色色综合| 婷婷五月综合丁香久久| 九九热只有这里精品| 婷婷五月天综合久久| 亚洲丁香花色| 狠狠综合区| 五月丁香六月欧美综合| 激情综合网五月| 91碰免费视频| 26UUU一区二区| 第五色婷婷| www久久久久久久久久久| 久久久久婷婷| 九九热99热| 人妻丰满精品一区二区A片| 五月丁香六月综合基地| 五月天激情网开心网| 99综合| 成人 视频免费观看网站| 牛牛碰免费| 国产精品18久久久| 99热碰碰热| 天天五月天综合网址| 中文幕无线码中文字蜜桃| 热久久91| 99噜噜| 色婷综合| 天天成人丁香美女AV| 99久久国产宗和精品1上映| 在线成人网站| 婷婷五月天AV在线| 999精品久久久久久久| 无码激情精品色婷婷久久久久| 色吧五月婷婷| a九九热www| 欧美五月婷婷| 天天干天天日蜜臀av| 久久人妻乱子伦| 99re在线观看| 在线你懂的亚洲欧| 天堂久久婷婷| 国产免费av在线| 人人草开心五月天| 五月婷婷黄色毛片| 天天爽综合网| www天堂99| 国产美女精品| www.五月天| 这里只有精品99视频| 五月天婷婷在线AN| 91操片| 丁香五月人妻| 色色色五月| av中文网站| 五月久久丁香| 五月婷婷福利| 就爱日五月天| 99亚洲色色| 91N 一起草| 婷婷日日夜夜| 超级久久久| 天天干 夜夜爽| 激情婷| 婷婷午夜天| 久热精彩视频98| Www.狠狠| 任你干嘛免费视频播放| 天天干夜晚夜操| 大香蕉久久草| 丁香六月婷婷开心| 91色色色| www.久久久.com| 五月婷婷黄色| 99热在线看| 丁香五月婷婷少妇| 亚洲A片成人无码久久精品青桔| 天天日人人| 精品一二三区久久AAA片| 五月综合激情图片 | 开心 五月 综合| 人人操AV| 99这里只有精品在线观看| 97碰碰九九视频| 亚洲日日操| 9色免费网| 99综合色| 99riAv1国产在线观看| 久久久久9| 色六月天天激情综合网| 99re6在线视频精品免费| 秋霞电影理论| 久久综合综合综合| 99狠狠操一| 六月色播| 婷婷成人五月天| 26uu| 日本欧美啪啪| 久久婷婷五月综合伊人| 丁香婷婷六月激情文学 | 久久视频这里都是精品| 在线观看国产高清视频免费网站 | 99精品久久久久| 激情五月丁香五月| 久久精品永久免费| 色婷九九九| 淫视馆aV二区一区| 色婷丨日丨天丨综合久久| 九九久久久综合| 欧美日韩123| 五月天开心成人网| 狠狠狠狠青草| www.丁香五月| 成人羞羞啪啪 全 视频| av免费在线观看0| 精品99在线| .操區COm| 婷婷丁香黄色| 天天日,天天插| 开心五月婷婷激情网| 婷婷娌伦网| 九九热九九| 丁香六月天婷婷开心综合| av线电影| 欧美成人精品A片免费一区99| 激情小说五月欧美亚洲丁香| 久久东京热婷婷五月| 粉嫩AV久久一区二区三区| 综合激情深爱| 99ri国产在线| 亚洲精品国产熟女久久久| 天天干天天做| 精品无码色欲AV| 麻豆精品| 亚洲欧美日韩VIP| 秋霞AV淫| 久久996re热这里只有精品无码| 4399高清无码视频| 国产精品第一国产精品| 国产精品久久久海的味道| 激情综合网五月天天| 亚州激情九月| 五月天伊人| 另类小说激情五月天| 久久久久妻| 欧美三级大片AA在线看| 九九这里只有精品| 五月六月婷| 777久久精品| 亚洲午夜一区二区| 国产日产亚洲系列最新| 成人网站在线观看视频| 思思热国产在线| 亚洲艹网| 天天干天天曰天天射| 无码人妻AV久久久一区二区三区 | 99ri久久| 日韩欧美成人一区二区三区| 成人在线精品| 婷婷五月天激情文学| 色五月综合网| 五月丁香最新| 人人艹艹艹| 丁香五月婷婷五月| 精品少妇蜜臀91| aaaaa黄色| 丁香五月综合久久综合| 婷婷五月天性色| 天天插天天日| 青青草轻轻操| 五月婷在线播放| 色色婷五月天| 成人日韩欧美| 五月婷婷狠狠干| 六月丁香开心婷婷欧美| 欧美肉大捧一进一出免费视频| 97人人搞| 欧美日韩一区二区三区四区| 激情五月综合六月丁香婷婷狠狠干| 影音先锋一区| 久久99久久久| 婷婷丁香五月在线观看91| 国产亚洲精品AAAAAAA片| 伊人干综合| 五月丁香婷婷爱| 天天日,天天射,天天舔| 婷婷.com| 亚洲另类电影| 综合色五月天| 五月婷婷综合丁香视频| 天天热夜夜操| 五月激情偷拍婷婷| 亚洲人成网亚洲欧洲无码久久| 婷婷久久精品| 欧美婷婷丁香五月| 99在线播放| 在线看AV| 婷婷综合九色伊人| 婷婷婷婷婷婷婷婷婷婷丁香| 夜精品无码A片一区二区蜜桃| 99热1| 亚洲成人中心| 五月天伊人| 久久婷婷五月综合啪| 天天久久综合| 婷婷丁香一月| 亚洲精品va| 色优久久| 激情丁香五月天综合| 色欲九区| 99网址在线看| 亚洲天99| 丁香五月区| 影音先锋一区| 99热播放| 操97| 色 免费网站视频| 99视频精品| 色婷婷狠狠18禁| 五月婷婷av| www.婷婷五月| 日韩婷婷| 色五月婷婷中文字幕在线观看| 狠狠情色| 伊人久久大香蕉网| 综合狠狠干| 婷婷五月激情欧美| 99色综合网| 亚洲综合久| 久久香蕉影院| 精品国产va久久久久| 夜夜人妻五月天| 91五月天| 午夜美女人啪最红院| 激情五月综合色婷婷| 丁香五月婷婷天| 99久久玖玖| 色五月首页| 婷婷亚洲综合| 日本色天堂| 五月天激情网站| .精品久久久麻豆国产精品| 人妻丰满精品一区二区A片| 天堂久久久久天堂网| 另类图片五月天激情| 天天干,天天操,天天射| 五月丁香婷婷色色色| 综合久久99| 五月综亚洲| 思思热久久久在线| 色狠狠婷婷| 青青草tp| 玖玖婷婷五月天| AAA级久久久精品| 色yeye欧美| 五月婷婷|欧美| 99精品视频偷拍| 精品在线| 五月天激情综合10p| 色婷婷小说网| 综合啪啪| 亚洲精品无码一区二区| 婷婷五月丁香四射| 一起草无码| 久久多色| 深爱丁香激情| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 人人草人人视| 天天搞天天爽| 五月天另类小说| 精品二区| 久久婷婷五月综合啪| 午夜丁香丁香婷婷| tingtingzonghewang| 夜夜夜夜撸夜夜操| 日韩欧美颜射| 91紱請| www.综合久久.com| 五月天堂婷婷| 色五月激情网| 日本三级大片| 中文字幕人妻一区二区| 婷婷伊人综合中文字幕| 26uuu欧美亚洲日韩| EEUSS鲁片一区二区三区| 色婷婷五月天| 超爽内射| 精品视频这里只有精品| 色播五月婷婷五月| 天天插综合| 超碰人人在线观看| 91爱啪啪| 777精品成人a v久久| 人人摸人人搞| 99热啪啪| 99热99| 思思热思在线精品视频| 欧美婷婷成人| 性爱久久| 99少妇精品| 久久激情综合| 亚洲人妻电影| 婷婷香草网| 外国碰视频网站97| 天天色天天爱天天爽| 97香蕉碰碰人妻国产欧美| 伊人九九68| 97人人操人人干| 色五月丁香网| 五月天激情小说| 九九人人自拍| 五月婷婷激情四月| 久久九九色| 天天综合五月天| 婷婷五月色网| 生活片五区| 99久久婷婷五月| 色色色视频免费无码| 超碰九九热| 亚洲人成网站999综合| 婷婷五月天激情在线观看| 婷婷丁香九月| 亚洲黄色操逼| 婷婷AV丁香| 综合色色婷婷| 五月色婷丁香| 五月天婷婷青青| 影音先锋四区| 91精品久| 九九草热在线观看| 激情五月综合| 99在线视频女女视频| 五月色婷婷激情| 九九色综合| 黄色99热| 久色网五月| 伊人婷婷五月天| 4399人妻无码久久久| 婷婷五月天狠狠| 国产FREESEXVIDEOS性中国| 任我鲁这里有精品视频| 色婷婷裸体色性在线| 婷婷成人基地| 色久播播| 婷婷五月天丁香社区| 五月丁香A∨在线| 思思re视频在线| 国产精品第一国产精品| www.日本久久videos| 中美日韩成人在线| 婷婷va| 色综合开心五月深爱五月| 婷婷另类小说| 色色色99| 久久xxxx| 亚洲不卡欧洲| 99re在线视频| 99热超碰天堂网| 激情六月色| 色婷婷另类| 色婷婷成人| 超碰妻人人| 欧洲高清免费久久| 久久精品国产AV一区二区三区 | 色视频2025| 婷香五月激情视频| 9 1超碰九色| 99久在线观看| 亚洲精品中文字幕成人片| 色婷婷五月天小说| 亚洲无码影音| 99热九九在线| 亚洲性爱AV在线| 五月婷婷伊人网| 乱岳熟女50岁| 激情伊人六| 少妇AB又爽又紧无码网站| 久久综合网免费视频| 色婷婷综合网| 婷婷五月成年人| 人人操五月天| 26uuu淫色| 精品无码久久久久久久久| 丁香色啪综合| 丁香五月激动深爱欧美| 伊人久久五月天| 99色在线观看视频者| 99色免费观看全部| 97在线/日本| 五月色综合网| 婷婷丁香五月激情密臀av| 9热视频在线观看| 天堂色婷婷| 8区视频在线| www.久久爱| 99热国产| 激情五月黄色小说| 色五月综合网| 五月丁香六月婷婷中文版| 国产精产国品一二三在观看| 26UUU欧美激情一区二区| 丰满女老板BD高清A片| 激情色情五月天| 婷婷五月色花丁香社区| 久久伦乱| wwwss在线观看| 国产SUV精品一区二区6| 极品 少妇 内射| 日韩ww| 激情五月婷婷丁香| 熟女啪啪视频| 日韩成人电影AV| 青青草a在线| 色五月 婷婷, 大香蕉| 婷婷五月丁香香蕉| 久久婷婷人人| 色综合激情| 第六色在线| 婷婷亚州综合| 五月丁香综合| 在线99热| 99激情| 狠狠狠五月婷婷六月丁香| 丁香五月黄色| 五月丁香大香蕉| 欧美综合激情五月| 久久99久久久久久久噜噜| 国产成人+综合亚洲+天堂| 开心深爱五月天| 红桃91人妻爽人妻爽| 久久精品视频在这里有| 超碰色色综合| 成人无码精品1区2区3区免费看| 狠狠插狠狠| 9l视频自拍九色9l视频在线观看| 五月婷婷婷| 丁香五月冃欧美| 色娸娸综合网| 久久精彩免费视频| 婷婷五月综合激情免费视频| 淫视馆AV在线| 国产亚洲精品久久久久久郑州| 亚洲aV写真天天综合网久久| 夜夜 操无码| 丰满人妻妇伦又伦精品国产| 五月天婷婷激情| 色色99色色| 99碰视频| 五月丁香久久| 天天色粽合合合合合合合| 六月婷婷网| 九九色天堂| 日本99热| 婷婷五月天社区| 91九色国产| 99视频综合网| 欧美在线视频99| 丁香六月婷婷姐网| 激情久久五月天| 久久艹 五月天| 日韩综合天堂| 天天爽天天透天天爱| 91干在线| 婷婷丁香五月综合网| 色五月婷婷很很操| 婷婷六月色情| 五月丁香在线| 超碰1999| 5月婷婷视频网站综合| 色色色com| 成人午夜无码视频| 天天天综合网| 人人干天天舔| 9热精品| 丁香五月天AV在线 | 婷婷五月天丁香成人社区| 五月天精品视频| 欧州色色| 干亚洲天堂| 综合色色综合| 九九一区| 婷婷激情社区| 色导航色婷婷五月天在线观看| 玖玖伦理电影| 六月大香蕉| 五月丁香亭亭激情操逼网| 婷婷99狠狠躁天天躁| 五月婷婷综合视频| 天天爽天天爽夜夜爽| 密黄站| 色五月欧美| 99久久97| 久久久久久久人妻| 国产成人综合在线| 五月天婷婷丁香基地在线观看| 深爱五月天 开心网| 日操|