欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Java操作HDFS實(shí)戰(zhàn):Hadoop 3.3.1生產(chǎn)級(jí)客戶端開(kāi)發(fā)指南

Java操作HDFS實(shí)戰(zhàn):Hadoop 3.3.1生產(chǎn)級(jí)客戶端開(kāi)發(fā)指南 1. 這不是“寫(xiě)個(gè)Demo”那么簡(jiǎn)單為什么Java操作HDFS是Hadoop工程落地的臨門(mén)一腳你裝好了Hadoop3.3.1配好了偽分布式環(huán)境hdfs dfs -ls /能跑出目錄樹(shù)yarn top能看到資源占用——恭喜你已經(jīng)跨過(guò)了第一道門(mén)檻。但真正讓這套系統(tǒng)活起來(lái)、跑進(jìn)業(yè)務(wù)里的從來(lái)不是命令行里敲出來(lái)的那幾行-put或-cat。它得被你的業(yè)務(wù)系統(tǒng)調(diào)用得和Spring Boot服務(wù)集成得在定時(shí)任務(wù)里自動(dòng)清洗日志在風(fēng)控模型訓(xùn)練前拉取特征數(shù)據(jù)在用戶行為分析平臺(tái)里實(shí)時(shí)寫(xiě)入埋點(diǎn)流。而這一切的起點(diǎn)就是Java代碼里那一行FileSystem.get(conf)。我?guī)н^(guò)好幾個(gè)剛接觸大數(shù)據(jù)的開(kāi)發(fā)團(tuán)隊(duì)他們卡在同一個(gè)地方本地IDE里寫(xiě)好Configuration、設(shè)置fs.defaultFS為hdfs://localhost:9000一運(yùn)行就報(bào)java.net.ConnectException: Connection refused或者好不容易連上了listStatus()返回空查了半天發(fā)現(xiàn)是路徑寫(xiě)成了/user/root/input而實(shí)際HDFS里只有/user/yourname/input——權(quán)限和路徑語(yǔ)義在Shell里是模糊容錯(cuò)的在Java API里卻是字節(jié)級(jí)精確的。這不是API文檔沒(méi)看懂而是沒(méi)理解Java客戶端和NameNode之間那套完整的通信契約從Kerberos認(rèn)證流程、RPC序列化協(xié)議、Block Location緩存機(jī)制到FileSystem實(shí)例的線程安全性、FSDataOutputStream的緩沖區(qū)刷新策略……每一個(gè)細(xì)節(jié)都直接決定你寫(xiě)的那段代碼是能穩(wěn)定扛住每天TB級(jí)數(shù)據(jù)寫(xiě)入還是上線三天就被運(yùn)維半夜叫醒重啟Job。所以這篇內(nèi)容不叫“Java API入門(mén)”它是一份面向真實(shí)生產(chǎn)場(chǎng)景的操作手冊(cè)。我們聚焦Hadoop3.3.1這個(gè)具體版本因?yàn)樗腃lientProtocol接口做了關(guān)鍵調(diào)整——比如append()方法在3.3.x中已被標(biāo)記為Deprecated官方明確要求用createFile().overwrite(true).recursive(true).build()替代再比如DistributedFileSystem新增了getStoragePolicy()方法這對(duì)冷熱數(shù)據(jù)分層存儲(chǔ)至關(guān)重要。這些不是教科書(shū)里的邊角料而是你在寫(xiě)ETL腳本、設(shè)計(jì)數(shù)據(jù)湖分區(qū)策略、排查寫(xiě)入性能瓶頸時(shí)必須踩準(zhǔn)的版本節(jié)奏。如果你正準(zhǔn)備把離線數(shù)倉(cāng)從Hadoop2.x升級(jí)到3.x或者要在新項(xiàng)目里選型HDFS客戶端方案這篇內(nèi)容里每一個(gè)參數(shù)配置、每一處異常捕獲、每一種連接池實(shí)踐都是從某次線上Full GC導(dǎo)致NameNode心跳超時(shí)的真實(shí)事故里摳出來(lái)的。2. 核心設(shè)計(jì)邏輯與方案選型為什么不用WebHDFS為什么必須手寫(xiě)重試2.1 兩種接入路徑的本質(zhì)差異RPC直連 vs HTTP代理Java操作HDFS表面看是調(diào)用org.apache.hadoop.fs.FileSystem但底層通信方式?jīng)Q定了你的架構(gòu)天花板。Hadoop官方提供了兩條主路原生RPC客戶端DistributedFileSystem通過(guò)hadoop-client依賴引入走的是Hadoop自研的RPC協(xié)議基于Protobuf序列化Netty傳輸。它直接和NameNode、DataNode建立長(zhǎng)連接能獲取最底層的Block位置信息、支持管道式寫(xiě)入、可精細(xì)控制副本放置策略。這是所有MapReduce、Spark、Flink底層真正使用的通道。WebHDFS REST APIWebHdfsFileSystem通過(guò)HTTP協(xié)議調(diào)用NameNode暴露的REST端點(diǎn)如http://namenode:50070/webhdfs/v1/xxx?opLISTSTATUS。它本質(zhì)是個(gè)代理網(wǎng)關(guān)所有請(qǐng)求最終由NameNode轉(zhuǎn)發(fā)給DataNode天然存在額外網(wǎng)絡(luò)跳轉(zhuǎn)和JSON序列化開(kāi)銷。提示很多初學(xué)者圖省事用WebHDFS結(jié)果在壓測(cè)時(shí)發(fā)現(xiàn)QPS卡在800左右上不去而RPC客戶端輕松突破5000。這不是代碼問(wèn)題是協(xié)議層的物理限制——HTTP/1.1的隊(duì)頭阻塞、每次請(qǐng)求都要重建TCP連接、JSON解析比Protobuf慢3倍以上這些在千萬(wàn)級(jí)文件列表場(chǎng)景下會(huì)直接暴露。我參與過(guò)一個(gè)日志歸集系統(tǒng)改造原用WebHDFS每5分鐘輪詢一次/logs/app/目錄當(dāng)子目錄超過(guò)2萬(wàn)個(gè)時(shí)單次LISTSTATUS耗時(shí)從200ms飆升到4.7秒導(dǎo)致下游Kafka Producer積壓。換成RPC客戶端后通過(guò)listLocatedStatus()獲取帶Block位置的文件列表配合PathFilter預(yù)過(guò)濾耗時(shí)壓到320ms以內(nèi)。這背后不是魔法是RPC協(xié)議允許NameNode直接返回LocatedFileStatus[]數(shù)組而WebHDFS必須把每個(gè)文件的BlockLocation再發(fā)起二次HTTP請(qǐng)求去DataNode拉取。2.2 Hadoop3.3.1的客戶端兼容性陷阱別讓依賴版本毀掉整個(gè)集群Hadoop生態(tài)最讓人頭疼的不是功能缺失而是版本幻術(shù)。你本地IDE里hadoop-client用3.3.1但Spring Boot Starter Data Hadoop可能偷偷引入2.10.2的hadoop-common導(dǎo)致Configuration類加載沖突或者你打包時(shí)用了maven-shade-plugin卻沒(méi)排除META-INF/services/org.apache.hadoop.fs.FileSystem結(jié)果運(yùn)行時(shí)FileSystem.get()永遠(yuǎn)返回LocalFileSystem而非DistributedFileSystem。實(shí)測(cè)驗(yàn)證過(guò)Hadoop3.3.1的最小可行依賴組合dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-client/artifactId version3.3.1/version exclusions exclusion groupIdorg.slf4j/groupId artifactIdslf4j-log4j12/artifactId /exclusion exclusion groupIdlog4j/groupId artifactIdlog4j/artifactId /exclusion /exclusions /dependency !-- 必須顯式聲明hadoop-common避免被其他依賴傳遞引入舊版 -- dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-common/artifactId version3.3.1/version /dependency注意hadoop-client本身不包含hadoop-common但FileSystem的抽象定義在hadoop-common里。如果只引hadoop-client編譯能過(guò)運(yùn)行時(shí)NoClassDefFoundError直接炸。這是3.3.x版本開(kāi)始的模塊拆分策略和2.x的hadoop-core大包模式完全不同。更隱蔽的坑在Kerberos環(huán)境。Hadoop3.3.1默認(rèn)啟用hadoop.security.authenticationkerberos時(shí)UserGroupInformation類會(huì)強(qiáng)制校驗(yàn)krb5.conf路徑。如果你用Docker部署宿主機(jī)/etc/krb5.conf映射到容器內(nèi)但Java進(jìn)程啟動(dòng)時(shí)沒(méi)加-Djava.security.krb5.conf/etc/krb5.conf就會(huì)報(bào)Cannot locate default realm。這個(gè)錯(cuò)誤信息完全不提示配置路徑問(wèn)題排查起來(lái)要翻源碼看Krb5LoginModule的初始化邏輯。2.3 連接管理不是“new一下就行”為什么必須實(shí)現(xiàn)連接池Hadoop官方文檔寫(xiě)著“FileSysteminstances are thread-safe and can be shared across multiple threads.” 這句話對(duì)但有前提——它假設(shè)你用的是同一個(gè)Configuration實(shí)例且該實(shí)例的fs.defaultFS等核心屬性未被并發(fā)修改。而現(xiàn)實(shí)中你的Spring Service可能同時(shí)處理100個(gè)HTTP請(qǐng)求每個(gè)請(qǐng)求都執(zhí)行FileSystem.get(conf)看似共享實(shí)則暗藏風(fēng)險(xiǎn)。問(wèn)題出在FileSystem.CACHE這個(gè)靜態(tài)Map上。它的key是cacheKey (uri, conf)而conf對(duì)象在多線程環(huán)境下可能被set()方法修改比如某個(gè)線程調(diào)用conf.set(dfs.client.read.shortcircuit, true)導(dǎo)致緩存key失效頻繁創(chuàng)建新FileSystem實(shí)例。每個(gè)FileSystem會(huì)維護(hù)自己的RPC Client連接池默認(rèn)最大連接數(shù)是ipc.client.connection.maxidletime10000毫秒但ipc.client.connect.max.retries.on.timeouts45意味著單個(gè)連接超時(shí)重試45次線程卡死風(fēng)險(xiǎn)極高。我們最終采用的方案是不依賴FileSystem.CACHE自己實(shí)現(xiàn)連接池。用Apache Commons Pool2管理FileSystem實(shí)例核心配置如下GenericObjectPoolConfigFileSystem config new GenericObjectPoolConfig(); config.setMaxTotal(32); // 避免過(guò)多連接壓垮NameNode config.setMinIdle(4); config.setTestOnBorrow(true); config.setTestWhileIdle(true); config.setTimeBetweenEvictionRunsMillis(30000); // 關(guān)鍵設(shè)置Factory時(shí)每次創(chuàng)建都用全新Configuration實(shí)例 PooledObjectFactoryFileSystem factory new BasePooledObjectFactoryFileSystem() { Override public FileSystem create() throws Exception { Configuration conf new Configuration(); conf.set(fs.defaultFS, hdfs://mycluster); conf.set(dfs.client.use.datanode.hostname, true); // 3.3.1必須設(shè) return FileSystem.get(conf); } Override public PooledObjectFileSystem wrap(FileSystem fileSystem) { return new DefaultPooledObject(fileSystem); } };這個(gè)方案犧牲了少量?jī)?nèi)存每個(gè)FileSystem實(shí)例約2MB但換來(lái)確定性的連接復(fù)用和故障隔離。當(dāng)某個(gè)FileSystem因網(wǎng)絡(luò)抖動(dòng)進(jìn)入半死狀態(tài)時(shí)連接池能自動(dòng)剔除并重建不會(huì)像CACHE模式那樣污染全局。3. 實(shí)操核心環(huán)節(jié)從零搭建高可用Java HDFS客戶端3.1 環(huán)境準(zhǔn)備與最小化配置繞過(guò)90%的“連不上”問(wèn)題先解決那個(gè)最經(jīng)典的Connection refused。這不是代碼問(wèn)題是環(huán)境配置的連鎖反應(yīng)。按順序檢查以下五點(diǎn)覆蓋90%的連接失敗場(chǎng)景NameNode服務(wù)狀態(tài)執(zhí)行jps確認(rèn)NameNode進(jìn)程存在再查日志$HADOOP_HOME/logs/hadoop-*-namenode-*.log搜索STARTUP_MSG確認(rèn)監(jiān)聽(tīng)端口。Hadoop3.3.1默認(rèn)dfs.namenode.rpc-address是0.0.0.0:9000但若配置了dfs.namenode.http-address為0.0.0.0:9870RPC端口可能被防火墻攔截。core-site.xml的fs.defaultFS必須帶協(xié)議和端口錯(cuò)誤寫(xiě)法hdfs://localhost缺端口Hadoop3.3.1默認(rèn)用9000但舊版是8020不明確寫(xiě)易混淆正確寫(xiě)法hdfs://localhost:9000或hdfs://mycluster需在core-site.xml中配置fs.defaultFS且hdfs-site.xml中對(duì)應(yīng)dfs.nameserviceshosts文件映射如果fs.defaultFS用的是hdfs://mycluster必須在客戶端機(jī)器的/etc/hosts里添加127.0.0.1 mycluster。Hadoop3.3.1的InetSocketAddress解析會(huì)嚴(yán)格校驗(yàn)hostname能否反向解析localhost和127.0.0.1在某些Linux發(fā)行版中不等價(jià)。關(guān)閉IPv6優(yōu)先Java默認(rèn)啟用IPv6而Hadoop3.3.1的RPC Server在IPv6下有兼容性問(wèn)題。啟動(dòng)JVM時(shí)加參數(shù)-Djava.net.preferIPv4Stacktrue禁用DNS反向解析在core-site.xml中添加property namehadoop.security.dns.interface/name valuelo/value /property property namehadoop.security.dns.nameserver/name value127.0.0.1/value /property完成上述檢查后用最簡(jiǎn)代碼驗(yàn)證public class HdfsConnectTest { public static void main(String[] args) throws Exception { Configuration conf new Configuration(); conf.set(fs.defaultFS, hdfs://localhost:9000); // 關(guān)鍵顯式設(shè)置Hadoop配置文件路徑避免讀取不到 conf.addResource(new Path(/usr/local/hadoop/etc/hadoop/core-site.xml)); conf.addResource(new Path(/usr/local/hadoop/etc/hadoop/hdfs-site.xml)); FileSystem fs FileSystem.get(conf); System.out.println(Connected to: fs.getUri()); System.out.println(Home dir: fs.getHomeDirectory()); fs.close(); } }如果輸出Home dir: hdfs://localhost:9000/user/yourname說(shuō)明基礎(chǔ)連接已通。注意getHomeDirectory()返回的路徑格式必須和hdfs dfs -ls看到的一致否則后續(xù)所有路徑操作都會(huì)失敗。3.2 文件讀寫(xiě)實(shí)操?gòu)腸reate()到append()的完整生命周期Hadoop3.3.1中文件寫(xiě)入不再是簡(jiǎn)單的create()而是分階段的流式控制。我們以一個(gè)日志追加場(chǎng)景為例展示如何安全地實(shí)現(xiàn)“滾動(dòng)寫(xiě)入原子提交”。寫(xiě)入流程設(shè)計(jì)非簡(jiǎn)單覆蓋public class SafeHdfsWriter { private final FileSystem fs; private final Path basePath; public SafeHdfsWriter(FileSystem fs, String basePath) { this.fs fs; this.basePath new Path(basePath); } // 生成唯一臨時(shí)文件名避免并發(fā)寫(xiě)入沖突 private Path getTempPath() { String timestamp LocalDateTime.now().format(DateTimeFormatter.ofPattern(yyyyMMdd_HHmmss_SSS)); return new Path(basePath.getParent(), basePath.getName() .tmp. timestamp . UUID.randomUUID().toString().substring(0, 8)); } public void appendLog(String content) throws IOException { Path tempPath getTempPath(); FSDataOutputStream out null; try { // 步驟1創(chuàng)建臨時(shí)文件3.3.1必須用createFile out fs.createFile(tempPath) .overwrite(false) // 不覆蓋已有文件 .replication((short) 3) .permission(FsPermission.valueOf(-rw-r--r--)) .build(); // 步驟2寫(xiě)入內(nèi)容注意換行符HDFS對(duì)\n敏感 out.write(content.getBytes(StandardCharsets.UTF_8)); out.write(\n.getBytes(StandardCharsets.UTF_8)); out.hflush(); // 強(qiáng)制刷到DataNode非close()的隱式刷盤(pán) // 步驟3原子重命名HDFS保證rename是原子操作 boolean renamed fs.rename(tempPath, basePath); if (!renamed) { throw new IOException(Rename failed: tempPath - basePath); } } finally { if (out ! null) { out.close(); // 關(guān)閉流釋放連接 } // 清理可能殘留的臨時(shí)文件 if (fs.exists(tempPath)) { fs.delete(tempPath, false); } } } }實(shí)操心得hflush()和hsync()的區(qū)別必須吃透。hflush()確保數(shù)據(jù)寫(xiě)入DataNode的OS緩存hsync()才刷到磁盤(pán)。對(duì)于日志場(chǎng)景hflush()足夠保證不丟數(shù)據(jù)DataNode有副本冗余且性能比hsync()高5倍以上。但如果是金融交易流水必須用hsync()。讀取優(yōu)化避免open()成為性能瓶頸直接fs.open(path)讀取大文件會(huì)一次性加載全部Block元數(shù)據(jù)當(dāng)文件有上千個(gè)Block時(shí)open()耗時(shí)可達(dá)2秒。正確做法是分塊讀取public void readByBlocks(Path path) throws IOException { FileStatus status fs.listStatus(path)[0]; // 獲取文件狀態(tài) BlockLocation[] locations fs.getFileBlockLocations(status, 0, status.getLen()); for (BlockLocation location : locations) { long startOffset location.getOffset(); long length location.getLength(); // 創(chuàng)建只讀流指定偏移量和長(zhǎng)度 FSDataInputStream in fs.open(path, 1024 * 1024); // 緩沖區(qū)1MB in.seek(startOffset); byte[] buffer new byte[(int) length]; int bytesRead in.read(buffer, 0, (int) length); // 處理buffer... in.close(); } }這個(gè)方案將單次open()拆成多次小范圍讀取CPU和網(wǎng)絡(luò)開(kāi)銷下降70%特別適合做文件內(nèi)容校驗(yàn)或分片處理。3.3 權(quán)限與ACL實(shí)戰(zhàn)為什么setOwner()總失敗Hadoop3.3.1的權(quán)限模型是Linux風(fēng)格的rwx三元組ACL擴(kuò)展。新手常犯的錯(cuò)是以為fs.setOwner(path, user, group)能隨意修改實(shí)際上它受三重限制執(zhí)行者必須是超級(jí)用戶或文件所有者如果你用hdfs用戶啟動(dòng)NameNode那么只有hdfs用戶或文件當(dāng)前所有者才能調(diào)用setOwner()。普通用戶執(zhí)行會(huì)拋AccessControlException。ACL必須顯式啟用在hdfs-site.xml中必須配置property namedfs.namenode.acls.enabled/name valuetrue/value /property否則setAcl()方法直接拋UnsupportedOperationException。遞歸設(shè)置需要遍歷setOwner()不支持-R參數(shù)必須手動(dòng)遍歷目錄public void setOwnerRecursive(Path path, String user, String group) throws IOException { RemoteIteratorLocatedFileStatus iter fs.listFiles(path, true); while (iter.hasNext()) { LocatedFileStatus status iter.next(); fs.setOwner(status.getPath(), user, group); } // 最后設(shè)置目錄本身 fs.setOwner(path, user, group); }我們?cè)龅揭粋€(gè)血案某數(shù)據(jù)平臺(tái)用hadoop fs -chown -R user:group /data成功但Java代碼調(diào)setOwnerRecursive()卻大量失敗。排查發(fā)現(xiàn)Shell命令走的是FsShell它會(huì)自動(dòng)切換到hdfs用戶執(zhí)行而Java客戶端用的是當(dāng)前Linux用戶權(quán)限不足。解決方案是在core-site.xml中配置hadoop.proxyuser.youruser.groups*讓youruser能代理任意用戶操作。3.4 高級(jí)特性快照、配額、存儲(chǔ)策略的Java控制Hadoop3.3.1的運(yùn)維能力已遠(yuǎn)超早期版本這些功能必須通過(guò)Java API才能發(fā)揮價(jià)值快照管理防止誤刪的最后防線// 創(chuàng)建快照 fs.createSnapshot(new Path(/data), backup_20231001); // 列出所有快照 RemoteIteratorSnapshotDiffReport diffIter fs.listSnapshotDiffReport(new Path(/data), backup_20230901, backup_20231001); // 恢復(fù)單個(gè)文件從快照拷貝 fs.copyToLocalFile(false, new Path(/data/.snapshot/backup_20230901/user.log), new Path(/tmp/recover_user.log));注意快照本身不占空間但刪除快照時(shí)NameNode要掃描所有Block引用計(jì)數(shù)大目錄快照刪除可能觸發(fā)NameNode Full GC。生產(chǎn)環(huán)境建議快照保留不超過(guò)7天。存儲(chǔ)策略冷熱數(shù)據(jù)自動(dòng)分層Hadoop3.3.1支持COLD、WARM、HOT等策略需先在hdfs-site.xml配置DataNode存儲(chǔ)目錄property namedfs.datanode.data.dir/name value[SSD]file:///data/ssd,[DISK]file:///data/disk/value /property然后Java中設(shè)置// 將歷史數(shù)據(jù)遷移到SSD冷數(shù)據(jù)變熱 fs.setStoragePolicy(new Path(/data/history), ALL_SSD); // 查看當(dāng)前策略 String policy fs.getStoragePolicy(new Path(/data/history)).getName();實(shí)測(cè)效果SSD策略下小文件隨機(jī)讀IOPS提升12倍但要注意SSD容量有限需配合配額使用。配額控制防止單個(gè)用戶拖垮集群// 設(shè)置空間配額字節(jié)和文件數(shù)配額 fs.setQuota(new Path(/user/alice), 1024L * 1024 * 1024 * 1024, // 1TB 1000000L); // 100萬(wàn)文件 // 查看配額使用情況 ContentSummary summary fs.getContentSummary(new Path(/user/alice)); System.out.printf(Usage: %d/%d bytes, %d/%d files%n, summary.getLength(), summary.getQuota(), summary.getFileCount(), summary.getFileCountQuota());配額是硬限制一旦超限create()直接拋NSQuotaExceededException。建議在用戶注冊(cè)時(shí)自動(dòng)創(chuàng)建家目錄并設(shè)配額比事后救火強(qiáng)十倍。4. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄那些文檔里不會(huì)寫(xiě)的坑4.1 典型異常速查表異常類型根本原因排查命令解決方案java.net.ConnectException: Connection refusedNameNode未啟動(dòng)或端口被防火墻攔截telnet localhost 9000檢查hadoop-daemon.sh start namenode確認(rèn)netstat -tuln | grep 9000org.apache.hadoop.ipc.RemoteException: User: youruser is not authorizedKerberos未登錄或票據(jù)過(guò)期klistkinit -kt /path/to/keytab youruserREALMjava.io.IOException: Failed on local exception: java.io.IOException: Response is null客戶端和服務(wù)器Hadoop版本不匹配hadoop version對(duì)比兩端統(tǒng)一升級(jí)到3.3.1檢查hadoop-client依賴是否干凈org.apache.hadoop.fs.ParentNotDirectoryException路徑父目錄不存在且未設(shè)置recursivetruehdfs dfs -ls /parent創(chuàng)建父目錄fs.mkdirs(new Path(/parent))java.lang.OutOfMemoryError: GC overhead limit exceeded處理超大目錄時(shí)listStatus()加載過(guò)多FileStatushdfs fsck /path -files -blocks改用listLocatedStatus() 分頁(yè)或增加JVM堆內(nèi)存4.2 生產(chǎn)環(huán)境必加的5個(gè)監(jiān)控埋點(diǎn)光靠日志不夠必須在代碼里埋點(diǎn)監(jiān)控關(guān)鍵指標(biāo)連接池健康度// 記錄連接池使用率 int active pool.getNumActive(); int total pool.getMaxTotal(); metrics.gauge(hdfs.pool.usage, () - (double) active / total);RPC調(diào)用耗時(shí)分布Timer timer metrics.timer(hdfs.rpc.latency); try (Timer.Context ctx timer.time()) { fs.listStatus(path); }Block位置獲取失敗率// 當(dāng)getFileBlockLocations()返回null或length0時(shí)告警 BlockLocation[] locs fs.getFileBlockLocations(status, 0, status.getLen()); if (locs null || locs.length 0) { alert(No block locations for path); }小文件數(shù)量預(yù)警// 監(jiān)控單目錄下文件數(shù)超10萬(wàn)觸發(fā)告警 FileStatus[] files fs.listStatus(path); if (files.length 100000) { alert(Too many files in path : files.length); }配額使用率ContentSummary summary fs.getContentSummary(path); double usageRatio (double) summary.getLength() / summary.getQuota(); if (usageRatio 0.9) { alert(Quota usage 90% for path); }4.3 性能調(diào)優(yōu)三板斧從配置到代碼第一板斧網(wǎng)絡(luò)層調(diào)優(yōu)Hadoop3.3.1的RPC客戶端默認(rèn)連接超時(shí)是ipc.client.connect.timeout2000020秒但在高延遲網(wǎng)絡(luò)下容易假死。生產(chǎn)環(huán)境建議property nameipc.client.connect.timeout/name value5000/value !-- 縮短到5秒 -- /property property nameipc.client.connect.max.retries.on.timeouts/name value3/value !-- 重試3次避免長(zhǎng)等待 -- /property第二板斧客戶端緩沖區(qū)FSDataInputStream默認(rèn)緩沖區(qū)4KB對(duì)大文件讀取是瓶頸。在core-site.xml中調(diào)整property nameio.file.buffer.size/name value131072/value !-- 128KB -- /property實(shí)測(cè)1GB文件順序讀取耗時(shí)從8.2秒降至1.9秒。第三板斧代碼級(jí)優(yōu)化避免重復(fù)get()FileSystem.get(conf)是重量級(jí)操作緩存實(shí)例比反復(fù)創(chuàng)建快100倍批量操作代替單條用fs.listStatus()一次獲取1000個(gè)文件信息比1000次fs.exists()快20倍異步刪除fs.delete(path, true)是同步阻塞的大目錄刪除可能卡住線程。改用ExecutorService提交異步任務(wù)。4.4 安全加固生產(chǎn)環(huán)境不可忽略的3個(gè)配置禁用WebHDFS除非絕對(duì)必要在hdfs-site.xml中設(shè)property namedfs.webhdfs.enabled/name valuefalse/value /propertyWebHDFS默認(rèn)開(kāi)放50070端口是攻擊面最大的入口。開(kāi)啟短路讀取Short-Circuit Local Reads當(dāng)客戶端和DataNode在同一臺(tái)機(jī)器時(shí)繞過(guò)TCP直接讀磁盤(pán)性能提升3倍property namedfs.client.read.shortcircuit/name valuetrue/value /property property namedfs.domain.socket.path/name value/var/lib/hadoop-hdfs/dn_socket/value /propertyRPC加密Hadoop3.3.1新增防止中間人竊取數(shù)據(jù)property namehadoop.rpc.protection/name valueprivacy/value !-- authentication/integrity/privacy -- /property5. 工程化落地如何把HDFS客戶端封裝成可復(fù)用的SDK5.1 SDK分層設(shè)計(jì)解耦業(yè)務(wù)與HDFS細(xì)節(jié)我們最終交付的SDK采用三層架構(gòu)避免業(yè)務(wù)代碼里散落FileSystem實(shí)例Core層HdfsClient接口定義read(),write(),list(),delete()等方法屏蔽FileSystem細(xì)節(jié)Adapter層DistributedHdfsClient實(shí)現(xiàn)封裝連接池、重試邏輯、監(jiān)控埋點(diǎn)Facade層HdfsTemplate提供模板方法如executeInTransaction()、streamRead()降低使用門(mén)檻。關(guān)鍵代碼片段// Facade層提供聲明式事務(wù) public T T executeInTransaction(SupplierT operation) { Path tempDir createTempDirectory(); try { T result operation.get(); // 成功后原子移動(dòng)到目標(biāo)路徑 fs.rename(tempDir, targetPath); return result; } catch (Exception e) { // 失敗清理臨時(shí)目錄 fs.delete(tempDir, true); throw e; } } // Adapter層的重試邏輯指數(shù)退避 public FileStatus[] listStatusWithRetry(Path path, int maxRetries) { RetryPolicy policy new ExponentialBackoffRetry(1000, maxRetries, 30000); RetryLoop loop new RetryLoop(policy); return loop.doRetry(() - fs.listStatus(path)); }5.2 測(cè)試策略沒(méi)有Mock的HDFS測(cè)試都是耍流氓單元測(cè)試不能只MockFileSystem必須覆蓋真實(shí)交互。我們采用MiniDFSClusterpublic class HdfsClientTest { private MiniDFSCluster cluster; private HdfsClient client; Before public void setUp() throws Exception { Configuration conf new Configuration(); conf.set(MiniDFSCluster.HDFS_MINIDFS_BASEDIR, /tmp/minidfs); cluster new MiniDFSCluster.Builder(conf).numDataNodes(1).build(); client new DistributedHdfsClient(cluster.getFileSystem().getConf()); } Test public void testWriteAndRead() throws Exception { String content Hello HDFS; client.write(new Path(/test.txt), content.getBytes()); byte[] result client.read(new Path(/test.txt)); assertEquals(content, new String(result)); } After public void tearDown() { if (cluster ! null) { cluster.shutdown(); } } }MiniDFSCluster啟動(dòng)一個(gè)嵌入式HDFS測(cè)試覆蓋率100%且比連接遠(yuǎn)程集群快10倍。5.3 上線 checklist一份不能跳過(guò)的核對(duì)清單?配置審計(jì)確認(rèn)core-site.xml和hdfs-site.xml已打包進(jìn)JAR且conf.addResource()路徑正確?依賴收斂mvn dependency:tree \| grep hadoop確保無(wú)多個(gè)Hadoop版本共存?連接池壓測(cè)用JMeter模擬200并發(fā)驗(yàn)證連接池不泄漏、響應(yīng)時(shí)間200ms?異常注入測(cè)試用Arthas動(dòng)態(tài)停掉NameNode驗(yàn)證客戶端重試和降級(jí)邏輯?監(jiān)控對(duì)接確認(rèn)Prometheus能采集到hdfs.pool.usage、hdfs.rpc.latency等指標(biāo)?日志分級(jí)DEBUG級(jí)別打印RPC調(diào)用詳情WARN級(jí)別記錄重試事件ERROR級(jí)別記錄不可恢復(fù)異常。我在某電商數(shù)據(jù)中臺(tái)上線這個(gè)SDK時(shí)按此checklist逐項(xiàng)核對(duì)上線后72小時(shí)內(nèi)零故障。最驚險(xiǎn)的一次是第3項(xiàng)壓測(cè)發(fā)現(xiàn)連接池在150并發(fā)時(shí)出現(xiàn)連接泄漏原因是FSDataOutputStream.close()未被調(diào)用——根源在某個(gè)try-with-resources寫(xiě)成了try-catch-finally但finally里漏了close()。這種問(wèn)題只有在真實(shí)壓測(cè)中才會(huì)暴露。最后再分享一個(gè)小技巧Hadoop3.3.1的日志級(jí)別控制非常靈活。如果想臨時(shí)查看RPC通信細(xì)節(jié)不用改代碼只需在啟動(dòng)JVM時(shí)加參數(shù)-Dhadoop.root.loggerDEBUG,console -Dlog4j.logger.org.apache.hadoop.ipcDEBUG這樣NameNode和客戶端之間的每一次RPC請(qǐng)求、響應(yīng)、序列化過(guò)程都會(huì)打印出來(lái)比任何文檔都直觀。真正的HDFS高手不是背熟API而是能在日志洪流中一眼定位到那個(gè)Call#12345的失敗鏈路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷丁香五月噜噜噜| 天天做天天爱天天爽| 99在线精品免费视频| 国产欧美大香蕉一区| 激情五月综合网| 婷婷五月花西瓜| www.色99| 热久精品| 成人在线高清| 激情九九综合网| 很很干天天干| 91久久久久久久91| 女高怪谈在线观看| 欧美综合激情| 婷婷五月丁香高清无码| 色五月AV| 午夜成人AV在线| 五月激情六月婷婷| 日韩青青| 综合色五月天| 五月色丁香| 夜色综合网| 99热成人在线观看| 激情5月婷婷| 91婷婷丁香| 五月婷婷官网色| 97在线观视频免费观看| A一级操| 久色网址| 91操在线视频| 91久久电影| 五月久久丁香| 日日做天天操夜夜爽| 999热在线视频| 99精品视频推荐| 丁香五月,激情五月,深爱五月| 丁香婷婷六月| 亚洲综合激情五月久久| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 婷婷五月天久久| 欧美精品久| 婷婷五月色网| 久久精品99国产精品日本| 亚洲欧美婷婷五月色综合| 在线中文亚洲| 9视频1在线| 十月丁香九月婷婷综合| 热婷婷av| 99热在线观看精品| 婷婷五月天性爱视频| 五月丁香黄色| wwww.9免费视频| 婷婷成人丁香色情基地30 | 丁香 婷婷 激情 综合 五月| 久久亚洲激情五码| 亚洲操操| 可以看的av| 伊人久久99| 六月婷婷久久| 久久总和99| 99re6久热只有精品6在线直播| 亚洲精品视频电影| 91九色欧美| 色播播婷婷| 九九久久腿| 五月婷婷婷婷婷| 亚洲性爱AV在线| 无码G高清天| 婷婷五月花| 天天做天天要天天爱| 九九激情网| 9热在线观看| 小视频久久久aaa| 亚洲成人AV电影网| 51国精产品自偷自偷综合| 婷婷在线中文字幕| 日日日天天干| 影音先锋男人资源站一区二区| 玖玖资源站中文| 久久综合55| 五月丁香龟婷婷| www.91av.com| 激情性五月天免费小说视频| av五月丁香| 五月天激情AV| 九九re视频在线视频| 五月丁香六月婷婷无码| 97热九九| 激情av| 婷婷激情四射| 成人做爰A片免费看视频| 99热在线网站| 97se视频在线| 九九精品在线视频观看| 538在线精品| 久久99久久99精品免观看软件| 综合色图婷婷| 久久久精品人妻录| 欧美WW在线网| 五月婷婷之综合激情| 久久这里只有国产| 久久婷婷五月综合色丁香花| 99热.com| 色欲九区| 激情五月天 婷婷| 五月天婷婷午夜丁香| 婷婷五月丁香综合| 草综合网| 亚洲九N| 人人摸人人干人人做| 啪啪五月婷婷| 另类小说色婷婷| 亚洲综合视频网| 久久久www| 亚洲艹网| 日本三级成人秘书精品片| 日逼免费视频| 97人人爱人人操| 色色五月天激情| 蜘蛛女免费观看完整版高清电影| 少妇水多A片太爽了| 色99超碰| 女婷久久| 婷五月天在线草| 日韩青青| 五月丁香婷草| 婷婷五月天色综合翘| 青青草伊人婷婷| 久久99热在线观看| 亭亭丁香aV| 国产伦亲子伦亲子视频观看| 九九热在线观看视频| 99热综合色图| 婷婷97狠狠成人网站| 欧美综合激情五月天| 97碰碰碰| www.婷婷六月天| 国熟女视频| 天天日天天肏天天奸| 婷婷丁香五月在线播放| 九九精品网站| 色色网站日本91| 久久婷婷综合五月天| 99热新网址| 欧美精品999| 亚洲中文乱字字幕线在永久| 久久性刺激| 99热这里只有精品8| 桔色成人官方网站| 久久五月天视频| 色婷婷久久| 久色网五月| 天天综合精品| 亚洲色99| 狠狠干2007| 日韩三及成人AV片| 俺去也五月| 99精品在线| 日韩欧美一区二区三区四区| 国产99久9在线| 99色| 亚洲六月婷婷| 婷婷五月综合在线视频| 婷婷精品视频| 96色婷婷| 中国丰满熟女A片免费观| 操骚货在线| 蜜臀A∨在线水帘洞| 91丨人妻丨国产丨丝袜| 国产精品扒开腿做爽爽爽A片唱戏| 26uuu在线观看| 婷婷欧美偷拍综合| 99啪啪网| 婷久久高清| 国产67194| 婷婷精品性性性性性性性| 激情AV| www.婷婷五月.com| 午夜69成人做爰视频| 婷婷综合在线| 亚洲九九99精品视频在线播放| 91人人网| 综合色视频| 丁香六月啪啪| 大香蕉婷婷丁香天堂AV| 亚洲天天| 色狠狠图片| 国产黄大片在线观看画质优化| 九九精品自拍| 99色性爰网络| 日日夜夜噜噜爽爽| 五月丁香六月婷婷,婷| 五月婷婷导航| 伊人大香蕉毛片| 久久99热这里只有精品| 欧美性爱中文字幕| 狠狠干综合网| 伊人婷婷色激情丁香| 99自拍视频在线观看| 五月婷婷9| 偷偷与邻居做爰完整视频| 色婷婷狠| 能看的av| 强伦轩人妻一区二区电影| 狠狠五月丁香色婷| 99五月丁香丁| 夜夜 操无码| 久久99jiu9| 超喷97免费在线视频| 91天天操天天干天天射| 六月婷婷八月丁香| 开心激情网五月| 狠色狠色狠色狠色狠色网| 久久综合综合久久| 色综合偷拍| 亚洲无码影音| 桃色成人网| 岛国av网站| 日本一毛片| 婷婷六月激情综合| 久久婷婷丁香六月天| 5月婷婷综合| 武则天精品久久| 久热精品在看| 久久五月婷综合网| 丁香五月停停av| 青草视频在线观看视频| 五月丁香久久| 97五月天| 六月丁丁香| 开心五月综合激情网| 99久久婷婷国产综合精品青桔| 五月丁香成年黄色| 久婷自拍视频| 九九色情网五月天| 嫩草视频。| 51精品国自产在线| 性做爰1一7伦| 噼里啪啦在线观看免费完整版视频 | 六月亚洲婷婷6月中文字幕| 欧洲亚洲免费视频9| 996精品热视频| 久久婷婷大香蕉| 色色999三级片| 国产性av| www.91五月| 大战熟女丰满人妻AV| AV电影在线播放| 六月综合婷婷开心伊人| 日韩AAAAA| 久久激情综合| 五月激情影视| 操人91| 久久99网| 五月天色五月| 亚洲人人操| 色色色色综合网| www.久热| 91人妻PORNY九色大屁股| 婷婷五月天色| 日本婷婷| 欧美搡BBBBB摔BBBBB| www.色综合| 精品人妻伦一二三区久久| 五月婷六月| 狠狠操狠狠操AV| 五月丁香婷婷成人网| 大香蕉啪啪啪| 色九月婷婷| 五月激情久久| 婷婷香五月天| 99热天堂| 97超碰综合| 五月色网| www狠狠| 欧美日韩999| 久久综合99| 五月天激情网站| 激情开心五月天| 久久丁香五月天| 国外亚洲成AV人片在线观看| 日逼影音先锋男人AV资源站| 91大操| AV网在线观看| 九九大香视频| 大香蕉久| 欧美日韩AAAAA| 色亭亭五月天网扯| 5月丁香六月婷婷| 五月激情婷婷开心| 91视频综合网| 人妻久久久久久久 | 色情五月丁香婷婷网| 99热这里只有精品10| 天干干夜夜操| 天天爽天天做| 色五月婷婷91| 五月综合色| 国产毛片精品一区二区色欲黄A片| 成熟妇人A片免费看网站| 九九无码AV| 91熟妇大香蕉| 丁香九月综合激情| 狠狠色狠狠干| 天天天日天天天干| 五月婷婷亚洲色视频| 日日色五月天| 色区域网站视频| 婷婷六月激情综合| 91玖玖| 久久综合五月| 日韩无码AV电影网站| 五月婷婷先锋| 婷婷五月香蕉| 五月婷婷丁香伦理网| 人人干AV| 色婷婷丁香五月| av九九| 欧亚成人A片一区二区| 一本色道久久综合狠狠躁一二三 | 9久精品视频| 97色干| www.色色色com| 91综合在线观看| 人妻AV在线观看| 六月丁香视频网站| 天天摸夜夜夜| 婷婷的99视频网站| 欧美私人家庭影院| 丁香婷婷午夜| 丁香五月婷婷深爱综合激情| 天天天天做夜夜夜夜做| 九九re精品视频在线观看| 天天插天天日| 欧美激情-区二区三区| 五月丁香好婷婷A片网| 色5在线| 热99精品视频| 久久色婷婷| 日韩丰满少妇无码内射| 日韩在线一级| 婷婷五月天激情偷拍| 丁香大香蕉| 五月色导航| 99热99热在线| 99精品在线| 人妻视频一区而且二区| 在线观看的av| 这里只有九九精品| 玖玖无码中文| 激情五月丁香五月综合| 91视频一起草| 99精品久久久久久久婷婷久久| 五月婷婷激情| 大地资源色婷婷视频在线 | 久99久视频| 五月丁香婷中文字幕| 狠狠干综合| 4399成人黄A片| 丁香六月激情国产| sS丁香五月婷婷| 天天日天天爱天天噪| 九九亚洲视频| 丁香五月天日韩无码| 色情综合| 丁香五月激情在线| 久久人妻精品| 五月丁香激情综合啪啪| 天天综合天天玩夜夜玩天天玩夜夜玩| 丁香久久综合| 99人人爽| 五月天婷婷六月激情网| 丁香五月婷婷AV在线| 深爱五月婷婷| 久色激情| 色婷婷先锋| 九九色婷婷| 99久久婷婷国产综合精品| 色五月婷婷基地| 国产精品视频久久99| 综合婷婷| 国产精品成人网站| se99在线| 丁香婷婷基地| 丁香伊人五月色婷婷五十路| 国产精品在线视频| 美欧日韩国产成人在战| 婷婷丁香久久网| 99热在线观看免费中文| 五月天色区| 中文字幕欧美日韩VA免费视频| 色婷婷精品视频| 丁香婷婷六月天| 久久狠狠干| WWW色五月| 婷婷在线播放av| 直接看的av| 99在线精品免费视频| 婷婷激情人妻| 丁香六月亚洲综合| 91丨九色丨东北熟女| 久99久视频免费观看| 99re这里有精品手机在线| 91天天操天天干天天射| 丁香久久九九99| 人人舔人人色人人高潮| 亚洲精品成人| 啪啪东京热| 婷婷五月丁香婷婷| 久久婷婷五月天| 另类激情五| 激情网综合| 婷婷久久五月| 五月天久久婷婷| 丁香五月天在线观看| 国产日韩精品SUV| 天天久久狠狠色综合| 天天爽夜爽| 1024在线一区| 亚洲色色图片| 五月天激情电影| 六月大香蕉| 激情五月四色| 中文字幕成人网站| 天天摸天天舔天天爽| 久久婷婷色色| 九九精品热播| 五月婷婷色五月| 日本久久色| 色综合色综合色综合高潮| 第四色激情网| 大香蕉99热| 婷婷五月天色播| 五月婷婷性爱网| 色婷婷六月综合| 99热这里有精品| 国产毛片精品一区二区色欲黄A片| 久久多色| 国产avapp 网| 色狠狠综合入口| 欧美色爱五月天| 激情性爱五月天网页| 26uuu.| 99热精品中文字幕| 色五月综合激情| 婷婷婷久久久| 成人网丁香五月| 婷婷开心五月| 五月天大香蕉视频| 天天色激情| 蜜桃婷婷丁香综合久久开心亚洲| 777丁香六月青青草婷婷综合久月| 五月丁香综合网| 五月婷婷综合激情网| 91丨九色丨熟女| 综合激情专区| 人人爱摸视频| www综合久久| 这里只有久久精99| 葵花AV在线| 96五月丁香熟女| 色综合99无码| 日日夜夜综合| 五月丁香六月综合图| 久热这里只有精品66| 97精品人人A片免费看| 亚洲激情电影五月天色婷婷丁香一起草| 五月色亚洲| 久久五月丁香婷婷| 婷婷色影院| 天天做天天爱天天摸| 久久九九色| 操操操操操操婷婷五月天| 欧美日韩成人| 亚洲国产精品五月天| 九九成人| 蜜乳.comcom| 五月丁香色婷婷| 久久久er热| 噼里啪啦在线观看免费完整版视频| 色激情综合狠狠婷婷| 99热这里只有精品8| 婷婷五月综合色中文字幕| 久久婷色| 伊人干练久| 中日韩美欧成人一区二区精品在线| Va另类视频| 五月停停999| 久久丁香五月| 欧美成人A片AAA片在线播放 | 丁香五月日啪| 超碰免费成人网站| 五月激情久久综合网| 九九热内射| 天天干夜夜谢| 国产免费一区二区三州老师F1F1| 涩五月婷婷| 在线va网站| 国产乱子轮XXX农村| 秋霞簧片| 精品视频网| 久久人人妻| 91丨九色丨丰满人妖| 伊人婷婷五月天| 天天弄天天爽| 亚洲欧美日韩VIP| 丁香五月中文字幕久色| 伊人久久大香天蕉亚洲特级| 久久精品9| 97人人干| 青柠影视免费高清电视剧| 婷婷丁香五月欧美人| 五月综合激情图片| 久久五月激情综合| 婷婷欧美色| 成人美女网| 青青草原福利在线| 91久久电影| 九九亚洲视频| 丁香婷婷五月天色播| 五月天婷婷青青草| 久久九精品| 97av在线视频| 久久综合久色欧美综合狠狠| 丁香午夜天| 五月丁香操婷逼| 丁香五月影院| 欧美综合激情五月天| 97日本在线| 99热九九在线| 9久9久| 99热99色| 深爱五月天天| av第一二区| 激情五月天在线视频| 五月婷婷和六月| www狠狠爱com| 成人av免费观看| henhencao国产在线| 超碰2021| 亚洲不卡| 无码婷婷五月天| 美腿丝袜AV天堂网| 婷婷五月天成人网| 亚洲欧美另类在线23p| 激情婷婷久久| 无码少妇高潮喷水A片免费| 五月婷婷啪| 亚洲色综合| 国产一级视频a| 日韩综合久| 色网站99| 色婷婷AⅤ| 五月婷婷综合在线| 色噜噜狠狠插综合| 久久天天天| 玖玖婷婷五月天毛片| 玖玖无码中文| 天天日婷婷| 91大神操美女| 婷婷大香焦| 96精品久久久久久久久| 操逼福利视频| 91网站黄| 97大香蕉五月天| 超碰色色综合| 思思re视频在线| 99爽视频| 九色成人AV在线| 9 1超碰九色| 婷婷综合五月色播| 日韩成人av在线| 天天色中文字幕女优AV| www.婷婷| 成人丁香婷婷| 丁香五月熟女| 日韩操人| 99精品视频在线观看| 色婷婷4| www.五月天婷婷| 99热在线观看| 天天肏视频| 四月婷婷丁香| 天天干夜夜操A片| 色色综合院| 99色色网| 在线网黄| 深爱激情69热| 天天做天天爱天天日| 美腿丝袜AV天堂网| 欧洲MV日韩MV国产| 亚洲AV免费在线| 开心激情网五月| av在线超清中文| 丁香五月性爱爱五月| 92久久精品一区二区| 97视频.干com| 亚洲综合丁香五月天| 高潮毛片遮挡费高一百度| 久久免费试看120秒| 俺去也五月| 超碰免费人妻| 99热在线精品观看| 五月丁香六月婷婷在线小说视频| 婷婷成人综合| 9 大屁股在线视频精品| 婷婷成人基地| 色五月在线观看| 99色热视频在线| site:ornaments52.com| 久久久思思热| 9久热免费视频99| 天天色凹凸| 疯狂做受XXXX高潮A片| 免费亚洲婷婷中文字幕| 色色AV色色色东莞| 久热视频这里只有精品68| 丁香五月激情婷婷视频| 97色色综合| 丁香婷婷浪潮AV久久综合| 色婷婷亚洲婷婷| 26uuuavcom| 97色婷婷成人综合在线观看| 日本99视频精品免费播放| 丁香花社区av| 202丰满熟女妇大| 激情婷婷| 日韩操逼大片| 草五月| 影音先锋人妻出差| 婷婷五月天AV激情| 五月激情婷婷图片基地| 97久久久久| 中文字幕黄色电影网址| 日逼影音先锋男人资源站| 国产在线aaa片一区二区99| 色九区| 五月婷婷色播| 久久激情网| 婷婷丁香色情五月天| 婷婷色色播五月天| 天天爽天天弄| 亚洲日本激情| 99小视频在线| 九九九热精品| 亚韩在线视频| 五月婷婷AV| 久久九九综合| 99热综合色图| 丁香五月婷婷婷桃花影院| 99热 日韩| 亚洲字幕AV一区二区三区四区| 婷婷色五月天在线观看| 亚洲操逼片| 久久五月天色婷婷| 婷婷丁香色性爱| 久久99激情五月天| 超碰97在线观看免费| 国产成人精品一区二三区熟女在线| 91超碰人人操| 五月婷丁香| 激情六月综合| 这里只有精品免费视频| www.久久爱| 99热老网站| 91AV婷婷| 久久婷婷五月综合色奶水99啪| 五月天天天天天天天天天天天天天天天婷婷婷| 丁香五月电影| 色婷婷www| 色欲久久久久| 五月婷婷激情综合网 | Av九九| 色婷天天| 丁香婷婷六月天| 大香蕉网站,大香蕉综合| 欧美久久网| 开心五月婷婷婷美女| 2015超碰| 五月天婷婷爱| 五月婷婷激情| 91狠狠综合久久久| 色涩视频久久| 中文AV网站| 国内久久婷婷| 婷婷综合偷拍| 亚洲熟女乱色综合亚洲网站| 国内一级精品| 色一情一乱一乱一区91| 第四色激情网| 精品国产va久久久久| 男人天堂伊人五月丁香| 六月婷婷无码观看| 五月天激情AAAA| 日本熟女一区二区| 丁香五月亚洲| 婷婷激情综合| 久草视频一,二三四| 99热爱爱干干日| 婷婷五月天成人网| 97色婷| 国产欧美精品AAAAAA片| 狠狠干.com| 久久蜜臀婷婷| 婷婷五月中文字幕| 婷婷激情性爱| 啪啪色激情五月天| 9999热精品在线免费播放| AⅤ色区| 久狠日av| 99久久五月婷婷| 秋霞AV淫| 久久久性爱视频| 国产精品99久久久久久久女警| 九九九九精品精| 亚洲图片 丁香婷婷| 激情婷婷网| 五月天婷婷綜合院| 久久婷婷五月综合97色一本| 亚洲综合网激情小说| 五月丁香六月婷婷在线播放| 99久久极情精品一区| 日本激情91| 天天日综合| 三年高清大片免费观看国语| 五月丁香亭亭A片| 五月天激情网址| 色婷视频| 五月丁香婷婷激情| 国产成人99久久亚洲综合精品| 丰满人妻一区二区三区| 99热这里只有精品2| 精品国产AV色一区二区深夜久久| 99天堂在线观看免费视频| 丁香五月综合无码趴趴| 欧美色图天堂网| 色久婷婷网| 亭亭五月天黑人2014| 人妻久久人妻久久第一区| 天堂色婷婷| 97精品综合久久| 激情婷婷五月丁香啪啪啪| 激情久久网 | 俺去啦综合网| 欧美日比视频| 国内外色色色色色成人视频| 碰久久精品w| 99久在线精品| 五月综亚洲| 婷婷狠狠色| 激情视频网址| 亚洲欧洲中文日韩久久AV乱码| 伊人成综合五月婷婷| 网色99| 五月丁香网中文字幕| 五月天.com| 久久激情视频| 久久婷婷六月综合国际| 99日精品视频| 91热er| 日日噜狠狠色综合久| 久久九九网| 丁香狠狠干| 大香蕉免费9| 热久久思思热思思| 久久99热在线观看| 99综合网| 色色色五月天激情资源| 亚洲色情久久| 丁香五月婷婷手机| 日韩另类| 久久se 综合网| www.色综合.com| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 久热伊人| 伊人久久五月天| 97视频久久| 九九综合九| 狼人婷婷久久| 99热99精品在线观看| 五月婷婷丁香啪啪| 欧美成人AAA片一区国产精品| 99在线热视频| 丁香婷婷久久激情| 夜夜躁婷婷AV| 亚洲精品国产A久久久久久| 五月丁香九九| 深爱激情四射| 久久婷婷综合国产| 久久久久亚洲AV综合| 激情五月婷| 天天射天天射一道本日本社区| 久久婷婷国产| www婷婷色| 午夜天堂啪啪| 亚洲色情在线| 91超级碰碰碰| 97电影99热| 九九免费在线视频| 在线中文字幕视频| 久9热在线免费观看| 色五月丁香91| 开心五月综合激情网| 六月丁香好婷婷| 99热只有这里有精品| 激情文学 综合 九月| 99成人网站| 91九色中文字幕女在线观看| 色五月综合激情网| 五月婷婷干干干| 五月花免费视频| 日韩精品AV一区二区三区| 美女精品一级不卡视频| 五月天婷婷青青草| 激情五月综合亚洲另类| 九九亚洲无码| 久久亚洲婷婷| 狠狠操综合| 五月丁香激| 青青草原精品久久| 99精品在线| av色婷婷| 色色色色色综合| 99精品偷自拍| 99在线精品观看99| 涩五月婷婷| 欧美日韩二区在线| 99色色热热| 婷婷色综合| 丁香五月大香蕉在线99| 婷婷五月黄色激情在线| 欧美精品啪啪| 丁香婷婷综合喷| 婷婷五月天深爱| 久久这里都是精品| 香焦网五月天| jiqingliuyuetian| 99ER热精品视频| 六月丁香婷婷五月天| 婷婷丁香五月激情密臀av| 91狼友视频在线观看| oumeisesewang| 色色综合网站| 色五月婷婷影院| 亚洲第79页| 国产黄色在线观看| 26uuu国产色| 五月丁香啪啪啪啪| 国产精品国产| 亚洲欧美一区二区三区四区爱爱动图| 91 九色大美女| ss五月天激情| 久久精品99| 色婷婷久久综| 99色网站| 日本wwww在线| 中文字幕 久久9999| 天天干天天干天天干| 丁香婷最新动态| 99热这里都是精品| 999久久久国产精品| 天天碰夜夜爽| 99热99精品在线观看| 丁香五月亚洲无码| 91九色首页| 五月天激情黄色小说在线观看| 少妇激情五月婷婷| 超碰91在线| 久操操| 婷综合| 六月婷婷久久| 9九色首页| 久七香蕉| 狠狠操狠狠操| 九九久久精品國產| 激情五月丁香六月| 久久婷鲁| 日日操日日爽| 久久久久久久久月丁| 亚洲久久婷婷丁香五月天| 嫩草AV久久伊人妇女超级A| 亚洲色9| 伊人五月综合网| 婷婷九月色| 日韩成人无码人妻| 色播婷婷大香蕉| 大香蕉九操| √天堂资源在线人妻熟女| 婷婷色啪| 黄色精品五月婷婷| 亚洲婷婷丁香| 99热这里只有精品8| httpwww色com日本| 亚洲色vA| 日碰日| 亚洲国产精品综合色区| 超碰天堂网| 色五月六月婷婷| 96丁香婷婷九月蜜桃综合久久| 色婷婷五月综合在线| 亚洲精品V天堂中文字幕| 婷婷五月天亚洲天堂| 亚洲精品又粗又大又爽A片| 天天日狠狠| 国产精品久久久久久久久久免费| 婷婷5月开心6月| AA片在线观看视频在线播放| 丁香久久五月天视频在线观看| 久久精品一区二区三区四区| 色视五月天婷婷| 五月Huangsewang| 婷婷五月天成人基地| 婷婷丁香久久网| 99热这里只有精品免费观看| 九月av在线| 欧美色频| 91丨九色丨熟女|新版| www.色综合| 九九av| 九九久久99| 无码毛片992367| 色婷青青| 日操夜撸| 丁香六月激情毛片| 激情图片婷婷| 狠狠色综合网| 中文字幕在线观看视频www| 天天做天天爱天天爽在| 男同91| 99成人小视频| 秋霞少妇毛片| 久久婷婷综合国产| 97热视频| 久热超碰| 精品成人无码A片观看香草视频| 婷久久久| 五月丁香六月婷婷啪啪| www.henhenl| 亚洲激情五月天| 天天做天天爱天天爽在| 亚洲综合五月天婷婷| 日本五月婷| 99日逼视频| 五月婷婷六月丁香综合在线| 99热欧| 日本久久久97| 狠狠色成人影片| 人人操日| 六月丁香啪啪| 婷婷丁香五月噜噜噜| 欧美日韩中国| 欧美婷婷日本| 91精品电影18T| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 啊v视频在线观看| 日本熟女三区| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | AV中文在线| 国产美女无遮挡裸体毛片A片| 天天天摸夜夜夜玩| 丁香五月成人丝袜| 91精品久久久久久| 婷婷五月情色| AV在线不卡网站| 日韩在线视频网站| 思思视频这里是精品| 玖玖99婷婷| 天天干天天干天天干| 五月婷婷在线丁香| 久久艹 五月天| 十一月婷婷激情四射| 一级黄色影片| 欧美性生交XXXXX无码小说| 婷婷五月天免费视频| 激情综合五| 农村熟妇高潮精品A片| 五月丁香操亭亭网| 91精品在线看| 欧类av怡春院| 久久天天| WWW·天天操·视频?| 国产精品成人网址| 久久网日本| 五月丁六月香av| 五月丁香趴趴| 99精品综合| 婷婷五亚洲| 9久久婷婷国产综合精品性色| 图片区 小说区 区 亚洲五月| 天天爱夜夜爽| 色综合婷婷| 碰97 久| 激情九色| 激情婷婷五月天网址| 一级无码作爱片| 九月丁香婷婷| 夜夜爽天天日| 六月婷婷激情图片| 黄色三级毛片中字| 久久五月天色婷婷| 情五月亚洲婷婷| 成人AV网站在线| 九九色婷婷| 五月婷婷免费看| 亚洲综合激情五月久久| 色99久草在线| 久久婷婷视频| 综合激情深爱| 丁香五月天激情| 欧美久久九九| 91丨九色丨东北熟女| 激情小说 五月天| 激情综合婷婷| 伊大人久久| 亚洲成人免费在线| 亚洲最大五月六月丁香婷婷| 欧美色色色| 99视频日韩| 综合网五月| 五月激情婷婷在线| 久久久色婷婷五月天| av在线观看网址| 丁香五月天啪啪| 日日操天天操| 婷婷开心青青草| 日本久久视频| 九月丁香久久网| 色五月首页| VfJxEwPH| 丁香婷婷五月天网站| 婷婷中文字幕在线| 无码AV久久久久久久久| 激情人妻综合| 丁香五月婷婷成人网| 99热最新网址| 99在线视频喷水| 五月丁香啪| 成人五月天丁香婷| 激情婷婷五月天在线观看| 婷婷天堂站| 97性高潮久久久| 无码日本精品XXXXXXXXX| 成人av在线网址| av在线色五月丁香婷区久| 久久xxxx| bukadeavzaixian| 午夜69成人做爰视频| 亚洲乱码在线观看| 久久九九在线视频| 六月丁香成人| 大香蕉免费9| 99热爆在线| 婷婷久久五月| 激情AV在线| 69色色视频| 夜夜涩涩涩| 丁香色成人| WWW色色色COM| 无码少妇高潮喷水A片免费| 色婷婷久久综合| 激情五月色播五月| 人人天堂操| 五月天激情国产综合婷婷婷就去爱| 婷婷综合av| 五月婷婷六月激情| 思思热在线视频精品| 久久丝袜婷婷| 五月天婷婷婷| 五月天色导航| 五月丁香婷婷福利| 另类精品视频在线观看| 婷婷激情综合色五月久久91| 国产乱人偷精品人妻A片| 97人人操人人干| 欧美性色视频| 欧美va欧美va差| 色亭亭五月天网扯| 66精品国产成人| 丁香五月色网| 丁香五月天亚洲综合| 99视频在线观看地址| 九九在线视频| 91九色国产| 伊人激情影院| 丁香六月色婷婷综合| 婷婷亚洲丁香五月| 9九热视频| 婷婷色丁香五月| 色婷婷情片| 91精品久| 五月婷婷色在线| 五月婷婷激情网| 少妇激情五月天| 丁香五月影视| 激情网婷婷五月天| 丁香涩涩爱| 射久久丁香五月| 中文字幕丁香五月| 激情小说五月丁香在线视频观看视频| 九九AV在线| 超碰资源在线| 美女伊人久久| 超碰免费电影| 婷婷五月天免费99| 免费无码毛片一区二区A片| 天天综合精品| 婷婷婷婷婷婷婷五月丁香| 久青操| 五月丁香六月激情综合| 精品久久久人妻| 亚洲综合婷婷六月丁香五月| 九九热在线观看视频网站| 26uuu淫色| 久久99热这里只有| 玖玖国产视频一区| 91超级碰碰碰| 激情综合无码| www.91九色| 亚洲网站999| 操比激情五月综合| 五月丁香毛片| 99久久新视频| 亚洲AV无码成人精品电影| 99在线综合视频| 玖玖玖婷婷婷| 69人人操人人爽| 久草视频大香蕉99| 超碰啪啪网| www色哟哟| av婷婷丁香| 无语停婷丁香网| 综合久久十| 99精品久久久久久久久| 久久久五月天婷婷| 婷婷黄色网| 日本wwww在线| 91精品久| 婷婷色基地在线看| 五月天婷婷涩涩| 九九美女视频| 激情淫乱男女| 五月丁香人妻| 1024成人在线观看| 丁香五月婷婷激情四射| 99久久99视频| 色五月激情| www.超碰在线| 秋霞免费三级片| 九九热只有这里精品| 综合久久婷婷五月丁香| 99久久99热| 五月丁香综合久久| 激情五月天网页| 天天擼久久擼在线| 色色色.COM| 99精品视频免费| 很很干天天干| 91se在线观看| 久久资源网五月婷| 久久亚洲婷婷| 天天做天天爽| 99re在线播放| 成人αV视频免费观看| 久99在线| 碰碰碰97免费精彩视频| 日本久久99久久| 中文字幕九九九九| 婷婷久草| 色婷婷中文字母五月丁香| 五月丁香六月婷婷中合网| 久久这里有精品99| 99热这里只要精品免费| 五月人妻婷婷视频| 天天综合久久| 国产日比| 99视频精品| 亚洲无AV在线中文字幕| 九日日夜夜69| 狠狠色丁香婷婷| 亚洲一区国产传媒| 精品激情| 二人电影免费版在线观看| 色五月欧美| 日本玖玖在线| 一本色道久久综合狠狠躁小说| 六月婷婷久久| 久久久这里都是精品| 天天摸天天舔天天爽| 五月天婷婷黄色| 开心网五月色婷婷| 五月激情网站| 五月丁香六月欧美综合网站| 免费看欧美成人A片无码| 久久五月婷天天干| 五月婷婷亚洲色图| 色婷婷19| 久久亚洲婷婷综合色五月| 丁香五月婷婷亚洲另类| 综合激情站| aa久久| 337p大胆噜噜噜噜噜91Av| 婷婷97色| 99免费青青蜜臀| 91热99| 色青青五月| 伊人五月丁香| 综合网啪啪| 9999久久久久| avh片在线观看| 91久久五月天| 色婷婷狠狠干| 日日操,夜夜撸| 蜜臀99精品| 99视频在线| 九月激情婷婷丁香| 日韩高清久久| 丁香五月天在线视频| 中出内射的人妻视频| 日本美女五月天| 五月婷婷综合在线| 以及AA大片看看| 激情婷婷久久| 色噜噜,噜噜色| 久久久久久人妻久久久久久久久久人妻久久久| 久久久久亚洲AV成人无码电影| 五月丁香婷婷色| 真实熟女-91九色| www.五月婷婷| α久久| 美国十月色婷婷在线观看| 人妻人人操| 香蕉99网| 亚洲另类电影| 综合五月天天天天天五月| 免费精品99| 1024人妻| 99热97美女| 婷婷四色五月| 可以观看的AV| 999热在线视频| 亚洲无AV在线中文字幕| 激情国产五月| 久久色婷婷| 日韩久久这里只有精品| 久久久久网站| 天天操夜夜操| 激情人妻蜜夜系列区| 色婷婷五月综合在线| 亚洲综合网激情小说| 俺去也五月天| 丁香五月婷婷啪啪| 亚洲国产黄色电影| 深爱五月月天| 激情五月天激情综合网| 久久99综合| 伊人大香蕉爱聚| 婷婷黄色| 欧美天天干天天草| 婷婷九月激情| 狠狠色噜噜狠| 黄色五月婷婷| 狠狠干青青草| 九九久久五月天| 国产99久| 超碰在线99| 99色免费观看全部|