欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Sqoop批量數(shù)據(jù)處理全攻略:原理、調(diào)優(yōu)與避坑指南

Sqoop批量數(shù)據(jù)處理全攻略:原理、調(diào)優(yōu)與避坑指南 Sqoop這東西做大數(shù)據(jù)的人基本都繞不開。尤其是在傳統(tǒng)數(shù)倉和大數(shù)據(jù)平臺切換交接的階段每天會有大批量業(yè)務(wù)表需要從關(guān)系型數(shù)據(jù)庫同步到HDFS、Hive有時候還要反向?qū)Щ厝?。很多人用Sqoop只停留在“能用就行”拷一段命令改改表名就跑了但真到了數(shù)據(jù)量上來、任務(wù)報告、批量執(zhí)行頻繁出錯的時候才發(fā)現(xiàn)自己對它的理解還是太淺。我早年做數(shù)倉遷移時天天跟Sqoop批量任務(wù)打交道踩過的坑能寫滿一個記事本。從最基礎(chǔ)的連接器原理到增量同步的方案選型再到Map端并發(fā)參數(shù)怎么調(diào)才既能跑得快又不把業(yè)務(wù)庫壓垮都一點點摸了出來。這篇文章我會把Sqoop批量處理的全鏈路拆開講一遍底層原理、關(guān)鍵設(shè)計、實操步驟、調(diào)優(yōu)方法以及最常見的幾個坑和排查思路。不是純理論復(fù)述更像是我這幾年用Sqoop做批量同步的經(jīng)驗沉淀你可以直接對著操作。1. Sqoop的核心機制與工作原理拆解1.1 連接器驅(qū)動的架構(gòu)Sqoop如何和不同數(shù)據(jù)庫打交道很多人第一次接觸Sqoop會被一個概念繞暈為什么導(dǎo)入導(dǎo)出命令要寫--driver和--connect這兩個參數(shù)到底管什么要搞懂這個得先說清楚Sqoop的插件化架構(gòu)。Sqoop本質(zhì)上是一個翻譯層它本身不直接實現(xiàn)數(shù)據(jù)庫協(xié)議而是通過連接器Connector來適配不同的數(shù)據(jù)源。每個連接器知道怎么和特定類型的數(shù)據(jù)庫通信、怎么生成對應(yīng)的讀寫邏輯。常見的連接器有Generic JDBC Connector通過標準JDBC接口連接任意支持JDBC的數(shù)據(jù)庫適用范圍最廣。MySQL Connector針對MySQL做了一些特定優(yōu)化比如使用mysqldump提取數(shù)據(jù)速度比純JDBC方式更快。PostgreSQL、Oracle、SQL Server等也都有專門的連接器。這個設(shè)計帶來的直接好處是只要Hadoop生態(tài)和數(shù)據(jù)庫之間能用一個連接器對上Sqoop就能完成批量搬運。你在命令里寫--connect jdbc:mysql://...時Sqoop會先加載對應(yīng)的JDBC驅(qū)動然后連接器會根據(jù)這個JDBC URL判斷出具體數(shù)據(jù)庫類型再調(diào)用對應(yīng)的連接器實現(xiàn)。實操中很多人遇到“Sqoop連接不上MySQL”的問題大概率就出在驅(qū)動層沒有把mysql-connector-java.jar放到$SQOOP_HOME/lib目錄。Sqoop不像普通Java應(yīng)用那樣可以把依賴打包到classpath里它啟動時是在lib目錄下掃描JDBC驅(qū)動的。你寫上--driver com.mysql.cj.jdbc.Driver但是lib里沒有對應(yīng)jar包命令會直接報ClassNotFoundException。這部分我建議剛開始用Sqoop的人先花十分鐘驗證一下環(huán)境把驅(qū)動jar放進lib之后再跑一個最簡單的sqoop list-databases命令能正常列出來就說明連接鏈路是通的。1.2 MapReduce批處理模型下的數(shù)據(jù)搬運邏輯Sqoop另一個容易讓新人困惑的點是它看起來是一個命令行工具但內(nèi)部其實跑的是一個MapReduce作業(yè)而且只有Map階段沒有Reduce階段。為什么不需要Reduce因為數(shù)據(jù)搬運的核心邏輯是并行讀取和寫入不需要跨節(jié)點聚合。Sqoop通過JDBC從關(guān)系型數(shù)據(jù)庫查詢數(shù)據(jù)按一定規(guī)則切分成多個分片split每個分片交給一個Map任務(wù)去拉取拉到的數(shù)據(jù)直接寫入HDFS。沒有Shuffle沒有Sort沒有Reduce這既簡化了流程也減少了網(wǎng)絡(luò)開銷。具體流程可以這樣理解Sqoop客戶端解析命令參數(shù)生成一個MapReduce作業(yè)的配置。作業(yè)啟動前Sqoop通過數(shù)據(jù)庫元數(shù)據(jù)拿到目標表的結(jié)構(gòu)包括列名、類型、主鍵、行數(shù)預(yù)估。根據(jù)主鍵或查詢條件計算分片邊界生成多個split。每個Map任務(wù)打開自己的JDBC連接執(zhí)行帶邊界條件的查詢把結(jié)果集寫入HDFS臨時目錄。寫入完成后把臨時目錄中的數(shù)據(jù)移動到最終輸出目錄或用--hive-import的方式加載到Hive表。我有時候會把Sqoop比作一個調(diào)度員它通知每個Map工人去數(shù)據(jù)庫領(lǐng)一段單子分片查詢工人領(lǐng)完貨直接搬到指定倉庫HDFS路徑貨搬完后調(diào)度員再做一次清點歸檔commit。整個過程遵循MapReduce的容錯機制某個Map任務(wù)失敗會自動重試但重試之前已經(jīng)寫入成功的一部分數(shù)據(jù)不會重復(fù)寫這個由OutputCommitter控制。這個底層邏輯對你的實操影響非常大后面講并發(fā)調(diào)優(yōu)時我會反復(fù)提到它。1.3 分片策略與數(shù)據(jù)條帶化任務(wù)粒度如何決定Sqoop怎么決定一個表要分成多少個Map任務(wù)去讀這取決于-m參數(shù)即Map數(shù)和分片字段的邊界計算。默認情況下Sqoop使用主鍵列作為分片字段split column。如果沒有主鍵必須顯式指定--split-by比如--split-by id。如果既沒有主鍵又沒有指定分片字段Sqoop會報錯No primary key found...告訴你它不知道按什么切分數(shù)據(jù)。分片邊界計算的大致邏輯是先查出分片字段的最小值和最大值比如MIN(id)1, MAX(id)10000然后根據(jù)Map數(shù)比如4計算出每個Map任務(wù)負責的范圍Map1負責 id 1~2500Map2負責 id 2501~5000Map3負責 id 5001~7500Map4負責 id 7501~10000每個Map任務(wù)生成的SQL類似SELECT * FROM table WHERE id 1 AND id 2500。所以這里有一個非常關(guān)鍵的優(yōu)化點分片字段的值分布必須均勻。如果主鍵是自增ID那分布通常比較均勻任務(wù)切分也很舒服。但如果--split-by選擇了一個分布很不均勻的字段比如一個只有0和1兩種值的狀態(tài)字段就會出現(xiàn)數(shù)據(jù)傾斜處理大量數(shù)據(jù)的Map任務(wù)跑得很慢其他Map任務(wù)早就跑完了整體效率被一個慢任務(wù)拖住。另外Sqoop并不是嚴格按數(shù)值均分來計算邊界它內(nèi)部用的是SqoopSplitter的算法會嘗試把范圍均勻切分。遇到字符串類型主鍵時還會用字符串范圍切分但要小心字符串邊界計算的精度問題。實操中我用UUID字符串做主鍵的表做增量導(dǎo)入時出現(xiàn)過重復(fù)或漏數(shù)的邊界問題后面在常見問題章節(jié)會細講。提示如果沒有極特殊原因永遠給導(dǎo)入表設(shè)計一個數(shù)值型自增主鍵并把它作為默認的split column。這是Sqoop批量處理最省心的一種結(jié)構(gòu)。2. 批量處理場景下的關(guān)鍵設(shè)計與性能關(guān)鍵點2.1 增量數(shù)據(jù)批量同步append、lastmodified與自定義查詢?nèi)粘I(yè)務(wù)里全量導(dǎo)入往往只發(fā)生在初次遷移階段真正的常態(tài)化任務(wù)全是增量同步。Sqoop提供兩種內(nèi)置增量模式但只要場景復(fù)雜一點我更推薦用自定義查詢下面逐個說。--incremental append模式適合只會插入、不會更新舊記錄的表。它依賴一個遞增列通常是主鍵或時間戳用法是sqoop import \ --connect jdbc:mysql://localhost:3306/business \ --username root \ --password 123456 \ --table orders \ --target-dir /data/sync/orders \ --incremental append \ --check-column id \ --last-value 100000它的含義是把表中 id 大于 100000 的數(shù)據(jù)全部導(dǎo)入。每次跑完后Sqoop會把本次導(dǎo)入中最大的id值記錄到meta_table中下次你只要指定--last-value為上次結(jié)束的位置就行。如果配合Sqoop的meta元數(shù)據(jù)機制還可以自動獲取last-value但大多數(shù)人還是習慣手動維護這個值。--incremental lastmodified模式適合有更新時間戳的表它會根據(jù)--check-column指定的時間列導(dǎo)入last-value之后被修改過的所有行。這個模式要注意如果表格里既有新增又有修改依賴修改時間能覆蓋到但要求業(yè)務(wù)系統(tǒng)在更新記錄時必須修改這個時間戳字段否則漏數(shù)。這兩種內(nèi)置模式的最大問題是它們只能做“追加或時間窗口”式同步?jīng)]法滿足“每天只同步狀態(tài)為已支付的訂單”這種帶過濾條件的增量需求。所以我處理復(fù)雜增量任務(wù)時普遍改用自定義查詢sqoop import \ --connect jdbc:mysql://localhost:3306/business \ --query SELECT * FROM orders WHERE create_time 2024-01-01 AND status PAID AND \$CONDITIONS \ --split-by id \ --target-dir /data/sync/orders \ -m 6注意這里有個硬性要求查詢SQL中必須包含\$CONDITIONS占位符Sqoop會用它替換成分片條件。在bash命令行里$CONDITIONS需要轉(zhuǎn)義成\$CONDITIONS否則會被shell變量替換變成空字符串。我在第一次寫這個命令時就被坑過直接報SQL語法錯誤。2.2 數(shù)據(jù)一致性保障無主鍵表、事務(wù)邊界與中途失敗批量導(dǎo)入最怕的不是慢而是數(shù)據(jù)不對重復(fù)一批、漏掉一批、或者表結(jié)構(gòu)和數(shù)據(jù)類型對應(yīng)不上。先說說無主鍵表。Sqoop導(dǎo)入如果目標表沒有主鍵且沒指定split-by會直接拒絕。但真實業(yè)務(wù)里確實存在沒有主鍵的日志表、流水表。這個時候有兩個方案用--split-by指定一個唯一的業(yè)務(wù)鍵比如流水號、單據(jù)編號。用--split-by配合--boundary-query自己圈定分片范圍。--boundary-query可以自定義最大最小值的查詢避免Sqoop默認執(zhí)行SELECT MIN(id), MAX(id) FROM table時把整個表掃一遍在大表上這個默認查詢本身就很慢。再說事務(wù)邊界。Sqoop導(dǎo)入不是事務(wù)級的它只是逐批拉數(shù)據(jù)。如果導(dǎo)入過程中某個Map任務(wù)失敗了Hadoop的OutputCommitter會自動清理掉該任務(wù)已寫入的部分數(shù)據(jù)并重新調(diào)度重試。但如果整個作業(yè)在最后commit階段失敗了而HDFS的臨時目錄沒有清理干凈歷史上出現(xiàn)過殘留數(shù)據(jù)覆蓋的問題。所以我在批處理腳本里每次導(dǎo)入任務(wù)開始前都會先刪除目標目錄防止重跑時目錄里有舊數(shù)據(jù)干擾hdfs dfs -rm -r -f /data/sync/orders || true這種“先清理再寫入”的思路雖然簡單但是在大量批量任務(wù)里非常有效能避開很多數(shù)據(jù)重復(fù)問題。還有一個容易忽略的點是Sqoop默認生成的MapReduce作業(yè)是跑在YARN上的YARN有一個可重試次數(shù)上限默認是4次。如果某個分片因為數(shù)據(jù)庫連接抖動、慢SQL超過執(zhí)行時間等原因反復(fù)失敗作業(yè)會直接整體失敗而不是無限重試。這時候不要盲目加大重試次數(shù)先看具體失敗原因再做針對性處理。2.3 批量寫入Hive時的小文件與分區(qū)策略Sqoop導(dǎo)入Hive有兩種常見路徑先導(dǎo)入到HDFS臨時目錄然后通過--hive-import加載到Hive表。直接指定--hive-table和--hive-partition-key、--hive-partition-value導(dǎo)入時直接寫入分區(qū)。如果用第二種方式每個Map任務(wù)會各自寫入一個或幾個文件如果一個批量任務(wù)動輒幾十上百個Map對應(yīng)的Hive分區(qū)下就會出現(xiàn)幾十上百個小文件。小文件問題在Hive場景下很致命NameNode內(nèi)存被大量占用每次查詢要打開大量文件Spark/Tez引擎拉取數(shù)據(jù)時也會被小文件拖慢。我對這個問題的常規(guī)處理是三步組合控制Map并發(fā)數(shù)量不要盲目開大-m比如批量同步一張百萬級表時-m 4~6通常足夠。在導(dǎo)入后對Hive表目錄做一輪INSERT OVERWRITE或使用Hive的SHOW COMPACTIONS配合小文件合并。如果導(dǎo)入的是外表External Table可以直接跑一個spark job或hive sql對目標目錄做合并重寫。注意不要在生產(chǎn)環(huán)境用hadoop fs -cat 小文件拼接成一個大文件來“手動合并”雖然這方法看著簡單但會丟失文件級容錯信息一旦合并過程出問題整個目錄數(shù)據(jù)都不穩(wěn)定。用計算引擎做合并才靠譜。3. 實操從MySQL批量導(dǎo)入HDFS/Hive再到導(dǎo)出3.1 環(huán)境準備與連接驗證先把環(huán)境搭好這一步直接決定后面所有操作的穩(wěn)定性。我的最小可用環(huán)境參考組件版本說明Hadoop3.2.4HDFS/YARN 正常Hive3.1.3可選如需寫入Hive表Sqoop1.4.7生產(chǎn)最穩(wěn)定版本MySQL5.7/8.0業(yè)務(wù)數(shù)據(jù)庫JDBC驅(qū)動mysql-connector-java 8.0.x注意版本匹配安裝Sqoop本身不復(fù)雜解壓后設(shè)置SQOOP_HOME環(huán)境變量把Hadoop的core-site.xml、hdfs-site.xml、yarn-site.xml軟鏈到$SQOOP_HOME/conf再把MySQL JDBC驅(qū)動放到$SQOOP_HOME/lib。然后跑sqoop list-databases \ --connect jdbc:mysql://localhost:3306/ \ --username root \ --password 123456這一步通過說明JDBC驅(qū)動加載正常、網(wǎng)絡(luò)通暢、賬號權(quán)限夠用。如果是連遠程庫記得確認MySQL側(cè)是否允許該IP訪問以及防火墻是否放行。如果連接失敗先把錯誤堆棧里的Caused by信息逐行讀一遍千萬不要只看最上面的報錯。我在5.1節(jié)會詳細展開幾種最常見的連接故障和排查方法。3.2 全量批量導(dǎo)入從命令到HDFS落盤環(huán)境通了之后做一次全量導(dǎo)入是最快的成就感來源。sqoop import \ --connect jdbc:mysql://localhost:3306/business \ --username rootl \ --password 123456 \ --table orders \ --columns id,order_no,user_id,amount,status,create_time \ --target-dir /data/sync/orders \ --fields-terminated-by \t \ --null-string \\N \ --null-non-string \\N \ --split-by id \ -m 6幾個參數(shù)逐一解釋--columns指定導(dǎo)入列避免把含敏感信息或大字段的列一起拉進來也減少帶寬占用。--fields-terminated-by \tHDFS文件的分隔符。后面如果還要關(guān)聯(lián)Hive表這個分隔符要和Hive建表語句一致。--null-string和--null-non-string把數(shù)據(jù)庫的NULL值統(tǒng)一寫成\N這是Hive的默認NULL表示。不過我個人更習慣直接用空字符串具體看下游消費方的約定。--split-by id分片字段沒有主鍵的表必須顯式指定。-m 66個Map任務(wù)并發(fā)。注意這里的并發(fā)不是越大越好后面調(diào)優(yōu)章節(jié)會詳細講計算邏輯。執(zhí)行結(jié)束后確認一下HDFS輸出目錄hdfs dfs -ls /data/sync/orders正常你會看到多個part-m-00000之類的文件每個文件對應(yīng)一個Map任務(wù)的寫入。文件數(shù)量和并發(fā)度一一對應(yīng)這也是后面小文件治理的源頭。3.3 增量同步與Hive表映射的完整配置增量同步的實戰(zhàn)操作我一般分兩步走先往HDFS同步再通過Hive外表映射的方式加載而不是直接用--hive-import。為什么這樣做因為--hive-import會觸發(fā)一連串隱藏操作把數(shù)據(jù)先寫到臨時目錄、自動建表如果表不存在、再執(zhí)行l(wèi)oad。這套流程在大分區(qū)、大字段的表上容易出問題而且執(zhí)行過程你很難控制中間步驟。先同步到HDFS再用Hive的ALTER TABLE ADD PARTITION或者LOAD DATA INPATH去加載雖然看似多了一步但每一步都可以單獨重試批量任務(wù)的可維護性會好很多。舉個例子增量同步命令sqoop import \ --connect jdbc:mysql://localhost:3306/business \ --query SELECT id,order_no,user_id,amount,status,create_time FROM orders WHERE create_time 2024-06-01 AND \$CONDITIONS \ --target-dir /data/sync/orders/dt2024-06-01 \ --append \ --split-by id \ -m 4數(shù)據(jù)落到/data/sync/orders/dt2024-06-01后Hive側(cè)只需要把增量目錄加載到對應(yīng)分區(qū)ALTER TABLE ods_orders ADD IF NOT EXISTS PARTITION (dt2024-06-01) LOCATION /data/sync/orders/dt2024-06-01;這里有一個踩坑提醒如果同一個分區(qū)目錄重復(fù)加載多次ADD PARTITION本身不會做去重它只是把路徑映射到分區(qū)。所以增量目錄里必須確保只有當天增量數(shù)據(jù)重復(fù)執(zhí)行同一批任務(wù)會重復(fù)追加數(shù)據(jù)。這也是我在2.2節(jié)強調(diào)“先清理再寫入”的原因。3.4 反向?qū)С鰪腍DFS/Hive導(dǎo)出到MySQL導(dǎo)入講得多導(dǎo)出也不能忽略。數(shù)倉算完的結(jié)果要回寫到業(yè)務(wù)庫或報表庫這時候用到sqoop export。核心流程是讀取HDFS目錄下的文件解析每一行通過JDBC批量insert或update到目標表。sqoop export \ --connect jdbc:mysql://localhost:3306/business \ --username root \ --password 123456 \ --table report_sales_daily \ --export-dir /data/result/report_sales_daily \ --columns date_key,shop_id,sales_amount,order_cnt \ --input-fields-terminated-by \t \ --batch導(dǎo)出時要注意幾點目標表必須預(yù)先建好Sqoop不會幫你建表。默認導(dǎo)出采用逐條insert會很慢。加上--batch參數(shù)后會使用JDBC的批量提交addBatch/executeBatch速度提升非常明顯。如果目標表有唯一鍵導(dǎo)入的HDFS數(shù)據(jù)里不能有重復(fù)記錄否則會因主鍵沖突導(dǎo)致導(dǎo)出失敗。這個在數(shù)據(jù)計算階段就要做好去重。我自己處理過最痛苦的一次導(dǎo)出就是某個報表任務(wù)的輸出文件里有個別空行Sqoop解析時把它當成了一行空數(shù)據(jù)往MySQL插入結(jié)果整批失敗。后來在導(dǎo)出任務(wù)前增加了數(shù)據(jù)清洗步驟過濾空行、檢查分隔符數(shù)量才徹底解決。4. 批量任務(wù)的調(diào)優(yōu)方法與參數(shù)計算4.1 并行度調(diào)整-m 參數(shù)沒那么簡單-m參數(shù)代表Map任務(wù)數(shù)也是并行度。調(diào)優(yōu)時很多人第一反應(yīng)是把這個值調(diào)大認為并行度越高跑得越快。這個認知在實際場景里經(jīng)常是錯的。-m值受兩個瓶頸約束第一是數(shù)據(jù)庫端的負載。每個Map任務(wù)都會建立獨立的數(shù)據(jù)庫連接執(zhí)行各自的查詢。比如-m 20意味著數(shù)據(jù)庫要同時處理20個查詢。如果一張表的查詢本來就要全表掃描20個查詢同時跑數(shù)據(jù)庫的CPU和IO很可能會被打滿其他正常業(yè)務(wù)就會受影響。數(shù)據(jù)庫不是無限的批量任務(wù)必須給業(yè)務(wù)留出余量。我的經(jīng)驗是業(yè)務(wù)高峰期并發(fā)控制在2~4低峰期跑批可以放到6~10。第二是HDFS和集群的資源。每個Map任務(wù)要占用一個ContainerContainer大小由mapreduce.map.memory.mb和mapreduce.map.cpu.vcores決定。如果你的YARN隊列資源有限-m開太大任務(wù)會排隊甚至可能出現(xiàn)Container不足導(dǎo)致的OOM。我一般建議按照下面的思路來確定-m看數(shù)據(jù)量百萬級表-m 2~4千萬級表-m 4~6億級表-m 6~10??磾?shù)據(jù)庫負載用SHOW PROCESSLIST觀察批量任務(wù)執(zhí)行期間數(shù)據(jù)庫的并發(fā)查詢數(shù)量是否異常增長??醇号漕~在YARN的管理界面確認當前隊列可用資源數(shù)。再配合一個小技巧如果不知道表的數(shù)據(jù)量可以先跑一次sqoop import加--verbose參數(shù)觀察日志中預(yù)估的行數(shù)再回頭調(diào)整-m。4.2 fetch size、batch與連接參數(shù)組合很多批量任務(wù)跑得慢數(shù)據(jù)庫端其實只查了一部分數(shù)據(jù)但每次從數(shù)據(jù)庫拉取結(jié)果集的行數(shù)太少了導(dǎo)致網(wǎng)絡(luò)往返次數(shù)特別多。這個參數(shù)就是JDBC的fetch size。Sqoop導(dǎo)出時可以使用--batch處理批量寫入導(dǎo)入時有一個--fetch-size參數(shù)它會影響每個Map任務(wù)通過JDBC讀取ResultSet時每次拉取多少行。MySQL默認的fetch size往往很小如果沒設(shè)置拉100萬行可能需要上千次往返慢得讓人發(fā)瘋。我在導(dǎo)入命令中一般加上--fetch-size 1000或者通過配置export SQOOP_OPTS-Dsqoop.export.records.per.statement100來提高單條insert語句合并的記錄數(shù)。連接參數(shù)方面建議在JDBC連接串上追加參數(shù)--connect jdbc:mysql://localhost:3306/business?useSSLfalsecharacterEncodingutf8rewriteBatchedStatementstrueuseCursorFetchtrue其中rewriteBatchedStatementstrue對MySQL的批量導(dǎo)出import/export非常有用它會把多條插入語句合并成一條多值插入useCursorFetchtrue配合fetch size使用可以流式讀取大結(jié)果集避免一次性把幾百萬行全加載到內(nèi)存里把Map任務(wù)撐爆。不過這里要小心useCursorFetchtrue開啟后如果--fetch-size不設(shè)置有可能仍然走默認的返回全部行模式不同JDBC驅(qū)動版本的表現(xiàn)不一致。我在生產(chǎn)環(huán)境遇到過MySQL 8.0驅(qū)動下沒有設(shè)置fetch size時Map任務(wù)直接報OOM加上之后明顯改善。4.3 合并小文件與Hive側(cè)優(yōu)化批量任務(wù)結(jié)束后HDFS目錄里往往是一堆小文件。如果不處理后續(xù)不管是用Hive還是Spark分析性能都會很受影響。我的固定做法是批量任務(wù)跑完如果目標分區(qū)數(shù)據(jù)量比較大就對分區(qū)目錄做一次合并。以Hive為例簡單有效的方式是動態(tài)分區(qū)重寫INSERT OVERWRITE TABLE ods_orders PARTITION (dt) SELECT id, order_no, user_id, amount, status, create_time, dt FROM ods_orders WHERE dt 2024-06-01;這種方式會根據(jù)Hive的reduce數(shù)量重新落文件合并效果比較可控。一般結(jié)合hive.merge.mapredfilestrue、hive.merge.size.per.task256000000256MB等參數(shù)一起使用可以把小文件合并到接近HDFS的塊大小后續(xù)查詢效率會好很多。但如果每次都跑這樣的INSERT OVERWRITE對于超大分區(qū)來說會重復(fù)讀寫一遍全量數(shù)據(jù)也很耗資源。另一個替代方案是用Spark批量合并spark.read.parquet(/data/sync/orders/dt2024-06-01) .repartition(2) .write.mode(overwrite) .parquet(/data/sync/orders/dt2024-06-01)值得注意的是如果你用的是Hive外表改成Parquet或ORC格式后必須同步更新表的存儲格式定義否則讀出來的數(shù)據(jù)會亂掉。這一點特別容易踩坑。4.4 大表導(dǎo)入的并發(fā)模型與數(shù)據(jù)庫保護大表導(dǎo)入時除了把-m調(diào)到一個合理值還可以用--boundary-query來避免Sqoop默認的邊界查詢掃描整個表。假設(shè)有一張10億行的流水表沒有主鍵業(yè)務(wù)上唯一的遞增字段是flow_id。如果不設(shè)置--boundary-querySqoop會執(zhí)行一次SELECT MIN(flow_id), MAX(flow_id) FROM flow_log;這張10億行的表跑一次全表聚合可能比實際導(dǎo)入還要耗時。所以我會自己定義一個更精準的邊界查詢--boundary-query SELECT 1000000, 50000000 FROM dual只要這個范圍覆蓋了目標數(shù)據(jù)就能省掉那一次全表掃描。邊界信息是在主查詢之前單獨跑的不消耗Map任務(wù)額度非常劃算。數(shù)據(jù)庫保護方面除了控制并發(fā)還可以在作業(yè)調(diào)度維度做限流。比如在一個時刻只允許跑兩張表的導(dǎo)入其他任務(wù)排隊等待。批量任務(wù)多了之后一定要有統(tǒng)一的任務(wù)隊列和依賴管理不然多個Sqoop任務(wù)同時打到同一個數(shù)據(jù)庫即使每個任務(wù)的-m都不大數(shù)據(jù)庫也會被并發(fā)總量壓垮。5. 常見問題與排查技巧實錄5.1 Sqoop連接不上MySQL從根因到解法“Sqoop連接不上MySQL”是問得最多的問題也是熱詞里排第一的搜索詞。這個問題的根因其實就幾個方向我按實際排查順序列一下第一JDBC驅(qū)動不存在或版本不匹配。檢查$SQOOP_HOME/lib/mysql-connector-java-*.jar是否存在。MySQL 8.0要使用8.0版本驅(qū)動驅(qū)動類名是com.mysql.cj.jdbc.DriverMySQL 5.7既可以用5.x驅(qū)動類名com.mysql.jdbc.Driver也可以用8.x驅(qū)動。驅(qū)動版本不對最常見的報錯是ClassNotFoundException或Unsupported major.minor version。第二MySQL賬號權(quán)限不足。Sqoop不僅需要查詢表的權(quán)限還需要讀取表元數(shù)據(jù)information_schema所以賬號至少要具備SELECT權(quán)限。如果用的是遠程連接還要檢查賬號的Host限制有些賬號只允許本機登錄遠程工具連不上就是這個原因。第三防火墻或網(wǎng)絡(luò)不通。最常見的是云環(huán)境下安全組沒有放行3306端口或者MySQL配置了bind-address只監(jiān)聽127.0.0.1。用下面的命令先驗證網(wǎng)絡(luò)telnet 192.168.1.100 3306能通的話再跑sqoop list-databases來隔離問題。第四JDBC URL參數(shù)不對。多個參數(shù)拼接在URL里時注意每個參數(shù)用連接在shell里要用雙引號包住整個URL否則會被解釋為后臺運行符號命令行為會變得非常詭異。5.2 類型映射、主鍵缺失與數(shù)據(jù)傾斜問題Sqoop把MySQL類型映射到Hive類型時有一些默認規(guī)則容易踩坑。比如MySQL里的TINYINT(1)會被映射成Hive的BOOLEAN如果你的這個字段實際存的是多值狀態(tài)碼導(dǎo)到Hive里就會變成true/false值就丟了。這時要用顯式類型轉(zhuǎn)換比如在SQL查詢里先把字段轉(zhuǎn)成整數(shù)--query SELECT CAST(status AS UNSIGNED) AS status, ... WHERE \$CONDITIONS主鍵缺失問題前面提過再補充一個處理細節(jié)如果表里沒有單列主鍵但有聯(lián)合唯一索引Sqoop的默認邏輯也識別不了。這時必須手動--split-by我通常會選擇聯(lián)合索引里區(qū)分度最高的那一列。如果所有列區(qū)分度都不行可以在SQL查詢里加上一列自增序號--query SELECT ROW_NUMBER() OVER (ORDER BY flow_id) AS split_key, t.* FROM flow_log t WHERE \$CONDITIONS這種方式要小心窗口函數(shù)的內(nèi)存消耗只適合中等規(guī)模的表。數(shù)據(jù)傾斜問題除了分片列選擇不當還有一些隱藏因素比如數(shù)據(jù)是按某種hash分布、熱點key集中某些split范圍雖然大小相當?shù)遣糠謹?shù)據(jù)量特別大或查詢條件特別復(fù)雜。排查時可以看YARN日志里每個Map任務(wù)的處理耗時如果差距很大就是傾斜。除了改分片列偶爾也會用--where做范圍切割把熱點區(qū)單獨拆成一個小任務(wù)非熱點區(qū)再并行跑。5.3 慢SQL與數(shù)據(jù)庫壓力問題從任務(wù)側(cè)解決批量Sqoop任務(wù)最容易導(dǎo)致的問題不是數(shù)據(jù)同步失敗而是把生產(chǎn)數(shù)據(jù)庫拖慢進而影響前臺業(yè)務(wù)。數(shù)據(jù)庫側(cè)看到的慢SQL往往就是Sqoop各Map任務(wù)生成的大范圍查詢。排查思路是這樣的先到數(shù)據(jù)庫執(zhí)行SHOW FULL PROCESSLIST;觀察查詢列表里來自Sqoop的每一個連接點是否重復(fù)執(zhí)行著同類慢SQL。然后通過EXPLAIN分析該SQL的索引命中情況。如果主要瓶頸是掃描范圍太大可以在Sqoop側(cè)做幾件事調(diào)整分片列使用更合適的索引字段。加上--where條件每次都縮小數(shù)據(jù)范圍避免全表掃描。降低并發(fā)把-m減小。錯峰執(zhí)行從調(diào)度層面把任務(wù)放到業(yè)務(wù)低峰期或者限制任務(wù)并發(fā)數(shù)。如果你發(fā)現(xiàn)Sqoop查詢時SQL執(zhí)行很快但整體任務(wù)還是很慢那瓶頸往往在數(shù)據(jù)傳輸階段而非數(shù)據(jù)庫。這時候觀察網(wǎng)絡(luò)帶寬、YARN隊列資源、HDFS寫入速度往這些方向排查。5.4 批量數(shù)據(jù)校驗與重跑機制批量任務(wù)跑完了你確認數(shù)據(jù)就一定是正確的嗎我的建議是每個批處理腳本里都要帶上校驗環(huán)節(jié)不要完全信任作業(yè)的成功標識。校驗方式很簡單兩步走第一步是行數(shù)校驗。從源庫和目標分別統(tǒng)計總行數(shù)sqoop eval \ --connect jdbc:mysql://localhost:3306/business \ --query SELECT COUNT(*) FROM orders WHERE create_time 2024-06-01Hive側(cè)對應(yīng)執(zhí)行SELECT COUNT(*) FROM ods_orders WHERE dt 2024-06-01;兩邊差值超過閾值就要告警檢查。第二步是抽樣校驗。取幾個關(guān)鍵ID對比源庫和目標庫的數(shù)據(jù)字段是否完全一致時間字段尤其容易出錯。因為Sqoop默認的字符串時間映射到Hive的STRING類型時格式可能和源庫不一致通常需要顯式--map-column-java或--map-column-hive指定字段類型映射。重跑機制方面我最常用的方式是“目錄先清、分區(qū)后掛”。就是說每次跑之前刪除對應(yīng)的HDFS臨時目錄跑完后再把數(shù)據(jù)掛載到Hive分區(qū)絕不在已有分區(qū)上直接疊加。這套機制我用了很久幾乎沒再出現(xiàn)過因任務(wù)重跑導(dǎo)致的數(shù)據(jù)重復(fù)事故。6. 批量任務(wù)管理的額外心得批量同步做多了你會發(fā)現(xiàn)單條命令能解決的問題都不是問題真正麻煩的是任務(wù)繁多、依賴交錯、出問題后追溯困難。所以如果你想長期用Sqoop跑批我建議盡早做三件事第一統(tǒng)一封裝命令。寫一個Shell或者Python腳本庫把常用導(dǎo)入導(dǎo)出場景封裝成函數(shù)傳入表名、時間、并發(fā)度即可。團隊里任何人都能使用而不用每次重新拼一長串Sqoop命令降低出錯概率。第二記錄每批任務(wù)的執(zhí)行日志。至少記錄作業(yè)ID、目標目錄、源表名、執(zhí)行時間、Map數(shù)量、影響行數(shù)、耗時。批量任務(wù)多起來后這份日志幾乎就是你的排查寶典。第三設(shè)計重跑策略。在調(diào)度平臺Airflow、DolphinScheduler都可以里把每個Sqoop任務(wù)設(shè)計成可冪等重跑清目錄、執(zhí)行導(dǎo)入、校驗、掛分區(qū)。任何一個環(huán)節(jié)失敗重跑整個任務(wù)鏈路都不會產(chǎn)生臟數(shù)據(jù)。我在實際使用Sqoop的時候?qū)λ脑u價是它不是一個性能極致的框架但絕對是生態(tài)兼容性最廣的批量數(shù)據(jù)搬運工具。只要理解了它的MapReduce執(zhí)行模型掌握分片、并發(fā)和目錄管理這三個核心點你就能用它解決絕大多數(shù)關(guān)系型數(shù)據(jù)庫與Hadoop之間的數(shù)據(jù)同步問題。再配合一套完善的校驗和重跑機制批量任務(wù)就能從“勉強能跑”變成“穩(wěn)定可靠”。最后分享一個小技巧每次優(yōu)化完Sqoop任務(wù)后記得去YARN上看一眼實際的任務(wù)執(zhí)行日志和Counter計數(shù)器。Counter里包含讀到的行數(shù)、寫入的字節(jié)數(shù)、執(zhí)行耗時這些數(shù)據(jù)是判斷任務(wù)是否健康的第一手依據(jù)比任何外部監(jiān)控都更直接。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久66成人网站| 国产成人亚洲综合A∨婷婷| 五月婷丁香花| 铁牛TV人妻| 亚洲亚洲人成综合网络| 这里只有精品视频免费在线观看| 色色色色综合| 成年人99热| 色九月| 五月丁香日逼| 精品人妻一区二区三区在| 色色色色色色网| 婷婷五月婷婷| 婷婷五月天天aV| 五月婷婷与六月丁香图片激情| 日本97在线| 亚洲深喉AV| 在线综合网| 色停停五月,在线观看| 丁香六月av| www.99热视频| 玖玖在线| 性爱人人网| 国产精品电影| 久久丁香五月婷婷| 色国产五月| www.久久| 丁香五月性| 亭亭五月基地在线| 99热99思午夜精品| 久久综合图片| 91色五月在线观看| 色婷婷五月天av在线| 99免费在线视频| 激情五月小说婷婷| 日本久久网| 天天五月天综合网址| 天天舔天天| 秋霞午夜理论| 婷婷丁香六月五月天| 婷婷丁香激情综合色情| 成人电影在线免费试看| aaaa.黄| 日本久久色| 国产精品久久久久久久久久免费| 国产精品国产成人国产三级| 99精品免费视频| 国产精品成人AV在线| 泰州成人视频| 99视频在线| 亚洲成人va| 深爱五月天 开心网| 伊人青草成人| 国产色色网站网址| 五月www| 伊人五月天日日夜夜久久久天天| 中美日韩成人在线| 日本精品99网站| 一区二区免费看| 一起操 91N.com| 色色欧美色色色| 99久久综合网| 亚洲无AV在线中文字幕| 国精产品一区一区三区免费视频| 538在线精品| 色爱综合网| 99这里只有精品|v| 婷婷色五月激情| 五月天婷婷在线播放| √天堂资源在线人妻熟女| 九色视频91疯狂| 天堂爱爱| 第四色首页| 丁香久久综合| 精品一二三区久久AAA片| 五月天色站| 婷婷五月色播天| 五月丁香花视频| 综合网五月天123| 五月色情婷婷开心五月色情| 丁香激情五月| 99综合色| 婷婷久久五月| 婷婷色色综合| 色色色色网站| 天天射综合网天天插| 色丁香五月婷婷婷| 99热www.| 颜射 精品性爱av| 激情婷婷丁香五月| 亚洲色亚洲精品| 国语精品探花| 久久综合五月| 五月丁香 啪啪| 亚洲六月色婷婷| 久久 婷婷 五月天| 亚洲成人免费电影| 人人爱操| 密着浓厚中出乚交尾GvG935| 国内自拍1区| 亚洲无码性爱| 97人妻碰碰碰久久久久-最近国语高清| 色情五月| 日本一级一片免费视频| 激情久久久| 激情小说婷婷小说| 五月丁香六月情婷婷久久| 99热这里有精品2| 丁香五月在线看| 五月亭亭六月天| 色五月婷婷亚洲最大| 色色日本欧美| 成人在线日韩| 精国产品一区二区三区A片| 婷婷色五月91啪啪| 人人操91色| 人人叉久| 六月婷婷色综合| xxxx五月| 丁香五月无码| 综激情网| 蜜桃人妻无码AV天堂三区 | 九九超碰人人| 色丁香久久| 欧亚洲在线高清视频| 丁香五月婷婷少妇| 欧美丁香六月在线观看视频| 视色综合| 综合网啪| 色色婷婷丁香| 日本在线播放97| se婷97| 婷婷丁香五月色偷偷| 天天色播| renre人人操国产超碰在线| 这里只有精品免费观看网占| 无码区婷婷五月花开| 九九色99| 久久视频在线视频| 日韩伊人大香蕉| 色欲久久综合| 69er小视频| 天天操天天曰| 色五月婷婷激情| 五月婷婷色播| www激情| 九月色婷婷| 99性爱| 色色色色色色色色色影院| 亚洲国产网站| 91视频五月丁香| 欧洲99视频在线| 人人色AV| 色香久久| 久久九九免费视频| 91狼友视频网页更新| 色综合av超碰| 久久婷婷成人视频| 狠狠操狠狠狠| 欧美日韩成人免费在线| 激情五月婷婷| 午夜丁香综合婷婷| www..com色爱| 婷婷五月色情| 福利视频在线播放| 嫩草视频观看| 思思99热热热99| 色五月综合婷婷| 五月激情综合网| 99久在线观看| 狠狠色 综合色区| 久久99精品久久久久子伦| 丁香色情五月天| www激情五月天| 99久在线| 国产毛片操B| 色婷婷久久综| 欧美噜一噜| 狠狠干伊人| 在线网黄| 激情内射人妻1区2区3区| 久啪欧美| 婷婷激情五月天7| 婷婷五月花西瓜| 日韩欧美一级大黄网站| 91人久| 五月天三级久久| 视色网在线播放| 色综合激情| 色99网站| 94干大香蕉| 久久视这里只有精品| 天天日日综合| 亚洲天堂色色| 亚洲天堂九九九| 色欲丁香| 亚洲五月天婷婷在线| 丁香五月自拍| 9 9热这里有精品| 六月丁香婷婷拍拍| 五月天四色房丁香亭亭| 色婷婷丁香A片区毛片区女人区| 色综合久久88色综合天天| 开心五月六月婷婷| 十一月婷婷激情四射| 狠狠色综合网| 日本3级片一区2区| 99九九视屏| 日本激情91| 久久久国产精品黄毛片| 欧美久久婷婷| 性生活久久人妻| 任你草| 麻豆忘忧草午夜| 丁香婷婷精品视频| 99久久精品国产色欲| 国产精品久久久久久久久久久久| 黄色三级日本| 亚洲天天| 国外亚洲成AV人片在线观看| 伊人激情啪啪| 深爱婷婷丁香五月激情| 99精品偷自拍| 久婷五月| 丁香五月无码| 成人做爰高潮A片免费视频| 蜜桃婷婷狠狠久久| 丁香五月婷综合网| 大地9中文在线观看免费高清| 97人妻碰碰碰久久久久-最近国语高清| 色综合色综合色综合高潮| 这里有精品| 久久精品99国产精品日本| 成人视频免费观看高清完整版在线观看| 久久这里只有精品久久| 丁XX 成人| 国产欧美性成人精品午夜| av在线免费网站| 色五月丁香五月五月婷婷| 五月丁香六月婷婷久久肏| 婷婷五月丁香第四色超碰在线| 婷婷久久综合| 婷婷色综合| 五月天福利影院导航| 97福利视频| 久久免片| 人人插操| 亚洲婷婷丁香五月在线| 99ri精品视频在线观看| 9九色首页| 婷婷五月深深爱| 婷婷97狠狠成人网站| 婷婷综合网| 六月婷婷综合| 香蕉久日夜| 思思久久网| 婷婷丁香人妻天天爽| 久久精品国产一区二区三区四区 | 色婷婷国产精品综合在线观看| 五月四色婷婷| 搡BBBB搡BBB搡18| 97人人射| 欧美97色| 日本九九视频| 天天操人人干| 五月婷婷丁香日韩在线| 青青草深爱激情网| 激情综合五月| 日韩欧美一级大黄网站| 人妻操逼视频| 亚洲天堂AV综合网| 丁香涩涩五月天| 五月婷婷性爱| 亚洲综合久| 99这里只有精品视频| 五月综合激情久久| 五月婷婷香蕉| 免费视频WWW在线观看网站| 五月色婷婷在线观看| 五月婷婷激情性爱| 色情五月天丁香社区| 激情五月天婷婷丁香| 亚洲精品第一国产综合亚AV | av九九| 婷婷射图| 91丨九色丨白浆| 婷婷五月成人系列| 丁香五月激情五月| 五月网在线| 四季8848精品成人免费网站 | 五月久久噜噜| 深爱激情五月天| 久久激情五月婷婷| 99ri精品在线| 人妻丰满精品一区二区A片| 99噜噜噜在线播放| 亚洲av成人在线| 九月丁香欧美综合| 天天爱天天做天天操| 超碰成人在线免费观看| 婷婷六月久久综合导航| 91亚洲视频| 色播婷婷五月天| 思思久久99热只有频精品66| 九九亚洲小视频| 欧美黑人巨大性生话| wWw色五月| 婷婷五月色播| 五月婷色| 婷婷五月婷婷| 日本的α片xxxwww| 极品少妇XXXX精品少妇偷拍| 激情图片婷婷| 淫五月停停| 欧美色小说婷婷| 国产精品91抖高| 五月丁花色综合网| 九色成人AV在线| 婷婷四色成人综合色视| 天天久久婷婷| 丁香五月婷婷在线| 99九九视频| 五月色综合| 一本色道久久88加勒比—| 99这里只有精| 色99视| 99热在这里只有精品| 五月婷中文娱乐综合| 五月丁香六月婷婷手机无线| 大香蕉丁香婷婷| 婷婷五月丁香伊人| 一区三区视频有限公司| 国产成人AV在线播放| 综合99久久天天综合| www.9797国产| 色色色婷婷五月天| 色婷婷电影网| 丁香五月瑟瑟| 国产暴力强伦轩1区二区小说| 久久激情综合| 久久五月天激情| 综合激情深爱| 人人看人人97| 丁香五月人妻| 影音先锋按摩| 少妇2做爰HD韩国电影| 色五月丁香激情| 色色网站毛片| 这里只有精彩亚洲视频推荐| 丁香五月婷婷高清| 亚洲操精品| 中文字幕成人影视| 国产成人99久久亚洲综合精品| ww亚洲ww在线观看| 五月婷婷激情| 色五月丁香六月婷婷| 99久久婷婷精品视频| 色五月婷婷五月天激情综合| 久久婷婷五月天激情四射| 色999;丁香五月| 激情五婷精品网在线观看网址| 白人荫道BBWBBB大荫道| 狠狠色 综合色区| 丁香色婷婷色手机免费在线| 午夜五月天| 97成人超碰免| 日本WWW九九九| 中文字幕婷婷| 开心深爱激情网| 婷婷五月丁香高清无码| 538在线精品| 一级A片天天操夜夜操| 欧美日韩精品一区二区三区钱| 久久精彩视频| 秋霞黄色一级久久| 婷婷激情久久| 182TV大香蕉| 婷婷色网站| 裸体做A爰片毛片A片免费| 婷婷五月骚厕所| 丁香婷婷久久综合在线| 青青草tp| 99热精品少| 丁香五月天成人| 激情综合网五月激情网| 91碰超| 久久99精品久久只有精品| 色的色综合| 九九色网| www.五月婷婷久久.com| 99精品在线| 久久久国产精品黄毛片| 丁五月激情视频免费| 99热99在线| 国外亚洲成AV人片在线观看| 性爱视频99| 大香蕉人人人| av在线资源| 久99热| 久xxxx| 亚洲成人一区| 五月丁香六月婷婷不卡免费无码 | 激情综合网五月| av在线激情| 久热超碰| 九九婷婷五月天| 亚洲中文字幕av| 亚洲午夜成人av电影网| 久久久久久久久99精品| 日日想日日夜日日操| 五月婷综合激情| 99爱爱| 天天爽天天爽夜夜爽| 婷婷五月丁香超碰| 开心激情婷婷| 99色色网| 九九综合伊人| 大战熟女丰满人妻AV| 丁五月激情视频免费| 欧洲永久精品| 五月婷护士| 草草操操| 第四色婷婷五月| 五月久久婷婷天堂视频| 专区无日本视频高清8| 国产色五月| 午夜免费试看| 婷婷五月综合基地| 啪啪啪综合网| 夜夜撸日日骑| 日本精品在线噜噜噜| 色色色九九九五月婷婷| 成人av在线电影| 99热这里精| 亚洲无码11| 欧美精品999| 五月天综合婷婷| 天天操夜夜爽天天操| 99精品综合在线| 五月丁香色| 狠狠色无码| 日韩在线9| 国产黄色在线| 婷婷99狠狠躁| 色八月婷婷| 久热精品免费视频4| 久久色婷婷| 婷婷五月天影视| 久久婷婷久久| 国产精品成人网址| 婷婷视频网| 五月天天天色| 婷婷五月天.com| 五月色婷丁香| 9久热| 91人人爽久久涩噜噜噜| 欧美日韩大黄| 亚洲欧洲一二| 91操片| 五月天久久www| 婷婷综合色色| 亞洲自怕| 婷婷在线播放| 五月丁香婷婷中文| 婷婷色正月| 97丁香花五月天激情小说| 99久久新视频| 成人综合网站| 五月丁香成人| 91精品综合久久久久久五月丁香| 丁香五月在线视频| 亚洲av日韩无码| www.ywav| 精品国产AV色一区二区深夜久久| 超碰人人艹| 欧美成人五月天| 袁子仪视频观看| 91丨九色丨白浆| 人妻免费网站| 亚洲五月婷婷| 9999三级片| 色丁香影院| 久久视频这里都是精品| 欧美婷婷丁香五月社区| 99热伊人综合| 国产欧美精品AAAAAA片| 久久这里都是精品| 国产97色在线 | 日韩| 丁香六月亚洲综合| 五月天婷婷色五月天| 中文字幕成| 久综合九综合99| 亭亭五月丁香五月天激情| a久久| 狠狠干五码| 免费的日逼视频| 中文资源在线a | 香蕉久久国产AV一区二区| 大香蕉人人网| 色爱爱综合网| 五月丁香亭亭电影久久| 92久久精品一区二区| 婷婷色在线观看| 色情成人五月天| 五月天激情.com| 色五月婷婷在线视频| 婷婷精品视频| 久久精品99久久| 激情色情五月天| 丁香五月影| 色色射| 成人av播放| 亚洲色五月婷婷| 五月天在线视频尤物视频在线看| 婷婷五月天,影院| 色九月婷婷综合| 久久狠婷婷| 啪啪五月婷婷| 国产黄大片在线观看画质优化| 五月激情六月丁香| 国産精品| 婷婷99热| 五月丁香六月婷婷成人电影| 六月丁香婷婷综合在线| 丁香五月亚洲| 婷婷丁香五月亚洲综合网在线视频观看| 午夜九九电影| 丁香五月色色色色| 婷婷五月天AV| 五月婷婷亚洲| 色婷婷五月天无码视频| 高清 码 免费看片短视频| 激情都市另类| 国外亚洲成AV人片在线观看| 丁香六月综合激情| 久综合色| 五月婷婷,狠狠操| 思思热视频在线观看| 婷婷开心激情五月激情网| 婷婷色五月色妇| 五月天婷婷丁香蜜桃91| 天堂婷婷五月色| 《诡秘之主》在线观看| 国产色色在线| 五月综合亚洲色| 欧美色图45678| 色9999日韩国产| 伊人色综合影院视频| 六月色激情| 大伊香蕉玖玖爱| 玖玖婷婷婷丁香五月| 第四色色六月色综合| 激情婷婷狠狠干综合| 噼里啪啦完整版中文在线观看| 五月天婷婷基地| 丁香五月人妻| 99亚州综合精品成人网| 婷婷永久在线| 色欲婷婷五月天| 99色中文| 任你艹| 97久久人人操| 99热最新| 九九黄色网| 日韩无码专区| 丁香婷婷激情| 另类少妇人与禽zOZZ0性伦| 伊人无码高清| 中文字幕无码AV| 九色综合网| 伊大人久久| www.99操| 99热国产婷婷| 五月天伊人综合| 亚洲成人综合网在线免费观看| 艹色18p| 婷婷五月六月丁香| 97色啪| 欧美三级欧美一级| 久久久大香蕉| 永久无码色| 91狠狠色丁香婷婷综合久久精品| 另类的婷婷| oumeisesewang| 韩国情人在线电视剧免费观看高清版全集| 十月丁香婷婷| 久久久久综合激动五月天| 天天更新天天亚洲| 人人操人av| 亚洲乱码成人| www.av骚货| 天天操人人干| 综合性爱网| 婷婷射丁香| 五月丁香婷婷色色色| 91啪啪视频| 欧美va在线| 久久五月丁香| 日日噜噜夜夜狠狠久久丁香五月| 超碰在线资源| 丁香五月人妻| 一起草无码视频| 色播五月丁香婷婷| 婷婷六月天激情影院| 色婷婷成人五月| 日韩操| 婷婷情爱五月天6| 99干日本| 综合激情婷婷| 色五月婷婷成人| yirenjiqingshiping| 五月婷天堂视频| 中文字幕97超级碰| 天天射夜夜爽| 丁六月激情| 婷婷五月天美女视频| 99在热线免费视频| 99久久婷| 1024日韩| 久久性爱99国产| 51精品国内探花| 在线观看av网站| 偷偷狠狠久久婷婷五月天| 天天色,天天操,天天射| 深爱激情丁香| 婷婷五月电影院| 无码少妇高潮喷水A片免费| 婷婷六月丁香五月图区| 丁香五月最新网址| 五月丁香综合中文| 天天情天天狠天天透| 五月天婷婷色播| 欧美成人精品老美女噜噜噜| 婷婷五月大香蕉| jiZZdr| 爱爱网址9| 狠狠爱婷婷五月天| 日本91在线| 激情5月婷婷狠狠干| 色婷婷在线视频综合| 亚洲综合激情五月久久| 婷婷五月色情天| 狠狠精品干练久久久无码中文字幕| 日本网站久久| 免费婷婷| 天天日,夜夜爽| 久久五月丁香| 五月婷婷在线免费观看| 北条麻妃九九九国产精品视频| 九九性爱网| 日本一级一级一级一级| 欧美日本一区二区三区| 九九热99免费视频| 激情又色又爽又黄的A片| 五月综合激情图片| 久婷婷| 操操操操操电影网| 丁香五月成人| 极品少妇XXXX精品少妇偷拍| 99 福利 导航| 噜噜噜噜噜在线| 综合五月天婷婷色| 婷婷伊人网| 成人在线二区| 人人操人人操919999| 五月天婷婷青青| 天天干天天干天天| 99色综合| 99ri视频在线观看| 免费AAAAA网| 国产色五月| 综合网啪| 无码少妇高潮喷水A片免费| 操逼三区| 五月丁香婷婷激情在线| 五月丁香六月欧美综合网站| 日本人妻A片成人免费看片| 伊人九九九久| 久久欧洲久久| 99免费| 99热这里只有精品青草| 欧美日韩国产成人在线| 婷婷第六色| 九九热最新地址| 欧美色色色| 婷婷五月天丁香激情| 色网站99| 丁香五月综合激情性爱| AA片在线观看视频在线播放| 热九九九九| 密臀久久| 五月停停999| www,婷婷,com| 婷婷丁香久久| 五月深爱激情网| 日本狠狠色| 91九色成人原创视频| 丁香亭亭久久| 99色热视频在线| 亚洲熟妇AV乱码在线观看| 91porn一起草| www.俺去也com| 爱操人妻| 中文字幕高清av| 热中文字幕| 天天综合影院| 久久综合九九| 在线成人av播放| 欧美综合激情五月丁香| 最新久久网址| 日日操天堂| 色色色综合网| 天天综合亚洲| 久久久中文| 在线五月婷| 久久黄A片| 99热网站| 久久婷综合| 五月丁香色婷婷色| 色99欧洲色19| 专区无日本视频高清8| 九色激情网| 天堂婷婷丁香六月网| 夜夜爱网站| 国产亚洲99久久| 这里只有免费的精品| 亚洲午夜av| 亚洲情欲久久| 激情五月婷婷在线区| 这里只有精品视频99| 另类图片五月天婷婷| 日日色五月天| 91狠狠色丁香婷婷综合久久| 五月婷久久草| 99色最新在线视频网站| 成人精品一区日本无码网 | 欧洲99视频在线| 玖玖五月| 久久3级片| 午夜青草资源| 大香蕉伊人久久| 色综合色色色色| 涩综合在线| 五月婷婷六月天| AV免费在线网站| 这里都是精品99| 狠狠爱五月婷婷| 男人的天堂在线婷婷| 欧美综合婷婷网| 五月天成人在线视频网站| 日韩久热| 五月综合久久| 亚洲殴洲精品Av在线| 婷婷五月天va| 超碰在线人妻| 丁香五月天激情四射网| 国产日韩亚洲欧美在线观看| 不卡在线中文字幕无| 99这里只有精品视频在线| 五月色网| 九热免费视频| 99久久玖玖| 婷婷色色网站| 97在线视频 欧美| 丁香六月婷婷综合网| 99爱视频免费| 综合激情在线| 五月亭亭开心网| 五月丁香亭亭A片| 色狠狠六月| 夜夜爱网站| 伊人五月婷婷| 丁香五月天论坛| 久久婷青青草原| 日日想日日夜日日操| 亚洲无码99| 免费成人va| 五月婷婷大香蕉| 亚洲黄3级片网站欧美| 久久这里有精品视频在线免费观看| 亚洲亚洲人成综合网络| 婷婷五月天Av| 91操操| 都市激情久久| 午夜五月天| 怡春院久操| 99热免费在线| 91丁香色| 激情婷婷五月色| 亚洲中文字幕在线观看| 色综合久久88色综合天天99| 99ri国产在线| 91免费看片| 99热精品免费| 婷婷99丁香| 五月婷婷成人| 亚洲色色五月| 另类视频五月天| 涩涩激情五月婷婷| 五月开心深深爱激情综合| 日韩AV无码影片| 丁香午月AV中文字幕| 九九热在线视频| 另类色视频| 五月婷激情| 丁香五月天AV在线| 67194成I人在线观看线路1| 激情综合99| 天天爱天天做天天操| 婷婷色情五月| 五月天激情小说| 天天插天天射天天干| 久久色亭亭五月天| 另类激情四射| 六月婷婷八月丁香| 人妖色AV色综合| 99∨VTV| HD久久精品视频| 婷婷丁香在线播放| 吾爱AV导航| 色5月丁香婷婷| 婷婷丁香亚洲色综合91| 色五月婷婷av| 天天爽在线视频| 亚洲色热| 丁香六月婷婷开心| 极品人妻XXXXOOOO| 99aese| 国产精品成av人在线视午夜片| 天天色天天舔天天爱天天爽| 色五月在线综合| 欧美国产一区二区三区| 五月婷免费视频| 日本色色网站| 欧美大香蕉视频| 婷婷综合网| 热的五码久久精品| 国产亚洲精品久久久久久郑州| 色五月激情综合| 国产午夜精品AV一区二区麻豆| 日本在线噜噜| 九九综合88| 色欲婷婷五月天丁香| 人妻久热| 狠狠做深爱婷婷久久综合一区| 热99国产精品| 中字幕视频在线永久在线观看免费 | 综合亚洲五月天| 偷偷与邻居做爰完整视频| 五月丁香五月天现场视频| 亚洲岛国电影| 99亚洲视频| 丁香五月情| 色色色色网| 人妻狠狠操| 大地资源色婷婷视频在线| 操逼在线视频| www.久久色.com| 日本狠狠干| 激情综合久久| 久久九九99| 丁香六月毛片| 欧美三级大片AA在线看| 五月天婷婷基地综合网| 激情五月综合色| 四川BBB搡BBB搡多人乱亂| 天天插天天插天天插| 黑人无码一区| 狠狠干综合| 激情五月天之六月婷婷| 色色色com| 日日日天天干| 色www.con| www.久久爱| 99激情视频热| 五月丁香婷婷综合| 久久婷婷婷婷伊人| 日韩AV一区二区三区| 天天拍天天操| 97久久精品| www.色五月| 激情丁香婷婷五月天| 五月丁香亭亭电影久久| 国产美女视频久| 五月婷精品| 丰满老熟妇BBBBB搡BBB| AAA亚洲AV| 九九综合图片网| 99视频内射三四| 五月丁香综合精品| 99热999| 丁香色五月天| 五月丁香亚洲综合网| 97在线干| 99re思思久久| 狠狠久综合| 色吊丝永久访问网址| 五月天婷婷久久| www婷婷色情网| www.久久婷婷| www.夜夜操| 99热这里只有免费| 色射影院| 午夜精品久久久久久久爽| 天天日 天天草| 久久五月天大美女| 精品五月花| 9 1超碰九色| 亚洲综合色丁香婷婷六月| 黄色91在线观看| 51国精产品自偷自偷综合| 这里只有精品视频在线看| 久99久热| 日本熟妇乱妇熟色A片蜜桃| 操骚货在线| 亚洲99激情| 久草 tingting| 99碰超| 亚洲色色精品| 六月激情婷婷综合| 激情五月综合亚洲另类| 天天天操天天天日| 区区久久妻| 色婷婷狠狠禁久久| 五月色网| 婷婷亚洲在线| 91黄址| 色婷婷丁香女女| 九九热视频99| 婷婷深爱五月天在线| www.99热精品| 六月婷婷激情| 日本五月婷婷| 99热综合在线| 伊人喵咪a V| 婷婷五月激情综合| 久久婷婷五月综合啪| 91一起操| tingtingseav| 天天日天天爽夜夜爽| 五月丁香色| 日日天天天| 99久久.www| 国产精产国品一二三在观看| 九月婷婷激情| 亭亭五月天黑人2014| 色婷婷香蕉| 男人的天堂av俄罗斯热| www.夜夜操| 天天爽天天干| 激情五月婷婷在线区| 婷婷久久五月天丁香| 婷婷五月天97干| 九九人人操| 丁香五月天天高清在线| 亚洲成人网无码| 五月丁香趴趴| 亚洲精品久久久无码| 99男人的天堂| 思思热热久久| 97人人射| 9色免费网| 99热亚洲| 综合99综合久久久久久久| 这里只有精品在线免费视频| 五月天无码| 婷婷五月天毛片| 久久怡红院| 外国碰视频网站97| 丁香成人色情五月天| 婷香五月网在线| 色婷婷91| 色婷婷激情五月天丁香| 亚洲综合草草| A久网| 国产永久一二一起草| 色婷婷超碰| 日韩啪啪视品| av国产精品| 激情五月丁香社区| 黄色AAAAA| 天天狠狠插| 免费观看亚洲AV片| 97人妻人人| 久久在线视频免费观看| 久久精品婷婷| 五月婷婷色五月| 五月天激情中文字幕| 9.1综合网| 色婷婷AV在线| 久久大国产香蕉| 网站免费一站二站| 色五月激情网| 国产性色蜜乳| 99综合免费视频| 在线99精品| 婷婷五月天97干| 五月天久久久| 黄色五月婷婷| 综合五月婷婷| 亚洲 小说 欧美 激情 另类| 国产中文亚洲欧美日韩性交| 69久久99精品久久久久| 日本人妻伦在线中文字幕| 久久97| 97人凄人人操人人爽| 一级黄色尤物综合视频手机在线观看| 五月婷婷五月天天| 色噜噜狠狠色综合伊人| 日本九九视频| 一级性感毛片| 久草丁香婷婷1024| 99视频内射三四| 亚洲黄色影视| 中文色婷婷| 激情五月天com| 都市激情小说婷婷| 五月人人丁香婷婷五月人人丁香| 9.1综合网| 91丨九色丨老农村| 啪啪啪丁香五月| 91人在线观看| 亚洲色综合| 丁香五月天堂网| 97热精品| 99久久五月婷婷| www.开心激情| 天天日天天操天天干| 五月丁香成人日| 97精品综合| 久久99婷婷| 久久综合婷婷五月| 涩 五月 婷婷 狠狠| av网站免费在线| 日韩av手机在线观看| 五月丁香激情综合网| 六月丁香激情网| 91九色精品| 少妇人妻人伦A片| 婷婷五月天开心网| 色五月首页| 天天摸天天高潮天天爽| 久久这里都是精品视频| 成人超碰AV| 影音先锋色色色资源色资源色| 无码区婷婷五月花开| 在线观看996精品| 色久99| 91狼友视频在线观看| www.com亚洲网站在线免费| 激情六月丁香综合| 热久久99视频| 婷婷五月天开心网| 天天干天天操天天爽| 日韩黄色影院| 激情亭亭五月| 99这里只有精品国产| 久久开心五月天激情| 深爱激情六月天| 天堂在线观看视频| 五月婷婷天堂| 五月婷婷成人网首页| 久色婷婷200| 久久这里只有精品热在99| 91呦呦呦| 六月丁香啪啪| 五月激情婷婷女| 色婷网| 99视频自拍| 色狠狠色综合久久久绯色aⅴ影视| 大香人妻| 婷婷成人丁香色情基地30 | www.天天日| 亚洲综合五月天婷婷| 国产成人网址| 亚洲色频| 日韩人妻无码专区| 天天日天天插| 一起草av| 日韩有码一区| 五月丁香激情五月天| 五月成人网站| 亚州美女| 激情综合色婷婷啪啪六月天| 操笔无码| 99热这里都是精品| 91精品国产综合久久久不卡电影| 97色欧美| 99在线精品免费视频| 丝袜熟女一区二区三区| 色婷婷导航| 思思热精品在线视频| 五月丁香婷婷基地| 五月丁香六月婷婷啪啪| 亚洲黄色影视| 内射干少妇亚洲69XXX| 丰满人妻妇伦又伦精品国产 | 99在热线免费视频| 五月天啪啪啪| 女人被男人吃奶到高潮| 欧美狠狠草| www激情五月天| 人人人舔人人人操人人人摸人人人97| 日本片日本片祼观看网站在线看中文版网页在线看 | 婷婷综合干| 五月天开心激情网色欲无码| 秋霞免费视频| 五月天婷婷久久视频| 六月丁香射婷婷欧美色图片| 牛牛澡牛牛爽| 干婷婷五月天| 久久9热好| 五月综合婷婷五月| 99热在线资源| 久久九九爽| 成片免费播放| 欧洲亚洲午夜| 熟女91九色| 大香蕉伊人99| 色播五月婷婷| 日韩精品AV一区二区三区| 天天综合干| 天天肏在线| 亚洲激情综合五月婷婷啪啪| 欧美视频五区| 色九月婷婷综合| 色情综合网| 狠狠狠狠狠狠狠狠草| 五月天激情子轮| 99re8在这里只有精品| 91精品国产99久久久久久天美| 婷婷六月啪啪| 色婷婷小说| 久热99狠| 久操人| 色丁香婷婷| 综合五月草| 青草久久五月婷伊人| 99热在线观看这里只有精品| 人人摸人人澡人人| 久/久精品99看9| 欧美性爱五月天| 欧美久久九九| 黑人熟妇一区二区三区| 另类图片天天影视在线观看| 99热在这里只有免费精品| 情涩婷婷五月天| 色综合色色色| 91性高潮久久久久久久久| 欧美激情综合| 婷婷五月丁香第四色超碰在线| 婷婷久久色| www.久久久久久久| www.超碰| 天天干夜夜b| 日韩AV大全| 日韩啪| 超碰国产在线| 婷婷丁香五月天综合激情| 欧美三级视频下载| 另类图片色五月| 天天肏天天插| 99久久大片| 婷婷射综合| 99这里有精品| 丁香九月激情在线视频| 丁香婷婷综合色五月激情国产基地| 91精品91久久久中77777久久玖玖九九| 性爱动图国产麻豆一区二区三区| 丁香五月天激情综合网| 久久精品人妻| 色五月欧美| 丁香五月婷婷国产av| 狠狠综合区| 99自拍网| 五月丁香综合伦理片| 色欲一区二区三区精品A片| 天天天干夜夜夜操| 色青青电影色五月| 天天综合色丁香| 欧美日本综合网| 少妇人妻综合色6699| 亚洲综合视频网| 无码99| 丁香婷婷婷婷十二月在线观看视频| 久久综合五月天| 色天天狠狠干| 婷婷久久色| 色婷婷激情| 五月丁香婷婷激情图片| 婷婷五月天综合网| 天天干肏夜夜| A1片久久久| 婷婷五月天网| 91操屁股| 天天综合亚洲综合网天天αⅴ| 婷婷亚洲综合| 99精品成人无码A片观看金桔| 久久久潮喷-久久久九九-成人AV| 色婷婷久久综合| 五月婷婷伊人久久| 色婷婷888| 亚洲亚洲人成综合网络| 日韩日比视频| 激情欧美婷五月| 五月天六月色| 东京热免费视频| 久热爱大香蕉在线蜜臀悦色| 五月开心婷婷极品激情| 五月天色导航| 免费不卡狠操美女视频网| www.操.com| 99久久天堂婷婷| 久热久| 五月天成人在线播放丁香| 丁香婷婷基地| 中国女人内射6XXXXX| 五月天丁香成人| 五月色婷婷AV| 综合激情在线| 影音 五月 婷婷 久久| 激情综合无码| 丁香婷婷在线| 久热这里只有精品6| 麻豆123区| 操人妻90p| 亚洲五月婷婷| 欧美性生交XXXXX无码小说| 久青操| 丁香五月色五月婷婷宗合| 99热综合| Av免费网站在线| 色婷婷丁香六月| 婷婷五月激情五月激情| 国产成人片| 99精品一二三四视频| 婷婷基地五月色| AV大香蕉| 日本A片一区| www色婷婷久久综合久色| 九九99热久久精品66中文字幕| 欧洲第一无人区观看| 欧美图片丁香五月天| 婷婷五月综合啪| 亚洲欧洲另类| 人妻五月天激情开心网| 天天综合干| 久久婷婷网站| 丁香亚洲色综合| 狠狠操之狠狠操| 国产精品色婷婷久久久精品| 午夜亚洲AV日韩无码| 日本色色图| 在线综合网| 99色色网| 超碰在线9| av性爱在线| 五月色网| 91人人操人人爱| 亚洲经典小视频| 超碰免费人人| 色综合视频| 丁香五月六月激情| 日本久久天堂| 五月天久久激情| 西瓜美女a片|