欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Hive導(dǎo)入導(dǎo)出CSV全攻略:從建表到踩坑實戰(zhàn)

Hive導(dǎo)入導(dǎo)出CSV全攻略:從建表到踩坑實戰(zhàn) 1. 項目背景與核心訴求解析做數(shù)據(jù)開發(fā)的同學(xué)十有八九都跟CSV打過交道。CSV這玩意兒說簡單也簡單就是個逗號分隔的純文本文件說麻煩也麻煩——編碼問題、引號轉(zhuǎn)義、換行符不一致每一樣都能折騰人半天。我自己在實際項目中接過不少這樣的需求業(yè)務(wù)方丟過來一個幾GB的CSV文件讓我塞進(jìn)Hive表里做分析或者反過來讓我把Hive里跑完的結(jié)果導(dǎo)出成CSV發(fā)給下游系統(tǒng)或者交給產(chǎn)品同學(xué)做報表??此苾蓚€方向的操作背后的細(xì)節(jié)其實多得超出大多數(shù)人的預(yù)期。這篇內(nèi)容我圍繞“Hive導(dǎo)入導(dǎo)出CSV全”這個主題把從建表、加載、導(dǎo)出到踩坑排查的完整鏈路都梳理一遍。無論你是剛接觸Hive的新手還是已經(jīng)寫了幾年HQL的老手只要跟CSV打過交道里面總有幾條經(jīng)驗?zāi)軒湍闶∠掳胩炫挪闀r間。我會把每一步為什么要這么做、參數(shù)背后的原理講清楚而不是丟給你一堆命令讓你盲目復(fù)制。先說清楚這篇的核心覆蓋范圍包括Hive內(nèi)部表與外部表的選擇邏輯、CSV文件與Hive表字段的對應(yīng)關(guān)系、LOAD DATA和INSERT OVERWRITE兩條主路徑、各種分隔符和轉(zhuǎn)義符的處理方式、以及導(dǎo)出時常見的文件合并、壓縮格式、編碼轉(zhuǎn)換等實操問題。每一條都是我在真實業(yè)務(wù)環(huán)境中驗證過的方案。2. 環(huán)境準(zhǔn)備與基礎(chǔ)概念2.1 Hive表類型選擇內(nèi)部表還是外部表很多人一上來就建表導(dǎo)數(shù)據(jù)結(jié)果后面刪表的時候把原始CSV也連帶刪掉了哭都來不及。這里核心差別在于內(nèi)部表managed table的數(shù)據(jù)文件完全由Hive管理你DROP表的時候HDFS上的數(shù)據(jù)文件會一并刪除外部表external table則只是讓Hive“掛載”到某個HDFS目錄上DROP表只刪元數(shù)據(jù)原始文件還留在原處。我自己的習(xí)慣是凡是從CSV導(dǎo)入的數(shù)據(jù)一律建外部表。理由是CSV文件往往是業(yè)務(wù)方提供的原始資產(chǎn)可能還需要反復(fù)清洗、回溯一旦被內(nèi)部表連帶刪掉重新找業(yè)務(wù)方要文件的過程極其痛苦。建外部表只是多了一個關(guān)鍵字的事CREATE EXTERNAL TABLE IF NOT EXISTS ods_user_info ( user_id STRING, user_name STRING, age INT, city STRING, created_at STRING ) COMMENT 用戶信息原始表 ROW FORMAT SERDE org.apache.hadoop.hive.serde2.OpenCSVSerde WITH SERDEPROPERTIES ( separatorChar ,, quoteChar \, escapeChar \\ ) STORED AS TEXTFILE LOCATION /data/ods/user_info TBLPROPERTIES (skip.header.line.count 1);2.2 為什么優(yōu)先用OpenCSVSerde而不是默認(rèn)的LazySimpleSerDe這是很多教程沒講透的地方。Hive對TEXTFILE格式的默認(rèn)SerDe是LazySimpleSerDe它對CSV的解析能力其實很弱。默認(rèn)情況下它只認(rèn)分隔符不認(rèn)引號——也就是說如果CSV里某個字段值本身包含了逗號比如北京,朝陽區(qū)默認(rèn)SerDe會把這個字段從逗號處劈開導(dǎo)致列錯位、數(shù)據(jù)錯亂。而OpenCSVSerde是專門為CSV設(shè)計的SerDe它原生支持引號包圍的字段、字段內(nèi)部的逗號、引號轉(zhuǎn)義等標(biāo)準(zhǔn)CSV規(guī)則。換句話說你拿到的CSV只要是符合RFC 4180規(guī)范或者Excel導(dǎo)出的常見格式OpenCSVSerde都能正確解析。實測對比過同一個文件用兩種SerDe加載的結(jié)果默認(rèn)SerDe解析出來的錯誤率在包含逗號字段的場景下能達(dá)到30%以上而OpenCSVSerde基本能做到零錯位。不用糾結(jié)直接選OpenCSVSerde。2.3 表字段類型映射CSV沒有類型Hive有CSV文件本身是沒有類型概念的所有字段本質(zhì)上都是字符串。到了Hive里你要給它聲明Int、Double、Date這些類型這里就埋著導(dǎo)入失敗最常見的雷——某一行某個字段是一個空字符串而它對應(yīng)的Hive字段類型是INTLOAD的時候會直接返回NULL。我的建議是導(dǎo)入階段先用全STRING類型的“裸表”把數(shù)據(jù)原樣加載進(jìn)來做完清洗和校驗之后再通過INSERT SELECT的方式轉(zhuǎn)成正式的分析表該CAST的CAST該過濾的過濾。這樣做的好處是導(dǎo)入流程本身不會因為類型轉(zhuǎn)換報錯而中斷你始終能在原表里看到原始數(shù)據(jù)。比如這樣建一張裸表CREATE EXTERNAL TABLE IF NOT EXISTS tmp_user_info_raw ( user_id STRING, user_name STRING, age STRING, city STRING, created_at STRING ) ROW FORMAT SERDE org.apache.hadoop.hive.serde2.OpenCSVSerde WITH SERDEPROPERTIES ( separatorChar ,, quoteChar \, escapeChar \\ ) STORED AS TEXTFILE LOCATION /data/tmp/user_info_raw TBLPROPERTIES (skip.header.line.count 1);3. 核心細(xì)節(jié)解析與實操要點3.1 分隔符、引號符、轉(zhuǎn)義符的搭配規(guī)則CSV的解析核心在于三個字符的配合分隔符separator、引號符quote、轉(zhuǎn)義符escape。很多導(dǎo)入異常都源于這三個字符配置不一致。先看標(biāo)準(zhǔn)CSV里最經(jīng)典的情況user_id,user_name,age,city,created_at 1001,張三,男,28,北京,朝陽區(qū),2024-06-01 12:00:00這里張三,男被雙引號包住了它內(nèi)部有逗號但整體是一個字段。OpenCSVSerde解析時只要看到quoteChar包裹的內(nèi)容就會把內(nèi)部的逗號當(dāng)普通字符處理。而escapeChar的作用是處理字段內(nèi)部出現(xiàn)的引號本身比如某個字段值是他說你好CSV里會寫成他說\你好\解析器靠escapeChar識別出這里的引號是內(nèi)容而不是語法符號。實操心得如果你導(dǎo)出CSV是給Excel用的分隔符用逗號、引號符用雙引號、轉(zhuǎn)義符用反斜杠就是最穩(wěn)的組合。如果字段里既有逗號又有引號轉(zhuǎn)義符一定要配好否則導(dǎo)出再導(dǎo)入會出現(xiàn)列錯亂甚至數(shù)據(jù)丟失。3.2 跳過表頭行TBLPROPERTIES的妙用業(yè)務(wù)方給的CSV十有八九帶著表頭Hive默認(rèn)不會自動跳過它會把表頭當(dāng)成一條數(shù)據(jù)加載進(jìn)去。你可以在建表的時候通過TBLPROPERTIES聲明跳過第一行TBLPROPERTIES (skip.header.line.count 1);這個屬性從Hive 2.3版本開始支持實測在3.x版本上完全穩(wěn)定。如果你的Hive版本比較老2.1及以下不支持這個屬性那就只能靠清洗腳本去掉表頭再上傳或者加載后再跑一條DELETE——Hive對DELETE的支持很弱所以最好的辦法是加載前用sed -i 1d file.csv這類命令處理一下。3.3 多分隔符場景怎么處理有些“偽CSV”其實不是逗號分隔的可能是豎線|、制表符\t、分號;。這種情況下不需要改代碼只需在建表時改掉separatorCharWITH SERDEPROPERTIES ( separatorChar |, quoteChar \, escapeChar \\ )給一個實際場景的對照參考數(shù)據(jù)來源常見分隔符注意事項標(biāo)準(zhǔn)CSV逗號 ,注意字段內(nèi)逗號需要引號包裹Excel另存為CSV逗號 ,注意中文編碼建議UTF-8日志系統(tǒng)導(dǎo)出豎線 |檢查字段內(nèi)是否包含豎線本身MySQL導(dǎo)出制表符 \t注意\t在HQL里的轉(zhuǎn)義寫法金融報文分號 ;字段內(nèi)分號的處理要提前確認(rèn)注意改分隔符之前先確認(rèn)你的數(shù)據(jù)源在生成文件時是怎么轉(zhuǎn)義的。如果源端沒做任何轉(zhuǎn)義那你加載的時候無論怎么配都是會錯位的。4. 實操過程與核心環(huán)節(jié)實現(xiàn)4.1 導(dǎo)入路徑一LOAD DATA導(dǎo)入本地或HDFS文件這是Hive導(dǎo)入CSV最直接的方式。核心命令是LOAD DATA它分兩種來源LOCAL表示從本地磁盤上傳不帶LOCAL表示文件已經(jīng)在HDFS上。-- 從本地文件系統(tǒng)導(dǎo)入文件會被復(fù)制到Hive表的HDFS目錄 LOAD DATA LOCAL INPATH /home/user/data/user_info.csv INTO TABLE tmp_user_info_raw; -- 從HDFS目錄導(dǎo)入注意HDFS上的文件會被移動到表目錄原路徑不再有文件 LOAD DATA INPATH /input/user_info.csv INTO TABLE tmp_user_info_raw;這里有一個新手必踩的坑從HDFS導(dǎo)入時LOAD DATA不是復(fù)制而是移動mv。如果你的原始文件在HDFS的/input目錄下LOAD完之后原文件就沒了。如果不想動原始文件有兩個替代方案先把文件cp到另一個目錄再LOAD那個目錄不走LOAD直接把文件放到外部表指定的LOCATION目錄下因為外部表的LOCATION就等同于表的存儲目錄放進(jìn)去之后立刻就能查詢到第二種方法我用得更多因為省掉了一次HDFS操作而且不依賴HiveServer2的執(zhí)行任務(wù)。4.2 導(dǎo)入路徑二INSERT OVERWRITE寫SELECT查詢結(jié)果有時候“導(dǎo)入”不是從文件直接加載而是需要從另一張表加工后寫入。這種情況用INSERT OVERWRITE或者INSERT INTOINSERT OVERWRITE TABLE dws_user_info SELECT user_id, user_name, CAST(age AS INT) AS age, city, created_at FROM tmp_user_info_raw WHERE user_id IS NOT NULL AND user_id ! ;INSERT OVERWRITE是全量覆蓋——每次執(zhí)行都會清空目標(biāo)表目錄下的所有文件然后寫入新數(shù)據(jù)。如果只想追加用INSERT INTO。但注意Hive的表文件可能會因此變得很碎如果頻繁INSERT INTO建議定期做ALTER TABLE ... CONCATENATE只適用于ORC格式或者重建表做一次合并。4.3 導(dǎo)出路徑一INSERT OVERWRITE DIRECTORY導(dǎo)出結(jié)果到HDFS把Hive查詢結(jié)果寫出去最基礎(chǔ)的方式是INSERT OVERWRITE DIRECTORY /tmp/user_export ROW FORMAT DELIMITED FIELDS TERMINATED BY , SELECT * FROM dws_user_info;這樣導(dǎo)出的文件是純逗號分隔的文本文件沒有表頭。很多下游同學(xué)拿到后發(fā)現(xiàn)列名對不上所以實際項目中我通常會自己拼一行表頭讓整個輸出變成帶表頭的完整CSVINSERT OVERWRITE DIRECTORY /tmp/user_export ROW FORMAT DELIMITED FIELDS TERMINATED BY , SELECT user_id,user_name,age,city,created_at UNION ALL SELECT user_id, user_name, CAST(age AS STRING), city, created_at FROM dws_user_info;UNION ALL的方式在Hive里需要注意類型一致性所有SELECT分支的列類型要對得上。第一條分支里所有字段都是STRING第二條分支把數(shù)字類型CAST成STRING這樣整個結(jié)果集的數(shù)據(jù)類型是統(tǒng)一的。4.4 導(dǎo)出路徑二用Hive CLI輸出重定向到本地文件如果你查詢的結(jié)果量不大幾千條到幾萬條可以直接用Hive CLI或Beeline執(zhí)行SQL把標(biāo)準(zhǔn)輸出重定向到本地文件beeline -u jdbc:hive2://your-host:10000/default \ --silenttrue \ --outputformatcsv2 \ -e SELECT user_id, user_name, age, city FROM dws_user_info WHERE dt2024-06-01 \ /home/user/export/user_info_20240601.csv--outputformatcsv2是Beeline自帶的一種CSV輸出格式它會把查詢結(jié)果顯示成帶引號的CSV對字段內(nèi)含逗號、換行符的場景處理得比csv格式更好。如果追求極致的標(biāo)準(zhǔn)化可以用tsv2輸出制表符分隔的結(jié)果。注意--silenttrue不加上這個參數(shù)的話Beeline會把一大堆Hive的運行日志、箭頭符號混進(jìn)輸出文件里文件直接變臟。我自己第一次導(dǎo)出就踩了這個坑輸出文件前幾行全是INFO級別的日志還得用腳本清理非常麻煩。4.5 導(dǎo)出路徑三通過HDFS下載合并文件這個方法是生產(chǎn)環(huán)境最常用的。Hive跑完INSERT OVERWRITE DIRECTORY之后HDFS上往往會生成多個part文件數(shù)量取決于運行時的Reducer數(shù)量。如果需要給業(yè)務(wù)方一個單文件CSV需要把這些part文件合并。步驟是這樣的# 查看生成的文件 hdfs dfs -ls /tmp/user_export # 合并所有part文件到本地 hdfs dfs -getmerge /tmp/user_export /home/user/export/user_info_all.csv-getmerge是HDFS命令里非常好用的一個工具它會把目錄下的所有文件按順序拼接成一個本地文件。默認(rèn)情況下它不做任何格式處理直接把內(nèi)容首尾相接。如果每個part文件末尾都有換行符合并后的文件行不會串。但如果你不確定可以在-getmerge后面加一個-nl參數(shù)讓它在每個文件之間自動追加換行hdfs dfs -getmerge -nl /tmp/user_export /home/user/export/user_info_all.csv這里有個經(jīng)驗點在寫導(dǎo)出SQL之前就可以提前控制Reducer數(shù)量。如果數(shù)據(jù)量不大通過SET mapred.reduce.tasks 1;強制只有一個Reducer生成的就是一個part文件連合并這一步都省了。但這個方法只適合幾GB以內(nèi)的數(shù)據(jù)量數(shù)據(jù)量大了單Reducer會成為性能瓶頸。5. 復(fù)雜場景與性能調(diào)優(yōu)5.1 大文件導(dǎo)入如何避免OOM和解析失敗曾經(jīng)接手過一個業(yè)務(wù)需求一份CSV文件接近20GB單行的字段長度最長超過2MB用戶畫像標(biāo)簽串在一起導(dǎo)致。直接用LOAD DATA導(dǎo)入Hive任務(wù)跑十來分鐘后就開始報Java heap space或者OutOfMemory。排查下來問題出在兩點第一OpenCSVSerde在處理超長字段時會把整行數(shù)據(jù)讀入內(nèi)存進(jìn)行解析如果單行數(shù)據(jù)太大Mapper所在的Container很容易OOM。解決思路是先看業(yè)務(wù)上能不能拆開這些超長字段如果不能就得在Container參數(shù)上加內(nèi)存SET mapreduce.map.memory.mb 4096; SET mapreduce.map.java.opts -Xmx3072m;第二CSV文件如果有壞行比如某一行少了一個逗號導(dǎo)致列數(shù)不匹配OpenCSVSerde默認(rèn)是把缺失的列置為NULL不會報錯但如果某一行列數(shù)多出幾個則有可能觸發(fā)解析異常。我建議在導(dǎo)入前先用一個快速巡檢任務(wù)跑一遍文件統(tǒng)計行數(shù)和最大列數(shù)# 統(tǒng)計文件總行數(shù) wc -l user_info.csv # 統(tǒng)計最大列數(shù)用awk按逗號拆分 awk -F, {print NF} user_info.csv | sort -nr | head -1如果某個文件的列數(shù)比表字段多這批數(shù)據(jù)肯定有問題先別急著導(dǎo)入。5.2 分區(qū)表怎么導(dǎo)入和導(dǎo)出CSV實際業(yè)務(wù)中我們很少把CSV直接導(dǎo)入非分區(qū)表因為后續(xù)查詢、清理、生命周期管理都離不開分區(qū)。帶分區(qū)的建表語句CREATE EXTERNAL TABLE IF NOT EXISTS dws_user_info ( user_id STRING, user_name STRING, age INT, city STRING ) PARTITIONED BY (dt STRING) ROW FORMAT SERDE org.apache.hadoop.hive.serde2.OpenCSVSerde WITH SERDEPROPERTIES ( separatorChar ,, quoteChar \, escapeChar \\ ) STORED AS TEXTFILE LOCATION /data/dws/user_info TBLPROPERTIES (skip.header.line.count 1);靜態(tài)分區(qū)導(dǎo)入LOAD DATA LOCAL INPATH /home/user/data/user_info_20240601.csv INTO TABLE dws_user_info PARTITION (dt2024-06-01);動態(tài)分區(qū)導(dǎo)入從不帶分區(qū)的臨時表刷到分區(qū)表SET hive.exec.dynamic.partition.mode nonstrict; INSERT OVERWRITE TABLE dws_user_info PARTITION (dt) SELECT user_id, user_name, age, city, dt FROM tmp_user_info_raw;導(dǎo)出場景反過來查某個分區(qū)的數(shù)據(jù)寫成CSVINSERT OVERWRITE DIRECTORY /tmp/user_export_20240601 ROW FORMAT DELIMITED FIELDS TERMINATED BY , SELECT user_id, user_name, age, city FROM dws_user_info WHERE dt 2024-06-01;5.3 壓縮格式的選擇導(dǎo)出gzip還是純文本導(dǎo)出CSV時要不要順便壓縮取決于下游怎么用。如果是給數(shù)據(jù)倉庫或者分析平臺做后續(xù)處理gzip壓縮是很好的選擇——體積能縮小到原來的五分之一左右而且大多數(shù)系統(tǒng)支持直接讀取gzip格式的CSV。實現(xiàn)方式非常簡單在導(dǎo)出SQL里加一句存儲壓縮配置SET mapreduce.output.fileoutputformat.compress true; SET mapreduce.output.fileoutputformat.compress.codec org.apache.hadoop.io.compress.GzipCodec; INSERT OVERWRITE DIRECTORY /tmp/user_export ROW FORMAT DELIMITED FIELDS TERMINATED BY , SELECT * FROM dws_user_info WHERE dt2024-06-01;如果你要拿這個CSV給非技術(shù)的業(yè)務(wù)人員就別壓縮了。他們拿到一個.gz文件大概率不知道怎么打開反而增加溝通成本。給程序做自動化消費的才考慮壓縮。5.4 編碼問題的統(tǒng)一處理CSV最讓人頭痛的編碼坑在我做過的項目里出現(xiàn)頻率非常高。業(yè)務(wù)方從Excel導(dǎo)出的CSV默認(rèn)是GBK或者GB2312編碼上傳到HDFS后Hive按UTF-8解析結(jié)果中文全部變成亂碼。處理方案有兩種第一種在導(dǎo)入前統(tǒng)一轉(zhuǎn)換編碼# 本地轉(zhuǎn)碼后再上傳 iconv -f GBK -t UTF-8 user_info_original.csv user_info_utf8.csv # 轉(zhuǎn)碼后的文件上傳HDFS hdfs dfs -put user_info_utf8.csv /input/第二種在導(dǎo)出時指定編碼給下游。Hive自身沒有編碼轉(zhuǎn)換函數(shù)但可以通過SELECT搭配普通字符串操作變通處理常見的做法是導(dǎo)出后在本地統(tǒng)一轉(zhuǎn)換。我的建議是源頭統(tǒng)一UTF-8。和業(yè)務(wù)方約定所有CSV文件必須提供UTF-8編碼版本。這個約定看起來簡單但在實操中能省掉一大半的亂碼麻煩。如果你控制不了源端那就在導(dǎo)入前例行執(zhí)行iconv轉(zhuǎn)碼步驟把它寫進(jìn)定時調(diào)度里。6. 常見問題與排查技巧實錄6.1 表頭沒有被跳過第一條數(shù)據(jù)丟失現(xiàn)象建表時明明設(shè)置了skip.header.line.count1LOAD之后查詢發(fā)現(xiàn)第一行數(shù)據(jù)不見了。排查思路這個屬性是Hive讀取時候的控制參數(shù)它生效的前提是文件在表目錄下能被識別成數(shù)據(jù)文件。如果你用LOAD DATA加載的是整個CSV文件會發(fā)現(xiàn)表頭行被正確跳過但如果你先hdfs dfs -put把文件放進(jìn)了外部表的LOCATION目錄然后建表時又加了skip.header.line.count1那么建表之前文件就已經(jīng)在那里了之后LOAD新文件時表頭跳過邏輯可能只作用于新增的文件而不是歷史文件。實操中我傾向于不用這個屬性而是在上傳之前用腳本統(tǒng)一去掉表頭。理由很簡單這個屬性在不同Hive版本上存在兼容差異而預(yù)處理去表頭是確定性最高的方案。6.2 字段內(nèi)含換行符導(dǎo)致行數(shù)變多CSV規(guī)范允許字段內(nèi)包含換行符比如一個備注字段里就有一個真正的換行這就導(dǎo)致Hive在按行讀取文件時誤以為出現(xiàn)了新紀(jì)錄。這種場景下OpenCSVSerde同樣能處理——RFC 4180規(guī)范要求含換行的字段必須用引號包住OpenCSVSerde解析時能識別出這是個字段內(nèi)的換行而不是行終結(jié)符。但要注意如果源端生成CSV時沒有用引號包住含換行的字段那任何解析器都沒法正確判斷數(shù)據(jù)必然被拆成兩行。而且Hive讀取文件是按行\(zhòng)n切分后再交給SerDe解析的這意味著如果字段內(nèi)有換行但沒有引號包裹必錯如果字段內(nèi)有換行且用引號包裹OpenCSVSerde可以正確還原換行實測過一個文件里包含大量多行地址字段的數(shù)據(jù)用OpenCSVSerde加載后文本字段內(nèi)的換行被還原成\n存儲字段整體是完整的查詢結(jié)果也能對上行數(shù)。前提條件就是源端CSV生成必須規(guī)范。6.3 導(dǎo)入后部分行顯示為NULL這個最常見的原因是CSV文件里本來就有空值。比如1001,張三,28,,2024-06-01city字段是空的導(dǎo)入后顯示NULL是正常的。但有一種情況很坑CSV里出現(xiàn)\N字符。在Hive中\(zhòng)N是文本文件中表達(dá)NULL的默認(rèn)標(biāo)記。如果你的CSV數(shù)據(jù)里恰好有字符串\N比如某個字段值是\N表示空導(dǎo)入后它會被自動識別成NULL而不是字符串\N。這是Hive的默認(rèn)行為處理方法是建表時通過SERDEPROPERTIES修改WITH SERDEPROPERTIES ( serialization.null.format )設(shè)置成空字符串后只有空字段才是NULL\N會被當(dāng)作普通字符串處理。6.4 導(dǎo)出文件亂碼問題導(dǎo)入時亂碼的原因在前面說過了。導(dǎo)出時亂碼的問題則往往出在文件后續(xù)流轉(zhuǎn)環(huán)節(jié)用INSERT OVERWRITE DIRECTORY導(dǎo)出的文件是UTF-8編碼的但用Excel打開的時候Excel會默認(rèn)猜測編碼如果猜成GBK就會顯示亂碼。有一個不太優(yōu)雅但很實用的做法導(dǎo)出后帶一個BOM頭Byte Order Mark。實測帶BOM的UTF-8文件用Excel打開時編碼識別準(zhǔn)確率幾乎100%。Hive本身不支持寫B(tài)OM所以通常在本地用命令處理# 給導(dǎo)出文件加上UTF-8 BOM printf \xEF\xBB\xBF temp_with_bom.csv cat user_info_all.csv temp_with_bom.csv mv temp_with_bom.csv user_info_all.csv不過這也會帶來新問題如果這個文件還要再導(dǎo)回HiveBOM頭會變成第一個字段值的一部分需要在導(dǎo)入時用TRIM或者正則處理掉。所以我只在面向業(yè)務(wù)人員的導(dǎo)出場景加上BOM面向系統(tǒng)對接的導(dǎo)出保持純UTF-8。6.5 常見問題排查速查表現(xiàn)象可能原因解決思路導(dǎo)入后中文亂碼源文件GBK編碼Hive按UTF-8解析上傳前用iconv轉(zhuǎn)UTF-8第一條正常數(shù)據(jù)丟失表頭未被過濾或過濾策略不對預(yù)處理去掉表頭重新LOAD列數(shù)錯位、字段串列字段內(nèi)含逗號但無引號包裹源端修復(fù)CSV或替換分隔符字段內(nèi)容被截斷字段內(nèi)含換行符且被解析成新行確認(rèn)引號包裹或用OpenCSVSerdeLOAD后原文件消失從HDFS導(dǎo)入時文件被移動用外部表LOCATION方式或先復(fù)制導(dǎo)入后大量NULL類型轉(zhuǎn)換失敗或CSV空值先用全STRING裸表加載導(dǎo)出文件帶日志信息未加--silenttrue重跑并添加靜默參數(shù)導(dǎo)出文件有多個partReducer數(shù)量大于1用getmerge合并或設(shè)置reduce1帶表頭導(dǎo)出時UNION ALL類型不匹配第一個分支與后續(xù)分支字段類型不一致全部字段CAST成STRING7. 踩過的坑與實用經(jīng)驗總結(jié)我在做Hive數(shù)據(jù)導(dǎo)入導(dǎo)出項目時踩過不少坑有些坑的排查時間長達(dá)一整天。這里分享幾個最典型的經(jīng)驗。第一個經(jīng)驗從業(yè)務(wù)方接收CSV時先做數(shù)據(jù)質(zhì)檢再導(dǎo)入。一份20GB的CSV文件如果導(dǎo)入后又發(fā)現(xiàn)某個字段串列或者編碼有問題重新導(dǎo)入的時間成本非常高。我的習(xí)慣是先拿一個幾千行的采樣文件導(dǎo)入到臨時表跑幾個簡單的查詢行數(shù)、空值率、列數(shù)分布確認(rèn)沒有問題后再全量導(dǎo)入。這個步驟只花幾分鐘但能避免幾小時的返工。第二個經(jīng)驗用外部表做中轉(zhuǎn)用內(nèi)部表做存儲。所有CSV原始數(shù)據(jù)都建外部表LOCATION指向固定的HDFS目錄。這樣做的好處是后續(xù)清洗出錯時原始數(shù)據(jù)還在DROP表也不會影響HDFS上的文件。清洗后的數(shù)據(jù)再用內(nèi)部表保存享受Hive的管理和生命周期功能。第三個經(jīng)驗導(dǎo)出CSV給業(yè)務(wù)方之前一定要跟對方確認(rèn)打開方式。如果對方說“我用Excel打開”那么編碼用UTF-8帶BOM分隔符用逗號字段內(nèi)有逗號的情況必須加雙引號如果對方說“我用Python pandas讀”那么編碼用UTF-8不帶BOM加不加表頭取決于對方需求但字段內(nèi)最好不要有多余的轉(zhuǎn)義符否則pandas的read_csv參數(shù)配置會很繁瑣。上個項目里就遇到過這樣的事我導(dǎo)出的CSV字段里為了兼容Excel加了雙引號轉(zhuǎn)義結(jié)果下游Python腳本用默認(rèn)參數(shù)讀取時引號也被讀進(jìn)來了字段值變成了張三帶引號對方又花了大半天寫清洗邏輯。從那以后每次導(dǎo)出我都會問清楚下游消費方式再決定轉(zhuǎn)義策略。第四個經(jīng)驗CSV導(dǎo)入導(dǎo)出的調(diào)度任務(wù)一定要有監(jiān)控和告警。數(shù)據(jù)量大的時候LOAD DATA任務(wù)可能跑10分鐘以上如果中途失敗Hive不會自動清理半成品數(shù)據(jù)部分文件可能已經(jīng)被寫入。重跑之前先確保表目錄是干凈的或者用INSERT OVERWRITE而不是INSERT INTO否則可能舊新數(shù)據(jù)混在一起。8. 一個端到端的完整實戰(zhàn)案例為了把這些分散的點串起來我給出一個從我實際項目中抽象出來的完整流程。需求描述某公司的運營團(tuán)隊每天會從業(yè)務(wù)系統(tǒng)導(dǎo)出當(dāng)天的用戶行為CSV文件包含用戶ID、行為類型、行為時間、行為詳情等字段。文件格式為標(biāo)準(zhǔn)CSVUTF-8編碼第一行是表頭。需要每天自動導(dǎo)入Hive供數(shù)據(jù)分析團(tuán)隊使用。8.1 第一步創(chuàng)建外部臨時表CREATE EXTERNAL TABLE IF NOT EXISTS tmp_user_behavior_raw ( user_id STRING, behavior STRING, event_time STRING, detail STRING ) ROW FORMAT SERDE org.apache.hadoop.hive.serde2.OpenCSVSerde WITH SERDEPROPERTIES ( separatorChar ,, quoteChar \, escapeChar \\ ) STORED AS TEXTFILE LOCATION /data/tmp/user_behavior_raw TBLPROPERTIES (skip.header.line.count 1);8.2 第二步上傳CSV文件# 刪除歷史遺留文件避免新舊混存 hdfs dfs -rm -f /data/tmp/user_behavior_raw/*.csv # 上傳當(dāng)天的CSV文件 hdfs dfs -put /home/user/data/user_behavior_20240601.csv /data/tmp/user_behavior_raw/因為建了外部表文件放到LOCATION目錄后Hive立刻就能查看到數(shù)據(jù)不用再執(zhí)行LOAD DATA。文件不會被移動原始文件保留一份后續(xù)如果要回溯仍然找得到。8.3 第三步數(shù)據(jù)質(zhì)檢-- 查看總行數(shù) SELECT COUNT(*) FROM tmp_user_behavior_raw; -- 查看每條記錄各字段為NULL的情況 SELECT SUM(CASE WHEN user_id IS NULL OR user_id THEN 1 ELSE 0 END) AS user_id_null_cnt, SUM(CASE WHEN behavior IS NULL THEN 1 ELSE 0 END) AS behavior_null_cnt, SUM(CASE WHEN event_time IS NULL THEN 1 ELSE 0 END) AS event_time_null_cnt FROM tmp_user_behavior_raw; -- 抽查幾條樣本 SELECT * FROM tmp_user_behavior_raw LIMIT 10;如果行數(shù)、空值率、樣本內(nèi)容都符合預(yù)期繼續(xù)下一步不滿意就直接刪目錄重新上傳。8.4 第四步清洗并寫入正式表CREATE TABLE IF NOT EXISTS dws_user_behavior ( user_id STRING, behavior STRING, event_time TIMESTAMP, detail STRING ) PARTITIONED BY (dt STRING) STORED AS ORC; SET hive.exec.dynamic.partition.mode nonstrict; INSERT OVERWRITE TABLE dws_user_behavior PARTITION (dt) SELECT user_id, behavior, CAST(event_time AS TIMESTAMP) AS event_time, detail, 2024-06-01 AS dt FROM tmp_user_behavior_raw WHERE user_id IS NOT NULL AND user_id ! ;正式表用ORC存儲查詢性能比TEXTFILE高很多而且還支持后續(xù)的向量化查詢、列裁剪等優(yōu)化。這一步重點是把STRING類型的event_time轉(zhuǎn)成TIMESTAMP過濾掉空user_id的臟數(shù)據(jù)。8.5 第五步導(dǎo)出當(dāng)日分析結(jié)果INSERT OVERWRITE DIRECTORY /tmp/behavior_export/20240601 ROW FORMAT DELIMITED FIELDS TERMINATED BY , SELECT user_id, behavior, event_time, detail FROM dws_user_behavior WHERE dt 2024-06-01;然后合并下載hdfs dfs -getmerge -nl /tmp/behavior_export/20240601 /home/user/export/behavior_20240601.csv這樣給到需求方的是一個干凈、單文件、UTF-8無BOM的CSV直接可以分發(fā)給業(yè)務(wù)團(tuán)隊使用。9. 寫在最后的補充我實際做這些導(dǎo)入導(dǎo)出工作時越來越覺得CSV這種格式雖然簡單但正因為簡單反而容易在細(xì)節(jié)上翻車。SerDe選型、編碼統(tǒng)一、表頭處理、文件合并每個環(huán)節(jié)單獨拿出來都不難合在一起卻需要一套完整的流程去保證穩(wěn)定可靠。建議你在自己的項目里先建立一套標(biāo)準(zhǔn)化的CSV導(dǎo)入導(dǎo)出流程模板包括建表語句模板、質(zhì)檢SQL模板、導(dǎo)出腳本模板。這樣新需求來了只需要替換表名和字段名就能快速復(fù)用整套流程不用每次從零開始摸索。這套流程沉淀得越完善你在處理數(shù)據(jù)對接上的時間成本就越低。如果后續(xù)有需要還可以在這個基礎(chǔ)上擴展成通用的數(shù)據(jù)交換模塊支持其他分隔符格式、壓縮格式、甚至自動識別表頭字段名的功能。先把基礎(chǔ)的CSV鏈路打磨扎實后面所有擴展都會順很多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99九九在线视频| 密桃激情五月天综合网| 人人人人人人人草| 亚洲成人在线免费| 黄色国久久| 任我肏视频精品| 色色五月婷婷久久| 婷婷激情五月综合基地| 久久色五月天| 性按摩玩人妻HD中文字幕| 五月Huangsewang| www.久久爱.c n| www.91操| 五月婷婷开心综合| AAA久久| 五月婷婷丁香91| 免费成片在线观看| 五月婷久久| 天天日夜夜帕| 99在线精品视频| 大香蕉在九| 1024亚洲| 中文字幕人妻一区二区| 天天综合情| 天天添天天摸天天天天做| 深爱五月婷婷| 五月天激情美女久久| 日韩五月婷婷| 五月色欧洲| 亚洲激情婷婷| 国产露脸150部国语对白| 色婷婷四色| 影音先锋女人av鲁色资源网小说免费| 色综合中文| 99在线精品免费视频| 一级无码作爱片| 婷婷色播色五月五色五月天色妇| 久久这里只有精品99| 99综合免费视频| 久久全色| 9这里只有精品| 亚洲免费99| 日本黄色三级片内射| 99色视频在线观看最新| 婷婷狠狠干| 超碰人人色| av最新在线| 国产Va视频| www.五月天色色.com| 午夜伊人大香蕉| 色婷婷久久| 潮汕成人AV片在线| 婷婷激情区| www.99在线| 碰久久精品w| 人人澡天天色天天做| 思思热热久久| 国产成人精品一区二三区熟女在线| 98色丁香五月婷婷综合网| 婷婷欧美激情综合| 免费婷婷| 先锋资源婷婷| 都市激情五月婷婷亚洲| 无码激情AAAAA片-区区| 蜜桃婷婷五月| www.狠狠| 日韩操逼大片| 欧美日本另类| 婷婷新网址| 青青草a在线| 色色色色色色色色色色色色色97| 亚洲精品444久久久久久| 色五月天中文字幕| www.夜夜| 色亚洲无码| 四色五月婷婷| 超碰A V在线| 热无码A∨| 色色色99| 五月天婷婷色综合| 久久99免费视屏| 五月天播播综合| 爽极品色| 婷婷伊人综合中文字幕| 精品99视频| 超碰成人影视| 日韩精品无码99| 国产精品人成A片一区二区| www.久久久.com| 九九精品网| 亚洲蜜桃精久久久久久久久久久久| 久久久久9| 中文AV网| 九月婷婷综合网| 日日狠狠久久偷偷四色综合免费| 亚洲在线免费成人| 五月丁香亚洲五月| 淫五月停停| 狠狠色婷婷7| 亚洲成人免费在线| 97在线视频人妻九色| 五月婷婷亚洲色视频| 99九九99九九九视频精品| 天天干天天 亚洲| 婷婷啪啪| 婷婷丁香人妻| 欧洲色区| 色婷婷色久综| 日本激情综合| 69热91天堂| 青青草蜜臀| 婷婷操逼| 在线色五月婷婷| 丁香五月天激情综合| 成人丁香五月| 狠狠色成人影片| 久久九九中文字幕| 久热99热| 91超级碰碰碰| 99综合视频| 五月丁香婷婷综合在线| 亚洲经典三级| 六月五月婷婷| 第1影院之五月婷婷| 丁香五月欧美激情| 黄色一极大片| 色婷婷影视| 色噜噜狠狠色综合日日| 婷婷爱五月| 色噜噜伊人| 婷婷色综合| 亚洲丁香婷婷五月天综合色| 亚洲V国产V欧美V久久久久久| 色色永久| 超碰人人在线观看| 99免费在线视频| 久久WW| 婷婷精品在线| 国产偷人爽久久久久久老妇APP| 色五月涩涩婷婷蜜桃| 激情六月婷婷| 69色色视频| 丁香六月欧美| 97亚洲婷婷| 97久久久久| 另类图片五月天| 五月丁香六月婷婷中文版| 久久中文网| 五月天俺去也| 丁香六月啪啪啪| 丁香五月自拍| 激情五月婷婷综合网| 丁香八月综合激情| 99在线视频播放| 另类小说五月天| 激情五月天色播| 丁香色啪综合| 人人超碰99| 久热91精品| 亚洲欧洲另类| 亚洲丁香花五月丁香花| 久草狼人| 日本狠狠爽| 日本www免费九九| 天天色噜| 五月天色婷伊人| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 高清 码 免费看片短视频| 99久在线精品99re5热视频| 色五月婷婷综合| 99色色网| 俺也去在线视频| www.9797国产| 国产精品VIDEOSSEX久久发布| 日日狠夜夜狠| www.五月婷婷.com| 日日干四虎| 五月天啪啪啪| 噜噜综合网| www色哟哟| 九色91视频| 九九热九九热精品| 无码橾| 婷婷五月成人| 噜噜狠狠色综无码久久合欧美| 中文无码婷婷| ai97re99一本| 99热这里有精品| 婷婷五月天男人影院色色网| 亚洲色五月| 牛色色碰| 丁香婷婷五月| 天天日本夜夜谢| 色久婷婷五月| 五月婷婷综合影院| 中文中文在线| 成人AV免费观看| 99色视频在线观看| 久久激情网| 五月天丁香婷婷网| 丰满人妻一区二区三区| 国产偷人妻精品一区| 五月婷婷六月丁香激情深爱| av在线免费网站 | 香蕉AV777XXX色综合一区| 婷婷久久性爱| 九九精品丁香花| 五月大香蕉| 天天日日夜夜爽。| 久er7久热| 人妖色AV色综合| 成人视频网| 超碰高清在线| 久久婷婷五月综合色和| 五月婷婷开心激情六月蜜桃| 成人噜噜网| 五月综合激情图片| 婷婷色影音天| 久99| 色婷婷久久| 五月丁香在线综合| 亚洲精品性色| 欧美综合婷婷欧美综| 96精品久久久久久久久| 天天射色五月天| 玖玖在线视频| 九九久久网| 亚洲中文乱字字幕在线永久| 色婷婷影音| 亚洲va日| 日韩九九视频| 91黄操| 3DAV亚洲香蕉久久 一区二区| 99热这里只有精品免费| www.五月天色色.com| 婷婷五月精品中文字幕| 日本噜噜色网| 男女啪啪视频久 9| 精品一区二区三区免费毛片爱| 色私五月婷婷| 婷婷五月天视频| 99色视频免费在线规看| 五月丁香狠狠地噜噜噜噜| 深爱五月激情综合| 五月天婷婷基地丁香| 97人妻碰碰碰久久香蕉| 冬月かえでAV无码播放| 六月丁香啪| 亚洲深喉AV| 色播五月| 婷婷六月丁香五月| 色色婷婷丁香| 热久久99热欧美国产亚洲| 99色色视频| 五月丁香婷婷激情澎湃四射| 丁香婷婷在线| 九九无码视屏| 婷婷丁香五月高清| 日日日日操| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 激情涩涩网| 丁香五月婷婷亚洲人| 丁香五月手机在线| 欧美综合五月丁香六月婷| 97人妻碰碰碰久久| 99精品国产在热久久婷婷| 九九99偷拍视频| 色亚洲欧洲| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 99久久婷婷五月综合| 久久丁香五月| 大香蕉久热| 97超碰在线免费观看| 五月丁香激情综合久久| 色丁香五月| 国产精品色色| AAA久久久| 日韩狠狠色| 九热精品| 26uuu成人网| 99碰网站| 可以免费观看的AV| 亚洲国产精品VA在线看黑人| 五月婷婷色欲| 丁香综合伊人| 九九婷婷激情综合网| 国产肥白大熟妇BBBB视频| 99热这里有精品| www婷婷| 五月丁香五月综合欧美| 国产午夜精品AV一区二区麻豆 | 97精品人人A片免费看| 91啪啪| 激情深爱五月天| 精品香蕉99久久久久网站| 99精品偷自拍| 偷偷操九九| 亚洲av网址| 国内久久久精品99| 色九九综合| 五月天激情播播网| 久久精彩视频99| 欧美色色色色色色色| 狠狠干在线| 激情亭亭五月| 五月丁香久久| 任我干视频在线观看| 九九综合五月欧美| 狠狠久久婷五月| 九热视频| 久热中文字幕在线线观看| 久久久久久久久久人妻| 一区二区乱码视频| 色吧综合网| 丁香婷婷综合激情五月色| 大香伊人久色| www、丁香五月天| 操碰99| 婷婷5月色| 开心五月婷婷激情网| 久久久久久久久人妻| 99热成人| www.99视频| 一区二区成人电影免费播放| 九九色播五月丁香| 精品婷婷五月视| 亚洲aV写真天天综合网久久| 国产精品大香蕉| 丰满少妇猛烈A片免费看观看| 97luluse| 特黄三级片| 色的色综合| 国产成人99久久亚洲综合精品| 色爱99| 狠狠干在线| 无码激情AAAAA片-区区| 久久九精品| www.xtbsty.cn.com蜜乳AV| 襙逼网| 夜夜骑天天操| 99热这里只有精品9| 九九操屄| 色五月首页| 天天cha成人综合网| 99精品综合| 婷婷中文字幕| 激情婷婷综合网| 六月99天天婷婷激情综合| 天天日夜夜操五月| 色综合久久888| www.91av.com| 久久久激情| 亚洲va欧美va国产综合久久久| 26uuu欧美| 91狠狠综合久久久| 色五月婷婷1| 九九综合精品| 性生活视频98791| 激情四射亚洲| 欧美五月丁香在线| 亭亭玉月丁香| 婷婷在线网| 九九re精品视频在线观看 | 六月丁AV| 嫩草AV久久伊人妇女超级A | 中日韩美欧成人一区二区精品在线 | 婷婷五月丁香啪啪| 天天摸色吧天天摸色吧| 六月丁香五月婷婷| 激情九月综合| 九九热99热| 色综合久| 91色在线/日韩| 婷婷丁香五月综合激情小说| 五月丁香网站| 婷婷五月天黄色| 婷婷无码视频| 亚洲色色色| 99玖玖在线视频| 婷婷五月天激情在线观看| 九月av| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 婷婷五月色| 亚洲天天| 热久久999| 欧美丁香婷婷天天操| 丁香六月激情| 丁香五月婷婷啪啪视频| 色愛综合网| 五月丁香婷婷深深爱| 国产免费性爱| 精品视频99看在线视频| 91久久婷婷| 久久99久久久| 国产婷婷五月在线视频| 激情婷婷五月丁香啪啪啪| 国在线激情网| www久久99| 99日在线观看视频| 天天色宗合| 亚洲成人AV高清字幕| 婷五月天天| 五月色丁香| yw.av| 色婷婷先锋| 激情五月天色播| 国产超碰在线| 综合色久| 色啪网| 九色91视频| 丁香五月婷婷99| 狠狠撸激情综合丁香五月天俺来啦| 五月丁香色综合| 丁香五月婷婷啪啪| 激情五月丁香五月| 99精品在线| 97操视频| 九九五月天| 久久伊人9| 色婷在线视频| 亚洲色网址| 一本狠婷婷综合| 久久aaaa片一区二区| 91 欧美| 久久久久综合激动五月天| 色色a| 色色综合网站| 色色色热| 这里只有精品热| 成人精品视频99在线观看免费| 色婷婷五月天激情| 亚洲欧美成人在线| 色小说婷婷五月天天天| 国产欧美日韩综合精品一区二区| 69er小视频| 九九在线热九九在线热99热| 九九Y精品热播| 日夜夜天天| 偷拍丁香九月激情| 99久久性爱| 激情婷婷丁香色五月| 久久机热/这里只有精品| 操逼五月天| 99热这里有精力| 伊人热婷婷| 六月婷婷色综合| 91丨九色丨老农村| 碰碰91| 99日韩| 色欧洲| 伊人久久激情图区五月| 丰满少妇乱A片无码| 激情婷婷五月天在线观看| 97人碰人操| 久久一热| 婷婷五月天Av| 超碰在线国产| 精品人妻久久久久久久| 婷婷色色丁香| 99久久网站| 婷婷 久综合| 亚州美女| 婷婷五月天激情诱惑| 91精产一区三区免费观看| 婷婷丁香成人| 激情婷婷五月天伊人在线观看| 99国产精品久久久久久久久久久| 婷婷婷婷婷婷婷五月丁香| 激情五月色婷婷| 99精品在线观看| 婷五月天在线草| 色五月丁香五| 9l视频自拍9l九色9l成人| 婷婷五月av| 国产精产国品一二三在观看| 久久A V无码视频| 草榴视频网| 99久在线精品99re8| 丁香五月天天日| 色综啪啪| 久久九九爽| 草操网| 婷婷色网址| 天天干一干| 色婷婷五月天av在线| 五月丁香啪啪| 五月婷婷五月丁香| 天天玩天天摸| 久久久久久久久久久-久五月天婷婷| 热热久久99| 五月婷婷激情| 97超碰,人人舔,人人操,人人摸 | 丁香五月婷婷成人网| 香蕉视频91| 欧美激情综合色综合啪啪五月| 激情九九综合网| 9月色婷婷| 99色色网| 99色在线观看视频| 五月天四色房丁香| 91九色国产在线| 国产乱子轮XXX农村| 无码区婷婷五月花开| 久热视频A.| 欧美久久久中文字幕| 99久久婷| 热99只有里视频| 超碰在线成人| 丁香五月婷婷国产在线| 亚洲男女激情| 天天插天天爱| 日本特黄aaaaa| 97超碰在线免费观看| 99re热视频这里只精品| 啪啪激情综合| 黄色AAAAA| 婷婷激情伍月网| 亚洲人人艹| 婷婷精品| 91AV婷婷| 丁香五月婷婷六月| 婷丁香五月天| 思思热这里只有精品视频666| 九九99热精品| 五月婷婷综合网| 色婷五月天| 99精品在| 国产99热在线看| 99九九在线视频| 亚洲色图欧美色图日本视频| av九九| 婷婷五月天堂| 天天成人丁香美女AV| 综合激情婷婷| 秋霞性爱AV| 色婷婷伦理| 另类激情五月天。| 91.com男女操| 99久久終合| 婷婷成人基地| 丁香六月综合| 欧美色色色色色| 亚洲综合激情五月久久| 五月丁香六月婷婷综合伊人| 五月天五月色婷婷综合| 亚洲视频五区| 亚洲无aV在线中文字幕| 九月婷婷综合在线| 色和综合网| 三级三久久线久久99久目本WW| 97九色视频| 成人超碰Av| 激情五月综合免费| 久久视这里只有精品| 开心五月婷婷婷美女| 嫩模草| 偷偷与邻居做爰完整视频| 中文字幕在线资源| 99热综合在线| 五月香婷婷| 99热6这里只有精品| 色丁香久综合在线久综合在线观看| 五月婷婷综合激情| 超碰人人射| 玖玖午夜视频| 五月丁香婷婷综合网| 能看的AV| 欧美色性色好| 洗浴中心操B视频| 欧美性爱5月天天天看| 77799热| 玖玖在线视频福利| 依人大香蕉| 欧美va视频| 色婷婷综合亚洲| 91一道本| 国产九九一区二区三区| 色婷婷四色| 超级97碰碰| 久草婷| 五月婷无码| JlZZJlZZ8JlZZ亚洲熟女| 亚洲综合色婷| 99色在线观看视频者| 久久五月婷综合| 激情综合色五月丁香| 久久丁香| 亚洲精品久久久无码| 99热在线播放| 无码激情AAAAA片-区区| 美女婷婷激情亚洲| 久久成人亚洲欧美电影| 日日操夜夜操中国无码| 久久精品五月| 激情爱爱网站超大免费| 大香蕉网站,大香蕉综合| 五月婷婷激情| 天天日天天添| 伦乱美欧| 久久人人人人妻| 人妻精品久久久久久| 亚洲色色香蕉| 99热精品在线| 日韩婷婷| 九九av| 成人.在线日韩| 欧美婷婷丁香社区在线播放| 九九精品碰| 久操97| 无码区婷婷五月花开| 亚洲色婷婷| 日韩无码一区二区三区四区| 艾小青av| 激情五月天婷婷在线网址发给我| 一月婷婷色色| 五月香婷婷| 色五月激情五月| 99在线资源视频| 日韩操啪| 色五月琪琪| 欧美噜噜免费观看| 99热精国产这里只有精品| 婷婷五月天干干| 色五月激情五月开心五月| 99ri精品| 日韩丰满少妇无码内射| 东北熟女视频99| 丁香六月激情| 91热er| 色色色.COM| 五月天狠狠色| 色色激情| 黄色激情网站在线观看| 色域五月婷婷丁香| 成人欧美一区二区三区在线观看 | 欧美日韩成人在线网站| 丁香九月综合| 久久久精品人妻录| 超碰人人操在线| 噼里啪啦完整版中文在线观看| 九月丁香婷婷网| 超级碰碰91| 亚洲第一色网站| 99视频只有这里精品| 欧美大香蕉视频| 色激情五月| 噢美99| 婷婷五月天亚洲综合| 五月丁香美女| 五月丁香黄色视频| 狠狠做婷婷| 国产99久| 色婷网| 天天爱天天做天天爽| 色婷婷激情| 99操逼| 五月丁香婷婷伊人日韩| 青青.com| 丁香婷婷视频在线| 99热最新| 九九人人看| 777.色色| 久久亚洲天堂| 欧美槡BBBB槡BBB少妇| 久久激情五月网| 色婷婷在线综合色播网| 色婷婷亚洲| 婷婷影视久久| 久久永久网址| 丁香综合婷婷五月天| 99无码精品| 色天堂97| 天天爽综合| 超碰99在线| 婷婷丁香五月天色色| 激情五月婷婷免费视频| 99热都是精品| 日产精品一线二线三线芒果| 狠狠综合网| 婷婷五月天成人小说| 亚洲久热| 啪啪黄页网| Jh7Uf088VHafNm| 色婷久久| 91久久九| www.久久五月天.com| 久久婷婷五月丁香网| 国产婷伊人| 婷婷爱在线观看| 五月丁六月香| 香蕉AV777XXX色综合一区| 亚洲99综合| 五月丁香六月婷婷在线| 国产亚洲精品久久久久久牛牛| 色老久久| 99热费观看| 蜜桃人妻无码AV天堂三区 | 色五月婷婷大香蕉| 亚洲成人综合网在线免费观看| 五月色婷婷在线观看| 婷婷五月丁香色综合| 九九婷婷热| 亚洲性爱99| 激情五月综合网最新| 五月婷婷9| 色99综合视频| 中文字幕永久在线| 日本高清久久| 久久九区| 婷婷内射视频在线| 人人草人| 999热视频精品99免费在线| 色爱99| 久久婷婷伊人| 9久久婷婷国产综合精品性色| 无码任你操| 婷婷色色综合| 五月丁香六月婷婷中文版| 色欲色香综合网| 97色天堂| 直接看的AV| 婷婷.com| 五月丁香六月停停| 99热网站| 淫视馆aV二区一区| 五月丁香婷中文| pom538精品视频| 丁香婷婷月| 久久婷婷五月综合一| 久热最新视频| 疯狂做受XXXX高潮A片动画| 九九视频网| www.日日夜夜.com| 五月丁香香蕉| 婷婷亚洲天堂| 午夜丁香婷婷| 91丨九色丨大屁股| 久热大香蕉| 丁香五月天啪啪| 996热re视频精品视频| 麻豆123区| 成人做爰高潮A片免费视频| 亚洲天天免费| 亚洲乱码日产精品BD在线观看 | 九九碰九九爱97| 色噜噜狠狠色综合AV兰草影视| 99久久婷婷国产综合精品草原| 丁香五月婷婷啪| 91九色精品熟女内射| 91色久| 日本色道视频网站| 、激情六月天| 丁香久久| 五月激情偷拍婷婷| 艹B高清无码| 色操b| 沈娜娜av| 拳交大逼| 久久亚洲无码| 久久免费操| 日韩啪啪视频| 99久久99九九99九九九| 五月丁香啪啪激情| 黄网在线免费| 久久 这里只有精品1| 性爱激情五月| 婷婷五月天综合色| 婷婷五月欧美| 女人被男人吃奶到高潮| 色三级色三级| 日韩九区| 操丝袜视频影院导航| 婷婷五月丁香成人网| 亚洲色爱综合| 色你久久| 激情99| 丁香五月天精品| 超碰69天堂| 五月丁香六月玩女人| 五月丁香激情怕怕| 午夜一区| 丁香五月激情婷婷| 九九人人看| 99碰超| 色五月丁香五月五月婷婷| 欧美69久成人做爰视频| 五月丁香啪啪伦理电影| 成人在线综合| 激情丁香五月婷婷| 九九九成人在线视频| 国产精品A片在线| 狠狠色噜噜狠狠狠888| 色综合婷婷| 少妇人妻丰满做爰XXX| 99r这里| 色五月激情综合| 亚洲午夜av| 亚洲五月天综合| 综合网色综合| 亚洲热综合| 天天干天天色天天干| 伊人五月综合网| 欧洲亚洲精品| 爱婷婷五月| 激情亚洲婷婷| 色色色综合网| 色五月天综合网| 色五月网址| 天天日天天肏天天奸| 婷婷成人五月天| 激情婷婷色小说| 日本在线wwww| 丁香五月天视频| 丁香六月亚洲综合| 色色免费网站| 久久精品凹凸分类| 丁香婷婷五月六月久久| 色综合久久88色综合天天人守婷| 一级性感毛片| 97人人超| 久色视频| 99热99热在线观看| 久久精品天| 丁香六月婷婷久久综合| 婷婷丁香成人网址| 亚洲天堂99| 国产精自产拍久久久久久蜜 | 五月天综合视频| 九九热视频免费| 九九RE视频在线精品| 久久99人人| 亚洲黄色影视| 色综合色综合色综合| 激情AV在线| 操逼五月婷婷| 午夜亚洲国产精品av一区二区| www.十八禁不禁AV.com| 91日日日| 综合色在线| 丁香花色色网| 婷婷开心激情五月激情网| 久久久久亚洲AV无码网影音先锋| 日本一级淫| 久色网| 五月天综合婷婷| 激情无码五月天| 超碰色女人| 中文字幕成人网站| 五月花免费视频| 人人草人| 丁香花狠狠婷婷亚洲中文字幕| 超碰人人操在线| 久久丁香久久| 丁香桃色综合网| 97在线碰| 色噜婷婷| 极品人妻VIDEOSSS人妻| 操91| 这里只有精品视频在线| 婷婷五月天.com| 啪啪激情网| 欧美月久久| 99丁香婷婷综合网| 天天插天天干| 成人五月天丁香婷| 欧美日本va| 操逼福利视频| 久久丁香婷婷五月天| 婷婷五月六月丁香| 不卡成人免费| 六月丁香久久| 五月婷婷六月天| 五月天色区| 五月婷婷网站| 五月婷婷就去色| 婷婷午夜精品久久久| 4438成人电影| 五月婷天堂视频| 婷婷狠狠干| 成人看片网站| 丁香婷婷影院| 69久久99精品久久久久婷婷| 丁香六月久久| 激情五月天婷婷色色色色色色色色色色色| 欧美成人va| 激情六月丁香| 一级二级色大片| 五月天婷婷激情综合| 激情五月天色婷婷综合| 少妇丁香婷婷 | 婷婷丁香五月婷婷| 91人人爽久久涩噜噜噜| 5月婷婷五月天| 午夜九九电影| 亚洲99激情| 激情五月天婷婷激情| 日本三级日本三级99| 国内久久亭亭| 高清国产一级婬片a免费| 91在线人| 久久五月天精品视频| 91麻豆国产三级精品福利在线观看| 极品人妻VIDEOSSS人妻| 嫩草AV久久伊人妇女超级A| 色噜噜狠狠色综无码久久合欧美| 激情开心五月天| 亚洲99综合| 五月丁香婷草| 成人版视频在线观看| 五月婷视频在线| 开心婷婷五月| 天天日天天插| 婷婷色五月天在线| 色深爱五月| 色99在线视频| 另类综合色| 久久久99精品| 99性感视频| 婷婷射图五月天| 五月丁香激情深爱婷婷| 这里只有精品69| 欧美色五月天| 狠狠干思思热| 五月天婷婷色综合| 99热这里都是精品| 99爽视频| 色婷婷九月| 天天日综合| 丁香五月婷久久| 久久婷婷热| 操一区| 国产特级毛片AAAAAAA高清| 久久视频在线视频| 婷婷99视频在线| 五月婷狠狠| 丁香久久九九99| 日韩高清久久| 色婷婷六月天| 99欧州偷拍视频| 五月丁香久人妻中文| 97九色| 综合色99| 日本本土色网第一区| 婷丁香五月天| 这里只有精品在线免费视频| 桔色成人在线| 1024操逼视频| 国产在线黄色| 色五月综合| 色狠狠色噜噜AV天堂五区| 日日操天堂| 五月丁香亭亭AV女优| 超碰97干| 久草A片| tingting五月天亚洲| 色婷婷丁香五月色综合网| 五月六月伦理| 色综合九九| 国产伦亲子伦亲子视频观看| 伦乱人妻| 性爱网六月丁香| 91视频一起草| 快乐婷婷五月天| 玖操97| 开心五月网| 欧美人人操| 欧美交换配乱吟粗大25P| 色一色综合| 91岛国片| 色五月开心婷婷| 五月天激情开心网| 人妻久久婷婷| 99精品久久| 五月丁香久久激情综合| 色婷婷天堂| 精品99久久久久成人网站免费| 久久机热这里只有精品| 欧美日韩成人高清在线| 五月丁香综合| 婷婷五月成人社区| 国产avapp 网| 日日天天操| 岛国AV网| 九九色热| 热婷婷在线视频| 国产 码在线成人网站| 嫩BBB槡BBBB搡BBBB视频| 五月花婷婷| 欧美69久成人做爰视频| www.91AV.COM| 亚洲综合网区| 99久久久| 99久在线精品99re8| 激情六月婷婷啪啪| 91丨九色|PRNY熟妇| 五月天激情站| 欧美中文五月天| 99热自拍| 九月色婷婷综合| 99热视| 99久在线精品99re8| 丁香五月激情五月| .comwww在线观看免费操| 久青青久| 久久这里只有精品8| 日本99视频| 欧美 日韩 成人| www.五月婷婷| 成人九九视频| 综合色久| 丁香五月天啪啪激情综和网| a网站免费观看| 五月激香蕉网| 丁香婷婷色五月| 五月天综合婷婷| 99色视频| 五月情涩综合婷婷| 韩国婷婷丁香五月| 91久久1118| 婷婷字幕在线| 久久精品爱爱| 日日噜噜夜夜狠狠久久丁香六月| 99操逼| 九九精品热播| 婷婷综合伊人丁香| 尔尔AV一区| 婷婷综合日本| www.ppypp| 婷婷五月天色| 99精品久久久久| www.热99热| 在线观看av网站| 欧洲综合一区| 丁香六月av| 色~性~乱~伦~噜| 丁香六月婷婷操逼网| 久久 婷婷 五月天| 日日舔夜夜操| 久久精品99国产精品日本| 九热精品| 日韩色色视频| 亚洲蜜桃精久久久久久久久久久久| 久久九九玖玖| 日日夜夜天天综合| 在线中文AV| 久热只有这里有精品| 亚洲第一综合| 亚洲狠9| 色婷婷五月丁香在线观看| 97人人干人人操| 毛v一区二区视频| 丁香五月婷婷丫| 26uuu| PORNY九色9l自拍视频成人| 思思热高清在线观看| 亚洲偷| 激情综合播播| 久久久中文| 午夜福利8055| 久久婷婷五月天激情唯美| 1024日韩| 热九九精品| 久久女人天堂| 婷婷天堂视频| 九九视频这里只有精品| 精品国产乱码久久久久夜深人妻| 天天色播| 97干免费视频| 色色九九五月天 | 97超碰婷婷五月天| 一根材五月婷成人| 久久综合激情| 日本精品在线噜噜噜| 日韩综合久久| XX久久| 久久精品系列| 青青久久五月| 伊人五月婷婷| 日本欧美成人片AAAA| 中文字幕永久在线| 久久婷婷亚洲| 99综合网| 久操热| 99操视频| 色优久久| 五月婷婷六月丁香| 婷婷久草| 久热综合| 超碰操网| 如何安全看伊人婷婷| 97啪啪| 五月叮香啪| 操操啪| 91视屏在线观看com.wwwvv| 中文av网| 五月丁香六月婷婷中合网| 久久激情五月| 九九九九毛片| 九九碰九九爱97超碰| 久久9精品| 日韩色色视频| 欧美A级网站| 99久在线精品99re8| 九九免费视频在线| 大地9中文在线观看免费高清| 99热久只有| 双性美人被调教到喷水A片| 天堂五月婷婷| 99久久婷婷国产综合精品草原| 99热这里| 五月丁香天堂网| 99热大全在线观看| 午夜少妇在线观看视频| 亚洲综合五月天综合| 亚洲av另类在线观看| 亚洲AV色婷婷人禽五月天| 人人97操| 99热在线中文字幕| 色五月丁香五月| 五月花婷婷| 五月婷婷激情综合在线| 欧美日韩成人| www.五月天婷婷姐姐| 夜夜嗨一区二区三区直播内容 | 免费看欧美成人A片无码| 婷婷五月天激情网| 婷婷久久综合久色| 丁香五月无码| ww亚洲ww在线观看| 激情五月丁香社区| 91刘玥视频在线观看| 综合网色| 99久久极情精品一区| 婷婷成人AV| 亚洲激情精品| 亚洲十月婷婷综合| 91人妻视频| 69婷婷丁香午夜| 久1色色| 欧美婷婷五月无砖| 97亚洲色 torrent magnet| 日本在线视频播放91| 九九热10| 亚洲成人av在线| 手机旧版看人妻1025| 婷婷综合影院| 色9月| 婷婷97C| 亚洲天堂制| 乱精品一区字幕二区| 一本大道嫩草AV无码专区| 人妻丰满精品一区二区A片| 少妇水多A片太爽了| 亚洲精品久久久久久久久久吃药| 久久在线视频免费观看| 啪啪91| 中文中文在线| 日本色99网站| 丁香五月桃花在线激情综合| 任你搞免费视频观看| 激情图片亚洲| 丁香五月激情欧美| 久久97久久99久久综合欧美| 欧美人与性动交CCOO| 精品综合网在线| 精品视频网| 五月丁香六月婷婷久久| 4399亚洲视频| 99热 这里只有精品 国产 日韩| 色婷婷久久| 99爱在线| 婷婷色情六月| 日本在线99| 99热18| 婷婷五月色播天| 91碰免费视频| 日本欧特黄色刺激一区影视久精品无码| 国产综合婷婷| 丁香五月婷婷六月婷婷| 激情深爱五月婷婷| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 激情播丁香| 六月婷婷在线| 亚洲人人操BD| 成人网在线视频| 五月婷婷激情性爱| 中文字幕永久免费| 五月色网| 国产精品久久久久久喷浆| 国内9l视频自拍老熟女九色| 婷婷五月色影视先锋| 婷婷五月天在线综合| 色噜噜在线| 丁香六月色婷婷欧美| 五月婷婷综合色啪首页| 激情五月狠狠| 99超级碰碰| 色婷婷色99国产综合精品| 日韩色色色色| 极品另类| 色噜噜伊人| 天天插,天天射| 99热18| 久热99| 人人干人人操外国| 99热在这里只有免费精品| 日本五月天一页| 婷婷性爱| 色婷婷啪啪| 天天日夜夜B久久| 色婷婷六月天| 欧美大肥婆大肥BBBBB| 国产在线视频1234| 偷偷操99| 大香蕉中文| 久久最新色色色| 久久综合婷婷| 成人丁香五月| 可以免费观看的av| 99热99日天天干| 99色6爱9热| 久久99精品久久只有精品| 日韩成人电影AV| 五月激情婷婷偷拍| 五月婷视频久久| www.色婷婷.com| 亚洲免费看片| XX色综合| 久草婷婷| 天天艹夜夜艹| 免费AV播放| 五月丁香综合中文| 五月丁香婷婷综合激情基地| 天天肏高清在线| 色青青电影色五月| 五月丁香| 久操福利| 色婷婷久久综合中文久久一本| 99ri国产精品| 色综合久久久久久久久五月| 丁香婷婷久久 | 99热在线看| 99.色| 无码人妻少妇色欲AV一区二区| 五月丁香黄色| 色偷偷五月天| 成人免费视频一区| 六月丁香婷婷亚洲中文玖玖| 99精品热视频| www.婷婷.com| 丁香五月婷婷日本| 久久99草五月婷婷| 五月丁香网中文字幕| 五月婷婷丁香六月| 97人人干| 六月色播| 婷婷桃色网| 久播影院免费观看电视剧大全最新网| 99网| 99久热这里有精品| 五月天激情视频| 久久六月天| 丁香五月婷婷AV| 色人久夂| 99久视频| 亚洲狠狠婷婷|