欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Python大數(shù)據(jù)量Excel導(dǎo)出實(shí)戰(zhàn):分塊、斷點(diǎn)續(xù)傳與性能優(yōu)化

Python大數(shù)據(jù)量Excel導(dǎo)出實(shí)戰(zhàn):分塊、斷點(diǎn)續(xù)傳與性能優(yōu)化 上周業(yè)務(wù)方的同事跑來找我說能不能把庫里近一年的訂單明細(xì)導(dǎo)成 Excel 他們要自己拉透視表。我第一反應(yīng)是這還不簡單pandas.read_sql接to_excel幾行代碼就收工。等真拿到生產(chǎn)環(huán)境的數(shù)據(jù)量一看一張表幾千萬行直接全量讀取內(nèi)存根本扛不住Excel 單 Sheet 的行數(shù)上限也擺在那根本不是一個(gè)to_excel能解決的問題。所以專門寫了這個(gè) Python 批量導(dǎo)出工具把數(shù)據(jù)庫里的數(shù)據(jù)按批次、按分表、按業(yè)務(wù)維度拆成多個(gè) Excel 文件或者在一個(gè)文件里分多個(gè) Sheet 導(dǎo)出整個(gè)過程帶進(jìn)度、帶日志、帶斷點(diǎn)續(xù)傳。這篇文章就把我的完整實(shí)現(xiàn)思路、代碼、還有踩過的坑一次說清楚給要做報(bào)表導(dǎo)出、數(shù)據(jù)分發(fā)、運(yùn)營取數(shù)的朋友一個(gè)可以直接落地的參考。1. 為什么簡單的 Excel 導(dǎo)出落地時(shí)卻最容易翻車先說結(jié)論單機(jī)、小數(shù)據(jù)量、一次性腳本用 pandas 一把梭確實(shí)沒問題。但數(shù)據(jù)量一旦上來或者任務(wù)變成每天定時(shí)跑問題就一串串往外冒。1.1 數(shù)據(jù)量和 Excel 格式本身的硬限制Excel 的.xlsx格式有個(gè)讓人頭疼的單 Sheet 上限1048576 行。很多業(yè)務(wù)表動(dòng)輒幾百萬行直接全量導(dǎo)出必然失敗。就算沒到上限超過 20 萬行的 Excel 文件打開和刷新都會(huì)變得很卡業(yè)務(wù)方的電腦稍微舊一點(diǎn)打開一次要等半分鐘。另外還有一個(gè)大家容易忽略的限制單元格內(nèi)文本不能超過 32767 個(gè)字符。數(shù)據(jù)庫里如果有大字段、備注、JSON 配置之類的長文本超長部分會(huì)被 Excel 靜默截?cái)鄻I(yè)務(wù)方拿到手才發(fā)現(xiàn)數(shù)據(jù)不對(duì)這時(shí)候再排查就尷尬了。所以在導(dǎo)出邏輯里必須預(yù)留字段長度檢測和截?cái)嗖呗?。再加?Excel 對(duì)日期時(shí)間格式、超長數(shù)字比如雪花 ID、手機(jī)號(hào)的自動(dòng)科學(xué)計(jì)數(shù)法問題整個(gè)導(dǎo)出任務(wù)要考慮的細(xì)節(jié)一點(diǎn)不比業(yè)務(wù)功能少。1.2 常見方案對(duì)比為什么我選了 SQLAlchemy pandas xlsxwriter寫這個(gè)工具之前我對(duì)比了三種主流方案方案優(yōu)點(diǎn)缺點(diǎn)適用場景pandas.read_sqlDataFrame.to_excel代碼短上手快全量加載內(nèi)存大表直接 OOM無法精細(xì)控制 Sheet、列寬、格式小數(shù)據(jù)量一次性導(dǎo)出openpyxl直接操作單元格可精確控制格式和樣式逐單元格寫入千萬級(jí)數(shù)據(jù)寫入速度慢到懷疑人生報(bào)表美化、模板填充SQLAlchemy流式查詢 xlsxwriter寫入內(nèi)存可控、寫入快、支持格式控制代碼相對(duì)多需要自己管理批次和類型大數(shù)據(jù)量批量導(dǎo)出生產(chǎn)環(huán)境我最終選擇的是第三種的組合但把查詢層包了一層pandas而不是完全手動(dòng)fetchmany。原因是pandas的分塊讀取、類型推斷、空值處理已經(jīng)足夠成熟沒必要重復(fù)造輪子真正需要自己控制的是分塊大小寫入方式文件切分策略這些工程層面的東西。1.3 批量導(dǎo)出到底在批量什么這個(gè)標(biāo)題里的批量其實(shí)包含三個(gè)維度批量導(dǎo)出多張表比如一個(gè)庫里有訂單表、用戶表、商品表一次任務(wù)全部導(dǎo)出成獨(dú)立文件或者合成一個(gè)多 Sheet 的 Excel。單張表數(shù)據(jù)量過大批量分塊導(dǎo)出把 500 萬行拆成 5 個(gè)文件每個(gè) 100 萬行避免觸發(fā) Excel 上限。增量任務(wù)每天跑只導(dǎo)出當(dāng)天新增或變化的數(shù)據(jù)而不是每天全量掃全表。這三個(gè)維度在代碼設(shè)計(jì)上是互相疊加的下面第二、三章會(huì)分別展開。2. 核心實(shí)現(xiàn)從數(shù)據(jù)庫讀取到 Excel 落盤的完整代碼這一章直接給完整的可運(yùn)行代碼并解釋每一處關(guān)鍵設(shè)計(jì)的原因。我會(huì)用虛擬的表結(jié)構(gòu)order_records做例子表里有id、trade_date、user_id、product_name、remark等字段覆蓋了常規(guī)數(shù)字、日期、文本、長文本幾種典型類型。2.1 數(shù)據(jù)庫連接用 SQLAlchemy 統(tǒng)一管理第一步是建立數(shù)據(jù)庫連接。我習(xí)慣用 SQLAlchemy 的create_engine而不是直接用某個(gè)數(shù)據(jù)庫驅(qū)動(dòng)裸連原因有兩個(gè)換數(shù)據(jù)庫不用改代碼MySQL、PostgreSQL、SQLite 都能用同一套導(dǎo)出代碼。pandas.read_sql原生支持 SQLAlchemy 引擎參數(shù)占位符也更安全。from sqlalchemy import create_engine def build_engine(db_type: str mysql, host: str 127.0.0.1, port: int 3306, username: str your_user, password: str your_pass, database: str your_db) - object: 構(gòu)建 SQLAlchemy 數(shù)據(jù)庫引擎。 如果 db_type 是 sqlite只需傳 database 路徑即可。 if db_type sqlite: return create_engine(fsqlite:///{database}, pool_pre_pingTrue) url f{db_type}://{username}:{password}{host}:{port}/{database}?charsetutf8mb4 return create_engine(url, pool_pre_pingTrue, pool_size5, pool_recycle3600)注意charsetutf8mb4這個(gè)對(duì) MySQL 很重要。utf8mb4才能完整支持 emoji 和生僻字如果漏掉數(shù)據(jù)里帶個(gè) emoji 符號(hào)寫到 Excel 里就會(huì)變成亂碼。這是我在真實(shí)項(xiàng)目中踩過的坑。pool_pre_pingTrue這個(gè)參數(shù)的意思是每次從連接池取連接之前先做一次輕量探測防止拿到一個(gè)已經(jīng)失效的連接。定時(shí)任務(wù)里數(shù)據(jù)庫連接經(jīng)常被服務(wù)端主動(dòng)斷開加上這個(gè)參數(shù)能省掉很多莫名其妙的MySQL server has gone away報(bào)錯(cuò)。2.2 主函數(shù)按配置批量導(dǎo)出多張表到同一個(gè) Excel這個(gè)設(shè)計(jì)的核心思路是把導(dǎo)出什么表導(dǎo)出哪些列按什么條件過濾都放到配置字典里代碼本身保持通用。這樣業(yè)務(wù)上新增一張表的導(dǎo)出需求只需要加一段配置不需要改邏輯。import pandas as pd from sqlalchemy import text def export_tables_to_excel(engine, tables_config: list, output_path: str, chunksize: int 50000, sheet_limit: int 500000): tables_config: [ { sheet_name: 訂單表, query: SELECT id, trade_date, user_id, product_name, remark FROM order_records WHERE trade_date :start_date, params: {start_date: 2024-01-01}, order_by: id, }, ... ] writer pd.ExcelWriter(output_path, enginexlsxwriter) for cfg in tables_config: sheet_name cfg[sheet_name][:31] # Excel sheet 名最長 31 字符 query cfg[query] params cfg.get(params, {}) order_by cfg.get(order_by, ) # 構(gòu)造帶分頁包裹的查詢后面解釋為什么這么做 paged_query wrap_query_with_row_number(query, order_by) total_exported 0 sheet_row 0 # 當(dāng)前 sheet 已寫入行數(shù) # 把分頁條件逐段傳入 offset 0 while True: page_query paged_query f LIMIT {chunksize} OFFSET {offset} df pd.read_sql(text(page_query), engine, paramsparams) if df.empty: break # 達(dá)到單個(gè) sheet 的行數(shù)上限換下一個(gè) sheet if sheet_row len(df) sheet_limit: # 先處理不滿一個(gè) sheet 的剩余部分... pass df.to_excel(writer, sheet_namesheet_name, indexFalse, startrowsheet_row 1, header(sheet_row 0)) sheet_row len(df) total_exported len(df) offset chunksize print(f[{sheet_name}] 已導(dǎo)出 {total_exported} 行偏移 {offset}) writer.close() print(f導(dǎo)出完成{output_path})這段代碼里wrap_query_with_row_number是我封裝的一個(gè)分頁函數(shù)下面單獨(dú)說明。先解釋幾個(gè)關(guān)鍵點(diǎn)indexFalse必須寫DataFrame自帶的行索引如果不關(guān)掉會(huì)以多出來一列的方式寫進(jìn) Excel業(yè)務(wù)方會(huì)看到一列沒名字的序號(hào)非常不專業(yè)。header(sheet_row 0)控制列名只寫一次分塊導(dǎo)出到同一個(gè) sheet 時(shí)只有第一塊數(shù)據(jù)需要寫列名后面續(xù)寫只需要追加數(shù)據(jù)行。這個(gè)判斷非常關(guān)鍵不寫的話每個(gè)分塊都會(huì)重復(fù)一行字段名。startrowsheet_row 1跳過列名行第一塊從第 1 行開始寫0 是列名行后續(xù)塊從已有數(shù)據(jù)行之后續(xù)寫。2.3 穩(wěn)定分頁用主鍵排序代替 OFFSETLIMIT ... OFFSET ...在數(shù)據(jù)量小的時(shí)候沒問題但偏移量越大數(shù)據(jù)庫掃描越慢。更嚴(yán)重的是如果trade_date有重復(fù)值而分頁排序不穩(wěn)定同一批數(shù)據(jù)可能被重復(fù)導(dǎo)出或漏掉。我在這里用了基于排序鍵的鍵集分頁穩(wěn)定且性能好def stable_page_query(base_query: str, order_column: str, last_value, page_size: int): if last_value is None: return f{base_query} ORDER BY {order_column} LIMIT {page_size} return f{base_query} AND {order_column} :last_value ORDER BY {order_column} LIMIT {page_size}每次記錄當(dāng)前頁最后一條order_column的值下一頁用WHERE order_column last_value取數(shù)據(jù)。這樣即使數(shù)據(jù)在導(dǎo)出過程中被并發(fā)寫入也不會(huì)出現(xiàn) OFFSET 分頁那種頁與頁之間數(shù)據(jù)錯(cuò)位的問題。當(dāng)然前提是order_column有唯一性或者至少業(yè)務(wù)上能接受排序鍵相同的數(shù)據(jù)被一起跨越的邊緣情況。實(shí)際操作中我會(huì)要求配置里必須帶一個(gè)order_by字段并且優(yōu)先用主鍵id作為排序鍵這是最穩(wěn)妥的方案。2.4 數(shù)據(jù)類型預(yù)處理防止寫進(jìn) Excel 就變味兒數(shù)據(jù)庫里的數(shù)據(jù)類型跟 Excel 單元格格式不是一一對(duì)應(yīng)的下面這幾個(gè)處理必須在寫入前完成def prepare_dataframe(df: pd.DataFrame, datetime_cols: list None, long_text_cols: list None) - pd.DataFrame: datetime_cols: 需要顯式保留日期時(shí)間的列名列表 long_text_cols: 可能超過 32767 字符的長文本列 if datetime_cols: for col in datetime_cols: if col in df.columns: df[col] pd.to_datetime(df[col]).dt.strftime(%Y-%m-%d %H:%M:%S) if long_text_cols: for col in long_text_cols: if col in df.columns: df[col] df[col].astype(str).str.slice(0, 32000) # 把 id 這類超長數(shù)字列顯式轉(zhuǎn)成字符串避免科學(xué)計(jì)數(shù)法 for col in df.select_dtypes(include[int64, float64]).columns: if col.lower().endswith((id, no, num)): df[col] df[col].astype(str) return df這里有三件事值得展開日期轉(zhuǎn)字符串pandas 寫 datetime 到 Excel 時(shí)如果 xlsxwriter 的格式化沒配對(duì)單元格顯示的是一串?dāng)?shù)字Excel 日期本質(zhì)是序列號(hào)。我選擇直接在 SQL 查詢或 pandas 里把日期格式化成標(biāo)準(zhǔn)字符串一勞永逸。超長文本截?cái)嘟財(cái)嗟?32000 而不是 32767留出一點(diǎn)余量避免多字節(jié)字符在邊界被截?cái)喈a(chǎn)生亂碼。長數(shù)字轉(zhuǎn)字符串這招防的是手機(jī)號(hào)、雪花 ID 這類超過 15 位的純數(shù)字如果不轉(zhuǎn)字符串它們?cè)?Excel 里會(huì)變成科學(xué)計(jì)數(shù)法看起來像4.10217E18精度還丟了。2.5 完整調(diào)用示例把上面的函數(shù)串起來實(shí)際使用長這樣if __name__ __main__: engine build_engine(databasebusiness_db) tables [ { sheet_name: 訂單明細(xì), query: SELECT id, trade_date, user_id, product_name, remark FROM order_records WHERE trade_date :start_date , params: {start_date: 2024-01-01}, order_by: id, }, { sheet_name: 用戶信息, query: SELECT id, user_name, register_date, level FROM user_info, params: {}, order_by: id, }, ] export_tables_to_excel( engine, tables_configtables, output_path/data/export/business_2024.xlsx, chunksize50000, sheet_limit400000, )這里我把sheet_limit設(shè)成 40 萬而不是 Excel 上限 104 萬是有意的。超過 40 萬行的 sheetExcel 打開已經(jīng)明顯卡頓與其交給業(yè)務(wù)方一個(gè)能開但很慢的大文件不如在導(dǎo)出時(shí)就按更保守的閾值切分。3. 數(shù)據(jù)量特別大時(shí)的優(yōu)化分塊、并發(fā)與內(nèi)存控制當(dāng)單表數(shù)據(jù)達(dá)到千萬級(jí)別前面那個(gè)單進(jìn)程、串行分塊的方案還是不夠快。這一章說三個(gè)優(yōu)化手段按性價(jià)比排序。3.1 內(nèi)存估算為什么不能一次性全量讀取很多人寫導(dǎo)出腳本的第一版都是pd.read_sql(query, engine)一把梭幾百萬行數(shù)據(jù)全讀進(jìn)內(nèi)存。我們來粗算一下一行訂單記錄假設(shè)有 20 個(gè)字段平均每個(gè)字段算 20 字節(jié)500 萬行就是500萬 × 20 × 20 2億字節(jié)約 200 MB。看著還好但 pandas 為了類型推斷會(huì)臨時(shí)復(fù)制多份副本實(shí)際峰值可能是這個(gè)數(shù)的 3 到 4 倍。再加上 DataFrame 索引、字符串對(duì)象本身需要的內(nèi)存一個(gè) 500 萬行的 DataFrame 吃 1 GB 內(nèi)存很正常。如果服務(wù)器上還跑著其他服務(wù)這基本就是 OOM 的前奏了。所以我堅(jiān)持在任何生產(chǎn)導(dǎo)出腳本里都做分塊讀取既為了控制內(nèi)存也為了能在每塊之間打印進(jìn)度。3.2 分塊大小怎么定分塊大小chunksize是個(gè)需要平衡的參數(shù)。我自己的經(jīng)驗(yàn)公式行平均寬度小比如只有幾個(gè)整數(shù)列可以設(shè) 10 萬到 20 萬。行平均寬度大有長文本、JSON、多字符串列建議設(shè) 2 萬到 5 萬。寧可塊數(shù)多也不要讓單塊內(nèi)存超過 200 MB。實(shí)際壓測時(shí)我會(huì)在分塊讀取的循環(huán)里監(jiān)控一下內(nèi)存變化import tracemalloc tracemalloc.start() # 分塊循環(huán)讀取... current, peak tracemalloc.get_traced_memory() print(f當(dāng)前內(nèi)存: {current / 1024 / 1024:.1f} MB, 峰值: {peak / 1024 / 1024:.1f} MB)這里的核心原則是單塊讀完了、寫完了內(nèi)存就該釋放。如果發(fā)現(xiàn)內(nèi)存只增不減優(yōu)先檢查是不是有人把每個(gè)分塊都append到了一個(gè)總 DataFrame 里——這是最常見的隱性內(nèi)存泄漏。3.3 多進(jìn)程并行不同表并行單表按 ID 范圍切分如果你的數(shù)據(jù)庫服務(wù)器 CPU 核數(shù)多可以并行導(dǎo)出多張獨(dú)立的表。Python 的多線程在 IO 密集型任務(wù)上有用但這里的主要瓶頸是數(shù)據(jù)庫查詢后的 pandas 內(nèi)存處理屬于 CPU 和內(nèi)存密集型所以用multiprocessing更合適。多進(jìn)程最簡單的寫法是concurrent.futures.ProcessPoolExecutorfrom concurrent.futures import ProcessPoolExecutor, as_completed def export_one_table(cfg: dict): 導(dǎo)出單張表獨(dú)立進(jìn)程執(zhí)行 engine build_engine() # 每個(gè)進(jìn)程單獨(dú)建連接 return export_tables_to_excel( engine, [cfg], cfg[output_path], chunksizecfg.get(chunksize, 50000), sheet_limitcfg.get(sheet_limit, 400000), ) def parallel_export(all_configs: list): with ProcessPoolExecutor(max_workers4) as pool: futures [pool.submit(export_one_table, cfg) for cfg in all_configs] for future in as_completed(futures): print(future.result())注意每個(gè)子進(jìn)程必須自己創(chuàng)建數(shù)據(jù)庫連接和ExcelWriter不能把父進(jìn)程的 engine 直接傳進(jìn)去。數(shù)據(jù)庫連接不能跨進(jìn)程共享這是很多人踩過坑的地方。如果是單張表特別大多進(jìn)程思路要反過來按主鍵id的范圍切成 N 段每個(gè)進(jìn)程導(dǎo)出[id_min, id_max)區(qū)間。切分方式先查一下表的最小和最大主鍵SELECT MIN(id), MAX(id), COUNT(*) FROM order_records;然后根據(jù)總數(shù)和期望的每段行數(shù)算出切割點(diǎn)再按切割點(diǎn)生成各自的WHERE id BETWEEN ... AND ...查詢。這個(gè)方案的好處是天然支持?jǐn)帱c(diǎn)續(xù)傳——某個(gè)區(qū)間跑掛了重跑那個(gè)區(qū)間即可。3.4 寫入引擎的選擇xlsxwriter 的 write_only 模式pandas.DataFrame.to_excel支持傳入不同的 engineopenpyxl和xlsxwriter對(duì)同一份數(shù)據(jù)的寫入性能差距明顯。xlsxwriter有一個(gè) write-only 模式專門為大數(shù)據(jù)量設(shè)計(jì)workbook xlsxwriter.Workbook(output_path, {constant_memory: True}) worksheet workbook.add_worksheet(訂單明細(xì))開啟這個(gè)模式后xlsxwriter 不會(huì)在內(nèi)存里維護(hù)完整的行數(shù)據(jù)而是邊寫邊落盤內(nèi)存占用大幅下降。唯一的不方便是不能回改已經(jīng)寫過的單元格——但導(dǎo)出任務(wù)根本不需要回改所以完全適配。在pandas.ExcelWriter里啟用方式也簡單writer pd.ExcelWriter(output_path, enginexlsxwriter, engine_kwargs{options: {constant_memory: True}})我之前做過一次對(duì)比測試同樣是 80 萬行、15 列的數(shù)據(jù)openpyxl寫入耗時(shí)接近 3 分鐘xlsxwriter的 constant_memory 模式只要 40 秒左右。這個(gè)差距在生產(chǎn)任務(wù)里非常可觀。4. 我把這些 Excel 發(fā)給業(yè)務(wù)方后踩過的那些坑代碼能跑通只是第一步。真實(shí)世界里能把文件生成出來和業(yè)務(wù)方能正常使用之間隔著好幾個(gè)大坑。這一章記錄我實(shí)際交付過程中踩過的坑和對(duì)應(yīng)的處理辦法。4.1 單 Sheet 超過 104 萬行不是報(bào)錯(cuò)但比報(bào)錯(cuò)更麻煩有一次我導(dǎo)出一張日志表數(shù)據(jù)量 130 多萬行我滿懷信心地等著文件生成結(jié)果確實(shí)生成了但 Excel 打開時(shí)報(bào)文件損壞原因是超過了單 Sheet 上限。這個(gè)坑最坑的地方在于文件層面已經(jīng)寫壞了但導(dǎo)出腳本沒有任何異常提示。xlsxwriter 會(huì)把寫到 1048577 行之后的邏輯線強(qiáng)行掐掉但文件打開前你永遠(yuǎn)不知道。我的處理辦法是在寫入循環(huán)里做一個(gè)硬檢查MAX_EXCEL_ROWS 1048576 if sheet_row len(df) MAX_EXCEL_ROWS: # 當(dāng)前 sheet 已滿另起一個(gè) sheet 或另起文件 ...更穩(wěn)妥的做法是在方案設(shè)計(jì)階段就按業(yè)務(wù)數(shù)據(jù)的增長趨勢預(yù)估未來的行數(shù)提前把一個(gè)大表的數(shù)據(jù)按時(shí)間維度分文件導(dǎo)出。比如日志表就按天導(dǎo)出一天一個(gè)文件既避免行數(shù)問題業(yè)務(wù)方拿數(shù)據(jù)也更方便。4.2 數(shù)字被顯示成科學(xué)計(jì)數(shù)法的三個(gè)來源這個(gè)問題太常見了常見到每個(gè)做導(dǎo)出的人都會(huì)遇到。超長 ID19 位的雪花 IDExcel 顯示成4.10217E18而且后幾位被當(dāng)成 0原始精度丟失。手機(jī)號(hào)11 位數(shù)字理論上不超過 Excel 的 15 位精度限制但很多手機(jī)號(hào)第 11 位附近會(huì)出現(xiàn)奇怪的浮點(diǎn)誤差導(dǎo)出后末尾變成12300這種。帶前導(dǎo)零的編碼比如商品編碼001234Excel 會(huì)自作主張把前導(dǎo)零省略。解決思路分兩層第一層在 SQL 查詢階段就轉(zhuǎn)成字符串。比如 MySQL 用CAST(id AS CHAR)PostgreSQL 用id::text讓數(shù)據(jù)庫返回字符串而不是數(shù)字pandas 拿到手就是字符串再寫入 Excel 就不會(huì)觸發(fā)科學(xué)計(jì)數(shù)法。第二層如果數(shù)據(jù)已經(jīng)以數(shù)字類型到了 pandas 里就用df[col] df[col].astype(str)轉(zhuǎn)一次。注意此時(shí)如果數(shù)字已經(jīng)是浮點(diǎn)型直接轉(zhuǎn)字符串會(huì)帶.0后綴要先轉(zhuǎn)int64再轉(zhuǎn)str或者用小數(shù)點(diǎn)后 0 位格式化。4.3 日期顯示成數(shù)字或 Unix 時(shí)間戳pandas 寫 datetime 到 xlsxwriter 時(shí)如果不設(shè)置單元格格式日期會(huì)顯示成45087.3456這種序列數(shù)。我一開始沒做特殊處理業(yè)務(wù)方拿到文件后發(fā)給我一堆問號(hào)這個(gè)數(shù)字是什么后來我總結(jié)出一個(gè)最省心的方案所有日期列在寫入前統(tǒng)一格式化成YYYY-MM-DD HH:MM:SS字符串。df[trade_date] pd.to_datetime(df[trade_date]).dt.strftime(%Y-%m-%d %H:%M:%S)字符串日期寫入 Excel 后是左對(duì)齊的文本格式雖然不能直接在 Excel 里做日期運(yùn)算但對(duì)于導(dǎo)出給業(yè)務(wù)方看這個(gè)場景完全夠用。如果有分析師需要日期參與計(jì)算他們自己用分列功能轉(zhuǎn)一下批量也很方便。4.4 亂碼問題誰都可能遇到但原因各不同亂碼的排查路徑我這幾年走得很熟練了按位置分成三種數(shù)據(jù)庫讀出來就是亂碼大概率是連接串沒加charsetutf8mb4或者表字段本身的字符集不對(duì)。pandas 階段亂碼檢查拿到的 DataFrame 里打印出來的值是正常的但寫出去是亂碼多半是 ExcelWriter 的編碼設(shè)置被動(dòng)了或者用了 CSV 輸出時(shí)沒指定utf-8-sig。Excel 打開亂碼但代碼輸出正常這個(gè)最常見就是 CSV 文件沒有 BOM 頭。Excel 默認(rèn)用 GBK 編碼讀 CSV沒有 BOM 的 UTF-8 文件它識(shí)別不出來。CSV 導(dǎo)出時(shí)一定要用df.to_csv(path, indexFalse, encodingutf-8-sig)utf-8-sig會(huì)自動(dòng)帶上 BOMExcel 就能正確識(shí)別。4.5 一個(gè)慢得無法忍受的文件性能瓶頸可能在單元格格式我遇到過這么一次數(shù)據(jù)量不大才 30 萬行但導(dǎo)出耗時(shí)非常長一看代碼循環(huán)里對(duì)每個(gè)單元格調(diào)用了worksheet.write_number()后面還跟了一堆set_format()。naive 寫法的性能殺手是逐單元格操作 格式對(duì)象綁定。優(yōu)化辦法是能用pandas的批量寫入就不要自己循環(huán)寫單元格。如果要設(shè)置列寬、表頭樣式只對(duì)列名行做格式化數(shù)據(jù)行保持默認(rèn)。表頭樣式可以用worksheet.set_row(0, None, header_format)這種批量方式而不是每個(gè)單元格單獨(dú)設(shè)置。這個(gè)優(yōu)化做完同樣的 30 萬行數(shù)據(jù)耗時(shí)從 4 分多鐘降到了 20 秒以內(nèi)效果立竿見影。5. 讓導(dǎo)出任務(wù)變成可運(yùn)維的定時(shí)任務(wù)斷點(diǎn)續(xù)傳與失敗重試一次性的手工導(dǎo)出很簡單真正的難點(diǎn)在于把這個(gè)腳本變成每天自動(dòng)跑、掛了能恢復(fù)、跑完有日志的生產(chǎn)級(jí)定時(shí)任務(wù)。這一章是我在交付給其他團(tuán)隊(duì)后根據(jù)使用反饋迭代出的工程化改進(jìn)。5.1 斷點(diǎn)續(xù)傳以已導(dǎo)出的最大主鍵為錨點(diǎn)最樸素的斷點(diǎn)續(xù)傳方案是記錄上一次導(dǎo)出的最大主鍵值。下次任務(wù)啟動(dòng)時(shí)SQL 條件從id last_max_id開始查而不是從全表開頭查。def get_last_checkpoint(state_file: str) - int: try: with open(state_file, r) as f: return int(f.read().strip()) except (FileNotFoundError, ValueError): return 0 def save_checkpoint(state_file: str, last_id: int): with open(state_file, w) as f: f.write(str(last_id))這個(gè)方案有幾個(gè)前提表必須有單調(diào)遞增的主鍵或者至少有一個(gè)遞增的業(yè)務(wù)時(shí)間字段。每次任務(wù)只追加新數(shù)據(jù)不修改歷史數(shù)據(jù)。增量導(dǎo)出的數(shù)據(jù)范圍是連續(xù)的區(qū)間不存在越過空白段后還有新數(shù)據(jù)的情況。如果表結(jié)構(gòu)不滿足這些前提斷點(diǎn)續(xù)傳的意義就大打折扣這種情況建議改為按時(shí)間窗口全量重導(dǎo)或者把增量標(biāo)志位交給業(yè)務(wù)系統(tǒng)維護(hù)。5.2 失敗重試指數(shù)退避而不是立即硬沖數(shù)據(jù)庫連接抖動(dòng)、鎖競爭、網(wǎng)絡(luò)閃斷這些都是定時(shí)任務(wù)最常遇到的故障類型。如果失敗后立即重試很可能在同一瞬間再次失敗。我習(xí)慣用帶指數(shù)退避的重試邏輯import time def retry_call(func, retries3, base_delay2): for attempt in range(retries): try: return func() except Exception as exc: if attempt retries - 1: raise delay base_delay * (2 ** attempt) print(f第 {attempt 1} 次失敗{delay}s 后重試: {exc}) time.sleep(delay)每次失敗的間隔按 2 秒、4 秒、8 秒指數(shù)增長給數(shù)據(jù)庫留出恢復(fù)窗口。同時(shí)記錄最后失敗位置讓下一次任務(wù)可以從斷點(diǎn)繼續(xù)。5.3 日志是導(dǎo)出任務(wù)的靈魂我接手過別人的導(dǎo)出腳本代碼結(jié)尾只有一行print(done)。出問題時(shí)完全不知道數(shù)據(jù)導(dǎo)到哪一步了、出了多少行、卡在哪個(gè)表上。我的日志規(guī)范很簡單每個(gè)表開始導(dǎo)出前記錄表名、預(yù)計(jì)數(shù)據(jù)量、開始時(shí)間。每個(gè)分塊導(dǎo)出后記錄已導(dǎo)出行數(shù)、耗時(shí)、當(dāng)前主鍵邊界。任務(wù)結(jié)束或異常退出統(tǒng)一寫一個(gè) summary每個(gè)表導(dǎo)出了多少行、總耗時(shí)、是否有跳過和重試。import logging import time logging.basicConfig( levellogging.INFO, format%(asctime)s [%(levelname)s] %(message)s, handlers[logging.FileHandler(/data/export/export.log)] ) logger logging.getLogger(exporter) def export_with_log(engine, cfg): start time.time() total 0 logger.info(f開始導(dǎo)出表 {cfg[sheet_name]}) # ... 分塊導(dǎo)出循環(huán) ... logger.info(f表 {cfg[sheet_name]} 完成共 {total} 行耗時(shí) {time.time() - start:.2f}s)有了這個(gè)日志任何一次任務(wù)異常都能快速定位是數(shù)據(jù)庫查詢太慢、某一行的數(shù)據(jù)格式有問題、還是寫 Excel 時(shí)文件被占用。日志不求花哨但必須能讓接手的同事在 5 分鐘內(nèi)定位到問題。5.4 定時(shí)調(diào)度的落地姿勢我用 cron 表達(dá)式做調(diào)度核心命令很簡單0 2 * * * /usr/bin/python3 /opt/scripts/exporter.py /data/export/cron.log 21凌晨兩點(diǎn)跑業(yè)務(wù)低谷數(shù)據(jù)庫壓力小文件生成后也不影響上班時(shí)間取數(shù)。這里有個(gè)細(xì)節(jié)不要直接用python exporter.py而是寫一個(gè)啟動(dòng)腳本先激活虛擬環(huán)境再跑。項(xiàng)目依賴如果裝在全局環(huán)境某天其他人動(dòng)了依賴版本整個(gè)定時(shí)任務(wù)就無聲無息地掛了。我之前為此定了一條規(guī)矩任何導(dǎo)出任務(wù)的啟動(dòng)命令都固定為cd /opt/scripts source .venv/bin/activate python exporter.pycron 里寫全路徑不要依賴默認(rèn)環(huán)境的任何東西。定時(shí)任務(wù)跑成功后還可以加一個(gè)可選的發(fā)送通知環(huán)節(jié)把導(dǎo)出的文件上傳到公司的文件平臺(tái)或?qū)ο蟠鎯?chǔ)然后把下載鏈接發(fā)給業(yè)務(wù)群。這一步看團(tuán)隊(duì)基礎(chǔ)設(shè)施有空實(shí)現(xiàn)一下價(jià)值很大因?yàn)闃I(yè)務(wù)方不用每次找運(yùn)維或者開發(fā)要文件了。6. 一些值得再摳一摳的細(xì)節(jié)格式美化與文件命名導(dǎo)出任務(wù)做到這里已經(jīng)是可用的生產(chǎn)工具了但要讓業(yè)務(wù)方用得舒服還有幾個(gè)小細(xì)節(jié)值得花時(shí)間優(yōu)化。6.1 列寬自適應(yīng)別讓業(yè)務(wù)方每次手動(dòng)拉列寬xlsxwriter 里可以給 Sheet 設(shè)置默認(rèn)列寬或者針對(duì)特定列設(shè)置更寬的值worksheet.set_column(A:A, 12) # ID 列 worksheet.set_column(B:B, 20) # 日期列 worksheet.set_column(C:C, 30) # 名稱列如果列很多不想一個(gè)個(gè)指定可以按列名的最大字符長度估算for i, col in enumerate(df.columns): max_len max(df[col].astype(str).str.len().max(), len(col)) 2 worksheet.set_column(i, i, min(max_len, 50))這個(gè)操作對(duì)使用者體驗(yàn)提升非常明顯值得做。6.2 表頭加粗與凍結(jié)首行凍結(jié)首行這個(gè)功能幾乎是業(yè)務(wù)方最喜歡的一個(gè)。表數(shù)據(jù)一多往下拉的時(shí)候完全不知道每一列是什么凍結(jié)首行后這個(gè)痛點(diǎn)直接消失。header_format workbook.add_format({bold: True, bg_color: #D9E1F2, border: 1}) worksheet.set_row(0, None, header_format) worksheet.freeze_panes(1, 0)一次設(shè)置永久生效整個(gè)文件的專業(yè)度立刻上一個(gè)檔次。6.3 文件命名規(guī)則時(shí)間戳 業(yè)務(wù)標(biāo)識(shí)文件命名看起來小但影響的是整個(gè)交付鏈路。我經(jīng)??吹接腥藢?dǎo)出文件叫export.xlsx結(jié)果第二天再導(dǎo)出就把昨天的文件覆蓋了或者業(yè)務(wù)方同時(shí)拿到 5 個(gè)export.xlsx根本分不清哪個(gè)是哪個(gè)。我的命名規(guī)范是業(yè)務(wù)日期_數(shù)據(jù)范圍_生成時(shí)間戳.xlsx比如order_records_20240101_20240630_20240701020000.xlsx保證文件名里能看出數(shù)據(jù)的時(shí)間范圍、生成的時(shí)間點(diǎn)且不會(huì)互相覆蓋。如果是定時(shí)增量任務(wù)這個(gè)習(xí)慣能幫你少背很多鍋。6.4 空數(shù)據(jù)表的處理寧可給空模板也別少一個(gè) Sheet業(yè)務(wù)方用 Excel 最怕的情況是今天導(dǎo)出數(shù)據(jù)恰好是 0 行腳本直接跳過了這個(gè) sheet業(yè)務(wù)方以為程序出 bug 了實(shí)際上只是沒數(shù)據(jù)。我的處理邏輯是如果查詢結(jié)果為空也創(chuàng)建 Sheet只寫入列名和一行無數(shù)據(jù)說明。這樣業(yè)務(wù)方一眼就明白這個(gè)時(shí)間段確實(shí)沒有數(shù)據(jù)而不是工具壞了。if df.empty: empty_df pd.DataFrame(columnscfg[columns]) empty_df.to_excel(writer, sheet_namesheet_name, indexFalse)小小的一個(gè)堅(jiān)持省掉了很多不必要的需求溝通。7. 從能跑到好用的個(gè)人經(jīng)驗(yàn)總結(jié)最后說說我做完這個(gè)導(dǎo)出工具后的幾點(diǎn)體會(huì)。導(dǎo)出這個(gè)功能看起來是人人都能做的最小功能但真正能穩(wěn)定服務(wù)業(yè)務(wù)的導(dǎo)出工具一定不是pd.read_sql to_excel幾行代碼就算完成的。數(shù)據(jù)量邊界、格式兼容性、異?;謴?fù)、可觀測性、使用體驗(yàn)缺一不可。尤其是在數(shù)據(jù)量大、任務(wù)頻繁的場景下一個(gè)沒有分塊、沒有日志、沒有斷點(diǎn)的導(dǎo)出腳本遲早會(huì)變成半夜的告警電話來源。我自己的習(xí)慣是任何導(dǎo)出任務(wù)都先問三個(gè)問題——數(shù)據(jù)量級(jí)是多少多久跑一次誰在用這個(gè)文件數(shù)據(jù)量決定要不要分塊頻率決定要不要斷點(diǎn)續(xù)傳和定時(shí)調(diào)度使用者的技術(shù)水平?jīng)Q定我要不要在格式上多花心思。這三個(gè)問題問清楚了方案就自然浮出水面。如果看完這篇你還是只想抄一個(gè)最小可用的版本那至少記得導(dǎo)出前先做數(shù)據(jù)類型預(yù)處理導(dǎo)出時(shí)分塊控制內(nèi)存導(dǎo)出后確認(rèn) sheet 行數(shù)沒超上限。這三件事做到位你的導(dǎo)出腳本就能超過大多數(shù)臨時(shí)腳本成為別人愿意持續(xù)使用的工具。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天做天天爱天天日| 久久五月天网| 久久九九中文字幕| 久热re在线视频| 97丨九色丨国产丨PORNY| 99久在线精品99re8热| 久久最新色| 亚洲国产99| 亚洲第一精品网站| 99久久综合| 亚洲人成人五月天| 99热无码首页| 激情小说婷婷| 成人av在线网站| 亚洲天堂aaaa| 4399人妻无码久久久| 开心婷婷五月| 超碰99资源站| 色婷婷网| 久色| www.99色| 少妇大叫太大太粗太爽了A片| 日韩成人免费电影| 99精品偷自拍| www.第四色99| 色综合色香蕉网| 色狠狠婷婷| 激情四射亚洲| 激情五月天色色色| 成人网在线视频| 99免费在线| 婷婷五月在线综合| 深爱五月亚洲| 五月的色婷婷高潮| 亚洲第一黄网| 久色| 在线看的免费网站| 成人无码中文| 久久久久久久久久久97| 美日韩成人| 另类视频一区| 天天做天天视天天谢| 婷婷丁香射射| 婷婷五月丁香伊人网| 五月天色在线| 99看片| 色综合九九| caop在线视频| 婷婷成人综合免费视频| 久草xx性爱视频| Www,五月天| 综合激情网激情五月。| 超碰免费99| 亚洲综合99| 涩涩涩五月天| 99精品综合| 无码人妻一区二区一牛影视| 五月婷六月| 色香久久| 99热在线看片| 久久婷综合| 成人美女网| 激情五月婷婷色综合| 久草婷| 影音先锋天天日| 五月丁香婷婷久久| 丁香五月六月婷婷自拍| 色婷婷丁香五月天在线观看| 99热这里只有精品4| 亚洲国产精品VA在线看黑人| 伊人综合色干| 婷婷综合网在线| 五区毛片七区毛片| 97色天堂| 天堂无码人妻精品AV一区| 婷婷.com| 婷婷丁香成人五月天| 亚洲五月天色| 色五婷婷| 婷婷香蕉| 偷拍99在线视频观看| 99riAV国产精品视频| 成人天天爽| AV 3P| www.狠狠艹| 日韩人妻无码专区| 色色综合网www| 久久九⑨| 99热精品在线在线| 国产精品久久久久久久久久久久| 狠狠色丁香婷婷五月| 色五月琪琪| 六月婷婷狠狠| 五月丁花六月丁香综合| 狠狠五月天| seuuu婷婷| 久青操| 欧美激情Va| 丁香色五月婷婷| 五月丁香激情综合| 97se在线视频| 五月天婷基地| 深爱综合网| 99色色视频| 亚洲欧美国产高清vA在线播放| 久久停停超碰| 综合久久十| 婷婷五月在线免费| 亚洲色热| 久爱综合| 99久久精| 久久精彩视频| 熟女色色一区二区| 色色色欧美| 天天插天天| 婷婷久久99| 成人草榴视频| 五月停亭六月,六月停亭的英语| 国产67194| 超喷97免费在线视频| 台湾无码A片一区二区| 丁香五月大片| 国产激情久久久| 国产精品91抖高| 日本啪啪网| 婷婷成人小说综合| 啪啪啪大香蕉| 思思热久久艹| 开心五月网| WWW.桔色成人.COM| 激情五月丁香五月| 五月婷婷成人| 激情五月婷色| 只有久久精品免费| 噜噜在线| 99久久久免费| 婷婷刺激综合| 9久操| 五月综合在线婷婷图片| 激情五月天社区| g00d人体西西| 五月天久久综合婷婷丁香| 五月婷婷丁香| 亚洲另类电影| 超碰免费99| 色婷婷第四色| 丁香色综合| 国产又黄又爽又色的免费| 婷婷五月综合久久中文字幕| 色九九中文字幕| 丁香玖玖| 五月丁香六月情| 九九热青草| 一起草无码视频| 久草狼人| 一区三区视频有限公司| 五月天精品视频| 51精品国自产在线| 色婷婷在线视频久| 五月婷婷色色| 天天狠天天狠| 九月丁香| 色婷婷狠狠干| 五月天婷婷激情小说电影| 伊人久久大香天蕉亚洲特级| 人人爱人人摸人人澡| 国产午夜精品AV一区二区麻豆| 婷婷精品| 九九色婷婷| www.婷婷,com| a久久| 国产亚洲av片| 欧美一级操逼视频| 偷拍99在线视频观看| 四五月婷婷| 国产精品美女| 六月丁香五月激情亚洲AV| 婷色五月| 五月丁香久人妻中文| 激情床戏| 久久婷婷五月综合色奶水99啪| 99久在线精品99re8| 99re久热| av操一操| 青青草原爱爱网| 国产成人AV| 婷婷爱爱蜜臀天天操| 色播播婷婷| 亚洲天堂玖玖| 激情色色色| 五月天丁香看婷婷| 日本婷婷| 久久与婷婷| 丁香婷婷色情| 五月丁香婷婷中文| 天天干一干| 99re最新地址视频| 超碰国产在线| 狠狠色丁香婷婷基地| 五月激情天| 月婷婷亚洲| 综合五月天| se色99| 色婷婷久久| 中文网AV| 久久久99精品免费观看| 99热日韩| 久草九九| 丁香五月激情啪啪| WWW,五月天| 色丁香五月| 狠狠干综合| 偷拍五月丁香| 亚洲婷婷丁香五月天激情小说| 天天爽天天爽| 激情九九这里只有精品| 无码九九九九| 99ri在线观看视频| 色五月婷婷天天干| 色综合久久之分久久| 色综合久久天天综合网| 狠狠综合久久综合| 4399亚洲视频| 狠狠看狠狠| 婷婷五月天综合网| 五月天激情无码高清 | αv中文字幕在线观| 伊人五月人妻精品| 伊人大香久久| 操逼电影免费看| www激情网| 久久五月天 91| 五月丁香六月婷婷成人电影| 另类图片天天影视在线观看| 99精品偷自拍| 狠狠狠狠狠草| 久久综合首页| 久久久97| 丁香久久久| AV大片在线观看| 六月婷婷五月丁香| 9久热| 丁香九月婷婷| 5月婷婷激情网| 高清国产一级婬片a免费| 九月激情综合| 无码地址| 久久这里只有精品视频15 | 五月婷婷我| 美女伊人久久| 五月丁香六月欧美综合网站| 久久这里都是精品视频| 色婷婷在线影院| 亚洲综合婷婷| 人人摸人人射| 9999热在线观看| 婷婷午夜| www色中色综合| 色五月,婷婷大香蕉| 五月婷婷偷拍| 另类图片 五月激情| 欧美精品狠狠色丁香婷婷| 狠狠狠狠狠干| 妻久久久久| 狠狠爱婷婷五月天| 久久女婷| 五月天基地| 丁香五月777| 亚洲天堂99| 五月婷庭丁香在线| 最新日韩久热免费视频看看| 色婷婷色99国产综合精品| SS丁香五月婷婷| 蜜臀av粉嫩av懂色av| 久久婷婷五月综合| 色婷婷婷婷| 99re6热在线精品视频播放速度| 一本色综合色| 无码人妻电影| 丁香五月婷婷色| 丁香五月aV| 日韩无码91| 五月激情综合网| 丁香五月开心婷婷| 久久只有精| 丁香五月婷婷综合啪啪| 久久狼人天堂| 色婷婷五月天小说| 激情四射五月天偷偷看婷婷| 69精品人人人人人人| 99精品综合| 成人五月天视频播放| 男人天堂99| 亚洲成人无码专区| 99ri国产| 九九热精品6| 五月婷六月| 天天久综合网永久入口18| 色色色色色色色色色色色色色97| 人妻肉射免费观看| www.五月婷婷| 久青草大香蕉| 最近中文字幕2019视频1| 色色色在线观看| 桔色成人官方网站| 97人人做| 久久久久视剧HD| 色色色热热热| 99久久精品国产色欲| 丁香五月激情婷婷激情| 91狠狠色丁香婷婷综合久久精品| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 久久92| 在线综合婷婷| 天堂久久性| 久久久网站| 97香蕉碰碰人妻国产欧美| 日韩成人综合网| 丁香五月婷婷五月| 婷婷娱乐丁香综合网| 九九热这里只有精品5| 激情亚洲色图片丁香综合| 婷婷丁香五月天大香蕉| 色图亚洲91| 五月丁香五月综合欧美| 日韩欧美成人片| 天天干天天爽天天操| 久久九九怡红院| 久久99精品久久久久久三级| 婷婷伊人综合| 激情六月天| 中文字幕av在线| 五月婷婷综合精品| 婷婷六月插屄激情| 77799热| 国内一级精品| 五月色激情综合网| 丁香六月成人| 国外亚洲成AV人片在线观看| 五月色亚洲| www.射伊蕉婷婷| 久色网五月| 五月丁香啪啪啪免费看| 久99在线视频| 狠狠爱婷婷色| 97久久超级| 国产3p露脸普通话对白| www.99在线| 激情综合网五月丁香| 婷婷丁香人妻天天爽| 久久婷婷五月草视频| 婷婷久久久| 99热费观看| AV网址大全在| 婷婷综合久久综合| 亚洲综合五月天婷婷| 大地9中文在线观看免费高清| 97精品综合久久| 亚洲情欲久久| 综合九九日本| 午夜av网| 久久亚洲天堂| 五夜丁香| 婷婷操超碰| 久久九九99桃花视频| 日本理论久久| www.99热精品| 99 re视频一区| 色五月天丁香婷婷| 欧美色99| 婷婷色综合| 九九久久99| 久久久WWW| 丁香五月香蕉| 26uuu青青| 欧美天天草人人草| www.天天干.com| 国产VA播放| 亚洲午夜精品久久久久久人妖| 久er免费视频| 婷婷中文字幕| 26uuu淫色| 综合xx网| 色人妻五月| 六月丁香影院| 丁香桃色网| 久久开心五月天激情| 亚洲热视频在线| 欧美色色色色色| 涩涩五月天| 欧美日韩成人一区二区| 色五月综合激情| 人人爱国产| 激情五月天色色网| 久久性爱网| 成人精品免费在线观看| 亚洲操B视频| 99久在线观看| 激情综合婷婷五月| 亚洲综合色丁香婷婷六月| 亚洲精品五月| 五月天婷婷丁香| 丁香六月激情| 狠狠色丁香| 日韩人妻AV在线| 五月天婷婷Av| 中文字幕欧美久久| 亚洲另类在线观看| 69午夜成人影片| 人人操人人爱丁香五月| 91久久九久久九久久九久久九久久| 久草性爱| 丁香五月偷拍| AV操一操| 激情久久五月天| 2014天天爽| 最新五月天婷婷影| 久久激情网| 99综合| 五月婷婷丁香| 丁香五月婷婷激情中文| 日日噜狠狠| 激情5月婷婷狠狠干| 久99久热只有精品国产99| 五月婷在线播放| 亚州操逼网| 日日狠狠久久偷偷四色综合免费| 中文字幕乱轮| 狠狠爱婷婷爱| 99精品偷自拍| yw.av| 97九色视频| 99视频超级精品| 国产精品色色色色| 激情婷婷五月天| 强伦轩人妻一区二区电影| 国产XXXX搡XXXXX搡麻豆| 婷婷丁香综合在线| 亚洲中文字幕av| 六月色婷婷欧美| www夜夜操com| 99re8这里只有精品99re8热视频| 日韩av手机在线观看| 伊人久久综合| 天天日夜夜高潮| 亚洲视频伍月婷婷| 中文AV网站| 亚洲网站观看视频| 99riAV国产精品视频| 色必久悠悠影院| 在线不卡视频| 成人 在线观看国产| av操一操| 另类小说五月天综合| 开心五月网| 999热这里只有精品| 天天插操| 99日韩| 婷婷丁香基地在线| 国产成人AV在线| 超碰97在线操| 色综合九九| 五月天伊人日日噜影片AV| 99色热视频在线| 婷婷精品视频| 香蕉97碰碰碰超视精品| 99热久久最新地址| 五月婷婷激情| 九色视频九色九色91jiuseshipin| 亚洲无码成人| 国产精品热搜丁香五月婷婷| 色5月婷婷| 99视频在线观看视频| 精品一区二区三区四区五区六区介绍 | 91要啪| www久久久久久久久久久| 久热超碰91| 激情五月网站| 97在线碰| 91久久精品视频| 久久6这里只有精品| 激情综合五月天| 激情五月婷婷| 色吧综合网| 午夜做爱影院| 疯狂做受XXXX高潮A片动画| 五月丁香婷婷综合视频| 综合久久五月| 99在线观看精品视频| 国产在线视频1234| 五月激情偷拍婷婷| 伊人久久婷婷| www.激情com| 日本成人噜噜噜噜噜| 激情久久月| 亚洲精品成人| 狠狠搞狠狠操| 色香蕉婷婷| 丁香五月六月久久综合| 欧美日韩成人免费在线| 9999热精品| 激情WWW| 99综合免费视频| 丁香五月久久社区| 26uuu91| 天天干夜夜谢| 五月丁香激情怕怕| 天天干天天干天天操| 免费视频WWW在线观看网站| 色停停香蕉视频| 六月婷婷激情图片| 丁香五月婷婷色| 婷婷天堂综合| 亚洲日比视频| 五月激情综合五月| 日本婷婷| 色5月婷婷色| 亚洲欧美999| 被强行糟蹋的女人A片| 中文资源在线a| 激情五月天无人视频在线| 国产精产国品一二三在观看| 丁香六月激情综合| 99色干| 婷婷丁香成人色综合| 色七色九九| 99热最新| 婷婷情色五月天| 午夜五月天| 99ree6| 五月天伊人av| 久久婷婷六月综合综合| 亚洲九九夜夜| www久久99| 六月婷色| 人妻久久久久久| 超级碰碰一区| 夜夜操天天爽| 曰本久久女| 五月婷婷m| 99婷婷| 这里只有久久精99| 久久久潮喷-久久久九九-成人AV| 婷婷基地五月色| 99热啪啪| 91操色| 色婷婷九月| 在线另类| 夜夜操夜夜操| 五月丁香婷婷啪啪| 婷婷导航| 亚洲激情av| 色五月综合激情| 综合AV在线| 久久婷婷五月天激情四射| 九九超碰人人| 五月天激情网图片| 大香av| 激情综合网色播五月| 五月天丁香欧美激情| 五月天激情无码| 91成人看| 色狠狠婷婷| 伊人大香蕉综合在线| 五月婷婷无码| 超碰激情五月| 一丁香五月天月AV| 婷婷五月天你懂的| 婷婷色五天| 99亚洲精品视频| 操操自拍| 玖玖综合色| 日本99热| 做爱夜夜干天天操| 极品人妻VIDEOSSS人妻| 五月婷婷五月天天| 久久五月婷婷综合网| 丁香五月六月激情| 操逼视频网址| 九九婷婷网五月天| 香蕉久久国产av一区二区| 亚洲天堂啪啪| 久久精彩免费视频精彩免费视频| 亚洲综合五月| 色。 婷婷婷| 亚洲午夜成人av电影网| 天天射色五月天| 亚洲 成人 电影av在线观看| 亚洲欧美丁香五月天亚洲欧美| 超级黄色片| 五月婷久久久| 99re6久热只有精品6在线直播| 色天堂97| 欧美色色色色色| 色色日韩| 欧美色图片88| 午夜五月天| 婷婷丁香五月91| 成人视频一区| 天天日人人| 色婷婷伊人激情在线观看| 天天狠狠干| 欧美成人日韩| 日日爽日日| 狠狠狠狠免费| 六六久久黄色| 婷婷色五月开心五月| 亚洲精品99| 大香蕉九九| 亚洲99在线| AV免费在线网站| 激情综合区| 日韩一区二区在线播放| 色九四色| 亚洲五月丁香六月婷婷| 九九热只有这里精品| 色色三级视频| 亚洲综合99| 伊人久久婷婷| av操逼网| 婷婷综合五月| 婷婷丁香六月五月天| 国产看真人毛片爱做A片| 五月婷婷在线综合| www.久久久久| 五月激香蕉网| 影视av久久久噜噜噜噜噜三级| 成人噜噜网| aV直接看| 国产avapp 网| 婷婷五月天伦理| 九月婷婷在线观看| 激情五月婷婷网| 六月色色婷婷| 综合激情五月婷婷| 成 人片 黄 色 大 片| 少妇达人正片在线播放_ikun_福利吧| 97干在线| 激情五月婷婷五月| 怡春院天天干| 婷婷丁香五月激情| 99色免费视频| 久久99久久99精品免视看婷| 亚洲三级无码| 欧美视频五区| 色五月视频无码播放| 婷婷五月中文字幕| 少妇人妻人伦A片| 激情五月,婷婷五月,丁香五月| 综合久久综合| 久久婷婷五月综合色丁香花| 久久婷婷啪啪视频| 五月丁香伊人网| 六月婷婷啪啪| 亚洲日韩操B| 久婷婷婷| 夜夜撸天天日| 日本99视频| 色婷小说| 亚洲欧美婷婷五月色综合| 激情综合色婷婷六月天| 精品五月丁香| 婷婷五月天久久综合88| 9精品久久999| 五月天久久久| 黄色激情五月天| 五月天婷a在线| 97AV人人插人人操| 婷婷九月| 激情爱爱网站| 五月丁香六月婷婷婷婷| 国产伦理精品高清在线观看网站一区二区 | 99啪啪| 久久色五月天| 久久开心五月婷婷| 婷婷免费精品视频| 91日日日| 色天使色综合| 涩五月婷婷| 综合性爱网| 五月丁香六月花| 亭亭丁香aV| 日本色色网站| 刘玥精品一区| 99色综合| 色色五月婷| 天天日天天干天天爽| 六月婷婷狠狠色在线观看| www.色综合.com| 亚洲一级 片内射网站在线观看| a免费在线| 色情综合| 激情丁香六月| 影音先锋777xfplay色资源网站| 欧美精品久久久久久视频观看| 97色97干| 伊人大蕉香| 国产伦亲子伦亲子视频观看| 色情五月综合婷婷| 欧美三日本三级少妇三99| 久热这里只有精品视频免费观看| 久久99这里| 97干97色| www91精品| 青青久久五月天丁香婷婷| 99精品视频在线观看| 九月丁香婷婷| 亚洲激情综| 丁香五月五月婷婷| 五月天婷婷五月| va婷婷在线| 丁香久久| 7超碰自拍| 五月丁香婷婷啪啪综合| 丁香五月婷婷激情蜜桃| 日韩av变天就操逼不卡区| 久色| av九九| 色婷婷免费观看| 成人va视频| 亚洲热久久| 五月精品免费XXX| 五月花成人网| 婷婷爱综合| 天堂AV三级| 狠狠色婷婷7777久| 九九99免费理论| 久久99大全| 亚洲爱婷婷| 激情婷婷黄色五月| 婷婷综合玖玖五月| 色欲AVV| 精品久久久中文字幕大豆网推荐理由| 综合久久99| 九色视频91| 另类视频五月天| 91精品久久久久久综合五月天| 99热亚洲| 久久网日本| 色婷另类| 亚洲无码yw| 丁香五月激情网| 色色色99| 六月丁香啪啪啪| 丁香五月六月| 丁香五月婷婷五月天| 天天插天天爽| 综合色播| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 婷婷丁香六月天| 午夜五月天| 婷婷丁香六月| www.婷婷五月| 九九色影院| 婷婷色五月激情| 五月色网| 被男人添B超爽视频| 国外亚洲成AV人片在线观看| 亚洲成av人影院| 99热国品| 五月丁小婷婷激情四射| 91男人资源站| 一区中文字幕电影| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 亚洲精品成人| 九九免费视频| 色噜噜狠狠色综合日日| 99这里有精品| www.色五月| 色婷婷丁香女女| 玖玖婷婷五月天毛片| www.婷婷五月天,com| 无码九九九九| 热五月婷婷| 亚洲精品国产成人AV在线| 99欧美| anquye伊人| 五月丁香久久久日婷婷久久婷婷日| 精品无码色欲AV| 色五月视频无码播放| 婷婷五月精品中文字幕| 五月天婷婷影院影院观看| 夜夜躁爽日日| 91无码视频| 婷婷六月综合激情| 亚洲国产精品二二三三区| 激情图片亚洲| 9 大屁股在线视频精品| 五月婷婷久久久久| 91超级碰碰碰| 99这里有精品免费| 欧美英丁香开心快乐六月天网| 婷婷五月天免费视频在线观看| 激情久久久久久久久久久| 国产小精品| 色色亚洲99com| 久久狠婷婷| 玖玖色综合网| 99爱欧美| 美英法精品无码免费视频| 五月丁香成人视频| 91黄址| 九月丁香| 狠狠色综合图片| enecarbon-materials.com污K127封锁请涟系@wip1688 | 欧美激情综合色综合色| 女人天堂久久| 六月丁丁香| 婷婷无五月无码视频| 成人VAV视频在线观看| 任你日视频| 99色啊| 日本五月天一页| 午夜激情婷婷| 亚洲妇女熟BBW| 免费观看日韩成人av| 99热碰碰热| 九九热在视频| 色色综合网络| 9l视频自拍9l九色成人| 99这里只有精品| 国产亚洲99久久精品熟女| 97在线/亚洲| www.夜夜操.con| 丁香五月天在线| 亚洲综合99| 婷婷成人基地| A1片久久| 色综久久AV| 开心激情网在线| 91精品无码| ..真实国产乱子伦对白在线_欧 | av在线观看网址| 久久久com| 六月婷婷亚洲| 亚洲综合久| 欧美槡BBBB槡BBB少妇| 2015WWW永久免费观看播放| 国产1区2区3区在线观| 五月丁香婷婷激情澎湃四射| 日本不卡中文字幕| 丁香综合| 五月丁香操婷逼| 狠狠操在线视频| 九艹在线| 国产黄色在线观看| 五月综合丁香婷婷| 五月婷婷精品视频| 亚洲成人av在线| 国产成人精品一区二区三区视频| 婷婷综合色网| 五月丁香激情综合欧美| 久热99热| 九九日伊人| 综合激情在线视频| 亚洲性爱99在线| 丁香五月六月综合激情| 超碰成人黄色网| www.色色五月天.com| 5月丁香六月情| 色欲丁香| 日本97人人| 99免费热在线精品| 激情色色色| 图片区 小说区 区 亚洲五月 | 婷婷九九视频| 天天色五月| 婷婷丁香色情| 九色综合网| 五月色综合| 五月婷亚洲精品| 91中文在线| 色婷婷婷av| 亚洲色优| 国产欧美日韩综合精品一区二区 | 婷婷五月天黄色| 丁香五月婷婷综合激情啪啪啪| 99re66热这里只有精品| 天天天天天天操| 做爰丰满少妇1313| 久热一本| 岛国AV网站| 专区无日本视频高清8| 五月婷婷深深爱| 五月婷婷六月基地| 久久丁香五月婷婷| 九九人人自拍| 五月丁香AV在线| 欧美日韩91| 人妻激情在线| 久久五月天色| 疯狂做受XXXX高潮A片| 日本久久精品| 日本狠狠色| 色色婷婷综合| 五月丁香六月婷婷,婷| 在线观看亚洲视频影院| 精品五月花| 狠狠另类视频| 色优久久| 五月丁香六月色| 99免费视频网| 国产人妻777人伦精品HD| 99综合免费视频| 天天爽天天| 思思热99er| 五月婷婷丁香五月亚洲色| 色色色色色色色色五月先| 综合网网欲色| 5月丁香六月婷婷| 国产人妻777人伦精品HD| 亚洲综合色色| 一丁香五月天月AV| www91色网站| 丁香婷婷五月天色播| 色五月在线播放| 99 re视频一区| 色五月 五月婷婷| 91丨九色丨老熟女激情| 噜噜噜噜在线| 禁欲电影完整版在线播放| 五月婷在线| 超级碰碰碰97免费| 色婷婷五月成人网| 色J香五月天| 97色 五月天丁香| www.狠狠色.com| 99热这里| 亚洲婷婷在线播放十月| 97色婷婷成人综合在线观看| 国产午夜精品一区二区| 国产五月天欧美色| 亚洲免费综合一区| 五月综合777| 操91| 国产xxxxx在线观看| 久久久18| 91美女被操| 久热中文字幕| 五月天狠狠色| 五月婷婷丁香五月| 99热久97| 操逼电影免费看| 激情六月下句是什么| 五月天伊人网| 九九激情网| 99热精品在线| 五月天综合在线| www久| 五月婷婷六月天| 影音先锋一区二区三区| 九九色大香蕉| 六月婷婷色色色| 97色色综合| 日亚二欧美| 五月婷婷婷| 激情久久丁香| 99热99美国在线观看| 丁香五月先锋| 大香蕉久久草| 任你爽精品免费视频6| A1片久久久| 日本色天堂| 日日干天天射| 久99久视频| 色综合丁香| 人人爱国产| 激情图片亚洲| 久久婷婷精品| 管管補管管紱| 影音先锋男人女人| 五月天色网站| 五月色亭丁香| 亚洲综合激情五月久久| 五月天婷婷久草丁香| www.天天干| 激情六月天婷婷| www久久99| 婷婷五月天AV网| 大香蕉五月天婷婷| 无码中文一区二区三区| 综合色色五月| 亚洲激情97五月天| avv在线| 日本一毛片| www狠狠| 99热欧美| 婷婷深爱五月亚洲综合| 九九热9| 五月婷婷六月丁香在线| 久婷久婷激情肉| 狼人久草| 天天综合亚洲综合网天天αⅴ| 中文幕无线码中文字蜜桃| 久久婷婷亚洲五月天| 9久热在线视频| 人人摸人人澡人人| 香蕉综合在线| 人人爱操| 亚洲精品性色| 日都一级A片| 亚洲免费99| 五月婷丁香花| 欧美槡BBBB槡BBB少妇| 久久久五月四色| 久久久99日本大片| av九九| 天天草天天舔| 丁香影院五月综合| 婷婷激情人妻| 99精品视频免费在线播放| http:色情日本com| 激情小说视频图片网| 成人中文字幕在线| 九九热在线99| 开心日韩丁香婷婷五月| 黄色aa观看aaguochan| 狼友超碰| 精热在线综合网| 国产精产国品一二三在观看| 日本VA视频| 综合久久影院| 六月丁香五月婷婷| 这里只有精品免费观看网占| 色婷婷超碰| 五月婷婷六月色| 婷婷五月天亚洲图片| 999久久久国产精品| 丁香五月在线观看| av在线色五月丁香婷区久| 婷婷成人在线| 色爱亚洲| 婷婷五月天成人影片| 日韩肏屄网| 99re这里只有| 色情五月天A片| 六月丁香中文字幕| 久久思思热| 五月开心深爱激情网| 嫩模aV在线| 内射干少妇亚洲69XXX| www五月天com| 亚洲人妻AV| 综合狠久久| 超碰人人91| 丁香婷婷五月天亚洲| αV电影| 丁香五月天网站| 天天综合图片| 影音先锋天天日| 欧美日综合| 深爱激情五月婷婷| 婷婷五月天色| 天天综合区| 天天摸天天肏| 亚洲综合婷婷五月天| www.91在线观看| 欧美性猛交AAAA片黑人 | 这里只有精品免费| 日韩 欧美 国产 一区 二区| 色色色色色日韩午夜激情 | 无码色色| 日本三级日本三级99| 狠狠色丁香乆乆| 婷婷综合五月天| 99re这里有精品手机在线| 一区视频网站| WW婷婷五月天com| 九九AV在线| 五月婷婷激清网| 成人 在线 日韩| 先锋影音男人的天堂AV| 91碰碰| 丁香婷婷色五月| 丁香五月六月久久综合 | 婷婷五月丁香亚洲| 久热91| 亚洲色情网站| 亚洲丁香婷婷五月天综合色| 欧美激情-区二区三区| 色玖玖玖| 久久AAAA片一区二区| 婷婷激情视频| 色情播放| 一级二级色大片| 亚洲综合五月天| 26uuu精品一区二区| 99视频地址| 久久婷综合网| 99国产精品久久久久久久久久久 | 国产成人AV人人爽人人澡Va| 97五月婷婷| 超碰日韩人妻在线| 超碰成人在线观看| 新精品99| 久久成人性爱| www91精品| 婷婷最新地址| av色色国产| 狠狠色噜噜狠狠狠888| 女人天堂av| 中文AV在线播放| 久久婷婷五月综合色和| 人人摸人人干| 91丨九色丨熟女丰满| 色婷婷五月天小说网| 97色碰| 99精品国产在热久久婷婷| 7777国产盗摄农村女人| 五月天婷婷综合| 久婷五月| 六月狠狠综合| 玖玖伦理电影| 日本婷婷色日| 色情五月| 一区二区成人电影免费播放| 五月天另类激情在线| 天天干天天色天天干| 婷婷97狠狠干| 影音先锋一区| 亚洲色区17| 农村熟妇高潮精品A片| 99精品在线| 性色五月天| 五月天婷婷五月| 久久丁香五月婷婷激情综合网| 激情四射网| 97婷婷久久丁香| 色吧婷婷五月亚洲| 狠狠色综合网| 中文字幕,综合,91| 色爱亚洲| 丁香五月亚洲天堂| 丁香五月大片| 婷婷五月天AV| 99资源在线视频| 岛国资源站| 亚洲激情四谢| 五月天婷婷久久| 九九伊人网| 久久亚洲无码| 91久久婷婷人人澡草| 六月婷伊人| 狠狠五月激情在线| 色吧五月婷婷| 99综合熟女| a片在线免费观看一区| www.com久久久久久久久久久久久久久久久| 99久久婷婷国产综合| 色五月综合激情| A在线观看| 天天做好综合色| 97韩国久久电影院| 天色综合网站| 丁香五月另类小说在线阅读| 色婷婷五月开心六月综合| 91热在线| 无码区婷婷五月花开| 婷婷五月天AV在线| 日本 色综合| 丁香花五月天社区| 超级碰碰碰久久网站| 1024亚洲无码| 成人片黄网站色大片免费毛片 | 国产欧美婷婷| 色婷网| 久久色天堂| 日本一级特黄大片AAAAA级| 超级碰 久久9| 丁香啪啪中文字幕| 大香蕉丁香婷婷| 1024人妻无码中文字幕| 久久婷婷七月丁香| 黄网在线免费观| 色哟呦av| 丁香五月婷婷综合啪啪| 亚洲日韩一页精品发布| 亚洲欧洲中文日韩久久AV乱码| 中文字幕无码人妻少妇免费视频| 伊人91| 亚洲丁香花色| 亚洲色婷婷| 国产亚洲精品AAAAAAA片| 激情婷婷五月天| 91精品久久久久久77777| 婷婷五月天色色| 九九亚洲| 97高清国语自产拍| 欧美大肥婆大肥BBBBB| 蜜桃成语时李时珍 免费| 极品少妇XXXX精品少妇偷拍| 亚洲精品国产A久久久久久| 日韩中文字幕| 婷婷综合中文| 波多婷婷久久| 日本一区二区三区精品视频| 久热精彩视频98| 黄页免费一级视频懂色| 久xxxx| 中文字幕综合| 日本美女上人| 97超碰人人操| 五月丁欧美| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 国产乱人偷精品人妻A片| A片试看50分钟做受视频| 国外亚洲成AV人片在线观看| 亚洲精品第一色色色色色色| 日韩久久系列| 4399精品一区二区| www.com在线操视频免费观看| 天天婷婷综合亚洲亚洲| 2020日日干| 第四色激情网| 婷婷五月天激情文学| 九九热在线视频| 亚洲乱码日产精品BD| 婷婷久综合| 午夜激情四射影院| 亚洲色色五月| 99热在线观看精品| 亚洲激情亚洲激情| 九色视频91| 色色综合成人网| 嫩草综合网| 婷婷五亚洲| 99在线精品视频| 久久久激情视频| 丁香五月天综合| ..真实国产乱子伦对白在线_欧| 亚洲精级| 丁香五月婷婷色偷偷| aa久久| 五月丁香激情五月天| 九九热短视频在线观看 | 亚洲色婷婷网站| 婷婷五月骚厕所| 97色色视频| 成人视频一区| 激情丁香婷婷| 激情五月丁香五月色| 婷婷丁香五月天色色| 丁香五月婷婷Av| 婷婷伊人中文字幕| 狠狠肏综合网| 婷婷激情社区| 五月丁香91| 96丁香六月婷婷蜜桃综合久久| 国产精品A成V人在线播放| 色婷婷亚洲综合av| 热99精品视频五月| 婷婷丁香五月麻豆| 七七九九色色| 色五狠狠| 色色色干| 亚洲精品久久久无码| 婷婷丁香18| 天堂爱啪啪| 深爱女色婷婷丁香五月亚洲图区| 婷婷丁香五月天狠狠| 99爱视频| 人人爱人人草| 国产毛片操B| 国产免费一区二区三州老师F1F1| 琪琪理论片| AAA亚洲AV|