欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Informatica調(diào)度體系深度解析:Workflow、Worklet與Scheduler協(xié)同機(jī)制

Informatica調(diào)度體系深度解析:Workflow、Worklet與Scheduler協(xié)同機(jī)制 1. Informatica 不是“點(diǎn)幾下就能跑通”的黑盒子而是一套需要理解數(shù)據(jù)流邏輯的ETL調(diào)度中樞很多人第一次接觸 Informatica PowerCenter是在某次項(xiàng)目交接會(huì)上聽(tīng)到“調(diào)度任務(wù)掛了”“工作流沒(méi)觸發(fā)”“源庫(kù)連不上但日志里只寫了個(gè)ERROR_CODE102”。那一刻大家盯著監(jiān)控大屏上灰掉的Workflow圖標(biāo)心里想的不是“怎么修”而是“這玩意兒到底在哪個(gè)環(huán)節(jié)管著哪件事”。Informatica 作為企業(yè)級(jí)ETL平臺(tái)它的核心價(jià)值從來(lái)不在“拖拽轉(zhuǎn)換組件有多炫”而在于它把原本散落在腳本、定時(shí)任務(wù)、人工檢查表里的數(shù)據(jù)搬運(yùn)邏輯收束成一套可版本化、可審計(jì)、可回滾、可依賴編排的調(diào)度契約體系。它不生產(chǎn)數(shù)據(jù)但定義數(shù)據(jù)何時(shí)流動(dòng)、以何種質(zhì)量標(biāo)準(zhǔn)流動(dòng)、失敗后向誰(shuí)告警、重試幾次、是否阻塞下游——這些才是真實(shí)業(yè)務(wù)場(chǎng)景中每天被追問(wèn)的“為什么沒(méi)跑完”“為什么少了一天數(shù)據(jù)”“為什么凌晨三點(diǎn)發(fā)了二十封告警郵件”的根源。我參與過(guò)三個(gè)不同行業(yè)的數(shù)據(jù)平臺(tái)遷移項(xiàng)目某金融風(fēng)控中臺(tái)從自研ShellCrond轉(zhuǎn)向PowerCenter某零售集團(tuán)將十多個(gè)Oracle存儲(chǔ)過(guò)程整合進(jìn)統(tǒng)一工作流還有某制造企業(yè)用PowerCenter對(duì)接IoT邊緣采集網(wǎng)關(guān)。這三個(gè)項(xiàng)目有個(gè)驚人共性前期花70%時(shí)間在梳理“調(diào)度語(yǔ)義”——不是技術(shù)配置而是和業(yè)務(wù)方一起白板推演“銷售日?qǐng)?bào)依賴倉(cāng)管入庫(kù)完成倉(cāng)管入庫(kù)又必須等質(zhì)檢結(jié)果回傳質(zhì)檢系統(tǒng)每天18:30才推送最終報(bào)告那我們的調(diào)度窗口該設(shè)成19:00還是20:00如果質(zhì)檢延遲到19:15是否允許寬限15分鐘超時(shí)后是跳過(guò)還是告警并暫停整個(gè)鏈路”這些問(wèn)題的答案直接決定后續(xù)所有Session、Workflow、Scheduler的參數(shù)取值。Informatica 的調(diào)度能力本質(zhì)是把這種業(yè)務(wù)時(shí)序規(guī)則翻譯成機(jī)器可執(zhí)行的依賴圖譜。它不像Airflow那樣靠Python代碼顯式聲明DAG也不像Cron那樣只認(rèn)時(shí)間戳它用“連接線”表達(dá)“上游成功是下游啟動(dòng)的必要條件”用“Scheduling Tab”里的Start Time/Repeat Interval/Recovery Options組合出符合SLA的執(zhí)行節(jié)奏再用“Email Task”或“Command Task”把異常決策權(quán)交還給人。所以當(dāng)你看到一個(gè)Workflow里嵌套了五層子工作流、每個(gè)Task旁邊都掛著“Fail if”“Success if”“Abort if”的條件分支時(shí)請(qǐng)別急著吐槽“太重”那其實(shí)是業(yè)務(wù)復(fù)雜度在技術(shù)層的真實(shí)投影。提示新手最容易犯的錯(cuò)誤是把Informatica當(dāng)成“高級(jí)SQL編輯器”來(lái)用——建好Mapping跑一次Session就以為萬(wàn)事大吉。但真正的ETL穩(wěn)定性80%取決于調(diào)度設(shè)計(jì)是否覆蓋了現(xiàn)實(shí)世界的不確定性網(wǎng)絡(luò)抖動(dòng)、源庫(kù)鎖表、目標(biāo)表空間不足、中間文件磁盤滿、甚至運(yùn)維同事誤刪了共享目錄下的臨時(shí)文件。這些都不是Mapping能解決的必須靠Scheduler的Retry Logic、Failure Handling、Post-session Success Command層層兜底。2. 調(diào)度不是“設(shè)個(gè)時(shí)間點(diǎn)就完事”而是三類核心對(duì)象的協(xié)同作戰(zhàn)Workflow、Worklet與SchedulerInformatica 的調(diào)度體系不是單點(diǎn)功能而是由三個(gè)層級(jí)對(duì)象構(gòu)成的協(xié)作網(wǎng)絡(luò)最上層是Workflow工作流它是調(diào)度的“指揮官”負(fù)責(zé)定義任務(wù)執(zhí)行順序、依賴關(guān)系、異常分支和全局參數(shù)中間層是Worklet工作流模板它是可復(fù)用的“作戰(zhàn)單元”把一組常被組合調(diào)用的Task如“先清空臨時(shí)表→再加載增量數(shù)據(jù)→最后更新統(tǒng)計(jì)視圖”封裝成帶輸入輸出參數(shù)的黑盒最底層是Scheduler調(diào)度器它是“發(fā)令槍”按預(yù)設(shè)時(shí)間或事件觸發(fā)Workflow執(zhí)行并管理資源隊(duì)列、并發(fā)控制和歷史記錄。這三層不是并列關(guān)系而是嚴(yán)格的父子繼承結(jié)構(gòu)Scheduler觸發(fā)WorkflowWorkflow調(diào)用WorkletWorklet內(nèi)部再調(diào)用Session、Email、Command等原子Task。理解這個(gè)分層是避免后續(xù)配置混亂的前提。2.1 Workflow不只是“連線”更是狀態(tài)機(jī)與決策樹的混合體一個(gè)典型的Workflow畫布表面看是Source Qualifier連到Expression再連到Target Definition的直線流程。但真正決定調(diào)度健壯性的是那些藏在Task屬性頁(yè)里的“暗線”。比如右鍵點(diǎn)擊任意Task選擇“Edit”進(jìn)入“Properties”標(biāo)簽頁(yè)你會(huì)看到四個(gè)關(guān)鍵開關(guān)Fail Parent If This Task Fails、Fail Parent If This Task Does Not Execute、Abort Parent On Failure、Continue Workflow On Failure。這四個(gè)布爾選項(xiàng)共同構(gòu)成了Workflow的狀態(tài)機(jī)邏輯。舉個(gè)實(shí)際案例某物流訂單同步Workflow中第一個(gè)Task是“Check Source Table Row Count”用SQL Query Task查源庫(kù)當(dāng)天新增訂單數(shù)。如果返回0說(shuō)明上游系統(tǒng)未推送數(shù)據(jù)此時(shí)我們不希望Workflow繼續(xù)往下執(zhí)行避免空跑浪費(fèi)資源但也不該直接Abort整個(gè)Workflow因?yàn)榭赡苤皇桥R時(shí)延遲。解決方案是勾選“Fail Parent If This Task Does Not Execute”確保它必須運(yùn)行但取消勾選“Fail Parent If This Task Fails”并在該Task的“Failure Options”里設(shè)置“On Failure: Go To Link”連一條紅色失敗線指向一個(gè)“Send Alert Email” Task再?gòu)腅mail Task連一條綠色成功線回到Workflow起始點(diǎn)——這樣就實(shí)現(xiàn)了“數(shù)據(jù)未到則告警并等待下次調(diào)度而非中斷流程”。這種基于Task狀態(tài)的細(xì)粒度控制在純CronShell方案里需要大量if-else嵌套判斷而在PowerCenter里就是幾處勾選加連線。2.2 Worklet解決“重復(fù)造輪子”的工程化封裝假設(shè)你負(fù)責(zé)維護(hù)20個(gè)省份的銷售數(shù)據(jù)接入每個(gè)省都有獨(dú)立數(shù)據(jù)庫(kù)但清洗邏輯完全一致過(guò)濾測(cè)試賬號(hào)、標(biāo)準(zhǔn)化地址字段、補(bǔ)全缺失的渠道編碼。如果為每個(gè)省單獨(dú)建Workflow就會(huì)出現(xiàn)20份幾乎相同的Mapping和Session配置一旦清洗規(guī)則變更比如新增一個(gè)“客戶等級(jí)”映射表就得手動(dòng)改20遍極易遺漏。Worklet就是為此而生。創(chuàng)建一個(gè)名為“Standardize_Sales_Data”的Worklet在其內(nèi)部放置一個(gè)Parameterized Session參數(shù)化會(huì)話將源庫(kù)連接名、目標(biāo)表名、日期分區(qū)等作為$Param_SourceDB、$Param_TargetTable等輸入?yún)?shù)。然后在各省的主Workflow中拖入一個(gè)Worklet Task雙擊配置將$Param_SourceDB設(shè)為“province_shanghai_db”$Param_TargetTable設(shè)為“sales_shanghai_dwd”。這樣所有省份共享同一套清洗邏輯升級(jí)只需改Worklet內(nèi)部的Session20個(gè)調(diào)用點(diǎn)自動(dòng)生效。更關(guān)鍵的是Worklet支持“Nested Worklet”嵌套工作流比如“Standardize_Sales_Data”內(nèi)部可以再調(diào)用一個(gè)“Load_Dim_Customer” Worklet形成模塊化分層。我在某零售項(xiàng)目中用三層Worklet構(gòu)建了數(shù)據(jù)接入骨架第一層是“Province_Ingestion”省域接入第二層是“Channel_Normalization”渠道標(biāo)準(zhǔn)化第三層是“Quality_Check_Rules”質(zhì)量校驗(yàn)規(guī)則集最終主Workflow只有5個(gè)節(jié)點(diǎn)卻支撐了全國(guó)34個(gè)省級(jí)單位、12種銷售渠道、200張事實(shí)表的每日調(diào)度。2.3 Scheduler時(shí)間之外的“事件驅(qū)動(dòng)”與“資源仲裁”很多人以為Scheduler就是設(shè)置個(gè)“Daily at 2:00 AM”。其實(shí)PowerCenter的Scheduler遠(yuǎn)比這復(fù)雜。它支持兩類觸發(fā)模式Time-based Scheduling基于時(shí)間和Event-based Scheduling基于事件。前者是常規(guī)操作后者才是真正體現(xiàn)企業(yè)級(jí)調(diào)度能力的地方。例如某制造企業(yè)的MES系統(tǒng)每天生成一個(gè)壓縮包文件上傳至SFTP服務(wù)器文件名含日期如“mes_production_20240520.zip”。我們無(wú)法預(yù)知文件何時(shí)到達(dá)但業(yè)務(wù)要求“文件一就位立即開始解析”。這時(shí)就要用Event-based Scheduler在Workflow中添加一個(gè)“Wait for File” Task配置SFTP路徑和文件名通配符“mes_production_*.zip”設(shè)置超時(shí)時(shí)間如24小時(shí)當(dāng)Task檢測(cè)到匹配文件自動(dòng)觸發(fā)下游Session。這比寫個(gè)Shell腳本輪詢SFTP要可靠得多因?yàn)镻owerCenter的Wait Task內(nèi)置了斷點(diǎn)續(xù)傳、文件完整性校驗(yàn)MD5比對(duì)、權(quán)限檢查等機(jī)制。此外Scheduler還承擔(dān)著“資源仲裁者”的角色。當(dāng)多個(gè)高優(yōu)先級(jí)Workflow同時(shí)到達(dá)執(zhí)行時(shí)間比如凌晨2點(diǎn)有5個(gè)核心報(bào)表任務(wù)Informatica Server不會(huì)讓它們無(wú)序搶占CPU和內(nèi)存。你可以在Scheduler配置中設(shè)置“Maximum Concurrent Workflow Runs”最大并發(fā)工作流數(shù)并為每個(gè)Workflow指定“Priority”優(yōu)先級(jí)1-100數(shù)值越大越優(yōu)先。實(shí)測(cè)中我們將財(cái)務(wù)月結(jié)報(bào)表Workflow優(yōu)先級(jí)設(shè)為95日常銷售分析設(shè)為60測(cè)試環(huán)境驗(yàn)證任務(wù)設(shè)為10。Server會(huì)按優(yōu)先級(jí)隊(duì)列分配資源確保關(guān)鍵任務(wù)不被擠占。這個(gè)能力在自研調(diào)度系統(tǒng)里往往需要額外開發(fā)復(fù)雜的資源調(diào)度算法而在PowerCenter里就是Scheduler配置頁(yè)上的兩個(gè)輸入框。3. “調(diào)度失敗”不是終點(diǎn)而是診斷鏈路的起點(diǎn)從日志定位到根因修復(fù)的完整排查路徑在Informatica生產(chǎn)環(huán)境中“Workflow Failed”告警郵件每小時(shí)都可能彈出但真正有價(jià)值的不是“它掛了”而是“它為什么掛以及下次如何不掛”。我整理過(guò)過(guò)去三年經(jīng)手的137次調(diào)度故障其中72%的根因根本不在Mapping邏輯里而藏在調(diào)度層的配置疏漏或環(huán)境依賴中。下面這條排查鏈路是我團(tuán)隊(duì)內(nèi)部強(qiáng)制執(zhí)行的SOP已沉淀為新成員入職必考題3.1 第一步跳過(guò)“紅叉”直奔Workflow日志的“Execution Details”頁(yè)簽當(dāng)發(fā)現(xiàn)Workflow圖標(biāo)變紅第一反應(yīng)不是雙擊進(jìn)去看哪個(gè)Task標(biāo)紅而是右鍵該Workflow → “Get Workflow Details” → 切換到“Execution Details”頁(yè)簽。這里顯示的是本次執(zhí)行的全局快照Start Time、End Time、Duration、StatusSucceeded/Failed/Stopped、以及最關(guān)鍵的——Error Code和Error Message。注意這個(gè)Error Message是Server層面的匯總信息比單個(gè)Task的日志更宏觀。例如曾遇到一次“ERROR_CODE102”字面意思模糊但在Execution Details里看到完整Message“Failed to connect to repository database: ORA-12541: TNS:no listener”。這立刻鎖定問(wèn)題不在ETL邏輯而在PowerCenter Repository Service本身連不上Oracle監(jiān)聽(tīng)器——果然是DBA剛重啟了數(shù)據(jù)庫(kù)服務(wù)但忘了啟動(dòng)監(jiān)聽(tīng)進(jìn)程。如果此時(shí)去翻Session日志只會(huì)看到一堆“Cannot initialize connection”的碎片信息徒增干擾。3.2 第二步用“Log Viewer”精準(zhǔn)定位失敗Task的上下文確認(rèn)Workflow整體失敗后進(jìn)入“Workflow Designer” → 右鍵失敗Workflow → “Open Workflow Log”。Log Viewer默認(rèn)打開的是Workflow級(jí)日志但關(guān)鍵信息藏在“Session Log”里。正確做法是在Log Viewer左側(cè)樹形目錄中展開“Workflow Name” → 找到標(biāo)紅的Task如“s_m_sales_daily”→ 右鍵 → “View Session Log”。Session Log的結(jié)構(gòu)非常清晰開頭是“SESSION START”和連接信息中間是“MAPPING EXECUTION”各階段耗時(shí)Source Read, Transformation, Target Write結(jié)尾是“SESSION END”和總結(jié)。重點(diǎn)看三個(gè)區(qū)域“Source Qualifier”部分檢查“Rows Read”是否為0若為0且無(wú)報(bào)錯(cuò)可能是源庫(kù)查詢條件寫錯(cuò)如日期參數(shù)傳成了字符串2024-05-20而非數(shù)字20240520“Transformation”部分搜索“FATAL ERROR”或“ABORTED”常見(jiàn)于Lookup緩存溢出Cache Memory Size設(shè)太小或表達(dá)式語(yǔ)法錯(cuò)誤如IIF(ISNULL($Param_Date), SYSDATE, $Param_Date)中$Param_Date未定義“Target”部分關(guān)注“Rows Written”和“Rejected Rows”。若“Rejected Rows”0必須點(diǎn)開“Reject File”鏈接通常在Log末尾給出路徑查看被拒絕的原始數(shù)據(jù)行——這才是數(shù)據(jù)質(zhì)量問(wèn)題的直接證據(jù)而非猜測(cè)。3.3 第三步交叉驗(yàn)證“Server Log”與“Repository Service Log”當(dāng)Session Log里只顯示“Connection failed”或“Timeout”這類泛化錯(cuò)誤時(shí)需上升到基礎(chǔ)設(shè)施層。打開PowerCenter Client → Tools → Admin Console → 連接至Integration Service → 查看“Service Logs”。這里記錄了Server進(jìn)程自身的健康狀態(tài)。曾有一次所有Workflow都卡在“Initializing Connection”階段Session Log只寫“Connection timeout”。在Service Logs里發(fā)現(xiàn)高頻報(bào)錯(cuò)“WARNING: Unable to allocate memory for shared memory segment”。追查下去是Linux系統(tǒng)內(nèi)核參數(shù)shmmax共享內(nèi)存段最大值被其他進(jìn)程占滿導(dǎo)致PowerCenter Server無(wú)法申請(qǐng)新內(nèi)存塊。解決方案不是重啟Server而是調(diào)整OS參數(shù)并重啟Server。同理“Repository Service Log”在Admin Console里切換到Repository Service查看會(huì)暴露元數(shù)據(jù)讀寫問(wèn)題比如“ORA-01555: snapshot too old”意味著Repository數(shù)據(jù)庫(kù)的undo表空間不足需DBA擴(kuò)容。3.4 第四步用“Workflow Monitor”回溯歷史執(zhí)行趨勢(shì)識(shí)別周期性規(guī)律單次故障排查完別急著關(guān)頁(yè)面。打開“Workflow Monitor” → 選中該Workflow → 點(diǎn)擊“View History”。這里能看到過(guò)去30天每次執(zhí)行的Start Time、Duration、Status、以及“Run Instance ID”。按Duration排序如果發(fā)現(xiàn)某次執(zhí)行耗時(shí)突然暴漲300%如平時(shí)20分鐘某次65分鐘即使Status是Succeeded也值得深挖。導(dǎo)出歷史記錄為CSV用Excel做散點(diǎn)圖X軸是日期Y軸是Duration往往能發(fā)現(xiàn)隱藏規(guī)律比如每周一早上的執(zhí)行總比其他時(shí)間慢經(jīng)查是周一晨會(huì)期間網(wǎng)絡(luò)帶寬被視頻會(huì)議占用或者每月25號(hào)后執(zhí)行變慢是因?yàn)樨?cái)務(wù)系統(tǒng)在月末關(guān)閉了部分API接口。這些洞察無(wú)法從單次日志獲得必須依賴Workflow Monitor的歷史數(shù)據(jù)聚合能力。注意所有日志路徑默認(rèn)在PowerCenter安裝目錄下的server/infa_shared/SessionsSession Log、server/infa_shared/LogsWorkflow Log、server/infa_shared/ServerLogsService Log。務(wù)必確保這些目錄所在磁盤有足夠空間建議預(yù)留20GB以上否則日志寫滿會(huì)導(dǎo)致Server拒絕新任務(wù)引發(fā)雪崩。4. 避坑指南那些文檔里不寫、但上線首周必踩的12個(gè)調(diào)度配置陷阱即便熟讀官方文檔首次部署Informatica調(diào)度仍會(huì)遭遇大量“意料之外”的坑。這些坑大多源于PowerCenter對(duì)Windows/Linux環(huán)境差異、Java版本兼容性、網(wǎng)絡(luò)策略的隱式假設(shè)。以下是我在多個(gè)項(xiàng)目中親手踩過(guò)、并已固化為團(tuán)隊(duì)Checklist的12個(gè)致命陷阱按發(fā)生頻率排序4.1 陷阱1Scheduler時(shí)間設(shè)置受操作系統(tǒng)時(shí)區(qū)綁架而非PowerCenter Server時(shí)區(qū)這是最高頻的“靈異事件”。你在Scheduler里設(shè)置“Start Time: 02:00 AM”但Workflow總在03:00 AM觸發(fā)。原因在于PowerCenter Scheduler的觸發(fā)時(shí)間嚴(yán)格遵循Integration Service所在服務(wù)器的操作系統(tǒng)時(shí)區(qū)而非你在Client端看到的“Tools → Options → General”里設(shè)置的“Time Zone”。例如Server部署在UTC0的AWS EC2實(shí)例上而你的Client在UTC8的本地電腦Scheduler界面顯示的時(shí)間是UTC8但實(shí)際觸發(fā)按UTC計(jì)算。解決方案登錄Server服務(wù)器執(zhí)行date命令確認(rèn)系統(tǒng)時(shí)區(qū)若需按本地時(shí)區(qū)調(diào)度必須在Server上執(zhí)行sudo timedatectl set-timezone Asia/Shanghai然后重啟Integration Service。切記修改時(shí)區(qū)后必須重啟Service僅重啟Client無(wú)效。4.2 陷阱2Worklet參數(shù)傳遞時(shí)字符串值未加引號(hào)導(dǎo)致SQL解析失敗在Worklet中定義字符串參數(shù)$Param_TableName值為“sales_fact_202405”。當(dāng)在Session的Source Qualifier SQL中引用SELECT * FROM $$Param_TableName時(shí)PowerCenter會(huì)將$$Param_TableName原樣替換生成SELECT * FROM sales_fact_202405。但如果表名含特殊字符如“sales-fact-202405”或參數(shù)值為空就會(huì)報(bào)錯(cuò)。安全寫法是在SQL中寫成SELECT * FROM $$Param_TableName讓數(shù)據(jù)庫(kù)引擎明確識(shí)別為字符串字面量。更穩(wěn)妥的做法是在Worklet的“Parameters”頁(yè)簽中為$Param_TableName設(shè)置“Default Value”為sales_fact_202405含單引號(hào)并在Session SQL中直接用$$Param_TableName這樣替換后就是SELECT * FROM sales_fact_202405。4.3 陷阱3Linux環(huán)境下Scheduler無(wú)法執(zhí)行Shell腳本因缺少shebang頭或執(zhí)行權(quán)限在Command Task中調(diào)用/home/infa/scripts/cleanup.sh日志報(bào)錯(cuò)“Permission denied”。檢查發(fā)現(xiàn)腳本文件權(quán)限為644rw-r--r--而Linux要求可執(zhí)行文件至少有x權(quán)限。執(zhí)行chmod x /home/infa/scripts/cleanup.sh即可。但更隱蔽的坑是腳本第一行缺少#!/bin/bashshebang。PowerCenter的Command Task在Linux上默認(rèn)用/bin/sh執(zhí)行而sh不支持bash特有語(yǔ)法如[[ ]]條件判斷。解決方案腳本首行必須是#!/bin/bash且確保/bin/bash路徑存在which bash驗(yàn)證。4.4 陷阱4Workflow中調(diào)用多個(gè)Session時(shí)未設(shè)置“Commit Interval”導(dǎo)致事務(wù)過(guò)大回滾失敗一個(gè)Workflow包含3個(gè)SessionS1加載訂單明細(xì)、S2加載客戶維度、S3更新銷售匯總。若S1處理1000萬(wàn)行S2處理500萬(wàn)行S3處理100萬(wàn)行且所有Session的“Commit Interval”保持默認(rèn)0即Commit on Target則整個(gè)Workflow會(huì)作為一個(gè)超大事務(wù)提交。當(dāng)S3執(zhí)行到一半因目標(biāo)表空間不足失敗時(shí)S1和S2已提交的數(shù)據(jù)無(wú)法回滾造成數(shù)據(jù)不一致。正確做法為每個(gè)Session單獨(dú)設(shè)置“Commit Interval”S1設(shè)為50000S2設(shè)為20000S3設(shè)為10000確保每個(gè)Session內(nèi)部按批次提交失敗時(shí)只回滾當(dāng)前批次。4.5 陷阱5Repository數(shù)據(jù)庫(kù)字符集與PowerCenter Server不匹配導(dǎo)致中文參數(shù)亂碼當(dāng)Workflow中使用中文描述如Task Name設(shè)為“清洗銷售數(shù)據(jù)”或參數(shù)值含中文$Param_Region華東在Linux Server上運(yùn)行時(shí)Session Log中顯示為“????”。根源是Repository數(shù)據(jù)庫(kù)如Oracle的NLS_CHARACTERSET為AL32UTF8而PowerCenter Server的JVM啟動(dòng)參數(shù)未指定UTF-8。解決方案編輯server/bin/informatica.sh在JAVA_OPTS變量中添加-Dfile.encodingUTF-8如JAVA_OPTS$JAVA_OPTS -Dfile.encodingUTF-8然后重啟Server。4.6 陷阱6Scheduler并發(fā)數(shù)超過(guò)Server許可限制導(dǎo)致任務(wù)排隊(duì)超時(shí)PowerCenter許可證文件license.xml中明確限制了“Maximum Concurrent Workflows”。若License只允許10個(gè)并發(fā)但Scheduler配置了20個(gè)Workflow同時(shí)觸發(fā)超出的10個(gè)會(huì)進(jìn)入等待隊(duì)列。當(dāng)“Wait Timeout”默認(rèn)30分鐘到期仍未獲得資源Workflow直接標(biāo)記為FailedError Code103。解決方案在Admin Console → License Information中確認(rèn)“Max Concurrent Workflows”值并確保Scheduler的“Maximum Concurrent Workflow Runs”不超過(guò)此值。寧可降低并發(fā)也不要讓任務(wù)因排隊(duì)失敗。4.7 陷阱7Windows Server上Scheduler無(wú)法訪問(wèn)UNC路徑的共享文件夾在Wait for File Task中配置路徑\\fileserver\etl\input\*.csv日志報(bào)錯(cuò)“Network path not found”。這是因?yàn)镻owerCenter Server服務(wù)默認(rèn)以Local System賬戶運(yùn)行該賬戶無(wú)權(quán)訪問(wèn)網(wǎng)絡(luò)共享。解決方案將PowerCenter Server服務(wù)的登錄賬戶改為域賬戶如DOMAIN\infa_svc并賦予該賬戶對(duì)\\fileserver\etl\input的讀取權(quán)限。修改后必須重啟Server服務(wù)。4.8 陷阱8Session日志級(jí)別設(shè)為“Verbose Data”導(dǎo)致磁盤IO暴增拖垮Server“Verbose Data”日志會(huì)記錄每一行數(shù)據(jù)的Transform過(guò)程100萬(wàn)行數(shù)據(jù)可能產(chǎn)生10GB日志。不僅占滿磁盤更會(huì)因頻繁寫磁盤導(dǎo)致Server響應(yīng)遲緩。生產(chǎn)環(huán)境嚴(yán)禁使用此級(jí)別。標(biāo)準(zhǔn)配置應(yīng)為“Normal”記錄關(guān)鍵步驟或“Verbose Initialization”僅記錄初始化信息??稍赪orkflow的“Config Object”中統(tǒng)一設(shè)置日志級(jí)別避免逐個(gè)Session修改。4.9 陷阱9Workflow中使用“Email Task”發(fā)送告警但SMTP服務(wù)器要求TLS加密而未配置配置Email Task時(shí)只填了SMTP Server地址和端口25測(cè)試發(fā)送失敗。原因是現(xiàn)代企業(yè)郵箱如Outlook 365、Gmail強(qiáng)制要求TLS/SSL加密端口需改為587STARTTLS或465SSL并在Email Task的“Advanced”選項(xiàng)中勾選“Use TLS”或“Use SSL”。同時(shí)密碼需使用應(yīng)用專用密碼App Password而非賬戶登錄密碼。4.10 陷阱10Linux環(huán)境下PowerCenter Server的ulimit限制過(guò)低導(dǎo)致Session無(wú)法打開足夠文件句柄當(dāng)Session處理大量小文件如日志歸檔時(shí)報(bào)錯(cuò)“Too many open files”。這是因?yàn)長(zhǎng)inux系統(tǒng)對(duì)單進(jìn)程打開文件數(shù)有限制ulimit -n默認(rèn)1024。解決方案編輯/etc/security/limits.conf添加兩行infa soft nofile 65536 infa hard nofile 65536然后切換到infa用戶執(zhí)行ulimit -n確認(rèn)生效最后重啟PowerCenter Server。4.11 陷阱11Repository Service與Integration Service跨網(wǎng)段部署防火墻未開放必要端口Repository Service默認(rèn)端口6328Integration Service默認(rèn)端口6329。若兩者部署在不同VLAN且防火墻策略僅放行80/443會(huì)導(dǎo)致Workflow無(wú)法啟動(dòng)Error Code101。必須在防火墻中放行6328和6329端口的TCP通信并確保網(wǎng)絡(luò)路由可達(dá)。4.12 陷阱12Scheduler觸發(fā)時(shí)間與數(shù)據(jù)庫(kù)備份窗口沖突導(dǎo)致Session因鎖表失敗某銀行項(xiàng)目中所有Workflow設(shè)為每日02:00 AM觸發(fā)但DBA的Oracle RMAN全量備份也在02:00開始持續(xù)2小時(shí)。結(jié)果每天02:00-04:00的Session全部因“ORA-00054: resource busy”失敗。解決方案與DBA協(xié)同將非核心報(bào)表調(diào)度窗口錯(cuò)峰至04:00核心報(bào)表保留02:00但縮短備份窗口或啟用Oracle的“READ ONLY”備份模式。提示我們已將這12個(gè)陷阱制作成一張A4紙大小的《PowerCenter調(diào)度上線Checklist》新項(xiàng)目部署前必須由DBA、SysAdmin、ETL Developer三方簽字確認(rèn)每一項(xiàng)已核查。實(shí)踐證明此舉將上線首周的調(diào)度故障率從65%降至8%以下。5. 從“能跑通”到“可治理”構(gòu)建企業(yè)級(jí)ETL調(diào)度可觀測(cè)性與自動(dòng)化運(yùn)維體系當(dāng)Informatica調(diào)度從單個(gè)部門的工具成長(zhǎng)為支撐全公司數(shù)據(jù)資產(chǎn)的核心樞紐時(shí)“讓它跑起來(lái)”只是起點(diǎn)“讓它持續(xù)穩(wěn)定、可追溯、可優(yōu)化”才是真正的挑戰(zhàn)。我主導(dǎo)設(shè)計(jì)的某集團(tuán)級(jí)數(shù)據(jù)平臺(tái)調(diào)度治理體系核心圍繞三個(gè)維度展開可觀測(cè)性O(shè)bservability、可治理性Governance、可自動(dòng)化Automation。這套體系不是堆砌監(jiān)控大屏而是把運(yùn)維動(dòng)作沉淀為可執(zhí)行的規(guī)則。5.1 可觀測(cè)性用“三色儀表盤”替代“告警轟炸”傳統(tǒng)做法是給每個(gè)Workflow配置Email Task一失敗就發(fā)郵件。結(jié)果是運(yùn)維群每天被上百封告警刷屏真正緊急的問(wèn)題反而被淹沒(méi)。我們重構(gòu)為“三色儀表盤”紅色CriticalWorkflow整體失敗、連續(xù)3次失敗、關(guān)鍵報(bào)表如財(cái)務(wù)日?qǐng)?bào)超時(shí)30分鐘。觸發(fā)企業(yè)微信機(jī)器人值班負(fù)責(zé)人并電話告警。黃色Warning單個(gè)Session失敗但Workflow整體成功如某個(gè)省份數(shù)據(jù)異常跳過(guò)、Duration同比上漲50%、Rejected Rows 1000。僅推送企業(yè)微信消息不打擾。綠色I(xiàn)nfo正常完成、Duration波動(dòng)在±10%內(nèi)、無(wú)Rejected Rows。僅記錄日志不通知。實(shí)現(xiàn)方式在Workflow末尾添加一個(gè)“Post-session Success Command”執(zhí)行Python腳本。該腳本從Workflow Log APIPowerCenter提供REST API拉取本次執(zhí)行的Status、Duration、Rejected Rows等指標(biāo)根據(jù)預(yù)設(shè)閾值判斷顏色調(diào)用企業(yè)微信Webhook發(fā)送結(jié)構(gòu)化消息。消息模板包含Workflow名稱、執(zhí)行時(shí)間、耗時(shí)、失敗Task如有、直達(dá)Log Viewer的鏈接。這樣值班人員打開企業(yè)微信一眼就能區(qū)分輕重緩急無(wú)需登錄PowerCenter界面。5.2 可治理性用“元數(shù)據(jù)血緣圖譜”回答“這張表的數(shù)據(jù)從哪來(lái)影響誰(shuí)”業(yè)務(wù)方常問(wèn)“銷售匯總表今天少了一天數(shù)據(jù)是哪個(gè)環(huán)節(jié)斷了” 或 “我要下線一個(gè)老系統(tǒng)哪些報(bào)表會(huì)受影響” 這需要超越PowerCenter自身的血緣能力。我們利用PowerCenter的Repository REST API/repository/services/objects/v2/objects定時(shí)每小時(shí)抓取所有Workflow、Worklet、Session、Mapping的元數(shù)據(jù)包括Workflow中Task的輸入輸出參數(shù)名Session中Source和Target的表名、字段名Mapping中Expression的計(jì)算邏輯如UPPER(CUSTOMER_NAME)Worklet的嵌套調(diào)用關(guān)系將這些數(shù)據(jù)導(dǎo)入Neo4j圖數(shù)據(jù)庫(kù)構(gòu)建節(jié)點(diǎn)表、字段、Workflow和關(guān)系LOADS_TO、DEPENDS_ON、CALCULATES。當(dāng)業(yè)務(wù)方在前端輸入“sales_summary_dwd”圖譜自動(dòng)展開上游是3個(gè)Session分別來(lái)自ERP、CRM、POS系統(tǒng)每個(gè)Session上游是對(duì)應(yīng)的MappingMapping中涉及12個(gè)字段的轉(zhuǎn)換邏輯下游是5個(gè)報(bào)表Workflow。點(diǎn)擊任一Workflow可直接跳轉(zhuǎn)到PowerCenter中的Designer界面。這套系統(tǒng)上線后數(shù)據(jù)問(wèn)題平均定位時(shí)間從4.2小時(shí)縮短至18分鐘。5.3 可自動(dòng)化用“智能重試引擎”替代“人工點(diǎn)重跑”每天凌晨總有幾個(gè)Workflow因臨時(shí)性故障如網(wǎng)絡(luò)抖動(dòng)、源庫(kù)瞬時(shí)不可用失敗。運(yùn)維人員第一反應(yīng)是登錄PowerCenter找到失敗Workflow右鍵“Resume from Failure”。但人工操作有兩大缺陷一是響應(yīng)延遲人不可能24小時(shí)在線二是缺乏策略不該重試的也點(diǎn)了。我們開發(fā)了“智能重試引擎”引擎監(jiān)聽(tīng)Workflow Monitor的實(shí)時(shí)事件流通過(guò)PowerCenter提供的Monitor REST API輪詢當(dāng)捕獲到Failed事件先解析Error Code若為101連接超時(shí)、102數(shù)據(jù)庫(kù)不可達(dá)、103資源不足則判定為臨時(shí)故障自動(dòng)觸發(fā)重試重試策略可配置最多重試3次間隔2分鐘第3次失敗后才發(fā)紅色告警對(duì)于Error Code104數(shù)據(jù)質(zhì)量失敗、105主鍵沖突等業(yè)務(wù)邏輯錯(cuò)誤則跳過(guò)重試直接歸檔到“待人工分析隊(duì)列”。該引擎用Python編寫部署在獨(dú)立服務(wù)器與PowerCenter解耦。上線半年因臨時(shí)故障導(dǎo)致的數(shù)據(jù)延遲率下降92%運(yùn)維人員從“救火隊(duì)員”轉(zhuǎn)變?yōu)椤耙?guī)則制定者”。我的體會(huì)是Informatica調(diào)度的終極形態(tài)不是讓工程師更熟練地點(diǎn)擊鼠標(biāo)而是讓系統(tǒng)自己理解業(yè)務(wù)SLA、識(shí)別故障模式、執(zhí)行恢復(fù)策略。當(dāng)你的調(diào)度體系能自動(dòng)回答“為什么失敗”“影響范圍多大”“下一步該做什么”它才真正從工具升維為數(shù)據(jù)基礎(chǔ)設(shè)施。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月六月丁香| 日韩六六久久电影| 色五月婷婷久久大| 欧美日韩AAA| 五月婷婷中文| 能看的av网站| 91碰碰视频在线观看| 夜夜躁爽日日| 色偷偷五月天| 日韩黄色影院| 九九热re99re6在线精品| 在线色色| 洗浴中心操B视频| 伊人在线视频| jiZZdr| 色欲一区二区三区精品A片| 九九九激情网| 9久久精品| www.人人操人人看人人想人人摸 人人人人操,COM| 色丁香在线视频| 丰满熟女人妻一区二区三| 丁香五月天堂| 开心五月色婷婷综合开心网| 九九亚洲无码| 深爱五月天天| 丁香啪啪| 91操女| 国产av基地| 99色最新在线视频| 青青草成人网| 成人做爰黄A片免费看直播室男男| 九九99视频精品| 在线成人网站| 99思思| 99久久久久| 丁香六月色婷婷| 久久视频婷婷| 美女被操一区二区| 五月色亭丁香| 97色色色| 666555。COm毛片| 成人网在线视频| 思思热思在线精品视频| 五月丁香琪琪| 欧美A级成人婬片免费看理论| 一区二区三区XXXXXX| 五月激情视频| 久草狼人| 色吧99| 色五月激情网| 五月丁花六月丁香综合| 亚洲视频在线观看| AV中文在线| 五月天六月婷婷电影| 成人av中文字幕| 丁香五月影| 丁香婷婷五月天激情四射| 夜夜撸天天日| 成人国产欧美大片一区| 永久思思热在线| 久久五月综合| 密着浓厚中出乚交尾GvG935| 五月丁香久久综合| 色综合中文| 婷婷爱五月天| 色啦啦视频| 激情综合在线观看| 亚洲热综合| 国产又爽又猛又粗的视频A片| 婷婷精品综合| 国产va视频| 久久精品A片777777| 九九激情综合| 久久停停超碰| 婷婷操超碰| 天天综合永久| 国产AV一区二区三区最新精品| 91人人澡人人爽人人看| 色色色热| 丁香五月婷婷少妇| 天天舔天天摸天天透| www.激情五月| 色播五月婷婷| AV操逼网| 中文精品在| AAAA网站| 开心久久网婷婷| 在线色五月婷婷| 超碰久热| 91人妻色色网| 日本狠狠色| 综合伊人久久| 偷偷操99| 一区二区三区XXXXXX| 欧美激情五月天在线观看| 久99视频| 国产精品成人在线| 色婷婷视频| 9有码中文| 久久曰9| 亚洲欧洲自拍图片专区五月天| 91欧美| 色婷婷69| 操久久网| 玖玖综合网| 婷婷内射视频在线| 色色婷婷丁香| 丁香五月婷婷五月| 天天日夜夜B久久| 激情丁香五月天| 狠狠色噜噜狠狠狠狠综合| 干一干xxxx| 欧美婷婷综合网| 美女妹子后射视频网站在线观看| 亚州激情九月| 午夜成人网站在线观看| 天天操天天爱天天日| 大香蕉五月丁香| 婷婷综合视频| 天天做天天爱| 激情综合激情五月| aaa久久久| 先锋av性爱成人电影| 天天综合色| 亚洲色婷婷婷婷人人爽| 天堂在线伊久| 成年人最刺激的综合网| 99精品在线观看| 五月综合亚洲色| 色婷婷激情| 夜夜操夜夜爽| 91夫妻网站九色| 五月婷婷婷婷婷| 久99久视频精品| 99色色色色| 一起操 91N.com| 99九九视频| 成人资源在线| 五月丁香天堂网| 99热国产这里只有| 黄色av高清| 99成人免费热视频| 国产婷婷五月天| 五月婷婷无码| 亚洲人人操BD| 99资源在线视频| 婷婷久久五月| 能看的AV网站| 五月婷婷草| 色婷婷色99国产综合精品| 九九色中文| 99热官网| 久久久久久人妻| 国产激情在线| 亚洲欧洲中文日韩久久AV乱码| 狠狠操天天日| 丁香玖玖| 亚洲蜜桃精久久久久久久久久久久| 中文字幕在线人妻| 亚韩在线视频| 五月天婷婷色小说| 色天堂在线| 婷婷六月色| 五月色网| 色99最新网址| 久久色天堂| 99精品热视频只有精品10| 国产JK精品白丝AV在线观看| 五月天婷婷丁香| 亚洲超碰在线| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 大香蕉精品视频| 色综合久久888| 六月婷婷国产| 九九色色| 五月婷婷综合色啪首页 | 国自产拍偷拍精品啪啪一区二区| 激情五月天影院| 99热伊人| 婷婷五月激情综合啪啪| www.久久久久| 另类激情中文| 六月婷婷狠狠| 婷婷的久久网站| 国产精品日本一区二区在线播放| 狠狠五月激情丁香六月| 五月天色婷婷图片| 9久久婷婷国产综合精品性色| 国外亚洲成AV人片在线观看| 婷婷五月天成人五月天| 波多野结衣成人作品在线| www99精品| 五月天激情网址| 九九十99视频| 综合网精品99| 天天操夜夜操| 99热在线观看精品| 婷婷五月情天| 色五月婷婷在线视频| 大香久久伊人网| 激情久久久久| 在线只有精品| 思思热久久久久思思热| 久久久人妻人伦| 久久婷婷艹| 99九九精品视频| www国产亚洲色婷婷com| 婷婷五月天激情四射五月天激情| 91在线操| 亚洲啪| 色五月播五月| 五月婷婷五月天| 五月丁香婷庭在线| 天天色爽| 婷婷丁香五月天综合AV| 视频一二区| 欧美A级成人婬片免费看理论| 99精品久久久久久久婷婷| www.lingjunshare.com| 色综合播放| 噜噜色五月| 成人婷婷色综合| 精品人妻一区二区三区四区不卡在| 美女五月天| 色综合久久88色综合天天人守婷| 色五月激情五月| 久婷五月| 五月在线| 综合五月丁香六月婷婷| 丁香五月色情| 九九免费在线视频| 99爱免费在线观看| 激情99热| 五月婷婷丁香深深爱| 色私五月婷婷| 超碰93在线观看| 九九色黄色| 99热在线观看| 色一情一乱一乱一区91Av| 激情综合网激情五月天| 狠狠操狠狠插| 色五月婷婷基地| 深爱激情五月天色婷婷| 婷色成人| 欧美日韓成人亚洲精品另类| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 日本综合久久| 伊人五月婷婷| 丁香色成人| 激情五月综合| 婷婷亚洲五月| www色五月| 婷婷五月天六月| 天天操天天操综合| 大香蕉院线| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 亚洲成人在线播放| 91蜜桃婷婷狠狠久久综合9色| 五月香婷婷| 综合啪啪| 九九精品视频在线观看| 久久久久久人妻久久久久久久久久人妻久久久 | 激情综合五月激情XXXX| 千人斩操逼| 五月花综合网| site:picc-up.com| 久久草婷婷丁香网站| 色婷婷中文字母五月丁香| 中文字幕综合| www.99视频| 亚洲色碰| 99re思思| 天天综合干| 亚洲色爽| 日日激情网| 99热99热| 婷婷久久色| 第五色色色婷婷| 日日夜夜狠狠操| 国语精品探花| 色丁香五月| 久久精品五月天| 中文字幕成人影视| 久久五月丁香| 五月丁香久久综合精品| 久久性爱视频这里只有精品| 色综合另类| www.五月天婷婷| 丁香五月婷婷五月天| 桃色五月天| 色婷另类| 狼人久草| 欧美久久九九| 9婷婷内射| 久久婷婷东京热| 91色操| 久9热视频在线观看| 丁香六月色婷婷| 五月婷婷激情网| 婷婷九月色| 久久久婷| 99九九视屏| 天天狠狠色噜噜| 天天激情站| 五月天开心网| 涩涩五月天| 香蕉久久国产AV一区二区| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 操人久久| 这里只有视频精品| 老司机伊人| 丁香久久五月婷综合| 九九热免费| 亚洲乱码精品久久久久.. | 国产成人AV在线| 精品色色| 六月丁香婷婷爱| 亚洲精品成人片在线播| 97亚洲色 torrent magnet| 狠狠色丁香婷婷综合久久97AV| 激情婷婷五月基地| 综合网色| 丁香五月亚洲综合| 色婷婷久久综合| 啪啪一区| 99re思思久久| 丁香五月婷婷影院| 六月婷综合| 久久人五月| 成人视频一区| 日韩十国产极品久久| 9热视频在线观看| 99热精品在线| 香蕉大综综综合久久| 99久久丝| 无人精品在线视频| 天天操婷婷| www.丁香黄色五月天人与| 久久精品系列| 九九热思思热| 亚洲视频五区| 97碰碰草| 久久精品性爱视频,| 婷婷五月天资源| 九九99精品视频| 亚洲中文字幕在线观看| 中文字幕综合| 丁香婷在线| 欧美日韩91| 激情都市另类| 任你草| 开心五月婷婷99| 午夜成人天堂久久无码日韩久久| 这里只有精品96| 色青五月天| 高清无码 一区 二区 三区| 五月丁香六月婷婷国产视频| 97色色婷婷| 欧美啪啪网| 六月丁香基地| 五月婷婷中文字幕| 色约约视频一区二区三区四区五区 | 51XX午夜影福利| 婷婷基地五月色| 久久久久久久97| 亚洲狠狠爱婷婷| 色欲九区| 中文字幕 中文字幕明步| 九九亚洲视频| 国产免费AV网站| 激情色视频| 五月天综合视频| 中文字幕在线不卡视频| 女人天堂av| 久久狠狠干| 亚洲一二三网| 丁香五月综合在线| 婷婷激情图片| 婷婷伊人综合中文字幕| 97色婷婷五月天| 国产精品大香蕉| 欧美久人人| 国产精品噜噜在线视频| 99这里只有精品|v| 亚洲成人在线综合| 五月激情综| 伊人丁香五月天丁香在线婷| 深爱激情小说五月婷婷| 这里只有精品视频在线| 久久色婷婷| 五月激情小说网| 国产肥白大熟妇BBBB视频| www.五月婷婷.com| 婷婷六月综合基地| 成人在线观看一区| 婷婷五月丁香综合激情| 色综合女人99| 五月天激情婷婷丁香| 亚洲激情五月天| 激情爱爱网站| 五月婷婷狠狠干| 日本人妻操| 丁香五月冃欧美| 成人精品一区日本无码网| 六月丁香婷| 991国产精选视频在线播放下载| 日本97人人| 九九热视频免费| 538在线精品| 欧美天天爽| 超碰av在线| 日韩精品成人在线| 一级二级色大片| 五月做爱| 色五月影视| 国产精女同一区二区三区久| 激情性五月天免费小说视频| 五月婷婷性爱网| 五月天色在线| 成人五月丁香花| 人人看人人要| 亚洲精品第一国产综合亚AV | 婷婷久久五月天亚洲欧美国产日韩在线观看 | 欧美性生交xXxX久久久| 全国最新疫情| 青青草青青草五月天| 日本熟妇人妻在线| 国产精品日本一区二区在线播放| 婷婷美女精品视频| 日韩成人不卡| 五月丁香六月婷婷综合网缴情| 五月丁香亭亭激情操逼网| 毛片新网地| 岛国在线观看91| 婷婷丁香成人网址| 69超碰在线| 天天爽天天透天天爱| 玩熟女五十AV一二三区| 79色色色色| 亚洲欧美日韩另类| 97五月久久丁香婷婷| 97碰碰视频| 国产免费一区二区三区三州老师F1F1.CC | 99久久九九| 婷婷香蕉| 综合狠狠干| 影音先锋日本三级资源| 婷婷五月天黄色小说| 色婷婷四色| 人妻视频在线| 九九这里只有精品在线视频| 99ER热精品视频| 操逼123网| 在线视频九色97| se影音资源在线观看| 综合久久久婷| 九九热这里| 丁香五月六月久久综合| 精品二区| 婷婷激情图片| 开心五月婷婷激情| 丁香五月五月婷婷欧美大香蕉| 99这里只有精品在线观看| 久久38视频| 99人妻碰碰碰久久久久视| 97干视频| 欧美成人AAA片一区国产精品| 婷婷丁香人妻久久在线观看| 97久久久免费福利网址| 人妻熟妇国产精品| 婷婷丁香高潮了| 五月婷婷伊| 天天在线XXX| 任你爽视频| 欧美成人AAA片一区国产精品| 五月激情综合深爱| 9999三级片| 五月婷婷综合网| 五月天激情国产综合AV| 久久婷婷激情四射五月天| 五月丁香啪啪网| 好吊丝aV| 日本丁香久在线| 99在线免费视频| 五月天激情婷婷丁香| 婷婷激情五月视频| 中文字幕成人| 情趣视频66| 丁香婷婷色九月| 国产精品涩涩涩视频网站| 日日夜夜爽| 亚洲啪啪啪啪| 伊人喵咪a V| 五月婷婷偷拍| 婷婷射婷婷舔| 91色久| 丁香婷婷天堂| 亚洲啪啪视频| 青草激情在线| 九九激情网| 最新日韩AV中文字幕| 丁香六月婷婷综合| 久久成人人妻| 日本a片网址| 欧美日本99| 日本色婷婷| 五月婷婷影| 婷婷五月天堂| 日本熟女啪啪| 婷婷五月av| 天天做夜夜爽| 激情丁香五月激情婷婷| 92久久| 999热视频精品99免费在线| 26uuu欧美日本| 欧美五月丁香在线| 激情五月婷婷视频一区二区三区| 国产欧美精品AAAAAA片| 91婷婷在线| 夜夜撸天天日| 91无码视频| 国模九区| 人人爱人人草| 天天干天天拍| 亚洲丁香五月在线观看| 色综久久AV| 婷婷大乡焦噜噜| 丁香五月天成人| 91九九| 婷婷 色 丁香 夜| 五月丁香六月婷婷综合免| 婷婷丁香五月天影院 | 六月婷伊人| 日本婷久久| 啪啪视频99| www.久久| 亚洲AV免费在线| 久久婷婷五月免费视频| 久久五月激情网| 99re在线观看| 91互操| 精品国婬伦V无码久久久| 久久天天| 激情综合网五月婷婷| 五月天综合婷婷| 深爱五月天 开心网| 婷婷色在线| 97五月综合网| av超碰在线| 人人人操 超碰| 亚洲丁香花色| 超碰人人超碰| 五月婷婷综合网| 五月婷婷网五月在线| 六月婷五月丁香| 99这里有精品久久97| 国产老熟妇亲子乱对白| 2013AV天堂| 婷婷五月丁香99| A片女女女女女女BBBB| 99热国产精品| 亚洲精品视频在线| 大香蕉天堂| 五月天亚洲综合网| 午夜丁香婷婷| 亚洲操b| 伊人深爱综合| 色婷婷狠狠色| 久久久99精品| 五月综合777| 天天日日人| 久久综合99| 色久女| 色哟哟www| 99热线观看9| 97伊人综合婷婷| 97人人操人人拍| 99九九精品视频推荐| 日本一级黄色片。| 狠狠爱青青草| www.色色色com| 精品久久久久成人码免费动漫| 婷婷五月色| 亚洲精品无码一区二区| 亚洲精品白浆高清久久久久久| 亚洲亚洲人成综合网络| 成人精品一区日本无码网| 97干在线| 天天射影院| 玩熟女五十AV一二三区| 九久九精品| 日本在线观看99| 1024欧美看片| 五月婷婷丁香大香蕉| 96色婷婷| 婷婷五月丁香花综合| 天天肏天天肏天天肏| 日韩有码一区| 婷婷大乡焦噜噜| 丁香九月综合| 俺来也综合网精品一区| 妻久久久久| 激情网第四色| 天天干com| 国产精品香蕉| 色色综合激情| 婷婷激情综合| 99燥99日| 亚洲第二AV| 日本久久精品18| 激情久久久久| 色色色色色色色综合| 五月亭亭六月激情| 97韩国久久电影院| 26uuu精品一区二区| 五月天久久网站| 激情五月天色色网| 精品一区二区三区免费毛片爱| 666555。COm毛片| 久久综合婷婷激情| 丁香五月性爱爱五月| 色天使色婷婷| 五月天激情综合首页| 艹B高清无码| 丁香色色五月| 国産精品| 天天色伊人| 99久久九九| 丁香 久久| 五月天色五月| 99@久久@99精品视频| sewuyuetingtingiii| 婷婷五月丁香综合| a色色片| 99热成人精品| 五月天另类小说| 久久久久久激情| 99精品在线| 色婷婷小视频| 超碰成人电影| 日本在线噜噜| 激情四射婷婷| 丁香五月综合| 一级黄色片看看| 亚欧州精品视频| 色婷婷五月基地在线| 婷婷色五月色| 丁香五月激情综合| 亚洲中文字幕翔田千里| 久久久99久久| av在线色五月丁香婷区久| 五月天成人在线视频网站| 婷婷色五月丁香六月欧美啪| 97色精品视频 | 天天久久狠狠色综合| 免费看欧美成人A片无码| 国产人人操| 亚洲黄色影视| 亚洲人成人五月天| 六月婷婷五月天| 大香蕉丁香五月| 大香蕉五月丁香| 色噜综| 99热都是精品| 97超级碰人人| 久久精彩综合视频| 狠狠插日日干撸| 99国产在线| 99久久婷婷国产综合亚洲| 99久视频| 五月婷婷真爱激情网| 日日夜夜干| 色一情一乱一乱一区9| 色欲婷婷夜夜| 婷婷综合五月| 日韩无码AV电影网站| 婷婷涩五月| 五月天成人在线播放丁香| 99精品热| 久久亭亭电影| 久久老码第一| 热99在线精品| 精品99*| 久久视这里只有精品| 99久在线精品99re8| 极品人妻VIDEOSSS人妻| 超碰免费人妻| 丁香桃色网| 欧美日韩精品人妻狠狠躁免费视频 | 大香蕉九九操| 97韩国久久电影院| 99热99在线| www一起操| 六月丁香婷婷六月激情综合| 五月天婷婷影院| 9热视频在线观看| 天天干天天爽天天操| 五月天婷婷丁香| 国产精品人人做人人爽人人添| 九九超日本| 狠狠色五月| 亚洲精品成人| 黄色激情久久| 婷婷开心激情| 婷婷丁香五月社区亚洲| WWW五月天| 五月激情婷婷丁香| xx久久| 色亚洲激情| 狠狠爱成人综合网| 色五月天综合| 久久性爱视频久久性爱视频| 最近中文字幕大全免费版在线| 天天操B| 色综合另类| 丁香五月激情啪啪综合| 五月丁香综合网色欲| 色丁香五月| 亚洲最大视频网站| 深爱激情五月天婷婷网| 成人精品一区日本无码网 | 久久色大香蕉| 黄色99网| 最近中文字幕2019视频1| 色婷婷六月性| 婷婷五月六月丁香| 九色PORNY9l原创自拍| 婷婷六月色开 | 天天天天天天操| 超碰色色综合| 99激情网| 色婷婷五月在线| 日韩在线一级| 亚州精品成人片| 婷婷综合色五月天| 91色综合久久| 五月婷婷婷婷婷| www五月婷婷88导航| 婷婷丁香五月天小说| 无码人妻AV久久久一区二区三区| 再綫Av免费視品| 俺去也综合| 亚洲激情亚洲激情 | 激情综合色五月丁香| 99热在线里有精品| 亚洲经典三级| 夜夜操狠狠操天天操| 六月婷婷毛片| 婷婷色网站| 色婷婷久久9.com| 操日挥操日日| 婷婷五月无码| 婷婷月综合| 男女免费视频999| 久青操| 91seav| 亚洲热视频| 丁香六月婷婷综合激情欧美| 1024日韩| 国产一级婬片毛片| 操老逼综合网| 五月天六月婷| 久久思思99| 婷婷久久99| 91蜜桃婷婷狠狠久久综合9色| 天天操人人干| 五月亚洲激情| 丁香婷婷天堂| 九九热视| 超碰97干| 99色| 热99re| www.玖玖婷婷在线| aaa久久| 操逼毛片国语对白| 99热精品在线观看| 婷婷丁香亚洲五月天| 色爱爱综合网| 91九色精品| 丁香五月婷婷狠狠色| 五月天激情婷婷| 99只有这里是精品| 激情五月婷婷啪啪| 婷婷五月天堂| 日本婷婷综合精品| 丁香六月亚洲| 综合色99| 精品九九视频| 偷偷操99| 激情深爱五月天| 开心婷婷五月中文字幕组| 久久在线92| www.色五月| 99av视频| 激情五月天色色| 精品香蕉99久久久久网站| 丁香五月天在线| 伊人久久大香线蕉av最新| 国产免费一区二区在线A片视频| 五月丁香亭亭天天舔| 久久激情网| 亚洲春色奇米影视| 色婷婷丁香五月丁香| 在线免费观看激情视频| 欧洲毛片基地c区| 激情五月婷婷欧美极品 | 国产肥白大熟妇BBBB视频| 精品无吗va视频免费观看| 婷婷操逼| 国产精品视频| 综合五月草| 久久久婷婷五月天| 五月 成人 婷婷| 99极品视频| 91综合在线观看| 99色视频在线| 色狠狠色噜噜噜a天堂一区| 日本99在线| 99精品偷自拍| 婷婷色啪| 99这里只有精品在线观看| 91丨九色丨熟女| 色九九综合| 2025天天操| 五月丁香琪琪| 色综合综合综合| 91人操| 天天日,夜夜爽| 婷婷狠狠97| 影音先锋女人AA鲁色资源| 国产激情综合五月久久| 五月婷婷色播网| 国产精品人妻在线网址| 国产露脸150部国语对白| 五月丁香婷婷婷激情爱爱| 天天综合天天做天天综合| 欧美色色色色色色| 久久AV无码精品人妻系列试探| 色婷婷天堂| 天堂婷婷丁香六月网| 狠狠色大香蕉| 韩国中文字幕91| 婷婷丁香激情综合色情| 五月婷婷啪啪网| 天天插天天插天天操| 天花AV无码| 精品夜夜澡人妻无码AV| 五月婷六月| 亭亭五月激情亚洲在线| 久久女婷| 禁片二区| 日日影院 | 九九aV| 99久久6| 亚洲久久婷婷丁香五月天| 91人人操人人| 亚洲五月天色色| 亚洲亚洲人成综合网络| 小视频久久久aaa| 久久五月天综合| 翔田千里无码| 亚洲精品色色| 亚洲综合视频网| 丁香婷婷老司机久操| 偷偷与邻居做爰完整视频| 97碰超级人人看| 九九视频这里只有精品| 婷婷五月天影视网址| 婷婷国产欧美97| 岛囯综合激情网| 国产精品人人做人人爽人人添| 色欲天天综合网| 十一月婷婷激情四射| 婷婷五月天六月| AV美美午夜| 色婷婷操逼| 激情久久丁香| 日韩有码一区| 激情图片亚洲| 第四色在线观看| 日韩啊啊啊| 另类激情综合| 亚洲婷婷欧美婷婷| 丁香六月无码播放| 五月婷丁香亚洲| 五月婷婷香蕉| 婷婷五月成人有| 天搞天天天天天| 久久与婷婷| 五月天伊人久久久久| 99色在线视频观看| 丁香五月色激情| 色网五月婷婷| 国产精品第一国产精品| 婷婷久久久| 99热这里是精品| 欧美日韩成人| 日韩成人网址| 日韩啪啪视频| 色婷婷丁香| www.9797国产| 五月婷在线| 婷婷婷婷婷婷婷婷| 99热这里只有精品4| 99精吕视频在线观看了| 狠狠人人| 丁香开心深爱| 久久伊人日日夜夜| 婷婷六月开心网| 欧美久久五月婷婷| 亚洲熟妇AV综合网五月丁香伊人 | 51精品国自产在线| 丁香五月人妻| 欧美综合123区| 99视频网址| 99精品久久久久久久婷婷| 五月丁香婷婷综合久久| 97人人草| 激情丁香五月| 少妇人妻丰满做爰XXX| 五月开心播播网| 久久婷婷六月综合国际| 久久加勤综合| 一起操 91N.com| www.精品久9| 99爽视频| 色婷婷视频| 久久99热这里只有精品23| 五月婷婷狠天天色综合| 精品成人无码A片观看香草视频| 开心综合激情综合| 少妇达人正片在线播放_ikun_福利吧| 99热这里只有精品18| 成人免费va| 99热综合在线| 色婷婷影视| 年轻的妺妺伦理HD中文 | 丁香五月婷婷大香蕉| 九九久久五月天| 五月丁香影院| 久久97久久99久久综合欧美| 丁香婷婷综合喷| enecarbon-materials.com污K127封锁请涟系@wip1688 | 操逼视频一区| 99在线精品视频观看免费下载| 婷婷在线五月天观看| 夜夜爽天天日| 夜夜谢天天干| 日韩九九| 97在线观视频免费观看| 亚洲影院婷婷色| 琪琪色热色色| 亚洲中文无码成人| 色狠狠色狠狠| 五月丁香激| 99精品视频在线观看| 婷婷五月天综合亚洲| 国产免费av在线| 五月丁香六月激情综合网 | 久热99热| 五月婷婷激情网| 国内自拍1区| 色婷天天| 九月婷婷综合八月丁香在线观看| 另类激情网| 中文字幕,综合,91| 丁香激情五月| 亚洲激情| 五月丁欧美| 五月深爱网| 另类A片| 久久久亚洲精品一区二区三区浴池| 蜜乳AV成人| 国产亚洲99久久精品| 婷婷四色五月| 99干视频| 婷婷色婷婷| 日韩精品无码AV| 色婷婷丁香网| 久播影院免费观看电视剧大全最新网| 成人 在线 日韩| 成人无码精品1区2区3区免费看| 成人短视频在线免费观看| 99热国品免费| 99热九九热| 天天天干夜夜夜操| 日比视频91| www.99视频| 婷婷视频在线| 中文av网| 另类图片五月天激情| 亚洲va日| 亚洲第一第二网站| 五月色丁香| 特级操b片| 伊人六月无码视频| 九色自拍| 激情五月婷婷视频| 91狠狠综合久久| 色色哒五月婷婷六月丁香| 激情五月综合婷婷| 色五月色情| 777久久精品| 九九干视频| 爱超碰性| 久久久五月天| 天天天操天天天日| 五月丁香六月激情综合| 丁香六月成人网| 亚洲第一色色色色| 欧美精品啪啪| 蜜臀综合久草| 五月天激情偷拍| 九九热精品| 中日韩美欧成人一区二区精品在线| 久久久91| 婷婷金品综合视频| 日本不卡一区二区三区| 婷婷伊人综合中文字幕| 久热视频这里只有精品| 久热婷婷| 色色免费网站| 影音先锋一区二区三区| 色婷婷五月天在线| 九九色逼| 激情性爱五月| 五月天激情www| 婷婷五月花| 男女99免费视频| 五月丁香六月玩女人| 色呦精品| 樱花99视频| 色婷婷88| 操日本色| Av性爱网| 丁香色色网| 九色 在线| 色爱终和网| 丰满女老板BD高清A片| www.99婷婷| 桃色五月天| 九九激情| 五月婷婷六月激情网| 色婷婷99| 996热| 97热这里精品在线视频| 99色在线观看视频者| 丁香五月婷婷六月婷| 综合五月婷婷| 欧美激情综合色综合啪啪五月| 婷婷六月丁香五月| 黄色网址五月婷婷| 日批在线看| 免费无码毛片一区二区A片| 91九色网| 丁香婷婷大香蕉| 五月天婷婷社区久久综合| 成人丁香婷婷| 婷婷99狠| 色情免费视频播放| 99色爱| 欧美日韩大黄| 亚洲人妻av| 婷婷免费精品视频| 97 A I色色| 91啪啪视频| 亚洲AV人人操| 五月婷在线影院| 色综合天堂| 免费播放片大片| 五月丁香久久| se.久久视频在线观看| 91成人性爱视频| 亚洲av无码影院| 成人视频婷婷| 欧美男女婷婷| 丁香激情婷婷网| 九久九精品| 丁香5月婷婷| 日韩ww| 开心五月色婷婷综合开心网| 99九九这里有免费视频| 五月天电影网| 欧美日韩一区二区三区四区| 激情综合六月| 91操女| 激情综合五月开心狠狠| 久热精品在看| 97五月久久丁香婷婷| 丁香五月最新网址| 久青操| 婷婷五月丁香综合| 婷婷五月天激情网| 激情五月天黄色小说| 日本色色网| 开心五月丁香综合久久| 色噜噜丁香| 五月婷婷色吧!| WWW色色色COM| 99综合| 色婷久九| 五月天天天色| 六月丁香视频网站| 欧美激情性做爰免费视频| 麻豆123区| 91人妻九色大屁股| 色视频五月天| 亚洲色图五月丁香| 99黄色性生活| 伦乱美欧| 五月婷婷香蕉视频| 亚洲视频伍月婷婷| 国产午夜精品一区二区| 色七七九九| 第四色婷婷日本| 内射人妻视频国内| www国产亚洲色婷婷com| 色色草97| 五月天激情久久| 五月色网| 熟女人妻一区二区三区免费看| 婷婷五月免费在线| 伊人高清无码| 激情综合丁香五月| 伊人玖玖精品| 九九精品免费| 婷婷综合成人五月天| 99久热在线精品99re6热| 久婷五月| 91超级碰在线视频| 99热成人| 天天操天天日天天爽| 丁香久久九九99| 五月激情视频| 五月丁香六月婷婷综合免| 丁香av网| 91干在线| 色亚洲中文| 超碰五月婷婷五月天| 任你搞网站| 99热这里有精品6| 性爱激情久久| 99这里都是精品| 99婷婷五月天| 99情色五月天| 日韩综合久久| 五月色婷婷综合丁香精品无遮挡| 9久操| 婷婷色婷婷| 激情婷婷丁香五月| 亚洲av无码精品色午夜| 综合色五月| 停停五月天激情网| 97碰久久| 黄桃AV无码免费一区二区三区| 激情婷婷六月天| 激情五月天婷婷久久久久久久久久久| 六月婷婷综合网2| 色五月激情| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 91精品久久久久久77777| 夜夜夜叫天天天做| 婷婷九月狠狠色| 天天日天天色| 婷婷欧美| 色五月丁香激情视频| 婷婷久久18| 欧美成人精品三区综合A片| 成人va视频| se色99| 操逼巨乳91| 欧美日韩精品人妻狠狠躁免费视频| 婷婷无码五月天| 色色色综合视频| 《久久综合九色综合97婷婷| 久久婷五月| 天天爱天天狠天天透| 丁香五月综合福利视频导航| 99色| WwW色婷婷| 亚洲操操| 色J香五月天| 伊人五月婷婷| 五月丁香六月色| 欧美成人猛片AAAAAAA| 激情久久五月天| 激情五月婷婷色| 婷婷六月丁香在线| www,8050,午夜三级| 国产成人精品亚洲线观看| 亚洲综合五月天| 六月色色综合| 曰曰久久| ww超碰在线| 五月丁香大香蕉| 超碰二区| WWW,婷婷,COM| 丁香五月色色色色| 国产免费一区二区三区三州老师F1F1.CC| 婷婷丁香综合网| 五月婷婷天堂| 久久A V无码视频| 青青操绿aaa一区日v| 91丨九色丨丰满人妖| 九九热这里只有精品9| www.夜夜操| 99综合一区| 五月丁香六月婷婷综合| 六月香五月婷| 久久HD| 日本人妻操| www,99视频| 色色国产| 日本操碰碰| 婷婷俺去也| 亚洲综合狠狠艹| 麻豆科斗777| 五月丁香六月婷| 婷婷伊人75| 久久99免费视频网站| 精品人妻伦九区久久AAA片| 日夜操B| 99无码精品| 天天爽免费视频| 婷婷综合五月色播| 深爱激情四射| 欧美色图45678| 91九色熟女| 99久久精品亚洲综合| 性色九九| 超级碰碰97在线| 激情五月婷婷综合| 五月天综合激情网| 色狠久| 美女激情婷婷| 五月丁香激情综合啪| 五月丁香综合啪啪| 久久伦乱| 91精品视频男人的天堂| 操B视频在线播放| 久久在线视频免费观看| 99自拍视频在线观看| 五月婷婷AV| www.henhenl| 欧美99视频| 激情五月天激情综合网| 热久久国产视频| 色丁香婷婷美女视频网站| 逼逼AV| tingting五月天亚洲| 99这里有精品视频| 狠狠干夜夜干| 九九99精品视频| 极品另类| 色五月大| 精品人妻在线| 丁香五月天狠狠| 综合婷婷五月天| 综合色播| 噜噜久| 色婷婷基地| 五月婷婷丁香社区| 五月天婷婷色综合| 五月婷婷片| 五月婷婷五月天在线| 久久婷婷亚洲|