欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

金融數(shù)據(jù)服務(wù)從零搭建:四層架構(gòu)、冪等處理與存儲(chǔ)選型實(shí)戰(zhàn)

金融數(shù)據(jù)服務(wù)從零搭建:四層架構(gòu)、冪等處理與存儲(chǔ)選型實(shí)戰(zhàn) 1. 金融數(shù)據(jù)服務(wù)從零搭建的完整思路1.1 這個(gè)項(xiàng)目到底在做什么第一次看到financial-services這個(gè)命名的時(shí)候我腦子里冒出來(lái)的第一個(gè)念頭是這又是一個(gè)什么都想裝進(jìn)去的大雜燴倉(cāng)庫(kù)。但真正把這類(lèi)項(xiàng)目拆開(kāi)來(lái)看你會(huì)發(fā)現(xiàn)它其實(shí)解決的是一個(gè)非常具體、非常痛的問(wèn)題——金融數(shù)據(jù)的獲取、清洗、存儲(chǔ)和對(duì)外服務(wù)這條鏈路在大多數(shù)團(tuán)隊(duì)里都是重復(fù)造輪子。我做過(guò)好幾個(gè)跟行情、賬戶(hù)、交易流水相關(guān)的系統(tǒng)每次最耗時(shí)的從來(lái)不是業(yè)務(wù)邏輯本身而是數(shù)據(jù)從哪來(lái)、格式怎么統(tǒng)一、接口怎么穩(wěn)定輸出這三件事。financial-services這類(lèi)項(xiàng)目的核心價(jià)值就是把這套東西沉淀成一個(gè)可復(fù)用的服務(wù)層上游對(duì)接不同的數(shù)據(jù)源行情接口、數(shù)據(jù)庫(kù)、第三方文件中間做標(biāo)準(zhǔn)化處理下游以統(tǒng)一的 API 或 SDK 形式提供給業(yè)務(wù)方調(diào)用。它適合誰(shuí)我的判斷是三類(lèi)人一是中小團(tuán)隊(duì)里負(fù)責(zé)搭數(shù)據(jù)中臺(tái)的后端工程師二是做量化研究、需要穩(wěn)定數(shù)據(jù)管道的數(shù)據(jù)分析師三是想學(xué)習(xí)生產(chǎn)級(jí)金融系統(tǒng)怎么分層的進(jìn)階開(kāi)發(fā)者。如果你只是寫(xiě)個(gè)腳本拉兩天行情跑個(gè)回測(cè)那沒(méi)必要上這套但只要你開(kāi)始面對(duì)多個(gè)策略共用同一份數(shù)據(jù)數(shù)據(jù)要保證一致性接口要被好幾個(gè)服務(wù)調(diào)用這些場(chǎng)景這套架構(gòu)的價(jià)值就出來(lái)了。1.2 為什么金融場(chǎng)景對(duì)架構(gòu)格外挑剔普通業(yè)務(wù)系統(tǒng)掛了用戶(hù)刷新一下頁(yè)面就過(guò)去了。金融系統(tǒng)掛了可能是真金白銀的損失或者更糟——數(shù)據(jù)錯(cuò)亂導(dǎo)致決策失誤。這就決定了financial-services這類(lèi)項(xiàng)目在設(shè)計(jì)上有幾個(gè)繞不開(kāi)的硬約束。第一是數(shù)據(jù)一致性。行情數(shù)據(jù)、賬戶(hù)余額、成交記錄這些數(shù)據(jù)之間存在強(qiáng)關(guān)聯(lián)。你不能出現(xiàn)成交記錄寫(xiě)進(jìn)去了但賬戶(hù)余額沒(méi)扣這種中間狀態(tài)。所以這類(lèi)項(xiàng)目幾乎必然要引入事務(wù)管理或者最終一致性補(bǔ)償機(jī)制而不是簡(jiǎn)單地寫(xiě)庫(kù)就完事。第二是時(shí)間敏感性。金融數(shù)據(jù)是有時(shí)效的一條延遲 5 秒的行情和一條實(shí)時(shí)的行情價(jià)值天差地別。這就要求整個(gè)鏈路從采集到輸出都要考慮延遲預(yù)算哪些環(huán)節(jié)可以異步、哪些必須同步得算清楚。第三是可追溯性。出了任何問(wèn)題你得能回答這條數(shù)據(jù)是什么時(shí)候、從哪個(gè)源、經(jīng)過(guò)哪些處理變成現(xiàn)在這樣的。所以日志、審計(jì)、數(shù)據(jù)血緣這些東西不是可選項(xiàng)是必需品。我踩過(guò)最深的坑就是早期圖省事把行情采集和業(yè)務(wù)處理塞在同一個(gè)進(jìn)程里結(jié)果行情源一抖動(dòng)整個(gè)業(yè)務(wù)接口全跟著超時(shí)。后來(lái)拆成獨(dú)立服務(wù)、加了緩沖隊(duì)列才穩(wěn)住。這個(gè)教訓(xùn)直接影響了后面我對(duì)financial-services這類(lèi)項(xiàng)目的分層理解。1.3 整體分層設(shè)計(jì)四層結(jié)構(gòu)怎么切基于上面的約束我通常會(huì)把這類(lèi)項(xiàng)目切成四層這也是我看過(guò)的大多數(shù)成熟實(shí)現(xiàn)共有的骨架。層級(jí)職責(zé)典型技術(shù)選型關(guān)鍵考量接入層對(duì)接外部數(shù)據(jù)源HTTP 客戶(hù)端、消息訂閱、文件解析容錯(cuò)、重試、限流處理層清洗、標(biāo)準(zhǔn)化、計(jì)算流處理框架、任務(wù)調(diào)度冪等、可重放存儲(chǔ)層持久化與緩存關(guān)系庫(kù)、時(shí)序庫(kù)、緩存一致性、查詢(xún)性能服務(wù)層對(duì)外提供 API/SDKWeb 框架、RPC穩(wěn)定、可觀測(cè)這四層不是拍腦袋分的每一層的邊界都對(duì)應(yīng)一個(gè)明確的變化原因。數(shù)據(jù)源變了只動(dòng)接入層業(yè)務(wù)規(guī)則變了只動(dòng)處理層查詢(xún)模式變了只動(dòng)存儲(chǔ)層。這種單一變化原因的劃分是讓項(xiàng)目能長(zhǎng)期維護(hù)的關(guān)鍵。提示分層不是越細(xì)越好。我見(jiàn)過(guò)把處理層再拆成五六個(gè)微服務(wù)的項(xiàng)目結(jié)果一個(gè)簡(jiǎn)單的數(shù)據(jù)清洗要跨三個(gè)服務(wù)調(diào)用延遲翻倍、排查困難。分層的第一原則是夠用第二原則才是解耦。2. 核心模塊拆解與實(shí)操要點(diǎn)2.1 數(shù)據(jù)接入層把不穩(wěn)定的外部世界擋在門(mén)外接入層是整個(gè)系統(tǒng)的免疫系統(tǒng)它的核心任務(wù)不是把數(shù)據(jù)拿進(jìn)來(lái)而是在數(shù)據(jù)源各種抽風(fēng)的情況下依然把數(shù)據(jù)穩(wěn)定地拿進(jìn)來(lái)。這兩者的差別就是業(yè)余和專(zhuān)業(yè)的分水嶺。我處理接入層的標(biāo)準(zhǔn)動(dòng)作有這么幾個(gè)。首先是連接池和超時(shí)控制任何外部調(diào)用都必須設(shè)超時(shí)而且超時(shí)時(shí)間要分層設(shè)置——連接超時(shí)短一點(diǎn)比如 2 秒讀取超時(shí)長(zhǎng)一點(diǎn)比如 10 秒因?yàn)檫B接建立失敗通常意味著對(duì)方掛了而讀取慢可能只是數(shù)據(jù)量大。其次是重試策略但不是無(wú)腦重試要區(qū)分錯(cuò)誤類(lèi)型網(wǎng)絡(luò)抖動(dòng)可以重試參數(shù)錯(cuò)誤重試一萬(wàn)次也沒(méi)用。# 接入層重試邏輯的典型寫(xiě)法示意 import time import requests def fetch_with_retry(url, params, max_retries3, backoff_base0.5): last_error None for attempt in range(max_retries): try: resp requests.get(url, paramsparams, timeout(2, 10)) resp.raise_for_status() return resp.json() except requests.exceptions.Timeout as e: last_error e # 超時(shí)屬于可重試錯(cuò)誤指數(shù)退避 time.sleep(backoff_base * (2 ** attempt)) except requests.exceptions.HTTPError as e: # 4xx 是客戶(hù)端錯(cuò)誤重試無(wú)意義直接拋出 if 400 e.response.status_code 500: raise last_error e time.sleep(backoff_base * (2 ** attempt)) raise last_error這段代碼里有個(gè)細(xì)節(jié)值得說(shuō)指數(shù)退避。為什么不用固定間隔重試因?yàn)槿绻麑?duì)方服務(wù)過(guò)載了你固定間隔猛沖只會(huì)雪上加霜指數(shù)退避給了對(duì)方恢復(fù)的時(shí)間窗口。這個(gè)思路在分布式系統(tǒng)里是通用的。還有一個(gè)容易被忽略的點(diǎn)是數(shù)據(jù)源降級(jí)。當(dāng)主數(shù)據(jù)源不可用時(shí)能不能切到備用源備用源的數(shù)據(jù)格式可能不一樣這就需要接入層做一層適配。我一般會(huì)定義一個(gè)統(tǒng)一的內(nèi)部數(shù)據(jù)模型每個(gè)數(shù)據(jù)源寫(xiě)一個(gè) adapter 把原始數(shù)據(jù)轉(zhuǎn)成這個(gè)模型這樣上層完全不用關(guān)心數(shù)據(jù)從哪來(lái)。2.2 數(shù)據(jù)處理層冪等是生命線處理層最容易出問(wèn)題的地方不是邏輯寫(xiě)錯(cuò)而是重復(fù)處理。消息隊(duì)列可能重復(fù)投遞任務(wù)調(diào)度可能重復(fù)觸發(fā)網(wǎng)絡(luò)重試可能導(dǎo)致同一批數(shù)據(jù)被處理兩次。如果處理邏輯不是冪等的結(jié)果就是數(shù)據(jù)翻倍、余額算錯(cuò)。冪等的實(shí)現(xiàn)方式有好幾種我按可靠性從低到高排一下。最簡(jiǎn)單的是唯一鍵去重給每條數(shù)據(jù)算一個(gè)業(yè)務(wù)唯一 ID處理前先查有沒(méi)有處理過(guò)。這種方式實(shí)現(xiàn)簡(jiǎn)單但每次都要查庫(kù)性能一般。進(jìn)階一點(diǎn)的是狀態(tài)機(jī)數(shù)據(jù)有明確的狀態(tài)流轉(zhuǎn)只有特定狀態(tài)才能觸發(fā)處理處理完?duì)顟B(tài)就變了重復(fù)消息自然被忽略。最穩(wěn)的是版本號(hào)或序列號(hào)每條數(shù)據(jù)帶一個(gè)單調(diào)遞增的版本處理時(shí)只接受比當(dāng)前版本大的數(shù)據(jù)。-- 用唯一約束實(shí)現(xiàn)冪等的典型表結(jié)構(gòu) CREATE TABLE processed_records ( record_id VARCHAR(64) PRIMARY KEY, processed_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, payload_hash VARCHAR(64) ); -- 插入時(shí)如果沖突就忽略天然冪等 INSERT INTO processed_records (record_id, payload_hash) VALUES (?, ?) ON CONFLICT (record_id) DO NOTHING;注意冪等鍵的選擇很關(guān)鍵。用自增 ID 做冪等鍵基本沒(méi)用因?yàn)橹貜?fù)投遞的消息 ID 是一樣的但如果你用業(yè)務(wù)字段組合做鍵又可能誤傷合法的重復(fù)數(shù)據(jù)。我的經(jīng)驗(yàn)是優(yōu)先用數(shù)據(jù)源自帶的唯一標(biāo)識(shí)實(shí)在沒(méi)有再用業(yè)務(wù)字段的哈希。處理層還有一個(gè)繞不開(kāi)的話題是批處理還是流處理。這個(gè)選擇取決于你的延遲要求。如果業(yè)務(wù)能接受分鐘級(jí)延遲批處理簡(jiǎn)單可靠如果要秒級(jí)甚至毫秒級(jí)就得上流處理。我個(gè)人的建議是除非有明確的低延遲需求否則優(yōu)先批處理。流處理的復(fù)雜度、運(yùn)維成本、調(diào)試難度都高一個(gè)量級(jí)很多團(tuán)隊(duì)是被實(shí)時(shí)這個(gè)詞忽悠上去的結(jié)果發(fā)現(xiàn)業(yè)務(wù)根本用不到那么快。2.3 存儲(chǔ)層選型決定了一半的成敗存儲(chǔ)選型是financial-services這類(lèi)項(xiàng)目里最需要想清楚的事因?yàn)橐坏┻x錯(cuò)后期遷移成本極高。我把常見(jiàn)的幾類(lèi)數(shù)據(jù)和對(duì)應(yīng)用法整理一下。行情類(lèi)時(shí)序數(shù)據(jù)特點(diǎn)是寫(xiě)入量大、按時(shí)間查詢(xún)、很少更新。這類(lèi)數(shù)據(jù)用專(zhuān)門(mén)的時(shí)序數(shù)據(jù)庫(kù)最合適壓縮率高、時(shí)間范圍查詢(xún)快。如果量不大用普通關(guān)系庫(kù)加時(shí)間索引也能扛。賬戶(hù)和交易類(lèi)數(shù)據(jù)特點(diǎn)是強(qiáng)一致性要求、需要事務(wù)、數(shù)據(jù)量相對(duì)可控。這類(lèi)必須用支持 ACID 的關(guān)系庫(kù)別想著用 NoSQL 圖省事后面一致性出問(wèn)題會(huì)讓你懷疑人生。配置和元數(shù)據(jù)特點(diǎn)是讀多寫(xiě)少、要求低延遲。放緩存里最合適配合持久化存儲(chǔ)做兜底。數(shù)據(jù)類(lèi)型寫(xiě)入特征查詢(xún)特征推薦存儲(chǔ)行情時(shí)序高頻寫(xiě)入時(shí)間范圍查詢(xún)時(shí)序庫(kù)/關(guān)系庫(kù)分區(qū)賬戶(hù)交易中頻、需事務(wù)點(diǎn)查范圍查關(guān)系庫(kù)配置元數(shù)據(jù)低頻寫(xiě)入高頻點(diǎn)查緩存關(guān)系庫(kù)日志審計(jì)高頻追加按條件檢索日志系統(tǒng)/列存這里有個(gè)實(shí)操經(jīng)驗(yàn)不要過(guò)早引入多種存儲(chǔ)。我見(jiàn)過(guò)一個(gè)項(xiàng)目同時(shí)用了關(guān)系庫(kù)、時(shí)序庫(kù)、緩存、搜索引擎四套存儲(chǔ)結(jié)果數(shù)據(jù)同步邏輯寫(xiě)了一堆運(yùn)維復(fù)雜度爆炸。正確的做法是先用一套關(guān)系庫(kù)扛住等真的遇到性能瓶頸了再針對(duì)性地引入專(zhuān)用存儲(chǔ)。過(guò)早優(yōu)化是萬(wàn)惡之源這話在存儲(chǔ)選型上尤其成立。2.4 服務(wù)層接口設(shè)計(jì)要面向被依賴(lài)服務(wù)層是別人直接接觸的部分它的設(shè)計(jì)質(zhì)量直接決定了這個(gè)項(xiàng)目好不好用。我評(píng)判一個(gè)金融數(shù)據(jù)服務(wù)接口好不好就看三點(diǎn)語(yǔ)義清晰、錯(cuò)誤可辨、版本可控。語(yǔ)義清晰指的是接口名和參數(shù)名要能自解釋。getData這種名字就是災(zāi)難getDailyClosingPrice才合格。錯(cuò)誤可辨指的是錯(cuò)誤碼要分類(lèi)客戶(hù)端能根據(jù)錯(cuò)誤碼判斷是該重試、該改參數(shù)、還是該報(bào)警。版本可控指的是接口要有版本機(jī)制不能今天改個(gè)字段明天刪個(gè)參數(shù)把調(diào)用方搞崩潰。// 一個(gè)設(shè)計(jì)得比較規(guī)范的響應(yīng)結(jié)構(gòu) { code: OK, data: { symbol: EXAMPLE, closing_price: 123.45, trade_date: 2024-01-15 }, meta: { source: primary, latency_ms: 12, version: v2 } }注意meta里的source字段它告訴調(diào)用方這條數(shù)據(jù)來(lái)自主源還是降級(jí)源。這個(gè)信息在排查問(wèn)題時(shí)極其有用——當(dāng)用戶(hù)反饋數(shù)據(jù)不對(duì)你第一眼就能看出是不是降級(jí)導(dǎo)致的。3. 完整實(shí)操流程與關(guān)鍵環(huán)節(jié)實(shí)現(xiàn)3.1 環(huán)境準(zhǔn)備與依賴(lài)梳理動(dòng)手之前先把環(huán)境理清楚。我一般會(huì)列一個(gè)清單避免做到一半發(fā)現(xiàn)缺東西?;A(chǔ)環(huán)境方面需要一個(gè)運(yùn)行環(huán)境Python 3.10 或 Node 18 或 JDK 17看你的技術(shù)棧、一個(gè)關(guān)系數(shù)據(jù)庫(kù)PostgreSQL 是我的首選功能全、生態(tài)好、一個(gè)緩存Redis 夠用。如果要做流處理再加一個(gè)消息隊(duì)列。依賴(lài)管理上我強(qiáng)烈建議用鎖定版本的方式。金融系統(tǒng)最怕的就是昨天還好好的今天依賴(lài)自動(dòng)升級(jí)就崩了。Python 用pip-tools或poetry鎖定Node 用package-lock.jsonJava 用dependencyManagement。這個(gè)習(xí)慣能幫你省掉無(wú)數(shù)個(gè)深夜排查的夜晚。# 以 Python 為例用 poetry 管理依賴(lài) poetry init poetry add fastapi uvicorn sqlalchemy psycopg2-binary redis poetry add --group dev pytest pytest-asyncio poetry lockpoetry lock這一步生成的鎖文件一定要提交到版本庫(kù)這是保證任何機(jī)器上裝出來(lái)的依賴(lài)都一樣的關(guān)鍵。3.2 數(shù)據(jù)庫(kù)表結(jié)構(gòu)設(shè)計(jì)表結(jié)構(gòu)設(shè)計(jì)我遵循一個(gè)原則先想清楚查詢(xún)?cè)僭O(shè)計(jì)表。因?yàn)榻鹑跀?shù)據(jù)的查詢(xún)模式相對(duì)固定圍繞查詢(xún)來(lái)設(shè)計(jì)能避免后期加索引加到手軟。以行情數(shù)據(jù)為例最常見(jiàn)的查詢(xún)是某標(biāo)的某時(shí)間段的收盤(pán)價(jià)。那么表結(jié)構(gòu)就應(yīng)該圍繞(symbol, trade_date)這個(gè)組合來(lái)組織。CREATE TABLE daily_quotes ( id BIGSERIAL PRIMARY KEY, symbol VARCHAR(32) NOT NULL, trade_date DATE NOT NULL, open_price NUMERIC(18, 6), high_price NUMERIC(18, 6), low_price NUMERIC(18, 6), close_price NUMERIC(18, 6), volume BIGINT, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, UNIQUE (symbol, trade_date) ); CREATE INDEX idx_quotes_symbol_date ON daily_quotes (symbol, trade_date DESC);幾個(gè)細(xì)節(jié)說(shuō)明一下。價(jià)格字段用NUMERIC(18, 6)而不是FLOAT因?yàn)楦↑c(diǎn)數(shù)有精度問(wèn)題金融計(jì)算里這是大忌。UNIQUE (symbol, trade_date)約束保證了同一標(biāo)的同一天只有一條記錄天然防重復(fù)。索引按(symbol, trade_date DESC)建因?yàn)樽畛R?jiàn)的查詢(xún)是某標(biāo)的最近的行情倒序索引能直接命中。提示金額字段的精度要根據(jù)業(yè)務(wù)定。股票價(jià)格 6 位小數(shù)夠用但如果是加密貨幣或者外匯可能需要 8 位甚至更多。定少了后期改表很痛苦定多了浪費(fèi)空間但問(wèn)題不大所以寧可多留一點(diǎn)。3.3 數(shù)據(jù)采集任務(wù)的實(shí)現(xiàn)采集任務(wù)我通常做成可配置、可重入的形式??膳渲弥傅氖遣杉男?biāo)的、什么頻率、從哪個(gè)源都通過(guò)配置控制而不是寫(xiě)死在代碼里??芍厝胫傅氖侨蝿?wù)中斷后能從中斷點(diǎn)繼續(xù)而不是從頭再來(lái)。# 采集任務(wù)的核心結(jié)構(gòu)示意 class QuoteCollector: def __init__(self, source_adapter, storage, config): self.source source_adapter self.storage storage self.config config def run(self, symbols, start_date, end_date): for symbol in symbols: # 查詢(xún)已采集的日期跳過(guò)已完成部分實(shí)現(xiàn)可重入 done_dates self.storage.get_collected_dates(symbol, start_date, end_date) pending_dates self._get_pending_dates(start_date, end_date, done_dates) for date in pending_dates: try: raw self.source.fetch(symbol, date) normalized self._normalize(raw) self.storage.upsert_quote(normalized) except Exception as e: self._log_failure(symbol, date, e) continue這里upsert_quote用的是插入或更新語(yǔ)義配合前面的唯一約束重復(fù)采集也不會(huì)產(chǎn)生臟數(shù)據(jù)。_log_failure把失敗記錄下來(lái)但不中斷整個(gè)任務(wù)因?yàn)橐粋€(gè)標(biāo)的某天數(shù)據(jù)缺失不應(yīng)該影響其他標(biāo)的的采集。3.4 對(duì)外接口的實(shí)現(xiàn)與限流接口實(shí)現(xiàn)本身不難難的是保護(hù)自己不被調(diào)用方打垮。金融數(shù)據(jù)接口經(jīng)常被多個(gè)下游高頻調(diào)用沒(méi)有限流的話一個(gè)寫(xiě)錯(cuò)循環(huán)的下游就能把你的服務(wù)打掛。限流我一般用令牌桶算法實(shí)現(xiàn)簡(jiǎn)單、效果穩(wěn)定。按調(diào)用方維度限流每個(gè)調(diào)用方分配一個(gè)獨(dú)立的桶。import time from threading import Lock class TokenBucket: def __init__(self, rate, capacity): self.rate rate # 每秒補(bǔ)充的令牌數(shù) self.capacity capacity # 桶容量 self.tokens capacity self.last_refill time.time() self.lock Lock() def allow(self, n1): with self.lock: now time.time() # 按經(jīng)過(guò)的時(shí)間補(bǔ)充令牌 elapsed now - self.last_refill self.tokens min(self.capacity, self.tokens elapsed * self.rate) self.last_refill now if self.tokens n: self.tokens - n return True return False參數(shù)怎么定rate根據(jù)調(diào)用方的正常用量上浮 20% 左右capacity設(shè)為rate的 2 到 3 倍允許一定的突發(fā)流量。這個(gè)配置不是拍腦袋而是基于正常用量 合理突發(fā)來(lái)算的。定太緊會(huì)誤傷正常調(diào)用定太松起不到保護(hù)作用。4. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄4.1 數(shù)據(jù)不一致的排查思路數(shù)據(jù)不一致是金融系統(tǒng)最頭疼的問(wèn)題因?yàn)樗皇菆?bào)錯(cuò)而是悄悄錯(cuò)了。我排查這類(lèi)問(wèn)題的順序是這樣的。先確認(rèn)是不是真的不一致。有時(shí)候是緩存沒(méi)更新導(dǎo)致的看起來(lái)不一致清一下緩存就正常了。所以第一步永遠(yuǎn)是繞過(guò)緩存直接查庫(kù)。再確認(rèn)不一致的范圍。是個(gè)別記錄還是批量是某個(gè)時(shí)間段還是全量范圍能極大縮小排查方向。如果是個(gè)別記錄大概率是并發(fā)問(wèn)題如果是批量可能是某個(gè)任務(wù)邏輯錯(cuò)了。最后回溯數(shù)據(jù)血緣。這條數(shù)據(jù)從哪個(gè)源來(lái)、經(jīng)過(guò)哪些處理、什么時(shí)候?qū)懭氲?。如果系統(tǒng)有完善的日志和審計(jì)這一步很快如果沒(méi)有那就只能靠復(fù)現(xiàn)了。這也是為什么我前面強(qiáng)調(diào)可追溯性——它平時(shí)看不出價(jià)值出問(wèn)題時(shí)就是救命稻草?,F(xiàn)象可能原因排查動(dòng)作個(gè)別記錄金額偏差并發(fā)更新丟失檢查是否有樂(lè)觀鎖/悲觀鎖批量數(shù)據(jù)缺失采集任務(wù)中斷查任務(wù)日志和失敗記錄數(shù)據(jù)延遲隊(duì)列積壓查隊(duì)列深度和處理速率重復(fù)數(shù)據(jù)冪等失效檢查唯一約束和冪等鍵4.2 性能瓶頸的定位方法性能問(wèn)題我一般用從外到內(nèi)的方式定位。先看接口響應(yīng)時(shí)間如果接口慢再看是數(shù)據(jù)庫(kù)慢還是應(yīng)用邏輯慢。數(shù)據(jù)庫(kù)慢就查慢查詢(xún)?nèi)罩緫?yīng)用慢就做 profiling。有個(gè)經(jīng)驗(yàn)值得分享大部分性能問(wèn)題不在代碼在數(shù)據(jù)庫(kù)。我遇到過(guò)太多次優(yōu)化了半天代碼最后發(fā)現(xiàn)是少了個(gè)索引。所以定位性能問(wèn)題時(shí)先看數(shù)據(jù)庫(kù)的慢查詢(xún)往往能一擊命中。-- PostgreSQL 查慢查詢(xún)的常用方式 SELECT query, calls, total_time, mean_time FROM pg_stat_statements ORDER BY mean_time DESC LIMIT 20;這個(gè)查詢(xún)能直接告訴你哪些 SQL 平均耗時(shí)最長(zhǎng)比盲目猜測(cè)高效得多。前提是要先啟用pg_stat_statements擴(kuò)展。4.3 我踩過(guò)的幾個(gè)典型坑坑一時(shí)區(qū)問(wèn)題。金融數(shù)據(jù)對(duì)時(shí)間極其敏感而時(shí)區(qū)是最容易被忽略的。我早期一個(gè)項(xiàng)目服務(wù)器用 UTC業(yè)務(wù)方以為是本地時(shí)間結(jié)果行情日期整體偏了一天。后來(lái)統(tǒng)一規(guī)定存儲(chǔ)一律用 UTC展示時(shí)再轉(zhuǎn)本地時(shí)區(qū)并且所有時(shí)間字段都帶時(shí)區(qū)信息??佣↑c(diǎn)數(shù)精度。前面提過(guò)金額要用NUMERIC但我還是見(jiàn)過(guò)用FLOAT存價(jià)格的。結(jié)果就是 0.1 0.2 不等于 0.3 這種經(jīng)典問(wèn)題在對(duì)賬時(shí)暴露出來(lái)。這個(gè)坑的教訓(xùn)是涉及金額和價(jià)格永遠(yuǎn)不要用浮點(diǎn)數(shù)。坑三重試風(fēng)暴。有次下游服務(wù)抖動(dòng)我們的重試邏輯同時(shí)觸發(fā)瞬間把下游打得更掛。后來(lái)加了重試抖動(dòng)jitter在退避時(shí)間上加一個(gè)隨機(jī)量避免所有請(qǐng)求同時(shí)重試。import random def backoff_with_jitter(attempt, base0.5, cap30): # 指數(shù)退避 隨機(jī)抖動(dòng)避免重試風(fēng)暴 exp min(cap, base * (2 ** attempt)) return random.uniform(0, exp)這個(gè)小小的隨機(jī)量在分布式系統(tǒng)里能救命。它的原理是如果所有客戶(hù)端都按同樣的退避時(shí)間重試它們會(huì)在同一時(shí)刻再次涌向服務(wù)端形成周期性的沖擊。加抖動(dòng)后重試時(shí)間被打散服務(wù)端壓力就平滑了。4.4 監(jiān)控與告警的落地建議監(jiān)控不是裝個(gè)工具就完事關(guān)鍵是監(jiān)控什么。金融數(shù)據(jù)服務(wù)我必監(jiān)控的指標(biāo)有這么幾類(lèi)數(shù)據(jù)新鮮度最新數(shù)據(jù)的時(shí)間戳距今多久、采集成功率、接口延遲分位數(shù)、錯(cuò)誤率。其中數(shù)據(jù)新鮮度是最重要的因?yàn)樗艿谝粫r(shí)間發(fā)現(xiàn)數(shù)據(jù)斷了。我一般會(huì)設(shè)一個(gè)閾值比如行情數(shù)據(jù)超過(guò) 5 分鐘沒(méi)更新就告警。這個(gè)指標(biāo)比單純的服務(wù)存活有用得多——服務(wù)活著但數(shù)據(jù)不更新對(duì)業(yè)務(wù)來(lái)說(shuō)和掛了沒(méi)區(qū)別。告警的粒度也要控制。我見(jiàn)過(guò)告警配得太細(xì)一天幾百條最后大家都麻木了真出問(wèn)題反而沒(méi)人看。我的做法是分級(jí)告警P0 直接打電話P1 發(fā)消息P2 只記錄。只有真正需要立刻處理的問(wèn)題才走 P0保證告警的含金量。5. 項(xiàng)目擴(kuò)展與長(zhǎng)期維護(hù)的思考5.1 從單機(jī)到分布式的演進(jìn)路徑financial-services這類(lèi)項(xiàng)目很少一上來(lái)就是分布式的通常是單機(jī)跑通了業(yè)務(wù)量上來(lái)了再演進(jìn)。我把演進(jìn)路徑分成三個(gè)階段每個(gè)階段解決不同的瓶頸。第一階段是單機(jī) 數(shù)據(jù)庫(kù)所有模塊跑在一個(gè)進(jìn)程里數(shù)據(jù)存一個(gè)庫(kù)。這個(gè)階段的目標(biāo)是跑通別想太多架構(gòu)。第二階段是讀寫(xiě)分離 緩存當(dāng)查詢(xún)壓力大了加只讀副本和緩存扛讀流量。第三階段才是服務(wù)拆分把采集、處理、服務(wù)拆成獨(dú)立部署的單元。這個(gè)順序不能亂。我見(jiàn)過(guò)一上來(lái)就搞微服務(wù)的團(tuán)隊(duì)結(jié)果業(yè)務(wù)還沒(méi)跑通光運(yùn)維微服務(wù)就耗盡了精力。架構(gòu)要跟著瓶頸走而不是跟著潮流走。5.2 數(shù)據(jù)質(zhì)量的長(zhǎng)效保障數(shù)據(jù)質(zhì)量不是靠一次性的清洗而是靠長(zhǎng)效機(jī)制。我的做法是建立數(shù)據(jù)質(zhì)量規(guī)則庫(kù)把常見(jiàn)的校驗(yàn)規(guī)則沉淀下來(lái)每次數(shù)據(jù)入庫(kù)前自動(dòng)跑一遍。常見(jiàn)的規(guī)則包括價(jià)格必須為正、最高價(jià)不低于最低價(jià)、成交量非負(fù)、日期不能是未來(lái)。這些規(guī)則看起來(lái)簡(jiǎn)單但能攔住絕大多數(shù)明顯的錯(cuò)誤數(shù)據(jù)。規(guī)則庫(kù)的好處是新接入一個(gè)數(shù)據(jù)源時(shí)直接復(fù)用已有規(guī)則不用重新想。# 數(shù)據(jù)質(zhì)量校驗(yàn)的規(guī)則示例 def validate_quote(quote): errors [] if quote[close_price] 0: errors.append(close_price must be positive) if quote[high_price] quote[low_price]: errors.append(high_price cannot be lower than low_price) if quote[volume] 0: errors.append(volume cannot be negative) if quote[trade_date] date.today(): errors.append(trade_date cannot be in the future) return errors校驗(yàn)失敗的數(shù)據(jù)不是直接丟棄而是進(jìn)隔離區(qū)等人工確認(rèn)后再?zèng)Q定是修正還是丟棄。直接丟棄太粗暴可能丟掉的是數(shù)據(jù)源格式變化導(dǎo)致的批量問(wèn)題。5.3 我個(gè)人在實(shí)際操作中的體會(huì)做了這么多金融數(shù)據(jù)相關(guān)的項(xiàng)目我最大的體會(huì)是這類(lèi)系統(tǒng)的難點(diǎn)從來(lái)不在技術(shù)而在對(duì)業(yè)務(wù)的理解。技術(shù)方案網(wǎng)上都能查到但這個(gè)字段到底代表什么這個(gè)時(shí)間戳是交易所時(shí)間還是本地時(shí)間這個(gè)價(jià)格含不含手續(xù)費(fèi)這些只有深入業(yè)務(wù)才能搞清楚。我見(jiàn)過(guò)太多技術(shù)很漂亮但業(yè)務(wù)理解錯(cuò)位的系統(tǒng)最后都推倒重來(lái)了。所以我的建議是動(dòng)手寫(xiě)代碼之前先花時(shí)間把數(shù)據(jù)字典、業(yè)務(wù)規(guī)則、邊界情況搞清楚。這份前期投入會(huì)在后期以十倍百倍的方式回報(bào)你。另外一個(gè)小技巧給每個(gè)數(shù)據(jù)字段都寫(xiě)清楚注釋和來(lái)源。這看起來(lái)是小事但當(dāng)項(xiàng)目交接或者半年后你自己回頭看時(shí)這些注釋就是救命的東西。金融數(shù)據(jù)的語(yǔ)義往往很微妙一個(gè)字段的含義搞錯(cuò)整個(gè)分析結(jié)果就全錯(cuò)了。最后再分享一個(gè)習(xí)慣定期做數(shù)據(jù)對(duì)賬。拿系統(tǒng)里的數(shù)據(jù)和權(quán)威來(lái)源對(duì)一遍看看有沒(méi)有偏差。這個(gè)動(dòng)作能發(fā)現(xiàn)很多平時(shí)監(jiān)控發(fā)現(xiàn)不了的問(wèn)題比如某個(gè)數(shù)據(jù)源悄悄改了格式、某個(gè)計(jì)算邏輯有累積誤差。對(duì)賬不需要很頻繁一周一次就夠但要堅(jiān)持。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日本色色色| 青青草视频福利| 亚洲AV综合网| 色性日本| 超碰人人操人人9| 激情婷婷色五月| 午夜婷婷久久| 日本99在线视频| 亚洲国产精品成人免费一区久久久在线观看AAAA | www.99热视频| 久久综合五月天激情小说网站| 婷婷六月丁香久| 亚洲人人操| 久色网址| 国产免费性爱| 激情综合网五月激情| 五月丁香婷婷啪啪综合网| 五月婷婷激情综合视频| 九九精品碰| 五月婷婷影院| 青青福利网| 九九中文色色| 婷婷五月综合激情| 日日操天天| 婷婷五月天97干| 9久热在线精品| 色五月综合在线| 伍月婷丁香婷| 色碰干| 五月天伊人久久久久| 狼人婷婷综合| 欧美激情综合| 五月天婷婷免费| 99在线视频精品| 五月婷婷色色| 色色色综合色| 人妻久久婷婷| 婷婷婷久久| 综合xx网| 在线99色| 五月天丁香啪啪网| 日本九九网| 婷婷在线午夜| 亚洲永久四色| 婷婷午夜精品久久久| 婷婷丁香日韩五月| 综合狠狠干| 操操啪| 九色综合五月天婷五月| 九九热在线视频观看免费10| 亚洲成人在线五月天| 国产超碰人人| 国av网| 女人被男人吃奶到高潮| 国产色99| 婷丁香五月天| 秋霞学生妹一二级| 婷婷五月激情四月综合| 亚洲碰碰碰| 狠狠插.com| 九九 激情 网| 亚洲操精品| 丁香五月天视频在线播放| 欧美五月丁香啪啪响视频| 国产 亚洲 在线| 操逼国产91| 伊人久久丁香狠狠婷婷综合香蕉| 色色色综合色| 亚洲婷婷五月天| 丁香婷婷六月| 亚洲综合视频网| 激情亚洲五月| 激情五月婷婷在线区| 99热99精品| 久热在线观看视频9| 久在线88综合| 丰满人妻妇伦又伦精品国产| 婷婷成人基地| JAPANRCEP老熟妇乱子伦视频| 日韩啊啊啊| 激情婷婷人妻| 五月香蕉婷婷| 五月天另类综合网| 小视频一区| 综合久久五月| 婷婷综合成人| 99热免| 色噜噜,噜噜色| 人人色人人摸人人看| 五月天丁香婷婷社区| 国产婷婷色综合AV蜜臀AV| 极品人妻XXXXOOOO| chaopeng在线人人| 国内熟女黄色系列| 久久激情天堂| 97综合色片| 99视频在线观看视频| 69人人操人人爽| 日日影院 | 日日操夜夜擼| 成人综合视频在线| 色情丁香五月天| 五月综合婷婷开心网| 无码G高清天| 深爱激情中文五月天av| 另类精品视频在线观看| 影音先锋女人av鲁色资源网小说免费| 99色最新在线视频网站| 婷婷六月丁香欧美视频在线| 亚洲中文乱字字幕在线永久| 大香蕉啪啪啪| 婷婷热色| 五月婷五月婷伊人伊人五月婷| 九色视频91| 在线观看的av| 丁香五月亭亭六月综合激情网| 婷婷放心五日爱| WwW天天干| 99区视频| 91超级碰在线视频| 深爱综合网| 色婷网站| 操操自拍| 色丁香五月婷婷在线| 99愛国产| www.久久久久| 综合99视频| 色综合色色| 欧美成人网99网| 婷婷六月天天| 99这里| 婷婷五月久久| 狠狠狠狠狠狠色| 丁香婷婷五月综合影院| 99热这里只有精品国产免费| 六月婷婷久久大全| 成人免费120分钟啪啪| 婷婷五月超碰| 丁香五月丁香伊人| 亚洲中文乱字字幕在线永久| 超碰九色| 91热久88| 久久午夜理论| 美国十月色婷婷在线观看| 五月欧美丁香在线观看| 亚洲精品无人区| 思思re最新视频| 五月婷婷草| 激情深爱五月婷婷| 五月婷婷丁香| 庭庭久久内射| 丁香六月天婷婷开心综合| 一起草性爱不卡视频| 狠狠狠狠狠狠| 9热久久| 欧美精品99久久久| 操九色| 操日本99| 96五月丁香熟女| 五月丁香六月| 99热大全在线观看| 丁香五月在线观看| 操B视频在线播放| 97视频久久| 色播五月丁香婷婷| 五月大香蕉| 91精品国产99久久久久久天美| 99性爱无码| 亚洲五月天婷婷| 五月丁香六月成人| 啊v视频在线观看| 伊人玖玖网| 天天日日综合| 俺也去色| 中文字幕av久久爽一区| 色色婷婷五月天| 大香蕉人在线65| oumeisesewang| 色婷婷av在线观看| 九九色综合| 嫩草AV久久伊人妇女超级a| 天天色粽合合合合合合合| 九九色欲网| 五月丁香六月婷婷激情视频在线观看免费 | 99久在线精品99re8| 亚洲在线资源| 色V狠狠的干| AV操逼网| 五月丁香日本一抹本| 婷婷涩涩五月天| 国产乱妇无乱码大黄AA片| 亚洲婷婷激情综合激情999精品| 美女视频图片久久91| 日本三级韩三级99久久| 五月丁香婷婷五月色| 华人在线免费| 九九热免费视频| 日熟女| 啪啪啪啪五月天| 日韩狠狠色| 亚洲人妻Av| 91无码高清| www.综合久久| 五月丁香狠狠爱| 五月天婷婷操逼视频| 五月色婷婷影视在线电影| 色综合中文综合网| 啪啪啪大香蕉| 91狠狠色丁香婷婷综合久久精品| 99免费在线视频| 琪琪色五月婷婷老师| 在线你懂的亚洲欧| 丁香五月激情五月开心五月| 久久五月综合| 婷婷伊人综合中文字幕| 有哪些A片网站| 亚洲高清在线| 一区三区视频有限公司| 国产精品婷婷午夜在线观看| 国产精品久久久久久久久久| 无码人妻一区二区一牛影视| 久久激情综合| 99性爱| 丁香五月天大香蕉啪啪| 亚洲在线资源| 久久这里只有国产视频| 色五月天堂| 久久受www免费人成| 婷婷五月大| 九九热精品视频在线观看| 久久婷婷九月国产精品| 狠狠五月丁香色婷| 久久久WWW| 激情综合五月天| 久久婷婷五月综合激情国产| 欧美五月婷婷| 婷婷五月综合免费在线| 亚洲 五月 婷婷 成人| www.minyis.com【JT】实力收量可预付QQ2101460746 | 涩综合网| 激情五月瑟瑟| 丁香五月五月婷婷欧美大香蕉| 五月婷婷伊| 五月天天天综合| 99热99这里只有精品| 丁香女人五月天| 日本少妇裸体做爰高潮片| 欧日韩成人| 五月天激情婷婷丁香| 亚洲AV成人在线| 秋霞日本免费毛片A片| 天天夜夜操| 色99网| 欧美色片中文字幕久久久久| 丁香五月婷婷六月婷| 婷婷丁香18| 99视频综合网| 色色亚洲五月天| 成人久碰| xxx.色婷婷| 丁香九月色| 这里只有精品免费在线视频| 丁香九月婷婷| 丁香六月天婷婷在线| 五月婷婷av| 日韩无码亚欧无码| 久久丁香五月| 99九九精品视频| 俺去也五月天婷婷| 亚洲久久天堂| 成人精品亚洲性爱| 4399在线日本A片| 99人妻碰碰碰久久久久视| 丁香婷婷噜噜| 久久 无毛。| renrencaoav| 激情五月丁香五月| 狠狠看狠狠| 色综合区| 婷婷色色综合激情| 啪啪九九色| 激情五月婷婷丁香| 色欲色天天香综合| 国产精品VIDEOSSEX久久发布| 自拍偷窥99热| 五月丁香综合激情| 99爱在线| 超碰免费观看| 成人网站免费在线播放| 182TV大香蕉| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 人人爱操| 香蕉97碰碰碰欧美| 欧美婷婷成人| 天天做天天爱天天爽夜夜揉| 狠狠色97| 五月情四婷婷| 97在线99| 热99免费在线| 婷婷六月网| 日韩婷婷| 色色网站在线| 丁香六月婷婷激情综合| 婷婷丁香五月亚洲免费| 五月色丁香婷婷综合| 先锋资源婷婷| www.五月激情.com| av在线免费网站| 久久九区| 久久机只有这里精品| 欧美成人AAA片一区国产精品| 婷婷色婷婷亚洲成人| 99re6在线视频精品免费| 五月婷婷丁香狠狠撸久久| 国产中文字幕在线视频免费观看| 婷婷91| 96丁香六月婷婷蜜桃综合久久| 人妻久久久| 五月婷六月天| 99性视频| 久久爱综合| 91婷婷五月天嫩女| 激情婷婷五月女| 亚洲AV久久久久久久久久久久久久久久 | 综合久久综合久久| 任你草| 五月激情天| 99热久久这里只有精品| www九九免费视频| 色丁香五月婷婷| 免费的日逼视频| 综合超碰熟| 99热精品中文字幕| 六月丁香六月婷婷欧美| 五月天开心色色网| 日韩精品999| 99视频精品8 | 成年人丁香五月| 五月停停色| 免费播放99性爱视频| WWW.HENHENL.| 99久久久免费| 狠狠干在线视频| 婷婷福利影院| 色婷五月| 五月天婷婷久久| 思思热99er在线视频| 五月婷婷综合影院| 激情婷婷激情在线不卡| 色色综合激情| 我要色综合五月婷婷| 激情亚洲婷婷| 无码一级片| 强辱丰满人妻HD中文字幕| 五月丁香激情欧洲啪啪| 99色最新在线视频| 亚洲自拍天堂| 蜜桃婷婷狠狠久久| 色婷婷综合网站| 五月丁香性爱| 五月丁香六月片| 久久伊人婷婷| 婷婷久久丁香| 五月天另类图片| 亚洲 精品 综合 精品| 99A片| 六月丁香婷婷色狠狠久久| 91色碰| 日日操夜夜擼| 国产精品99久久久久久久女警| 狠狠干综合网| 狠狠干在线视频| 五月丁香久人妻中文| 99色日本| 婷婷五月丁香亚洲| 亚洲经典三级| 久久五月丁香婷婷| 婷婷五月深爱五月| 成人色色视频| 日本的α片xxxwww| 女人露出p毛视频www网站| 久久丁香综合精品综合| 996热| 久久九九爽| 精品人妻一区二区| 九九这里都是精品| 激情五月天开心总和网| 丁香五月激情在线| 天天天添天天操| 日韩超碰在线| 99色热视频| 3p九色在线| 开心激情网五月天| 超碰不卡在线| 婷婷五月天开心激情网| 亚洲 无码 中文字幕 中出| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 婷婷亚洲五| www.色色com| 五月婷在线视频免费看| 狠狠五月激情丁香六月| 开心五月婷婷在线视频免费观看| 丁香五月天婷婷久久| 9色视频在线| 成人婷婷| 99色热| 日韩色色色色色| 99在线精品观看99| 超碰免费大香蕉| 26uuu丁香婷婷五月| 色天使色综合| 久久se 综合网| 日本人人超碰| 狠狠色婷婷丁香五月| 日韩性爱无码| 九色七七| 亚洲成人超碰| 婷婷五月丁香超碰| 丁香婷婷性爱| 日本人妻丁香婷婷久久寝取熟女五月| 五月天婷婷青青| 五月丁香五月天现场视频| 五月激情网综合| 婷婷五月激情五月激情| 亚洲六月色婷婷| 丁香五月六月综合欧美| 黄色成人网站在线播放| 99久久www| 日本久久综合| 久久99国产综合精品免费| 婷婷综合激情| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | 丁香六月天婷婷色| ji'qi'luan'ren'lun| 亚洲成人在线五月天| 狠狠搞狠狠操| 播五月,色五月,开心五月播放器| 丁香六月啪啪| 婷婷丁香五月天综合激情| 神马久久五月天| 欧美性爱中文字幕| 精品色情一区二区三区四区| 天天操电影院色狼性av| 激情性爱五月天| 第四色激情网| 五月婷婷丁香91| 琪琪色网在线| 日韩美一级毛卡片| 五月婷婷色色| 精品人妻伦| 激情综合网五月天天| 激情都市五月天| 五月丁香六月情婷婷久久| 色婷婷五月天视频在线| 日日撸夜夜操| 月丁香久久久| 七七九色| 欧美熟女乱又伦| 丁香五月在线播放| 久久久久久人妻| 亚洲无码免费看| 日韩综合网络男女香蕉a片| 五月丁香综合啪啪| 久热播这里只有精品| 色综合天堂| 日本不卡高字幕在线2019| 绿色小导航AV| 日本久久高清| 婷婷五月色影视先锋| 久久九九色| 思思热在线观看| 五月花激情网| 五月丁激情| 五月丁香啪| 婷婷精品视频| 激情婷婷在线中文字幕| 综合亚洲五月天| 婷婷五月综合亚洲| 51国精产品自偷自偷综合| 国产首页在线| 色99亚洲| 狠狠五月激情丁香六月| 狠狠干综合| 欧美日韩国产一区| 婷五月天在线草| 婷婷丁香五月,狠狠综合| 久久久婷婷婷| 9色婷婷| 色色婷婷五月天| 色狠狠综合入口| 同性gv国产精品一区二区| 亚洲性色XXXXX| www.99热| 影音先锋男士资源网一区| 精品网站:999WWW| 色丁香五月婷婷婷| 色色色色色色色色综合网| 色综合五月天| 中文字幕在线免费| 色爱终和网| 色色激情网| 超碰v| 色色色国产| 泰州成人视频| 九九艹女| 99re热视频这里只有综合亚洲| 色停停五月天| 超碰91在线| 久99热在线观看| 南京搡BBBB搡BBBB| 婷婷丁香九月| 亞洲自怕| 亚洲色欲AAAAAA| 最新av在线观看| 91AV视频| 五月天久久婷婷| www.久久爱| 色婷五月天| 99精品免费视频| 男女啪啪做爰高潮无遮挡| 九九操操| www久久99| 一本狠婷婷综合| 六月丁香婷婷视频综合在线观看| 五月激情啪啪啪| 中文AⅤ大全| 日日干日日s| 91青娱乐青青草| 男人天堂AV在线一区二区| 色综合播放| 丁香 婷婷 激情 综合 五月 | 婷婷五月网图片区| 思思99热| 影视av久久久噜噜噜噜噜三级| 天天综合网在线| 久热在线观看视频9| 欧美婷婷色五月| 天天舔天天爽| 综合一区二区三区| 国产97色在线| 久久久大香蕉| 狠狠色综合网站久久久久| 色婷婷久久7777| 天天操天天草天天草天天| 东京热五月婷婷| 丁香五月天激情婷婷丁香六月| 色99网站| αV电影| 99热在这里只有免费精品| 婷婷五月天丁香激情| 亚洲成人在线播放| 任你艹| 97一区二区| 97好吊操| 丁香五月婷婷综合91| 色五月在线播放| AV在线大香蕉| 亚洲日日日| 99视频热99| 五月丁香六月激情欧美综合| 99人人干人人| 久久久久人妻网址| 操操自拍| 成人在线99| 91艹人| 狠狠插狠狠插| 婷婷丁香五月天哟啪| 色婷久久| 中文字幕丰满乱孑伦无码专区| 久久xxxx| 婷婷五月天电影在线| 99久久国产宗和精品1上映| 天天干天天干天天干天天干天天干天天| 五月天伊人av| 亚洲欧洲中文日韩久久AV乱码| 黄页大全十八禁| 国产精产国品一二三在观看 | 色婷婷色综合激情91| 99热国产| 成人片在线播放| 91操网| www色婷婷久久综合久色| 久久久久久五月天| 天天操夜夜玩!| 精品国产a| 天堂草在线观看| 2015在线中文字幕| 久操无码| 青草热视频这里只有精品| 日本在线视频看se99| www久久久| 五月丁香美女视频| 99热婷婷| 国产一区男女| 婷婷99狠狠躁天天躁中文| 亚洲综合五月天婷婷| www色婷婷| 久久精品A片777777| 五月天播播中文字幕| 五月天婷综合| 欧美性做爰大片免费看办公室| 丁香美女主播视频在线观看| 99热在线网站| 欧美久热| www.五月丁香| 天天cha成人综合网| av激情在线| 色婷婷成人做爰A片免费看网站| 五月激情六月宗合| 五月色丁香综合| 伊人五月婷婷国产视频| 国外亚洲成AV人片在线观看| 精品网站:999WWW| 激情五月婷婷啪啪| 97碰在线| 亚洲国产另类av| 丁香色成人| 五月熟妇婷婷久久| 婷婷97碰碰| 刘玥精品一区| 五月丁香六月婷| 亚洲中文乱字字幕在线永久| 五月婷婷久久综合| 婷婷色影院| 丁香五月婷婷亚洲天堂| 性做久久久久久久免费看| 狠狠操狠狠| 亚洲五月综合色播| 性一交一乱一交A片久久四色| 色 丁香婷婷| 五月综合激情网| 看片视频在线免费日产在线看| 五月激情站| 五月丁香九九九综合| 久热大香蕉| 另类在线免费视频| 黄网在线播放| 久久九九爽| 婷婷成人丁香色情基地30 | 午夜丁香丁香婷婷| 婷婷五月综激情| 国产成人AV| 91se在线观看| 丁香伊人激情| 久久亚洲A| 九九久久99精品免费观看www| 精品一二三区久久AAA片| 亚洲天堂热| 久草a片| 五月停停激情网| 日本久久99| 久草五月天| 国产真人做爰视频免费| 五月婷啪啪| 五月天激情婷婷丁香| 久久这里面只有精品视频| 综合九九久久| 精品操逼一区二区| www.夜夜操| 丁香婷婷激情| 亚洲六月婷婷| 玖玖精品视频| 尔尔AV一区| WWW.夜夜| 99热 免费| 色婷婷天堂| 久操人| 婷婷五月综合网激情| 91九九| 日日噜噜夜夜狠狠久久丁香六月| 五月亭亭狠狠| 久久久久这里只有精品| 99热这里只有精品13| 激情黄色小说色五月| 丁香五月天.com| 免费色婷婷| 五月停停99| 婷婷五月综合基地| 午夜天堂一区人妻| 成人 在线观看国产| 丁香五月亚洲| 五月天色五月天| 成人视频免费观看高清完整版在线观看| 开心五月天激情网| 婷婷五月天久久久| 99操视频| 色久影院| 九九在线精点品| 精品无吗va视频免费观看| 在线1青婷| 思思re视频在线| 天天舔夜夜操www com| 色综合久久88色综合天天99| 99视频内射三四| 性色播| www.夜夜夜| 九九综合视频在线观看| 99久久这里只有精品免费官网| 丁香五月首页| 精品久色| 99re在线视频精品,这里只有精品18,| 日本99在线| a在线免费v| 高清不卡一区| 草美女在线观看视频在线播放| www.五月天婷婷姐姐| 天堂草在线观| 亚洲人成人五月天| 天天做 天天爱| 欧美色色色色色| 美欧日韩国产成人在战| 婷婷俺去也| 欧美三级巜人妻互换| 操97在线观看| 91九色在线视频| site:xmssd.com| 天天爽综合| 天堂在线9| 26uuu视频欧美| 99综合视频一体| 天天色天天搡| 久草久青福利| 国产探花AV在线| 色色AV色色色东莞| 亚洲天天| 人妻有码乱操| 夜夜 操无码| 亚洲色五月| 夜夜躁狠狠| sewuyue第四色| 婷婷激情五月天亚洲综合| 激情五月婷婷开心网| 夜夜干夜夜操| 婷婷综合五月| 国产午夜精品AV一区二区麻豆| 婷婷丁香五月天色色| 色综合久久久久| www狠狠| 五月天久久综合| 东京热免费视频| 久久婷婷伊人| 中文字幕五月久久婷婷| 五月天久久www| 色婷婷在线视频久| 五月婷视频| 日韩999| 99视频只有精品| 怡红院成人AV| 天天肏视频| 色播丁香五月婷婷操:屄| 亭亭五月丁香五月天激情| 91久操| 99色日本| 亚洲色欲AAAAAA| 色啪网| 成人精品视频99在线观看免费| 婷婷综合中文字幕| 啪啪操操| 天天搞夜夜叫| 午夜成人综合| 国产精品18久久久| 97sese婷婷| 91性高潮久久久久久久久| 丁香五月天激情网| 二色av| 五月天婷婷基地综合网| 高清激情av在线观看| 成人视频在线免费播放| 99热综合| 亚洲啪啪视频| 五月婷婷在线免费| 先锋资源996| 激情四射婷婷| 啪啪色激情五月天| 丁香综合伊人AV| 色色色999| 激情五月婷黄版| 亚洲噜色| 99ER热精品视频| 91婷婷| 狼人婷婷久久| 99 福利 导航| 五月天停婷基地| 欧美搡BBBBB摔BBBBB| 婷婷五月天渟渟| 五月丁香六月婷| 激情综合亚洲色婷婷五月| 激情视频综合| 国产女人十八水真多1| 激情综合在线播放| 99精品这里只有免费视频| 超碰97干| 五月天婷婷色情| 女人天堂 AV| 中文字幕婷婷9月天| 久久亚洲A| 四色永久成人网站| 碰碰女| 中文字幕性爱丰满| 亚洲综合婷婷| 亭亭五月天成人| 欧美成人AAA片一区国产精品| 久久精品女人天堂AAA| 久久天天天| 伊人久久99| 99 re视频一区| 激情图片婷婷| 色色色在线观看| 深爱激情综合| 五月丁香毛片| 婷婷五月天六月丁香| 欧美日韩中国| 丁香涩涩五月天| 亚洲乱码日产精品BD| 9er热在线精品视频| 涩涩五月天| 久综合4| 久久只有这里精品免费| 思思99热| 久久五月婷婷丁香| 超碰不卡在线| 九九99精品视频| 任你日视频| 月丁香久久久| 五月激情网站| 六月婷婷九月丁香亚洲综合| 天堂久久久久天堂网| 婷婷丁香激情| AV操一操| 26uuu欧美亚洲日韩| 热91久| 亚洲天堂亚洲色色色| www99热| 久久丁香五月综合六月激情红杏视频| 丁香五月天激情视频| 五月婷婷干干干| 亚洲欧美婷婷五月色综合| 久久天堂精品| 亚洲五月天婷婷| 成人日韩欧美| 国产精产国品一二三在观看| 亚洲成人电影aaaa| 日本三级99人妇网站| 激情网 五月天| 大香蕉五月婷婷丁香| 99er久久| 色天堂97| 六月激情综合| 婷婷五月激情视频网| 99色免费视频| 久久婷中文字幕| 婷婷的99视频网站| 成人视频九九| 潘金莲AAAAAAAAAA| 色欧洲| www.黄色片-久久成人国产精品在线播放-999AV| 欧美α√| 大香蕉九操| 久热黄色| caopeng超碰| 婷婷狠狠干| 色婷婷久久综合久色综| 欧美毛卡| 五月婷婷无码| 丁香五月天堂网| 嫩草极品| 久久久久丁香婷婷五月天| 成人一级片| 九九99在线免费在线观看视频| 伍月婷丁香婷| 婷婷婷久久| 色婷婷大香蕉| 91九色在线| 91九九九九| 人人摸人人干| 开心六月丁香五月婷婷| 西西4r午夜剧场| 国产综合网在线| 五月丁香999| 婷婷五月久久| 99色中文| 天天综合网、天天综合色| 密着浓厚中出乚交尾GvG935| 人人摸人人澡人人| 日99网站| pom538精品视频| 九九综合伊人| 大伊香蕉精品视频在线| 五月丁香色综合| 中文字幕AV在线播放| 色香蕉精品五夜婷| 五月久久婷婷天堂视频| 色欲天天综合网| 久久色六月| 日本久久婷婷| av婷婷丁香 六月| 99热很操老逼| 五月丁香婷婷综合| 欧美成人精品A片免费一区99| 综合综合色色| 97色图片中文字幕视频在线观看| 秋霞免费视频| 香蕉婷婷色五月| 久久五月丁香婷婷| 国产在线网| 丁香五月六月综合激情| 久9热在线视频| 日韩AC在线免费观看| 色色99| 六月婷婷七月丁香| 婷香五月| 99玖玖视频| 色色色色色色色色五月先| www.99热国产| 五月天婷婷免费| 九月婷婷在线视频| 婷婷丁香五月激情密臀av| 天天射综合网天天插| 毛v一区二区视频| 日本不卡一区二区三区| 色狠狠色| 精品人妻久久久久久| 最新五月天婷婷影| 亚洲一级AV在线免费播放| 婷婷五月天久久| 五月丁香花免费视频| 久久婷婷五月综合97色一本| 五月婷婷av在线| 99热欧美| 丁香五月综合| 伊人9999| 婷婷另类开心| 丁香色色网| 99热久97| 国产AV网页| 国产69精品久久久久999小说| 天天色播| 99热精品在线观看| 老司机伊人| 五月天婷婷丁香视频| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 草草影院爱爱| 国产超碰在线| 五月天久久久| 综合色99| 在线看黄色| 97精品人人A片免费看| 97人妻碰碰中文无码久热丝袜| 婷婷婷婷婷婷婷婷| 99热这里只有免费精品| 色五月天天在线观看资源站| 武则天精品久久| 六月婷婷九月丁香| 蜜乳av一级av| 九九热精品| 色偷偷综合| 色五月婷婷在线| 婷婷五月丁香基地| 秋霞午夜理论| 欧美va亚洲va| 亚洲碰碰碰| 99热色婷婷| 久久精品99久久久久久久久| 六月丁香啪| 婷婷综合伊人| 激情婷婷护士激情| 99网| 亚洲综合激情五月久久| 999婷婷综合| 日日夜夜狠狠操| 99久久玖玖| 丁香午夜天| 色色网站免费观看| 亚洲另类婷婷五月综合| 深爱开心激情网| 777久久精品| 99啪啪视频| 久久婷婷影院| 精品久色| 欧洲亚洲最新精品| 激情五月无码| 蜜乳A√| 婷婷在线观看五月天在线视频| 久9免费视频| 婷婷五月娱乐在线| OUMEIRIHANCHENGREN| 国产精品岛国片在线观看免费| 天天色综网| 久久六月婷婷| 亚洲妇女熟BBW| 色五月成人| www久久99| 五月综合激情| 久久婷婷综合五月天| 婷婷97碰碰| 亚洲综合五月天| 亚洲欧美一区二区三区四区爱爱动图| 天天舔天天操| 狠狠色五月| 日韩aaaaa| 五月色婷婷中文字幕| 人妻久久久久久久 | 国av网| 奇米影视在线视频| 丁香五月停停基地| 国产三级在线播放| 婷婷中文字幕在线| 色色五月天网站| 亚洲五月天婷婷| 色婷婷导航| 伊综合蕉| ..真实国产乱子伦对白在线_欧| 天天日天天爽夜夜爽| 97久久视频| 黄色激情五月天| 丁香五月狠狠综合欧美| 色五月丁香五月激情五月激情| 99热国产| 婷婷五月天xxx| 99这里是精品| 1024操逼视频| 99综合网| 九月丁香婷婷基地| 五月天婷久久| 婷婷丁香先锋资源网站| 9 9热这里有精品| 久青草大香蕉| 亚洲综合成人网| 日本五月婷婷久久久六月丁香| xxxx五月激情| 五月丁香无码| 日本色色色| 丁香五月欧美激情| 精品人妻伦一二三区久久| 婷婷六月色| 久久婷婷电影| 午夜婷婷| 天堂AV在线看| 色中色综合| 99久视频| 天天狠狠综合精区| 久久受www免费人成| 亚洲无码11| 26uuu青青| 精品无码色| 丁香五月成人社区| 国产精品色婷婷99久久精品| 91Chinese在线| 色婷婷aV四虎| 99婷婷| 亚洲精品字幕| 欧美成人A片AAA片在线播放| 爱操人妻| www.91av.com| 色婷婷免费视频| 九九亚洲小视频| 久久9热| 伊人在线视频| 婷婷综合干| 在线国产精品色| 色色色无码| 91精品婷婷国产综合久久| 五月婷婷爽爽爽| av久热| 99久久久| 五月丁香综合啪啪| 婷婷五月天精品| 久久久久9999| 激情黄色五月天| 婷婷午夜精品久久久| 99五月香婷婷丁香在线视频| 久久久久激情| 丁香六月婷婷高清| 激情五月天激情小说| 在线婷婷| A片试看120分钟做受视频红杏| 五月开心久久| 99丁香五月婷| 丁香五月亚洲| 人妻久久久| 老师把我爽高潮了免费A片| 婷婷在线五月综合| 色播五月丁香综合| 色五月激情五月丁香五月婷婷啪啪综合 | www夜夜操wwwcon| 五月婷婷综合网| 久久久久久久8| AAA亚洲AV| 91人妻人人做人碰人人爽九色| 亚洲亚洲人成综合网络| 99久久五月天| 天天爽夜夜爽| 色99视频| 99久| 五月婷人妻| 亚州操人在线视频| 免费在线观看av网站| 婷婷激情五月天在线视频| 超碰99在线观看| 超级碰碰碰碰视频| 手机看片日日做夜夜| 99热这里只有精品22| 伊人玖玖网| 五月婷无码| 激情开心五月天| 热婷婷久| 午夜婷婷六月天| 人妻熟人中文字幕一区二区 | 99热这里有精品6| 色五月欧美| 丁香花狠狠婷婷亚洲中文字幕| 五月丁香天天| 成人av在线电影| 五月婷婷综合性爱噜噜| 天天日日天天| 色综合综合色| 香蕉大综综综合久久| 天天摸色吧天天摸色吧| 日本操天堂| 丁香五月激情六月| 久久XX| 丁香五月 无码| 婷婷五月视频| 国色天香成人网| 五月天伊人av| 97碰啪啪| 国产 亚洲 在线| 丁香五月色色| 玖色色综合| 91啪级电影| 玖玖色综合| 二色av| 日韩九九| 色狠狠狠干| 激情五月婷| 99热这里只有精品搜| av高清无码| 99热在线中文字幕| 96自拍视频九色在线观看| 中文字幕日韩无码制服诱或| 亚洲天堂爱爱| 91超碰在线观看| 另类小说五月天| 九九色中文| 亚洲AV网站在线观看| 五月丁香亭亭操逼| 久久婷.com| 先锋五月婷婷丁香草草| 99热欧美| 九九热这里只有精品首页| 五月天另类激情在线| 人人综合久| 久久婷婷五月天懂色| 亚洲婷婷五月天在线激情综合网| 99色在线观看视频| 99九九在线精品热动漫| 婷婷婷婷婷婷婷婷| 97五月久久丁香婷婷| 婷婷综合激情五月综合| 色激情五月| 欧美激情 日韩无码 婷婷 五月天 久久婷婷丁香五月一二三 | 激情综合婷婷久久| 五月四色婷婷| 一本到不卡高清DVD| www、色色色| seuuu婷婷| av性爱网站| 91九色欧美| 色婷婷小说| 婷婷六月开心网| 九九九九九九九热| 97成人视频| 婷婷综合97| 99精品激情| 久久人妻久久| 深爱激情AV| 性做久久久久久久免费看| 思思热再线视频| 国产人妻777人伦精品HD| 桃色伊人在线| 国外亚洲成AV人片在线观看| 婷婷伊人久久综合| www,setingting| 嫩草AV久久伊人妇女超级a| 99欧美热| 婷婷日日夜夜| 五月婷婷激情| 99在线精品免费视频| 国产精品香蕉| 97丁香婷婷| XX色综合| 婷婷激情五月综合丁香社| 99热在线看片| 五月丁香 啪啪| 激情综合网,婷婷| 成人亚洲精品久久久久 | 伊人玖玖精品| 99久热| 婷婷六月激情啪啪| 久久久噜噜噜www成人| 激情丁香五月婷婷| 天天人人综合| 91久久18| 九九無妻| 最新色色五月天| 思思热在线观看| 天天操夜夜爽歪歪| 九九综合色| 日碰日| 色久九| 色色综合色视频| 欧美顶级少妇做爰HD| 婷婷五月天视频| 中文字幕婷婷| 色婷婷基地| 五月婷婷官网色| 色99自拍| 久久久婷婷婷| 色五月激情五月| 操一区| 极品人妻VIDEOSSS人妻| 操操操Av| 99er免费在线观看| 影音先锋男人资源站一区二区| 六月婷婷综合| 亚洲第一色区| 思思热这里只有精品视频666| 国产精品24r| 五月婷婷激情| 五月天桃色深爱网| 婷婷五月天伦理| 九97免费视频| 狠狠爱综合网| 久久WW| 六月天丁婷婷| 久热久色| 欧美 日韩 成人| 五月婷婷视频| 99色在线观看视频| 亚洲VA在线| 俺也去婷婷五月天第五色| 色婷婷影音| 亚洲欧美在线观看| 热久久99热欧美国产亚洲| 色色色99韩| www..999热久| 色综合女人99| 任你爽免费视频| 怡红院一二三| 99re免费精品视频| 成人做爰A片免费看视频| 99超级碰碰| 丁香五月六月婷婷怡红院| 婷婷久久五月天亚洲欧美国产日韩在线观看| 色五月综合网站| 国产99久久久国产精品免费看| 久久人操| 婷婷五月天天天| 99热这里只有精品 搜| 久久久香| 91人人爽人人操| 久久婷婷七月丁香| 天天天天干| 热99在线| 亚洲va欧美va天堂v国产综合| www.婷婷,com|