欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

量化行情系統(tǒng)如何在極端行情下扛住爆倉(cāng)風(fēng)暴:延遲、數(shù)據(jù)一致性與故障自愈設(shè)計(jì)復(fù)盤

量化行情系統(tǒng)如何在極端行情下扛住爆倉(cāng)風(fēng)暴:延遲、數(shù)據(jù)一致性與故障自愈設(shè)計(jì)復(fù)盤 2月23日晚上九點(diǎn)多我正盯著比賽后臺(tái)的行情面板群里突然彈出一條監(jiān)控告警主行情鏈路延遲超過400毫秒。平時(shí)這個(gè)數(shù)字穩(wěn)定在20到30毫秒那一刻我第一反應(yīng)是“網(wǎng)絡(luò)抽風(fēng)了吧”但緊接著第二條告警跟著來了消息積壓隊(duì)列長(zhǎng)度突破一萬(wàn)然后第三條、第四條……那天晚上全網(wǎng)有13萬(wàn)人爆倉(cāng)我們這套參賽用的小數(shù)據(jù)系統(tǒng)硬生生扛住了整場(chǎng)風(fēng)暴。先交代下背景。我們小組參加的是那個(gè)面向加密量化團(tuán)隊(duì)的聯(lián)賽組隊(duì)三個(gè)月系統(tǒng)從采集層到策略層全是我們自己攢的。量化和傳統(tǒng)軟件開發(fā)有個(gè)特別不一樣的地方你寫的每一行代碼都在跟真金白銀和市場(chǎng)波動(dòng)打交道出了事沒有“回滾”這個(gè)按鈕因?yàn)樾星椴粫?huì)等你。所以那晚之后我一直在想為什么我們的系統(tǒng)能在這么大的壓力下沒倒運(yùn)氣占多少設(shè)計(jì)占多少?gòu)?fù)盤完最大的感受是所謂扛住了根本不是什么幸運(yùn)而是前面那些不起眼的防御性設(shè)計(jì)在關(guān)鍵時(shí)候一個(gè)個(gè)接住了子彈。1. 那個(gè)21點(diǎn)09分的警報(bào)行情引擎第一次亮紅燈那天晚上的行情現(xiàn)在回想依然覺得夸張。主流的幾個(gè)大幣種幾分鐘內(nèi)跌掉十幾個(gè)百分點(diǎn)山寨幣更不用說訂單簿上原來疊得整整齊齊的買盤賣盤像被抽掉地基一樣嘩啦啦塌掉。全網(wǎng)強(qiáng)制平倉(cāng)人數(shù)達(dá)到13萬(wàn)這意味著無(wú)數(shù)止損單、強(qiáng)平單在同一時(shí)間涌進(jìn)交易所的撮合系統(tǒng)市場(chǎng)流動(dòng)性瞬間被抽干。我們監(jiān)控面板上多個(gè)交易對(duì)的買賣價(jià)差從正常的0.1%一路拉到0.8%甚至更高盤口五檔價(jià)格像壞掉的電梯上上下下亂跳。如果是普通的行情軟件頂多是畫面卡頓、指標(biāo)失真。但對(duì)我們參加量化賽的一組選手來說行情數(shù)據(jù)是策略的糧食誰(shuí)先把干凈的糧食送到算法嘴邊誰(shuí)就能躲過這輪絞肉機(jī)。1.1 一晚上13萬(wàn)人爆倉(cāng)究竟意味著什么先說清楚“13萬(wàn)人爆倉(cāng)”這個(gè)數(shù)字背后的數(shù)據(jù)壓力。爆倉(cāng)潮最直接的表現(xiàn)是交易所的委托流和成交流瞬間放大數(shù)倍。我們訂閱了大約40個(gè)高流動(dòng)性交易對(duì)平時(shí)每條WebSocket鏈路每秒推送幾百條增量消息那天晚上直接沖破幾千條全局消息速率峰值大概是正常時(shí)段的10倍上下。聽起來10倍不算恐怖但行情消息有個(gè)特點(diǎn)單條體積小、頻率超高而且對(duì)順序極度敏感。10倍流量意味著事件隊(duì)列、序列化解析、內(nèi)存分配全部進(jìn)入高壓狀態(tài)任何一個(gè)環(huán)節(jié)出現(xiàn)瓶頸都會(huì)讓延遲從毫秒級(jí)惡化到秒級(jí)。更麻煩的是爆倉(cāng)強(qiáng)平的委托五花八門。有些是市價(jià)單直接吃掉整個(gè)盤口有些是限價(jià)單掛在明顯離譜的位置還有些成交回報(bào)里夾雜著部分成交、撤銷、被拒等狀態(tài)。訂單簿處理管線一旦遇到這些異常情況如果沒有嚴(yán)格的校驗(yàn)邏輯內(nèi)部狀態(tài)就會(huì)悄悄偏離真實(shí)行情。當(dāng)盤口深度本身就在劇烈變化時(shí)這種偏離幾乎是不可逆的——你手里的訂單簿看起來還在更新實(shí)際上已經(jīng)是一個(gè)“平行宇宙”策略基于它算出來的信號(hào)自然全是垃圾。1.2 爆倉(cāng)潮為什么是數(shù)據(jù)系統(tǒng)的壓力放大器把爆倉(cāng)潮單純理解為“行情變快”是不對(duì)的。我覺得它真實(shí)考驗(yàn)的是三個(gè)維度吞吐量、順序一致性、以及故障自愈能力。吞吐量考驗(yàn)的是系統(tǒng)能不能消費(fèi)掉瞬間涌入的行情消息。我們?cè)谠O(shè)計(jì)時(shí)估算過單條大幣種增量消息約200字節(jié)40個(gè)交易對(duì)峰值做到每秒5萬(wàn)條消息理論上要保證幾十兆每秒的解析能力。這個(gè)量級(jí)日常完全夠用可一旦遇到強(qiáng)平潮若消息處理線程池不夠隊(duì)列就會(huì)積壓內(nèi)存占用持續(xù)上漲最終觸發(fā)GC停頓或OOM。順序一致性則是更隱蔽的坑。行情增量消息自帶序列號(hào)我們的行情網(wǎng)關(guān)每次收到一批消息后都會(huì)檢查序列號(hào)是否連續(xù)。如果中間跳躍了說明丟包了必須觸發(fā)全量快照對(duì)賬而不是悶頭繼續(xù)處理。那天晚上就出現(xiàn)過一次序列號(hào)跳躍好在對(duì)賬機(jī)制自動(dòng)介入沒有讓臟數(shù)據(jù)流到下游。“自愈”則體現(xiàn)在網(wǎng)絡(luò)斷線、服務(wù)重啟這些故障場(chǎng)景中。很多系統(tǒng)平時(shí)跑得歡一遇到斷線重連就開始丟狀態(tài)重連完成后訂單簿還要花好幾秒重新構(gòu)建而這期間策略相當(dāng)于瞎了。我們預(yù)設(shè)了一套重連策略斷線后先拉全量快照再回放斷線期間積壓的增量重建完成前直接攔掉策略信號(hào)。不要小看這個(gè)操作它保證了輸出的信號(hào)要么準(zhǔn)確要么沒有絕不會(huì)給策略一個(gè)模棱兩可的中間態(tài)。2. 賽前系統(tǒng)設(shè)計(jì)一切為“降延遲”但更為了“不臟數(shù)據(jù)”很多做量化的朋友一上來就追求極致延遲恨不得把行情網(wǎng)關(guān)跟策略進(jìn)程綁在同一個(gè)CPU核心里。我們一開始也走過這條路但很快發(fā)現(xiàn)對(duì)大部分中頻選幣策略來說20毫秒和50毫秒的差別根本不影響盈虧真正影響盈虧的是數(shù)據(jù)錯(cuò)了。一套行情系統(tǒng)最重要的指標(biāo)不是“快”而是“可靠”。2.1 行情接入層全量增量雙通道為什么必須兩手都要抓我們的行情接入分兩條路一條是WebSocket推送通道負(fù)責(zé)實(shí)時(shí)增量一條是REST快照接口每隔2秒拉一次全量盤口用于對(duì)賬。這是業(yè)內(nèi)比較成熟的實(shí)踐做起來卻有不少細(xì)節(jié)。一開始我們也考慮過只依賴WebSocket增量推送覺得省事。但增量鏈路在長(zhǎng)期運(yùn)行下幾乎必然會(huì)丟消息網(wǎng)絡(luò)抖動(dòng)、服務(wù)端重啟、本地處理不及時(shí)原因太多了。一旦丟了一條訂單簿里某個(gè)價(jià)格檔位的數(shù)量就會(huì)永遠(yuǎn)對(duì)不上之后所有基于這個(gè)訂單簿計(jì)算的指標(biāo)都會(huì)帶偏差。最可怕的是這個(gè)偏差不會(huì)自動(dòng)修復(fù)它會(huì)在你看不見的地方慢慢侵蝕策略信號(hào)。所以我們強(qiáng)制每2秒做一次全量對(duì)賬把本地訂單簿和交易所快照進(jìn)行哈希比對(duì)一旦不一致立刻觸發(fā)重同步。對(duì)賬機(jī)制的實(shí)現(xiàn)也有講究。不能在一個(gè)線程里既處理增量又處理快照否則順序就亂了。我們用序列號(hào)做關(guān)卡快照消息只有在它的序列號(hào)大于當(dāng)前已處理序列號(hào)時(shí)才會(huì)被接受并重置本地訂單簿否則直接丟棄。這個(gè)邏輯聽起來簡(jiǎn)單但在高并發(fā)、多交易對(duì)并行時(shí)要仔細(xì)處理鎖競(jìng)爭(zhēng)我們用了一個(gè)全局槽位鎖的變體設(shè)計(jì)讓每個(gè)交易對(duì)獨(dú)立比較互相不拖累。增量消息的解析我們也沒有用現(xiàn)成的JSON解析器直接全套上陣。JSON在常規(guī)場(chǎng)景下沒問題但極端行情下字符串解析和對(duì)象創(chuàng)建帶來的CPU開銷和內(nèi)存碎片會(huì)被放大。比較穩(wěn)妥的做法是使用帶緩沖的二進(jìn)制解析器提前分配好對(duì)象池不做無(wú)謂的內(nèi)存申請(qǐng)。這可能讓你少寫不少“看上去很爽”的靈活代碼但換來的穩(wěn)定性非常值。2.2 計(jì)算與風(fēng)控層寧可慢20毫秒不做裸算行情網(wǎng)關(guān)解包之后數(shù)據(jù)去哪里我們的答案是絕不直接在網(wǎng)關(guān)線程里算指標(biāo)所有計(jì)算邏輯都放到獨(dú)立線程池。這樣做的原因有兩個(gè)安全與隔離。行情網(wǎng)關(guān)如果被計(jì)算邏輯拖住積壓?jiǎn)栴}會(huì)迅速上拋?zhàn)詈笳麄€(gè)鏈路雪崩而獨(dú)立線程池則意味著計(jì)算慢一點(diǎn)無(wú)所謂不會(huì)反過來阻塞消息接收。在這個(gè)線程池里我們實(shí)時(shí)維護(hù)每個(gè)交易對(duì)的狀態(tài)并計(jì)算幾個(gè)核心指標(biāo)。這里必須提一個(gè)關(guān)鍵詞置信度。市場(chǎng)劇烈波動(dòng)時(shí)任何指標(biāo)都可能產(chǎn)生尖峰比如訂單簿深度不足時(shí)算出來的“加權(quán)買賣壓力”其實(shí)毫無(wú)意義。我們給每個(gè)指標(biāo)附加了一個(gè)質(zhì)量標(biāo)簽如果當(dāng)時(shí)盤口深度低于某個(gè)閾值或者價(jià)差超過歷史分布的P99.5分位該指標(biāo)會(huì)被標(biāo)記為“不可用”策略端拿不到任何新信號(hào)。寧可不出信號(hào)不可出假信號(hào)。這句話在后來的復(fù)盤中被反復(fù)提到。很多系統(tǒng)不是被行情打死而是被一個(gè)冒似正常、實(shí)際已經(jīng)失真的信號(hào)害死。置信度機(jī)制就是把這層保護(hù)焊死。2.3 持久化與事后復(fù)盤行情數(shù)據(jù)怎么留下可追溯的證據(jù)比賽那晚整個(gè)系統(tǒng)每秒都在產(chǎn)生海量行情消息如果不做存儲(chǔ)事后復(fù)盤就只能靠記憶和猜測(cè)。我們的方案比較樸素MySQL存業(yè)務(wù)狀態(tài)ClickHouse存行情明細(xì)。ClickHouse的列式存儲(chǔ)和批量寫入特性讓它在高頻append場(chǎng)景下表現(xiàn)得非常從容。每天晚上我們還會(huì)額外把當(dāng)天每個(gè)交易對(duì)的訂單簿快照鏈壓縮存檔。這個(gè)過程看似浪費(fèi)存儲(chǔ)卻是復(fù)盤最有力的武器——當(dāng)你想知道“那一刻到底發(fā)生什么”只有快照能告訴你。沒有它所有的復(fù)盤都會(huì)變成“我覺得當(dāng)時(shí)盤口怎樣怎樣”。當(dāng)然剛上線時(shí)我們犯過一個(gè)錯(cuò)誤為了省磁盤把增量日志直接丟棄只保留分鐘級(jí)聚合數(shù)據(jù)。后來一次普通的策略回測(cè)中我們發(fā)現(xiàn)指標(biāo)出現(xiàn)異常卻沒有任何底層數(shù)據(jù)能追溯到根因只能推倒重來。那次之后我們就學(xué)乖了紅盤數(shù)據(jù)可以丟原始行情絕不能隨便丟。3. 當(dāng)晚的防御動(dòng)作熔斷、降級(jí)與手動(dòng)干預(yù)的邊界預(yù)警機(jī)制的作用不是讓系統(tǒng)自動(dòng)解決一切問題而是在第一時(shí)間告訴值班員“出事了決策時(shí)間開始倒計(jì)時(shí)”。那天晚上我們的防御體系大概分成了三層監(jiān)控告警、自動(dòng)切換、手動(dòng)決策。每一層都有明確的動(dòng)作邊界這些邊界不是現(xiàn)場(chǎng)拍腦袋定的而是賽前演練里一遍遍錘出來的。3.1 警報(bào)閾值不是靠拍腦袋定的監(jiān)控閾值設(shè)太靈敏天天狼來了值班員會(huì)麻木設(shè)太遲鈍警報(bào)來了可能已經(jīng)晚了。我們最終采用了一套三級(jí)閾值每一級(jí)對(duì)應(yīng)不同的響應(yīng)動(dòng)作。等級(jí)觸發(fā)條件響應(yīng)動(dòng)作觀察級(jí)主鏈路延遲超過100ms或消息速率超過均值2倍推送工作群觀察1分鐘警告級(jí)延遲超過300ms且持續(xù)3秒或消息吞吐超過均值5倍技術(shù)值班員立即確認(rèn)數(shù)據(jù)是否新鮮關(guān)閉非核心模塊危急級(jí)延遲超過500ms或訂單簿重建連續(xù)失敗3次隊(duì)長(zhǎng)拍板切換備用行情源策略信號(hào)強(qiáng)制掛起這里有個(gè)數(shù)據(jù)要知道延遲閾值不是從文檔里抄的而是用監(jiān)控歷史回放分析得出的。我們把過去一個(gè)月的網(wǎng)絡(luò)延遲分布調(diào)出來找到P95和P99分位數(shù)再疊加上“如果是真正災(zāi)難行情”的估計(jì)值最終設(shè)定出100ms、300ms、500ms三檔。這樣能保證平時(shí)不會(huì)誤報(bào)真到關(guān)鍵時(shí)刻又不會(huì)漏報(bào)。3.2 應(yīng)對(duì)決策鏈誰(shuí)有權(quán)力切備用鏈路自動(dòng)切換和手動(dòng)干預(yù)兩者之間有嚴(yán)格的邊界。我們只對(duì)“無(wú)狀態(tài)故障”做全自動(dòng)切換比如主行情鏈路連接中斷、協(xié)議握手失敗這類問題特點(diǎn)就是狀態(tài)干凈切過去再補(bǔ)個(gè)快照就行。但“連接還在延遲異常數(shù)據(jù)疑似亂序”這種有狀態(tài)故障絕不能自動(dòng)切因?yàn)榍袚Q過程本身可能會(huì)引入重復(fù)或亂序的數(shù)據(jù)讓下游更加混亂。那天晚上主鏈路先是延遲升高隨后數(shù)據(jù)新鮮度開始波動(dòng)。我們等了幾秒確認(rèn)不是瞬時(shí)抖動(dòng)后隊(duì)長(zhǎng)拍板切到備用行情源整個(gè)過程大概花了6秒。這6秒如果發(fā)生在平時(shí)策略會(huì)短暫沒有新信號(hào)但不會(huì)犯錯(cuò)誤。放在那種瀑布行情里暫停6秒遠(yuǎn)遠(yuǎn)好過拿著舊數(shù)據(jù)硬算。為了不讓值班三人組同時(shí)改配置文件我們預(yù)約了明確的“單一決策人”機(jī)制。切源之前隊(duì)長(zhǎng)在語(yǔ)音里說一句“我準(zhǔn)備切了”其他人只負(fù)責(zé)確認(rèn)監(jiān)控面板不允許同時(shí)操作。聽起來像軍事化管理但極端行情下最怕的就是幾個(gè)人手忙腳亂誰(shuí)都覺得該做點(diǎn)事結(jié)果越搞越亂。3.3 那晚我們做對(duì)了的幾次關(guān)鍵降級(jí)降級(jí)不等于擺爛而是把資源投向最要緊的地方。那晚我們一共做了四次主動(dòng)降級(jí)每一次都是提前寫進(jìn)預(yù)案里的。第一次直接關(guān)掉了資金費(fèi)率套利、歷史波動(dòng)回放、費(fèi)率和資金費(fèi)率監(jiān)控等非核心模塊。這些模塊平時(shí)也在吃CPU和內(nèi)存但在生死關(guān)頭它們完全可以延期執(zhí)行。我們把進(jìn)程優(yōu)先級(jí)調(diào)高給核心信號(hào)計(jì)算讓路。第二次對(duì)行情源設(shè)置了“冷靜期”。如果某個(gè)交易所連續(xù)三次心跳超時(shí)就強(qiáng)制斷開連接等待60秒再嘗試重連。這個(gè)設(shè)計(jì)是為了防止臟數(shù)據(jù)無(wú)休止地重連、斷開、再重連——每重連一次都是災(zāi)難性的狀態(tài)重置。你那幾條數(shù)據(jù)鏈路看著還活著其實(shí)已經(jīng)死了這時(shí)候必須等真正的冷卻期走完。第三次手動(dòng)把回測(cè)數(shù)據(jù)庫(kù)的寫入暫停。我們預(yù)留了一臺(tái)獨(dú)立的回放服務(wù)器日常會(huì)把實(shí)時(shí)行情同步給它方便隨時(shí)回放和實(shí)驗(yàn)。但當(dāng)天晚上我們臨時(shí)把它降級(jí)為只接收暫不寫入給主進(jìn)程的磁盤IO讓路。這個(gè)操作省出來不少資源也避免了磁盤繁忙導(dǎo)致主線程卡頓。第四次也是最重要的一次對(duì)策略端實(shí)施“信號(hào)掛起”不讓它開新倉(cāng)。比賽里的倉(cāng)位是虛擬的但我們依然按照實(shí)戰(zhàn)標(biāo)準(zhǔn)來處理寧可錯(cuò)過后面的反彈也不在數(shù)據(jù)不確定時(shí)冒險(xiǎn)開單。事后證明這個(gè)選擇幫我們躲開了當(dāng)晚至少兩波假信號(hào)。4. 復(fù)盤清單扛住那晚的三個(gè)關(guān)鍵選擇與兩個(gè)未爆的雷比賽結(jié)束后我們把整個(gè)流程復(fù)盤了一遍認(rèn)真梳理了哪些設(shè)計(jì)在關(guān)鍵時(shí)候立了功哪些隱患雖然沒爆卻值得警惕。4.1 關(guān)鍵選擇一用獨(dú)立的行情網(wǎng)關(guān)進(jìn)程隔離故障我們當(dāng)時(shí)把行情接入、數(shù)據(jù)處理、策略決策拆成了三個(gè)獨(dú)立進(jìn)程用消息隊(duì)列連接。這讓運(yùn)維變得麻煩一點(diǎn)但換取的是故障隔離——即使行情網(wǎng)關(guān)因?yàn)樯嫌螖?shù)據(jù)異常耗盡內(nèi)存也只會(huì)導(dǎo)致網(wǎng)關(guān)自己崩潰重啟數(shù)據(jù)庫(kù)和策略進(jìn)程不受影響。比賽期間真的發(fā)生過一次由于上游推送異常導(dǎo)致的網(wǎng)關(guān)OOM主交易進(jìn)程完全沒受影響系統(tǒng)自動(dòng)重啟了網(wǎng)關(guān)幾秒后恢復(fù)正常運(yùn)行。如果你做不到進(jìn)程級(jí)隔離至少也要做到線程池隔離。最忌諱的就是把所有邏輯塞進(jìn)一個(gè)進(jìn)程里的同一組線程那樣一個(gè)模塊出事整個(gè)系統(tǒng)陪葬。4.2 關(guān)鍵選擇二消息格式里的序列號(hào)缺口檢測(cè)這條可能是全場(chǎng)最有價(jià)值的一行代碼。我們的每條行情增量消息都自帶單調(diào)遞增的序列號(hào)行情網(wǎng)關(guān)收到后第一件事不是解析內(nèi)容而是檢查序列號(hào)是否連續(xù)。一旦發(fā)現(xiàn)跳躍超過1說明中間丟了消息立刻觸發(fā)全量重同步而不是繼續(xù)拿著殘缺數(shù)據(jù)算下去。這里有個(gè)常見誤區(qū)看到序列號(hào)不連續(xù)就想當(dāng)然地去“補(bǔ)數(shù)”。其實(shí)補(bǔ)數(shù)往往補(bǔ)錯(cuò)因?yàn)槟悴恢纴G失區(qū)間里到底發(fā)生了什么盲猜出來的盤口狀態(tài)比不更新更危險(xiǎn)。正確做法永遠(yuǎn)是重置拉快照重新開始。當(dāng)然我們也遇到過交易所的序列號(hào)在服務(wù)端重啟后清零的情況。這種時(shí)候不能靠序列號(hào)判斷必須對(duì)照快照時(shí)間戳和業(yè)務(wù)id做二次校驗(yàn)。這些都是踩過坑才明白的。4.3 關(guān)鍵選擇三比賽前的“混亂演習(xí)”賽前兩周我們做過一次模擬極端行情的災(zāi)難演練。當(dāng)時(shí)直接把消息推送速度調(diào)到平時(shí)的15倍同時(shí)砍掉部分盤口深度還模擬了強(qiáng)制平倉(cāng)事件流。第一次演練的結(jié)果慘不忍睹系統(tǒng)在5分鐘內(nèi)內(nèi)存飆到90%訂單簿重建一直失敗監(jiān)控面板上一片紅。之后我們連夜定位根因修了三個(gè)明顯的瓶頸一是哈希表擴(kuò)容時(shí)造成全線程停頓換成了預(yù)分配大表方案二是磁盤日志寫得太頻繁CPU大量耗在系統(tǒng)調(diào)用上改成異步日志批量刷盤三是事件隊(duì)列無(wú)界導(dǎo)致內(nèi)存上漲換成了有界隊(duì)列加上背壓策略。第二次演練就順暢多了。如果賽前沒有做過這種“往死里打”的演習(xí)2月23日那天我們的結(jié)局大概率不是“扛住”兩個(gè)字而是“系統(tǒng)集體崩潰后在群里發(fā)通告”。演習(xí)不是走形式它是唯一能讓你在真實(shí)風(fēng)暴來臨前發(fā)現(xiàn)薄弱環(huán)節(jié)的機(jī)會(huì)。4.4 未爆的雷下一次可能擊中我們的暗礁復(fù)盤不能只看功勞簿還得看看哪些雷沒爆只是運(yùn)氣好。我們梳理出兩個(gè)至今沒有完美解決的點(diǎn)。第一個(gè)是單點(diǎn)依賴。雖然我們準(zhǔn)備了備用行情源但兩個(gè)行情源都來自同一家服務(wù)商只是網(wǎng)絡(luò)入口不同。萬(wàn)一服務(wù)商整體故障我們的雙路備份就形同虛設(shè)。后面考慮接入第三方獨(dú)立行情源做交叉校驗(yàn)但成本、延遲和維護(hù)復(fù)雜度都得重新權(quán)衡目前還沒落地。第二個(gè)是進(jìn)程重啟恢復(fù)時(shí)間太長(zhǎng)。如果承載訂單簿的進(jìn)程掛了恢復(fù)時(shí)必須先拉快照再回放增量實(shí)測(cè)大概需要90秒。在指數(shù)級(jí)別波動(dòng)的幾十秒里這個(gè)恢復(fù)時(shí)間簡(jiǎn)直是一個(gè)世紀(jì)。下一步想給進(jìn)程設(shè)計(jì)一個(gè)“只讀模式”允許它在恢復(fù)期間先以輕量方式觀察行情、暫不發(fā)單同時(shí)把恢復(fù)過程做成更細(xì)粒度的斷點(diǎn)續(xù)傳期望把恢復(fù)時(shí)間壓縮到10秒以內(nèi)。這兩個(gè)雷這次沒炸不代表下次不炸但至少我們已經(jīng)知道它們埋在哪里了。5. 如果你也想組一套抗極端行情的行情系統(tǒng)這些建議請(qǐng)收好很多朋友賽后問我你們這套系統(tǒng)能不能直接抄抄是可以抄但比抄更重要的是把設(shè)計(jì)背后的思路變成自己的。結(jié)合這次參賽經(jīng)驗(yàn)我整理了幾條可能幫助你少走彎路的建議。5.1 用“爆倉(cāng)事件”反推需求清單不要一上來就悶頭寫代碼。先坐下來把你最害怕的九個(gè)場(chǎng)景列出來。比如行情源突然斷開10秒怎么辦訂單簿錯(cuò)亂卻還沒被發(fā)現(xiàn)怎么辦核心進(jìn)程崩潰后恢復(fù)要多久連續(xù)三筆信號(hào)抖動(dòng)怎么辦值班的人手不夠怎么辦把這些場(chǎng)景一條條寫清楚系統(tǒng)設(shè)計(jì)自然就有了優(yōu)先級(jí)。我們當(dāng)初的需求表里“數(shù)據(jù)新鮮度檢查”排在“極致低延遲”前面“故障自動(dòng)恢復(fù)”排在“更多技術(shù)?!鼻懊?。這就是爆倉(cāng)事件反推出來的結(jié)果你最怕的事就是系統(tǒng)最需要防御的環(huán)節(jié)。5.2 日常備災(zāi)演練不能只在出事當(dāng)天才祈禱強(qiáng)烈建議每?jī)芍茏鲆淮伟胩焱暾膲毫胤叛萘?xí)。不是嘴上說“應(yīng)該沒問題”而是真的用歷史極端行情數(shù)據(jù)回放一遍全鏈路。演習(xí)時(shí)除了看技術(shù)指標(biāo)也要看人的決策速度。假設(shè)警報(bào)響了你不知道先看哪個(gè)面板或者預(yù)案里“重新同步訂單簿”這一步?jīng)]來得及執(zhí)行那下次真出事的時(shí)候你大概率會(huì)重復(fù)同樣的錯(cuò)誤。我們每次演習(xí)后都會(huì)輸出一份簡(jiǎn)短清單哪些環(huán)節(jié)順手哪些環(huán)節(jié)卡頓然后下輪迭代優(yōu)化。這個(gè)“演習(xí)—復(fù)盤—修正”的循環(huán)才是系統(tǒng)逐漸變硬的根本原因。5.3 少走彎路的幾個(gè)小細(xì)節(jié)最后分享幾個(gè)看起來不起眼但很要命的細(xì)節(jié)。日志里的時(shí)間戳必須帶毫秒級(jí)精度并且要記錄消息的序列號(hào)這樣復(fù)盤時(shí)才能精確對(duì)齊事件順序。如果時(shí)間戳只精確到秒事后排查兩個(gè)鏈路誰(shuí)先誰(shuí)后根本無(wú)從談起。價(jià)格和數(shù)量這類字段盡量用整數(shù)最小單位存儲(chǔ)不要用浮點(diǎn)數(shù)。浮點(diǎn)數(shù)的精度損失在平時(shí)不會(huì)暴露但極端行情下價(jià)格分開算和合并算會(huì)出現(xiàn)莫名其妙的誤差最后查半天發(fā)現(xiàn)是精度問題。行情消息的序列化格式能用二進(jìn)制就盡量別用純文本。極端行情下序列化和解析的CPU成本是實(shí)實(shí)在在的省下來這一點(diǎn)關(guān)鍵時(shí)刻可能就是決定勝負(fù)的那幾毫秒。還有一個(gè)容易被忽略的坑給WebSocket加上心跳成功率和字節(jié)數(shù)監(jiān)控。因?yàn)樽钗kU(xiǎn)的情況不是連接徹底斷開而是“連接好像還活著可數(shù)據(jù)已經(jīng)不新鮮了”。這種模糊狀態(tài)最消耗決策時(shí)間如果沒有心跳監(jiān)控你會(huì)誤以為一切正常?;乜?月23日那一晚我認(rèn)為最值得記住的不是我們最終取得了多好的名次而是整個(gè)團(tuán)隊(duì)在高壓下仍然保持冷靜、按預(yù)案行動(dòng)的狀態(tài)。行情系統(tǒng)和人一樣真正扛住大災(zāi)大難的底氣從來不是臨場(chǎng)發(fā)揮而是日常那些無(wú)聊的、重復(fù)的、不浪漫的準(zhǔn)備。把故障枚舉得足夠多把預(yù)案執(zhí)行得足夠熟等風(fēng)暴真來了你才有資格說一句這次我們扛住了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
玖玖婷婷五月| 国产成人精品一区二三区熟女在线| 色99在线观看| 99精品在线| 九九aV| 这里只有精品视频| 99热这里只有精品首页| 综合久久久| 丁香五月婷婷啪| 激情性爱五月天| 色五月成人| 91久久| 色99在线视频| 激情五月天婷婷| 九九视频这里只有精品| 五月婷婷影院| 岛国AAAV| 夜色综合网| 丁香六月婷婷综合欧美| 丁香婷婷色五月| 天天人人综合| 天天艹天天色| 天天干夜夜谢| 久婷| 五月丁香综合网| 国产亚洲成AV人片在线观黄桃| 青草视频在线播放| 色色色色色九九九九九| 五月婷婷婷综合网| 日日操夜夜擼| 婷五月天| 亚洲国产成人在线| 开心婷婷五月花| 婷婷五月综合在线视频| 玖玖精品视频| 综合色色网| 色色色色综合网| 激情五月久久| 91碰碰视频在线观看| 久久精品天| 婷婷丁香综合| 五月总合激情网| 亚洲99激情| 婷婷丁香五月六月激情| 亚洲美女网Va| 99这里都是精品| 日韩精品AV一区二区三区| 亚洲无码影音| 97AV在线视频| 五月天婷婷久久综合| 综合色色色色色色| 婷婷六月啪啪| 91碰免费视频| 99在线播放视频| 六月丁香成人| 99精品大片| 国产精品色色| 日本久久99| 99久热视频在线| 91丁香| 超碰久热| 亚洲最大五月天成人网| 九九人人操| 欧美交换配乱吟粗大25P| 99碰碰。| 99久在线精品99re8| 色五月激情五月丁香五月婷婷啪啪综合 | 玖玖在线视频福利| 五月激情婷婷开心| 五月婷综合| 操操综合网婷婷| 久久婷婷五月综合成人d啪| 综合五月草| 五月天婷婷激情春色小说| 久久人妻精品| 国产午夜精品一区二区三区嫩草| 日韩AV在线免费观看| 99综合视频在线| 在热视频精品| 老司机伊人| 欧美午夜乱妇午夜福利| 一本久道综合色婷婷五月| 色亚洲视频| 俺也去在线视频| 色综合com| 丁香五月花| 97干在线看| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 二级黄色毛片| 婷婷六月色情| www.婷婷五月| 久久丁香婷婷五月| 热这里| 99热日韩| 丁香九色不卡aaa| 99精品无码视频| 亚洲狠狠干| 六月丁香啪啪啪| 99热在线播放精品| 色一区高清| 夜夜操天天干| www.色五月| 91狠狠色色丁香婷婷综合久久| 天天色天天爱天天舔| 久久人妻人人| 96精品成人无码A片观看金桔| 激情九九六月激情免费视频| 激情五月天色婷婷综合| 婷婷久久色| 五月婷婷 自拍| 亚洲婷婷丁香五月在线| 国产精品色色| 婷婷五月综合网| 色情五月综合婷婷| 中文字幕天天干| 女人天堂av| 超碰猛烈的性猛交| 人人操91色| site:esunnet.com| 综合久久99| 五月婷婷亚洲综合在线 | 亚洲成人av在线| 中文不卡一二区| 色色色999| 日本天堂网站99| 五月天亚洲最大成人| 五月天久久综合| 久久精99| 一级A片天天操夜夜操| 成人短视频在线观看| 91人人爽人人操| 开心五激情网| 99综合| 大香蕉婷婷丁香| 婷婷五月天BBw| 啪啪综合网| 久久久久8888| 丁香婷婷激情六月五月开心| www.韩日视频| 五月丁香六月花| 99在线观看精品视频| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 丁乡久久| 色五月亚洲| 在线中文AV| 成人噜噜网| 天天天天天操| 五月停停999| 丁香五月天堂| 97超级啪啪在线观看| 99这里只有精品视频在线| 日本成人综合| 狠婷婷五月| 亚洲色五月| 婷婷丁香激情综合色情| 久操福利| 97碰久久| 激情久久综合| 五月天激情影院| 26uuu欧美| 日韩有码一区| 99re热视频这里只精品| 九九色黄色| 白天AV月月| 丁香九月激情| 激情的五月婷婷蜜桃| 在线看片av| 色综合香蕉| 26UUU欧美| 超碰国产一区| 26uuu另类| 国产无遮挡又黄又爽免费网站| 狠狠色狠狠干| 人人操av| 五月婷婷激情色情网| 99热综合| 99热这里有精品24| 91 九色大美女| 精品网站99| 国产成人+综合亚洲+天堂| 夜夜夜天天操| 人人操AV| 99操逼| 人人人舔人人人操人人人摸人人人97| 五月婷婷久久爱| 狠色色狠网| 91热在线观看视频| 开心婷婷五月| 99热丁香五月| 中文久久婷婷| 亚洲旡码| 亚洲综合色网| 婷婷丁香五月天欧美| 97av在线视频| 国产精品色色色色| 婷婷五月另类网站| 可以直接看的av| 久婷自拍视频| 久超超碰| 六月丁香花婷婷| 性爱视频久久| 南京搡BBBB搡BBBB| 男女av免费看| 五月综合在线| www.99精品视频| 久色大| 人妻久久婷婷| 天天日日夜夜| 狠狠狠狠操| 亚洲无码性爱| 丁香五月天视频| 欧美激情中文字幕| 玖玖爱资源站| 久久aaa| 狠狠精品干练久久久无码中文字幕 | 久久久久婷婷| 五月丁香在线视频观看| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 69精品人人人人| 亚洲五月综合色播| 日韩AV在线免费| 99热这里只有精品66| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 国产永久一二一起草| 中文字幕视频色婷婷| 婷婷五月天激情丁香| 九九99男女视频在线观看| 成人丁香色| 玖玖国产视频一区| 大香伊人久色| 久久hd| 97色碰| 欧美日韩中文国产一区发布| WWW五月| aaa久久| 天天狠狠夜夜狠狠2023| 五月丁香婷婷中文网| 丁香五月婷婷激情完整版| 97在线刺激| 思思热天天看| 草榴视频黄色网| 丁香五月先锋| 欧美美女国产日韩一区二区久 | 亚洲成人超碰| 性无码专区无码| 夜夜撸日日骑| 91黄操| 色综合色| 色婷婷久综合久久一本国产AV| 操97免费超级视频| 免费视频WWW在线观看网站| 新精品99| 亚洲精久久| 中文字幕网伦射乱中文| 五月天停婷基地| 婷婷色亚洲| 午夜伊人大香蕉| 网站免费一站二站| 色色综合日韩| 国产激情在线观看| 狠狠干狠狠干| 五月天婷婷久久视频| 婷婷久月| 婷婷丁香精品视频在线观看| 色五月天丁香| 国产精品婷婷午夜在线观看| 丁香六月婷婷综情欧美| 六月婷婷AV| 开心激情综合| 五月婷婷五月| 青青草蜜臀| 丁香97综合| 久久XX| 久久人妻系列| 激情五月天婷婷图| 婷婷激情啪啪| 国产精品18久久久| 成人AV中文字幕| 丁香五月婷婷啪| 开心久久网婷婷| 狠狠综合网| 丁香五月六月| 99久久综合网| 狠狠香蕉| 玖玖综合玖玖| 女人被躁到高潮嗷嗷叫小| 激情第四色| 六月丁香射婷婷欧美色图片 | 亚洲第一综合| 99精彩视频在线观看| 色久影院| yirenjiqingshiping| www99热| 天天操夜夜橾| 色五月在线| 97色啪| 99久久久久| 99免费| 色色网站在线免费观看视频| 激情五月天啪啪| 久久R激情| 操操啪| 99热在线这里| 先锋男人99资源| 182TV大香蕉| 国产熟妇乱子伦hd| 色偷偷五月天| 五月丁香激情四射| 夜夜操天天干| 欧美噜一噜| 在线中文字幕视频| 成人AV综合在线| 99热| 狠狠操综合| 色丁香影院| 五月婷婷播| 欧美激情综合色综合啪啪五月| 久久婷婷丁香花综合网| 丁香五月天啪啪| 日本三级中文字幕| 九九激情| 九九精品网| hd五月婷婷在线| 久久97| 色五月婷婷大香蕉| 五月婷av| 婷婷字幕在线| AV成人在线网站| 色色色综合网| 久色网| 青青草原伊人网| 国产日日操夜夜操的肉棒视频| 五月伊人综合| 婷婷五月天色| 99人碰碰碰| AVV黄| 国产亚洲AV人片在线| 99婷婷| 色噜噜婷婷| 91久久九久久九久久九久久九久久| 99成人无码| 五月天婷婷在线啪啪视频| www.91色| 97精品自拍| www,色综合| 99re资源在线视频导航| 国产成人精品一区二三区熟女在线| 99re这里| 囯产精品久久欠久久久久久九大| 色婷婷久久综合中文久久一本| 人人综合久| 天天日天天插| 九九热最新| 天天日,天天射,天天舔| 深爱五月日韩| www一区二区三区| 婷婷五月天激情视频| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 婷婷五日b| 久热只有这里有精品| 91色色色| 婷婷丁香五月天哟啪| 日本三级中国三级99| 人人干女人| 色99超碰| 激情五月丁香色色去久久| 激情五月狠狠喔| 久久五月婷综合| 国产,欧美,学生妹,视频| 99免费视频| 婷婷丁香六月| 国产偷人爽久久久久久老妇APP| 亚洲乱码日产精品BD| 最近免费中文字幕大全高清大全1 免费看欧美成人A片无码 | 亚洲美女裸体被操在线观看| 99婷婷色| 2017狠狠干| 色女人久久| 丁香六月啪啪啪| www,久久久| 婷婷六月色开| 激情美女五月天| 婷婷久久婷婷色五月| 五月天婷婷色紫薇阁| WwW天天干| 五月天激情开心网| 俺去也五月| 婷婷五月天天爽| 香蕉操亚洲| 婷婷综合网| 久久99综合| 九九RE视频在线精品| a网站免费观看| 老美AA片| 五月婷婷丁香综合,亚洲天堂| 99热 在线播放| 久久99大全| 五月丁香琪琪| 色色色精品无码区| dingxiangtingtingliuyue| 四色AVwww| 26UUU精品一区二区| 色综合中文| 丁香婷婷社区| 日日噜噜夜夜狠狠久久丁香五月| 午夜福利8055| 性一交一乱一交A片久久四色| 婷婷五月天改成什么了| 五月天激情美女久久| 天天高潮夜夜爽| 五月婷婷深深爱| 五月婷婷啪| www久久久| 国产内射婷婷| 91 原创 在线 九色| 超碰在线国产| 操逼在线视频| 另类小说色婷婷| 99操99| 丰满女老板BD高清A片| 婷婷五月综合丁香久久| 午夜激情婷婷| 色五月天成人在线| 久久人妻精品| 99激情视频| 久久九九Com| 性爱五月丁香| site:picc-up.com| 五月天亭亭俺也| 中文字幕在线不卡| 99久久99综合| 玖玖精品婷婷| 色爱99| 婷婷日日夜夜| 色五月在线观看| 亚洲黄网AV| 超碰网站在线观看| ,99视频久久| 日日日日操| 亚洲综合网 665566| 国产av天堂| 91趴趴| 金桔一区二区ab地址| 天天色天天舔天天爱天天爽| 大香蕉九操| 欧洲MV日韩MV国产| 综合99视频| 色综合播放| 婷婷五月丁香六月综合网| 99热这里是精品| 亚洲成人在线在线| 在线成人网址| 久久久久99精品成人片| 丁香五月影视| 五月婷婷丁香日韩在线| 久碰久操| 婷婷色av| 99色色| 丁香五月久久社区| 青青夜夜狠狠夜夜狠狠| 99热在线观看| 久久精品无码一区| 啪啪一区| 色色色无码| 九九99精品| 玖色色综合| 色99亚洲| 26uuu丁香婷婷五月| 国产肥白大熟妇BBBB视频| 五月婷婷综合影院| 91操操操| 九九五月天| 亚洲欧美成人在线观看| 婷激情五月天视频导航| 天天插天天插| 黄色AAAA韩国guochansanji| 色五月婷婷五月丁香五月激情五月视频| 夜夜干夜夜操| 国产乱子轮XXX农村| 婷婷中文无码| 婷婷五月天精品| 狠狠色色| 人人97碰| 99亚洲精品视频| 亚洲妇女熟BBW| 人人九色| 九九精品在线观看视频6| 久热这里只有| 激情99热| 五月激情综合美女久久| 9久热精品在线视频| 91ncom.色| 激情综合色婷婷六月天| 久草热8精品视频在线观看| 久久99精品九九久久久婷婷| 久久久天天啊| 欧美日本不卡黄色片| 天天做综合| 美女网黄| 99人人操| 79色色色色| 99欧美| 丁香大香蕉| 五月天激情久久| 日木WWW视频| 九九熱最新視頻| www,com,五月色色| 激情五月天婷婷丁香| 91dy.av| 丁香五月成人社区| 99久久久久久| 丁香六月婷婷久久综合| 色99视频| 亚洲天堂久久| 激情四射网| 超级碰91| 久久五月综合| 狠狠操狠狠色| 国产五月天激情小说| 强伦轩人妻一区二区电影| 五月婷婷丁香六月| 狠狠干在线| 久久曰9| 一區四區歐美日韓| 爱射综合| 五月婷婷丁香成人网| 伦乱天堂| 五月婷婷中文字幕| 中文成人在线| 五月丁香人妻| 丁香六月婷婷综合缴| 嫩草视频。| 五月婷婷伊人久久| 亚洲视频一区| 天天日夜夜夜操操操操| 少妇2做爰HD韩国电影| eeuus五月婷| 婷婷六月啪啪| 国产成人网址| 热久久99热欧美国产亚洲| 97在线/亚洲| 五月激情在线| 欧美丁香五月| 天天爽天天| 性爱网六月丁香| 五月天婷婷影院影院观看| 婷婷五月天久| 裸体美女丁香五月天。| 婷婷五月丁香A∨| 天天爽,夜夜爽| 久草视频大香蕉99| 亭亭五月色男人| 激情精品久久| 情久久综合五月天| 九9九9无码| 亚洲第一综合| AV成人在线播放| 日韩另类在线观看| 色欲九区| 玖玖在线视频| 五月婷婷高清| 五月婷婷啪啪| 天天天天天操| 五月婷婷av在线| 狠狠干五码| 91久女| www激情com| 激情性爱婷婷| 婷婷丁香十月| 91艹人| 97碰碰在线看视频免费| 国产精品久久..4399| 99精品在线| 色婷婷六月| 97se视频在线| 爆乳熟妇一区二区三区爆乳| 9+1视频网址| 久久婷婷五月国产色综合激情| 婷婷亚洲天堂| 这里只有精品视频看看| 狠狠色中色| 婷婷五月天久久| 五月久久婷婷天堂视频| 99热久| wwW天天干| 日本视频久久| 天天插,天天射| 色噜久| 色婷婷伊人| 六月丁香婷婷视频综合在线观看| 午夜少妇在线观看视频| 99热99干| 婷婷婷久久久| 色五月天在线观看| 天天色五月| 婷婷丁香久久网| 久久久噜噜噜久久人妻| 91丨九色丨高潮丰满日本| www.夜夜| 996热re视频精品视频这里| 黄色AAAAAAA| 国产精品视频免费看| 99re99在线看| 亚洲成人AV电影在线| 色偷偷色婷婷| 丁香六月啪| 99热综合| 丁香婷婷色五月| 操人久久| 99re在线播放| 丰满熟女人妻一区二区三| BT综合在线视频观看| 五月婷婷六月激情| 国产婷婷五月天| 五月天激情四射网站| 99热思思| SESE无码AV| 啪啪婷婷五月天激情| 婷婷久久五月| 五月花综合视频| 丁香五月首页| 高潮毛片又色又爽免费| 五月婷婷丁香六月| 综合激情开心五月| 综久久久| 丁香五月色| 日日做夜夜爱| 99久在线| 色色婷婷综合| 五月婷婷色播| 亚洲色婷婷网站| 综合 蜜月 婷婷| 色婷婷电影网| 激情丁香五月婷婷啪啪| 九九综合| 91久女| 一起草Av| 激情综合网 激情五月天| 日韩精品超碰在线观看| 激情小说五月天| 成人Av在线大片| 天天日天天久久青青| 五月婷婷丁香五月| 六月五月婷婷| 开心丁五月| 日本高清久| yazhochengrenavwang| 国产毛片欧美毛片久久久| 99热这里| 婷婷色六月| 思思热久久爱| 米奇影视五月天| 久久婷婷操| aaa丁香五月天| 久久多色| 超碰免费99| 99内射视频| 色婷婷AV在线观看| 天堂无码人妻精品AV一区| 婷婷五月在线视频| 99性爱视频| 99久久99九九九99九他书对| 成人AV中文字幕| 五月丁香基地| 五月花免费视频| 99热这里只有精品搜| 婷婷激情啪啪| 就去涩涩丁香五月天| 婷婷六月综合在线| 五月激激网w'w'w| 日韩砖区| 丁香婷婷啪啪啪| 黄色99网| 99热这里只有精品268| 91免费试看| 色婷小说| 野外99热| 亚洲自拍天堂| 久久之人妻| 国产免费一区二区在线A片视频| 99九九在线视频| 91porn一起草| 大香蕉婷婷五月天| 99在线精品观看99| 五月婷婷熟女| 99免费综合网| 五月天婷婷久色| 色五月天成人在线| 久久久久久五月天| 久久五月丁香| 成人在线视频网| 婷婷激情五月| 精品香蕉99久久久久网站| 九九成人电影婷婷| 91天堂网综合| 影视av久久久噜噜噜噜噜三级| 久久五月天婷婷| 5月色婷婷| 婷婷激情五月天视频在线| 十月色综合| 五月天婷婷色| 中文字幕欧美日韩VA免费视频| 日日操夜夜擼| 色香久久| 精品久久婷婷五月天| 欧美亚洲婷婷五月| 天天干天天拍| 婷婷综合| 9 9热这里有精品| 玖玖色综合网| 超碰在线人妻| Se.婷婷五月天| 激情五月丁香六月婷婷| 99色在线观看视频| 亚洲精品白浆高清久久久久久| 20253AV| 中文AV在线观看| 五月丁香综合网色欲| 丁香婷婷在线| 色五月丁香五月| 成人中文网| 色情婷婷。| 日本天天综合| 夜夜大香蕉婷婷丁香| 涩涩五月天| 大香AV| 思思99精品视频| 99热这里只有精品最新地址获取| 色婷婷欧美| 影音先锋91在线资源站| 92久久| 久久精品视频9| 人人草人人舔| 91在线操| 99久久九九| 丁香在线视频| 99精品97| 欧美婷婷五月天综合| 久久婷婷五月丁香网| 九九9久九9国产视频| 99ri在线观看视频| 欧美丁香婷婷五月天| 91日本在线观看| 大香蕉婷婷久久| 99热精品免费在线观看| 婷婷色婷婷| 激情亚洲婷婷| 狠狠色婷婷777| 99热综合网| 激情婷婷网| 丁香婷婷人妻综合网| 五月婷婷综合激情网| 日本天堂爱爱| 伊人婷婷大香蕉在线| 亚洲色激婷| 最新色色五月天| 岛国资源站| 久久人妻情侣| www.yw尤物| 亚洲欧洲国产精品| 天天激情欧美美女| 超碰A V在线| 天天舔天天| 99在线精品免费视频| 丁香婷婷激情综合五月激情| 五月丁香综合激情网| 日本理论久久| 色婷婷五月天| 极品九九九九九九| 色色亚洲五月天| 久久ri精品| 五月丁香激情在线| 婷婷在线网| 激情五月天婷婷视频| 国产乱子轮XXX农村| 五月婷婷中字在线| 色五月av| 五月丁香久久| 丁香九月婷| 9婷婷内射| 婷婷99狠狠| 国内久久亭亭| 久色| 国产成人高清| 综合婷婷| 五月天激情国产综合婷婷婷就去爱| 99九九久久| 激情婷婷五月久久| 欧美精品在线观看| 欧美日本一区二区三区| 26uuu成人网| 婷婷六月伊人| 99精品视频推荐| 色五月天丁香婷婷| 日韩欧洲亚洲| 91碰碰碰| 激情五月天婷婷视频| 日韩在线视频9色| 色综合综合网| 激情久久丁香| 亚洲中文av| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | a免费在线| 久久成人人妻| 玖色色综合| 婷婷久久五月天丁香| 久久精彩综合视频| 久久AV无码精品人妻系列试探| 操你av| 婷婷五月天情色| 成人短视频在线| 日在线V视频在线播放| 丁香六月丁香婷婷激情| 色婷婷AV在线| 激情五月图| 久久九九囯产| 99A片| 六月色色婷婷| 最新日韩久热免费视频看看| 天天干电影| 深爱五月亚洲| 久99在线视频| 国外亚洲成AV人片在线观看| 五月激情小说| 国产中文亚洲欧美日韩性交| 99国产97在线,| 97碰在线| 这里只有精彩亚洲视频推荐| 91青娱乐青青草| 九九九激情综合| 久久激情五月| 天天舔天天摸天天射| 自拍视频在线观看9| 99热欧美| 几激情五月婷婷色五月色天堂| 思思99热在线| 六月丁香成人| 久草热8精品视频在线观看| 九九无码| 五月丁香花免费视频| 久久久大香蕉| 综合九九久久| 91精品综合久久久久久五月丁香| 久久婷婷五月综合伊人| 五月丁香婷婷六月天| 午夜免费试看| 九九成年视频| 成人超碰网| 色婷婷丁香| 五月丁香婷婷欧美| 天天艹天天色| 亚洲精品va| 久久婷婷五月综合色天| AV成人在线网站| 五月叮香啪| 丁香色综合| 天天色激情| 狠狠搞综合色| 久久久人妻久久久| 天天久综合网永久入口17v| 久久密臀婷婷| 精品久久久久成人码免费动漫 | HD久久精品视频| 玖玖爱伊人网| 九九AV| 亚洲人妻av| 超碰人人操在线| 在线观看av网站| 超碰1999| 天天噜噜| 天天婷婷色六月| 99热精品9| 婷婷五月激情六月丁香| 99热国品免费| 91偷拍视频| 狼人婷婷久久| 操婷婷久久| 久久天堂女人| 久久婷青青草原| 国产人妻777人伦精品HD| 五月天激情网站| 天堂A∨在线| 成人欧美日韩| 六月丁香啪啪啪| 五月丁香六月婷婷激情视频在线观看免费| 五月综合缴情网| 婷婷五月久久| 九月色婷婷综合| 国产精品香蕉| 六月婷婷国产| 色XX综合网| 26UUU欧美| 亚洲综合五月天| 婷婷五月,偷窥偷拍网| 91久久色| 人妻九九九九| 久久这里都是精品| 丁香五月av| av国产精品| 日韩成人精品中文字幕| 综合五月天| 九九一区| 超碰在线资源| 日本久久人| 色爱综合五月| av在线资源| 这里只有精彩小视频视频网站| 日日日,com| 亚洲色9| 99爱免费在线视频| 亚洲成人人人操| 亚洲五月天激情| 五月丁香久人妻中文| 99精品在线| 99久久99久久综合| 99精品视频在线观看| 91美女艹逼网站| 色色九九五月天 | 久久精品婷婷五月丁香| 日本熟妇精品99| 开心激情色婷婷五月天| 五月天婷婷色播| 这里只有精品网站| 婷婷五月天伊人| 播播网色播播| 极品精品一区二区三区在线| 99天堂网最新| 激情色播| 在线A色| 婷婷色片| www色色色com| 久久婷婷艹| 狠狠色丁香婷婷五月| 中文精品在| 开心久久xxx色| 婷婷激情五月综合| 色综合色色| 五月综合激情啪啪啪啪啪| 黄久久久| 日韩欧美四五区| 激情五月婷婷开心网| 婷婷丁香久久| 亚洲丁香五冃97色| 91九色熟女| www.久久五月天.com| 第五色婷婷| 爱99干99| 五月香蕉婷婷| 26uu| 色五月综合网| 超碰免费人人肏| 五月丁香婷婷网网网网| 国产激情婷婷| 在线观看免费视频| 91色九| 激情婷婷五月天日本系列| 久热无码| 蜜乳人妻一区二区三区| 色5在线| 综合网激情| 国外亚洲成AV人片在线观看| 国产操B视频| 五月激情五月婷婷五月天在线| 婷婷色五月天在线| 婷婷丁香91| 综合色综合| AV操操操| 超碰人人91| 狠狠干综合网| 香蕉久久国产AV一区二区| 婷婷五月丁香六月| 五月丁香六月婷婷姐| 影音先锋91在线资源站| 精品乱码视频| 91成人品| 东京热免费视频网站| 丁香五月天BBw| 99综合| 激情综合区| ji'qi'luan'ren'lun| 亚洲精品又粗又大又爽A片| 香蕉婷婷| 婷婷伊人综合中文字幕| 五月婷激情影院| 夜夜干 夜夜操| 七月婷婷色香综合网| 狠狠操.com| 天堂A∨在线| 婷婷五月色综合| enecarbon-materials.com污K127封锁请涟系@wip1688 | 亚洲激情网站| 玖玖婷婷色欲| wwccc久久久| 六月丁香五月婷婷| 99免费热在线精品| 26uuu精品国产| 色婷婷激情| 91黄操| 伊人9在线| 五月激情婷婷丁香天堂| 五月婷婷中文字幕| WWW.99热| 久久99久久99精品免观看粉| 久久人妻久久| 91n啪啪| 人人爱人人草| 天天综合五月天| 99操无码视频观看| 成人短视频在线| 色情五月综合婷婷| 天天久久66xxx| 五月天婷婷久久| 伊人青草成人| 天天碰夜夜操| 婷婷久久亚洲| 1024亚洲| 人人色婷婷| 婷婷天堂综合| www久久99| 五月丁香六月停停| 91人人妻人人操人人爽| 99这里| 色综合色综合网| 在线观看国产高清视频免费网站| 99热这只有| 亚洲 欧洲 国产 伦综合| 国产免费AV在线| 美妞av| 99久久九九视频| 五月天婷婷中文字幕在线播放| 日韩黄色网络| A久久| 五月激情综合深爱| 天天色综| 色五月激情| 激情六月五月婷婷综合网| av操B网站| 网站免费一站二站| 五月丁香爱婷婷深深| 久久无码成人| 成人永久免费视频在线观看| 久久久妻人人人| 五月婷婷香蕉| 大香蕉久| 79色色免费| 激情九月天天天天婷婷| 狠狠狠狠狠狠狠狠| 五月婷婷黄色视频| 久久9久久| 搡BBBB搡BBB搡18 | 六月激情网| 人人舔人人色人人高潮| 亚洲视频在线网| 大香蕉啪啪啪| 99热官网精品在线| 婷婷色婷婷亚洲成人| 黄色成人AV在线| 中文AV网站| 色五月丁香伊人五月| 色色色色欧洲| 九九色插| 亚洲V国产V欧美V久久久久久| 五月婷婷影院| 一本久久亚洲五月婷婷| 五月丁香久久呀| 丰满少妇猛烈A片免费看观看| 色99色| 五月色情网| AV在线免费播放| 99伊人婷婷在线| 69精品人人人人人人人人人| 国产91视频| 色色网站| 五月丁香婷婷久久| 欧美久久婷婷| 97超碰在线观看免费| 欧美性猛交99久久久久99按摩| 14色综合婷婷| 极品五月天| 久久66er久久| 九月婷婷综合| 五月丁香六月色| 色综合久久伊伊婷婷五月| 99热91| 一起草无码| 五月天大香蕉视频| 99燥99日| 精品久久人妻| 91啪啪视频| EEUSS鲁片一区二区三区| 三级大香蕉网| WWW.五月天9999| 日本3级片一区2区| 偷偷操九九| 性欧美大战久久久久久久83| 色99在线| 9热视频在线观看| 91精品综合久久久久久五月丁香| 艾小青av| 激情五月婷婷伊人| 色五月av伊人| 日本99热| 色噜噜狠狠色综| 日韩不卡DvD| 五月丁香亭亭操逼| 婷婷五月天情色| 亚洲99热| 亚洲AV久久久久久久久久久久久久久久| 欧美槡BBBB槡BBB少妇| 狠狠穞A片一區二區三區| 五月丁香婷婷色| 婷婷亚洲综合| 九九热在线精品视频| 热久久99热欧美国产亚洲| www.五月丁香| 欧美槡BBBB槡BBB少妇| 日本猛少妇色XXXXX猛叫| 久久久久久久人妻| 亚洲综合在线视频| 99网| 97操碰人免费| 操婷婷久久| 99干在线| 9999三级片| 九九热自拍| site:xmssd.com| 99激情视频热| 开心色播色五月婷婷| 久久99热精品a片在线观看| 五月天色视频| 激情五月天网站| 五月丁香六月婷| 色99在线| 亚洲丁香花五月丁香花| 色婷婷aV四虎| 婷婷丁香色情| 91热er| 96五月丁香熟女| 久久人妻视频| 日日操夜夜撸| 激情内射人妻1区2区3区| 在线看AV| 久热超碰91| 激情婷婷五月久久| ss99热| 五月天婷婷色色网| 狠狠草狠狠草| 丁香五月婷婷国产av| 日本99视频精品免费播放| 五月婷婷无码| 蜜乳A√| 五月丁香久| 欧美经典片免费观看大全| 麻豆123区| 欧亚洲在线高清视频| 亚洲噜色| 中文字幕AV网址| 综合av在线| 影音先锋91| 我爱宗和色| 九九 激情 网| 亚洲蜜桃精久久久久久久久久久久| 31色区视频免费看| 五月丁香六月久久| 99在线精品在线视频| 九九热这里| 国内精品99| 丁香婷婷久久| 极品人妻videosss人妻| 97欧美在线| 51精品国自产在线| www.99热视频| 色5月婷婷| 婷婷五月天综合网| 丁香五月婷婷欧美成人色图| 久热这里只有精品在线观看| 亚洲成人人人操| 91丨九色丨熟女高潮| 色爱综合五月| 夜夜骑日日夜夜| 色噜噜狠狠色综合成人99| 激情婷婷五月丁香啪啪啪| 婷婷久久大香蕉| 人妻在线网站| 99色视频在线观看| 99热8| 丁香五月色色婷| 五月天激情Av| 99热精品无码| 天天综合五月天| 婷婷五月天在线综合| 五月丁香六月婷| 超碰成人在线观看| 天天综合中文| 黄色高清无码| 丁香婷婷五月天色播| 99热九九热| 久久香蕉丁香| 激情五月,婷婷五月,丁香五月| 狠狠干狠狠色| 色色吧综合| 在线观看av网站| 综合久久综合五月天婷婷| 色婷五月丁香久亚洲| 九九这里只有精品| 午夜婷婷| 久久这里都是精品| 天天久久狠狠色综合| 播播网色播播| 碰碰碰97免费精彩视频| 99热在线这里| 日韩中出视频| 丁香五月激情无码视频| 久久久天堂国产精品女人| 亚洲成色综合网站免费观看| 九九综合久久| 婷婷成人综合| 色色婷婷五月天| 久综合色| 97在线视频观看| 丁香五月中文字幕| 丁香五月欧美成人| 亚洲午夜视频| 91chinese在线| 久久人人九九| 亚洲激情四射| VA五月激情在线| 亚洲人妻AV| 色视五月天婷婷| 成人精品视频99在线观看免费| 九九操综合网| 丁香五月亚洲综合| 激情色视频| 日韩美一级毛卡片| 五月丁香婷婷五月| 日本97在线视频| 婷婷五月天电影网| 5月婷婷6月丁香aV| 色欲AVV| 精品无吗va视频免费观看| 大香av| 国产成人网站在线观看| 五月天婷婷一起草| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 中文字幕乱码亚洲精品一区| 夜夜爽日日躁| 国产黄色av| 琪琪色五月天| 婷婷五月四狠狠| 男人先锋久久| 五月丁香免费看| 丁香婷婷性爱| 五月丁香| 丁香涩涩爱| 婷婷伊人中文字幕| 国产精产国品一二三在观看| 人人人操97| 99人人操人人操人人精| 婷婷成人五月天成人文学| 丁香五月激情性色郤| 国产99久9在线+|+传媒| 久久五月激情| 99re这里只有精品视频6| 97碰久久| 九九大香蕉黄色影院| 色10月婷婷视频|