欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

金融服務(wù)系統(tǒng)從0到1:支付、對(duì)賬、風(fēng)控與微服務(wù)實(shí)戰(zhàn)解析

金融服務(wù)系統(tǒng)從0到1:支付、對(duì)賬、風(fēng)控與微服務(wù)實(shí)戰(zhàn)解析 接手這個(gè)代號(hào)為 financial-services 的項(xiàng)目時(shí)團(tuán)隊(duì)只有四個(gè)人。老板給的需求就一句話把對(duì)公客戶的開(kāi)戶、收單、代發(fā)、資金歸集放到一個(gè)平臺(tái)上。聽(tīng)起來(lái)像普通的業(yè)務(wù)系統(tǒng)改造但做過(guò)金融類(lèi)項(xiàng)目的同學(xué)都清楚這類(lèi)系統(tǒng)的重點(diǎn)根本不在功能多不多而在賬平不平、錢(qián)安不安全、出了問(wèn)題能不能說(shuō)清來(lái)龍去脈。這篇文章把我從立項(xiàng)到落地的完整決策過(guò)程整理了一遍包括為什么這樣選型、哪些環(huán)節(jié)最容易被坑、以及后來(lái)踩過(guò)的幾個(gè)真坑希望對(duì)正在做或準(zhǔn)備做類(lèi)似金融服務(wù)的團(tuán)隊(duì)有點(diǎn)參考價(jià)值。1. 先劃清楚金融服務(wù)的項(xiàng)目邊界哪些必須做哪些堅(jiān)決不做金融服務(wù)的項(xiàng)目一上來(lái)最怕的不是技術(shù)難而是業(yè)務(wù)邊界模糊。需求方經(jīng)常說(shuō)以后我們還要做貸款、理財(cái)、供應(yīng)鏈融資然后希望架構(gòu)上一步到位。這種想法本身沒(méi)問(wèn)題但如果第一次迭代就把所有可能性都塞進(jìn)系統(tǒng)成本會(huì)失控風(fēng)險(xiǎn)也會(huì)失控。1.1 業(yè)務(wù)邊界先回答你的服務(wù)覆蓋到哪一層我們當(dāng)時(shí)花了整整一周做業(yè)務(wù)梳理最后把范圍收斂成三個(gè)核心閉環(huán)賬戶管理、收單支付、資金歸集。其他像信貸審批、理財(cái)代銷(xiāo)全部劃到二期物理隔離在獨(dú)立服務(wù)里只預(yù)留接口位。這個(gè)取舍背后是有邏輯的。賬戶、收單、歸集都屬于交易型鏈路對(duì)賬口徑和資金流可以統(tǒng)一設(shè)計(jì)而信貸、理財(cái)涉及不同的期限、利率、風(fēng)控模型屬于完全不同的業(yè)務(wù)語(yǔ)義硬湊進(jìn)一期只會(huì)讓賬務(wù)模型四不像。如果你也在做類(lèi)似項(xiàng)目建議立項(xiàng)時(shí)先回答三個(gè)問(wèn)題你的服務(wù)是自營(yíng)還是代銷(xiāo)資金是客戶托管還是銀行存管業(yè)務(wù)是實(shí)時(shí)結(jié)算還是TN結(jié)算這三個(gè)答案基本決定了系統(tǒng)邊界和數(shù)據(jù)模型的方向。1.2 合規(guī)邊界資質(zhì)是一切的技術(shù)前提技術(shù)方案做得再漂亮沒(méi)有對(duì)應(yīng)資質(zhì)也上不了線。我們?cè)诩夹g(shù)啟動(dòng)之前先做了一輪合規(guī)確認(rèn)是否涉及資金池、是否需要持牌支付通道、是否需要銀行存管、用戶協(xié)議與隱私政策是否覆蓋業(yè)務(wù)全鏈路。這些不是法務(wù)部門(mén)單獨(dú)搞定就完事開(kāi)發(fā)和產(chǎn)品必須知道邊界在哪里。比如資金歸集業(yè)務(wù)如果平臺(tái)先收錢(qián)再分發(fā)給商戶存在合規(guī)風(fēng)險(xiǎn)如果采用銀行存管模式資金不經(jīng)過(guò)平臺(tái)賬戶技術(shù)對(duì)接方式就完全不一樣。我們最終選擇通過(guò)已有支付持牌機(jī)構(gòu)走代收付通道并在銀行側(cè)開(kāi)立備付金賬戶系統(tǒng)本身不碰商戶資金。這直接影響后續(xù)的賬務(wù)模型——平臺(tái)側(cè)只記錄應(yīng)收應(yīng)付和渠道流水真正扣款、結(jié)算動(dòng)作全部由通道側(cè)完成。技術(shù)側(cè)要做的配合是把每一筆資金指令的請(qǐng)求方、接收方、金額、流水號(hào)、渠道回執(zhí)完整落庫(kù)。因?yàn)橐坏┥婕暗劫Y金路徑審計(jì)拿不出完整的指令鏈路什么問(wèn)題都說(shuō)不清。1.3 功能取舍MVP只做三個(gè)閉環(huán)我們的一期MVP砍掉了后臺(tái)報(bào)表、商戶自助配置、批量導(dǎo)入等非核心功能保留的是商戶開(kāi)戶、收單下單、支付結(jié)果回調(diào)、資金歸集指令、每日對(duì)賬和異常告警。每個(gè)閉環(huán)必須能獨(dú)立跑通、獨(dú)立對(duì)賬、獨(dú)立排查。從實(shí)際效果看這個(gè)克制非常值得。收單閉環(huán)上線兩周后發(fā)現(xiàn)渠道回調(diào)偶發(fā)丟失就是因?yàn)槲覀儗?duì)支付中狀態(tài)的處理不夠嚴(yán)謹(jǐn)。如果沒(méi)有把范圍壓縮到最小而是同時(shí)上線一堆邊緣功能排查這個(gè)問(wèn)題可能要翻幾套代碼才能定位。功能面越窄排障半徑越小這個(gè)規(guī)律在金融服務(wù)這類(lèi)高復(fù)雜度項(xiàng)目里尤其明顯。2. 基礎(chǔ)設(shè)施選型錢(qián)相關(guān)的系統(tǒng)可靠性優(yōu)先于炫技金融服務(wù)系統(tǒng)的技術(shù)選型我的核心原則只有一條能用成熟穩(wěn)定方案解決的絕不用實(shí)驗(yàn)性方案。團(tuán)隊(duì)里有人當(dāng)時(shí)提議引入某個(gè)新的服務(wù)網(wǎng)格框架來(lái)做流量治理我攔住了。不是說(shuō)新技術(shù)不好而是在資金鏈路上任何基礎(chǔ)設(shè)施的隱性bug都可能被放大成資金差錯(cuò)這種風(fēng)險(xiǎn)不值得冒。2.1 應(yīng)用架構(gòu)微服務(wù)沒(méi)錯(cuò)但不是越碎越好我們最終選了Java技術(shù)棧Spring Cloud Alibaba作為微服務(wù)底座注冊(cè)中心和配置中心都用Nacos。服務(wù)劃分上砍到了六個(gè)用戶服務(wù)、賬戶服務(wù)、交易服務(wù)、通道服務(wù)、風(fēng)控服務(wù)、通知服務(wù)。每個(gè)服務(wù)拆到什么粒度是有講究的。比如賬戶服務(wù)和交易服務(wù)是拆開(kāi)的因?yàn)橘~戶的借貸計(jì)息規(guī)則相對(duì)穩(wěn)定而交易流程改動(dòng)的頻率高拆開(kāi)之后賬戶模型不會(huì)被交易需求的頻繁變更影響。通道服務(wù)單獨(dú)拆出來(lái)也很重要因?yàn)橹Ц肚离S時(shí)可能增加或替換通道接口的差異需要收斂在一個(gè)服務(wù)內(nèi)部不能散落到上游。網(wǎng)關(guān)用了Spring Cloud Gateway統(tǒng)一做簽名校驗(yàn)、token鑒權(quán)和黑白名單控制。金融服務(wù)對(duì)外暴露的接口全部要求簽名參數(shù)拼接后加鹽做HMAC-SHA256防止請(qǐng)求被篡改。這個(gè)邏輯放在網(wǎng)關(guān)層統(tǒng)一處理業(yè)務(wù)服務(wù)就不用每個(gè)都寫(xiě)一遍。2.2 數(shù)據(jù)模型與存儲(chǔ)賬戶流水表的設(shè)計(jì)直接決定對(duì)賬難度存儲(chǔ)我們用的MySQL 8.0按用戶ID做分庫(kù)分表中間件選了ShardingSphere。賬戶余額表和流水表必須分表存儲(chǔ)Redis只做熱點(diǎn)查詢緩存余額以數(shù)據(jù)庫(kù)為準(zhǔn)。這一點(diǎn)怎么強(qiáng)調(diào)都不過(guò)分——任何時(shí)候都不能走先更新緩存再寫(xiě)庫(kù)的路徑金融數(shù)據(jù)必須以數(shù)據(jù)庫(kù)為準(zhǔn)。流水表的設(shè)計(jì)我建議參考記賬憑證的思路一張流水只有一個(gè)方向。也就是說(shuō)收款和付款不混在一張表里用正負(fù)號(hào)區(qū)分而是分借貸兩列或者干脆用明細(xì)方向字段。這樣每一筆變動(dòng)都能追溯這筆錢(qián)從哪來(lái)、到哪去、對(duì)應(yīng)哪個(gè)業(yè)務(wù)單號(hào)、關(guān)聯(lián)了哪條渠道回執(zhí)。我們還加了一個(gè)賬戶日終匯總表每天凌晨跑批把每個(gè)賬戶當(dāng)天的期初余額、收入?yún)R總、支出匯總、期末余額算好落庫(kù)。對(duì)賬的時(shí)候直接拿這個(gè)匯總表和渠道側(cè)賬單做維度匹配效率比逐筆比對(duì)高得多。如果你把流水表和日終匯總表一并設(shè)計(jì)好后續(xù)做余額試算平衡會(huì)非常省事。2.3 消息中間件金融場(chǎng)景的可靠投遞怎么落地消息中間件我們用的RocketMQ看重的是事務(wù)消息和延遲消息的能力。金融鏈路里大量操作是異步的比如支付結(jié)果通知商戶、回單生成、風(fēng)控異步審核。這些場(chǎng)景如果用普通消息生產(chǎn)者發(fā)送成功但消費(fèi)者處理失敗消息丟了就是一筆死賬。RocketMQ事務(wù)消息的方案是先發(fā)半消息本地執(zhí)行完業(yè)務(wù)事務(wù)后提交確認(rèn)消費(fèi)者看到的是確認(rèn)后的消息如果本地事務(wù)回滾半消息自動(dòng)刪除。我們用這個(gè)機(jī)制處理了創(chuàng)建代付指令的場(chǎng)景——先寫(xiě)本地指令表再發(fā)半消息給通道服務(wù)通道服務(wù)拿到消息后調(diào)渠道接口。整個(gè)過(guò)程兩邊的狀態(tài)最終一致。延遲消息用在了支付超時(shí)自動(dòng)關(guān)單上。用戶下單后30分鐘未支付系統(tǒng)自動(dòng)把訂單置為關(guān)閉狀態(tài)。這個(gè)邏輯如果靠定時(shí)任務(wù)掃表也能做但用延遲消息能減輕數(shù)據(jù)庫(kù)壓力消息到了再處理對(duì)應(yīng)訂單命中率更高。實(shí)際用下來(lái)RocketMQ的延遲消息精度夠用延遲級(jí)別的配置也足夠靈活。3. 支付接入與賬務(wù)一致性這塊坑最多值得單獨(dú)說(shuō)說(shuō)支付接入是金融服務(wù)項(xiàng)目里最容易出幺蛾子的地方。渠道文檔寫(xiě)得再好真實(shí)聯(lián)調(diào)時(shí)總有意外。我們把這塊單獨(dú)立項(xiàng)就是因?yàn)樗钦麄€(gè)系統(tǒng)的腰眼子——上游連業(yè)務(wù)下游連資金中間任何一個(gè)環(huán)節(jié)出錯(cuò)賬就對(duì)不上。3.1 渠道接入的通用流程與常見(jiàn)坑無(wú)論接微信、支付寶還是銀聯(lián)流程都差不多申請(qǐng)商戶號(hào)或開(kāi)放平臺(tái)賬號(hào)、配置回調(diào)地址和密鑰、下載SDK或?qū)覣PI、聯(lián)調(diào)環(huán)境跑通、測(cè)試用例評(píng)審、上線前回歸。每一步都有對(duì)應(yīng)的坑。第一個(gè)坑是回調(diào)地址的配置遺漏或配錯(cuò)。很多渠道要求回調(diào)地址必須是公網(wǎng)可訪問(wèn)的HTTPS地址且要和申請(qǐng)單一致。我們有一次聯(lián)調(diào)時(shí)回調(diào)收不到排查半天發(fā)現(xiàn)是渠道側(cè)的沙箱環(huán)境要用單獨(dú)的測(cè)試回調(diào)域名跟正式域名不是同一個(gè)值。這種信息通常藏在文檔的常見(jiàn)問(wèn)題里不仔細(xì)看根本發(fā)現(xiàn)不了。第二個(gè)坑是渠道側(cè)返回碼的語(yǔ)義不統(tǒng)一。有的渠道返回處理中會(huì)隔幾秒收到異步通知有的則不會(huì)。如果業(yè)務(wù)方默認(rèn)處理中就是成功并把訂單置為已支付對(duì)賬時(shí)錢(qián)沒(méi)到就會(huì)暴露問(wèn)題。我們當(dāng)時(shí)的處理是定義了自己的支付狀態(tài)機(jī)待支付、支付中、支付成功、支付失敗、已關(guān)閉、已退款。渠道返回處理中統(tǒng)一映射為支付中不直接落成功最終以渠道對(duì)賬單為準(zhǔn)。第三坑是證書(shū)管理。銀行存管、代付通道通常要求雙向TLS認(rèn)證證書(shū)文件有有效期。我們線上出過(guò)一次代付失敗原因是某個(gè)渠道的商戶證書(shū)過(guò)期了半個(gè)月而證書(shū)到期前沒(méi)有告警。后來(lái)我們把所有證書(shū)的有效期都錄入了統(tǒng)一配置提前30天發(fā)提醒提前7天發(fā)告警這個(gè)教訓(xùn)算是用生產(chǎn)事故換來(lái)的。3.2 冪等設(shè)計(jì)用唯一流水號(hào)擋住重復(fù)請(qǐng)求金融系統(tǒng)里重復(fù)支付、重復(fù)退款是最要命的問(wèn)題。用戶前端的支付按鈕連點(diǎn)兩次、渠道回調(diào)重復(fù)推送、重試任務(wù)重復(fù)執(zhí)行任何一個(gè)環(huán)節(jié)不小心就可能導(dǎo)致資金重復(fù)劃撥。我們的做法是給每類(lèi)資金指令生成一個(gè)全局唯一的流水號(hào)在數(shù)據(jù)庫(kù)落庫(kù)時(shí)給流水號(hào)建唯一索引。插入時(shí)如果撞了唯一索引說(shuō)明請(qǐng)求重復(fù)直接把已存在的那條流水返回給調(diào)用方不重新執(zhí)行。這個(gè)邏輯用偽代碼表示大致是這樣Transactional public PaymentResult handlePay(PayRequest request) { String bizNo request.getBizNo(); try { paymentMapper.insertUnique(bizNo, request.getAmount(), request.getAccountNo()); } catch (DuplicateKeyException e) { return paymentMapper.queryByBizNo(bizNo); // 冪等返回原結(jié)果 } // 后續(xù)真正的扣款邏輯 ... }關(guān)鍵點(diǎn)在于唯一流水號(hào)必須在業(yè)務(wù)處理前插入成功才能保證并發(fā)請(qǐng)求只有一個(gè)執(zhí)行體。如果先把業(yè)務(wù)處理完再插入流水號(hào)兩個(gè)并發(fā)請(qǐng)求可能都處理完了再去插入時(shí)兜底已經(jīng)來(lái)不及了。我們還額外做了一層狀態(tài)機(jī)約束已成功的訂單不允許重復(fù)執(zhí)行退款已退款的訂單不允許再次扣款。狀態(tài)流轉(zhuǎn)表里每一步都有before狀態(tài)和after狀態(tài)任何非法流轉(zhuǎn)直接拒絕。3.3 對(duì)賬與差錯(cuò)處理T1對(duì)賬是底線每天凌晨?jī)牲c(diǎn)定時(shí)任務(wù)會(huì)從各渠道拉取前一天的賬單文件解析后和本地流水逐筆比對(duì)。比對(duì)的核心維度是渠道商戶號(hào)、渠道流水號(hào)、金額、交易時(shí)間、交易狀態(tài)。兩邊能匹配上且金額一致的進(jìn)入已對(duì)平池匹配不上或金額不一致的進(jìn)入差錯(cuò)池。差錯(cuò)處理分成三類(lèi)本地有單、渠道無(wú)單這種情況一般是不成功的請(qǐng)求被本地記成了成功需要把本地狀態(tài)回滾到失敗本地?zé)o單、渠道有單通常是渠道回調(diào)漏配或者回調(diào)丟失需要補(bǔ)單兩邊有單但金額不一致屬于嚴(yán)重異常直接告警到資金運(yùn)營(yíng)群原則上不允許自動(dòng)處理。對(duì)賬系統(tǒng)的實(shí)施要注意賬單文件的分片和冪等。渠道賬單可能很大幾萬(wàn)筆甚至幾十萬(wàn)筆我們按渠道、日期、文件名做分片每個(gè)分片的解析任務(wù)用分布式鎖保證只執(zhí)行一次。否則重跑一遍容易產(chǎn)生重復(fù)流水。這里分享一個(gè)經(jīng)驗(yàn)對(duì)賬功能不要等業(yè)務(wù)上線后再補(bǔ)一定要和支付功能同時(shí)上線。第一天上線的資金流水如果到第三天才能對(duì)出來(lái)差錯(cuò)已經(jīng)發(fā)生了很多情況就說(shuō)不清楚了。我們是上線前就把對(duì)賬定時(shí)任務(wù)跑起來(lái)用測(cè)試環(huán)境制造差異單來(lái)驗(yàn)證對(duì)賬邏輯等正式切量的時(shí)候?qū)~已經(jīng)連續(xù)跑了好幾天。4. 風(fēng)控反欺詐鏈路不是有了規(guī)則引擎就萬(wàn)事大吉很多團(tuán)隊(duì)對(duì)風(fēng)控的認(rèn)知停留在接入一個(gè)規(guī)則引擎配幾條黑白名單就完事了。實(shí)際上規(guī)則只是整個(gè)風(fēng)控鏈路里最表層的部分真正決定系統(tǒng)安全的是數(shù)據(jù)鏈路和處置閉環(huán)。4.1 先搭名單庫(kù)和黑白名單再談模型我們的風(fēng)控一期沒(méi)有上復(fù)雜的機(jī)器學(xué)習(xí)模型而是先把三類(lèi)名單建好機(jī)構(gòu)黑名單、個(gè)人黑名單、設(shè)備黑名單。名單來(lái)源包括歷史壞賬戶、渠道方共享的欺詐名單、法院失信名單通過(guò)合規(guī)渠道獲取以及業(yè)務(wù)運(yùn)營(yíng)手工上報(bào)的黑名單。名單服務(wù)單獨(dú)拆出來(lái)底層用Redis存熱數(shù)據(jù)查詢接口做成高可用。所有交易在進(jìn)通道前必經(jīng)風(fēng)控風(fēng)控的第一次判斷就是查名單庫(kù)。命中黑名單直接攔截命中白名單如平臺(tái)內(nèi)部測(cè)試商戶、頭部核心客戶走快速通道減少無(wú)謂誤傷。這么做是因?yàn)樵跀?shù)據(jù)積累不夠的階段模型的效果很難超過(guò)經(jīng)驗(yàn)規(guī)則而名單庫(kù)是規(guī)則里置信度最高、最容易解釋的一類(lèi)。如果一上來(lái)就上模型業(yè)務(wù)人員面對(duì)模型分?jǐn)?shù)根本不知道怎么跟商戶解釋風(fēng)控決策就變成了黑盒子。先把名單和規(guī)則做扎實(shí)后面再漸進(jìn)引入機(jī)器學(xué)習(xí)這是更穩(wěn)妥的路徑。4.2 實(shí)時(shí)決策鏈路從埋點(diǎn)到處置實(shí)時(shí)風(fēng)控決策我們走的是埋點(diǎn)、采集、計(jì)算、處置四段式鏈路。前端在關(guān)鍵行為上做埋點(diǎn)登錄、下單、支付、修改結(jié)算賬戶。埋點(diǎn)數(shù)據(jù)通過(guò)消息隊(duì)列實(shí)時(shí)送到風(fēng)控服務(wù)風(fēng)控服務(wù)把行為抽象成事件依次經(jīng)過(guò)名單檢查、頻率檢查、額度檢查、規(guī)則引擎最終輸出放行、人工復(fù)核、攔截三種結(jié)果。頻率檢查的典型場(chǎng)景同設(shè)備號(hào)在短時(shí)間內(nèi)關(guān)聯(lián)了多個(gè)不同商戶賬號(hào)。正常邏輯下一個(gè)設(shè)備只屬于一個(gè)商戶主體如果出現(xiàn)一拖N的情況大概率是批量注冊(cè)或養(yǎng)號(hào)。我們當(dāng)時(shí)的規(guī)則是單設(shè)備號(hào)24小時(shí)內(nèi)關(guān)聯(lián)用戶數(shù)超過(guò)3個(gè)就告警超過(guò)5個(gè)直接攔截?cái)r截后需要上傳額外的資質(zhì)材料進(jìn)行人工申訴。額度檢查則針對(duì)大額交易。比如單筆金額超過(guò)商戶歷史均值的5倍、單日累計(jì)超過(guò)該商戶近30日日均的3倍觸發(fā)人工復(fù)核。這類(lèi)規(guī)則看起來(lái)粗暴但非常有效。金融欺詐和小額零散交易的區(qū)別往往就體現(xiàn)在異常量級(jí)上閾值可以根據(jù)業(yè)務(wù)數(shù)據(jù)滾動(dòng)調(diào)整避免一刀切誤傷。4.3 人工復(fù)核閉環(huán)與指標(biāo)監(jiān)控風(fēng)控不能只攔截不處理人工復(fù)核閉環(huán)必須和決策鏈路同步建設(shè)。我們做了個(gè)風(fēng)控工作臺(tái)命中復(fù)核的工單推送給運(yùn)營(yíng)人員運(yùn)營(yíng)人查看訂單信息、商戶資質(zhì)、行為序列后做出通過(guò)、拒絕、標(biāo)記可疑三個(gè)操作。所有操作留痕后續(xù)如果同一商戶再出問(wèn)題可以直接追溯之前是誰(shuí)復(fù)核、依據(jù)是什么、查看了哪些數(shù)據(jù)。風(fēng)控上線后指標(biāo)跟蹤同樣重要。我建議至少關(guān)注四個(gè)指標(biāo)攔截率、誤殺率、人工復(fù)核轉(zhuǎn)化率、放行后逾期/拒付率。前三個(gè)指標(biāo)衡量風(fēng)控本身的精準(zhǔn)度第四個(gè)指標(biāo)衡量放行決策是否靠譜。我們上線三個(gè)月后發(fā)現(xiàn)過(guò)于激進(jìn)地調(diào)高額度閾值導(dǎo)致誤殺率升高影響了正常商戶的支付體驗(yàn)后來(lái)改成小額頻繁放行、大額從嚴(yán)復(fù)核的策略才平衡了業(yè)務(wù)增長(zhǎng)與風(fēng)險(xiǎn)敞口。5. 上線不是終點(diǎn)壓測(cè)、灰度、故障演練一個(gè)都不能少金融服務(wù)的項(xiàng)目總給人一種上線即成功的錯(cuò)覺(jué)實(shí)際上真正的考驗(yàn)恰恰在上線之后。第一周的生產(chǎn)流量、第一次大促峰值、第一次渠道故障都會(huì)暴露你在測(cè)試環(huán)境永遠(yuǎn)測(cè)不出來(lái)的問(wèn)題。5.1 全鏈路壓測(cè)先解決支撐多少交易量這個(gè)靈魂拷問(wèn)老板最?lèi)?ài)問(wèn)的一個(gè)問(wèn)題是這個(gè)系統(tǒng)能扛多少并發(fā)這個(gè)問(wèn)題的正確回答方式不是拍腦袋而是用壓測(cè)數(shù)據(jù)說(shuō)話。我們做了兩輪壓測(cè)第一輪是單服務(wù)壓測(cè)把通道服務(wù)、交易服務(wù)、賬戶服務(wù)分別壓到CPU達(dá)到70%時(shí)的QPS找到各服務(wù)的單點(diǎn)瓶頸第二輪是全鏈路壓測(cè)用JMeter從網(wǎng)關(guān)發(fā)起真實(shí)交易請(qǐng)求打穿所有服務(wù)看整體吞吐量和TP99。全鏈路壓測(cè)的場(chǎng)景必須覆蓋三類(lèi)流量正常支付、重復(fù)支付、異常退款。正常支付驗(yàn)證吞吐重復(fù)支付驗(yàn)證冪等異常退款驗(yàn)證狀態(tài)機(jī)。壓測(cè)期間我們還專(zhuān)門(mén)模擬了渠道回調(diào)延遲2分鐘的情況看系統(tǒng)會(huì)不會(huì)因?yàn)榈却卣{(diào)而積累大量半成品訂單。結(jié)果真的發(fā)現(xiàn)了一個(gè)連接池參數(shù)配置不當(dāng)?shù)膯?wèn)題——通道服務(wù)的HTTP連接池默認(rèn)keep-alive時(shí)間過(guò)短渠道回調(diào)延遲一上來(lái)連接復(fù)用率下降導(dǎo)致新建連接的開(kāi)銷(xiāo)拖慢了整體TPS。金融系統(tǒng)的壓測(cè)還要特別關(guān)注GC情況。資金鏈路如果因?yàn)镕ull GC導(dǎo)致請(qǐng)求大面積超時(shí)影響的不只是體驗(yàn)還有訂單狀態(tài)的不確定性。我們當(dāng)時(shí)給交易服務(wù)設(shè)置了并行GC和CMS GC參數(shù)的組合調(diào)優(yōu)壓測(cè)后TP99從480ms降到了260ms。5.2 灰度發(fā)布資金類(lèi)功能的爆炸半徑控制發(fā)布是另一個(gè)高風(fēng)險(xiǎn)場(chǎng)景。普通業(yè)務(wù)系統(tǒng)發(fā)個(gè)bug最多是頁(yè)面報(bào)錯(cuò)金融服務(wù)發(fā)個(gè)bug可能就是某類(lèi)交易全部失敗或者資金重復(fù)劃撥。我們每次發(fā)版都走灰度發(fā)布默認(rèn)先切5%流量到新版本觀察15分鐘確認(rèn)錯(cuò)誤率和資金差錯(cuò)為0后再擴(kuò)大到30%、50%、100%?;叶惹辛鞯年P(guān)鍵在于灰度維度怎么選。按用戶ID哈希切流是最常見(jiàn)的但對(duì)金融服務(wù)來(lái)說(shuō)更合理的做法是結(jié)合業(yè)務(wù)維度。我們當(dāng)時(shí)的做法是灰度期間只在白名單商戶通常是內(nèi)部測(cè)試商戶和少量友好商戶范圍內(nèi)啟用新版本這樣即使出現(xiàn)問(wèn)題影響面也限定在可控范圍內(nèi)。對(duì)公業(yè)務(wù)和零售業(yè)務(wù)不同幾百個(gè)大商戶的交易量可能占了整體90%很可能一次灰度發(fā)布無(wú)意間覆蓋了核心商戶出問(wèn)題就是大事。資金類(lèi)功能的發(fā)布比普通功能更謹(jǐn)慎我們還會(huì)在版本發(fā)布后跑一次上線對(duì)賬專(zhuān)項(xiàng)檢查由定時(shí)任務(wù)把發(fā)布前后半小時(shí)的交易流水和渠道賬單做一次加急比對(duì)確保沒(méi)有因?yàn)樾掳姹具壿嫺膭?dòng)導(dǎo)致對(duì)賬差異。5.3 可觀測(cè)性與審計(jì)出了事能自證清白金融服務(wù)系統(tǒng)必須做好可觀測(cè)性否則出了問(wèn)題只能翻日志大海撈針。我們接入了Prometheus和Grafana做監(jiān)控每個(gè)服務(wù)的請(qǐng)求量、錯(cuò)誤率、耗時(shí)分位數(shù)、JVM堆內(nèi)存都做了看板。業(yè)務(wù)側(cè)還加了自定義指標(biāo)支付成功率、回調(diào)丟失率、對(duì)賬差異筆數(shù)、風(fēng)控?cái)r截率這些業(yè)務(wù)指標(biāo)比技術(shù)指標(biāo)更能反映系統(tǒng)健康狀態(tài)。審計(jì)日志單獨(dú)強(qiáng)調(diào)一下。所有資金操作涉及的操作人、操作時(shí)間、請(qǐng)求參數(shù)、響應(yīng)結(jié)果、被調(diào)用的渠道接口、渠道返回碼全部記錄在審計(jì)日志表中而且這條表只做插入不做修改。合規(guī)審計(jì)和糾紛溯源都靠它。有一次商戶投訴某筆代付沒(méi)有到賬我們通過(guò)審計(jì)日志查到該筆請(qǐng)求在通道服務(wù)里因?yàn)橛囝~不足被拒絕但通知服務(wù)沒(méi)有把失敗結(jié)果推送給商戶原因是一條消息在消費(fèi)時(shí)拋異常后進(jìn)入了重試隊(duì)列重試期間商戶端已經(jīng)超時(shí)關(guān)閉了頁(yè)面。整個(gè)排查過(guò)程只用了半小時(shí)靠的就是完整鏈路日志。我在這個(gè)項(xiàng)目里最深的一個(gè)體會(huì)是金融服務(wù)項(xiàng)目里的每一個(gè)環(huán)節(jié)都要做好最壞的打算。支付回調(diào)會(huì)丟、渠道證書(shū)會(huì)過(guò)期、消息隊(duì)列會(huì)積壓、流量的突發(fā)永遠(yuǎn)超出預(yù)期。與其事后救火不如提前把賬務(wù)模型、冪等設(shè)計(jì)、對(duì)賬機(jī)制、風(fēng)控閉環(huán)這四件事做扎實(shí)。它們不會(huì)直接產(chǎn)生業(yè)務(wù)亮點(diǎn)卻是所有金融服務(wù)的承重墻。最后分享一個(gè)小技巧無(wú)論系統(tǒng)多完善上線后前三個(gè)月一定要安排專(zhuān)人值夜班關(guān)注凌晨的對(duì)賬任務(wù)每天早上的第一件事不是看日?qǐng)?bào)而是看昨晚對(duì)賬差異池的明細(xì)。金融系統(tǒng)的問(wèn)題大多數(shù)不會(huì)在工作時(shí)間爆發(fā)而是在跑批和結(jié)算的深夜悄無(wú)聲息地出現(xiàn)。你能在早上9點(diǎn)前發(fā)現(xiàn)并修復(fù)它這筆業(yè)務(wù)的影響可能就只是一筆差錯(cuò)單拖到下午影響的就是一整天的資金效率和商戶信任。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天成人综合视频| 熟女人妻一区二区三区免费看| OYIWbGcPu8H| 精品国产AV色一区二区深夜久久| 99色视| 成人色图情色成人网 www.5b5b5bcom 五月天 | 色噜噜狠狠色综无码久久合欧美| 九九综合九色欧美狠狠| 天天色图| 狠狠狠狠狠操| 亚洲99综合| 在线播放成人网站| 婷婷性爱视频在线| 亚洲婷婷丁香五月在线| 婷婷五月av| 99精品一二三四视频| 色色色热| 久青草大香蕉| 五月熟妇婷婷久久| 久9热视频| 超碰av在线| 大香蕉在线99热| 丁香六月色| 丁香成人五月天| 丁香六月婷婷高清| 五月婷婷久久大香蕉| aaaaa不卡| 日日夜夜狠狠婷婷色| 99热国品| 色综合久| 99热免费| 成人精品在线观看| 婷婷五月综合网| 婷婷五月天伦理| 久久综合人妻| 日本一级黄色片。| 亚洲九区| 丁香五月人妻| 五月婷婷综合激情小说| 激情网第九色| 偷拍91九色| 国产精品一区在线观看你懂的| 美女被肏网站在线看| 轮奸综合网| 播五月丁香六月| 狠狠爱综合| 国产亚洲成AV人片在线观黄桃| 人人爽欧美婷婷久久久五月丁香| 六月婷婷影院| 伊人五月天| 9热在线观看| 人人天堂操| 婷婷刺激综合| 一本九九色| 99色这里| AV九九| 色婷婷AⅤ| 五月丁香色色网| 在线播放中文字幕| 操人91| 人妻无码精品一区| 丁香五月天激情| 91色吧网| 99久在线精品99re8| 狠狠操综合| 色玖玖玖| 五月婷婷之综合激情| 高清一区二区三区日本久| 五月婷婷丁香啪啪| 久久九九综合| 超碰日日操| 欧美色必爱| 亚洲综合激| 色色色五月婷| 97婷婷狠狠久久综合9色| 99re思思精品在线观看| 国产FREESEXVIDEOS性中国| 99熟女啪啪视频| 日日狠狠久久偷偷四色综合免费| caop视频| 午夜爱爱爱成人| 五月激情小说| 日本精品在线噜噜噜| 99这里只有| 图片区 小说区 区 亚洲五月| 操碰99| 激情婷婷五月| 色婷婷AV在线| 亚洲精品又粗又大又爽A片| 无码视频国内精品久久久| 日木WWW视频| 超碰69天堂| 六月婷婷日| 激情亭亭五月| 第四色婷婷最爱| 婷婷色情六月| 热久久婷婷| 五月婷婷九| 中字幕视频在线永久在线观看免费 | 97婷婷狠狠| 亚洲色情网站| 久热伊人在91| 婷婷丁香五月网| 99久久婷婷综合| www.五月天婷婷姐姐| 婷婷五月天小说| 色优久久| 亚洲精品国产成人AV在线| 国产AV不卡福利| 综合久久五月天| 丁香五月婷婷影视先锋| 色色色色av色色色色| 久久九九思思| 婷婷五月激情丁香| 综合久久高清| 五月婷婷基地| 欧美成人无码一区二区三区| 可以看的av| 99热热九九| 国产亚洲色婷婷久久99精品91| 中文字幕在线观看视频www| 青青草轻轻操| 日韩不卡123| 97人人操| 成人AV在线电影| 九月丁香欧美综合| 99热网站| 婷婷五月永远18免费久久久| 嫩草视频。| 五月天婷婷丁香社区| 天天日日| 成人免费高清在线播放| 120分钟婬片免费看| 大香蕉伊人久久| 9l视频自拍9l九色成人| 日日夜夜狠狠| 久久久久人妻精选| 丁香久久九九99| 五月婷婷综合视频| 啪啪91| 婷婷成人五月天成人文学| 99久久久国产大片区| 久操热| 色婷婷五月综合激情中文字幕| 超碰电影在线播放| 日韩精品一品二区三区的使用体验| 91亚洲视频| 五月天久久丁香| 色婷婷啪啪| 五月天伊人综合| 婷婷五月av| 超碰狠狠操| 九月婷婷丁香| 日韩成人电影在线播放| 久久小视频| 91大屁股| 综合久久高清| 国产精品天天狠天天看| 激情都市丁香婷婷| 五月天婷婷黄色视频| 男女啪啪做爰高潮无遮挡| 欧美色五月天| 丁香五月亚洲AV| 亚洲精品久久久无码| 丁香五月乱中文字幕| 偷拍九九五月丁香婷婷| 五月综合激情网| 色综合久久天天综合网 | 玖色色综合| 5月婷婷视频网站综合| 午夜69成人做爰视频| 亚洲五月丁| 人妻五月天激情开心网| 99免费在线视频| 996热re视频精品视频这里| 丁香五月婷婷欧美成人色图| 99热这里有精品| 欧美英丁香开心快乐六月天网| 五月天婷婷久草丁香| 成片免费观看视频大全| 噜噜久| 人人澡玖玖一| www.亚洲激情.com| 天天爱天天做天天操| 欧美丁香六月激情视频| 九热精品| 亚洲综合碰| 91九色国产| 五月天开心色情网| 日本一级一片免费视频| 影音先锋秋秋五月婷婷| 天天干一干| 婷婷五月另类网站| 婷婷舔| 99热销国产这里有精品| 欧美黄色一级录像| 丁香五月欧美色综合| 一级A片天天操夜夜操| 狠狠精品干练久久久无码中文字幕| 日日婷婷不卡| 大香伊人婷婷影院| 自拍偷窥99热| 亚洲性图一区二区三区| 亚洲色无码A片一区二区麻豆| 99久久久| 五月丁香色五月| 91在线日| 五月开心啪啪| 69凹凸成人综合网| 五月激情啪啪| 狠狠色大香蕉| 国产色色色色| 26uuu欧美亚洲日韩| 久久激情综合| www.久久综合| 欧美婷婷丁香五月| 野战J办公桌椅H| 丁香五月综合| 玖玖婷婷综合| 成年人丁香五月| 婷婷激情六月综合| 丁香婷婷六月婷婷六月婷婷六月婷婷| 丁香 亚洲 久久| 51精品国自产在线| 九九久久99| 超碰在线观看9| 亚洲综合色棒| 青青福利网| 五月婷婷亚洲| 九月激情综合婷婷| 色欧美日| 五月婷婷之综合激情在线| 疯狂做受XXXX高潮A片动画| 色色五月天丁香| 青青草婷婷综合五月| 亚洲人妻av| 五月丁香婷婷啪啪网| 一区二区三区四日本| 9色在线| 欧美性爱特黄一级aaaassss| 亚洲人妻Av| 五月婷婷五月天| 五月天成人小说| 激情丁香五月天综合| www.玖玖九| 久操大| 新激情五月开心五月婷婷五月丁香五月| 吾爱AV导航| 26uuu欧美| 久久久久久性爱视频| 亚州激情九月| 久久99人人| 精国产品一区二区三区A片| 九九热99热| 成人精品人妻| 精品人人操| 香蕉操亚洲| 五月婷婷六月色| 九九色热视频| 99久久玖玖| 婷婷五月天天aV| 开心婷婷五月花| 影音先锋xfplay资源男人网| 久久久久婷婷五月热综合| 激情五月天婷婷图| 六月婷婷五月丁香首页| 思思热在线视频观看精品| 五月婷婷丁香成人网| 久青操| 欧美WW在线网| 9l视频自拍9l九色9l成人| 丁香六月成人| 国产中文字幕在线视频免费观看| 888久久久| 大香蕉娱乐| 9 大屁股在线视频精品| 亚洲xx网| 996热| 亚洲午夜av| 激情九月婷婷| 久久杏爱视频| 伊人网色婷婷五月天| 日韩婷婷五月天| 婷婷丁香五月天小说| 狠狠色五月| 思思热在线视频99| 日日爽日日| 色婷婷丁香五月综合| 五月天激情电影| 婷婷五月六月丁香| 婷婷综合五月天| 婷婷中文无码| 婷色五月天| 狠狠精品干练久久久无码中文字幕| AV成人在线网站| 激情6月| 久久网婷婷| 2017人人操| 久久网日本| 狠狠大香婷婷爱| 五月天婷婷在线观看精品男人| 国产26uuu视频| 婷婷伊人久久综合| 五月 成人 婷婷| 激情亚洲网| 无码少妇高潮喷水A片免费| av国产精品| 日本久久色| www,色综合| 久久综合激情| 五月天激情婷婷五月天久久| 亚洲VA口| 五月综合久久| 免费观看2018www黄色操逼网站| 久Se视频在线观看| 亚洲激情高潮| 五月婷婷婷丁香播| 激情色播| 丁香五月色激情| 日本97在线| 久久综合九九| 婷婷五月天激情五月天网站| 色久影院| 婷婷99狠狠躁天天躁| 丁香五月天大香蕉啪啪| 五月婷婷色播| 亚洲狠狠狠色婷婷综合激情久久久| 婷婷视频在线| 大香蕉手机视频| 国产在线aaa片一区二区99| 97超碰欧美中文字幕| 久久99婷婷| 色 五月婷婷基地| 九色啦蜜臀| 欧美成人A片AAA片在线播放| 丁香五月激情五月| 丁香五月情色| 九九久久综合网站| 亲子乱AV一区二区三区下载| 亚洲中文AV| 精典久久| 久久久久久丁香五月| 欧美色九| 婷婷大香焦| 伊人狠狠丁香婷婷综合尤物| 这里只有免费的精品| pom538精品视频| 思思热在线视频精品| 97sese婷婷| 思思99热热热99| 五月婷婷丁香在线| 97精品人人A片免费看| 日本A片一区| 大香蕉九九| 久久这里有精品视频| 少妇高潮一区二区三区99欧美| 夜夜嗨一区二区三区直播内容| 超碰在线超碰| 中文国产五月天| 激情综合婷婷| 94干大香蕉| 欧洲亚洲免费视频9| 婷婷社区五月天| 精品亚洲国产成AV人片传媒| 91操片| 亚洲激情五月丁香久久久久| 五月婷久久| 少妇被下春药玩弄A片| 丁香五月激情啪啪啪| 天天久久狠狠色综合| 激情亚洲婷婷六月| 五月激情六月综合| 视频久久9| www.av视频xx999.com| 六月合五月婷| 丰满人妻妇伦又伦精品国产| 日韩人妻在线观看| 丁香五月天激情免费在线观看AV777| 丁香婷婷大香蕉| 白度黄视频| 五月婷婷在线视频免费观看| 色噜噜狠狠色综合成人99| 婷婷五月天激情网| 日韩成人综合网| 99精品在这里| 嫩草免费视频| 狠狠干青青草| 九九综合| 他改变了拜占庭| 这里只有精品视频| 婷婷五月丁香激情图片 | 婷婷欧美综合| 国产精品VA在线| 拍真实国产伦偷精品| 婷婷射图| 色香久久| 婷婷9月天| 婷婷久久午夜网| 色色五月天网站| Caoporn公开| 狠狠色激情在线| 五月婷在线观看| 91日综合欧美| 91色情播放| 精品国产乱码久久久久久免费| 99玖玖免费视频| 综合色播| 九色在线观看91av| www.激情五月| 2015超碰| 色色无码| 97影院一级片| 黄网免费看| 日本黄色在线观看| 激情图片久久| 玖玖爱综合网| 99热最新| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 一区视频网站| 久久婷婷五月综合激情国产| 96精品久久久久久久久| 色婷婷狠| 色伊人婷婷| 美欧日韩国产成人在战| 六月婷婷综合激情| 色射影院| 久久综合丁香激情五月| 狠狠色婷婷在线| 天天弄天天操| 五月激激网w'w'w| 极品少妇XXXX精品少妇偷拍| 国产热精品| A片女女女女女女BBBB| 色日本丁香婷婷| 高清无码网址| 密桃激情五月天综合网| 大香婷婷| 婷婷午夜激情| 婷婷五月在线免费| 国产精品a无线| 五月丁香在线国产 | 中文成人在线| 操人妻视频91| 停停五月色宗合| 五月婷婷影| 91人妻人人做人碰人人爽九色| 五月婷婷色色色| 伊人婷婷青青cao| 思思99热| 欧美色爱五月天| 哇嘎成人久久| 色香欲综合| 色。 日日日| 男人大jjc女人免费视频| 婷婷噜噜| 色色色色综合网| 免费黄色片子| 婷婷色爱| 综合网色| 激情综合网激情五月俺也去| 啪啪色区| 99热久只有| 97色色视频| 蜜臀嫩草| 五月婷婷久久综合| A短视频免费在线观看| 精品色色色| 欧美图片丁香五月天| 色无码| 久久五月天综合| 人妻狠狠操| 亚州在线中文字幕| 1区2区视频| 大香蕉av在线| 91聚色综合网| 大香蕉精品视频| 开心久久爱五月天| 久久婷婷五| 日韩999| 色亚洲视频| 9|在线观看视频| 婷婷五月激情欧美| 精品综合五月| 亚洲99在线| 六月婷婷激情| 婷婷五月天干干| 91精品久久久久久| 色五月 激情婷婷 综合五月天| 婷婷九九色| 91男同| 五月综合婷婷网| 日韩啪图| 久操操| 婷婷色五月色| 五月婷婷在线丁香| 精品综合网在线| 久久草中文日韩欧美| 玖玖在线资源视频| 色五月大| 乱乱av| 婷婷激情视频| er99免费视频在线| 五月丁香色| 色色五月婷婷狠狠| 天天激情站| 99免费视频网| 六月丁香五月激情亚洲AV| 天天婬色综合| 九九综合色| 婷婷八月丁香激情综合| 丁香五月天婷婷久久综合| 久久九九精彩| 婷婷五月性感| 婷婷操逼| 六月婷婷综合激情| 操逼福利视频| 综合色播| av线电影| 婷婷丁香六月天| 91天天操天天干天天射| 五月亭亭六月天| 青青夜夜狠狠夜夜狠狠| 六月丁香色色| 日韩有码一区| 图片区 小说区 区 亚洲五月| 激情99| 色五月综合网| xxxx五月| 97操操操| 日本专区久久| 熟女色色一区二区| 亚洲婷婷免费| 五月婷婷丁香| 天天爽天天日天天舔| XXXX岛国| 中文字幕在线日亚州9| 97操男人的天堂| 99热在线观看| 色综合色综合网| 五月婷婷久久大香蕉| 激情五月色综合| 热的国产,热的综合,热的有码| 国产精品操| 婷婷久久色五月婷婷久久久| 一起草AV| 尔尔AV一区| 99免费在线视频| 俺去啦综合网| 另类激情五月| 免费视频舔| 五月丁香 啪啪| 亚洲五月天色色| 67久久| 麻豆AV一区二区三区| 亚洲日日日| 超碰97干| 五月天婷婷色色网| 人人视频人人干人人做| 丁香婷婷色情社区成人小说| www激情网| 精品国产va久久久久久久| 五月婷婷基地| 亚洲精品电影| 亚洲精品视频在线播放| 色噜噜狠狠色综合成人99| 久久九九婷婷| 991自拍视频| 亚洲狠狠丁香婷婷香蕉| 亚洲黄色网址| 丁香六月婷婷色XXXX| 欧美人与性动交CCOO| 五月色网| 激情五月婷婷伊人| 丁香婷婷免费| 亚洲综合网激情小说| 婷婷丁香69精华| 人妻熟妇国产精品| 在线五月婷婷小电影| 九九久久综合| av大香蕉| 五月伊人综合| 久久久er热| 天堂婷婷五月在线| 99热精品在线播放观看| 丁香五月婷婷色综合基地| 99热国产这里只有| 爱草视频在线| 嫩BBB槡BBBB搡BBBB视频| 九九热在线视频,| 成人婷婷五月| 丁香久久久| 丁香六月色婷婷综合| www.激情五月天| 五月天综合影院| 人人爱国产| 丁香六月在线| 婷婷五月丁香色综合| 91人操人人人操人| 中文字幕av在线播放| 婷婷五月丁香啪啪| 五月天伊人网| 伊人综合网站| 蒲京久久无码视频| 色综合久久88色综合天天| 色开心五月丁香| 丁香五月婷婷欧美激情-中文天堂最新版在线观看 | 色色亚洲无码| 丁香五月天欧美在线| 欧洲免费视频色| 五月丁香亚洲综合| 婷婷久久久久| 丁香激情五月天| 中文av网站| 亚洲V国产V欧美V久久久久久| 久草热8精品视频在线观看| 日本在线观看99| 色五月婷婷天堂| 九九色院| 99热 这里只有精品 国产 日韩| 久久精品性爱视频,| 激情五月综合色婷婷| 九九色视频| 天天爱天天操| 玖玖精品视频| 色婷婷丁香花五月天| ady狠狠入| 九九九午夜视频| 99九色视频在线观看| 色色色色色级无码| 五月婷婷色啪| 久er免费视频| 深爱五月亚洲| 五月丁香成年黄色| 色噜噜综合网| 天天日日| 五月色婷婷影院| 久久99激情| 五月天激情网开心网| 99热综合网| 婷婷九月色| 丁香五月激情五月| 99久久婷婷国产综合| 婷婷六月丁香久| 国产五月天欧美色| 色99在线视频| 丁香五月天堂亚洲社区| 99热爱爱干干日| 五月丁香六月婷婷免费| 婷婷五点亚洲| 色优久久| 婷婷福利影院| 精品久久99| 岛国av电影网站| 久热黄色| 播丁香五月婷婷欧美| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 欧美五月婷婷| 五月婷婷无码专区| 99亚洲视频| 成人无码髙潮喷水A片| 99小视频在线观看| 激情六月丁香综合| 亚洲婷婷免费| 狠狠穞A片一區二區三區| 久久久久久99日本| 欧美一级色| 日逼免费视频 | 超碰91人人操| www.99精品日操伊人乱碰在线| 91久久综合亚洲鲁鲁五月天| 开心综合激情综合| 亚洲a色| 激情电影五月婷婷| 五月丁香五月丁香| 性爱久久| 天天插操| 99在线精品免费视频| 激情婷婷22月间| 亚洲国产色婷婷| 丁香六月婷婷| 六月成人网| 99超级碰免费视频| 五月婷婷激情五月| 欧美亚洲色色色色| 亚洲人成网亚洲欧洲无码久久| 深爱五月激情| 五月天色五月| 丁香婷婷六月天| 婷婷开心久久| 午夜天堂一区人妻| 久久综合婷婷| 天天射影院| 亚洲丁香五冃97色| 噜噜综合网| 99人妻碰碰碰久久久久禁片| 婷综合六月| yazhouzonghesese| 天天干一干| 久久伦乱| www.天天日| 久久大大香| peg 2区三区四区的| 99在线观看视频| 亚洲啪啪精品| 五月天婷婷视频30| 成人做爰高潮A片免费视频| 丁香九月久久| 婷丁香五月天| 成人在线视频男人的天堂4399| 综合激情网| 五月亭亭直播| 久热成人| 色婷婷A| 亚洲精品网址| 天堂草在线看www| 影音先锋91网站在线观看| 亚洲 综合中文| 亚洲人人操| 日韩美一级毛卡片| 色婷婷视频综合| 202丰满熟女妇大| 久热只有这里有精品| 日本综合色色| 六月丁香综合| 性生活视频98791| 久久久久五月丁香| 5月婷婷激情网| 久爱综合| 成人网丁香五月| 成人综合网站| 久色姿源| 性爱久久| 九九热99re8热免费观看 | 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 色色色色色色色色色色色色色色,网站| 丁香五月激情婷婷激情| 国产又爽又猛又粗的视频A片| www.av视频xx999.com| 中文激情网| 丁香五月欧美成人| 91中文在线| 国产激情视频在线观看| 天天干天干| 天天狠狠婷婷在线| 九九Av| 26uuu色噜噜精品一区| 五月激情视频| 蜜乳9188| 国产精品VIDEOSSEX久久发布| 亚洲性爱99| 久热免费视频| 婷婷美女精品视频| 97很鲁在线视频| 五月丁香婷中文字幕| 蜜臀综合久草| 99在热线免费视频| 色五月婷婷激情基地| 97碰人人操| 91丨九色丨熟女|新版| 五月综合久久| 梁铮版《蜘蛛女侠》在线| 久久久久人妻| 玖玖福利视频资源| 免费观看高清无码| 天天操天天插| 久久久WWW| 狠狠操天天干| 国产淫熟妇| 色婷婷久久9.com| AV性爱网| 五月丁香婷婷在线| 无码AV久久久久久久久| www,婷婷| 日本啪啪天堂| 欧类av怡春院| 日日杆天天| 狠狠操综合| 少妇水多A片太爽了| 天天添天天摸天天天天做| 麻豆忘忧草午夜| 第四色五月婷婷| 丁香五月色情| 97在线观视频免费观看| 久久久精品色| 六月丁香大香蕉| 91精品丝袜久久久久久| 99色一| 成人啪啪色婷婷久| 色婷| 狠狠擼综合| 婷婷丁香综合在线| 中文激情网| 久久久婷丁香五月| 91性人人| 丁香色婷婷| 97久久香草精品视频| 伊人久久大香| 超碰碰碰碰| 婷婷五月天免费| 婷婷五月,偷窥偷拍网| 九九视频这里只有精品| 在线色五月婷婷| 五月花激情网| 能看的AV| 婷婷五月天欧美| 色综合综合色| 日韩无码AV电影网站| www.minyis.com【JT】实力收量可预付QQ2101460746 | 天天操天天插| 男人天堂亚洲综合| www久久久久久| 99热只有| 天天做天天爱天天要| 亚韩在线视频| 5月丁香综合图区| 亚洲天堂啪啪| 色五月婷婷丁香婷婷| 爆乳熟女一区二区三区爆乳| 久热99| 天天摸天天透天天舔| 激情久久四色| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 日韩抽插操逼| 99色久| 亚洲中文字幕网| 日本成人噜噜| 99小视频在线| 91熟妇大香蕉| 五月丁香在线| 色五月播五月| 五月婷婷干干干| AV大片在线观看| 婷婷爱五月| 天天噜噜| 五月丁香天堂网婷婷| 97碰在线| 98色丁香五月婷婷综合网| 四川BBB搡BBB搡多人乱亂| 久久六月天| 九九热只有精品| 激情五月亚洲综合网| 色五月婷婷基地| 97AV人人插人人操| 超碰人人摸人人操| 天天日天天插| 9久久久久久久久久久| 999热在线视频| 五月天婷婷六月| 久/久精品99看9| 伊人玖玖网| 97干在线视频精品店| 五月综合久久| 久99| 久久婷婷五月综合激情国产| 日日爱激情| 五月婷婷综合色啪首页| 婷婷第六色| 日韩人妻无码精品| 99日在线观看视频| 黄色激情网站在线观看| 人妻熟女一区二区AV| site:pnnrt.com| 殴美日比视频| 婷婷五月综合体验看| 欧美激情综合色综合色| 伊人日日干| 五月色亭丁香| 99这里有精品视频3| www.99婷婷| 色9月| 久久大香蕉伊人| 亚洲电影中文字幕| 99热综合在线观看| 亚洲AV在线免费看| 亚洲最大成人综合网720P| 337p大胆噜噜噜噜噜91Av| 婷婷亚洲影院| 中文字幕综合网| 九九这里是免费的视频5| 五月天婷婷久久| 5月婷婷激情在线| 99热无码| 婷婷王月天影院| 思思热久久爱| 天堂AV在线看| www.六月丁香看AV| 就爱射中文字幕资源网| 婷婷五月天a| 亚洲激情五月丁香久久久久| 99热在线这里只有精品| www.十八禁不禁AV.com| 无码激情精品色婷婷久久久久| 色六月丁香婷婷狠狠干| 亚洲色色爱| 热热久久精品视频| 99热精品网| 久久与婷婷| 六月丁香婷婷网| 丁香五月深爱五月婷婷| 无码婷婷五月天| 狠狠狠五月婷婷六月丁香| 激情五月天免费视频| 狠狠五月天婷婷激情网。| 色婷婷丁香五月色综合网| 五月花婷婷丁香| 色婷婷色婷婷五月| 天天做夜夜爽| 国产日韩欧美性爱| 欧美日韩成人一区二区| 免费啪啪亚州视频| 五月丁香综合啪啪| 开心激情婷婷| 国产午夜精品AV一区二区麻豆| 国产午夜精品一区二区三区嫩草| 天天揷综合网| 婷婷丁香精品视频在线观看| 99热99思午夜精品| 久久五月婷婷丁香| 五月婷婷av| 干亚洲天堂| ss99热| 婷婷丁香五月综合激情视频| 日本婷婷色日| 123草逼网| 婷婷中文字幕| 无码激情AAAAA片-区区| 超碰99热精品在线| 综合久久久婷| 99九色视频在线观看| 五月婷婷色播视频| 五月天中文字幕在线婷婷| 丁香六月婷婷综合在线| 激情五月婷婷五月| 中文字幕AV在线| 久久久久久欧美精品se一二三四| 操操操97| 婷婷久久婷婷| 99色婷婷视频| 开心五激情网| 五月婷婷五月天激情网| 亚洲熟女色| 狠狠操狠狠爱| 人妻有码乱操| 91综合色| 综合99在线| 中文字幕色色| 色玖玖综合网| 久草婷婷| 综合久久综合五月天婷婷| 香蕉久久国产av一区二区| www,8050,午夜三级| 99色热视频| 99热66| A久久| 午夜AV网| AV在线中文| 五月丁香婷婷激情| 色色色色色网| 狠狠色成人影片| 91久女| 丁香五月六月综合激情| 亚洲激情电影五月天色婷婷丁香一起草| 五月激情五月婷婷五月天在线| 26uuu丁香婷婷五月| 亚洲综合五月天| 97sese婷婷| 99热只有精品综合| 久8色色| 国产成人av在线播放| 免费观看全黄做爰的视频| 午夜日韩久久久网站| 亚洲国产精品成人免费一区久久久在线观看AAAA| 国产性色蜜乳| 99久精品视频| 欧美性猛交XXXX乱大交极品| 91视频综合网| 丁香五月另类小说在线阅读| 噜噜噜噜综合在线| 婷婷五月天av| 美女xx不卡| 伊人大香五月天| 夜夜爱网站| 五月丁香啪| 91|九色|动漫| 99热骚货| 婷婷丁香五另类网站| 久久婷婷五月天丁香| 亚洲精品无码久久| 欧美成人精品一区二区| 激情亚洲网| 久久一伦| 亚洲色婷婷婷婷人人爽| 久婷久婷| 狠狠爱成人综合网| 婷婷五月丁香基地在线视频官网| 五月丁香六月婷婷亚洲综合| 无码99| 9婷婷内射| 五月天性色| 久综合网| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 大波美女VA网站| 色在线99| 狠狠爱成人综合网| 99热 这里只有精品 国产 日韩| 亚洲综合色色色| 国产乱子轮XXX农村| 激情丁香六月| 色色色.COM| 99精品网| 色婷婷97| 久久538| 日本操天堂| 深爱五月月天| 色五月大| 五月天婷婷激情六月久久| 五月丁香五月丁香| 九九热99视频| 9 9 9色色| 五月丁香六月婷婷a v| 婷婷五月天久久| 男女免费视频999| www.亭亭五月天| 五月天激情视频| 成人亚洲精品| 久草热在线视频| 97人人干视频| 天天色天天爱天天舔| 天堂久久精品| 青青草99热久久精品国| 五月婷婷在线观看| 国产AV一区二区三区最新精品 | 五月综合影院| 麻豆WWWCOM内射软件| 日本a片网址| 婷婷色丁香五月| 久久综合色情网站| 激情小说婷婷五月| 婷婷视频在线| 69五月天视频| 97久久视频| 亚洲色色色色色色色色色| 97色在线观看视频| 免费AV在线网址| 十月丁香九月婷婷综合| 久久色六月| 五月天婷婷青青| 97人人射| 五月丁香婷婷爱激情综合网| 久草A片| 99在线视频资源| 日日夜夜狠狠| 99碰在线视频| 五月天色社区| 久久33视频| 婷婷色情五月| 激情综合网婷婷五夜| 99爱最新免费视频在线观看| 中文字幕日产A片在线看| 天天日天天插天天操| 人妻久久久久久久 | 午夜不卡久久精品无码免费| 国产日韩欧美性生活| 五月天伊人| 99热最新精品| 久热只有精品| 久热这里只有精品6官网亚洲| 九九久久99| 日本啪啪天堂| 婷婷亚洲影院| 中文字幕在线日亚州9| 91久久婷婷| a在线观看| 五月婷色| 九九日本视频| 九色视频91| A一级操| 东京热免费视频| 色色影院aaaav| 婷婷成人基地| 五月婷在线色视频| 五月婷三级片| 五月天精品综合| 99超级超级超级碰| 婷婷五月丁香综合激情| 婷婷激情五月视频| 夜夜久久综合网| 另类激情五月| 26UUU欧美| 色五月婷婷狠狠撸| 亚洲精品一区中文字幕乱码| 日本在线免费中文com.| 一级操逼大片| 五月天 另类图片| se.久久视频在线观看| 这里有精品| aa久久| 日本色婷婷| 三级av在线| 久久精品亚洲一级牲爱综合 | 欧美日综合| 五月婷婷m| 日本久久色| 久久综合五月| 超碰色综合| 丁香六月激情综合| 天天操天天操| 男人的天堂在线婷婷| 日日干天天| 九九热中文| 九九色热| 情涩婷婷五月天| 久操人| 六月激情婷婷| 思思网站| www.金莲av| 色五月综合资源推荐| 91人妻PORNY九色大屁股| 日日干夜夜干| 婷婷五月天日本无码| 99色| 高清无码视频网址| 99色视频在线观看| 99色在线免费观看视频| 五月丁香无码| 久久久久久久久久久久久久人妻视频| 成人无码免费一区二区中文| 五月婷婷69| 99久久久久| 少妇人妻丰满做爰XXX| 天天日天天干天天天| 99热这里只有精品1025| 久久综合九九| 婷婷欧美激情| 五月婷婷久久久| 国外亚洲成AV人片在线观看| 看久久性爱99视频| 丁香六月婷婷综合激情欧美| 免费看欧美成人A片无码| 天天色色天天| 久久五月丁香| 五月天婷婷婷| 丁香 久久| 深爱网深爱综合网| 麻豆精品| 久久久久9| 超碰熟女拍拍| 五月天色婷婷基地| 性欧美大战久久久久久久83| 天天爽天天日| 小香蕉av| 9精品一区| 岛国AAAV| 五月婷色激情五月| 五月色网| 色啪久| av网址在线| 精品成人无码A片观看香草视频| 国产超碰人人| 日产精品久久久久久久蜜臀| 99网99热| 国产欧美日韩一区二区三区| 91视频综合网| 日日做A爰片久久毛片A片英语| 99综合网| 五月天婷婷激情小说| 久久五月天色婷婷| 色伊人91在线视频| 黄网免费观看| 激情五月亚洲| 丁香五月天导航| 中文字幕高清av| 五月丁香六月婷| 丁香五月六月综合欧美| 亚洲激情网站无码| 欧洲精品爱爱| 婷婷,五月天,丁香,第一| 99免费在线视频| 这里有精品| 色综合久久伊伊婷婷五月| wWW九九在线播放| 狠狠噪| 激情小说五月天| 一级性爱视频| 青青草a在线| 在线中文亚洲| 97色精品视频| 久色激情| 激情视频综合| 精品99只有。| 久久久精品99亚洲综合| 亚洲xx网| 久久91久久精品久久| 99视频只有精品| 五月天激情小说| 婷婷五月天激情影片| 丁香五月花婷婷开心| 五月天久久网站| 五月美女婷婷风骚| 激情五月激情综合网| 蜜桃人妻无码AV天堂三区| 色五月综合网| 五月天激情偷拍| 色婷婷伊人| 99在线播放| www久久久久久久久久久| 99热手机在线精品| 色婷婷超碰| 婷婷五月婷| 婷婷五月精品在线| 九九综合视频在线观看| 亚洲小电影在线观看黄999| 五月婷九月| 青草视频在线播放| 婷婷五月天小说| 青青草tp| 五月亭亭狠狠| 另类图片婷婷五月天| 久久这有这里精品| 九月丁香| 99网址在线看| 久久香蕉婷婷| 色网站9| 久久综合五月天激情小说网站| 婷婷五月成人| 激情五月婷婷视频一区二区三区| 五月丁香色婷婷久久| 99热这里只有精品青草| 色噜噜婷婷| 色婷婷丁香五月丁香| 丁香五月婷婷少妇| 婷婷五月天成人在线视频| 久久女人天堂| 99人人干人人| 婷婷五月综合色中文字幕| 91主播在线| 成人AV播放| 色综合综合综合| 国产真实乱了老女人视频| 中文字幕 码精品视频网站| 岛国av网站| 老司机伊人| 久色网| 三级三久久线久久99久目本WW| 久大香蕉| 久9热视频| 婷婷的色色五月天| 99热免费观看| 亚洲五月停停| 色五月激情五月| 99re免费在线视频| 伊人超碰在线| 91碰碰碰久久久久| www.cao.com久久| ai97re99一本| 五月丁香激情综合网官网| 20253AV| 色婷婷在线视频观看| 99热99精品在线观看| 爱操天堂| 色综合婷婷99| 婷婷狠狠爱| 夫妻超碰在线| 日本三级毛片| 五月天婷婷香蕉狠狠超碰综合| 欧美三级黄色片久久|