欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

DolphinDB單元測(cè)試實(shí)戰(zhàn):從斷言到CI集成,打造穩(wěn)健的時(shí)序數(shù)據(jù)計(jì)算

DolphinDB單元測(cè)試實(shí)戰(zhàn):從斷言到CI集成,打造穩(wěn)健的時(shí)序數(shù)據(jù)計(jì)算 1. 為什么數(shù)據(jù)庫腳本也要寫單元測(cè)試聊聊DolphinDB開發(fā)的真實(shí)痛點(diǎn)先說一個(gè)我自己的經(jīng)歷。前兩年在做一套基于DolphinDB的量化因子計(jì)算平臺(tái)核心邏輯全寫在存儲(chǔ)函數(shù)里。當(dāng)時(shí)大家約定俗成的做法是寫完函數(shù)直接跑一遍歷史數(shù)據(jù)看看結(jié)果大概對(duì)就行。結(jié)果有一次修改了一個(gè)公共因子函數(shù)加了兩個(gè)參數(shù)進(jìn)去改完當(dāng)天所有策略的結(jié)果曲線都正常但到了第二周做歸因分析時(shí)才發(fā)現(xiàn)因子權(quán)重在某個(gè)邊界場(chǎng)景下算錯(cuò)了——原因很簡(jiǎn)單參數(shù)默認(rèn)值在重構(gòu)時(shí)悄悄變了而所有下游調(diào)用都用了默認(rèn)參數(shù)等于整個(gè)平臺(tái)跑在一套錯(cuò)誤的計(jì)算邏輯上。那次事故之后我開始認(rèn)真研究DolphinDB的單元測(cè)試方案。和Java、Python生態(tài)里JUnit、pytest這種開箱即用的測(cè)試框架不同DolphinDB作為一個(gè)時(shí)序數(shù)據(jù)庫加計(jì)算引擎官方雖然提供了test相關(guān)的函數(shù)和方法但整個(gè)社區(qū)的實(shí)踐案例非常少文檔也比較零散。更麻煩的是數(shù)據(jù)庫腳本測(cè)試有個(gè)天然的心理門檻大多數(shù)人覺得SQL寫對(duì)了就是對(duì)了沒必要再套一層測(cè)試代碼。但恰恰是這種心態(tài)讓數(shù)據(jù)計(jì)算邏輯里的隱性Bug成了最大的風(fēng)險(xiǎn)源。這篇文章不會(huì)去復(fù)述官方文檔里那點(diǎn)函數(shù)簽名而是把我實(shí)際搭建一套DolphinDB單元測(cè)試體系的過程完整寫出來。從最基礎(chǔ)的斷言怎么寫到怎么組織測(cè)試文件、怎么集成到CI流程再到那些不踩一次坑根本不會(huì)注意到的細(xì)節(jié)。無論你是剛接觸DolphinDB還是已經(jīng)在生產(chǎn)環(huán)境跑了好幾個(gè)項(xiàng)目這篇文章應(yīng)該都能給你一些可以直接抄走的思路。和普通編程語言的單元測(cè)試相比DolphinDB的測(cè)試有幾個(gè)完全不同的問題要處理。第一DolphinDB腳本通常強(qiáng)依賴數(shù)據(jù)庫環(huán)境很多函數(shù)直接讀寫表對(duì)象不像Java可以隨便mock一個(gè)對(duì)象第二時(shí)序數(shù)據(jù)天然有順序和時(shí)間的敏感性測(cè)試數(shù)據(jù)構(gòu)造比普通業(yè)務(wù)數(shù)據(jù)復(fù)雜第三DolphinDB腳本是解釋執(zhí)行運(yùn)行時(shí)的錯(cuò)誤信息往往不如編譯型語言直觀定位問題需要額外的手段。這些痛點(diǎn)不解決測(cè)試寫得再多也只是自欺欺人。下面我就按自己搭建這套測(cè)試體系的實(shí)際順序一層層講清楚。2. 測(cè)試前的關(guān)鍵設(shè)計(jì)測(cè)試庫與測(cè)試數(shù)據(jù)的隔離策略2.1 為什么必須用獨(dú)立的測(cè)試庫而不是直接連生產(chǎn)庫這個(gè)問題聽起來像廢話但實(shí)際項(xiàng)目里真有人圖省事直接連開發(fā)庫跑測(cè)試。我自己第一次寫DolphinDB測(cè)試時(shí)也干過這種事測(cè)試用例里直接讀取線上正在用的因子表點(diǎn)運(yùn)行看著結(jié)果通過就覺得萬事大吉。這么做的后果是災(zāi)難性的。第一測(cè)試結(jié)果受數(shù)據(jù)變化影響同樣的用例今天跑過明天可能就掛了但你根本分不清是代碼邏輯變了還是底層數(shù)據(jù)變了第二測(cè)試用例里如果涉及寫入、更新、刪除操作會(huì)對(duì)開發(fā)庫的真實(shí)數(shù)據(jù)造成污染一旦測(cè)試邏輯有Bug誤刪數(shù)據(jù)連恢復(fù)都很麻煩第三如果你跑的是性能測(cè)試高頻讀寫還會(huì)拖慢其他同事的查詢。正確做法是在DolphinDB里單獨(dú)建一個(gè)測(cè)試庫。我常用的建庫邏輯是這樣// 測(cè)試庫路徑dfs://test_unit login(admin, 123456) if (!existsDatabase(dfs://test_unit)) { db database(dfs://test_unit, VALUE, 2020.01.01..2023.12.31) }注意這里的分區(qū)方式。對(duì)于測(cè)試庫來說時(shí)間分區(qū)不一定是最優(yōu)選完全取決于你測(cè)試的代碼邏輯。如果是針對(duì)某個(gè)特定業(yè)務(wù)場(chǎng)景的測(cè)試建議按照業(yè)務(wù)ID做HASH分區(qū)這樣構(gòu)造數(shù)據(jù)時(shí)更靈活如果測(cè)試的代碼本身就涉及時(shí)間序列處理那就用時(shí)間分區(qū)但分區(qū)粒度要小一點(diǎn)避免每次測(cè)試都要跨全部分區(qū)掃描。我自己的經(jīng)驗(yàn)是測(cè)試庫盡量只用一張主表所有測(cè)試用例都往這張表里灌數(shù)據(jù)。好處是字段結(jié)構(gòu)統(tǒng)一構(gòu)造測(cè)試數(shù)據(jù)的helper函數(shù)不用反復(fù)重寫壞處是不同用例之間可能互相干擾。這個(gè)問題后面講用例隔離時(shí)再細(xì)說。2.2 測(cè)試數(shù)據(jù)的構(gòu)造方法手工寫死 vs 腳本生成構(gòu)造測(cè)試數(shù)據(jù)是整個(gè)DolphinDB單元測(cè)試?yán)镒钊菀妆坏凸赖囊徊健:芏嗳嗽跍y(cè)試庫建完后就直接手寫數(shù)據(jù)data table( 1..10 as id, rand(100.0, 10) as val, take(buy, 10) as side )這種寫法在Demo里沒問題但真實(shí)項(xiàng)目里幾類數(shù)據(jù)是不能靠rand的邊界值比如極小的數(shù)、極大的數(shù)、空值、NULL、NaN時(shí)間類數(shù)據(jù)跨月、跨年、閏年、時(shí)區(qū)邊界、時(shí)間戳精度邊界字符串類數(shù)據(jù)空字符串、超長(zhǎng)字符串、特殊字符、中文編碼正確的做法是把測(cè)試數(shù)據(jù)構(gòu)造封裝成helper函數(shù)按場(chǎng)景批量生成。舉個(gè)例子如果你要測(cè)試一個(gè)因子計(jì)算的函數(shù)它的輸入是某只股票過去N天的分鐘K線那么你的數(shù)據(jù)構(gòu)造函數(shù)大概長(zhǎng)這樣def prepareKLineData(code, startDate, endDate, barCount) { // 基于日期區(qū)間生成分鐘級(jí)時(shí)間戳 ts interval(2023.01.04 09:30:00.000, 2023.01.04 15:00:00.000, 1000) // 再搭配隨機(jī)價(jià)格、成交量等字段 ... }這樣的好處是測(cè)試用例里只需要指定股票代碼和時(shí)間范圍就能得到一套可預(yù)期的、穩(wěn)定的輸入數(shù)據(jù)不用每個(gè)用例都寫一大段table(...)。2.3 測(cè)試用例之間的數(shù)據(jù)隔離事務(wù)和表級(jí)清理DolphinDB腳本執(zhí)行時(shí)如果沒有顯式開啟事務(wù)一條語句的失敗可能會(huì)導(dǎo)致部分寫入生效。這就引出一個(gè)非常惡心的現(xiàn)實(shí)問題測(cè)試A往主表里插了10條數(shù)據(jù)測(cè)試B跑的時(shí)候發(fā)現(xiàn)數(shù)據(jù)多了10條結(jié)果不對(duì)。我的解決思路是分層處理。簡(jiǎn)單場(chǎng)景下每個(gè)測(cè)試用例跑完后強(qiáng)制清理自己寫入的數(shù)據(jù)def cleanupData(code) { t loadTable(dfs://test_unit, mainTable) t.delete!(sql(, t, code code )) }復(fù)雜場(chǎng)景下直接把表drop掉重建。雖然慢一點(diǎn)但絕對(duì)干凈而且測(cè)試用例之間徹底互不影響??紤]到DolphinDB的建表速度其實(shí)不慢我后來更多采用這種做法。提示對(duì)于涉及分布式表的測(cè)試data的可見性還受DolphinDB事務(wù)提交時(shí)機(jī)的影響。如果你在存儲(chǔ)過程里寫數(shù)據(jù)但不主動(dòng)commit測(cè)試?yán)镒x到的可能是舊快照。遇到這種詭異問題時(shí)先確認(rèn)數(shù)據(jù)和讀取是否在同一個(gè)會(huì)話里。3. DolphinDB單元測(cè)試的函數(shù)選型assert家族與自定義斷言3.1 官方assert函數(shù)的用法和局限性DolphinDB內(nèi)置的斷言函數(shù)主要有assert、eqObj、eqFloat這幾個(gè)。它們的用法很簡(jiǎn)單assert condition, error message如果condition為false會(huì)拋出異常并打印error message。eqObj用來比較兩個(gè)對(duì)象是否相等eqFloat用來比較浮點(diǎn)數(shù)。但直接用這些函數(shù)寫測(cè)試有兩個(gè)尷尬的地方。第一錯(cuò)誤信息不夠友好。比如eqObj比較兩個(gè)表內(nèi)容時(shí)它只會(huì)告訴你兩個(gè)對(duì)象不相等不會(huì)告訴你具體是哪一行哪一列不一樣第二斷言失敗時(shí)缺少上下文信息你看到一個(gè)錯(cuò)誤堆棧時(shí)根本不知道是哪個(gè)測(cè)試用例掛的。所以我在實(shí)際項(xiàng)目中會(huì)對(duì)這些內(nèi)置函數(shù)再做一層包裝。包裝后的斷言函數(shù)至少要達(dá)到三個(gè)標(biāo)準(zhǔn)失敗時(shí)能輸出用例名稱和預(yù)期值/實(shí)際值對(duì)表對(duì)象的比較能定位到具體行列對(duì)浮點(diǎn)數(shù)的比較支持自定義精度3.2 自定義斷言讓測(cè)試失敗信息不再像天書下面是我實(shí)際在用的一個(gè)簡(jiǎn)化版斷言包裝函數(shù)def assertEq(expected, actual, msg) { if (expected ! actual) { errorMsg msg \n Expected: expected.str() \n Actual: actual.str() throw error(errorMsg) } true }別小看這個(gè)簡(jiǎn)單的包裝它解決了一個(gè)非常實(shí)際的問題——報(bào)錯(cuò)信息可讀性。DolphinDB的原生assert拋出異常時(shí)如果表達(dá)式比較長(zhǎng)錯(cuò)誤信息會(huì)顯示一堆語法上下文真正的邏輯差異反而被淹沒。包裝之后一眼就能定位問題。對(duì)于浮點(diǎn)數(shù)比較我再加一個(gè)精度參數(shù)def assertEqFloat(expected, actual, epsilon 0.0001, msg Float mismatch) { if (abs(expected - actual) epsilon) { errorMsg msg \n Expected: expected.str() \n Actual: actual.str() \n Diff: (abs(expected - actual)).str() throw error(errorMsg) } true }這里要特別說明一下為什么浮點(diǎn)數(shù)比較需要epsilon。DolphinDB的浮點(diǎn)數(shù)計(jì)算和其他語言一樣存在精度損失問題。你算一個(gè)理論值可能是0.333333但實(shí)際計(jì)算結(jié)果是0.3333329999如果直接用比較測(cè)試必掛。設(shè)一個(gè)合理的epsilon是所有數(shù)值計(jì)算類測(cè)試的共識(shí)具體閾值取決于你的業(yè)務(wù)精度要求。做量化因子計(jì)算時(shí)我一般取1e-6做偏底層的高精度統(tǒng)計(jì)時(shí)可能需要更小。3.3 表對(duì)象的深度比較逐行逐列定位差異DolphinDB里最常見的測(cè)試對(duì)象是表。兩個(gè)表是否相等在不同語義下判斷標(biāo)準(zhǔn)完全不同——字段順序要不要管行順序重不重要時(shí)間精度算不算差異這些都需要在斷言里明確。我封裝的表比較函數(shù)核心邏輯如下def assertTableEqual(expectedTb, actualTb, msg, sortByCol ) { // 1. 檢查行數(shù)列數(shù)是否一致 if (expectedTb.rows() ! actualTb.rows()) { throw error(msg : Row count mismatch. Expected expectedTb.rows().str() , got actualTb.rows().str()) } // 2. 檢查列集合是否一致 expCols expectedTb.columnNames().sort() actCols actualTb.columnNames().sort() if (expCols ! actCols) { throw error(msg : Column set mismatch.) } // 3. 如果指定了排序列先排序再逐行比較 if (sortByCol ! ) { expectedTb select * from expectedTb order by sortByCol actualTb select * from actualTb order by sortByCol } // 4. 逐行比較 for (i in 0:expectedTb.rows()) { for (c in expCols) { if (expectedTb[i][c] ! actualTb[i][c]) { throw error(msg : Row i.str() col c mismatch. Expected expectedTb[i][c].str() , got actualTb[i][c].str()) } } } true }這個(gè)函數(shù)看起來長(zhǎng)但實(shí)際用起來非常順手。尤其是第3步的排序參數(shù)在實(shí)際項(xiàng)目中幾乎是必須的——因?yàn)閿?shù)據(jù)庫查詢結(jié)果的行順序通常沒有嚴(yán)格保證兩個(gè)表內(nèi)容一致但順序不同不能算測(cè)試失敗。如果對(duì)這一點(diǎn)沒有清醒認(rèn)識(shí)你會(huì)在測(cè)試?yán)锉桓鞣N順序不一致的假失敗搞到崩潰。4. 測(cè)試用例的組織方式從單個(gè)腳本到分級(jí)測(cè)試集4.1 一個(gè)測(cè)試文件只測(cè)一個(gè)功能模塊DolphinDB的腳本文件組織比較自由可以在gui里直接運(yùn)行也可以用dolphindb控制臺(tái)加參數(shù)執(zhí)行。這種自由既是優(yōu)點(diǎn)也是缺點(diǎn)——自由過了頭測(cè)試文件就會(huì)變成一團(tuán)亂麻。我建議按模塊來分文件。比如一個(gè)完整的量化因子平臺(tái)測(cè)試目錄大概長(zhǎng)這樣tests/ common/ assertUtils.dos dataUtils.dos factor/ test_momentumFactor.dos test_volatilityFactor.dos test_liquidityFactor.dos dataProcess/ test_klineClean.dos test_adjustFactor.dos validation/ test_portfolioCalc.dos每個(gè)測(cè)試文件里針對(duì)一個(gè)功能函數(shù)寫一組相關(guān)用例。比如test_momentumFactor.dos里測(cè)試的就是動(dòng)量因子計(jì)算函數(shù)在不同輸入下的表現(xiàn)。這樣當(dāng)某個(gè)用例失敗時(shí)你能第一時(shí)間縮小排查范圍不用在一堆亂七八糟的用例里大海撈針。4.2 測(cè)試用例命名規(guī)范和輸出效果DolphinDB沒有像JUnit那樣Test注解來標(biāo)記測(cè)試方法所以測(cè)試用例的組織要靠規(guī)范和約定。我的做法是在main函數(shù)里逐個(gè)調(diào)用測(cè)試用例函數(shù)并用print輸出每個(gè)用例的執(zhí)行狀態(tài)def test_momentum_basic() { // 基本場(chǎng)景 ... print(PASS: momentum basic case) true } def test_momentum_emptyInput() { // 空輸入場(chǎng)景 ... print(PASS: momentum empty input case) true } def main() { test_momentum_basic() test_momentum_emptyInput() // ... }運(yùn)行結(jié)果大致長(zhǎng)這樣PASS: momentum basic case PASS: momentum empty input case FAIL: momentum NaN case配合assertEq里自定義的報(bào)錯(cuò)信息測(cè)試失敗時(shí)能迅速定位到具體用例和具體斷言。4.3 如何做測(cè)試分組冒煙測(cè)試、回歸測(cè)試、全量測(cè)試測(cè)試用例數(shù)量多了之后一個(gè)很實(shí)際的問題是每次代碼改動(dòng)都跑全量測(cè)試時(shí)間成本太高只跑冒煙測(cè)試又怕漏掉回歸問題。我在自己的項(xiàng)目里將測(cè)試集分了三級(jí)冒煙級(jí)只跑主流程和核心邊界大概幾分鐘內(nèi)結(jié)束每次提交代碼前必跑回歸級(jí)覆蓋一個(gè)模塊內(nèi)所有關(guān)鍵函數(shù)和主要邊界條件代碼合并前跑全量級(jí)所有測(cè)試文件的所有用例發(fā)布新版本前跑實(shí)現(xiàn)方式也很樸素每個(gè)測(cè)試文件都單獨(dú)定義main()再寫一個(gè)總?cè)肟谀_本用include引入所有測(cè)試文件然后按需執(zhí)行include tests/factor/test_momentumFactor.dos include tests/factor/test_volatilityFactor.dos // 冒煙測(cè)試只執(zhí)行特定的幾個(gè)函數(shù) test_momentum_basic() test_volatility_basic() // 回歸測(cè)試執(zhí)行文件里所有main這種手動(dòng)控制的方式雖然不如JUnit的注解靈活但在DolphinDB的生態(tài)里已經(jīng)是足夠清晰可靠的做法了。5. 從零跑通一個(gè)完整測(cè)試用例以因子計(jì)算函數(shù)為例5.1 被測(cè)函數(shù)一個(gè)簡(jiǎn)單的動(dòng)量因子計(jì)算器為了把整個(gè)流程串起來我寫一個(gè)極簡(jiǎn)的動(dòng)量因子計(jì)算函數(shù)作為被測(cè)對(duì)象。它的邏輯很簡(jiǎn)單輸入某股票過去N天的收盤價(jià)計(jì)算當(dāng)前價(jià)格相對(duì)N天前的漲跌幅def momentumFactor(closePrices, n) { if (closePrices.size() n) { return NULL } pastPrice closePrices[n] currentPrice closePrices[closePrices.size() - 1] return (currentPrice - pastPrice) / pastPrice }這個(gè)函數(shù)雖然業(yè)務(wù)簡(jiǎn)單但非常適合演示測(cè)試要覆蓋的各種場(chǎng)景。5.2 手寫測(cè)試用例覆蓋正常、邊界、異常三類輸入針對(duì)這個(gè)函數(shù)我會(huì)設(shè)計(jì)如下測(cè)試用例def test_momentum_normal() { prices [10.0, 10.5, 10.8, 11.0, 11.5, 12.0] result momentumFactor(prices, 3) assertEqFloat((12.0 - 10.8) / 10.8, result, 0.0001, Normal case failed) print(PASS: momentum normal case) true } def test_momentum_nLessThanLength() { prices [10.0, 10.5, 10.8] result momentumFactor(prices, 5) assertEq(NULL, result, n larger than length should return NULL) print(PASS: momentum nlength case) true } def test_momentum_zeroDivision() { prices [0.0, 0.0, 0.0, 0.0, 1.0, 1.0] result momentumFactor(prices, 3) // 分母為0應(yīng)該返回NULL或者拋異常取決于函數(shù)定義 ... }第三個(gè)用例其實(shí)暴露了被測(cè)函數(shù)的一個(gè)設(shè)計(jì)缺陷當(dāng)過去價(jià)格是0時(shí)做除法直接得到無窮大這在量化計(jì)算里是應(yīng)該被提前攔截的。所以這個(gè)測(cè)試用例會(huì)倒逼你去修改被測(cè)函數(shù)——這就是單元測(cè)試驅(qū)動(dòng)代碼改進(jìn)的真實(shí)過程。5.3 完整測(cè)試腳本的運(yùn)行方式和結(jié)果解讀把這些用例組織到一個(gè)文件里后在DolphinDB GUI里運(yùn)行該文件或在命令行用dolphindb -script test_momentum.dos執(zhí)行。輸出大致如下PASS: momentum normal case PASS: momentum nlength case FAIL: momentum zeroDivision case Error message: Division by zero ...堆棧信息...看到Fail時(shí)第一件事不是去改測(cè)試而是先判斷是測(cè)試用例的預(yù)期設(shè)置錯(cuò)了還是被測(cè)函數(shù)確實(shí)有bug。在這個(gè)例子里顯然是被測(cè)函數(shù)該加一個(gè)空值和零值檢查。這也是單元測(cè)試黃金法則測(cè)試失敗時(shí)代碼和測(cè)試都有嫌疑不能默認(rèn)代碼是錯(cuò)的或者測(cè)試是錯(cuò)的要去看具體斷言信息來定位。6. 面向?qū)嶋H項(xiàng)目的測(cè)試框架搭建目錄、入口腳本與DolphinDB腳本執(zhí)行的CI集成6.1 一套可直接復(fù)用的測(cè)試目錄結(jié)構(gòu)和入口設(shè)計(jì)在項(xiàng)目里形成一套固定的目錄和入口約定后團(tuán)隊(duì)里每個(gè)人寫測(cè)試時(shí)不需要思考放哪怎么跑而是直接照模板寫效率和規(guī)范性都會(huì)有明顯提升。我的標(biāo)準(zhǔn)結(jié)構(gòu)如下projectRoot/ code/ # DolphinDB腳本主目錄 factors/ momentum.dos volatility.dos dataProcess/ klineClean.dos tests/ # 測(cè)試腳本目錄 common/ assertUtils.dos dataUtils.dos factors/ test_momentum.dos test_volatility.dos runAllTests.dos # 總?cè)肟谀_本在runAllTests.dos中按依賴順序引入測(cè)試文件最后統(tǒng)一執(zhí)行。這里有個(gè)在DolphinDB中容易踩的坑include的路徑問題。如果你的測(cè)試腳本使用了相對(duì)路徑那么執(zhí)行時(shí)的工作目錄不同include會(huì)失敗。穩(wěn)妥的做法是把測(cè)試根目錄設(shè)為一個(gè)全局變量所有include基于這個(gè)變量拼接testRoot /home/user/project/tests/ include testRoot common/assertUtils.dos include testRoot factors/test_momentum.dos // ...6.2 如何嵌入CI流程命令行運(yùn)行DolphinDB腳本CI集成這塊DolphinDB其實(shí)比很多數(shù)據(jù)庫產(chǎn)品要方便因?yàn)樗峁┟钚袌?zhí)行方式dolphindb -home ./server -script ./tests/runAllTests.dos -localExec 1在Jenkins或GitLab CI里可以直接把這個(gè)命令包裝成一個(gè)構(gòu)建步驟。關(guān)鍵是怎么判斷測(cè)試通過還是失敗。DolphinDB腳本執(zhí)行時(shí)如果腳本拋出未捕獲的異常進(jìn)程會(huì)以非零狀態(tài)碼退出。所以我們的runAllTests.dos必須保證只要有一個(gè)測(cè)試用例失敗就一定拋異常不能吞掉錯(cuò)誤。我在runAllTests.dos末尾會(huì)加一個(gè)總判斷allPassed true // 執(zhí)行用例時(shí)把結(jié)果累加到allPassed if (!allPassed) { throw error(Unit test suite FAILED) } print(Unit test suite PASSED)這樣CI腳本才能拿到正確的退出碼。6.3 我對(duì)官方測(cè)試工具的補(bǔ)充日志輸出和并行執(zhí)行思路DolphinDB的test模塊里也提供了類似測(cè)試框架的函數(shù)可以自動(dòng)發(fā)現(xiàn)測(cè)試用例并執(zhí)行但我在生產(chǎn)項(xiàng)目里用得不多主要是它在錯(cuò)誤信息展示、批量執(zhí)行順序控制上還不夠靈活。除非只是寫幾個(gè)最基礎(chǔ)的冒煙腳本否則我都會(huì)用自建框架。日志輸出上我會(huì)把每次測(cè)試運(yùn)行的輸出同時(shí)寫到CSV文件里方便和上次運(yùn)行做diff。命令很簡(jiǎn)單output exec result from resultsTable saveText(output, /data/test_logs/run_ now().format(yyyyMMdd_HHmmss) .csv)并行執(zhí)行方面DolphinDB支持submitJob來并行跑任務(wù)。但單元測(cè)試的場(chǎng)景我不建議一開始就并行——先有序跑通等到用例量實(shí)在太多、單次執(zhí)行時(shí)間過長(zhǎng)時(shí)再考慮把互相獨(dú)立的測(cè)試文件拆到不同的worker里執(zhí)行。7. 踩坑實(shí)錄我在DolphinDB單元測(cè)試中遇到過的四個(gè)典型問題7.1 事務(wù)可見性存儲(chǔ)過程里寫的數(shù)據(jù)外面讀不到有一次我在測(cè)試一個(gè)K線清洗函數(shù)函數(shù)內(nèi)部會(huì)對(duì)分布式表做update操作。測(cè)試?yán)镎{(diào)用完函數(shù)后立即去讀表結(jié)果讀出來的還是舊數(shù)據(jù)。排查了大半天最后發(fā)現(xiàn)是DolphinDB的事務(wù)模型問題——寫入未提交時(shí)其他會(huì)話或后續(xù)查詢看不到變化。解決方案有兩種一種是在被測(cè)函數(shù)內(nèi)部顯式commit或endTransaction另一種是在測(cè)試用例里等待事務(wù)提交完成后再讀。對(duì)于單元測(cè)試來說我推薦后者因?yàn)榍罢邥?huì)改變被測(cè)函數(shù)的生產(chǎn)行為風(fēng)險(xiǎn)太大。7.2 NULL值和空表的斷言陷阱DolphinDB的空表、NULL值和空字符串在不同API和上下文中的表現(xiàn)非常不一致。比如從一個(gè)沒有數(shù)據(jù)的表里select count(*)結(jié)果可能是0但如果你select * from tbl limit 10再用rows()取行數(shù)可能返回的又是一個(gè)特殊的空對(duì)象。這些細(xì)節(jié)你寫測(cè)試時(shí)幾乎必踩。我的建議是對(duì)NULL和空表的比較不要直接拿返回值做而是用isNull()、size()這類顯式函數(shù)來判斷避免各種隱式轉(zhuǎn)換的坑。7.3 分布式表的局部數(shù)據(jù)一致性DolphinDB的分布式表是按分區(qū)存儲(chǔ)的如果測(cè)試數(shù)據(jù)橫跨多個(gè)分區(qū)讀取時(shí)的順序可能和你插入時(shí)的順序不一致。前面提到的assertTableEqual之所以要加sort參數(shù)主要就是為了應(yīng)對(duì)這個(gè)問題。另外如果你在測(cè)試?yán)飫h除了分布式表的某些記錄要注意刪除操作可能存在異步性緊接著的查詢不一定立刻反映結(jié)果。7.4 include順序的循環(huán)依賴問題當(dāng)測(cè)試腳本依賴多個(gè)工具文件時(shí)很容易出現(xiàn)A include BB include CC又反向include A的情況。DolphinDB對(duì)循環(huán)include的報(bào)錯(cuò)提示比較隱晦有時(shí)表現(xiàn)為找不到函數(shù)而不是循環(huán)依賴。實(shí)踐中我會(huì)把工具函數(shù)斷言、數(shù)據(jù)構(gòu)造嚴(yán)格和測(cè)試用例文件分離工具文件之間互不依賴從根上避免這個(gè)問題。8. 把單元測(cè)試變成團(tuán)隊(duì)習(xí)慣一些切實(shí)可行的管理建議技術(shù)方案講完最后聊一點(diǎn)軟性的東西。單元測(cè)試這件事難點(diǎn)從來不在寫代碼而在讓整個(gè)團(tuán)隊(duì)持續(xù)地、規(guī)范地執(zhí)行。我的經(jīng)驗(yàn)是三個(gè)必須第一測(cè)試必須和業(yè)務(wù)代碼同時(shí)提交。如果約定提交業(yè)務(wù)代碼時(shí)可以不帶測(cè)試那測(cè)試的覆蓋率只會(huì)越來越低。我在團(tuán)隊(duì)的PR模板里直接加了一欄本次變更的測(cè)試用例沒填就cherry-pick提交被打回。強(qiáng)制兩三次后大家就習(xí)慣了。第二CI里跑測(cè)試結(jié)果必須實(shí)時(shí)反饋。測(cè)試失敗的信息要直接發(fā)到群里否則就算CI里掛了也沒人會(huì)去看。反饋鏈路越長(zhǎng)修復(fù)的成本越高。第三測(cè)試用例的維護(hù)必須納入日常迭代。業(yè)務(wù)邏輯變了被測(cè)函數(shù)的預(yù)期結(jié)果也會(huì)變這時(shí)候測(cè)試代碼不是要?jiǎng)h掉而是要同步更新。如果團(tuán)隊(duì)里出現(xiàn)為了讓測(cè)試通過而改測(cè)試的風(fēng)氣必須立刻糾正——這種情況通常意味著測(cè)試本身就失去了價(jià)值。根據(jù)我個(gè)人這段時(shí)間在DolphinDB上推廣單元測(cè)試的體會(huì)最大的收益反而不是抓住多少Bug而是讓整個(gè)團(tuán)隊(duì)養(yǎng)成了寫代碼前先想清楚輸入輸出的習(xí)慣。當(dāng)你習(xí)慣性地為每個(gè)函數(shù)搭配幾個(gè)邊界用例時(shí)很多設(shè)計(jì)上的含糊之處在開發(fā)階段就暴露了根本不需要等到測(cè)試階段。如果你所在的項(xiàng)目也正在用DolphinDB做復(fù)雜的計(jì)算邏輯我強(qiáng)烈建議你別嫌麻煩盡早把這套東西搭起來。數(shù)據(jù)腳本的錯(cuò)誤往往不是報(bào)錯(cuò)而是算得不對(duì)而單元測(cè)試是唯一能在不看盤、不看策略結(jié)果的情況下幫你判斷算得對(duì)不對(duì)的可靠手段。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月六月丁香综合| 国产综合激情五月久久| 91中文狠狠综合| 狠狠色综合网| 亚洲人成播放网站| 超碰在线成人| 五月激情五月婷婷五月天在线| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 99re66热这里只有精品| 久久99最新地址| 99久在线观看| 丁香五月狠狠综合欧美| 亚洲成Av人片乱码色第1集| 婷婷五月丁香六月综合网| 丁香五月天成人| 亚洲 无码 中文字幕 中出| 99re免费视频| 99热久久这里只有精品| 日韩av在线电影| 成人精品一区二区三区四区五区| 婷婷五月娱乐在线| 色五月丁香91| 极品人妻XXXXOOOO| 色色色com| 丁香五月婷婷亚洲另类| 亚洲操逼网| aV直接看| 婷婷综合五月天| www.俺去也com| 粉嫩av懂色av蜜臀av熟妇| 任我肏| 亚洲五月婷天天操| 秋霞午夜理论| 色噜噜狠狠色综合成人99| 五月天久久婷| 久久精品A片777777| 五月伊人网| 国产色五月| 玖热精品综合视频| 成片免费观看视频大全| 久久99精品九九久久久婷婷| 操97免费超级视频| 欧美丁香五月天| 91丨九色丨老农村| 久婷首页| 色欲丁香| 热中文字幕| 亚洲午夜一区二区| www.99精品在线| 久久九九99视频| 97综合在线| 99热大香蕉| 激情五月天婷婷五月天| 日本社区五月天激情| 婷丁五月| 很操日本7| 思思热闹这里只有精品 | 99热地址| 精品无码久久久久久久久| 午夜成人网站在线观看| 日韩成人精品中文字幕| 九九热99视频| 亚洲va综合va国产va中文| jiZZdr| 日日艹思思热| 婷婷久久五月天| 五月婷婷婷自由综合| 色播五月天天| 久久在线人妻| 九九婷婷五月天| 色99欧洲色19| 性热视频99精品| 丁香六月婷婷| 五月天综合久久| 九九激情| 九九99九九精品视频| 这里只有精品视频国产| 在线综合婷婷| 99热这里只有精品4| 色婷婷久久综合中文久久一本| 五月激情综合美女久久| 丁香五月人妻| 九九一区| 五月丁香好婷婷A片网| 99亚洲精美视频在线观看| 99久久久免费| 久久在这里有精品| 激情婷婷五月天日本系列| 国产精品色一哟哟| 五月婷婷,狠狠操| 日日干日日| 深夜男女福利刺激影院一区| 成人网在线观看视频| 日本一级黄色片。| 大天天伊人| 日韩五月婷婷| 思思热这里只有精品视频666| 国产精品久久在线观看技巧| 久久久久久人妻| 国产精品视频| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 色九月国产| 五月婷婷综合社区| 高清激情av在线观看| 五月婷婷久久激情 | 欧美婷婷| 成人做爰A片免费看视频 | 九九热在线观看视频| 天天日天天插| 亚洲免费观看高清完整版AV线| 香蕉婷婷| 丁香五月乱中文字幕| 91狠狠综合网| 五月丁香六月色| www99热| 人人肏逼视频在线一区二区| 日本一道久久| 六月丁香激情网| 99热亚洲精品| 五月婷婷色在线| 中文字幕AV网址| 99 热| 五月丁香六月激情狠狠| 99精品视频偷拍| 97人妻超级碰碰碰碰碰| 婷婷九月综合| 91婷婷五月天嫩女| 九九操屄| 新99思思视频| 丁香九月激情| 久久 婷婷 五月天| 999久久久国产精品| www.色婷婷| 色呦呦美女| 五月丁香六月色情网欧美| 日韩色五月| 免费看欧美成人A片无码| 久久99jiu9| 、激情六月天| 99热在线精品观看| 午夜丁香| 色婷婷综合影院| 九色PORNY9l原创自拍| 五月婷婷中文字幕| 国产婷婷五月| 久久激情综合| 思思视频久久| 色综合色色色| 五月婷婷 自拍| 丁香五月六月久久综合| 日本操B视频| 久久婷婷五月天| 超碰成人在线观看| 伊人久久大香蕉网| Va另类视频| 久久综合99| 538任你爽视频不一样的| 俺也去在线视频| 欧美人与性动交CCOO| 亚洲综合视频网| 五月婷婷性| 五月综合人妻| 综合激情站| 丁香婷婷浪潮AV久久综合| 狠狠色婷婷7| 婷婷综合网站| 婷婷黄色五月天在线视频| 桃色五月天| 操日本三片99| AV在线免费播放| 色九月婷婷丁香| 丁香综合网| 少妇性BBB搡BBB爽爽爽视頻| 五月色丁香综合| 五月天久久久| 直接看的AV网站| 狠狠色丁香久久久婷| 99日本在线| 成人短视频在线| 97色色综合| 五月丁香久久综合色| 天天狠狠六月婷丁香影院| 亚洲欧美成人在线观看| 色色亚洲| 色色色在线免费视频| 色噜噜狠狠色综无码久久合欧美| 台湾佬天天日丁香婷婷五月天| 五月婷婷 婷婷五月 一区二区 久久久| 九九九九九九九热| 久久9热| 九九在线精品| 久热只有这里有精品| 五月丁香综合网| 欧洲激情五月天| 超碰免费人人肏| 久久婷婷综合五月天| 超碰成人AV| 超碰在线观看9| 久99精品视频| 欧美成人精品A片免费一区99| 亚洲五月婷天天操| 色婷婷777狠狠| 色婷婷丁香| 97人人干| 99丁香五月婷婷在线| 人妻久久婷婷| 26uuu另类| 91疯狂操操操操| XX久久| 丁香五月综合激情久久潮喷| 国产人人操| 色婷婷综合亚洲| 国产xxxxx在线观看| 久草丁香婷婷1024| 丁香五月婷婷啪| 99热国产这里只有| 久99久精品| 丁香六月激情| 噜噜视频| 精品久久久久久久久久久久人妻| 97人人看一| 99久久99九九99九九九| 激情小说婷婷| 色日本网| 人人舔人人色人人高潮| 91成人视频| av高清无码| 成人在线视频一区| 五月婷婷丁香在线| 五月婷婷深深的爱| 亚洲自拍天堂| 亚洲超碰中文字幕| 人妻丰满精品一区二区A片| 五月天激情网图片| 99这里只有精彩视频| 玖玖爱伊人| 四LLL少妇BBBB槡BBBB| 丁香五月婷婷色播艳门照| 九月婷婷色色| 丁香色影院| 婷婷欧美| 精品99网站| 五月婷婷,狠狠操| 丁香五月五月婷婷欧美大香蕉| 69色婷婷| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 激情五月丁香五月色| xx久久| 婷婷丁香综合| 操你av| 人妻操逼| 五月丁香啪啪激情| 婷婷 激情 五月| 五月丁香在线国产| 五月激情综合网| 激情开心五月亚洲| 色婷丁香91| 日本五月婷| 狠狠色婷婷777| 人人操Av| 91精品久久久久久久| 玖玖婷婷精品| 色婷婷裸体色性在线| 高清a片基地| 成人五月天丁香婷| 五月婷婷色播| 99色色视频| 天天爽天天摸天天爱| 久久se 综合网| 五月婷丁香在线视频在线| www,com,五月色色| 亚洲色婷婷视频| 五月天小说激情| 99视频只有精品| 99热这里只有免费精品| 99色在线观看视频者| 婷婷激情六月天视频| 99热在线精品播放| 久久影视婷婷五月| 久久婷婷激情四射五月天| 狠狠干在线| www.日日夜夜| 色婷婷在线综合色播网| 五月激情另类| 五月丁香婷爱在线| 类似婷婷激情综合网站| 《诡秘之主》在线观看| 99re66热这里只有精品| 大香AV| 激情无码五月天| 亚洲色情在线| 综合五月天完整| 五月婷色激情五月| 九九色人| 五月婷婷AV| 五月婷婷丁香在线视频| 99热免费精品热久久66| 激情五月婷婷视频一区二区三区| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 婷婷五月综合激情| 丁香五月婷婷激情97| 五月激情小说网| 久婷久婷| 成人电影丁香六月天| 99re这里| 婷婷色色综合激情| 久久久思思热| 五月婷婷中文字幕| 五月婷在线观看| 色婷婷电影网| 五月天婷婷Av| 国产成人综合网| 婷婷 激情 五月| 狠狠色五月激情| 99热只有精品在线观看| 天天干一干| 亚洲亚洲人成综合网络| 欧美日韩成人在线网站| 我要色综合五月婷婷| 粉嫩av懂色av蜜臀av熟妇| 中文字幕不卡+婷婷五月| 操操熟女| 五月婷婷激情综合| 丁香久久九九99| 伊人激情| 久操欧美在线观看97| 日韩在线视频9色| 亚洲av无码影院| 九九re精品视频在线观看| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 国产综合丁香五月天| 狠狠色丁香久久婷婷综合五月| 婷婷五月丁香基| 刘玥精品一区| 91午夜婷婷狠狠久久综合9色| 色色色色区| 爆乳熟女一区二区三区爆乳| 天天爽天天日天天舔| 99色天堂| 欧美 日韩 成人| 九九热九九| 丁香五月婷婷婷婷欧美综合| 久久久久99精品成人片| 韩日在线熟女| 26uuu.| 久热这里只有精品视频免费观看| 8区视频在线| 成人视频网| 思思 热 99| 中文字幕第四色.999| 婷婷色五月在线视频| 伊人丁香六月婷婷| 婷婷五月在线综合| 激情六月婷婷| 五月激情在线| 成年人99热| 婷婷五月综合在线视频| 国产精品五月丁香| 五月婷婷激情69| 天天久久综合| 天天做天天摸| 色噜噜狠狠色综合成人网| 久9久成人精品视频| 综合网五月天123| 天天色天天搡| 五月色丁香成人| 五月婷婷六月丁香激情综合网| 激情五月综合视频| 色 五月婷婷基地| 婷婷九月丁香| 香蕉久久国产AV一区二区| 开心激情综合| 伊人五月天| 99热精品中文字幕| 亚洲电影在线观看| 99久久超级| 婷婷综合偷拍| 成人五月天在线视频在线观看| 色欲AV导航| 亚洲综合婷婷| 99在线视频播放| 婷婷六月天| 丁香五月天偷拍| 天天成人丁香美女AV| 99在线看片| 97性视频| 67194中文字幕| 另类色视频| 色国产五月| 五月天激情影院| 欧美激情五月天| 丁香五月天堂网| av九九| 99爱在线视频| 婷婷五月天激情综合| 日日爽日日操| 噜噜噜久久| 日韩黄在免| 91人人人人人人人| 五月激情婷婷女| 男人的天堂五月丁香| 久久九九99| 亚洲乱码精品久久久久.. | 久久激情五月网| 99热这里只有精品中文字幕| 中文字幕无码人妻少妇免费视频| 97综合色片| 69色色视频| 超碰狠狠操| 啪啪干伊人婷婷| 国产真实乱对白精彩| 色婷婷久久天天性爱| 这里只有精彩亚洲视频推荐| 色色欧美。| 噜综合| 国产免费一区二区三州老师F1F1| 日韩av在线免费观看| 色婷婷的五月天| 狠狠五月激情丁香六月| 国产伦亲子伦亲子视频观看| 亚洲亚洲人成综合网络| 天天插天天插天天日| 狠狠做深爱婷婷久久综合一区| 六月婷婷狠狠| 激情五月天综合网| 激情黄色五月天| 丁香五月天啪啪| 开心婷婷五月激情网小说| 婷婷五月天综合亚洲| 欧美人妻一区二区| 日本久久99| 日本色婷婷久久99精品91| 99久久99综合| 99精在线| 玖玖国产视频一区| 婷婷99视频全集高清| 婷婷五月天激情电影小说| 欧美黄色一级| 午夜丁香婷婷| 欧美三级欧美一级| 97人人操人人爽| 激情五月天综合网| 亚洲性视频| 色J香五月天| www.91婷婷| 99精品偷自拍| 亚洲欧美一区二区三区四区爱爱动图| 色色色在线| 99热久久这里只有精品| 亚洲黄色影视| 日日夜夜狠狠| 丁香五月在线看| 婷婷五月丁香六月| 五月婷婷激情五月| 五月久视频| 安息电影在线观看完整版| 99ri视频在线观看| 色婷婷精| 丁香五月婷婷老师网站| 激情内射人妻1区2区3区| 久久九九免费大视频| 久久综合九九| 91九色精品女同系列| 天天日,天天插| 精品色色| 激情综合网,五月| 久99久精品| 一本九九色| 色10月婷婷视频| 五月丁香少妇A| 久久人妻高清中文| 五月激情综合网| 婷婷无码视频| 激情综合色| 91919191919久久成人视频| 色色欧美色色| 婷婷五月天最新综合你懂的| 99热这里只有精品86| 99在线精品免费视频| 久草视频一,二三四| 天天草狠狠擦| 久久激情网| 天天日天天色| 五月丁香趴趴| 日日干天天爽| 美女视频图片久久91| 狠狠色狠狠色综合日日91| 九色自拍| 日韩五月婷婷| 另类五月激情| 五月天婷婷无码| 99热国内| 丁香六月激情| 婷婷免费精品视频| 色婷婷AAA| 99丝袜精品视频网站| 婷婷五月骚厕所| 久久精彩视频| 日本狠狠爽| 婷婷五月天av| 天天天操天天天爰| 第四色婷婷五月| 色五月婷婷久久| 色婷婷AV久久| 亚洲综合激情五月| 五月婷A V在线| 亚洲欧洲中文日韩久久AV乱码| 久久aaaaa| 婷婷五月美女直播| 成人AV综合在线| 伊人婷婷五月天av| 久久婷婷大香蕉| 97在线/亚洲| 日韩欧美一级大黄网站| 婷婷五月激情丁香| 五月天婷婷丁香视频| 五月婷婷 激情按摩| 五月六月激情| 五月天天堂久久| 色婷婷狠狠| 色综天天综合| 日韩精品视频中文字幕| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | www.丁香六月婷婷久久天堂影院.con| 九九色综合视频| 自拍视频99| 人妻少妇色综合| 天天噜天天插| 久久婷婷五月天大香蕉| 综合色影院| 第四色五月天| 森林影视大全,最好看的2019年视频| 4399无码视频二区| 久久总和99| XXXX岛国| 久热天堂| 五月天另类小说| 天天爽天天| 亚洲性图一区二区三区| 99热网址| 色婷婷丁香花五月天| 久99热在线观看| 综合激情网五月激情| 久久久久亚洲AV无码网影音先锋| 婷婷丁香六月天| 思思热精品在线| 六月婷婷九月丁香| 国产操逼网站| 五月天丁香久久综合| 无码激情AAAAA片-区区| 久久99久久99精品免观看粉嫩| 丁香六月天婷婷色| 《诡秘之主》在线观看| 五月六月激情| 日日想日日夜日日操| 激情视频综合| 久久狠婷婷| 97在线观视频免费观看| 丁香五月婷婷基地| 丁香五月色| 天天色综网| 免费观看亚洲AV片| 99亚州综合精品成人网| 综合五月天天天天天五月| 99操| 久久婷婷草| 天堂va久久久噜噜噜久久Va| 年轻的妺妺伦理HD中文| 免费AV播放| 天天操综合网| 99色色网| 九月婷婷综合| 精品香蕉99久久久久网站 | 一本色道久久综合狠狠躁小说| www,av好吊操| 大婷婷色呦呦噜噜色呦呦噜噜| 丁香婷婷视频在线| 一级黄在线| 182TV大香蕉| 色婷婷激情| 久久人妻久久| 国产精品久久久久久久久久免费| 九九99精品免费播放| 狠狠一日| 久久免费干| 91精品又长又大又粗又爽又猛| 久色网| 天天色,天天操,天天射| 五月香六月婷| 色狠久| 九九性爱网| 色五月天婷婷| 色色五月天com| AV在线不卡播放| 色色婷| 五月天激情美女久久| 精品热九九| 婷婷日日天天| 啪啪五月婷婷| 五月丁香综合啪啪| 久久激情四射| 久操干| 五月丁香久久| 欧美性爱专区| a久久| 色五月美女| 国内久久亭亭| 色欲色香综合网| 天堂婷婷五月色| 婷婷丁香色五月久久88| 九九99热| 婷婷婷狠狠| 丁香六月婷婷激情综合| 亚洲操逼网| 丁香五月亚洲AV| 99久久玖玖| 成人无码髙潮喷水A片| 五月丁香六月婷婷综合在线| 这里只有精彩亚洲视频推荐| 欧洲一区二区| 激情五月天色爱| 91精品熟女| 天天干狠狠| 五月婷婷激情综合网| 91嫩草国产线观看亚洲一区二区| 26uuu青青| av久热| 国産精品| 激情丁香五月婷婷| 蜜桃婷婷狠狠久久| 五月香婷婷| 五月天激情日色在线| 超碰99久久| 99热这里只有是亚洲国产| 五月天综合在线网| 五月色丁香婷婷中文字幕| 五月天婷婷基地| 丁香五月成人| 99色中文| 九九视屏| 99日本黄站| 色婷婷五月综合在线| 五月天 婷 欧美亚洲| 97婷婷五月激情六月丁香伊人| 五月天婷婷7米| 久久婷婷五月综合啪| 日本va视频| 少妇性按摩无码中文A片| 99视频色在线观看| 在线视频九色97| 超碰1999| 丁香婷婷性久久| 丁香婷婷色五月| 久久一级片| 欧美色九| 都市激情久久| 色吧婷婷五月亚洲| www.国产色| 欧美色色色色色色| AA丁香综合激情| 丁香婷婷六月天| 91狼友视频在线观看| 亚洲人成人五月天| 色哟哟精品| 91九九九九| 岛国在线观看91| 天天综合天综合| 综合激情肏逼网| 97日韩无套内| 手机旧版看人妻1025| 成人AV在线电影| 五月天丁香久久综合| 久久东京热婷婷五月| 六月婷婷日| 91熟妇大香蕉| 中文字幕在线日亚州9| 狠狠做深爱婷婷久久综合一区| 97在线精品| 天天干天天av天天射| 日本一毛片| 国产丁香五月天婷婷| 任你搞网站| AV中文网| 婷婷中文字幕| 六月婷婷色色色| 激情婷婷六月| 五月天狠狠干| 丁香五月婷婷姐| 丁香久月| 久久综合婷婷激情| 欧美内射AAAAAAXXXXX| 欧美在线视频免费播放| 99久久极情精品一区| 亚洲精品午夜国产va久久成人| 激情五月天网页| 久久久久久草黄色片AV在线观看| 99综合色色色| 粉嫩AV久久一区二区三区| 婷婷五月综合色拍| 婷婷五月天影院| 九九热在线视频观看| 成人片久久网站| 五月天婷婷一起草| 狠狠色丁香婷婷基地| 996er在线观看| 99色视频在线观看最新| 丁香五月婷婷欧美激情-中文天堂最新版在线观看| 99精品偷自拍| 国产综合丁香五月天| 超碰免费观看| 激情四射亚洲| 人妻激情久久| 91亚洲免费片| 久热综合| www,8050,午夜三级| 久久99婷婷| 五月丁香av中文| 天天拍夜夜爽日日| 精久久色| 五月婷婷深爱六月| 婷婷操婷婷干婷婷射| av在线观看网站| 91AV婷婷| 五月丁香啪啪综合| 日本视频99| 99er这里只有精品视频| 新激情五月开心五月婷婷五月丁香五月| 色五月天天在线观看资源站| 丁香六月激情综合网| 六月婷婷五月天| 五月色色色| 亚洲亚洲人成综合网络| 亚洲AV电影av| 欧美精品久久久久久视频观看| 婷婷区日本| 天天摸天天舔天天天天爽| 9l视频自拍9l视频自拍九色学生| 大香蕉在九| 五月天激情小说电影| 五月天播播| 99操九九网| www,色综合| 欧美天天搞| 成人超碰AV| 色色热| www.婷婷五月天.com| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 日本va网站| 色狠久| 五月丁香婷婷综合网色欲| 亚洲天堂热| 日韩人妻无码精品| 欧美成人AAA片一区国产精品| 97爱综合| 99热这里有精力| 字母不卡码人逼| 妇激情基地| 凹凸操Av| 五月天色色网站| 疯狂做受XXXX高潮A片动画| 91精品综合久久久久久五月天| 久久99久久久久久| 色啪影院| 欧美日韩一区二区三区四区| 欧美情色电影一区二区| 日日爱678| 欧美色性色好| 激情碰碰碰| 五月天 无码| 国产婷伊人| 日本色色图| 五月婷婷性爱| 91狠狠综合久久| 五月天久久网站| 久久3级片| 婷婷五月天99| 超爽内射| 天天爽天天透天天爱| 五月婷婷五月天| 婷婷色五月激情| 永久无码色| 掩去也综合五月视频| 五月丁香激情综合网官网| 婷婷五月丁香五月| 欧美性爱五月天| 99网址在线看| 婷婷人人操| WWW五月天| 97超碰免费超级在线观看| 婷婷丁香色五月天久久88| 久久久久人妻| 99热久| 一区操| 综合激情网激情五月。| www.婷婷,com| 婷婷五月天成人网| 中文字幕日韩无码制服诱或| 九九婷婷热| 欧美婷婷日本| 99re久热只有精品6在线直播| 亚洲天堂99| 激情综合色五月丁香六月亚洲| 九九热视频精品999| 日日噜噜夜夜狠狠久久丁香六月| 久久66er久久| 婷婷久久免费| 颜射 精品性爱av| www91色网站| 五月天婷婷基地| 99re热视频这里只有综合亚洲| 逼特逼在线免费播放| 婷婷丁香五月婷婷| 91精品综合久久久久久五月丁香| 成人αV视频免费观看| 久久总和99| 久久五月视频| 任你艹| 性色综合网| 操99| 第四色婷婷丁香五月| 中文字幕AV网址| 亚洲狠狠色丁香婷婷综合久久| 男女99免费视频| 九九这里有精品| 五月丁香婷婷成人网| 99er精品| 青青草tp| 婷婷丁香色女人| 无码激情AAAAA片-区区 | 久狠日av| 大香蕉久久伊人婷婷五月丁香| 99riAV国产精品视频| 99色在线观看视频者| 99视频在线| 五月婷婷深深爱| 婷婷六月综合激情| 激情婷婷五六月天| 婷婷六月丁香激情| 亚洲色情一区二区三区四区| a在线观看| 9热久久在线| 99噜噜噜| 爱狠射| 国产女18毛片多18精品| 99年操人人爽| 丁香五月成人| 99热这里只有精| 麻豆AV一区二区三区| 粉嫩AV久久一区二区三区| 99精品亚洲| 色99视频| 中文字幕不卡网站| 婷婷五月欧美综合| 99国产精品白浆在线观看免费| 婷婷视频网| 九九操操| 日日操夜夜撸| 中文超碰视在线| 丁香六月婷婷色XXXXX| 色月丁| 激情视频91| 久久婷婷五月综合| 婷婷免费精品视频| 日日射天天射| 亚洲欧美一区二区三区四区爱爱动图| 青草青青草| 久久久免费精彩视频| 99这里只有精| 国产真实乱对白精彩| 婷婷五月花| 天天操精品| 人妻综合网| 婷婷基地成人五月天| 婷婷丁香在线播放| 久久久91| 五月婷婷色欲| 97人人看一| 综合色99| 久8色色| 五月天激情啪啪| 五月激情综合网| 大鸡巴伊人网| 婷婷激情伍月网| 久久久久er热| 五月丁香黄色视频| 99ri视频在线观看| 在线,国产,色,热视频| 亚洲激情.com| 九九热这里| 欧美 日韩 成人| 色婷五月| 国产精品VA在线| 搡BBBB搡BBB搡18 | 怡春院久操| 天天干夜夜操A片| 天天射影院| 欧洲MV日韩MV国产| 久久丁香五月天| 五月婷婷婷自由综合| 五月丁香啪啪网| 日韩AV在线免费| 99热精品在线播放观看| 色五月婷婷av| 婷婷中文字幕网| 99国产性感视频| 九九精品自拍| 99久久.www| 婷婷激情五月天视频在线| 91蜜桃婷婷狠狠久久综合9色| 亚洲AV第二区国产精品| 狠狠狠狠狠狠狠狠| 激情色五月天| 狠狠色丁香婷婷综合久久97AV| 极品少妇高潮啪啪AV无码| 99九九在线视频| 激情色色色| 久大香蕉| 九色无码| 9l视频自拍9l九色9l成人| 欧美色九| 成人视频在线免费播放| 91精品久久久久久综合五月天| 色五月大香蕉婷婷| 五月天天丁香婷婷在线中| 欧美五月婷婷| 狠狠操综合| 99男人的天堂| 大香蕉狠狠爱主页| 久久久激情视频| 99色中文| 在线日韩视频| 丁香婷婷免费| www.97视频| 亚洲性爱区无码区| 色九九一二| 影音先锋天天日| www.五月婷婷| 99热网精品| 五月丁香六月合| 91黄色五月天视频| 欧洲亚洲精品| 久久婷婷色情7777网站| 久99| 丁香伊人激情| 亚洲综合碰| se99视频| 婷婷五月色丁香在线看| 青青操日本摸摸看看| 激情综合五月| 少妇婷婷五月天| 99热超碰人| www.色五月| 久久杏爱视频| 五月综合激情啪啪啪啪啪| 9月色婷婷| 婷婷五月天综合激情| av婷婷丁香| 色色亚洲五月天| 色色色.com| 中文字幕九九九九| 少妇大叫太大太粗太爽了A片 | 噜综合| 五月伊人婷婷999| 五月天国产| 9色在线| 五月激情久久综合网| 色婷婷网| 久久久久久久,99精品视频| 日本高清久| 成人丁香婷婷| 婷婷五月天日逼| 欧洲精品爱爱| 极品另类| 欧美日本不卡黄色片| 伊人网啪啪| 天天日日夜夜| 2w在线视频| 六月色色综合| 91人人操人人| 国产激情在线| 中文资源在线a | 人人摸人人干| 秋霞少妇AV网站| 五月丁香六月婷婷色日| 狠狠九九婷婷韩| ..真实国产乱子伦对白在线_欧| 亚洲精品又粗又大又爽A片| 亚洲成人精品三区| 色吧婷婷| 思思热精品免费视频| 九月大香蕉| 91色婷婷综合久久中文字幕二区| 综合五月网| 久久丁香五月综合六月激情红杏视频| 久热伊人91| 丁香婷婷六月天| 午夜婷婷六月天| 伊人网欧美在线男人天堂五月丁香| 91丁香色| 99热在线只有精品| 丁香五月婷婷亚洲综合精品在线| www、丁香五月天| 五月丁香久久| 久久在线大香蕉| 99热只有精品在线观看| 五月丁香色色网| jiujiuxiangjiaowang| 婷婷五月天综合在线| 成人五月天视频播放| 亚洲 25P| AV操逼网| 99在线看片| 国产毛片欧美毛片久久久| 丁香五月六月综合欧美| 五月婷婷内射网| 99视频91| 天天操夜夜操| 久久婷婷五月综合啪| 五月丁香六月激情综合在线| 大香蕉婷婷五月天| 天堂在线伊久| 婷婷久久综| A久网| 五月综合婷婷开心网| 精品女人九九九| 久久精品日| 任你艹| 97在线精品视频| 久久丁香五月| 婷婷网五月| 99热 在线观看| 狠狠综合| 久久人人九| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 一操久久| 99热最新| 人妻在线网站| 草操网| 超碰色色综合| 国产视频福利| 丁香五月婷婷亚洲色图| 91碰碰视频| 五月天成人综合| 五月花免费视频| 天天干天天干天天干天天干天天| 《诡秘之主》在线观看| 7777激情基地| 丁香六月| 操婷婷基地| 99视频在线观看地址| 996热| 五月丁香六月在线| 九色视频91| 综合啪啪| 日本99在线视频| 丁香五月天亚洲视频| 思思热在线精品视频| 91色情播放| 一级二级香港秋霞欧美欧美秋霞| 天天成人丁香美女AV| 99re热久久| 中文字幕丁香五月| 天天婷婷天天| 亚州激情在线视频| 天天操夜夜夜拍拍拍| 26uuu激情五月天| 97福利视频| 久操大| 九月婷婷综合| 99热在线观看精品| 久色| 亚洲日本韩国| 久久人人做人人妻人人玩精品va| 五月成人丁香av91| 久久综合55| 黄色AAAAAAA| 丁香五月激情综合婷综| 超碰在线观看9| 色五月婷婷在线| 国产成人网| 99视频精品视频| 天天成人五月天| 在热视频精品| 天天操夜夜肏| 天天爽天天干天天| 五月丁香激情综合| 婷婷五月天精品| 成人网站在线观看视频| 人人爽天天爽| 久久日婷婷| 五月丁香欧美综合免费视频| 大鸡巴伊人网| 91狠狠色色丁香婷婷综合久久| 九九re精品视频在线观看| 色色a| 亚洲婷婷六月天| 婷婷色播婷婷| 综合网天天| eeuss人妻| 成人网页在线观看| 亚洲啪| 玖玖综合网| 色婷亚洲| 99情色五月天| 色五月激情五月天| 五月婷婷天天| 丁香啪啪| AVV黄| 婷婷综合亚洲| 久久久精品视频79| 成人欧美Va| 久久人妻www| 偷拍91九色| 九九色热| 九九综合九色欧美狠狠| 十区av| 婷婷五月黄色激情在线| 天天天添天天操| 日日夜夜狠狠操| 99热这里有精品| 9l久久久视频| 亚洲中文字幕AV| 丁香五月激情视频在线| 婷婷色五月激情强奸四射| 婷婷五月花| 伊人婷婷福利网| 大香蕉久久草| 2014天天爽| 日日操天天| 欧美色婷婷| 99干免费视频| AV九九| 可以观看的AV| 99热自拍| 射婷婷中文字幕| 人人操人人爽成人AV| 九九热只有这里精品| 夜夜谢天天干| 欧美日韩中文国产一区发布| www.一起草av| 五月色丁香综合| 久久六月天| 五月婷丁香| 超碰在线超碰| 婷婷五月成人色综合| 亚洲欧美丁香五月天亚洲欧美| 久久大香蕉同僚| 色网五月婷婷| 99综合自拍| 五月丁香久久丝袜啪啪| 五月天婷婷视频| 男同色五月开心五月激情五月| 日韩无码专区| 99色色色色| 99热在线播放| 九九综合网色全集| 99热精品6| 狠狠综合网| 超级黄色片| 99热这里全是精品| 欧美私人家庭影院| 97婷婷狠狠| 成年人看Va免费视频| 日本人妻伦在线中文字幕| 久青操| 丁香五月婷婷欧美成人色图| 亚洲天堂色色| 免费超碰在线观看| 五月天激情四射| pom538精品视频| 丁香操逼| 亚洲色色图片| 亚洲天堂爱爱| 欧美 日韩 成人| 久久久久人妻精选| 国产AV国片偷人妻麻豆| 婷婷五月天AV网| 99热亚洲| 91国产精品视频播放| 色爱99| 超碰久热| 大香蕉天堂| 狠狠操狠狠操AV| 大香蕉综合在线| 91日日日| 色情婷婷五月天| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 亚洲综合五月天婷婷丁香| 9有码中文| 五月天婷婷綜合院| 久久精彩视频18| 婷婷五月天伦理| www.99热| 久久只有这里精品免费| 99热天堂| 亚洲色视频| bukadeavzaixian| 五月香六月婷| se99热久久一本| 国产日日操夜夜操的肉棒视频| 日本一级淫| 另类婷婷丁香| 最近中文字幕在线中文视频| 九九综合色| 天天舔天天爽| 色五月婷色彩免播放器| 婷婷久久亚洲| 色啪综合| 久久久久这里只有精品| 婷色五月| 九九视频这里只有精品| 99热在线观看免费中文| 婷婷亚洲综合| 天天射夜夜爽| 精品夜夜澡人妻无码AV| 另类图片 五月激情| 色级停停| 思思久日精品视频| 亚洲成人综合网在线免费观看| 五月丁香淫淫婷婷婷| 亚洲黄网在线| 婷婷色狠狠| 成人色图情色成人网 www.5b5b5bcom 五月天 | 久久伊人大香蕉| 婷婷五月天电影网| 六月激情婷婷综合| A片试看50分钟做受视频| 能看的av片| 激情婷婷五月在线合集| 99爱视频免费看| 丁香婷婷老司机久操| 国产色色视频| 婷婷九月丁香| 99视频内射三四| 丁香五月自拍| 亚洲中字AV电影在线网站| 激情开心五月天婷婷基地丁香社区| 色444综合网| 久草狼人| 久久综合激情五月天| 亚洲狠狠终合停停终合| 99热日韩| 久久 无毛。| 激情五月丁香五月| 人妻五月天激情开心网| 久cao香蕉影院| 激情小说在线视频| 激情九月天天天天婷婷| 日日夜夜狠狠| 国产欧美日韩性爱| 国产做爰视频免费播放| 色婷婷久久综合中文久久一本| 色婷婷AⅤ| 五月丁香| 激情亚洲色图片丁香综合| 伊人久热91| 色婷婷久久久| 小视频一区| 久大香蕉| 97色碰| 亚洲AV成人无码久久精品老人法拉利| 人妻中文字幕网| 久久久五月天| 五月婷六月天| 99热碰碰热| 91干婷婷|