欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

A/B測試實(shí)戰(zhàn):因果推斷、假設(shè)檢驗(yàn)與樣本量設(shè)計(jì)

A/B測試實(shí)戰(zhàn):因果推斷、假設(shè)檢驗(yàn)與樣本量設(shè)計(jì) 1. 別急著開實(shí)驗(yàn)先把A/B test到底在解決什么問題想清楚我第一次正經(jīng)跑A/B test是在一個(gè)電商項(xiàng)目上。當(dāng)時(shí)我把商品詳情頁的按鈕從加入購物車改成立即購買跑了三天實(shí)驗(yàn)組轉(zhuǎn)化率高出對(duì)照組整整0.6個(gè)百分點(diǎn)我興沖沖地推動(dòng)上線。結(jié)果上線兩周后大盤轉(zhuǎn)化率紋絲不動(dòng)甚至還微跌了一點(diǎn)。復(fù)盤的時(shí)候我才發(fā)現(xiàn)那三天的勝利根本站不住腳——每天的樣本量只有一千出頭0.6個(gè)百分點(diǎn)的差距完全落在隨機(jī)波動(dòng)的范圍里。這件事給了我一個(gè)很深的教訓(xùn)A/B test不是跑兩個(gè)版本看誰數(shù)字高它是一門關(guān)于因果推斷的手藝做不好你拿到的不過是自己騙自己的噪聲。所謂A/B test本質(zhì)上是一次受控實(shí)驗(yàn)。你把流量隨機(jī)切成兩組一組看到舊版本對(duì)照組Control一組看到新版本實(shí)驗(yàn)組Treatment除了你要驗(yàn)證的那一個(gè)變量之外其余條件盡量保持一致然后比較兩組在關(guān)鍵指標(biāo)上的差異。它的目標(biāo)只有一個(gè)判斷這個(gè)改動(dòng)和指標(biāo)變化之間到底有沒有因果關(guān)系而不是僅僅存在相關(guān)關(guān)系。這跟藥廠做雙盲臨床試驗(yàn)的思路是一模一樣的只不過藥廠用的是病人我們用的是用戶。這里有個(gè)特別容易被混淆的點(diǎn)。日常做數(shù)據(jù)分析我們經(jīng)??吹皆缟匣钴S的用戶轉(zhuǎn)化率更高然后有人就說那我們?cè)缟隙嗤苹顒?dòng)吧。這是典型的相關(guān)性誤讀——早上活躍的人可能本身就是重度用戶轉(zhuǎn)化率高跟早上沒關(guān)系。A/B test的價(jià)值就在于它用隨機(jī)化把這種混雜因素洗掉了兩組用戶的構(gòu)成在期望上是相同的唯一的系統(tǒng)性差別就是你改的那個(gè)東西。這就是它能談因果的底氣。1.1 A/B test解決的從來不是數(shù)據(jù)對(duì)比而是因果歸屬很多新手把A/B test理解成一個(gè)對(duì)比工具覺得只要兩組數(shù)字?jǐn)[在一起誰高誰就好。這個(gè)理解是有問題的。我舉個(gè)例子假設(shè)你想驗(yàn)證一種新肥料能不能讓莊稼增產(chǎn)你在地的東邊施了新肥西邊用老肥結(jié)果東邊收成好。你能直接下結(jié)論說新肥有效嗎不能——因?yàn)闁|邊那塊地可能光照更好、土壤更肥、離水渠更近。你比較的不是肥料這一個(gè)變量你把地塊的差異也一起比進(jìn)去了。A/B test要做的恰恰是把光照、土壤、水渠這些干擾項(xiàng)通過隨機(jī)分配抹平。當(dāng)用戶是被隨機(jī)分到兩組的那么所有你能想到和想不到的特征——年齡、設(shè)備、地域、使用習(xí)慣、甚至今天心情——都會(huì)在兩組之間大致均衡分布。這樣一來兩組之間剩下的系統(tǒng)性差異理論上就只有你的那個(gè)改動(dòng)。這就是因果歸屬的含義我們把指標(biāo)的差異歸因到了那個(gè)唯一的干預(yù)上。所以判斷一次實(shí)驗(yàn)值不值得做有個(gè)很簡單的自問我能不能隨機(jī)地把用戶分到不同的體驗(yàn)里并且保證除了我要測的改動(dòng)之外其他都不一樣如果答案是肯定的那A/B test適合你如果答案是否定的你需要考慮別的因果推斷方法。1.2 一個(gè)合格的實(shí)驗(yàn)必須同時(shí)滿足的三個(gè)條件我梳理了一下一個(gè)能得出可信結(jié)論的實(shí)驗(yàn)至少要滿足下面三條缺一條結(jié)論就會(huì)打折扣。隨機(jī)化分配。這是整個(gè)實(shí)驗(yàn)的地基。隨機(jī)化不是說隨便分而是要求每個(gè)用戶被分到任意一組的概率是已知且相等的通常是各50%。工程上我們一般用哈希函數(shù)基于用戶ID來分流而不是用隨機(jī)數(shù)——因?yàn)橛脩艨赡軙?huì)刷新頁面、跨設(shè)備訪問用隨機(jī)數(shù)會(huì)導(dǎo)致同一個(gè)人一會(huì)兒看到A一會(huì)兒看到B體驗(yàn)割裂數(shù)據(jù)也被污染。哈希分流的妙處在于同一個(gè)用戶ID永遠(yuǎn)落在同一組穩(wěn)定且可復(fù)現(xiàn)。平行對(duì)照。實(shí)驗(yàn)組和對(duì)照組必須在同一時(shí)間段并行運(yùn)行。這一點(diǎn)經(jīng)常被忽視。有些團(tuán)隊(duì)圖省事先跑一周舊版本再跑一周新版本這叫前后對(duì)比而不是A/B test。問題是這兩周之間可能發(fā)生了太多別的事節(jié)假日、競品動(dòng)作、天氣、系統(tǒng)故障、大盤自然波動(dòng)。你根本分不清指標(biāo)變化是新版本帶來的還是時(shí)間帶來的。單一變更與可解釋性。理想情況下一次實(shí)驗(yàn)只改一個(gè)變量。如果你既改了按鈕文案、又換了按鈕顏色、還調(diào)整了頁面布局那么就算指標(biāo)漲了你也不知道是哪個(gè)改動(dòng)起的作用下次想復(fù)用都沒法復(fù)用。當(dāng)然現(xiàn)實(shí)里產(chǎn)品迭代往往是一起打包上線的這時(shí)候就需要退一步接受我測的是這個(gè)整包方案但心里要清楚你是沒法拆解貢獻(xiàn)度的。1.3 什么時(shí)候不該用A/B testA/B test不是萬能藥。這幾年我看到不少人硬把A/B test往不合適的場景上套結(jié)果做出來的結(jié)論比不做還危險(xiǎn)。第一類是無法隨機(jī)化的場景。比如你想評(píng)估一次品牌廣告投放的效果你沒法隨機(jī)地把用戶分組然后強(qiáng)迫一部分人看電視廣告、另一部分人不看。再比如監(jiān)管政策變更、價(jià)格體系調(diào)整這類全局性動(dòng)作一旦上線就是全體生效壓根切不出對(duì)照組。第二類是樣本量嚴(yán)重不足。你的產(chǎn)品一天只有幾百個(gè)UV還指望測出1%的提升這在統(tǒng)計(jì)上是不可能的任務(wù)。后面我會(huì)算給你看一個(gè)10%基線的指標(biāo)要測出1個(gè)百分點(diǎn)的絕對(duì)提升每組需要一萬五千左右的樣本。流量不夠你跑一個(gè)月也攢不齊。第三類是倫理或體驗(yàn)風(fēng)險(xiǎn)。比如涉及退款政策、隱私相關(guān)的改動(dòng)把一部分用戶分到更差的版本里可能帶來投訴或者合規(guī)風(fēng)險(xiǎn)這時(shí)候要謹(jǐn)慎評(píng)估。面對(duì)這些場景你可以考慮傾向得分匹配、斷點(diǎn)回歸、雙重差分DID或者切換實(shí)驗(yàn)Switchback Test——切換實(shí)驗(yàn)的思路是讓整個(gè)大盤在不同時(shí)間片上交替使用新舊版本用時(shí)間做對(duì)照特別適合那些沒法切用戶、只能整體切換的場景比如推薦算法的大盤調(diào)度。這些方法各有各的假設(shè)比A/B test更容易被質(zhì)疑但總比拍腦袋強(qiáng)。2. 統(tǒng)計(jì)學(xué)地基p值、置信區(qū)間和它們被誤讀的一百種方式聊完為什么做接下來必須啃下統(tǒng)計(jì)學(xué)這塊硬骨頭。我見過太多人實(shí)驗(yàn)工具用得飛起報(bào)表拉得漂漂亮亮但你問他p值是0.03是什么意思他答不上來。這就像開車不看儀表盤遲早要出事。這一節(jié)我會(huì)盡量用人話把這些概念講透不講公式推導(dǎo)只講它們?cè)趯?shí)際決策里怎么用、以及最容易踩的認(rèn)知陷阱。2.1 零假設(shè)與備擇假設(shè)先假定改了沒用假設(shè)檢驗(yàn)的邏輯跟我們?nèi)粘V庇X是反著來的。我們平時(shí)想證明新版本更好但統(tǒng)計(jì)學(xué)要求你先假定新版本沒有任何效果然后看數(shù)據(jù)是否強(qiáng)烈到能推翻這個(gè)假定。這個(gè)先假定沒用的說法就叫零假設(shè)Null HypothesisH0。對(duì)應(yīng)的**備擇假設(shè)Alternative HypothesisH1**才是你想證明的東西——新版本跟舊版本有差異。整個(gè)檢驗(yàn)過程就是在H0成立的前提下計(jì)算出觀察到當(dāng)前這么極端的數(shù)據(jù)的概率有多大這個(gè)概率就是p值。如果這個(gè)概率特別小我們就說在H0成立的前提下出現(xiàn)這種數(shù)據(jù)的可能性太低了所以H0大概率不成立我們拒絕它。打個(gè)比方。你懷疑一枚硬幣被做了手腳于是先假定它是公平的H0。然后你拋了100次發(fā)現(xiàn)60次正面。如果你拋出來是50次正面左右那很正常啥也說明不了但60次正面就有點(diǎn)反常了。假設(shè)檢驗(yàn)要回答的就是如果硬幣真的公平拋100次出現(xiàn)60次及以上正面的概率有多大這個(gè)概率算出來大概是2.8%如果你事先設(shè)定的門檻是5%那這個(gè)概率小于門檻你就可以拒絕公平這個(gè)假設(shè)。關(guān)鍵點(diǎn)在于我們永遠(yuǎn)不能證明H1成立只能說H0在數(shù)據(jù)面前站不住腳。這兩者聽起來差不多實(shí)際上差著十萬八千里后面講p值誤讀的時(shí)候你會(huì)有更深的體會(huì)。2.2 第一類錯(cuò)誤、第二類錯(cuò)誤你要防的是哪一個(gè)只要是基于樣本做推斷就一定會(huì)犯錯(cuò)因?yàn)槟憧吹牟皇侨慷浅闃?。錯(cuò)誤分兩種我習(xí)慣用一個(gè)法庭類比來記第一類錯(cuò)誤Type I Error假陽性H0其實(shí)是對(duì)的你卻拒絕了它。翻譯到法庭上就是這個(gè)人無罪你卻判他有罪。翻譯到A/B test里就是新版本其實(shí)沒用你卻說它有用把它上線了。犯這個(gè)錯(cuò)的概率就是顯著性水平α通常設(shè)成0.05意思是我容忍5%的概率誤把一個(gè)無效的改動(dòng)當(dāng)成有效的。第二類錯(cuò)誤Type II Error假陰性H0其實(shí)是錯(cuò)的你卻沒有拒絕它。法庭版本是這個(gè)人有罪你卻把他放了。A/B test版本是新版本確實(shí)有效但你樣本不夠或者運(yùn)氣不好沒測出來把它砍掉了。犯這個(gè)錯(cuò)的概率記作β通常設(shè)成0.2意思是我容忍20%的概率漏掉一個(gè)真實(shí)有效的改動(dòng)。由此衍生出兩個(gè)核心概念顯著性水平α決定了你判錯(cuò)案的門檻**統(tǒng)計(jì)功效Power 1 - β**決定了你抓得住真兇的能力。功效0.8意味著如果新版本真的有我們預(yù)期的那么大效果這次實(shí)驗(yàn)有80%的概率能把它識(shí)別出來。這里有個(gè)我特別想強(qiáng)調(diào)的取舍α和β是此消彼長的。你把α調(diào)得更嚴(yán)比如從0.05降到0.01假陽性是少了但同樣的樣本量下功效會(huì)下降假陰性會(huì)變多。所以你不能單方面貪心地要求兩樣都低要么就得加樣本。這個(gè)權(quán)衡是每個(gè)實(shí)驗(yàn)設(shè)計(jì)者必須做的選擇題。概念含義常用取值業(yè)務(wù)含義α顯著性水平容忍假陽性的概率0.05誤把無效改動(dòng)當(dāng)有效的風(fēng)險(xiǎn)β第二類錯(cuò)誤率容忍假陰性的概率0.2漏掉真實(shí)有效改動(dòng)的風(fēng)險(xiǎn)Power統(tǒng)計(jì)功效1 - β0.8能識(shí)別出真實(shí)效果的概率p值H0成立時(shí)觀測到當(dāng)前數(shù)據(jù)的概率與α比較越小越反常注意α0.05不是鐵律。如果你的產(chǎn)品改動(dòng)上線成本極高、一旦錯(cuò)了損失巨大比如涉及資金、支付、核心算法那把α設(shè)到0.01甚至更嚴(yán)是合理的。反之如果只是文案小改錯(cuò)上線成本很低放寬到0.1也能接受。2.3 p值到底是什么以及它不是什么p值是這幾年被罵得最慘的統(tǒng)計(jì)指標(biāo)問題不在它本身而在它被濫用。我用一句話給它定個(gè)性p值是在改動(dòng)完全無效這個(gè)假設(shè)下你觀測到的或更極端的數(shù)據(jù)出現(xiàn)的概率。注意是數(shù)據(jù)的概率不是假設(shè)為真的概率。最常見的誤讀有四種我一個(gè)個(gè)拆。第一種誤讀p0.03意味著新版本有97%的概率更好。錯(cuò)。p值說的是數(shù)據(jù)不是假設(shè)。它沒有給你任何關(guān)于新版本更好這個(gè)命題為真的概率。要得到那種概率你得用貝葉斯方法那是另一套體系。第二種誤讀p0.05說明新版本沒用。錯(cuò)得離譜。p0.05只說明數(shù)據(jù)不足以證明有差異它可能是真的沒差異也可能是樣本不夠沒測出來。統(tǒng)計(jì)學(xué)上有個(gè)說法叫absence of evidence is not evidence of absence翻譯過來就是沒有證據(jù)不等于證據(jù)不存在。我吃過這個(gè)虧一個(gè)真實(shí)的提升因?yàn)闃颖玖繘]算夠p0.08被判了不顯著直接砍掉后來補(bǔ)足樣本重測發(fā)現(xiàn)效果是真的。第三種誤讀p值越小效果越大。p值大小同時(shí)受效果大小和樣本量影響。一個(gè)微乎其微的效果只要樣本量足夠大也能得到極小的p值。反過來一個(gè)巨大的效果在小樣本下p值可能也不小。所以看p值一定要配套看效應(yīng)量也就是提升幅度本身。第四種誤讀p0.05就代表業(yè)務(wù)上值得上線。這更是把統(tǒng)計(jì)顯著和業(yè)務(wù)顯著混為一談。統(tǒng)計(jì)顯著只代表這個(gè)差異不太可能是巧合但差異本身可能只有0.05%用戶根本感知不到上線投入的人力還不如省省。給不給上線得看這個(gè)提升帶來的收益能不能覆蓋開發(fā)成本這是業(yè)務(wù)判斷不是統(tǒng)計(jì)判斷。2.4 置信區(qū)間比p值更好用如果讓我只能選一個(gè)指標(biāo)來看實(shí)驗(yàn)結(jié)果我會(huì)選置信區(qū)間Confidence IntervalCI而不是p值。為什么呢因?yàn)閜值只告訴你有沒有差異而置信區(qū)間同時(shí)告訴你差異大概有多大、以及有多不確定。95%置信區(qū)間的準(zhǔn)確含義比較繞如果你把這個(gè)實(shí)驗(yàn)重復(fù)無數(shù)次每次都算一個(gè)95%置信區(qū)間那么這些區(qū)間里大約95%會(huì)包含真實(shí)的效應(yīng)值。對(duì)單次實(shí)驗(yàn)來說我們通常就說真實(shí)效應(yīng)有95%的把握落在這個(gè)范圍內(nèi)。舉個(gè)例子假設(shè)實(shí)驗(yàn)組比對(duì)照組轉(zhuǎn)化率提升了1個(gè)百分點(diǎn)95%置信區(qū)間是[0.2%, 1.8%]。這個(gè)區(qū)間完全在0的右側(cè)說明效果是正向的且統(tǒng)計(jì)顯著。同時(shí)你還能看到最樂觀的情況提升1.8%最保守也有0.2%。如果最保守的這個(gè)下界你也能接受那這個(gè)改動(dòng)就值得上線。要是區(qū)間是[-0.5%, 2.5%]跨過了0那就說明方向都不確定別提上線了。我個(gè)人的習(xí)慣是看實(shí)驗(yàn)結(jié)論必看三樣點(diǎn)估計(jì)提升幅度、置信區(qū)間、p值。三者放在一起看一個(gè)實(shí)驗(yàn)到底贏了多少、穩(wěn)不穩(wěn)基本就清晰了。光看p值是典型的只見樹木不見森林。3. 開跑之前必須算的賬樣本量與統(tǒng)計(jì)功效實(shí)驗(yàn)設(shè)計(jì)里最容易被跳過的一步就是提前算樣本量。很多人是先跑起來再說跑幾天看看結(jié)果要么樣本不夠下不了結(jié)論要么白白浪費(fèi)兩周流量。我把話放這兒不提前算樣本量的實(shí)驗(yàn)大概率是浪費(fèi)。這一節(jié)我把怎么算、算完怎么用、以及怎么少花流量也能測準(zhǔn)都講一遍。3.1 決定樣本量的四個(gè)參數(shù)樣本量不是拍腦袋定的它是被四個(gè)參數(shù)唯一確定的。想清楚這四個(gè)樣本量就是個(gè)填空題。基線轉(zhuǎn)化率p對(duì)照組當(dāng)前的指標(biāo)水平。比如當(dāng)前下單轉(zhuǎn)化率是10%。最小可檢測效應(yīng)Minimum Detectable EffectMDE你能接受的最小有意義提升。這個(gè)要慎重定。定得太小比如0.1%樣本量會(huì)爆炸定得太大比如50%的相對(duì)提升那大多數(shù)正常的改動(dòng)都達(dá)不到實(shí)驗(yàn)永遠(yuǎn)不顯著。我的經(jīng)驗(yàn)是MDE通常取相對(duì)提升5%~20%具體看業(yè)務(wù)改版動(dòng)作大就定得大一點(diǎn)精細(xì)化調(diào)優(yōu)就定得小一點(diǎn)。顯著性水平α一般是0.05對(duì)應(yīng)雙側(cè)檢驗(yàn)的z值約1.96。統(tǒng)計(jì)功效1-β一般是0.8對(duì)應(yīng)z值約0.84。把這四個(gè)參數(shù)代進(jìn)公式就能算出每組需要的樣本量。下面這個(gè)公式適用于比較兩個(gè)比例的經(jīng)典場景n 2 × (z_{1-α/2} z_{1-β})2 × p? × (1 - p?) / Δ2 其中 n 每組所需樣本量 p? 兩組基線率的平均值 (p_control p_treatment) / 2 Δ 絕對(duì)效應(yīng)量 p_treatment - p_control z 標(biāo)準(zhǔn)正態(tài)分布的分位數(shù)如果嫌麻煩業(yè)內(nèi)有個(gè)很好用的近似式每組樣本量 ≈ 16 × p × (1-p) / Δ2這個(gè)16就是把(1.960.84)2≈7.84再乘2湊整來的算出來的結(jié)果跟精確公式差不了多少做快速估算非常夠用。3.2 手把手算一遍從10%基線到1%絕對(duì)提升光說公式太空我們算一遍實(shí)際數(shù)字你感受一下樣本量到底有多大。場景對(duì)照組基線轉(zhuǎn)化率10%我們希望檢測出**相對(duì)提升10%**的效果也就是絕對(duì)提升1個(gè)百分點(diǎn)即實(shí)驗(yàn)組目標(biāo)為11%。取α0.05功效0.8。代入公式p? (0.10 0.11) / 2 0.105p? × (1 - p?) 0.105 × 0.895 0.093975Δ 0.11 - 0.10 0.01Δ2 0.0001z_{0.975} 1.96z_{0.80} 0.8416兩者之和 2.8016平方 ≈ 7.849所以n 2 × 7.849 × 0.093975 / 0.0001 15.698 × 0.093975 / 0.0001 ≈ 14752結(jié)果是每組約14750人兩組合計(jì)約3萬人。用近似公式驗(yàn)證一下16 × 0.093975 / 0.0001 ≈ 15036跟精確值非常接近可見這個(gè)近似式足夠靠譜??吹竭@個(gè)數(shù)字你應(yīng)該對(duì)樣本量有點(diǎn)敬畏了。如果你的產(chǎn)品每天轉(zhuǎn)化用戶只有500個(gè)那這個(gè)實(shí)驗(yàn)光是攢樣本就要攢上近60天。這時(shí)候你有兩個(gè)選擇要么把MDE放大比如只關(guān)心20%以上的相對(duì)提升要么想辦法提高實(shí)驗(yàn)的靈敏度。前者是妥協(xié)后者是技術(shù)活。用Python寫個(gè)小工具幾行就能算from scipy.stats import norm def sample_size_per_group(p_base, mde_rel, alpha0.05, power0.8): p_base : 對(duì)照組基線轉(zhuǎn)化率例如 0.10 mde_rel : 相對(duì)提升幅度例如 0.10 表示提升10% alpha : 顯著性水平 power : 統(tǒng)計(jì)功效 p_treat p_base * (1 mde_rel) p_bar (p_base p_treat) / 2 delta p_treat - p_base z_alpha norm.ppf(1 - alpha / 2) z_beta norm.ppf(power) n 2 * (z_alpha z_beta) ** 2 * p_bar * (1 - p_bar) / delta ** 2 return int(n) 1 # 向上取整 print(sample_size_per_group(0.10, 0.10)) # 約 14753 print(sample_size_per_group(0.10, 0.20)) # 相對(duì)提升20%樣本量驟降你可以自己跑一下會(huì)發(fā)現(xiàn)相對(duì)提升20%時(shí)樣本量幾乎只有提升10%時(shí)的四分之一。這也解釋了為什么大改動(dòng)往往更容易測出效果——不是因?yàn)榇蟾膭?dòng)一定更好而是因?yàn)榇蟾膭?dòng)更容易被檢測到。提示如果你做的是連續(xù)型指標(biāo)比如人均停留時(shí)長、客單價(jià)樣本量公式不一樣它依賴的是指標(biāo)的方差而不是比例。但思路完全一致方差越大、MDE越小需要的樣本越多。業(yè)界通用的估算工具如在線樣本量計(jì)算器一般都支持這兩種類型。3.3 實(shí)驗(yàn)要跑多久別讓周期毀掉結(jié)論算出每組樣本量之后還要把它換算成跑幾天。這一步的坑特別多。首先用你產(chǎn)品的日活或日均落入實(shí)驗(yàn)的用戶數(shù)除一下就知道大概需要多少天。但這里有個(gè)隱藏殺手用戶行為的周期性。工作日和周末用戶的下單行為可能天差地別月初發(fā)工資那幾天和月末消費(fèi)傾向也不一樣。如果你的實(shí)驗(yàn)只跑了工作日或者橫跨了一個(gè)大促那結(jié)論很可能是被周期性因素污染的。所以我的建議是實(shí)驗(yàn)周期至少覆蓋一個(gè)完整的周7天最好能覆蓋兩周。這樣每周各天的差異會(huì)被平均掉。如果你的業(yè)務(wù)有明顯的月度周期理論上最好覆蓋一個(gè)月但那往往不現(xiàn)實(shí)這時(shí)候就退而求其次保證覆蓋整周并在結(jié)論里標(biāo)注未覆蓋月度周期。第二個(gè)坑是實(shí)驗(yàn)啟動(dòng)的初期污染。用戶剛進(jìn)入新版本時(shí)行為可能有新鮮感效應(yīng)——短時(shí)間內(nèi)點(diǎn)擊率暴漲過幾天又回落。或者反過來老用戶突然看到界面變了產(chǎn)生排斥。這類效應(yīng)一般持續(xù)幾天所以實(shí)驗(yàn)也不要只看第一天。第三個(gè)坑是用戶首次進(jìn)入實(shí)驗(yàn)的時(shí)間。要確保實(shí)驗(yàn)組的用戶和對(duì)照組的用戶是在同一個(gè)時(shí)間窗口里首次接觸到版本的否則一個(gè)跑了三天、一個(gè)跑了七天樣本構(gòu)成就不一樣了這叫新鮮度偏差。3.4 提升靈敏度的幾個(gè)實(shí)用手段當(dāng)你流量不夠、又不想放大MDE的時(shí)候還有一招降低指標(biāo)方差也就是讓同樣的效果更容易被看見。這在統(tǒng)計(jì)上叫方差縮減Variance Reduction。我介紹幾個(gè)我實(shí)際用過、比較靠譜的。CUPEDControlled-experiment Using Pre-Experiment Data這個(gè)方法是微軟提出來的思路很巧妙。它利用實(shí)驗(yàn)開始之前的用戶行為數(shù)據(jù)作為協(xié)變量來修正實(shí)驗(yàn)期指標(biāo)。比如你知道每個(gè)實(shí)驗(yàn)用戶在實(shí)驗(yàn)前的歷史下單次數(shù)就可以用這個(gè)歷史值把實(shí)驗(yàn)期指標(biāo)的方差抽掉一部分。效果非常顯著我實(shí)測下來方差經(jīng)常能降低30%~50%等效于把樣本量需求砍掉一大截。代碼上也不難核心就幾行回歸調(diào)整。import numpy as np def cuped_adjust(y, x, thetaNone): y : 實(shí)驗(yàn)期指標(biāo)比如是否下單 x : 實(shí)驗(yàn)前協(xié)變量比如實(shí)驗(yàn)前7天下單次數(shù) theta : 調(diào)整系數(shù)默認(rèn)用 Cov(y,x)/Var(x) 估計(jì) if theta is None: theta np.cov(y, x)[0, 1] / np.var(x) return y - theta * (x - np.mean(x)) # 對(duì)實(shí)驗(yàn)組和對(duì)照組的 y 都做調(diào)整后再做檢驗(yàn)配對(duì)設(shè)計(jì)把特征相似的用戶配對(duì)然后一對(duì)里隨機(jī)一個(gè)進(jìn)實(shí)驗(yàn)組、一個(gè)進(jìn)對(duì)照組。這樣組間差異會(huì)小很多但工程實(shí)現(xiàn)復(fù)雜一般大規(guī)模實(shí)驗(yàn)用不上。更敏感的指標(biāo)有時(shí)候主指標(biāo)太粗比如是否下單這種0/1指標(biāo)方差天然就大。你可以換成更細(xì)的代理指標(biāo)比如加購次數(shù)、頁面停留時(shí)長這些指標(biāo)方差小、對(duì)改動(dòng)更敏感。但要注意代理指標(biāo)動(dòng)了不代表主指標(biāo)一定動(dòng)別撿了芝麻丟了西瓜。分流比例不均如果你對(duì)數(shù)據(jù)非常有把握可以把分流比例從50/50調(diào)成70/30實(shí)驗(yàn)組多一些在總流量固定時(shí)這通常能讓整體功效略微提升一點(diǎn)點(diǎn)。但收益有限且會(huì)減少對(duì)照組信息量我個(gè)人不太推薦優(yōu)先用這招。4. 分流與實(shí)驗(yàn)設(shè)計(jì)讓兩組真的可比前面都是紙上談兵的統(tǒng)計(jì)這一節(jié)落到工程實(shí)現(xiàn)。分流的代碼寫得對(duì)不對(duì)直接決定了實(shí)驗(yàn)數(shù)據(jù)能不能用。我見過不少實(shí)驗(yàn)結(jié)論漂亮但底層分流有bug白忙一場。這里面我認(rèn)為最核心的三個(gè)環(huán)節(jié)是哈希分流、AA檢驗(yàn)、SRM檢測。4.1 隨機(jī)化的工程實(shí)現(xiàn)哈希分流怎么寫前面說過別用隨機(jī)數(shù)分流要用哈希分流。核心思路是把「實(shí)驗(yàn)ID 用戶ID 鹽值」拼成一個(gè)字符串用哈希函數(shù)映射成一個(gè)固定長度的數(shù)字再取模映射到具體的桶bucket里。為什么要有「鹽值salt」因?yàn)槿绻阒挥糜脩鬒D哈希那么同一個(gè)用戶在你們所有的實(shí)驗(yàn)里都會(huì)被分到同一比例的桶里長期下來會(huì)導(dǎo)致實(shí)驗(yàn)污染——某些用戶總是在實(shí)驗(yàn)組某些總在對(duì)照組長期行為會(huì)分化。加一個(gè)跟實(shí)驗(yàn)ID相關(guān)的鹽值就能讓同一個(gè)用戶在不同實(shí)驗(yàn)里的分組互相獨(dú)立。import hashlib def hash_bucket(exp_id: str, user_id: str, salt: str v1, n_buckets: int 10000) - int: key f{exp_id}:{salt}:{user_id} digest hashlib.md5(key.encode(utf-8)).hexdigest() # 取前8位十六進(jìn)制轉(zhuǎn)成整數(shù)再取模 return int(digest[:8], 16) % n_buckets def assign_group(exp_id: str, user_id: str, salt: str v1, split: float 0.5, n_buckets: int 10000) - str: bucket hash_bucket(exp_id, user_id, salt, n_buckets) if bucket int(n_buckets * split): return control return treatment print(assign_group(exp_001, user_9527)) # 穩(wěn)定輸出 control 或 treatment這段代碼的核心優(yōu)點(diǎn)有兩個(gè)冪等同一個(gè)用戶無論訪問多少次結(jié)果永遠(yuǎn)一致可復(fù)現(xiàn)你用同樣的鹽值和ID在任何環(huán)境里都能算出相同的分組方便排查問題。有一個(gè)細(xì)節(jié)值得注意哈希桶的粒度。如果你的實(shí)驗(yàn)很多或者需要在一組實(shí)驗(yàn)里嵌套多層比如先分實(shí)驗(yàn)流量、再分實(shí)驗(yàn)組建議采用多層分流Layered Experiment / Overlapping Experiment的思路。這種方法把流量池切成多個(gè)正交層不同層之間的實(shí)驗(yàn)互不干擾可以同時(shí)跑很多實(shí)驗(yàn)而不互相踩腳。這個(gè)方法最早是搜索引擎公司用來同時(shí)跑大量算法實(shí)驗(yàn)的現(xiàn)在很多實(shí)驗(yàn)平臺(tái)都借鑒了這個(gè)設(shè)計(jì)。4.2 AA檢驗(yàn)上線前的自我體檢分流代碼寫完之后千萬別直接跑真實(shí)驗(yàn)。先跑一次AA檢驗(yàn)對(duì)照組和實(shí)驗(yàn)組跑的是完全一樣的版本理論上兩組的指標(biāo)應(yīng)該沒有統(tǒng)計(jì)顯著的差異。如果AA檢驗(yàn)都能跑出顯著差異那說明你的分流邏輯或者埋點(diǎn)有問題。我見過一次特別嚇人的AA結(jié)果兩組轉(zhuǎn)化率差了3個(gè)百分點(diǎn)p值0.001。排查之后發(fā)現(xiàn)是埋點(diǎn)上報(bào)時(shí)間不一致實(shí)驗(yàn)組的日志匯總有延遲導(dǎo)致一部分下單沒算進(jìn)去。這種bug如果混在真實(shí)驗(yàn)里足夠讓你做出一個(gè)完全錯(cuò)誤的決策。AA檢驗(yàn)跑多久我的經(jīng)驗(yàn)是跑夠單組樣本量的50%~100%。不用跑完整周期但樣本太少也看不出問題。AA檢驗(yàn)的通過標(biāo)準(zhǔn)是指標(biāo)差異應(yīng)該落在合理的隨機(jī)波動(dòng)范圍內(nèi)p值大于0.05甚至更寬比如大于0.01就可以繼續(xù)。如果AA反復(fù)出現(xiàn)顯著差異就別急著上真實(shí)驗(yàn)。4.3 SRM樣本比例失衡最容易被忽略的致命傷**SRMSample Ratio Mismatch樣本比例失衡**是實(shí)驗(yàn)圈公認(rèn)的實(shí)驗(yàn)殺手之一。它的意思很簡單你設(shè)定分流比例是50/50但實(shí)際跑下來落到兩組的人數(shù)卻是49/51、甚至48/52差距大到不像隨機(jī)波動(dòng)。SRM為什么可怕因?yàn)樗f明分流機(jī)制本身出了問題實(shí)驗(yàn)數(shù)據(jù)很可能是被某種系統(tǒng)性偏差污染的這時(shí)候你算出來的所有p值、置信區(qū)間都不可信。哪怕指標(biāo)看起來漂亮也不能信。檢測SRM用卡方擬合優(yōu)度檢驗(yàn)from scipy.stats import chisquare # 假設(shè)預(yù)期比例 50:50實(shí)際觀測到的樣本數(shù) observed [4980, 5020] total sum(observed) expected [total * 0.5, total * 0.5] stat, p chisquare(observed, expected) print(fchi2{stat:.3f}, p{p:.4f}) # 判據(jù)p 0.001 視為存在 SRM判據(jù)有個(gè)經(jīng)驗(yàn)值p值小于0.001就判定為SRM而不是常規(guī)的0.05。原因是我們對(duì)SRM要更敏感也更寬容——太敏感會(huì)誤報(bào)但0.001這個(gè)門檻足夠低一旦觸發(fā)基本就是真有問題。常見的SRM原因我列一下都是實(shí)戰(zhàn)中高頻出現(xiàn)的原因類別具體表現(xiàn)排查手段分流邏輯bug哈希取模寫錯(cuò)、邊界判定漏桶用固定測試集跑分流單測埋點(diǎn)/日志丟失某一版本上報(bào)延遲或失敗對(duì)比兩組的日志條數(shù)、上報(bào)延遲路由/跳轉(zhuǎn)攔截某些版本被安全策略或CDN攔截檢查中間件、頻率限制用戶主動(dòng)跳出新版本加載慢用戶提前關(guān)閉看兩組的跳出率是否異常分桶污染用戶跨設(shè)備、跨端導(dǎo)致重復(fù)計(jì)入用穩(wěn)定ID而非設(shè)備ID分流注意SRM一旦觸發(fā)不要試圖解釋它。很多人的第一反應(yīng)是哦可能是新版本加載慢導(dǎo)致的用戶跑了然后繼續(xù)看數(shù)據(jù)。正確的做法是終止實(shí)驗(yàn)、排查根因、修復(fù)后重跑。用被污染的數(shù)據(jù)下結(jié)論是拿業(yè)務(wù)決策賭運(yùn)氣。4.4 偷看數(shù)據(jù)與序貫檢驗(yàn)還有個(gè)特別隱蔽的坑叫偷看數(shù)據(jù)Peeking。很多團(tuán)隊(duì)跑實(shí)驗(yàn)時(shí)每天都看一遍顯著性看到p0.05就宣布勝利、停止實(shí)驗(yàn)。這個(gè)做法在統(tǒng)計(jì)上是錯(cuò)誤的它會(huì)大幅拉高假陽性率。原因在于經(jīng)典的假設(shè)檢驗(yàn)要求你在實(shí)驗(yàn)開始前就固定樣本量跑滿后再看一次。如果你反復(fù)看、隨時(shí)可能停止那你就相當(dāng)于給了數(shù)據(jù)很多次變得顯著的機(jī)會(huì)。哪怕新版本完全沒效果你每天看一眼連續(xù)看兩周出現(xiàn)一次p0.05的概率遠(yuǎn)高于5%實(shí)測能到20%~30%。這就好比你在賭場里一直下注總覺得下一把會(huì)贏但最終是概率在收割你。解決這個(gè)問題有兩條路。第一條是老老實(shí)實(shí)跑滿樣本量再看簡單粗暴但有效。第二條是采用序貫檢驗(yàn)Sequential Testing方法它專門處理反復(fù)看數(shù)據(jù)的場景通過對(duì)每次檢驗(yàn)的閾值做動(dòng)態(tài)調(diào)整來控制整體的假陽性率。業(yè)界常用的有SPRT序貫概率比檢驗(yàn)和Always-Valid p-value?,F(xiàn)在一些實(shí)驗(yàn)平臺(tái)默認(rèn)就用了這類方法允許你隨時(shí)看、隨時(shí)停但解釋起來更復(fù)雜需要團(tuán)隊(duì)有一定的統(tǒng)計(jì)學(xué)基礎(chǔ)。我個(gè)人的建議是如果你的團(tuán)隊(duì)統(tǒng)計(jì)功底一般就老老實(shí)實(shí)跑滿再看如果實(shí)驗(yàn)很頻繁、流程要求實(shí)時(shí)決策那就統(tǒng)一用序貫方法別讓兩套標(biāo)準(zhǔn)混用。5. 指標(biāo)、多重比較與結(jié)果解讀實(shí)驗(yàn)跑完了數(shù)據(jù)處理也做對(duì)了接下來是解讀環(huán)節(jié)。這一步看起來簡單其實(shí)是魔鬼藏在細(xì)節(jié)的重災(zāi)區(qū)。指標(biāo)定錯(cuò)了、結(jié)論會(huì)跑偏多重比較沒校正、會(huì)撿到假顯著辛普森悖論沒注意、整體贏了局部輸了。這一節(jié)我逐條拆開講。5.1 主指標(biāo)、護(hù)欄指標(biāo)、代理指標(biāo)怎么定一次實(shí)驗(yàn)只盯一個(gè)指標(biāo)非常容易走偏。我的習(xí)慣是設(shè)計(jì)一個(gè)主指標(biāo) 若干護(hù)欄指標(biāo) 可選代理指標(biāo)。主指標(biāo)Primary Metric這是你做這次實(shí)驗(yàn)想優(yōu)化的核心指標(biāo)一次實(shí)驗(yàn)最好只有一個(gè)。比如改版商品詳情頁主指標(biāo)就是下單轉(zhuǎn)化率。定多了會(huì)引出多重比較問題下面會(huì)講而且會(huì)讓人模糊焦點(diǎn)。護(hù)欄指標(biāo)Guardrail Metric這些指標(biāo)不是你要提升的而是要保證不被搞壞的。比如你為了提升下單轉(zhuǎn)化可能會(huì)加很多引導(dǎo)按鈕但用戶體驗(yàn)可能變差導(dǎo)致退款率上升、客服投訴率上升、頁面加載時(shí)長上升。護(hù)欄指標(biāo)的作用就是兜底一旦某個(gè)護(hù)欄指標(biāo)顯著惡化哪怕主指標(biāo)漲了也要謹(jǐn)慎上線。代理指標(biāo)Proxy Metric當(dāng)你關(guān)心的長期指標(biāo)比如用戶留存、NPS很難在實(shí)驗(yàn)周期內(nèi)觀察到時(shí)可以用短期相關(guān)的代理指標(biāo)。比如用7日復(fù)訪率代理長期留存用加購率代理下單率。用代理指標(biāo)的好處是靈敏但代價(jià)是它和真實(shí)目標(biāo)的關(guān)系只是相關(guān)而非因果結(jié)論要打折扣表述。指標(biāo)類型作用舉例使用注意主指標(biāo)衡量改動(dòng)是否達(dá)成目標(biāo)下單轉(zhuǎn)化率只設(shè)一個(gè)提前定義護(hù)欄指標(biāo)防止體驗(yàn)或業(yè)務(wù)倒退退款率、投訴率、加載時(shí)長惡化即亮紅燈需解釋代理指標(biāo)短期替代長期目標(biāo)7日復(fù)訪率相關(guān)性需論證慎下結(jié)論5.2 辛普森悖論整體贏局部輸辛普森悖論是數(shù)據(jù)分析里最反直覺的現(xiàn)象之一在分組數(shù)據(jù)里A組每個(gè)子集都比B組好但合起來看A組反而更差。放在A/B test里就是整體看實(shí)驗(yàn)組贏了但拆開每個(gè)細(xì)分人群看實(shí)驗(yàn)組都輸了或者反過來。它的成因是組間構(gòu)成比例不同。我舉個(gè)具體的例子。假設(shè)你的實(shí)驗(yàn)涉及新老兩類用戶新用戶轉(zhuǎn)化率天然低老用戶轉(zhuǎn)化率天然高。對(duì)照組老用戶100人轉(zhuǎn)化30%新用戶100人轉(zhuǎn)化10% → 整體轉(zhuǎn)化20%實(shí)驗(yàn)組老用戶20人轉(zhuǎn)化40%新用戶180人轉(zhuǎn)化20% → 整體轉(zhuǎn)化21.8%你看實(shí)驗(yàn)組在每個(gè)細(xì)分人群里都贏了40%30%20%10%但整體實(shí)驗(yàn)組的轉(zhuǎn)化率21.8%比對(duì)照組的20%高看起來好像也是實(shí)驗(yàn)組贏。這是因?yàn)樾掠脩舻恼急仍趯?shí)驗(yàn)組里大幅提高了——嗯這個(gè)例子里剛好沒體現(xiàn)出悖論。我再構(gòu)造一個(gè)能體現(xiàn)的。對(duì)照組老用戶200人轉(zhuǎn)化率30%新用戶800人轉(zhuǎn)化率5% → 整體200×0.3 800×0.05/1000 10%實(shí)驗(yàn)組老用戶800人轉(zhuǎn)化率40%新用戶200人轉(zhuǎn)化率10% → 整體800×0.4 200×0.1/1000 34%這種情況下兩邊的細(xì)分都贏了整體也贏了。要構(gòu)造悖論需要人群占比發(fā)生方向相反的傾斜??傊?dāng)實(shí)驗(yàn)組和對(duì)照組的人群構(gòu)成顯著不同時(shí)聚合指標(biāo)的比較可能完全誤導(dǎo)。所以實(shí)戰(zhàn)里我強(qiáng)烈建議看到顯著的聚合結(jié)果時(shí)一定要做細(xì)分拆解Segmentation Analysis看看是不是某個(gè)子人群的變化被平均掉了或者放大了。常見的拆解維度有新老用戶、設(shè)備類型、地域、渠道來源、活躍度分層。當(dāng)然拆得太多又會(huì)掉進(jìn)多重比較的坑所以要配合校正手段使用。5.3 多重比較跑20個(gè)指標(biāo)總有一個(gè)顯著**多重比較Multiple Comparisons**是假陽性的重災(zāi)區(qū)。道理很簡單如果每個(gè)檢驗(yàn)都是α0.05那單獨(dú)一個(gè)檢驗(yàn)的假陽性率是5%但如果你獨(dú)立跑20個(gè)檢驗(yàn)至少有一個(gè)假陽性的概率是1 - (1 - 0.05)^20 ≈ 0.642也就是說你跑20個(gè)指標(biāo)即使所有改動(dòng)其實(shí)完全無效也有約64%的概率至少看到一個(gè)顯著的結(jié)果。這就像拋20次硬幣總會(huì)遇到幾次連著正面一樣是純粹的概率現(xiàn)象。解決手段主要有兩個(gè)。Bonferroni校正最保守也最簡單。把每個(gè)檢驗(yàn)的顯著性閾值從α改成α/mm是檢驗(yàn)次數(shù)。比如你跑20個(gè)指標(biāo)那每個(gè)指標(biāo)的閾值就設(shè)成0.05/20 0.0025。這種方法能嚴(yán)格控制假陽性但代價(jià)是功效下降嚴(yán)重容易漏掉真實(shí)效果。Benjamini-HochbergBHFDR校正控制的是假發(fā)現(xiàn)率False Discovery Rate比Bonferroni溫和得多是實(shí)際用起來更舒服的方法。它的思路是把所有p值從小到大排序找到最大的那個(gè)滿足 p_i ≤ (i/m) × α 的位置該位置及其之前的所有假設(shè)都判為顯著。import numpy as np def bh_correction(p_values, alpha0.05): p np.array(p_values) m len(p) order np.argsort(p) sorted_p p[order] thresholds np.arange(1, m 1) / m * alpha # 找到滿足條件的最大的 i passed sorted_p thresholds if not passed.any(): return np.zeros(m, dtypebool) k np.max(np.where(passed)[0]) significant np.zeros(m, dtypebool) significant[order[:k 1]] True return significant pvals [0.001, 0.008, 0.02, 0.04, 0.06, 0.2, 0.5] print(bh_correction(pvals))實(shí)戰(zhàn)建議如果實(shí)驗(yàn)里只跑了一個(gè)主指標(biāo)不用校正如果拆了10個(gè)細(xì)分人群或者跟蹤了多個(gè)指標(biāo)至少要做一次FDR校正否則你的發(fā)現(xiàn)里摻了多少假貨自己都不知道。注意校正不是萬能的。它只解決你主動(dòng)做了多次檢驗(yàn)的問題不解決你看數(shù)據(jù)挑指標(biāo)的問題。如果先看哪個(gè)指標(biāo)顯著就把它當(dāng)主指標(biāo)那校正也救不了你。主指標(biāo)一定要在實(shí)驗(yàn)前就定死。5.4 從顯著性到?jīng)Q策別把p0.05當(dāng)成圣旨最后一個(gè)環(huán)節(jié)是從統(tǒng)計(jì)結(jié)論到業(yè)務(wù)決策。這中間隔著一條很寬的溝很多團(tuán)隊(duì)容易一頭扎進(jìn)p0.05就上線的簡單邏輯里。我的決策框架是這樣的分三層。第一層看統(tǒng)計(jì)顯著性p值是否達(dá)標(biāo)、置信區(qū)間是否跨0。這層決定數(shù)據(jù)支不支持這個(gè)結(jié)論。第二層看業(yè)務(wù)顯著性效應(yīng)量夠不夠大。一個(gè)提升0.02%的改動(dòng)哪怕p0.0001上線的人力成本都未必回得來。我會(huì)算一筆賬這個(gè)提升在全年大盤能帶來多少收益能不能覆蓋開發(fā)和維護(hù)成本。第三層看風(fēng)險(xiǎn)與護(hù)欄相關(guān)護(hù)欄指標(biāo)有沒有惡化、細(xì)分人群里有沒有人明顯吃虧、實(shí)驗(yàn)周期內(nèi)有沒有被特殊事件大促、事故污染。這層決定能不能上、什么時(shí)候上、要不要分批上。這三層都過了才叫可以上線。任何一層不過就需要補(bǔ)測、或者小流量灰度、或者干脆放棄。單純盯著p值做決策是把業(yè)務(wù)當(dāng)成了統(tǒng)計(jì)學(xué)考試。6. 落地實(shí)操一套能跑起來的最小實(shí)驗(yàn)流程前面五節(jié)都是拆解原理這一節(jié)我把它們串成一條能落地的流程。不管你是用現(xiàn)成的商業(yè)實(shí)驗(yàn)平臺(tái)還是自己搭一套輕量系統(tǒng)這套流程和關(guān)鍵節(jié)點(diǎn)都適用。6.1 技術(shù)架構(gòu)的最小閉環(huán)一套能用的A/B實(shí)驗(yàn)系統(tǒng)其實(shí)不一定需要多復(fù)雜我把它拆成五個(gè)關(guān)鍵模塊缺哪個(gè)都不行。分桶服務(wù)Bucketing Service負(fù)責(zé)根據(jù)用戶ID決定他落入哪個(gè)組。就是前面講的哈希分流邏輯。這個(gè)服務(wù)要做得快——每次請(qǐng)求都要校驗(yàn)分組如果它拖慢了主流程用戶體驗(yàn)會(huì)倒退所以通常用本地緩存 布隆過濾器來加速。配置中心Config Service存儲(chǔ)每個(gè)實(shí)驗(yàn)的配置實(shí)驗(yàn)ID、分流比例、生效范圍比如僅限某幾個(gè)城市、某幾個(gè)渠道、時(shí)間窗口。分桶服務(wù)拿到用戶分組后結(jié)合配置中心判斷這個(gè)用戶是否真的進(jìn)入實(shí)驗(yàn)。配置中心最好支持熱更新這樣你調(diào)整實(shí)驗(yàn)參數(shù)不用重啟服務(wù)。埋點(diǎn)上報(bào)Event Tracking用戶的行為數(shù)據(jù)曝光、點(diǎn)擊、下單要打上實(shí)驗(yàn)標(biāo)簽和分組信息方便后續(xù)歸因。這一步最容易出bug務(wù)必保證曝光埋點(diǎn)在用戶真實(shí)看到版本時(shí)上報(bào)而不是在進(jìn)入頁面時(shí)上報(bào)否則會(huì)虛高。指標(biāo)計(jì)算Metric Aggregation把埋點(diǎn)數(shù)據(jù)按實(shí)驗(yàn)、按組聚合算出各種指標(biāo)。這一步往往是離線批處理天級(jí)更新。要注意數(shù)據(jù)口徑的統(tǒng)一別讓實(shí)驗(yàn)組和對(duì)照組用了不同的分母。分析平臺(tái)Analysis Reporting把聚合數(shù)據(jù)做統(tǒng)計(jì)檢驗(yàn)算p值、置信區(qū)間、SRM檢驗(yàn)結(jié)果生成實(shí)驗(yàn)報(bào)告。這一步可以簡單到一個(gè)腳本也可以復(fù)雜到一整套可視化平臺(tái)。6.2 常見問題速查表我把這些年遇到的高頻問題整理成表方便你對(duì)照排查。這些問題基本涵蓋了A/B test執(zhí)行中出現(xiàn)狀況的八成?,F(xiàn)象可能原因排查/解決辦法p值總在0.05附近反復(fù)橫跳樣本量不足在功效邊緣補(bǔ)樣本或放大MDE實(shí)驗(yàn)組樣本數(shù)明顯偏多/偏少SRM分流或埋點(diǎn)bug卡方檢驗(yàn)p0.001就終止排查AA檢驗(yàn)出現(xiàn)顯著差異分流邏輯或埋點(diǎn)不一致固定ID跑分流單測檢查上報(bào)延遲多個(gè)指標(biāo)都顯著多重比較假陽性做BH或Bonferroni校正整體顯著但拆開看都輸了辛普森悖論人群構(gòu)成傾斜按人群分層重算看加權(quán)結(jié)果第一天大漲后面回落新鮮感效應(yīng)/首因效應(yīng)拉長周期看穩(wěn)態(tài)數(shù)據(jù)實(shí)驗(yàn)跑不動(dòng)樣本攢不齊流量太小或MDE定太小用CUPED降方差或放大MDE每次看數(shù)據(jù)結(jié)果都不一樣偷看數(shù)據(jù)Peeking跑滿再看或改用序貫檢驗(yàn)主指標(biāo)漲了但投訴變多護(hù)欄指標(biāo)被忽視建立護(hù)欄指標(biāo)看板主指標(biāo)護(hù)欄一起決策實(shí)驗(yàn)結(jié)論無法復(fù)現(xiàn)分流不穩(wěn)定或環(huán)境差異檢查鹽值、埋點(diǎn)口徑、是否被其他實(shí)驗(yàn)干擾6.3 我自己踩過的坑和幾條經(jīng)驗(yàn)寫到這兒我把這些年做實(shí)驗(yàn)積累的幾條經(jīng)驗(yàn)擺出來都是花錢買來的教訓(xùn)希望你能少走點(diǎn)彎路。第一條實(shí)驗(yàn)前一定要寫清楚假設(shè)。別只寫改版詳情頁要寫成我認(rèn)為把購買按鈕置頂能提升下單轉(zhuǎn)化率因?yàn)闇p少了用戶的視覺搜索成本預(yù)期提升幅度在5%~15%。把假設(shè)寫細(xì)你才能在跑完之后判斷是假設(shè)本身錯(cuò)了還是假設(shè)對(duì)但實(shí)現(xiàn)沒做好。這一步很多團(tuán)隊(duì)省了導(dǎo)致實(shí)驗(yàn)做完只有數(shù)字沒有認(rèn)知。第二條MDE不要拍腦袋要從業(yè)務(wù)倒推。我見過太多人把MDE定得特別小想著我要測出1%的提升結(jié)果實(shí)驗(yàn)跑了兩個(gè)月都攢不夠樣本。正確的做法是先問業(yè)務(wù)我們至少要提升多少才值得上線那個(gè)數(shù)就是MDE。業(yè)務(wù)說5%才有意義你就按5%算樣本別去追那1%。第三條永遠(yuǎn)先跑AA檢驗(yàn)。哪怕你的實(shí)驗(yàn)系統(tǒng)用了半年沒出過事也別跳過AA。分流邏輯、埋點(diǎn)、日志統(tǒng)計(jì)任何一環(huán)改過代碼都要重新跑AA。AA通過是實(shí)驗(yàn)數(shù)據(jù)能用的最低門檻。第四條別迷信一次實(shí)驗(yàn)的結(jié)論。一個(gè)顯著的實(shí)驗(yàn)結(jié)果如果跟你的業(yè)務(wù)直覺嚴(yán)重不符先懷疑數(shù)據(jù)別急著慶?;蛘呖车簟N矣鲞^一個(gè)實(shí)驗(yàn)實(shí)驗(yàn)組轉(zhuǎn)化率暴漲30%大家狂喜結(jié)果排查發(fā)現(xiàn)是實(shí)驗(yàn)組的推薦位恰好命中了一個(gè)爆款商品。這種假提升披著統(tǒng)計(jì)顯著的外衣最容易被當(dāng)成真效果。第五條把失敗的實(shí)驗(yàn)也存檔。很多團(tuán)隊(duì)只記錄成功的實(shí)驗(yàn)失敗的實(shí)驗(yàn)隨手丟了。這是巨大的浪費(fèi)。失敗的實(shí)驗(yàn)告訴你什么方向走不通也是有價(jià)值的信息。更實(shí)際的是當(dāng)你三個(gè)月后又想試同一個(gè)方向時(shí)翻出歷史實(shí)驗(yàn)?zāi)軒湍闶∠乱惠喠髁俊N医ㄗh給每個(gè)實(shí)驗(yàn)都建個(gè)記錄假設(shè)、設(shè)計(jì)、結(jié)果、結(jié)論、后續(xù)動(dòng)作。第六條實(shí)驗(yàn)文化比實(shí)驗(yàn)工具更重要。一個(gè)團(tuán)隊(duì)能不能做實(shí)驗(yàn)不取決于有沒有好平臺(tái)而取決于愿不愿意用數(shù)據(jù)推翻自己的主觀判斷。如果產(chǎn)品經(jīng)理覺得我就知道這個(gè)改動(dòng)是對(duì)的然后無視實(shí)驗(yàn)結(jié)論硬推上線那再好的實(shí)驗(yàn)系統(tǒng)也是擺設(shè)。工具解決的是怎么測文化解決的是測了之后信不信。后者難得多也重要得多。關(guān)于這個(gè)主題后續(xù)還能延伸出很多有意思的方向比如怎么用實(shí)驗(yàn)做長期效應(yīng)評(píng)估實(shí)驗(yàn)結(jié)束后繼續(xù)跟蹤、怎么做跨實(shí)驗(yàn)的影響分析多個(gè)實(shí)驗(yàn)同時(shí)跑會(huì)不會(huì)互相干擾、以及大規(guī)模實(shí)驗(yàn)平臺(tái)的分層正交設(shè)計(jì)。每一個(gè)都值得單獨(dú)寫一篇。不過就原理層面來說把隨機(jī)化、假設(shè)檢驗(yàn)、樣本量、分流、多重比較這五個(gè)環(huán)節(jié)吃透你已經(jīng)超過市面上八成的從業(yè)者了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月丁香六月情| 国精产品一区一区三区免费视频 | 五月婷婷之激情五月| 亚洲色9| 日本超碰在线| 五月婷视频久久| 五月婷婷综合激情网| 婷婷丁香花五月天| 欧美日韩成人| 千人斩操逼| 一区二区三区四区五区| 五月天艹天天| 久机视频这只有精品| 婷婷五月激情视频在线| 亚州操操| 这里只有精品视频免费在线观看| 久久久久人妻| 情色五月天 网站| 丁香五月色情av| 中文字幕综合色| 99久久婷婷五月| 9色免费网| 久热re在线视频| 婷婷色综合网日韩国产| 五月天婷婷色色网| 激情五月婷黄版| 欧洲婷婷五月天| 五月激情综合五月| 99爱免费视频| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 99热99艹在线观看| 大香人妻| 色99日韩| 婷婷五月丁香综合激情小说| 亚洲女婷婷五月基地综合久久久| 亚洲色vA| 99热综合色图| 任你爽视频| 第九色区av天堂| 色吧婷婷五月亚洲| 日韩精品一区二区刘| 欧美日韩五月婷婷| 九九aV| 九九碰九九爱97超碰| 激情图片亚洲| 伊人五月网| 日本激情五月| 97人妻碰碰碰久久香蕉| 五月天婷婷基地| 天堂成人A片永久免费网站| 五月丁久久| 久久天堂色| 亚洲激情综| 久久精彩综合视频| 婷婷五月天综合色| 99re久久| 操日本99| VA色婷婷| 激情性五月天免费小说视频| 日本啪啪网| 激情99| 狠狠色丁香乆乆| 婷婷激情四射五月天| 色婷婷五月在线| 婷婷五月69| 深爱五月天婷综合| 五月丁香亭亭| 婷婷中文字幕| 99啊精典免费视频| 千人斩操逼| 久久少妇视频| 天天天天操| 春色激情| www.五月婷婷| 天天xxxxxx天天日| av狠狠操| 一区视频网站| 中文字幕日产A片在线看| 九九中文色色| 亚洲精品网站色视频| 青青草婷婷综合五月| 色五月激情网| 少妇人妻人伦A片| 視频福利乱色| 国产精品色色色色| 久久综合激情| 9色免费网| 丁香五月色| 99热这里只有精品最新| 丁香婷婷激情| 日本乱论99| 婷婷欧美色| 美国色五月天婷婷资源站| 色区久久| 婷婷亚洲久久| 久久婷婷五月天激情| av人人干| 日本熟妇乱妇熟色A片蜜桃| 日本99视频精品免费播放| 久/久精品99看9| dingxiangtingtingliuyue| 人人妻人人澡| 99riAV成人在线视频| 97碰久久| 停停五月丁香| 久久久婷婷婷| 99精品人人| 婷婷色色播五月天| 色五月色图| 精品香蕉99久久久久网站 | 午夜AV网| 91精品电影18T| 久热这里只有| 无码字幕中文| 天天色综和网| 大香蕉99| 欧美一线视频| 久久在线人妻| 性爱视频久久| 色情五月婷婷| 欧美乱码国产一级A片| 无码少妇高潮喷水A片免费| enecarbon-materials.com污K127封锁请涟系@wip1688 | 午夜爱爱网站| 人人人操 超碰| 玖玖爱资源站| 性生活久久朋友人妻| 开心深爱激情网| 婷婷丁香www视频日本韩国| 侠女刀之记忆电影在线看免费| 色婷婷色五月天| 九九RE视频在线精品| 97婷婷五月激情六月丁香伊人| 丁香五月成人论坛| 狠狠色丁香| 激情熟女网| 天天做综合网色综合| 无码啪啪| 91超级碰在线| 色综合色色色| 亚洲视频另类| 色999五月色| 97人人草| 丁香婷婷性爱| 六月丁香综合| 性爱激情小说AV五月丁香花| 人妻VideOssS人妻高清| 99ree6| 欧美婷婷| 五月婷婷色情| 99自拍视频网站| 这里只有精品1| 成人av在线网| 六月激情婷婷综合| 丁香美女主播视频在线观看| 国产精品91抖高| 五六月婷婷| 丁香色综合| 久久99精品久久久久久青青AR| 丁香久久五月天视频在线观看 | 狠狠久久婷| 色五月婷激情| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 中文字幕av在线播放| 99综合一区| 嫩草AV久久伊人妇女超级A| 久久婷婷五月| AAA久久| 日本91在线| 久9热视频| 色婷婷丁香社综合| 96丁香六月婷婷蜜桃综合久久| 伊人激情综合| 日韩欧美一级大黄网站| 天啪天啪天啪天啪| 亚洲六月色| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | www.zbzhongsen.com| 91色在线/日韩| 婷婷六月天天| 日本系列_4页_777FP| 色XX综合网| 色色热日| 日本九婷婷| 婷婷色五月天色| 五月婷婷 激情五月| 五月天婷婷婷| 99亚洲无码| 久777| 天天操夜夜玩!| 日本熟妇乱妇熟色A片蜜桃| 丁香五月婷婷少妇| 欧美内射AAAAAAXXXXX| 开心丁五月| 亚洲综合激情五月久久| 夜夜骑操AV| 色婷婷电影| 激情的五月婷婷蜜桃| 五月婷婷丁香六月| 狠狠操狠狠狠| 婷婷性爱五月天丁香网| 综合网视频| 久久丁香九| 亚洲成人五月| 亚洲婷婷婷| 成人婷婷| 婷婷久久午夜网| 久久激情五月| 婷婷激情五月综合丁| 99在线视频网址在线观看| 天天夜天天色天天| 六月婷婷最新网址| 超碰成人av| 亚洲AV日韩无码| 九九久久网| 激情综合播播| 大香焦啪啪啪| 狠狠操狠狠操| 亚洲人妻av| 九九精品热| 美女va| 蜜桃成语时李时珍 免费| 精品99爱免费视频在线观看| 婷香狠狠爱五月| 麻豆雪千夏| 五月婷婷亚洲| 婷婷久久综合| 色情综合网| 五月婷婷日本| 五月丁香六月在线| 天天色天天噜| 4399伦理午夜| 色欲久久综合| 991精品在线视频| 婷婷的99视频网站| 婷婷色播六月无码| 亚洲激情| 激情婷婷六月天| 色婷綜合网| 五月丁香另类网| 五月婷婷草| 久9热| 国产成人AV| 新精品99| 婷婷午夜| 国产亚洲99久久精品熟| 色情丁香五月婷婷精品| 丁香五月婷婷动漫| 激情国产综合| 婷婷久久五月| 婷婷深爱五月丁香| 欧美丁香婷婷天天操| 婷婷丁香18| 色五月婷婷九月| 九九热这里只有精品23| 97碰精品| 综合激情婷婷| 婷婷深爱五月丁香网| 国产免费av在线| 五月婷婷综合在线| 欧美丁香五月| 丁香五月天信号| 久久综合五月天激情小说网站 | 9有码中文| 色色婷婷五月天| 五月永久激情| 91精品91久久久中77777久久玖玖九九| 九九在线视频| 色婷婷五月天久久| 婷婷色色综合激情| 玖玖婷婷五月| 五月丁香婷婷伊人| 激情五月天色色网| 亚洲综合色棒| a色色色色色| 在线不卡AC| 色色免费网站| 涩婷婷五月天| 丁香丁香激情网| 欧美成综合在线观看| 99性视频| 美女丁香五婷婷| AV伊人青草丁香六月| 日韩欧美成人网| 丁香五月婷婷激情网| 日日婷婷不卡| 九九热av| 五月丁香婷色| 国产做爰视频免费播放| 中文字幕av在线| 玖操97| 五月天开心色情网| 色五月亚洲| 狠狠干五月丁香综合网| tingtingjiqingwuyue| 婷婷五月激情综合啪啪| 三十熟女| 丁香色婷婷五月天| 色五月婷婷五月天| 婷婷五月六月丁香综合| 天天搽天天射| 久久婷婷网站| 超碰在线播放免费观看| 97精品人人A片免费看| 操九色| 丁香丝袜五月| 青草性爱视频| 欧美日韩99| 五月婷av| 日本色色色| 久9热视频| 婷婷丁香五月天在线| se99高清无码| 大战熟女丰满人妻AV| 97色天堂| 色色色色色色色色综合网| 久久天天天| 99久久.www| av操逼网| 人妻丰满精品一区二区A片| 99riAV国产精品视频| www色中色综合| 五月丁香婷婷在线综合蜜桃| 在线视频你懂得| 91在线观看www| 思思re最新视频| 综合网五月| 96丁香六月婷婷蜜桃综合久久| 婷婷激情5月| site:wpjngj.com| 五月天丁香婷| 99热只有精品在线| 中文字幕丰满乱孑伦无码专区 | 蜜乳9188| 婷色五月| 色综合丁香| 九九99在线| 婷婷丁香大香蕉| 国产精品99久久久久久久女警| 五月香婷婷| 99热在线看片| 五月丁香综合激情| 婷婷五月综合网| www,av好吊操| 五月天激情婷婷五月天久久| 婷婷AV丁香| 精品久久99| 区美毛片子| 精品99在线观看| 大香久久综合网| 婷婷在线网| 五月天婷婷影院影院观看| 五月丁香婷中文字幕| 久久杏爱视频| 六月婷婷五月丁香首页| 亚洲 综合中文| 免费AV播放| 99碰碰视频| 九九精品热播| 99视频网址| 第九色区AV在线| 日本视频不卡123区| 九九色综合| www.狠狠| 婷婷五月综合激情| 少妇熟女视频一区二区三区| 99热这里有精品| 中文字幕无码人妻少妇免费视频| 天天天天操| 色综合婷婷| 日本天天色| av狠狠操| 日韩操人| 欧美搡BBBBB摔BBBBB| 97人人射| 久久久99精品免费观看| 操人妻AV| 日韩野外 无套| 亚洲AV成人在线观看| 亚洲AV成人一区二区在线观看| 五月婷婷色在线| 超碰在线50| 久久久天堂国产精品女人| 国产成人AV| 婷婷在线播放| 超碰在线caop| 1024欧美看片| www久久久久久| 天天婷婷综合亚洲亚洲| 欧美精品999| 色优久久| 国产高清av黄色看片| 欧美日本韩国亚洲| 七七久久综合| 综合伊人久久| 91狠狠综合久久久| 99亚洲综合| 丁香六月视频| 国产精品视频久久99| 亚洲天天综合| 五月丁香在线| 91中文在线| 色色婷婷五月天| 欧美激情综合色综合啪啪五月| 极品人妻VIDEOSSS人妻| 久久婷综| 亚洲AV无码影院| 色婷婷A| 婷婷九月| 内射丰满人妻| 国产精品热搜丁香五月婷婷| 人人摸人人澡人人| 激情六月综合| 天天射网站| 嘿嘿视频免费看9| 色一情一乱一乱一区9| 91精品婷婷国产综合 | 综合爱久久| 97色97干| 婷婷五月成人色综合| 先锋男人99资源| 日本不卡五月婷婷丁香| 五月天成人在线播放| 色五月婷婷av| 欧美搡BBBBB摔BBBBB| 精品99*| 99色色网| 五月婷三级片| 日本97久久久精品| sesesesezonghe| 色婷婷五月天激情久久| 色婷婷五月天视频在线| 亚洲av成人在线| www.久久爱| 六月五月天婷婷涩播在线| 超碰97色| 精品九九在线观看视频| 5月丁香六月婷婷| 丁香五月天亚洲视频| 国产一级片| 国产亚洲成AV人片在线观黄桃| 玖玖九九9999在线观看视频精品| 亲子乱AV一区二区三区下载| 99热这里只有精品一| 天天干天天干天天操| 久久人人看| 国产日产亚系列精品版优势| 人妻激情视频| 深夜婷婷五月丁香| 五月久久婷婷成人网| 99热婷婷| 五月久久丁香| 色婷婷久久综合| 五月婷婷熟女| 亚洲婷婷基地| 搡BBBB搡BBB搡18 | 91精品婷婷国产综合| 无码一区二区三区四区五区| 五月婷婷AV| 亚洲另类在线观看| 婷婷丁香五月社区亚洲| 婷婷久久大香蕉| 婷婷五月免费在线| 91超碰在线观看| 屁股翘好撅高迎合跪趴| 久久大香蕉视频| 激情com| 开心婷婷五月天激情网| 玖玖婷婷五月天| 国产激情一区| 天天草人人摸| 久久精品性爱| 婷婷激情五月| 操日视频| 人妻精品久久久久久久| 天天激情站| 色婷婷亚洲综合天堂| 九九综合色| 操操操AV| 五月婷视频| 伊人综合色干| 丁香五月天五码婷婷| 99re在线视频| avh片在线观看| 亚洲人妻av| 亚洲视频伍月婷婷| 激情又色又爽又黄的A片| 色婷婷五月影院| 人妻videos人妻高清| 成人版视频在线观看| 久久9热好| 天天综合网91| 婷婷五月综合亚洲| 亚洲愉拍99热成人精品| AV九九| 无码任你操| 欧美一级色| 99久re热| www.色色色色| 无码日本精品XXXXXXXXX | 激情丁香九九五月综合网| 天天日天天日天天搞| 久操热| 99热最新国内| 丁香五月亭亭六月综合激情网| 婷婷狠狠97| 97操碰人免费| 天天舔天天摸天天射| 99热新网址| 99热伊人综合| www.日韩艹| 开心五月网 | 久久99久久99精品免观看粉| 天天婷婷| 五月天婷婷狂暴白浆| 丁香五月色色色色| 亚洲AV成人在线| 久久的爱大香蕉| 激情狠狠丁香月| 色综合久久88色综合天天| 极品少妇高潮啪啪AV无码| 久久精品4| 五月激情综合美女久久| 天堂成人A片永久免费网站 | 综合玖玖性爱免费视频| 久久最新色| 亚洲AV日韩AV永久无码网站| 色婷五月天网站| 国产成人+综合亚洲+天堂| 182TV亚洲| 夜夜干夜夜操| 就爱日五月天| 天天天天做夜夜夜夜做| 欧美成人一区二区三区在线视频| 美女天天艹人人爽| 激情六月综合| 先锋五月婷婷丁香草草| 激情五月婷| 欧美日韩五月婷婷| 日日噜狠狠色综合久| 午夜AV网| 亚洲色vA| 亚洲欧洲另类图片| 五月伊人视频在线看| www.色综合| 99热啪啪| 婷婷99狠狠| 超碰成人在线观看| 久久六月天| 大伊香蕉玖玖爱| 99色色热热| 久久综合性| 久久性刺激| WWW.桔色成人.COM| 六月激情婷婷综合| 激情 婷婷| 激情AV中文| 激情综合网五月激情网| 五月丁香婷婷99| www,26uuu,c0m,色情| 久久成人亚洲欧美电影| 天天搞天天色综合| 国产亚洲成人综合| 五月六月伦理| 色噜久| 九九色综合九九色| 97色视频网| 丁婷婷五月天在线播放| 停停五月色宗合| 五月天激情视频| yazhochengrenavwang| 久机视频这只有精品| 欧亚中文A V| 五月天婷婷亚洲| 91免费试看| 99re思思热久久| 久热伊人在91| WWW.桔色成人.COM| 日韩啪| 久激情网| 欧美色图45678| 久久激情网| 婷婷伊人无码| 国产AV一区二区三区最新精品| 夜夜天天天天天干天天爽| 少妇被下春药玩弄A片| 久久伊人日日夜夜| 99干免费视频| 丁香五月天激情视频| 色五月婷婷五月天激情综合| 丁香五月日韩| aaa丁香五月天| 亚洲无码色| 精品色色网| 香蕉视频性爱BB做爱| 综合色色色色色色| 99草视频在线观看| 99热99色| 久久国产性爱A V| 男男野外做爰全过程69| 五月开行婷婷色五月| 久久久噜噜噜www成人| 亚洲99在线| 伊人干综合| 精品久久99| www.五月天。com| 色色色丁香| 五月婷婷激情综合| 色999亚洲人成色| 丁香五月天激情综合| 五月色天五月色| 五月激情久久| 色狠狠综合网| 情婷婷五月天在线| 色色热日| 五月丁香婷婷久久| 激情五月六月婷婷综合啪啪| 91中文狠狠综合| 色婷婷丁香五月天在线观看| 成人av在线网站| 五月婷在线| 亚洲色色精品| 色情婷| 99这里| 五月开心婷婷| 五月天婷婷AV| 九九这里只有精品| 人妻操在线看| 九九99热| 五月开心网| 久热播这里只有精品| 最新日韩久热免费视频看看| 99热97| 亚洲99在线| www狠狠com| 丁香五月天之婷婷影院| 天天天天做夜夜夜夜做| 色婷婷777狠狠| 公的粗大挺进了我的密道 | 午夜激情四射影院| 五月天啪啪视频| 五月婷婷久久爱| 欧美亚洲成人在线| 久久久久9999| 丁香五月成人社区| 色五月婷婷婷婷婷婷婷婷婷婷| 亚州在线中文字幕| 五月天成人在线视频网站| 99色综合网| 精品国婬伦V无码久久久| 最新av在线观看| 最新精品视频99| 日本九九网| 九九热精品| 开心深爱激情网| 久久人妻久久久久| www九月婷婷| 婷婷五月天久久| 婷婷视频在线| 五月天无码| 婷婷五月天久| 色五月成人| 久久婷婷亚洲| 久久日婷婷| 99热在线观看精品| 午夜国产精品AV在线播放| 欧美久久婷婷| 久草九一| 婷婷五月天激情小说| 色色色色色色色色色色色色色色,网站| 91日本在线观看| 伊人99久久| 九月丁香婷婷| 激情五月深爱婷婷| 日本激情ⅩXX免费视频| 五月天婷婷激情在线色图| 五月婷婷五月天| 五月天另类激情在线| 五月婷婷丁香大陆免费| 男人天堂99| 老司机视频lsj爱就色| 伊人网大香| 婷婷五月丁香综合人妻| 视频综合网| 久久一级片| 国产人妻777人伦精品HD| 999激情视频| A久网| 色婷婷内射| 99热很操老逼| 欧美三级巜人妻互换| 六月婷婷激情图片| 99无码黄色视频| 千人斩操逼| 亚洲另类婷婷综合| 天堂久久大香蕉| 少妇人妻偷人精品无码视频新浪| 丁香五月大香蕉| 亚洲最大视频| 99re这里有精品手机在线| 丁香五月激情婷婷视频| 久久影视婷婷五月| 丁香五月天AV在线 | 五月丁香婷婷色色色| 五月婷婷综合天天操| 啪啪啪综合网| www婷婷| 色色色综合色| 国精产品一区二区三区| 秋霞午夜理论| 久久激情五月| 欧洲S级在线观看| 99视频日韩| 国产黄大片在线观看画质优化| 五月综合色| 婷婷五月天AV在线| 99国产这里只有精品| 婷婷综合五月天激情| 婷婷亚洲天堂| 五月丁香好婷婷A片网| 日韩AV一区二区三区| 综合福利网| 精品人妻伦九区久久AAA片| 在线不卡视频| 97人人做| 99在线热视频| 婷婷五月激情小说| 欧美色爱五月天| 天天射天天射一道本日本社区| 亚洲 综合中文| 丁香婷婷性爱| 狠狠爱激情网| www.色婷婷.com| www,色综合| 婷婷五月天大香蕉在线视频观看| 婷婷色色网站| 日本强伦片中文字幕免费看| www.婷婷五月天| 婷婷五月天激情小说| 色色色色五月天| 五月天丁香婷| 色婷另类| 精品99在线| 日日夜夜干| 夜夜操夜夜操| 色五月天成人| 深爱激情婷| 桔色成人在线| 久 久9 9 热 视 频| 99热这里只有精品 搜| www.五月天婷婷姐姐| 啪啪干伊人婷婷| 五月激情开心婷婷| 丁香五月六月婷婷自拍| 丁香五月大片| 激情婷婷丁香五月| 狠狠999| 丁香五月天殴美激情| 色。 日日日| 久草五月天电影网| 综合激情综合啪啪| 婷婷五月天com| 五月天婷婷色播在线网| 伊人婷婷五月| 五月婷婷欲色| 色色免费网战视频| 天天插天天操| 天天骑天天操| 丁香五月欧美午夜视频| 99久久www| 丁香五月91| 天天摸天天肏| 天天日天天爽夜夜爽| 天天日天天摸| 天天插天天射| 精品亚洲国产成AV人片传媒| 五月丁香花成人社区| 97超级碰人人| 久草 tingting| 婷婷伊人綜合| 色激情五月| 99re视频在线播放| 亚洲婷婷视频| 色五月婷婷少妇人妻| 伊人婷婷激情| 深爱丁香激情| 99这里有精品视频视频| www.婷婷五月天.com| 91碰超| 9+1视频网址| 婷婷啪啪| 激情四射亚洲| 精品动漫 无码av| 91互操| 大香蕉久操| 婷婷基地成人五月天| 婷婷5月开心6月| 综合图区激情| 五月激情站| caop在线| 超碰av在线| 超碰日韩成人| 久久99jiu9| 久久久精品AV| 天天综合情| 亚洲婷婷丁香五月亚洲| 五月综合色播播丁香婷婷| 婷婷狠狠操| 五月婷婷丁香综合| 婷婷五月天激情网| 丁香婷婷老熟女综合网| 一级七香蕉| 婷婷五月天综合网| 久色视频首页| 99免费视频网| 久久久久久人妻| 99久久婷婷| 精品一区二区三区免费毛片爱| 99爱操| 激情中文在线| 亚洲婷婷丁香五月在线| www.五月激情.com| 九九视频这里只有精彩| 五月婷婷深深爱| 色婷婷综合网| 影音先锋91网站在线观看| 九月av在线| 亚洲激情av| 五月亭亭激情综合| 青草五月天| 老司机日日夜夜青草| 免费无码毛片一区二区A片| 久久色吧| 六月激情婷婷| 69激情小说| 天天干天天拍| 99综合免费视频| 九色99视频| av激情在线| 99热热九九| 深爱激情五月婷婷| 大香蕉AV在线| 香蕉久日夜| A在线观看| 狠狠肏综合网| 欧美五月婷婷| 色色操| 伊人热婷婷| 中海油常州环保涂料有限公司| 丁香五月婷婷天| 久超超碰| 97超碰婷婷五月天| 五月停停999| 亚洲射激情| 超碰a女人的天堂| 丁香激情五月天| 色五月婷婷伊人| 九九成人高清视频| 日本色五月| 日韩中文欧美| avv在线| 日本本土色网第一区| 成人综合伍月天| 99在线精品免费视频| 超碰69天堂| 91chinese在线| 91精品综合久久久久久五月天| 婷婷色激情网| 国产婷婷五月色情综合| 五月丁香偷拍| www.色情五月天.com| 五月天无码| 五月开心激情| 成人av免费观看| 人人爽欧美婷婷久久久五月丁香 | 亚洲色欲欧美一区二区三区| av在线免费网站| 亚洲妇女熟BBW| 久久激情五月天| 亚洲va欧美va国产综合久久久| www.婷婷五月| 99热黄| 久久这里在精品视频| 精品色色| 五月婷婷色色爱| 99ri精品视频在线观看| 天天激情| 国产成人精品一区二区三区视频| 九月综合| 丁香六月婷婷综合在线| 99ri精品视频在线观看| 日本在线观看aaa 99| 丁香五月在线视频| 五月天综合激情网| 婷婷五月成人社区| www.夜夜操.con| 五月丁香色综合| 五月婷婷色在线| 五月6香色婷婷视频| 激情婷婷六月天| 黑人巨粗进入警花疼哭A片| 92国产福利| www,av好吊操| 亚洲国产无线乱码在线观看| 青青草原亚洲天堂| 久久精品视频在这里有| 日本人妻伦在线中文字幕| 91性高潮久久久久久久久| 欧美激情综合五月色丁香| 欧美日本日韩| 日韩成人综合网| 亚洲综合另类| 九九色婷婷Av| 综合狠狠五月婷婷| 丁香九月婷婷| ...婷婷五月综合不卡,国产在线手机 | 国产特级毛片AAAAAAA高清| www.99久| 天天人人人人人人人人人人人| 久久婷婷五月综合色区| 国产婷婷色五月| 97婷婷丁香| 五月婷天堂视频| 久久这里有精品99| 天天日天天色| 大香蕉婷婷| 在线观看欧美| 五月婷婷黄| 2025年最新亚洲在线欧美| 婷婷五月天小说| 欧美99| 天天色图| 99精品97| 色婷婷久久综合久色综| 68热超碰在线| 五月天婷婷色播| 丁香婷婷久久| 婷婷五月综合激情| 91九色精品| 91久久免费| 久久少妇视频| 婷婷丁香五月综合网| 婷婷五月天激情在线观看| 色无码| 91狠狠综合久久久久久| 一区二区成人电影| 婷婷丁香五月天影院 | 能看的AV| 欧美va亚洲va| www.色五月.com| 久操97| 99精品视频免费观看| 97自拍视频网| 伊人色欲五月天| 国产成人AV不卡| 久久精品在线| 久久香蕉网| 激情宗合哪里能看| 五月丁香香蕉| 五月激情综合网| 丁香五月手机在线| 婷婷色五月激情强奸四射| 国产精品色色| 丁香五月婷婷大香蕉| 九九99久久| 影音先锋综合网| 99re8这里只有精品99re8热视频| 97人人操人人拍| 天天视频亚洲| 天天久久婷婷| 天天草比天天爽| 五月天堂六月丁香亚州中文字幕久久| 五月天俺去也| 超碰啪啪网| 五月丁香六月婷婷亚洲综合| 超碰A V在线| 99热国产这里只有精品| 婷婷综合伊人| 一起草无码视频| 欧洲毛片基地c区| 色婷婷久久综合| 综合色播| 九九亚洲无码| av久热| 久久人人九九| 久久9精品| 99热这里只有精品66| 91九九| 五月丁香久久| 亚洲精品va| h在线看免费版在线看| 丁香五月AV综合| 九九热这里只有精品9| 日本WWW九九九| eeuus五月婷| 欧美97超碰| 久热这里| 丁香六月婷婷综合色| 亚洲中文字幕翔田千里| 思思99久久| 天天做天天爱天天爽在| 激情文学 综合 九月| 色综合色五月| 日本婷婷丁香五月| 国产亚洲av片| 五月天亭亭俺也| 激情婷婷五月天在线观看| 六月激情婷婷综合| 丁香五月色情| 天天做天天爱天天要| 五月色婷婷影院| 伊人五月天| 五月天开心激情综合网| 久久久8| 婷色影院| 六月婷婷av| 日本人妻丁香婷婷久久寝取熟女五月| 婷婷综合干| 五月花免费视频| 五月婷婷网站| 性一交一乱一交A片久久四色| 日韩无码AV电影网站| 天天做天天爰天天爽天天无遮挡| 丁香久久激情俄| 性色五月天| 5月婷婷五月天| 九九色影院| 99热草草| 99久久9| 亚洲最大五月六月丁香婷婷| 99色色网| 亲子乱AV-区二区三区| 色噜噜狠狠色综合日日| dingxiangtingtingliuyue| 9 1超碰九色| 67194中文在线| www.夜夜操.com| www.五月天婷婷| 天天综合图片| 99久久综合网| 色站9/| 国产精品扒开腿做爽爽爽A片唱戏| 色七七九九| 五月婷婷福利| 欧美狠狠草| 九九色院| 久久性爱99国产| 久久激情综合| 五月激情六月婷婷| 国产乱码久久| 97人人看一| 亚洲精品国产A久久久久久| 婷婷中文字幕网| va婷婷在线免费观看| 99精品国产热久久91色欲| 丁香婷婷五月综合欧美另类| 色婷婷六月| 婷婷五月天六月丁香| 六月丁香婷婷网| 丁香激情网| 婷婷WWW久久| 99激情视频| 视频一二区| 婷婷激情五月综合丁香社| 婷婷五月天丁香| 久久人五月| 婷婷情色开心五月天99| 91九色网| 天天爱天天做天天| 六月丁香婷婷尤物| 五月丁香婷婷色| 人妻中文字幕网| 午夜精品久久久久久久爽| 婷婷五月天成人网| 久久激情五月婷婷| 色久五月| 丁香婷婷六月激情文学 | 天天爽人人综合免费7799| 国产五月天欧美色| 四虎婷婷五月天| 综合网色| 99日本视频| 99久久超级| 五月天婷婷基地| 久久人人九| 五月丁香色婷婷综合| 五月天五月色婷婷综合| 99爱99操| 99国产欧美视频| 日韩在线看AV| 99热在线播放| 日本一级一片免费视频| 久久婷婷六月综合| 五月丁花色综合网| 就要去操亚洲成人精品五月天丁香婷婷| 亚洲狠狠婷婷| 影音先锋男士资源网一区| 极品少妇XXXX精品少妇偷拍| 色色婷婷丁香| 成人网址在线观看| 五月丁香操亭亭网| 九九视频精品这里只有| 五月婷婷中文字幕| 亚洲av成人电影在线观看| 日本久久色| 精品一二三区久久AAA片| 99热久| 超碰操网| 婷婷五月丁香欧洲| 九色色| 欧美性爱特黄一级aaaassss| 这里只有精品在线视频精品| 亚洲黄色精品| 在线资源av-超碰中文在线-成人AV| 任你搞在线观看视频| 免费视频1区| chaopengdaxiangjiao| 五月天婷婷在线观看| 天天干夜夜欢| 大狠狠在线| 五月天色婷婷视频| 久久婷婷六月综合资源| 九九视频免费| 久热视频A.| 日韩欧美五月丁综合| 性视频久久| 99九九99九九九视频精彩| 国产操B视频| 精典久久| 91凹凸在线| 日本婷久久| 美欧日韩国产成人在战| 91婷婷色| 五月婷激情影院| 婷婷激情在线| 色婷婷久久天天性爱| 九九热在线99| 欧美色色色色色色色色色色| 九九色播五月丁香| 久久9久久| 欧美色色干| 99在线公开视频| 天堂中文国产| 综合久久五月天| 久久综合综合久久| 亚洲成人影视在线观看| 99久久婷婷| 婷婷综合在线| a色色片| 这里只有精品视频国产| 激情婷婷综合| 五月熟妇婷婷久久| 五月色婷婷AV| 日韩欧美骚货| 欧美国产一区二区三区| 国产VA亚洲VA96| 99精品视频免费观看| 啪色综合| 九九自拍网| 东京热免费视频| 亚洲婷婷五月天| 无码人妻少妇色欲AV一区二区| 韩国真做片在线观看| www.99热国产| 九九综合九色欧美狠狠| 亚洲视频久久| 亚洲人妻电影| 丁香五月网址| 91五月天| 色五月婷婷少妇人妻| 五月天色婷婷av| 天天干天天爽天天爽| 婷婷综合五月天亚洲综合| 熟女激情五月天 | 91久久久久久久久18| av大香蕉| 26uuu国产| 丁香六月在线综合| 丁香五月婷婷影院| 日韩淑女人妻luan伦激情精品一区二 | 国产精品电| 日韩精品VIP| 五月丁香黄色| 色五月天影视| 色五月丁香总合网| 天天色天天噜| 五月激情婷婷丁香| 毛片新网地| 亚洲六月色| 成人无码髙潮喷水A片| 五月婷婷玖玖综合玖玖爱| 沈娜娜av| 免费视频WWW在线观看网站| 1024在线一区| 99热www| 久久色五月| 99热99成人| 欧美色六月婷婷| 婷婷丁香在线播放| 五月婷婷影院| 五月丁香婷婷综合网| 成人做爰A片免费看视频| 日韩三十六页| 五月久久婷婷天堂视频| 99re66热这里只有精品| 婷婷五月丁香综合激情小说| 色操b| 99九九在线视频| 九九热视频这里只有精品| 中文字幕丰满孑伦无码专区| 日本97在线看片| 亚洲精品V天堂中文字幕| 99热国产在线| 9久久精品视频| 操碰97| 色婷婷香蕉丁丁网| 51国精产品自偷自偷综合| 26uuu欧美| 天天干,夜夜爽| 久热久69| www99久久| 亚洲精品操一操、噜一噜、摸一摸、爽 | 91日视频| 91操碰| 婷婷五月开心六月AV| 日本一级一片免费视频| 99热精品在线播放观看| 久久色这里只有精品| 91avse| 亚洲妇女熟BBW| 日韩 mm 不卡| 狠狠色丁香| 丁香五月综合亚洲| 久久婷婷五月综合伊人| 97人人干| 9 1大香蕉| 97人人草| 精品51XX| 婷婷久久99| 婷婷丁香社区| 男人視頻站| av在线超清中文| 五月草视频| 婷婷在线视频| 91在线观看九区| 久久综合五月天| 久久这里只有国产精品视频| 另类激情五月在线视频欧美| 激情五月丁香五月| 色色综合热| 国产韩日亚洲美州欧亚综合在线| 亚州性爱99| 任你日视频| 国产成人AV不卡| www.99热在线观看| 五月丁香婷中文字幕| 丁香婷婷性久久| 性一交一乱一交A片久| 久久九精品| 激情网站综合五月天| 这里有精品| 日日夜夜干| 9999热在线免费观看| 六月婷婷日| 99ri国产在线| 4399无码视频二区|