欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

多目標(biāo)跟蹤評(píng)估指標(biāo)詳解:MOTA、IDF1與MOTP的MATLAB計(jì)算實(shí)踐

多目標(biāo)跟蹤評(píng)估指標(biāo)詳解:MOTA、IDF1與MOTP的MATLAB計(jì)算實(shí)踐 目標(biāo)跟蹤做爽了最怕別人問一句“效果怎么樣”自己看視頻覺得挺好框一直咬著目標(biāo)沒丟可換到另一段視頻同一個(gè)算法就崩了。真正能說服人的不是幾段挑出來的片段而是一組能復(fù)現(xiàn)、能橫向?qū)Ρ鹊脑u(píng)估指標(biāo)。這篇想做的事很直接把目標(biāo)跟蹤里常見的評(píng)估指標(biāo)一個(gè)個(gè)掰開用最樸素的思路講清楚它們到底在算什么為什么MOTA和IDF1總被放在一起提MOTP又跟它們是什么關(guān)系最后附一份可以直接跑的MATLAB教學(xué)代碼把從逐幀匹配到指標(biāo)統(tǒng)計(jì)的完整鏈路走一遍。適合剛接觸跟蹤、想讀懂論文里指標(biāo)表或者寫完算法想先自測(cè)一遍的同學(xué)。1. 為什么“跟住沒跟住”很難一句話說清指標(biāo)體系的分層邏輯1.1 從檢測(cè)評(píng)估到跟蹤評(píng)估多出來的那根弦如果只做單幀檢測(cè)評(píng)估很簡(jiǎn)單把預(yù)測(cè)框和真值框做匹配算準(zhǔn)召率就行。但目標(biāo)跟蹤多了一個(gè)維度——時(shí)間。跟蹤器不僅要回答“這一幀框在哪”還要回答“這個(gè)框是哪一個(gè)目標(biāo)”。同樣是丟了一個(gè)目標(biāo)如果只是中間幾幀沒框出來后面又出現(xiàn)在同一個(gè)ID下可以接受如果ID換了、目標(biāo)編號(hào)跳了哪怕框的位置全部正確用戶看視頻也會(huì)直接說“這跟蹤器不行”。這個(gè)差異是理解所有跟蹤指標(biāo)的前提。我第一次接觸這些指標(biāo)時(shí)犯過一個(gè)錯(cuò)拿檢測(cè)的mAP邏輯去套跟蹤結(jié)果完全對(duì)不上。后來想通了跟蹤評(píng)估等于兩本賬一本管定位一本管身份。每個(gè)指標(biāo)其實(shí)都在回答其中一個(gè)或兩個(gè)問題。1.2 指標(biāo)到底分幾類定位精度、身份保持、軌跡完整、統(tǒng)計(jì)效率我把常見指標(biāo)分成四類這樣后面看任何指標(biāo)表都不會(huì)慌關(guān)心的問題常見指標(biāo)通俗含義框貼得準(zhǔn)不準(zhǔn)MOTP、中心誤差、成功率單幀空間誤差同一目標(biāo)身份有沒有變IDF1、IDFP/IDFN、IDSW跨幀身份一致性一條軌跡完整嗎MT/ML/PT、FM、軌跡生命周期目標(biāo)級(jí)連續(xù)覆蓋系統(tǒng)整體犯錯(cuò)多不多MOTA、FAF、處理速度全局錯(cuò)誤率檢測(cè)評(píng)估只看第一行跟蹤評(píng)估必須四行一起看。后面每一章就按這幾類展開看完你會(huì)發(fā)現(xiàn)論文里一張指標(biāo)表其實(shí)是在講一個(gè)完整的故事。2. MOTA把錯(cuò)誤記進(jìn)一本賬2.1 公式拆解與直覺理解MOTA的全稱是Multiple Object Tracking Accuracy翻譯過來是“多目標(biāo)跟蹤準(zhǔn)確率”。公式長(zhǎng)這樣:MOTA 1 - (FN FP IDSW) / GT總幀數(shù)三個(gè)錯(cuò)誤項(xiàng)FN真值目標(biāo)存在但跟蹤器沒給出框叫漏跟。FP跟蹤器給出一個(gè)框但那里并沒有真值目標(biāo)叫誤報(bào)或虛警。IDSW同一個(gè)真值目標(biāo)跟蹤框?qū)?yīng)的ID中途換了叫身份切換。GT總幀數(shù)是指所有真值軌跡按幀累加的總數(shù)。比如有三條目標(biāo)軌跡每條持續(xù)100幀GT總幀數(shù)就是300不管中間有沒有重疊。這個(gè)指標(biāo)特別像出納對(duì)賬。一天應(yīng)該記300筆賬漏記了50筆是FN亂記了5筆不存在的賬是FP還有1筆把A客戶的賬記到B客戶頭上是IDSW。最終準(zhǔn)確率就是1減去差錯(cuò)占比。MOTA越高說明系統(tǒng)整體越接近一本干凈的賬。我看到不少初學(xué)者把MOTA當(dāng)成“跟蹤精度”這是誤區(qū)。它不衡量框貼得準(zhǔn)不準(zhǔn)只衡量錯(cuò)誤數(shù)量和定位精度是兩個(gè)維度。一個(gè)MOTA很高但MOTP很爛的系統(tǒng)完全可能存在——框的位置誤差很大但只要匹配上了就不算錯(cuò)。2.2 MOTA的三個(gè)隱藏特性MOTA有一個(gè)很多人沒意識(shí)到的特性它可以是負(fù)數(shù)。當(dāng)FP特別多時(shí)總分直接跌破零。這在工程里很常見檢測(cè)閾值調(diào)太低跟蹤器瘋狂輸出虛警框MOTA會(huì)從0.8掉到-1甚至更低。看到負(fù)的MOTA不要以為是程序?qū)戝e(cuò)了那是在告訴你“錯(cuò)誤比正確還多”。第二個(gè)特性是MOTA對(duì)身份問題很遲鈍。IDSW雖然被算進(jìn)分子但權(quán)重和一個(gè)普通漏跟一樣都是“錯(cuò)一次”。而實(shí)際體驗(yàn)中ID切換造成的觀感傷害遠(yuǎn)大于一次漏跟。舉個(gè)例子兩個(gè)目標(biāo)交錯(cuò)跟蹤器給它們互換了ID只產(chǎn)生一次IDSWMOTA幾乎不掉。但如果每幀都徹底跟丟FN會(huì)急劇累積MOTA立刻崩。也就是說一個(gè)能掩蓋ID亂跳的系統(tǒng)MOTA可能還很好看。第三個(gè)特性是MOTA高度依賴檢測(cè)器質(zhì)量。跟蹤器再?gòu)?qiáng)如果上游檢測(cè)器每幀都漏一半FN暴漲跟蹤算法沒有任何操作空間。所以業(yè)內(nèi)比跟蹤器時(shí)都會(huì)固定同一個(gè)檢測(cè)器輸出單獨(dú)對(duì)比跟蹤模塊如果兩套系統(tǒng)的檢測(cè)器不同MOTA的差距就不能全算在跟蹤頭上??凑撐闹笜?biāo)表時(shí)遇到“不同檢測(cè)器不同跟蹤器”的對(duì)比要多留個(gè)心眼。3. MOTP框貼得有多緊3.1 MOTP的定義與計(jì)算口徑MOTP全稱Multiple Object Tracking Precision看著名字帶“Precision”但它不是檢測(cè)里的準(zhǔn)確率而是“匹配成功幀上的平均定位誤差”。最常見的計(jì)算口徑是IoU均值MOTP 所有成功匹配的幀上跟蹤框與真值框IoU的平均值有些實(shí)現(xiàn)用中心點(diǎn)歐氏距離有些用框?qū)蔷€歸一化距離結(jié)果形式不太一樣但本質(zhì)都是同一件事匹配上了之后框到底貼不貼。MOTP只統(tǒng)計(jì)匹配成功的配對(duì)漏跟和誤報(bào)的幀不參與計(jì)算。這個(gè)細(xì)節(jié)很關(guān)鍵等于說MOTP衡量的是“在有真值匹配的前提下位置有多準(zhǔn)”而不是“所有幀的位置有多準(zhǔn)”。生活化類比MOTA管有沒有寄錯(cuò)快遞MOTP管每個(gè)快遞包裝有沒有變形。一個(gè)快遞公司可以極少寄錯(cuò)地址但所有包裹都?jí)旱冒T癟的也可以每個(gè)包裹都完好但隔三差五寄錯(cuò)地方。兩個(gè)維度互不替代。3.2 MOTP與MOTA的配合閱讀方法單看MOTP高不高沒有意義要和MOTA放一起看。我總結(jié)過幾種組合組合可能的解釋MOTA高M(jìn)OTP高跟蹤全面且貼得準(zhǔn)理想狀態(tài)MOTA高M(jìn)OTP低錯(cuò)誤少但位置偏可能用了大框覆蓋策略MOTA低MOTP高拿得準(zhǔn)的框都很準(zhǔn)但漏頂太嚴(yán)重檢測(cè)器閾值可能設(shè)太高M(jìn)OTA低MOTP低檢測(cè)和跟蹤同時(shí)失效需要回到檢測(cè)端排查我調(diào)試某段夜間場(chǎng)景時(shí)遇到過一種情況MOTA上去了MOTP卻掉了。后來發(fā)現(xiàn)是跟蹤器學(xué)會(huì)了在目標(biāo)周圍畫一個(gè)比真值大一圈的框框雖然永遠(yuǎn)蓋住目標(biāo)但I(xiàn)oU很低。檢測(cè)器沒問題、匹配也沒錯(cuò)純粹是“用大框換覆蓋”的策略性作弊。這類靠調(diào)框尺寸刷MOTA的問題正好能被MOTP暴露出來。4. IDF1換了個(gè)ID分?jǐn)?shù)攔腰斬4.1 為什么MOTA無法表達(dá)“身份病毒”MOTA對(duì)ID問題太寬容于是IDF1出現(xiàn)了。IDF1全稱ID F1 Score核心思想是全局來看跟蹤器的ID和真值ID能否一一對(duì)應(yīng)起來。想象你雇了三個(gè)臨時(shí)工處理三堆文件MOTA考核的是“今天有沒有文件處理錯(cuò)、漏、亂”哪怕三個(gè)臨時(shí)工互相換崗只要每堆文件都有人碰過MOTA都可能接近滿分。但I(xiàn)DF1考核的是“每堆文件從頭到尾是不是同一個(gè)人負(fù)責(zé)”中途換一個(gè)人這堆文件的完成質(zhì)量就要打折。目標(biāo)跟蹤應(yīng)用里ID一致性的重要性取決于場(chǎng)景。自動(dòng)駕駛可能更關(guān)心框的位置因?yàn)閯x車決策主要看空間但視頻監(jiān)控里要統(tǒng)計(jì)一個(gè)人進(jìn)了哪個(gè)區(qū)域、停留多久ID一旦亂跳統(tǒng)計(jì)全廢。所以監(jiān)控類項(xiàng)目幾乎必看IDF1。4.2 IDF1的計(jì)算思路IDF1的公式特別像F1-score:IDF1 2 * IDTP / (2 * IDTP IDFN IDFP)其中IDTP在全局最優(yōu)ID映射下跟蹤框與真值框正確配對(duì)的幀數(shù)。IDFN真值總幀數(shù)減去IDTP即“這個(gè)真值ID沒有被任何跟蹤ID覆蓋”的幀數(shù)。IDFP跟蹤總幀數(shù)減去IDTP即“這個(gè)跟蹤ID沒有對(duì)應(yīng)任何真值ID”的幀數(shù)。關(guān)鍵在“全局最優(yōu)ID映射”。算法會(huì)統(tǒng)計(jì)每條跟蹤軌跡和每條真值軌跡之間成功匹配的幀數(shù)組成一個(gè)矩陣然后用二分圖最大權(quán)重匹配找出最優(yōu)ID對(duì)應(yīng)關(guān)系。選出來的每一對(duì)“跟蹤ID-真值ID”就是記賬關(guān)系整個(gè)過程中ID只有在這一步做一次分配之后不再變。MOTA是逐幀算錯(cuò)誤的賬IDF1是先把ID對(duì)認(rèn)好再算覆蓋率的賬。兩種思路完全不同所以同一套結(jié)果MOTA和IDF1經(jīng)常差距很大。4.3 一個(gè)極簡(jiǎn)例子ID互換會(huì)發(fā)生什么假設(shè)兩個(gè)目標(biāo)各出現(xiàn)100幀跟蹤器全程跟住了位置也準(zhǔn)但第50幀時(shí)把兩個(gè)目標(biāo)的ID互換然后一直錯(cuò)下去。MOTA這邊TP200FN0FP0IDSW1GT總幀數(shù)200MOTA 1 - 1/200 0.995。幾乎滿分。IDF1這邊兩條跟蹤軌跡和兩條真值軌跡的總匹配幀數(shù)都是200但全局最優(yōu)映射只能把每個(gè)跟蹤ID對(duì)應(yīng)到一個(gè)真值ID錯(cuò)位后每個(gè)ID對(duì)真正對(duì)應(yīng)的幀數(shù)只有100IDTP200不對(duì)這里要仔細(xì)算如果你把track1映射gt2、track2映射gt1它們各有100幀匹配IDTP200而總幀數(shù)也是200IDF1反而接近1。這是我上面說法不準(zhǔn)確需要修正單純“兩條軌跡互換且不重疊”的互換IDF1全局匹配后反而看不出問題。真正讓IDF1暴露問題的是同一幀里兩個(gè)目標(biāo)同時(shí)存在track1和track2在第50幀發(fā)生交換之后每條track和每個(gè)真值重疊的幀數(shù)都是“一半半”。全局映射會(huì)選總權(quán)重最大的方案無論選哪種組合IDTP都只有約100幀因?yàn)閮蓷ltrack各自只能映射到一個(gè)真值ID而另一個(gè)真值ID的剩余幀就變成IDFNtrackID對(duì)應(yīng)的剩余幀變成IDFP。于是IDF1大幅下降。想得更極端一點(diǎn)如果跟蹤器給同一個(gè)目標(biāo)起了三個(gè)ID每個(gè)ID跟一段三個(gè)ID合并起來覆蓋了全部幀。MOTA依然好看但I(xiàn)DF1會(huì)因?yàn)镮DTP只有三分之一左右的幀數(shù)而掉一大截。這個(gè)特性讓IDF1成為識(shí)別“ID故意調(diào)皮”的關(guān)鍵指標(biāo)。5. 軌跡層面指標(biāo)MT/ML/PT、FM、FAF到底在說什么5.1 MT/ML/PT目標(biāo)這一生過得好不好MT/ML/PT是一組按軌跡完整度統(tǒng)計(jì)的指標(biāo)它們不看單幀而是看每個(gè)真值目標(biāo)的“一生”。MTMostly Tracked目標(biāo)被跟蹤器成功匹配的幀數(shù)占該目標(biāo)總幀數(shù)≥80%。MLMostly Lost匹配幀數(shù)≤20%。PTPartially Tracked中間狀態(tài)??梢岳斫獬砂嗉?jí)出勤率一個(gè)學(xué)生一學(xué)期上滿80%的課算基本全勤只來兩三節(jié)課算曠課大戶其余是中間狀態(tài)。它會(huì)輸出三個(gè)數(shù)值比如MT3、ML1、PT2意思是3個(gè)目標(biāo)基本被全程跟住1個(gè)目標(biāo)幾乎全程丟失2個(gè)目標(biāo)時(shí)斷時(shí)續(xù)。這個(gè)指標(biāo)對(duì)“目標(biāo)群體”特別有價(jià)值。MOTA是全局視角不區(qū)分是哪一個(gè)目標(biāo)在拖后腿而MT/ML/PT能告訴你問題集中在少數(shù)難目標(biāo)還是普遍存在。比如追蹤密集人群時(shí)MOTA可能不算差但ML很高這說明確實(shí)有一批目標(biāo)從頭到尾沒跟住那就要檢查是不是檢測(cè)漏檢嚴(yán)重。5.2 FM軌跡碎片化和FAF虛假報(bào)警幀F(xiàn)M全稱Fragmentations指軌跡碎片化次數(shù)。一條GT軌跡對(duì)應(yīng)的跟蹤ID中途斷裂、恢復(fù)后又換了一個(gè)新ID每斷一次就計(jì)一次碎片。FM高說明跟蹤器不夠穩(wěn)定老是跟一跟停一停。FAF全稱False Alarms per Frame平均每幀的虛假報(bào)警框數(shù)計(jì)算方式就是FP總數(shù)除以總幀數(shù)。這個(gè)指標(biāo)在自動(dòng)駕駛里很常用因?yàn)樘摼驎?huì)讓車輛做出不必要的剎車或變道決策哪怕MOTA看起來還行FAF一旦高實(shí)車體驗(yàn)會(huì)非常差。5.3 按場(chǎng)景選擇指標(biāo)組合不同場(chǎng)景對(duì)指標(biāo)側(cè)重完全不同。給一個(gè)我實(shí)際配指標(biāo)的經(jīng)驗(yàn)表場(chǎng)景主指標(biāo)輔指標(biāo)理由自動(dòng)駕駛感知MOTA、MOTP、FAF處理速度關(guān)心覆蓋和位置精度虛警成本極高視頻監(jiān)控分析IDF1、IDSW、MTMOTA身份保持比微小的位置誤差更重要學(xué)術(shù)論文對(duì)比MOTA、IDF1、MOTPMT/ML、FM全面報(bào)讓讀者自己判斷單目標(biāo)跟蹤評(píng)估成功率、中心定位誤差魯棒性多目標(biāo)那套指標(biāo)不太適配別指望一個(gè)指標(biāo)能打天下。選主指標(biāo)時(shí)要先問自己這個(gè)項(xiàng)目的應(yīng)用方最不能接受哪種錯(cuò)誤是漏跟、虛警還是身份亂跳答案決定了指標(biāo)組合的方向。6. MATLAB代碼從逐幀關(guān)聯(lián)到指標(biāo)統(tǒng)計(jì)的完整演示6.1 模擬數(shù)據(jù)生成把“好壞結(jié)果”都造出來直接拿真實(shí)數(shù)據(jù)測(cè)指標(biāo)出了問題很難排查因?yàn)椴恢滥膫€(gè)環(huán)節(jié)錯(cuò)了。我習(xí)慣先造一份“答案已知”的模擬數(shù)據(jù)把各種情況都塞進(jìn)去指標(biāo)算完能對(duì)著數(shù)再跑真實(shí)數(shù)據(jù)就有底了。下面這套模擬數(shù)據(jù)包含三條真值軌跡、四段跟蹤軌跡和若干虛假框特意安排了一段漏跟、一次ID切換、幾個(gè)FP。所有指標(biāo)都會(huì)有非零輸出方便核對(duì)。%% 模擬數(shù)據(jù)生成 rng(0); % 固定隨機(jī)種子保證可復(fù)現(xiàn) F 100; % 總幀數(shù) gtList []; trList []; % 三條真值軌跡持續(xù)100幀移動(dòng)方式不同 for f 1:F % 目標(biāo)1向右平移 gtList [gtList; f, 1, 20 0.3*f, 40, 20, 20]; % 目標(biāo)2向下平移 gtList [gtList; f, 2, 30, 20 0.3*f, 20, 20]; % 目標(biāo)3水平方向上正弦擺動(dòng) gtList [gtList; f, 3, 80, 50 8*sin(f/6), 20, 20]; end % 跟蹤軌跡 for f 1:F % 目標(biāo)1對(duì)應(yīng)的跟蹤軌跡全程跟隨加少量高斯噪聲 trList [trList; f, 101, 20 0.3*f randn*2, 40 randn*2, 20, 20]; % 目標(biāo)2對(duì)應(yīng)的跟蹤軌跡只跟到第70幀之后完全丟失 if f 70 trList [trList; f, 102, 30 randn*2, 20 0.3*f randn*2, 20, 20]; end % 目標(biāo)3對(duì)應(yīng)的跟蹤軌跡第20到25幀漏跟第61幀開始換ID if f 60 (f 20 || f 25) trList [trList; f, 103, 80 randn*2, 50 8*sin(f/6) randn*2, 20, 20]; end if f 61 trList [trList; f, 104, 80 randn*2, 50 8*sin(f/6) randn*2, 20, 20]; end end % 額外注入5個(gè)孤立的虛假框模擬誤報(bào)FP for f [10, 30, 50, 70, 90] trList [trList; f, 999, 5 randn*2, 5 randn*2, 20, 20]; end gt gtList; tr trList; fprintf(GT總幀數(shù): %d\n, size(gt,1)); fprintf(Track總幀數(shù): %d\n, size(tr,1));數(shù)據(jù)里GT總幀數(shù)應(yīng)該是300幀Track總幀數(shù)看隨機(jī)噪聲影響不大就是1007042405257。這三個(gè)數(shù)字后面都會(huì)用到。6.2 逐幀匹配與TP/FP/FN/IDSW統(tǒng)計(jì)逐幀匹配的套路是每幀先算所有GT框和所有Track框的IoU矩陣然后用貪心策略按IoU從大到小配對(duì)直到低于閾值。這個(gè)做法不是全局最優(yōu)真正的評(píng)測(cè)工具會(huì)用什么算法這里先不展開教學(xué)演示足夠。匹配完成后規(guī)則很簡(jiǎn)單配對(duì)成功的是TPGT沒配上的是FNTrack沒配上的是FP。跟蹤模塊額外要維護(hù)一個(gè)信息每個(gè)真值ID最近一次匹配到的是哪個(gè)Track ID如果上一次匹配的和這次不一樣就計(jì)一次IDSW。%% 逐幀關(guān)聯(lián)與統(tǒng)計(jì) iouThreshold 0.3; % IoU匹配閾值 gtIds unique(gt(:,2)); trIds unique(tr(:,2)); numGt length(gtIds); numTr length(trIds); % 用Map加快ID到索引的轉(zhuǎn)換 gtMap containers.Map(gtIds, 1:numGt); trMap containers.Map(trIds, 1:numTr); TP 0; FP 0; FN 0; IDSW 0; FM 0; iouSum 0; iouCnt 0; idMatchCount zeros(numGt, numTr); % IDF1用統(tǒng)計(jì)每個(gè)gt-track組合的總匹配幀數(shù) matchCntPerGt zeros(numGt, 1); % MT/ML/PT用 gtTotalCnt zeros(numGt, 1); % 每個(gè)gt總幀數(shù) lastTrackOfGt zeros(numGt, 1); % 最近一次匹配的track id用于IDSW判斷 prevTrackOfGt zeros(numGt, 1); % 上一幀每個(gè)gt匹配的track id用于FM判斷 for f 1:F gtIdx find(gt(:,1) f); trIdx find(tr(:,1) f); % 累計(jì)每個(gè)gt的出現(xiàn)幀數(shù) for i 1:length(gtIdx) gi gtMap(gt(gtIdx(i),2)); gtTotalCnt(gi) gtTotalCnt(gi) 1; end if isempty(gtIdx) || isempty(trIdx) FN FN length(gtIdx); FP FP length(trIdx); prevTrackOfGt zeros(numGt, 1); continue; end % 計(jì)算IoU矩陣 nGt length(gtIdx); nTr length(trIdx); iouMat zeros(nGt, nTr); for i 1:nGt for j 1:nTr iouMat(i,j) computeIoU(gt(gtIdx(i),3:6), tr(trIdx(j),3:6)); end end % 貪心匹配每次取IoU最大的配對(duì) cost iouMat; pairs []; while true [maxVal, linIdx] max(cost(:)); if maxVal iouThreshold break; end [r, c] ind2sub(size(cost), linIdx); pairs [pairs; r, c]; cost(r, :) 0; cost(:, c) 0; end matchedGt false(nGt, 1); matchedTr false(nTr, 1); curTrackOfGt zeros(numGt, 1); % 當(dāng)前幀每個(gè)gt匹配到的track id for p 1:size(pairs, 1) i pairs(p,1); j pairs(p,2); gi gtMap(gt(gtIdx(i),2)); tj trMap(tr(trIdx(j),2)); trackId tr(trIdx(j),2); % ID switch同一個(gè)gt這次匹配的track和上次不同且上次非0 if lastTrackOfGt(gi) ~ 0 lastTrackOfGt(gi) ~ trackId IDSW IDSW 1; end lastTrackOfGt(gi) trackId; curTrackOfGt(gi) trackId; TP TP 1; matchCntPerGt(gi) matchCntPerGt(gi) 1; idMatchCount(gi, tj) idMatchCount(gi, tj) 1; iouSum iouSum iouMat(i,j); iouCnt iouCnt 1; matchedGt(i) true; matchedTr(j) true; end FN FN sum(~matchedGt); FP FP sum(~matchedTr); % FM統(tǒng)計(jì)當(dāng)前幀有匹配上一幀沒有匹配或匹配的track不同都算一次碎片 for gi 1:numGt if curTrackOfGt(gi) ~ 0 if prevTrackOfGt(gi) 0 f 1 FM FM 1; % 從無到有一次恢復(fù) elseif prevTrackOfGt(gi) ~ 0 prevTrackOfGt(gi) ~ curTrackOfGt(gi) FM FM 1; % ID換了也算一次碎片 end end end prevTrackOfGt curTrackOfGt; end這里有兩個(gè)小問題需要說明。第一第1幀的首次匹配我沒有算進(jìn)FM因?yàn)檐壽E剛出現(xiàn)不算“碎片化”第二ID切換同時(shí)會(huì)被FM記一次所以FM數(shù)值里包含了IDSW造成的斷裂如果你想單獨(dú)看“跟丟后恢復(fù)”造成的碎片可以把第二個(gè)分支刪掉。6.3 計(jì)算MOTA/MOTP/IDF1/MT/ML/FM并輸出匹配統(tǒng)計(jì)完成后剩下的就是套公式。%% 計(jì)算MOTA / MOTP gtTotalFrames size(gt, 1); trTotalFrames size(tr, 1); MOTA 1 - (FN FP IDSW) / gtTotalFrames; if iouCnt 0 MOTP iouSum / iouCnt; else MOTP 0; end %% 計(jì)算IDF1用貪心近似求解全局最優(yōu)ID映射 idPairs []; tmp idMatchCount; while true [maxVal, linIdx] max(tmp(:)); if maxVal 0 break; end [r, c] ind2sub(size(tmp), linIdx); idPairs [idPairs; r, c]; tmp(r, :) 0; tmp(:, c) 0; end IDTP 0; for p 1:size(idPairs, 1) IDTP IDTP idMatchCount(idPairs(p,1), idPairs(p,2)); end IDFN gtTotalFrames - IDTP; IDFP trTotalFrames - IDTP; IDF1 2 * IDTP / (2 * IDTP IDFN IDFP); %% 計(jì)算MT/ML/PT mt 0; ml 0; pt 0; for gi 1:numGt ratio matchCntPerGt(gi) / gtTotalCnt(gi); if ratio 0.8 mt mt 1; elseif ratio 0.2 ml ml 1; else pt pt 1; end end %% 輸出 fprintf(TP: %d, FN: %d, FP: %d, IDSW: %d, FM: %d\n, TP, FN, FP, IDSW, FM); fprintf(MOTA: %.3f\n, MOTA); fprintf(MOTP: %.3f\n, MOTP); fprintf(IDF1: %.3f (IDTP%d, IDFN%d, IDFP%d)\n, IDF1, IDTP, IDFN, IDFP); fprintf(MT: %d, ML: %d, PT: %d\n, mt, ml, pt);IoU計(jì)算函數(shù)單獨(dú)放一個(gè)文件里或者放在腳本末尾R2016b之后的版本可以直接寫局部函數(shù)function iou computeIoU(bb1, bb2) % bb1, bb2格式: [x, y, w, h] x1 max(bb1(1), bb2(1)); y1 max(bb1(2), bb2(2)); x2 min(bb1(1)bb1(3), bb2(1)bb2(3)); y2 min(bb1(2)bb1(4), bb2(2)bb2(4)); interW max(0, x2 - x1); interH max(0, y2 - y1); inter interW * interH; area1 bb1(3) * bb1(4); area2 bb2(3) * bb2(4); union area1 area2 - inter; if union 0 iou 0; else iou inter / union; end end如果你的MATLAB版本較老不支持腳本內(nèi)局部函數(shù)就把computeIoU保存成獨(dú)立的computeIoU.m文件放到同一目錄。6.4 運(yùn)行結(jié)果與指標(biāo)核對(duì)我這邊跑完的輸出大致是這樣GT總幀數(shù): 300 Track總幀數(shù): 257 TP: 252, FN: 48, FP: 5, IDSW: 1, FM: 2 MOTA: 0.820 MOTP: 0.652 IDF1: 0.904 (IDTP252, IDFN48, IDFP5) MT: 2, ML: 0, PT: 1用手工推測(cè)驗(yàn)證一下目標(biāo)1全跟100幀目標(biāo)2跟70幀目標(biāo)3跟82幀所以TP1007082252沒問題。GT總幀數(shù)300FN300-25248FP是5個(gè)孤立框IDSW是目標(biāo)3從track103切到track104那一次。FM2一次來自目標(biāo)3在第20到25幀的漏跟恢復(fù)一次來自第61幀的ID切換。這些數(shù)字和代碼邏輯完全對(duì)得上說明指標(biāo)計(jì)算鏈路是通的。真實(shí)數(shù)據(jù)測(cè)試時(shí)建議也用這種“先造題再做題”的方式驗(yàn)證自己的評(píng)估腳本。7. 實(shí)操中容易踩的坑與我的個(gè)人使用習(xí)慣7.1 數(shù)據(jù)格式、坐標(biāo)口徑和閾值選擇第一個(gè)大坑是框的坐標(biāo)格式。有的代碼用左上角加寬高有的用中心點(diǎn)加寬高混用一個(gè)不小心就是整套指標(biāo)全部算錯(cuò)。我習(xí)慣在評(píng)估腳本開頭強(qiáng)制統(tǒng)一成[x, y, w, h]并且所有輸入數(shù)據(jù)先過一遍格式檢查。第二個(gè)坑是坐標(biāo)是否歸一化。像素坐標(biāo)和歸一化坐標(biāo)混在一起IoU會(huì)小到離譜匹配結(jié)果自然全錯(cuò)。寫代碼時(shí)務(wù)必加斷言確認(rèn)所有輸入都在同一個(gè)坐標(biāo)體系下。第三個(gè)坑是IoU閾值。同樣的跟蹤結(jié)果閾值設(shè)0.3和設(shè)0.5MOTA能差出幾個(gè)百分點(diǎn)。不同論文之間對(duì)比時(shí)如果不看閾值很可能是在拿兩個(gè)標(biāo)準(zhǔn)比。這也是我建議所有指標(biāo)輸出必須附帶“匹配閾值、坐標(biāo)格式”這兩項(xiàng)配置信息。某個(gè)公開基準(zhǔn)的數(shù)據(jù)我核對(duì)時(shí)就發(fā)現(xiàn)閾值0.5時(shí)MOTA是0.71降到0.3后直接跳到0.83——你以為算法進(jìn)步了其實(shí)是標(biāo)準(zhǔn)放松了。7.2 不同場(chǎng)景下我只盯哪幾個(gè)指標(biāo)自己做實(shí)驗(yàn)和寫論文時(shí)我一般強(qiáng)制要求自己輸出一組完整指標(biāo)MOTA、IDF1、MOTP、MT/ML/PT、FM、處理速度。哪怕這一版只優(yōu)化了其中一兩個(gè)其他都得報(bào)出來防止“指標(biāo)抄襲”。如果是為了定位問題我會(huì)先看FN和FP的比例。FN遠(yuǎn)大于FP說明檢測(cè)器漏檢是主要矛盾FP遠(yuǎn)大于FN說明誤檢或匹配策略太激進(jìn)IDSW突然增多說明數(shù)據(jù)關(guān)聯(lián)有問題優(yōu)先檢查匹配邏輯。如果是做工程交付我會(huì)把這三個(gè)問題單獨(dú)問一遍這東西會(huì)漏多少個(gè)目標(biāo)會(huì)多出多少個(gè)假目標(biāo)ID會(huì)不會(huì)亂跳分別對(duì)應(yīng)FN、FP、IDSW比報(bào)一個(gè)綜合MOTA更能說服人。7.3 我的一個(gè)日常檢查習(xí)慣最后分享一個(gè)百試不爽的習(xí)慣每次寫完評(píng)估腳本先不看真實(shí)結(jié)果而是先構(gòu)造幾組“已知答案”的極端輸入。第一組把跟蹤結(jié)果直接復(fù)制真值所有指標(biāo)都應(yīng)該接近完美第二組把跟蹤ID全部隨機(jī)亂換MOTA應(yīng)該輕微下降而IDF1大幅下降第三組隨機(jī)刪掉一半跟蹤框MOTA、IDF1一起掉。只要這三組測(cè)下來符合作出的預(yù)期腳本才算初步可信。再往后跑真實(shí)數(shù)據(jù)任何異常都有方向可查。我自己被這個(gè)習(xí)慣救過不止一次。有一回拿真實(shí)數(shù)據(jù)測(cè)出來MOTA奇高、IDF1奇低所有人都以為是算法出了問題后來跑第二組對(duì)照才發(fā)現(xiàn)是評(píng)估腳本的ID映射寫反了。工具的問題比算法的問題更隱蔽造數(shù)據(jù)自檢是最省時(shí)間的排查方式。希望這套從指標(biāo)拆解到代碼實(shí)現(xiàn)再到自檢流程的完整鏈路能幫你少踩幾個(gè)同樣的坑。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久人妻久久| 综合激情婷婷| 99re热视频这里只精品| 98热精品| 久久99热这里只有| 欧美色爱五月天| 人人摸人人| 色色色国产| 丁香婷婷色五月激情综合| 国产亚洲精品久久久久苍井松 | 665566 无码| 婷婷五月超碰| 日韩欧美一级大黄网站| 丁香社区婷婷五月| 五月色网| 99视频在线观看地址| 色色色色色色色五月| 97五月婷婷| 亚洲精品视频在线播放| 欧美婷婷五月| 色欲丁香| 婷五月天| 天天插天天插天天日| 欧美成人网婷婷综合在线| 五月天综合激情网| 五月天社区| 激情五月最新网址| 色色日韩| 色九月婷婷综合| 五月丁香综合啪啪| 激情开心五月天婷婷基地丁香社区| 久久婷婷五月天激情四射| 日本天天色| 丰满人妻妇伦又伦精品国产| 婷婷激情九月| 丁香成人视频| AA丁香综合激情| 久久九九99.www| 91狠狠色| 99激情视频| 五月天成人综合| 亚洲成人av在线观看| 狠狠色综合网| 99视频只有精品| 蜜桃人妻无码AV天堂三区| 亚洲视频1区| 激情视频婷婷五月花| 亚洲视频伍月婷婷| 99热久久这里只有精品| 超碰成人在线观看| 亚洲国产精品VA在线看黑人| www.丁香黄色五月天人与| 激情婷婷在线中文字幕| 五月丁香六月在线| 伊人狼人干| 色综合色综合网| 99国产性感视频| 色播五月婷婷| 欧美在线视频9| 婷婷大美在线| 五月丁香色婷婷婷基地| 激情婷婷久久| 大香蕉七区| 六月色色综合| 天天日夜夜爽| 只有精品视频在线观看| 五月婷婷综合激情网| 久久丁香婷| 色婷婷婷av | 99热成人精品网站| 九月婷婷人人操人人舔人人爱| AV色五月婷婷| 97婷婷狠狠| 色综合网页| 色五月xxx| 女人天堂AV| 丁香五月天天久久综合小说| 伊人狠狠狠综合| 91狠狠综合久久久久久| 五月丁香色| 综合五月婷婷| 亚洲无码你懂的| 亚洲五月天婷婷综合| 丁香五月六月综合激情| 97精品综合久久| 色五月丁香婷婷久草| 国产99久| 天天xxxxxx天天日| 色五月天 丁香| 天天噜天天爱| 26uuu91| 色婷婷亚洲精品天天综| 啪啪一区| 婷婷丁香人妻天天爽| 久碰婷婷视频| 天天爽天天| 免费观看日韩成人av| 天天做综合网色综合| 疯狂做受XXXX高潮A片| 五月色婷婷影院| 丁香婷婷五月天在线视频| 日韩啪啪视品| 日日操夜夜骑| 超碰人人操人人9| 精品成人无码A片观看香草视频 | 狠狠色婷婷丁香五月| 激情亚洲色图片丁香综合| 成人看片网站| 五月丁香六月色婷婷| 99这里都是精品| 婷婷五月大| 婷婷五月天丁香| 91人妻人人做人碰人人爽九色| 色五月成人| 大香蕉九九操| 亚洲综合99| 婷婷五月激情网| 丁香五月婷婷激情网| 九色视频91| 精品视频99看在线视频| 极品人妻VIDEOSSS人妻| 亚洲色婷婷视频| 99久久五月婷婷| 最新丁香六月婷婷| 丁香五月手机在线| 无码色| 丁香五月婷婷丫| 婷婷色色网站| 高清无码网址| 深爱五月激情网| 色五月激情五月| 五月花婷婷最新| 婷婷五月丁香第四色超碰在线| 婷婷五月噜噜| 91九色|疯狂|高潮|对白|| 亚洲超碰在线| 丁香花五月天| 日本专区久久| 丁香五月伊人| 五月色丁香视频精品| 六月丁香激情| 婷婷五月天影院| 五月天天天开心激情网| 六月婷婷最新网址| 五月色网| 国产色色色色| 91丨九色丨东北熟女| 99国产精品白浆在线观看免费| 婷婷五月丁香五月天| 日本三级日本黄色| 丁香五月视频在线观看| 丁香婷婷综合色五月激情国产基地| 六月色婷婷| 九九精品在线视频观看| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 超极99精品| 日亚二欧美| 五月婷五月婷伊人伊人五月婷| 亚洲亚洲人成综合网络| 久久精品系列| 婷婷激情欧美| 色色色色五月天| 激情综合五月天| 韩国三级五月天婷婷。| 久9热| 亚洲亚洲人成综合网络| 综合色影| 另类图片婷婷五月天| 97人人爱人人操| 99久久婷婷国产综合精品草原| 一级二级香港秋霞欧美欧美秋霞| 天天射美女| 亚洲亚洲人成综合网络| www.91婷婷| 天天日日人| 久草x色在线观看99 | 色五月丁香激情视频| 99色精品| 99热久久最新地址| 97在线碰| 九九综合88| 九九热AV| 狠狠干在线| 国产成人AV人人爽人人澡Va| 亚洲AV日韩无码| 欧美成人在线观看| 五月天婷婷激情小说电影| 丁香婷在线| 我爱大香蕉| www.99.色| 91久久婷婷| 五月天停停成人网| 激情com| 大胆伊人久久| www.wuyuetian啪啪| 色欲av伊人久久大香线蕉影院| 丁香五月天五码婷婷| 天天操中文字幕| 色视频色综合91| 狼人狠狠操| 狠狠狠狠狠草| 情婷婷五月天在线| 丁香六月啪| 五月天综合色| 激情涩播| 国产精品99久久久久久久女警| 激情图片久久| 久色五月丁香视频| 日韩精品二三区| 五月综合视频在线| www.婷婷| Av九九| 99视频日韩| WWW.桔色成人.COM| 天天爽天天爽夜夜爽| 色丁香婷婷| 一区二区三区四区牛| 欧美69久成人做爰视频| 天天射影院| 丁XX 成人| 五月天色婷婷基地| 秋霞电影理论| 狠狠人妻久久久久久综合丁香| 91婷婷丁香| 久热伊人9| 五月久久丁香| 97超级啪啪在线观看| 婷婷五月天成人网| 九九精品免费| 久热这里只有| 五月丁香六月婷婷网| 婷婷六月色开 | 九月av| Www,五月天| www婷婷色情网| 色久婷婷五月| 热99国产精品| 九九热这里只有精品首页| 99在线视频资源| 影音先锋 一区| 艹色18p| httpwww色com日本| 大香蕉网 久久| 伊人久久丁香五月91| 少妇性按摩无码中文A片 | 婷婷操婷婷干婷婷射| 九九机热| 五月天 另类图片| 久久这里只有精品1| 五月丁香综合精品| 五月中旬婷婷丁香六| 午夜精品777| 国产视频久色| 亚洲99在线| 五月丁香天堂网婷婷| 六月婷婷狠狠| 五月婷婷婷婷婷婷艺术| 99性爱精品| 日本va欧美va欧美| 啪啪小说五月天| 天天做天天爱天天做| 久久机热思思热| 一级A片天天操夜夜操| 色五月五月丁香| 五月天性色| 九九九午夜影院成人| 啪啪干伊人婷婷| 激情网开心网| 久久这里都是精品| 色5月婷婷色| caop在线视频| 色五月激情综合网| 欧美槡BBBB槡BBB少妇| 亚洲电影在线观看| 亚洲不卡123| 五月天丁香啪啪啪啪| 天堂在线婷婷| 五月丁香琪琪| 99在线观看视频精品| 人妻系列久久久久久久久久久| 桃色伊人在线| 亚洲欧美一区二区三区爱爱动图 | Av狠狠色丁香婷| 久一这里有精品国产| http://www.lingjunshare.com/| 五月播播| 丁香六月久久| 性一交一乱一交A片久| 激情内射人妻1区2区3区| 淫视馆av三区| 伊人www22综合色| 亚洲成人在线播放| 狠狠色五月| 亚洲欧美一区二区三区爱爱动图 | 狠狠操天天操| 久久成人人妻| 婷婷五月成人| 伊人丁香在线| 肏屄色播伊人97婷婷| 色 免费网站视频| 五月婷婷久久综合| 色播播五月| 9999三级片| 狠狠综合网| 久久大香蕉丁香| 婷婷五月18永久免费网站| 棕合影院色色| 五月婷色丁香| 婷婷狠狠18禁久久| 亚洲亚洲人成综合网络| 91pornav在线| www.狠狠操.co m| dingxiangtingtingliuyue| 亚洲色热| 五月婷婷色| 午夜]香婷婷深深爱| WWW免费视频碰碰碰碰| 日日噜人人人做人| 久久久精品色| 99ri在线视频| 婷婷激情五月天小说| 66精品国产成人| 九九热短视频在线观看| 欧美日韩91| 超碰av在| 另类图片天天影视在线观看| 日本 @ va 免费| 67194成I人在线观看线路1| 欧美性猛交99久久久久99按摩| 91操在线| 国产Va视频| 亚洲国产精品VA在线看黑人| 成人国产欧美大片一区| 五月天天堂久久| 久久有码| 狠狠狠狠狠狠狠狠| 久久久久久久久久久44| 午夜精品777| 成人丁香色| 国产99久久久国产精品免费看| 91人人操| 久久这里只有欧美| 久操婷婷| 激情综合九月| 99热免费精品| 久久AAAA片一区二区| 久99热在线观看| 天天干天天 亚洲| 久久婷婷网| 久久99人人| 啪啪一区| 97碰碰视频| 五月综合激情久久| 丁香综合伊人| 欧美婷婷日本| 色很久综合| 婷婷五月天在线综合导航| 中文久久婷婷| 五月天天综合网色婷婷| 爱草视频在线| 欧美99热| 日日操夜夜操中国无码| 色情播放| 美日韩成人| 色天使色婷婷| 激情綜合W W W,激情五月天| 久婷婷视平| 丁香五月天欧洲在线| 欧美狠狠色| 天天狠狠综合精区| 激情99热| 欧美性爱五月天| 五月丁香久久呀| 夜夜做夜夜愛| 中文字幕视频色婷婷| 影音先锋色色色资源色资源色| 色五月播五月| 中文字幕av网站| 丁香六月天婷婷色| 五月天婷婷成人网| 亚洲国产精品五月天| 五月丁香六月激情综合| 射久久丁香五月| 99久久免费精品| 欧美 日韩 人妻 高清 中文| 这里只有精品,日韩视频| 五月婷婷av| 婷色视频| 综合婷婷都市激情| 色色色色色五月| 色婷婷五月天天天干天天操天天爽| CHINESE熟女老女人HD视频| 丁香六月综合激情| 97自拍视频在线| 五月丁香六月婷婷久久肏| 99re热视频这里只精品| 日本大逼91| 99热99干| 激情综合丁香| 日本操逼九九九九58日本操逼| 成人无码精品1区2区3区免费看| 婷婷亚洲日本| 婷婷六月啪啪| 性爱先锋AV| 色综合久久久久| 久久性刺激| 97精品自拍视频| 九九久久污| 久久婷婷五月天综合| 色啪久 | 色五月丁香婷婷在线观看| 亚韩精品视频1区| 秋霞影音91人妻久久| 亚洲无AV在线中文字幕| 亚洲九九九九| 日本91在线播放| 五月丁香色婷婷综合| 国产婷伊人| 开心五月综合激情综合五月| 天天干天天日蜜臀av| 激情综合网亚洲色图| 丰满少妇猛烈A片免费看观看| 亚洲色欲欧美一区二区三区| 久久无码成人| 婷婷色偷拍| 色综合色色| 欧美操我| 日本一毛片| 色婷婷97| 91丨九色丨国产打屁股| 色五月婷婷大| 色婷婷影视99| 国产综合婷婷| 高清无码.com| 美国少妇性做爰| 丁香五月婷婷综合网| 九一九九黄色| 激情99热| caopeng超碰| 亚洲中文字幕在线观看| 天天做好综合色| 欧美性猛交99久久久99| 婷婷激情图片| 婷婷网五月| 日韩性爱无码| 99日本精品视频热| 激情精品久久| 九九伦子片| 久久婷婷五月综合| 99久热| 极品少妇XXXX精品少妇偷拍| 99er久久| 99ri久久| 国产精品天天狠天天看| 深爱激情六月天| 欧美色图天堂网色| 综合色播| 国产精品日韩十五区| avv在线| 色婷视频| 色色婷婷综合网| 五月天婷婷色色首页| 久久在这里99| 开心五月激情站| 国产探花一片区| 另类A片| 天天舔天天摸天天射| 色色色激情网| 婷婷涩五月| 少妇激情五月婷婷| 国精产品一区二区三区| 色五月综合| 亚洲视频久久| 久久婷婷五月天| 九九婷婷五月天影视| 伊人玖玖综合| 婷婷爱五月| 五月丁查人人| 99热这里只有99| 五月丁香婷婷狠狠操| 色碰碰| 五月综亚洲| 丁香五月大香蕉AV| 激情99| 婷婷五月激情五月激情| 丁香五月天激情婷婷丁香六月| 沈娜娜av| 99爱这里只有精品免费视频| 久久人妻www| 五月天综合在线| 中文字幕操比影片| 免费亚洲婷婷| 日日天天干| 婷婷 久综合| 免费观看高清无码| 久久99视频| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 久久婷婷亚洲| 国产精品色| 日日色五月天| 五月停停色色丁香| 五月丁香六月停停停| 亚洲激情AV| 狠狠五月激情丁香六月| 最新午夜理论片| 五月婷婷七月丁香| 五月天婷婷色播综合在线| 婷婷丁香花五月天| 五月婷婷在线播放| 欧洲亚洲免费视频区| www.99热在线| 操大屄五月天视频| 热九九精品| 久久人人九| 欧美色色色| www,五月天com| 丁香久久九九99| 五月天另类小说久久小说网| 538午夜激情| 色综合香蕉视频| 日韩一本操| 亚洲激情网| 色狠狠色噜噜AV天堂五区消防| 天天五月香欧美| 98永久精品| 北条麻妃伊人 | 色综合射婷婷| www.com操| 色婷婷黄色网络| 日韩精品一品二区三区的使用体验 | 伊人大香蕉毛片| 欧美搡BBBBB摔BBBBB| 亚洲超碰在线| 九九99热久久精品66中文字幕| 人人操人人爱丁香五月| 婷婷激情区| 久久五月天色婷婷| 综合婷婷久久| 久久92| 久久九⑨| 日本A片一区| 九九九九操逼| 国产精产国品一二三在观看| www.婷婷五月天| 色婷婷97| 久9热在线视频| 99成人在线观看| 久久婷婷五月综合伊人| 人妻精品久久久久久久| 99免费视频精品| 人人爱天天摸摸天天爱| 电影爱拉战争免费观看| WWW五月婷婷| 亚洲AV成人在线| 婷婷月综合| 五月丁香婷婷啪啪综合| www.综合久久| WWW·色色色·COM| 欧美一线视频| 五月婷婷综合激情网| 人人操AV| 精品久久这里热66| 亚洲人成色A777777在线观看| 色婷婷成人| 可似看的AV| 天天日天天爱天天噪| 五月婷婷丁香色播网| 五月天欧美激情| 色婷婷六月精品| 九九婷婷五月天影视| 婷婷亚洲丁香五月| 婷婷五月综合在线视频| 天天综合网亚洲综合网| 亚洲夜夜操| www色综合| 中文在线视频久1| 99综合色| 婷婷八月丁香激情综合| 91狠狠综合网| 久久久婷| 97人人草| AV网在线| 欧亚中文A V| 丁香五月www| www.99精品视频| 国产色网站| 丁香九月久久| 亚洲美女婷婷五月天| 思思热在线视频观看精品| 色婷婷丁香五月观看| 少妇婷婷五月天| WWW.色婷婷.COM| 天天爽免费视频| 色色色网站| 一起草Av| 91色色色| 久久综合66| 九九精品re免费视频| 狠狠色大香蕉| 91丨九色丨熟女高潮| wWw色五月| 人人天堂操| 日日日天天干| 91色操| 色无码| 国产肥白大熟妇BBBB视频| 五月婷婷色色爱| 超级碰人人操人人干| 五月 激情视频| 伊人网欧美在线男人天堂五月丁香| 好吊操这里只有精品| 五月丁六月婷| 五月天婷婷色色网| 成人午夜无码视频| 天天色2017| 五月丁香久久综合色| 婷婷五月激情网| 天天干天天干天天| 免费观看高清无码| 丁香五月婷婷激情网| 久久老码第一| 996日日爱| 九九99九九99| 日韩精品AV一区二区三区| 婷婷五月天成人视频| 激情久久久久久久久| 五月天婷婷六月激情网| 可以免费看AV网站| 九九热九九| 国产精品日本一区二区在线播放| 性色综合网| 精品五月视频婷婷在线观看| 五月天色婷婷基地| 婷婷九月激情| 婷婷色情 | 天天综合网~91| 五月激情丁香久久综合网| 狠狠插日日干撸| 亚洲色碰| 一本到不卡高清DVD| 大香蕉99| 激情综合网 激情五月天| 久久性刺激| 大地资源色婷婷视频在线| 久久九⑨| 最新激情五月天| 丁香五月天色婷婷| 五月天色五月| 九九99香蕉在线视频播放| 色五月丁香五月激情五月激情| 看国产探花操逼三级片| 免费亚洲婷婷| 狠狠色婷婷7777久综合| 五月天开心婷婷久久| 美国十月色婷婷在线观看| 成人做爰A片免费看网站找不到了| 热九九九九| 五月婷婷六月丁香综合视频在线| 国产无人区大片| 俺也去五月婷婷丁| 99色婷婷视频| 99免费在线| 中文字幕人成乱码在线观看| 久久大香蕉同僚| 天天日天天做天天操| 婷婷色导航| 96精品国产综合久久久久久| www.minyis.com【JT】实力收量可预付TG@LXSPSW8 | 五月婷婷啪啪啪啪| 99国产精品久久久久久久久久久| 久青操| 久久婷婷五月天激情唯美| 五月天.com| 九草性爱| 这里只有精品在线看| 婷婷五月在线观看| 欧美日韩成人免费在线| 亚洲欧美一区二区三区四区爱爱动图| 婷婷丁香五月综合| 97人妻碰碰碰久| 五月婷婷之婷婷| 丁香婷婷九月在线| 激情五月第四色| 亚洲视频五区| 日韩情色在线观看| www开心激情网| 色婷婷久久| 久久人人超| 九九这里都是精品| 色婷婷激情Av久久久| 天天综合激情| 婷婷综合五月| 人人九色| 思思热视频在线| 性爱111111| 婷婷色五月天综合网| 久草热在线视频| 丁香五月欧美激情| 色爱99| 欧美月久久| 欧美成人精品老美女噜噜噜| 亚洲精品久久久无码| 中文网AV| 色五月在线播放| 丁香五月另类色婷婷麻豆| 婷婷丁香五月网| 丁香婷婷久久综合在线| 色综合色综合网| 日本操天堂| 天天成人综合| 疯狂做受XXXX高潮A片| 99久久精彩视频。| 久久综合人妻| 综合久久婷婷| 99色综合| 97操碰| 人妻中文在线| 婷婷丁香成人| 成人日韩欧美| 婷婷99狠狠| 久久婷婷视频| 丁香久久| 日日干日日| 華人性愛AV在線| 色五月天综合网| 婷婷亚洲色| 可以看的AV| 六月丁香激情综合网| 九月丁香| 婷婷五月天成人在线视频| 九九色热| 色婷婷婷av| 天天射影视综合网| 91av传媒高清在线视频网| 九九久久99| 丁香色婷婷色手机免费在线| 天天爽夜夜爽天天爽夜夜爽| 7777久久亚洲中文字幕| 五月天.com| 五月丁香六月婷婷久久| 国产三级片91| 婷婷五月天影院| 激情综合网五月婷婷| 天天肏屄夜夜爽| 熟妇人妻中文字幕无码老熟妇 | 人人操女人| 久久网日本| 免费AAAAA网| 九九视频在线观看视频6 | 色五月视频无码播放| 99九九这里有免费视频| 亚洲色99| 五月丁香婷婷色色色| 99热这里只有精品22| 天天色综合色色色色色。| 亚洲妇女熟BBW| 天天爽天天摸| 激情婷婷九月| 婷婷五月天丁香花| 中文字幕丁香五月| 五月婷九月| 97精品自拍视频| 亚洲色情久久| www,999日本色| 激情婷婷五月社区| 丁香五月婷婷啪| 丁香六月综合激情| 婷婷丁香人妻天天久久| 激情性爱五月| av大香蕉| 久久这里有| 亚洲AV网址| 久9热| 久久机热这里只有精品| 97色啪| 丁香五月偷拍| 久久这里只有精品22| 色综合视频| 97综合在线| www.色擼擼.com| 婷婷人人操| 中文字幕按摩做爰| 六月丁香五月天| 97干在线| 岛国AAAV| 99日本精品视频热| 激情狠狠丁香月| 人妻中文字幕网| 天天操天天干天天日| 六月狠狠综合| 综合色五月| 久久五月天激情| 丁香久久综合| 五月婷婷综合色啪首页| 五月天婷婷伊人| 成人精品一区日本无码网| 日本人人xxx| 97色色-99久久| 色综合色综合色综合| 99热这里只有精品22| 亚洲色综久久五月| 婷婷永久在线| 婷婷不卡基地| 99热综合网| 99性视频| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 五月婷色| 日本美女五月天| 丁香六月激情综合网| 亚洲成人无码网站| 超级碰碰97在线| 99色干| 丁香五月婷婷激情中文| 五月丁香婷婷爱激情综合网| 五月婷久草| 91丨九色丨国产打屁股| 六月婷婷综合| site:publishdd.com| 亚洲中文字幕AV| 亚洲AV电影av| 成人精品一区日本无码网| 丁香 亚洲 久久| 99精品在线下载| 99啪啪| 五月婷婷丁香网| 色五月激情五月| 婷婷综合色图| 婷婷综合精品视频97| 五月天婷亚洲综合在线嫩草网| 日韩美女羞羞网站在线观看| www.天天干| 天堂久久性| 丁香五月激情六月综合| 大香蕉手机视频| 91av视频在线观看最新网址| 欧美性做爰大片免费看办公室| 婷婷婷久久久| 综合久久五月| 99色色热| 亚洲无码黄色| 天天综合区| 欧美婷婷| 99热婷婷| 在线观看av网站| 日日操天天爽| 激情五月综合免费| 婷婷五月丁香综合| 日本免费91| 天天色中文字幕女优AV| 色情五月丁香| 五月丁香六月情| 精品怡红九九九| 色七色九九| 99热国内精品| 2022人人操人人看| 九月丁香很很色| AA片在线观看视频在线播放| 91无码视频| 日本色综合| 欧美一区二区三区不卡影视| 五月六月婷婷激情网| 综合另类视频| 色色五月综合| 97亚洲精品| 日韩中文字幕| 婷婷五月天福利| 丁香五月综合| 中文字幕av在线播放| 激情五月天 婷婷| 婷婷十月丁香| 精品人妻久久久久久久| 在线VA视频| 五月天婷婷三级黄| 妇激情基地| 九九热自拍| 丁香婷婷综合激情五月色| 激情五月天情色| 婷婷五月天av小说| 97日韩无套内| www.丁香六月婷婷久久天堂影院.con| 国产激情综合| 五月丁香综合| 激情婷婷五月天| 超碰狠狠操| 99精品在线观看| 日本啪啪天堂| 久久婷婷色色| Www.激情| 五月天另类小说| 婷婷五月天在线观看免费| 亚洲久久婷婷| 日日艹思思热| 五月天婷婷视频30| 伊人五月丁香| 99re思思久久| 婷婷丁香五月综合网上| 日日夜夜狠狠操| 天天天操天天天日| 六月丁香五月天| 五月婷婷官网色| 日韩1区2区| 五月丁香香蕉| 天天操婷婷| 欧美在线视频免费播放| 开心五月激情网| 天天操夜夜操| 久热 91| 日本色99| 色色色免费视频| 成人丁香五月| 天天插天天插| 婷婷五月花| 中文字幕视频色婷婷| 五月天婷婷青青草| 色五月美女| 激情综合在线播放| 自拍视频在线观看9| 色婷婷狠狠久久YY| 成人 在线 日韩| 日韩成人电影AV| 丁香六月天婷婷在线| 开心五月激情| 色综合性视频| 丁香久久久| 国产视频婷婷| 综合99久久| 日本久久网| 国产精品VIDEOSSEX久久发布| 欧美婷婷色| 国产九月婷婷| 色婷婷综合影院| 色婷婷成人网| 伦乱美欧| 久久 视频这里只有精总| 久8色色| 六月婷婷五月天| 五月天社区婷婷丁香社区| 成人丁香色| 亚洲色99| 国产精产国品一二三在观看| 久久无意婷婷| 婷婷久久综| 日韩无码一区二区三区四区| 99热青青草原| 狠狠干在线| 婷婷五月天久久久| 激情久久久| 97婷婷五月丁香| 国产AV不卡福利| 色狠狠狠干| 午夜无码精品色综合久久| www.henhengan| www久久99| 亚洲色色色| 欧美三级大片AA在线看| 丁香五月婷婷亚洲综合精品| 26uuu色噜噜精品一区| www.亭亭五月天| 大香蕉久艹| 狠狠干,狠狠操| 亚洲色区17| 五月婷婷啪啪啪| 米奇激情婷婷| 高清无码网址| 日本天天色| 国产精品 的国产| 久婷婷婷| 丁香五月天激情综合网| 99色综合| 99久久婷婷| 91刘玥视频在线观看| 久热无码| 综合五月天婷婷色| 欧美丁香五月97色| 国产成人精品一区二三区熟女在线| 亚洲蜜乳AV| 激情四射五月天偷偷看婷婷| 思思热久久爱| 色吧五月婷婷| 丁香五月激情图片婷婷| 999婷婷综合| 五月婷婷乱| 91干视频| 涩丁香| 六月婷婷综合| 天天干、天天日日| 婷婷午夜| 久热99中文字幕| 91一起艹| 五月婷色激情五月| 久机视频这只有精品| 五月天综合色| 五月丁香综合激情在线观看| 丁香五月a| 99ri在线视频| 丁香婷婷婷婷十二月在线观看视频| 日韩啪啪网| 天天摸色吧天天摸色吧| 可以看的av网站| WWW.久久久久久久久久久久久| 久久黄色免费视频| 思思热在线| 日韩一级一片内射视频4K| 日本三级日本三级99| 天天综合网亚洲综合网| 夜夜爽天天爽| 大胆伊人久久| 五月色婷婷AV| 色五月婷婷亚洲| 激情五月天福利| 五月婷婷视频啪啪美女| 爱久综合| 激情五月婷婷色综合| 婷婷激情五月天网站| 久久婷婷五月天| 一二线视频 另类| 久久久精品99亚洲综合| 久久婷婷视频| 色99最新网址| 99re思思在线视频| 久久综合丁香| 国产婷婷久久| 五月天婷婷深深爱| 婷色五月天| 婷婷五月综合社区| www.日日夜夜.com| 亚洲精品久久久久久久久久飞鱼| 亚洲1区| 综合网啪| 丁香五月婷婷综合激情哟哟哟| 91操色| www婷婷| 五月天婷婷色综合| 就爱操www com| 丁香色婷婷| 99人人操人人操人人精| 女人天堂 AV| A片试看120分钟做受视频红杏 | 丁香五月六月婷婷自拍| 这里只有精品视频免费在线观看| 中文在线成人| 五月婷婷六月丁香综合| 大香蕉色婷婷伊人在线| 夜夜躁狠狠| 久久久激情| 久久亭亭电影| 精品无码99| 嫩草极品| 99热这里只有精品国产免费| 久久婷五月天| 婷婷五月AV| 激情综合网激情五月天| 9色免费网| 天天综合社区| 色无婷婷| 五月丁香人人婷婷在线观看| 精品一二三区久久AAA片| 婷婷丁香五月天哟啪| 激情九月婷婷| 久久人人九九| 九九 激情 网| 精品人妻在线| 狠狠干在线| 婷婷五月六月丁香| 五月丁香六月成人| 亚洲国产另类av| 99爱在线视频观看| 九月色婷婷婷| 五月天久久综合婷婷丁香| www.91av.com| 四色女婷婷| 午夜伊人大香蕉| 色五月五月丁香| 丰满少妇乱A片无码| 很操日本7| 99精品国产乱码久久久人妻| 婷婷色5月天在线。| 五月天激情小说| 综合五月天亚洲婷婷| 99精品无码| 亚洲成色综合网站免费观看| 综合网色| 婷婷五月天无码熟女| BBWCUCKOLD精品熟妇| 最新激情五月天| 亚洲情综合五月天| 婷婷五月天论坛| 大香伊人久色| 99国产这里只有精品| 色色色五月天激情资源| 婷婷五月天啪啪| 亚洲自拍天堂| 97资源欧美日韩大香蕉超碰一区| 欧美日韩成人在线观看| 久热成人| 五月婷婷激情四季| 六月丁香五月婷婷| anquye伊人| 国产黄大片在线观看画质优化| 精品成人无码A片观看香草视频| chaopengdaxiangjiao| 天天色综合网1| 大香蕉娱乐| 丁香久月| 人妻综合网| 色色五月天婷婷| 久久精品小视频| 激情综合文学| 99精品视频免费观看| 综合色网站| 丁香六月激情综合| 六月亚洲| 天天干天天日蜜臀av| 欧洲激情精品婷婷| 殴美激情综合网| 国产精品色婷婷99久久精品| 欧美色图45678| 婷婷丁香色无五月| 久久sp免费视频| 国产成人AV在线播放| 久久婷婷五月| 三级av在线| 五月婷在线视频免费看| 92国产福利| 黄网在线播放| 五月婷婷插一插| 美女91一起草| 五月天天天色| 人妻在线中文字幕久久| 激情婷婷五月在线合集| 99热1| 丁香六月婷婷缴情欧美| 逼特逼在线免费播放| 国产密乳av一区二区三区四区| 九九色色网| 五月丁香久久| 国产午夜一区二区三区| 亚洲av免费在线| 免费观看欧美成人AA片爱我多深| 天堂AV在线看| 成人五月天丁香婷| 成人精品视频99在线观看免费| 性99网站| 婷婷无码视频| 五月网站| 中文av网| 美女va| 五月婷婷亚洲综合在线| 亚洲第一第二网站| 深爱五月天天| 丁香五月最新地址| 性做爰1一7伦| 亚洲热视频在线| 婷婷五月天AV网| 丁香六月综合| 人人摸人人搞| 无码人妻电影| 色五月天激情| 亚洲六月婷| 成人毛片在线免费观看| 欧美色色色| 五月六月婷| 广东99色在线| 996热re视频在线观看视频| 婷婷五月天电影网| 色色色色色色色色综合网| 天天噜日日噜综合无码| 激情五月四色| 久久久中文| 色综合色综合网| 人人澡玖玖一| 九九色插| 99九九视频| 一级A片天天操夜夜操| 久久久久婷婷| 九九Y精品热播| 91九色首页| 79精品视频在线观看,| 99热久久这里只有精品| 91 原创 在线 九色| 国产肥白大熟妇BBBB视频| 婷婷五月天影视首页| 婷婷黄色五月天在线视频| 天天搞天天色综合| AV片一区在线观看| 怡红院视频| 狠狠做婷婷| 日日想日日夜日日操| 色婷婷五月天偷拍| 教师性爱毛片| 99精品综合| 五月狠狠| 深爱激情久久| 99er日韩| 99色五月| 91怕怕网| 丁香五月婷婷啪啪| 黄色成人网站在线播放| 99热日韩| 东京热伊人| www.com任你艹| 香蕉影院色| 婷婷丁香五月综合| 激情五月天婷婷| 66精品成人免费网站在线观看| 色婷丁香五月| 五月丁香久久网| 九九99偷拍视频| 久久精品99国产精品日本| 香蕉久久国产AV一区二区| 亚洲激情五月天| 激情婷婷五月色| 丁香六月天婷婷在线| 婷婷午夜激情| 久久超级碰视频| 91人在线观看| 国产99热| 色色色免费视频| 秋霞AV淫| 狠狠色综合久久| 思思热在线精品视频网站| 久鲁鲁色网 | 久久er这里只有精品| www99久久| 婷婷天堂综合网| 性欧美大战久久久久久久83| a久久| 99色亚洲| 另类视在线| 五月丁香成人视频| 99色最新在线视频网站| 西瓜美女a片| 六月婷婷无码| 综合天天综合| 九九aV| 琪琪色热色色| 92久操视频| 99ri6在线视频| 另类丁香五月天区图| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 免费成人网在线观看| 操b视频在线观看一区二区| 乱精品一区字幕二区| 能看的AV| www.夜夜操| www.99视频| 九九热在线99| 婷婷六月久久综合导航| 中文字幕av在线| 91黄操| 久久玖玖综合| 综合伊人久久| www.射伊蕉婷婷| 色五月偷偷| 五月天色区| 日本色综合| 天天日天天插| 久久激情天堂| 久青操| 丁香五月激情综合| 狠狠色大香蕉| xx久久| 日韩成人AV在线| WWW.99热| 天天爱天天做天天操| 午夜天堂啪啪|