欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

智能駕駛測(cè)評(píng)體系從零搭建:標(biāo)準(zhǔn)、場(chǎng)景庫(kù)與關(guān)鍵指標(biāo)

智能駕駛測(cè)評(píng)體系從零搭建:標(biāo)準(zhǔn)、場(chǎng)景庫(kù)與關(guān)鍵指標(biāo) 簡(jiǎn)介中信建投證券于2021年8月14日發(fā)布的中國(guó)汽研601965深度研究報(bào)告聚焦智能駕駛測(cè)評(píng)這一稀缺賽道認(rèn)為公司是攻守兼?zhèn)涞膬?yōu)質(zhì)標(biāo)的適合關(guān)注汽車服務(wù)、智能網(wǎng)聯(lián)檢測(cè)領(lǐng)域的投資者與行業(yè)研究人員研讀。資源為單份PDF文件大小4.89MB排版清晰包含公司業(yè)務(wù)拆解、汽車前裝檢測(cè)行業(yè)格局、智能汽車檢測(cè)市場(chǎng)空間測(cè)算、投資評(píng)價(jià)及盈利預(yù)測(cè)等核心模塊。已有169人學(xué)習(xí)下載內(nèi)容不僅覆蓋傳統(tǒng)檢測(cè)業(yè)務(wù)的穩(wěn)健增長(zhǎng)邏輯還重點(diǎn)剖析了技術(shù)、產(chǎn)品、消費(fèi)、政策四重催化下智能化檢測(cè)的增量空間并給出2021-2023年歸母凈利潤(rùn)及EPS預(yù)測(cè)同時(shí)提示了滲透率不及預(yù)期等風(fēng)險(xiǎn)。對(duì)理解第三方檢測(cè)機(jī)構(gòu)在智能駕駛產(chǎn)業(yè)鏈中的卡位價(jià)值具有直接參考意義。1. 智能駕駛測(cè)評(píng)為什么成了關(guān)鍵瓶頸一份研報(bào)背后的技術(shù)機(jī)會(huì)智能駕駛測(cè)評(píng)是這個(gè)行業(yè)里少數(shù)“聽(tīng)起來(lái)只是測(cè)試、實(shí)際上決定能不能量產(chǎn)”的方向。某券商2021年的一份行業(yè)深度報(bào)告把一家汽車技術(shù)研究機(jī)構(gòu)的智能駕駛測(cè)評(píng)能力單獨(dú)拎出來(lái)講并在標(biāo)題里用了“稀缺”二字——這個(gè)判斷放到現(xiàn)在依然成立很多團(tuán)隊(duì)能做出會(huì)跑的智能駕駛系統(tǒng)卻很難拿出讓人信服的證據(jù)證明它在各種場(chǎng)景下足夠安全、可批量交付。這篇筆記不聊投資只聊技術(shù)落地智能駕駛測(cè)評(píng)到底是什么、怎么搭、參數(shù)怎么設(shè)、坑在哪以及它值不值得作為方向投入。2. 智能駕駛測(cè)評(píng)體系怎么拆標(biāo)準(zhǔn)、場(chǎng)地與四層測(cè)試任務(wù)2.1 法規(guī)標(biāo)準(zhǔn)是測(cè)評(píng)的第一層地基智能駕駛測(cè)評(píng)不是“自己覺(jué)得測(cè)過(guò)了就算數(shù)”它有一套從法規(guī)到行業(yè)認(rèn)可的規(guī)則體系。早期大部分主動(dòng)安全功能是車企自愿做測(cè)多測(cè)少全看良心現(xiàn)在各國(guó)都在把AEB自動(dòng)緊急制動(dòng)、LKA車道保持輔助這類基礎(chǔ)ADAS功能納入新車評(píng)價(jià)規(guī)程甚至強(qiáng)制性準(zhǔn)入范圍沒(méi)有第三方測(cè)評(píng)報(bào)告車型連上市銷售這關(guān)都過(guò)不去。這就是測(cè)評(píng)能力成為稀缺資源的第一層原因它已經(jīng)從“加分項(xiàng)”變成了“及格線”。對(duì)剛接觸這個(gè)方向的人來(lái)說(shuō)建議先理清三類標(biāo)準(zhǔn)強(qiáng)制性法規(guī)管的是底線重點(diǎn)看AEB、車道偏離預(yù)警、盲區(qū)監(jiān)測(cè)等基礎(chǔ)功能在特定車速和場(chǎng)景下是否觸發(fā)判據(jù)是“有沒(méi)有”和“何時(shí)觸發(fā)”。第三方評(píng)價(jià)規(guī)程在法規(guī)之上做更嚴(yán)格的安全星級(jí)評(píng)價(jià)增加了更多場(chǎng)景類型、更細(xì)的通過(guò)條件考的是“表現(xiàn)好不好”。功能安全與預(yù)期功能安全標(biāo)準(zhǔn)前者面向電子電氣系統(tǒng)失效后者面向系統(tǒng)在規(guī)范使用下仍可能出現(xiàn)的性能局限。嚴(yán)格來(lái)說(shuō)ISO 26262和ISO 21448這兩類標(biāo)準(zhǔn)是測(cè)評(píng)體系的“元規(guī)則”它們決定了測(cè)評(píng)活動(dòng)本身的流程合規(guī)性。標(biāo)準(zhǔn)是不斷演進(jìn)的黑匣子別指望背下來(lái)關(guān)鍵是建立一條追蹤機(jī)制。我一般會(huì)在團(tuán)隊(duì)里維護(hù)一份標(biāo)準(zhǔn)條款與測(cè)試用例的映射表每條標(biāo)準(zhǔn)落到具體場(chǎng)景、具體判據(jù)標(biāo)準(zhǔn)一更新就回頭逐條核對(duì)映射關(guān)系。這個(gè)動(dòng)作本身不復(fù)雜但沒(méi)有它測(cè)評(píng)體系很快就會(huì)變成“測(cè)了什么不知道、為什么這么測(cè)也不知道”的狀態(tài)。2.2 四層測(cè)試任務(wù)法規(guī)測(cè)試、功能測(cè)試、場(chǎng)景測(cè)試與預(yù)期功能安全實(shí)際工程里我不會(huì)把測(cè)評(píng)簡(jiǎn)單理解成“拉一臺(tái)車出去跑”而是拆成四個(gè)遞進(jìn)的層次層級(jí)測(cè)什么典型手段核心判據(jù)法規(guī)測(cè)試法規(guī)要求的主動(dòng)安全功能封閉場(chǎng)地 標(biāo)準(zhǔn)場(chǎng)景是否觸發(fā)、是否在要求區(qū)間內(nèi)響應(yīng)功能測(cè)試功能定義范圍內(nèi)的性能封閉場(chǎng)地 仿真響應(yīng)時(shí)間、控制精度、誤報(bào)率場(chǎng)景測(cè)試真實(shí)交通中的泛化能力場(chǎng)景庫(kù) 道路采集 仿真回放場(chǎng)景覆蓋率、危險(xiǎn)事件率預(yù)期功能安全測(cè)試系統(tǒng)性能邊界之外的風(fēng)險(xiǎn)邊界掃掠 故障注入 統(tǒng)計(jì)分析殘余風(fēng)險(xiǎn)是否可接受法規(guī)測(cè)試解決“合不合法”功能測(cè)試解決“做沒(méi)做到”場(chǎng)景測(cè)試解決“遇到?jīng)]見(jiàn)過(guò)的交通情況怎么辦”預(yù)期功能安全測(cè)試解決“系統(tǒng)自己都不知道自己不行的時(shí)候怎么辦”。最后一個(gè)最常見(jiàn)但最容易被忽略——很多系統(tǒng)在傳感器視野、算法性能邊界之外悄悄失效沒(méi)有預(yù)期功能安全的視角單靠堆場(chǎng)景永遠(yuǎn)測(cè)不完。四層測(cè)試必須配套使用不能互相替代。法規(guī)測(cè)試過(guò)了不代表場(chǎng)景測(cè)試能過(guò)場(chǎng)景測(cè)試跑得再好也不代表預(yù)期功能安全風(fēng)險(xiǎn)已閉環(huán)。建議新團(tuán)隊(duì)先做1到2層把測(cè)試基礎(chǔ)設(shè)施跑通再逐步向上疊加。2.3 測(cè)評(píng)中心的角色為什么說(shuō)它是“攻守兼?zhèn)洹钡耐度搿肮ナ丶鎮(zhèn)洹边@個(gè)詞雖然不是技術(shù)參數(shù)但放在測(cè)評(píng)方向上其實(shí)很貼切?!肮ァ钡囊幻嬖谟谡l(shuí)先建起高置信度的測(cè)評(píng)體系誰(shuí)就有能力定義行業(yè)測(cè)試標(biāo)準(zhǔn)、承接第三方檢測(cè)業(yè)務(wù)形成進(jìn)入壁壘研發(fā)團(tuán)隊(duì)也能用這套體系反過(guò)來(lái)拷問(wèn)算法逼著感知、規(guī)控模塊往更難的場(chǎng)景迭代?!笆亍钡囊幻嬖谟诓还苤悄荞{駛走純視覺(jué)還是多傳感器、依賴高精地圖還是無(wú)圖方案最終都要用同一套測(cè)評(píng)方法來(lái)驗(yàn)收測(cè)評(píng)是技術(shù)路線分叉時(shí)仍然存在的確定性需求。這也是為什么不少整車廠和供應(yīng)商寧可花大價(jià)錢自建測(cè)試團(tuán)隊(duì)而不是全部委托給外部機(jī)構(gòu)——外部報(bào)告解決“能不能賣”內(nèi)部測(cè)評(píng)解決“怎么改”。兩條線一次投入兩頭受益。對(duì)于想切入這個(gè)方向的工程師來(lái)說(shuō)意味著兩類機(jī)會(huì)一類是進(jìn)第三方檢測(cè)機(jī)構(gòu)把單點(diǎn)場(chǎng)景做成標(biāo)準(zhǔn)化產(chǎn)品另一類是在主機(jī)廠內(nèi)部從零搭建測(cè)評(píng)能力直接服務(wù)研發(fā)迭代這兩條路都值得投入。3. 從零搭建一套可用的測(cè)評(píng)環(huán)境真值系統(tǒng)、場(chǎng)景庫(kù)與最小閉環(huán)3.1 測(cè)試車輛改造真值系統(tǒng)、數(shù)據(jù)采集與時(shí)間同步把普通測(cè)試車改造成“能用來(lái)評(píng)測(cè)智能駕駛的車”最難的部分不是裝傳感器而是讓所有傳感器說(shuō)實(shí)話。測(cè)評(píng)依賴真值也就是“那一刻真實(shí)世界到底是什么狀態(tài)”如果沒(méi)有高精度真值系統(tǒng)被測(cè)系統(tǒng)的輸出根本無(wú)從比對(duì)。我的常見(jiàn)做法是分三步走。第一步裝組合慣導(dǎo)也就是RTK差分定位加慣性測(cè)量單元用來(lái)輸出厘米級(jí)位置、速度、姿態(tài)和精確時(shí)間基準(zhǔn)第二步同步采集CAN總線信號(hào)、攝像頭視頻、激光雷達(dá)點(diǎn)云和毫米波雷達(dá)目標(biāo)列表覆蓋感知和決策執(zhí)行兩側(cè)的關(guān)鍵數(shù)據(jù)第三步給所有傳感器統(tǒng)一打硬件時(shí)間戳這是最容易被輕視的一步。很多數(shù)據(jù)采集方案里視頻流有自己的時(shí)間戳CAN信號(hào)有自己的時(shí)間戳兩套時(shí)間體系差幾百毫秒很常見(jiàn)問(wèn)題當(dāng)時(shí)看不出來(lái)一但拿去做場(chǎng)景回放就全亂了。時(shí)間同步的工程實(shí)現(xiàn)上首選方案是讓所有采集設(shè)備跟隨同一個(gè)時(shí)鐘源。差分GPS接收機(jī)輸出PPS脈沖或者用PTP精確時(shí)間協(xié)議把統(tǒng)一時(shí)間同步到網(wǎng)內(nèi)各設(shè)備確保各傳感器幀級(jí)對(duì)齊。做數(shù)據(jù)回放時(shí)還要再校驗(yàn)一次同步偏移方法很簡(jiǎn)單找一個(gè)急剎車片段對(duì)比CAN里的車速驟降時(shí)刻與視頻里剎車燈點(diǎn)亮?xí)r刻兩者差應(yīng)小于一個(gè)視頻幀。這套環(huán)境涉及不少硬件安裝和標(biāo)定工作很難一次到位。新團(tuán)隊(duì)建議先用一臺(tái)車、一條固定環(huán)線、一套采集配置跑通全流程再擴(kuò)展到多車多路線不要一上來(lái)就鋪開(kāi)。3.2 場(chǎng)景庫(kù)建設(shè)從自然駕駛數(shù)據(jù)到可復(fù)現(xiàn)的測(cè)試用例測(cè)評(píng)的第二塊地基是場(chǎng)景庫(kù)。場(chǎng)景庫(kù)不是把路測(cè)數(shù)據(jù)存起來(lái)就行它的核心目標(biāo)是把真實(shí)交通里發(fā)生的事變成可復(fù)現(xiàn)、可參數(shù)化、可批量執(zhí)行的測(cè)試用例。場(chǎng)景來(lái)源通常有這么幾個(gè)自然駕駛數(shù)據(jù)里的典型行為片段前車急剎、鄰車切入、行人橫穿、交通事故數(shù)據(jù)里的高風(fēng)險(xiǎn)片段、法規(guī)標(biāo)準(zhǔn)要求的固定場(chǎng)景、以及針對(duì)被測(cè)系統(tǒng)弱點(diǎn)的對(duì)抗生成場(chǎng)景。其中自然駕駛數(shù)據(jù)的利用效率最高但也是最難做清理的——一段幾十公里的數(shù)據(jù)里可能只有幾秒鐘是真正有價(jià)值的場(chǎng)景。場(chǎng)景需要參數(shù)化。拿最常見(jiàn)的切入場(chǎng)景cut-in舉例不能只記“旁邊車道有車插進(jìn)來(lái)”而要拆成目標(biāo)車切入時(shí)的縱向相對(duì)距離、橫向跨越速度、相對(duì)車速、自車車速、車道類型、路面附著狀態(tài)等一組參數(shù)。這樣同一個(gè)邏輯場(chǎng)景就能派生出幾十上百條具體用例覆蓋不同難度邊界。我個(gè)人會(huì)按“功能場(chǎng)景—邏輯場(chǎng)景—具體場(chǎng)景”三層來(lái)組織場(chǎng)景庫(kù)功能場(chǎng)景描述事件類別邏輯場(chǎng)景定義參數(shù)取值范圍具體場(chǎng)景給出每一組確定參數(shù)值。每次路測(cè)發(fā)現(xiàn)的新危險(xiǎn)事件就把它沉淀為一條新的邏輯場(chǎng)景逐步擴(kuò)大覆蓋邊界。這是一項(xiàng)需要長(zhǎng)期積累的工作但也是測(cè)評(píng)能力最深的護(hù)城河。3.3 最小可用的自動(dòng)化測(cè)評(píng)閉環(huán)示例測(cè)評(píng)體系的“骨架”確定后還要跑通一個(gè)最小的自動(dòng)化閉環(huán)讀數(shù)據(jù)、識(shí)別場(chǎng)景事件、算指標(biāo)、出報(bào)告。下面給一個(gè)精簡(jiǎn)但能直接改用的示例演示cut-in場(chǎng)景下“系統(tǒng)響應(yīng)時(shí)間”的評(píng)估邏輯。from dataclasses import dataclass import json dataclass class FrameData: ts: float # 本幀時(shí)間戳統(tǒng)一為UTC毫秒 ego_speed: float # 自車速度m/s ego_acc: float # 自車縱向加速度m/s2制動(dòng)為負(fù) target_lat: float # 目標(biāo)車橫向位置m自車中心線為0 target_lon: float # 目標(biāo)車縱向相對(duì)距離m自車位置為0 target_rel_v: float # 目標(biāo)相對(duì)速度m/s正為接近 def load_frames(data_dir: str, start: int 1, end: int 400): frames [] for i in range(start, end 1): with open(f{data_dir}/{i:04d}.json, r, encodingutf-8) as f: raw json.load(f) frames.append(FrameData(**raw)) return frames def is_cut_in(frame: FrameData) - bool: # 典型切入事件目標(biāo)橫向位置位于本車道邊界附近且有接近趨勢(shì) return abs(frame.target_lat) 0.3 and frame.target_rel_v 0.5 def evaluate_cut_in_response(frames): event_start None response_time -1 for frame in frames: if is_cut_in(frame): if event_start is None: event_start frame.ts # 事件發(fā)生時(shí)刻首次越線 continue if event_start is not None and frame.ego_acc -1.0: response_time frame.ts - event_start # 系統(tǒng)開(kāi)始明顯制動(dòng) break max_deceleration min(f.ego_acc for f in frames) return { cut_in_detected: event_start is not None, response_time_ms: response_time, max_deceleration_m2s: max_deceleration, } if __name__ __main__: frames load_frames(./data/cut_in_case) result evaluate_cut_in_response(frames) print(json.dumps(result, ensure_asciiFalse, indent2))代碼的邏輯不復(fù)雜逐幀讀入數(shù)據(jù)先判斷是否出現(xiàn)切入事件再找系統(tǒng)開(kāi)始明顯制動(dòng)的時(shí)刻兩者相減得到響應(yīng)時(shí)間。參數(shù)上注意三個(gè)地方target_lat的閾值0.3米表示目標(biāo)車已經(jīng)進(jìn)入本車道邊界太小容易漏檢太大會(huì)把鄰道正常行駛也算進(jìn)來(lái)target_rel_v的0.5米/秒用于過(guò)濾靜止干擾物制動(dòng)判定閾值-1.0米/秒2不是隨意定的它對(duì)應(yīng)大多數(shù)人能感知到的平緩制動(dòng)下限低于這個(gè)值可能是傳感器噪聲或輕微波動(dòng)容易誤判。這是最簡(jiǎn)的規(guī)則版本。實(shí)際生產(chǎn)中會(huì)替換掉硬編碼閾值事件識(shí)別交給基于目標(biāo)跟蹤的算法制動(dòng)判定結(jié)合AEB觸發(fā)信號(hào)和加速度曲線斜率。但接口設(shè)計(jì)可以沿用這個(gè)思路——數(shù)據(jù)幀結(jié)構(gòu)統(tǒng)一、評(píng)價(jià)邏輯與采集格式解耦、結(jié)果輸出成標(biāo)準(zhǔn)JSON后續(xù)換算法、換傳感器都只改局部模塊。4. 測(cè)評(píng)指標(biāo)怎么定從“能剎住”到“敢說(shuō)安全”的五個(gè)關(guān)鍵指標(biāo)4.1 功能指標(biāo)觸發(fā)條件、響應(yīng)時(shí)間與控制質(zhì)量功能指標(biāo)的難點(diǎn)不是“有沒(méi)有指標(biāo)”而是“指標(biāo)之間會(huì)打架”。比如AEB測(cè)試只盯著“觸發(fā)距離夠不夠遠(yuǎn)”系統(tǒng)就可能提前緩剎結(jié)果在密集車流里經(jīng)常被后車追尾只盯著“響應(yīng)時(shí)間夠不夠快”系統(tǒng)又可能頻繁誤觸發(fā)搞得駕乘體驗(yàn)一塌糊涂。所以功能指標(biāo)要一組一組看不能單點(diǎn)考核。我常用的一組最小功能指標(biāo)是觸發(fā)條件邊界記錄系統(tǒng)觸發(fā)時(shí)的本車速度、目標(biāo)相對(duì)速度、TTC碰撞時(shí)間閾值。重點(diǎn)看閾值附近的表現(xiàn)通常要求臨界區(qū)內(nèi)的觸發(fā)一致性不能同一參數(shù)狀態(tài)時(shí)而觸發(fā)時(shí)而不觸發(fā)。響應(yīng)時(shí)間從事件發(fā)生到系統(tǒng)輸出控制指令的時(shí)間差。cut-in場(chǎng)景一般看100毫秒級(jí)差異AEB場(chǎng)景對(duì)響應(yīng)穩(wěn)定性要求更高跑同一場(chǎng)景多次時(shí)響應(yīng)時(shí)間方差不能過(guò)大??刂瀑|(zhì)量不只問(wèn)“剎沒(méi)剎住”還要看減速度曲線平滑度、橫向偏移峰值、駕駛員主觀體驗(yàn)。用“最大減速度變化率”來(lái)量化粗暴程度減速度變化率超過(guò)一定閾值就觸發(fā)舒適性告警。這三類指標(biāo)的權(quán)重隨場(chǎng)景而變化法規(guī)測(cè)試最看重觸發(fā)條件邊界因?yàn)槟鞘堑拙€用戶日常體驗(yàn)最看重控制質(zhì)量和誤觸發(fā)率安全評(píng)價(jià)則把響應(yīng)時(shí)間放到第一位。建議在測(cè)試規(guī)范里明確寫(xiě)明每類場(chǎng)景的指標(biāo)優(yōu)先序才能避免開(kāi)發(fā)團(tuán)隊(duì)和測(cè)試團(tuán)隊(duì)各說(shuō)各話。4.2 場(chǎng)景指標(biāo)場(chǎng)景覆蓋率與邊界參數(shù)密度場(chǎng)景指標(biāo)回答的問(wèn)題是我們測(cè)過(guò)的這些內(nèi)容能不能代表真實(shí)世界。兩個(gè)指標(biāo)我每次匯報(bào)時(shí)都會(huì)帶上一個(gè)是場(chǎng)景類型覆蓋率另一個(gè)是邊界參數(shù)密度。場(chǎng)景類型覆蓋率指場(chǎng)景庫(kù)中已覆蓋的場(chǎng)景類型占目標(biāo)場(chǎng)景清單的比例。目標(biāo)場(chǎng)景清單從哪里來(lái)從標(biāo)準(zhǔn)要求加真實(shí)事故形態(tài)加路采數(shù)據(jù)聚類結(jié)果三方匯總。注意覆蓋率不等于數(shù)量同一個(gè)cut-in場(chǎng)景參數(shù)稍微變一變就能湊出上千條用例但那只覆蓋了一個(gè)事件類別對(duì)提升覆蓋率沒(méi)有幫助。邊界參數(shù)密度指在參數(shù)空間的邊緣區(qū)域布置的測(cè)試用例數(shù)量。算法往往在參數(shù)邊界附近失效比如目標(biāo)車切入時(shí)橫向距離剛好貼近車道線、相對(duì)速度介于“系統(tǒng)認(rèn)為安全”和“實(shí)際危險(xiǎn)”的臨界值。邊界參數(shù)密度越高越容易暴露潛在失效。我會(huì)用二維參數(shù)網(wǎng)格來(lái)審視場(chǎng)景庫(kù)以相對(duì)距離為橫軸、相對(duì)速度為縱軸觀察用例在網(wǎng)格中的分布凡是邊緣區(qū)域稀疏的就針對(duì)性補(bǔ)測(cè)試用例。4.3 統(tǒng)計(jì)指標(biāo)接管率、風(fēng)險(xiǎn)事件率與置信區(qū)間路測(cè)積累到一定里程后就要用統(tǒng)計(jì)指標(biāo)來(lái)判斷系統(tǒng)整體表現(xiàn)。最常看的是每千公里接管次數(shù)和危險(xiǎn)事件率。接管次數(shù)統(tǒng)計(jì)的是系統(tǒng)請(qǐng)求駕駛員接管或駕駛員因不信任而主動(dòng)接管的次數(shù)危險(xiǎn)事件率則統(tǒng)計(jì)路測(cè)中出現(xiàn)的近距離切入、急剎、偏離車道等風(fēng)險(xiǎn)事件。這里有個(gè)容易翻車的細(xì)節(jié)統(tǒng)計(jì)指標(biāo)必須有明確的定義邊界否則數(shù)據(jù)之間完全不可比。比如接管要區(qū)分“系統(tǒng)請(qǐng)求的被動(dòng)接管”和“駕駛員主動(dòng)接管”兩者含義完全不同再比如危險(xiǎn)事件必須明確定義TTC閾值和事件持續(xù)時(shí)間不然同一段路測(cè)數(shù)據(jù)兩個(gè)人能統(tǒng)計(jì)出兩個(gè)結(jié)果。另一個(gè)是置信區(qū)間問(wèn)題。路測(cè)里程再長(zhǎng)抽樣偏差始終存在。1000公里合法里程里零接管并不代表每千公里接管率真的為零樣本量不足時(shí)這個(gè)結(jié)論非常脆弱。我一般會(huì)先設(shè)定可接受的失效率上限再反推所需的最低測(cè)試?yán)锍潭皇桥芡甓嗌偎愣嗌?。這也是測(cè)評(píng)報(bào)告里最容易被外部專家質(zhì)疑的地方提前算清楚才能站得住腳。5. 智能駕駛測(cè)評(píng)避坑指南五個(gè)讓人翻車的常見(jiàn)問(wèn)題5.1 場(chǎng)景復(fù)現(xiàn)不了先查傳感器時(shí)間同步現(xiàn)象同一個(gè)測(cè)試場(chǎng)景同一套軟件版本上午跑一遍系統(tǒng)觸發(fā)了AEB下午再跑一遍相同場(chǎng)景系統(tǒng)沒(méi)反應(yīng)。換了駕駛員、換了測(cè)試車也無(wú)規(guī)律完全沒(méi)有復(fù)現(xiàn)性。原因最初懷疑是算法問(wèn)題查了很久才發(fā)現(xiàn)是時(shí)間同步漂移。車載攝像頭時(shí)間戳來(lái)自系統(tǒng)時(shí)鐘CAN信號(hào)時(shí)間戳來(lái)自CAN網(wǎng)關(guān)兩套時(shí)間相差約600毫秒?;胤艜r(shí)事件檢測(cè)模塊先看到的是晚到的目標(biāo)信息導(dǎo)致場(chǎng)景狀態(tài)和實(shí)際車輛狀態(tài)錯(cuò)位觸發(fā)邏輯時(shí)好時(shí)壞。解決從采集源頭統(tǒng)一所有傳感器的時(shí)間基準(zhǔn)用差分GPS或PTP做硬件同步并在數(shù)據(jù)回放前加“同步校驗(yàn)”步驟。日常排障建議把時(shí)間戳對(duì)齊檢查做成自動(dòng)化腳本每次回放前先計(jì)算視頻關(guān)鍵事件與CAN信號(hào)關(guān)鍵事件的時(shí)間偏移超過(guò)閾值直接拒絕回放。5.2 結(jié)果不穩(wěn)定把道路測(cè)試當(dāng)臺(tái)架測(cè)試用現(xiàn)象同一版本軟件上周路測(cè)表現(xiàn)優(yōu)秀這周換了一條路、換了個(gè)時(shí)段指標(biāo)直接下滑一截。開(kāi)發(fā)團(tuán)隊(duì)拿著報(bào)告找測(cè)試團(tuán)隊(duì)理論雙方各執(zhí)一詞。原因道路測(cè)試的環(huán)境變量太多交通流密度、日照角度、路面狀態(tài)、隨機(jī)目標(biāo)物都會(huì)影響智能駕駛表現(xiàn)。拿道路測(cè)試數(shù)據(jù)做“版本好壞”的判斷本質(zhì)上是在拿隨機(jī)樣本做統(tǒng)計(jì)推斷樣本量不夠時(shí)結(jié)果必然不穩(wěn)定。解決把“評(píng)審版本”和“抽樣驗(yàn)證”分開(kāi)。版本通過(guò)與否以仿真回歸測(cè)試為基準(zhǔn)——固定場(chǎng)景庫(kù)、固定參數(shù)、固定評(píng)價(jià)邏輯保證可復(fù)現(xiàn)道路測(cè)試只做抽樣驗(yàn)證和未知場(chǎng)景發(fā)現(xiàn)。道路測(cè)試報(bào)告里必須記錄交通流密度、天氣、光照、時(shí)間段并注明該批次結(jié)果不對(duì)應(yīng)版本結(jié)論。5.3 場(chǎng)景參數(shù)太隨意測(cè)出來(lái)好看、上路不好用現(xiàn)象某系統(tǒng)在內(nèi)部所有cut-in測(cè)試中都表現(xiàn)良好一到開(kāi)放道路就頻繁出現(xiàn)“反應(yīng)太晚”的抱怨。測(cè)試團(tuán)隊(duì)一開(kāi)始覺(jué)得是用戶故意刁難后來(lái)才發(fā)現(xiàn)真實(shí)路況的cut-in參數(shù)比測(cè)試場(chǎng)景激進(jìn)得多。原因場(chǎng)景參數(shù)是按“理想情況”設(shè)計(jì)的比如目標(biāo)車緩緩切入、橫向距離剛好壓線、相對(duì)速度卻遠(yuǎn)低于真實(shí)博弈場(chǎng)景中的速度。這種參數(shù)下系統(tǒng)有充足時(shí)間響應(yīng)測(cè)試自然全過(guò)但也完全沒(méi)有暴露性能邊界。解決參數(shù)必須從真實(shí)路采數(shù)據(jù)里提取分布不要憑直覺(jué)填表。把路測(cè)數(shù)據(jù)中所有cut-in事件的橫向距離、縱向距離、相對(duì)速度做分位數(shù)統(tǒng)計(jì)取5%到95%分位范圍作為測(cè)試參數(shù)矩陣。同時(shí)定期用新采集數(shù)據(jù)校準(zhǔn)參數(shù)分布防止場(chǎng)景庫(kù)逐漸偏離真實(shí)路況。5.4 標(biāo)注口徑不統(tǒng)一同一指標(biāo)橫跳的源頭現(xiàn)象同一批點(diǎn)云數(shù)據(jù)兩個(gè)月后再標(biāo)注一遍目標(biāo)物數(shù)量、類別分布和之前差異很大。用新舊標(biāo)注分別評(píng)測(cè)同一套感知算法AEB誤觸發(fā)率指標(biāo)一個(gè)高一個(gè)低不知道系統(tǒng)真實(shí)水平是什么。原因不同標(biāo)注員對(duì)“遮擋目標(biāo)”“遠(yuǎn)距離小目標(biāo)”“部分可見(jiàn)目標(biāo)”的處理標(biāo)準(zhǔn)不一致。有的人只要點(diǎn)云夠幾個(gè)點(diǎn)就標(biāo)有的人要求目標(biāo)輪廓完整才算數(shù)。沒(méi)有統(tǒng)一標(biāo)注規(guī)范數(shù)據(jù)質(zhì)量完全取決于執(zhí)行者個(gè)人尺度和當(dāng)日狀態(tài)。解決先定分類樹(shù)明確每個(gè)目標(biāo)類別的邊界和最小標(biāo)注要求再跑一致性檢驗(yàn)用同一批數(shù)據(jù)進(jìn)行重復(fù)標(biāo)注計(jì)算標(biāo)注一致率不一致的樣本強(qiáng)制復(fù)審。關(guān)鍵數(shù)據(jù)集的標(biāo)注規(guī)范要凍結(jié)版本數(shù)據(jù)更新時(shí)標(biāo)注規(guī)范本身不能隨意改這樣才能保證前后指標(biāo)可比。5.5 只看功能通過(guò)率漏了預(yù)期功能安全評(píng)估現(xiàn)象某系統(tǒng)在所有標(biāo)準(zhǔn)法規(guī)測(cè)試、功能測(cè)試中全部通過(guò)AEB觸發(fā)距離、響應(yīng)時(shí)間都在目標(biāo)范圍內(nèi)但在一個(gè)普通雨夜場(chǎng)景中系統(tǒng)對(duì)路面積水反光產(chǎn)生誤識(shí)別出現(xiàn)一次不必要的緊急制動(dòng)。原因測(cè)試矩陣覆蓋了“系統(tǒng)應(yīng)該會(huì)做什么”但沒(méi)有覆蓋“系統(tǒng)在什么條件下不知道自己做不到”。雨夜反光導(dǎo)致傳感器產(chǎn)生虛假目標(biāo)感知模塊置信度不夠高卻仍然輸出了危險(xiǎn)目標(biāo)規(guī)控模塊按正常邏輯觸發(fā)制動(dòng)整套鏈路“功能正常”但整體行為錯(cuò)誤。解決引入預(yù)期功能安全視角給感知、決策、執(zhí)行各環(huán)節(jié)建立性能邊界清單專門設(shè)計(jì)“邊界掃掠”用例。比如把傳感器退化條件雨霧、逆光、低對(duì)比度和場(chǎng)景條件做成交叉矩陣逐格掃過(guò)找出“看起來(lái)正常、實(shí)際不可信”的盲區(qū)。這類測(cè)試更應(yīng)該納入版本準(zhǔn)入條件因?yàn)樗┞兜恼钦鎸?shí)路測(cè)中最危險(xiǎn)的那類事故。6. 把測(cè)評(píng)沉淀成能力一份可復(fù)現(xiàn)測(cè)試規(guī)范的最小樣本測(cè)評(píng)做到最后拼的不是某一次測(cè)試做得多漂亮而是能不能讓測(cè)試結(jié)果長(zhǎng)期穩(wěn)定可信。我的習(xí)慣是每接手一個(gè)項(xiàng)目第一件事先沉淀一份可復(fù)現(xiàn)的測(cè)試規(guī)范讓后來(lái)者拿著文檔就能復(fù)現(xiàn)結(jié)果而不是依賴某個(gè)測(cè)試工程師的經(jīng)驗(yàn)。一份最小可用規(guī)范至少包含這幾個(gè)部分模塊要寫(xiě)清楚的內(nèi)容示例測(cè)試目的本次測(cè)試要回答什么問(wèn)題驗(yàn)證V2.3版本在雨天cut-in場(chǎng)景下的響應(yīng)表現(xiàn)前置條件車輛狀態(tài)、軟件版本、場(chǎng)地、氣象封閉場(chǎng)地濕滑路面軟件版本V2.3.1場(chǎng)景矩陣場(chǎng)景編號(hào)、參數(shù)組合、來(lái)源CutIn_023相對(duì)距離8-12m相對(duì)速度15-20km/h數(shù)據(jù)記錄記錄哪些信號(hào)、采樣率、格式CAN、視頻、點(diǎn)云全部帶統(tǒng)一時(shí)間戳通過(guò)判據(jù)每個(gè)指標(biāo)的合格線響應(yīng)時(shí)間≤600ms無(wú)危險(xiǎn)事件回歸觸發(fā)什么條件下需要重跑感知、規(guī)控算法變更后全量重跑制定規(guī)范時(shí)的關(guān)鍵原則是一切判據(jù)要寫(xiě)在執(zhí)行之前不允許在跑完數(shù)據(jù)之后再“根據(jù)數(shù)據(jù)表現(xiàn)”調(diào)整閾值否則指標(biāo)會(huì)不斷向系統(tǒng)能力妥協(xié)測(cè)評(píng)就失去了拷問(wèn)系統(tǒng)的意義。我在團(tuán)隊(duì)里定死了一條規(guī)矩測(cè)試參數(shù)和判據(jù)變更必須走評(píng)審流程禁止個(gè)人在執(zhí)行過(guò)程中臨時(shí)修改。還有一條重要經(jīng)驗(yàn)把每次回歸測(cè)試的輸入和輸出連同軟件版本一起歸檔。三個(gè)月后有人質(zhì)疑某個(gè)指標(biāo)是當(dāng)時(shí)“測(cè)錯(cuò)了”時(shí)能快速調(diào)出當(dāng)時(shí)的數(shù)據(jù)包、場(chǎng)景參數(shù)和軟件版本號(hào)直接重跑驗(yàn)證最有說(shuō)服力。數(shù)據(jù)閉環(huán)的鏈路我也一直在維護(hù)路測(cè)發(fā)現(xiàn)異常片段 → 沉淀為場(chǎng)景用例 → 加入回歸場(chǎng)景庫(kù) → 新版軟件必須重跑。這個(gè)循環(huán)跑得越順暢測(cè)評(píng)能力的護(hù)城河越深我自己在這上面的投入也最值得。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香六月激情国产| www.超碰| 國語久久婷| 婷婷激情社区| 天堂AV在线看| 狠狠色狠狠色综合日日91| 久久久人妻久久久| 五月婷亚洲精品AV天堂| 91婷婷色| 在线观看亚洲AV| 五月丁香六月停停停| BBWCUCKOLD精品熟妇 | 久久99网站| 十区AV| 香蕉久久五月| 综合欧美五月婷婷| 国产人妻777人伦精品HD| 人人干av| 欧美色色色| 久久99激情| 久久久精品色| 中文字幕色色| 婷婷激情啪啪| 婷婷五月天激情综合网| 亚洲AAAA网| 深爱激情网五月| 色播五月婷婷| jiujiu热在线视频| 亚洲性受XXXX五月丁香| 婷婷欧美激情综合| 人妻射精AV| 天天爽人人综合免费7799| 性色婷婷| 97久久草草超级碰碰碰| 婷婷色九月| 久久免费丁香| 婷婷狠狠18禁久久| 色婷婷久久天天性爱| 99热性色| 超级碰碰91| 秋霞日本免费毛片A片| 欧美人人超级碰| 欧美人人草草| 国产精品视频网| 九九综合88| 人妻在线观看视频| 97人人干。| 色婷婷在线视频观看| 久久婷综| 91狼友视频在线观看| 99视频这里有精品| 91午夜婷婷狠狠久久综合9色| 97干干干丁香| 91热久88| 久久五月婷综合网| 殴美日韩成人| 婷婷狠狠操| www91在线| 九九色播五月丁香| 亚洲综合1024| 天天色天天搡| 人人色性网| 99久99热| 五月天婷爱综合| 五月婷婷五月天天| 99热这里只有精品无码| 欧美成人网99网| 99er精品视频| 美国十月色婷婷在线观看| 99热这里只有精品66| 色婷婷亚洲精品天天综| 99激情| 99热6这里只有精品6| 性爱网久久| 五月色婷婷在线观看| 激情综合五月激情17| XXXX岛国| 99热在线这里只有精品| 色欲久久久久| 看全色黄大色大片| 天天日,天天插| 99精品性爱| 久9视频| 99激情视频| 久久久99精品免费观看| av首页在线| 久久ri精品视频| 91精品综合久久久五月天| 光棍影院日韩精品| 色婷婷综合网站| 色综合色综合婷婷热| 26uuu国产色| 五月丁香六月婷婷在线小说视频| 99日韩网站| 色五月在线观看| 激情网婷婷五月天| 色综合色综合网| 亚洲中文字幕网| 免费视频WWW在线观看网站| j五月香在线| 婷婷五月综合色小姐小说| 99欧美三级视频| 97极品在线| 久久久久9| 亚洲色精彩| 伍月激情天| 激情宗合网激情五月天| 99视频只有精品| 五月婷婷激情久久| 激情五月天婷婷| 91精品国产综合久久久不卡电影| 中文字幕不卡视频| 超碰chaompinm| 激情五月伊人婷婷| 丁香婷婷激情网站| 久久九九99亚洲国产久精综合| 激情婷婷五月天日本系列| 五月天婷婷色综合| 91九色视频| 丁香九月婷婷| 成人精品网站在线观看| 99在线观看视频| 天天五月香欧美| 伊人婷婷五月| 天天插天天干| 大香蕉五月天婷婷| AV操一操| 亚州色婷婷| 色婷婷五月天激情久久| 久久99热这里只有精品| 直接看的av| 婷婷五月花| 九九在线91| 丁香五月综合激情啪啪| 伊人婷婷激情| 五月天婷婷基地| 五月激情啪啪| 狠狠色色色| 丁香五月婷婷亚洲另类| 九九视频这里是精品五月| 狠狠搞亚洲| 久久伦乱| 怡红院AV亚洲一区二区三区H| 人操91在线| 五月丁香婷中文| 天天干天天日日| 五月婷婷丁香瑟瑟视频| 日狠狠| 啪啪日本欧美| 色~性~乱~伦~噜| 久色姿源| 激情综合一| 五月天桃色深爱网| 国产色色小草视频| 这里只有精彩小视频视频网站| 99色热视频| 婷婷激情六月视频| 欧美顶级少妇做爰HD| 美腿丝袜AV天堂网| 777.色色| 久热69| 激情又色又爽又黄的A片| 丁香六月成人网| 99热18| 欧美日本一区二区三区| 91精品婷婷国产综合久久| 欧美成人一区二区三区在线视频 | 丁香色五月天| 99噜噜噜在线播放| 亚洲精品久久久久久久久久吃药| 色色影院黄大片| 丁香五月色色色色| 天天爱综合网| 亚洲国产精品二二三三区| 一起肏在线视频| 色色色色色级无码| 五月天丁香| 俺也去色| 欧美五月婷婷| 九九精品在线观看视频6| av人人干| 婷婷娌伦网| 国产精品五月丁香| 美女网黄| 97婷婷五月丁香| 婷婷亚洲天堂| 婷婷狠狠操| 思思热在线视频精品| 五月婷天堂视频| 成人va在线观看视频| 天天久| 色婷婷久久| 91精品国产综合久久蜜芽解析速度| 狠狠看狠狠| 色综合天天综合成人网| 日本精品人妻无码77777| 五月丁香无码| 婷婷五月激情视频在线| 欧亚成人A片一区二区| 色天堂97| 丁香久久久| www.婷婷五月| 97色啪| 颜射 精品性爱av| 天天操B| 九月性爱网| www.婷婷网| 六月份天丁香婷婷| 久久婷婷五月天丁香| 亚洲av另类在线观看| 97久久久| 久久99热这里只频精品6学生| AA片在线观看视频在线播放| 激情久久久| 六月丁香激情网| 99热这里只有精| 色偷偷色婷婷| 99在线精品免费视频| 色婷婷五月天| 久久xx| 久久婷婷五月天蜜桃| 亚洲字幕AV一区二区三区四区| 在线看片av| 五月情婷婷| 大地资源色婷婷视频在线 | 久久综合五月天| 91fuliwang| 99久久国产宗和精品1上映| 色色色婷| 海外网站专业操老外| 人人干Av| 熟女人妻一区二区三区免费看 | 亚洲无码你懂的| 深爱五月天天| 99热免费| 人人草公开操| 综合网色| 99久久99视频| 天天爱综合网| 久久久久久久久久久久久久久久久精典| 天天摸天天舔天天爽| 97操操| 丁香玖玖视频大全| se影音资源在线观看| 日本强伦片中文字幕免费看| 丁香婷婷综合五月天| a在线观看| 玖玖色资源| 99re免费精品视频| 五月婷婷丁香| 人妻操日日| 99色爱| 亚洲亚洲人成综合网络| 蜜臀av无码久久久久久久久| 少妇激情五月天| 日本在线99| 岛国AV网| 亚洲视频另类| 五月天色婷婷成人| 亚洲人操亚洲人| 精品99网站| 婷婷丁香五月综合| 玖玖伦理电影| 97综合在线| 国产激情AV| 99热色精品| 六月色 亚洲| 开心五月婷婷在线| 中文字幕无线久必| 开心五月深爱五月婷| 99热色精品| 亚洲一个色| 九九色影视| 在线天堂9| 色香欲综合| AV中文字幕夜夜操b天天摸bb| 日日操,夜夜撸| 亚洲情综合五月天| 五月丁香在线偷拍视频| 99精彩视频网站在线| 91热er| 97色在线| 99er免费在线观看| 婷婷五月天视频免费在线观看| 婷婷综合在线网| 天天影视色综合网| 久久久全国免费视频| 精品九九视频在线观看| 黄网在线免费| 亚洲激情综合五月婷婷啪啪| www.久99| 亚洲激情.com| 精品导航在线x不卡| 激情五月综合网最新| 99日热在线视频| 另类视频丁香五月| 特黄三级又爽又粗又大| 深爱五月激情| 激情五月综合第一页| 丁香五月天堂网| 丁香六月色| 天天干天干| 色婷婷女优有码五月亭| 深爱五月天| 日韩精品一区二区亚洲AV观看| 欧美狠狠色| 国产1区2区| 99热这里只有精品9| 97伊人综合婷婷| 色婷婷色99国产综合精品| 人人综合91网| 久久精品9| 91九色丨国产丨爆乳| 丁香五月91| 91精品国产91久久久久青草| 99热首页| 丁香六月中文| 久久桃花网色婷婷| 激情综合婷婷五月| 麻豆AV一区二区三区| 五月色丁香国产在线视频| 99久久九九视频| 2w在线视频| 五月婷狠狠| 亚洲色情网站| 性爱五月丁香| 人妻无码精品一区| 婷婷久久国产视频| a级毛片一区二区免费视频| 色噜噜婷婷| 久草嫩草在线观看| 久99久精品视频| 91久久久久久久久久久| 欧美久热| 丁香婷婷五月六月天| 亚洲日韩久久婷婷伊人| 婷婷狠狠干| 91嫩草久久| 91丨九色丨丰满人妖| 91久久| www.天天日| 99热在线99| 午夜成人片400| A A色色| 99情色五月天| 9l视频自拍9l九色9l成人| 成人五月天丁香| 99无码视频| 性色播| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 九九在线精点品| 色色色在线免费视频| 综合99视频| 日韩人妻无码精品| 九九色影院| 婷婷丁香五月久久| 任我肏视频精品| 超碰网站在线观看| 亚洲区,视频区,视频区免费| 最近免费中文字幕大全高清大全1| 激情综合六月| 小色小蛇伊人婷婷色香五月| 99热地址| 1995年关宝慧版蜘蛛女| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 人人操 色| 五月婷婷丁香| 久久五月婷综合网| 成人免费网站免费看| 久久婷狠狠色| 婷婷五月天激情偷拍| 97色精品视频| 99ri视频在线播放| 夜夜躁狠狠| 日木WWW视频| 婷婷成年人免费视频| 国产综合色婷婷精品久久| 99激情| 五月婷婷欧美激情| 久99热在线观看| 激情五月天影院| 襙逼网| 玖玖激情网| 激情九月婷婷| 99热这里只有精品热| www99xxxx五月丁| 超碰人人草| 在线综合婷婷| 色婷婷基地| 激情婷婷丁香色五月| 日韩一级网站| 天天干,夜夜爽| 婷婷五月中文在线视频| 国产免费一区二区在线A片视频| 国产精品久久久久久妇女6080| 日本五月视频| 99久视频| AV片在线观看| 日韩成人免费电影| 欧美天天性| 婷婷五月天AV在线| 亚洲人妻av伦理| 色吧五月婷婷| 99五月丁香丁| 久久女人九九| 五月综合激情| 五月天色社区| 六月丁香婷婷视频综合在线观看| 99视频综合网| 色婷婷综合网| 九九精品网| 色噜噜婷婷| 91精品刘玥| 久久综合干| 噜噜噜噜在线| 99热1| 精品一二三区久久AAA片| 激情综合网色播五月| 天天日日人| 伊人大香久久| 国产肥白大熟妇BBBB视频| 五月色影院| 久热只有这里有精品| 婷婷日韩| 99精品综合| 韩国三级五月天婷婷。| 久久这里这里有精品免费视频| 婷婷伊人五月天| 1995年关宝慧版蜘蛛女| 丁香六月久久| 婷婷婷久久| 俺去也五月天婷婷| 五月天另类小说| 桃色Av色哟哟| 97婷婷狠狠久久综合9色| 五月婷婷六月丁香| 天天肏高清在线| 另类丁香五月天区图| 91热视频色网站| 全部老头和老太XXXXX| 啪色综合| 色五月婷婷久久大| 九九热这里只有精品首页| 激情国产五月| 色99视频| 久热黄色| 色五月第四色| 99热香港| 婷婷五月激情欧美| 人人操9| 激情五月影院| 激情五月激情综合网| 丁香开心深爱| 9l视频自拍九色9l视频自拍九色9l社区| 五月伊人91| 丁香六月婷婷色XXXXX| 激情五月婷婷网| 九月婷婷综合八月丁香在线观看| 97碰久久| 久久久久久18| 在线18av | 亚洲精品视频在线播放| 婷婷狠狠操| 亚洲人人干| 欧美久久婷婷| 97在线干| 久久成人亚洲欧美电影| 这里只有精品免费视频| 婷婷五月天深爱| 99热国内精品| 婷婷99丁香| 2025神马午夜福利| 久久99精品视频| 婷婷五月激情欧美| 五月丁香六月婷婷在线观看| 深爱五月天 开心网| 色婷五月天| 嫩草国产| 丁香九月色| 亚洲综合五月天婷婷丁香| 色综合久久88色综合天天99| 日本成人噜噜噜| 99热这里只有精品23| 天天爱天天做天天日| 国产在线自| 久月久在线视频| 99久久婷婷| www.久久久.com| AV人人操| 色色五月婷婷丁香| 五月天综合区| 色七色九九| 超碰在线国产| 天天综合五月天| 操逼视频网址| 大色鬼综合| 97av在线视频| 操91| 91seav| 99热久| 婷婷五月伦理网站| 亚洲 无码 中文字幕 中出| 天天爽成人综合网站| 伊人婷婷色| 久久婷婷五月综合一| 色综合99无码| 精品一二三区久久AAA片| 91Chinese在线| 97在线精品| 99毛片| site:pnnrt.com| 亚洲色亚洲精品| 五月停停999| 婷婷丁香五月基地| 婷婷五月天成人视频| 射婷婷中文字幕| 国产一区二区三区影院| 久久婷婷热| 婷婷综合网| 五月丁香六月香香蕉| 婷婷久久精品| 天天草天天爽| 五月天成人免费视频| 婷婷五月天狠狠| 婷婷五月天在婷| 森林影视大全,最好看的2019年视频 | 婷婷五月天色| 老师把我爽高潮了免费A片| www.金莲av| 91妻人人爽人人看片| 午夜少妇在线观看视频| 五月天开心网| 大香网伊人久久综合| 久久99网| 激情綜合W W W,激情五月天| xxx.色婷婷| 久久99美女精彩视频| 九色PORNY在线精品酒店| AAA久久久| 日本天堂免费99| 开心婷婷中文字幕| 色婷婷的五月天| 久久伊人五月天| 激情六月综合| 亚洲99精品欧美一区| 性天天中文网| 国产玖玖资源| 五月天网站免费欧美| 天天狠狠干| 婷婷五月天在线观看第二页| 久久久激情视频| 婷婷丁香花五月天| 久色网址| 一起草AV| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 手机旧版看人妻1025| 97色啪| 亚洲视频操| 五月天婷婷操逼视频| 久久婷婷五月综合伊人| 日韩成人网址| 五月丁香六月色| 婷婷丁香五月综合| 亚洲国产精品二二三三区| 亚洲亚洲人成综合网络| 婷婷丁香18| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 婷婷久久六月天| 另类国产综合| 亚洲五月色| 久久久久久人妻久久久久久久久久人妻久久久 | 久久人妻少妇嫩草AV| 黄色热99| 色婷婷无吗| 丁香色影院| 亚洲色图81p| 日韩久热| 久久99这里只有精品| 色五月无码| 六月婷伊人| 五月天堂在线| 五月天激情小说欧美激情| 丁香五月六月| 丁香五月综合婷婷| 天天射影院| 精品夜夜澡人妻无码AV| 人人操9| 久久久久久18| 五月天婷婷綜合院| 日本久久99| 久久激情综合| 亚洲精品性色| 天天玩夜夜操| 91精品久久久久久| 五月婷婷六月色| 精品二区| 五月丁香久久色| 香蕉狠狠爱视频| 久热只有这里有精品| 婷婷激情六月综合| ji'qi'luan'ren'lun| 激情五月天色播| 中文字幕综合网| 激情综合五月| 丁香五月综合网| 五月花激情网| 伊人久久婷婷| 狠狠狠人妻| 色婷婷激情五月天| 在线观看中文字幕亚洲| 国产亚洲99久久精品| 人人人操 超碰| 婷婷狠狠爱| 久久久99视频| 九热在线这里有精品6| 丁香五月色五月婷婷宗合| 无套内射极品大美女| 久久性爱视频| 丰满少妇猛烈A片免费看观看| 日本97在线观看| 狼人婷婷综合| 成人五月天色天堂| 五月天婷婷丁香六月| 激情啪啪五月| 九九色精品| 欧美久久九九| 91尤物九色在线| 久热这里有精品视频| 天天操狠狠操| 99久久网站| 色欲一区二区三区精品A片| 狠狠色综合无线观看| 最新av在线观看| 亚洲五月婷婷在线| 99乱视频| 另类视频五月天| 中文字幕婷婷9月天| 婷婷综合一二三| 91男同| 亚洲成人电影aaaa| 99视频只有精品| 成人在线99| 亚洲成AV人片在线观看| 日本三级中文字幕| 丁香五月综合福利视频导航| 色五月播五月| 日日噜噜夜夜狠狠久久丁香六月| 丁香六月婷婷操逼网| 99热久草| www婷婷色情网| 色综合久久88色综合天天99| 五月香婷婷| 99情色五月天| 丁香九月激情| 在热视频精品| 九九激情综合| 色婷婷色综合久久精品V| 1区2区视频| 久久黄色免费视频| 婷婷亚洲五月| 91日韩在线| 色五月综合97| 五月丁香六月婷婷,婷| 思思 热 99| 五月天久久久| 97超级啪啪在线观看| 97精品在线| 五月激情婷婷播播网| 日本高清久| 97色婷婷| 超碰色色综合| 狠狠狠狠狠操| 人妻av在线| 六月婷婷综合网2| 91欧美日韩综合| 丁香激激情网| 九九热在线视频观看| 大香蕉福利导航| 婷婷丁香五月综合| 丁香五月天在线| 伊人五月天在线| WWW久久99久久99久久| 天天日天天做天天舔 | 久久伦乱| 牛牛澡牛牛爽| 九九色热| 日日杆天天| EEUSS鲁片一区二区三区| 婷婷刺激综合| 亚洲看av的网站| 激情久久久久久| 七月丁香婷婷 色色| 久久久久这里都是精品| 婷婷五月天综合久久| 九九热最新| 丁香五月激情综合婷综| 五月婷色丁香| 五月天大香蕉| 月丁香久久久| 开心婷婷五月花| 欧美大香蕉视频| 婷婷五月天成人视频| 六月丁香婷婷拍拍| 色欧洲| 日本人妻伦在线中文字幕| 成人精品人妻| 色色色.COM| 99热91| 丁香五月人妻| 人人视频色| 中文激情网| 久久Xx| 99热99热| 色色99| 国产操B视频| 久热播这里只有精品| 丁香色色网| 激情综合99| 久久欧洲综合网| 色婷婷视频| 色综合久久44| 色五月婷婷综合| 欧美性猛交XXXX乱大交极品| 国产免费一区二区在线A片视频| 九九热最新地址| 韩日另类| 欧美噜噜免费观看| 五月婷婷日| 丁香五月激情五月| 婷婷六月丁香色| 人人摸人人摸| 另类激情五| 婷婷综合爱| 无码激情AAAAA片-区区| 九九黄色网| 天天操天天插| 婷婷六月天| 开心五月婷婷在线视频免费观看| 丁香婷婷基地| 成人av在线网址| 欧美成人网99网| 五月天激情色色| 美女天天久久| 久99久在线| 麻豆精品| 婷婷情色激情| 色五月情| 色久在| 91精品久久久久久综合五月天| 久久超级碰视频| 色五月首页| 99色爱| 热的国产99热| 色五月婷婷久久| 久操干| 五月丁香成人视频| 99五丁香月| 俺去也在线官网| 欧美大肥婆大肥BBBBB| 丁香婷婷六月激情文学| 开心五月综合激情网| 色九九七七| 五月婷婷中文| 日本97在线观看| 天天成人综合视频| 日本熟妇乱妇熟色A片蜜桃| site:pzdcoin.com| 天天操无码| 婷婷久久内射| 天天插天天爽| 五月天丁香花婷婷| 欧美日本一区二区三区| 69超碰在线| 天天 日综合| 亚洲人妻av伦理| 人人色婷婷五月天| 99热这里只有精品中文字幕| www.激情| 综合激情婷婷| 四虎成人精品永久免费AV九九| 久久色五月天| 色五月大| 久热亚洲| 久久99精品久久久久久三级| 五月丁香中文| 丁香六月青青草| 26uuu欧美日本| 大大香蕉综合在线| 五月深爱网| 以及AA大片看看| 日日日影院| 五月综合激情久久| 色婷五月丁香久亚洲| 老师的粉嫩小又紧水又多A片视频| 99热热九九| 中文av网| 综合97五月| 综合激情站| www99热| 夜夜操夜夜操| 综合啪啪| 伊人啪啪网| 超碰成人免费| 深爱激情综合网| 婷婷精品| 丁香五月婷婷基地| 九九这里只这里只有精品| AA丁香综合激情| 色色永久| 日本少妇裸体做爰高潮片| 五月丁香综合精品| 91av传媒高清在线视频网| 五月丁香六月情婷婷久久| 七月婷婷色香综合网| 九九热视频思思| 丁香五月激情五月| 色色A| 国产亚洲成AV人片在线观黄桃| 青青夜夜狠狠夜夜狠狠| 亚洲亚洲人成综合网络| 人人摸人人射| 国自产拍偷拍精品啪啪一区二区| 开心五月丁香啪| 玖玖九九超碰| 激情深爱综合网| 成年视频免费观看| 日韩超碰在线| 亚洲综合色色| 亚洲综合五月| 天天摸,天天爽| 欧美69久成人做爰视频| 欧美性爱5月天天天看| 操草草草| 五月丁香偷拍| 99热线观看9| 9l视频自拍9l九色9l成人| 婷婷色啪| 久婷五月| 色波激情五月天| 三年高清大片免费观看国语| 99色在线观看视频| 色色丁香五月天社区| 亚洲精品在线视频| 成人在线视频网| 色综合久久888| 五月天成人在线视频丁香| 丁香五月影| se影音资源在线观看| 五月婷婷婷| 99色天堂| 色久在| 亚洲av免费在线| 99热国品免费| 一本道在线电影| 午夜婷婷六月天| 亚洲免费av观看| 中文字幕综合网| 色婷丁香五月| 亚洲视频一区| 五月天国产婷婷精品视频在线| 色99在线看| 激情五月婷婷综合| 五月天六月天| 四虎99热在线观看网站| 噜噜狠狠色综合久| 永久无码色| 男同91| 五月亭亭直播| 激情五月天综合网| 人妻少妇色综合| 深爱激情网噜噜色| 男人視頻站| 亚洲成人免费电影| 天天做天天干天天综合网| 97碰 在线视频观看| 婷婷射丁香| 天天久综合网永久入口17v| 亚洲精品视频在线| 热99热9| 婷婷网影院| 色五月婷婷五月| 亚洲VA在线| 射琪琪| 丁香婷婷五月| 色婷婷影音| 五月天停婷基地| 久热这里| 日日夜夜狠狠干| 97久久精品| 99热这里只有精品8| 婷婷五月天激情丁香| 日本99在线视频| 久久婷五月| 天天撸天天干天天插| 色情久久久| 午夜不卡久久精品无码免费 | 丁香六月婷婷综合| 女人被躁到高潮嗷嗷叫小| 九九婷婷网五月天| 99re热视频这里只有综合亚洲| 国产偷人爽久久久久久老妇APP| 无套内射极品大美女| 好好干Av| 在线中文字幕免费视频| 亚洲成人AV在线观看| 丁香 婷婷五月| 97碰操| 九九九九这里只有精品| 五月丁香婷庭在线| 九九婷婷综合| 俺去也五月| 激情五月天偷拍综合网| 另类色视频| 色九九九综合| 久久久com| 五月激情丁香| 久久视频婷婷视频| 99久久婷婷国产综合精品电影| 五月综合激情| 情婷婷五月天在线| 久xxxx| 1024日韩| 色香欲综合| 日韩色色小视频| 9精品一区| 看片视频在线免费日产在线看| 欧美人人草| 婷婷丁香69精华| 色婷婷很很十八禁| 色五月天丁香婷婷| 人妻久久久久久久久妻久久久久| 91免费看片| 国产乱子轮XXX农村| 2017人人操| 天天日天天干天天爱| 婷婷天堂综合网| 岛国av网站| 亚洲第一第二网站| 26UUU一区二区| 碰碰碰97免费精彩视频| 99久久久99久久91熟女| 亚洲六月婷婷| www.色婷婷。com| 免费AV在线| 欧美怡红院黄站| 色婷婷亚洲| 深爱激情久久| 99黄色性生活| 五月色情婷婷| 超碰99在线观看| 99激情| 婷婷色五月久久| 亚洲第一成人无码A片| 五月天丁香婷婷视频网址| 久久激情五月婷婷| 丁香五月婷在线| 92久久| 99视频综合网| 色五月婷婷在线| 狠狠插日日干撸| 99热偷拍| 99精品久久久久久久久| www久| 激情内射p| 久久亚洲网| 97se视频在线| 热热色色五月天婷婷| 天天干天天干天天干天天干天| Www.激情| 天天摸,天天爽| 亚洲最大在线| www.com在线操视频免费观看| 五月丁香在线| 亚州操操| 国产精品成人av在线观看春天| 99色在线观看免费| 日本丁香久在线| 五月停性愛| 99热激情| 亚洲综合五月天| 婷婷五月偷拍| 五月天婷婷色五月天| 日韩肏屄网| 激情涩播| 久久色婷婷| www,色色色网站| 综合网激情五月天| 在线播放成人网站| 婷婷影院欧美| 99欧美热| 日日夜夜干| 五月婷婷激情久久| 色女伊人| 啪啪啪五月天| 他改变了拜占庭| 大香蕉狼人久久| 伊人天堂婷婷| www.色五月| 色色色无码| 99干日本| 婷婷五月天成人小说| 激情综合网亚洲色图| 久热9| 成人午夜免费电影| 丁香五月 性爱| 粉嫩AV久久一区二区三区| 五月丁香久久| 国产免费一区二区三区三州老师F1F1.CC | va中文资源在线观看| 亚洲欧美婷婷五月色综合| 久久久久98| 色婷婷无吗| 97大香蕉五月天| 日本综合色图| 五月丁六月香av| 黄色三级日本| 五月婷婷性爱视频| 日韩中文字幕| 九九色婷婷| 久操热线| 天天拍天天操| 久久婷婷五月天激情唯美| 激情欧美婷婷| 亚洲成人网站在线| 亚洲区1| 午夜性做爰电影| 六月天婷婷| 欧美在线操| 播五月开心婷婷欧美综合| 色女伊人| 伊人色综在线| 影音先锋 91工厂| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 另类图片 五月激情| 色婷婷中文字母五月丁香| 欧美熟女99| 超碰在线视屏| 啪啪黄页网| 日韩AV中文字幕在线| 国产黄色大片| 天天干天天av天天射| 丁香婷婷狠狠97| 久久精品A片777777| 久久综合五月天| www.99在线| 人妻啪啪啪| 久久五月综合| 婷婷综合激情| 日本啪啪天堂| 六月丁香色色| 婷婷五月丁香超碰| 能看的AV| 丁香五月天中文字幕| 五月丁香亚洲综合网| 丁香婷婷六月天| 日本va网站| 99色看这里只有精品| 六月丁香成人| 天天做天天爱天天日| 婷婷激情肏屄网| 99亚洲天堂| 九九综合伊人| 五月婷婷色播| 91丨九色丨丰满人妖| 夜夜躁婷婷AV| 色婷婷综合综合网| 婷婷九月亚洲| 婷婷在线精品| 99亚洲天堂| 国产亚洲精品AAAAAAA片| 婷婷社区五月天| 婷婷欧美| 五月丁香色色网| 大香蕉啪啪网| 亚洲色色色| 亚洲乱码日产精品BD| 日韩精品AV一区二区三区| 风流少妇A片一区二区蜜桃 | 色99热| 欧美视频五区| 婷婷午夜激情| 欧美精品999| 99热综合网| 操骚货在线| 激情综合亚洲| 亚洲A片成人无码久久精品青桔| 八戒青柠影视剧在线观看| 综合五月天| 做爰丰满少妇1313| 人与禽A片啪啪| 久久婷婷七月丁香| a毛片二逼wwwwwwwwww| 激情色情五月天| 99re青青草| 国产精品国产| 第四色五月婷婷| 超碰9在| 91大神操美女| 伊人久久艹| 精品九九在线观看视频| 婷婷五月天777| 天天草婷婷五月| 婷婷五月丁香伊人网| 天天免费日日夜夜夜夜| 五月婷婷丁香综合网| 婷婷五月六月| 亚州操操| 婷婷久久综| 五月丁香成人网| 五月丁香婷婷综合| 99热国品| 久久九九热re6这里有精品| 91猫咪国产在线播放| 色月丁| 综合久久高清| 色五月婷婷婷婷婷婷婷婷婷婷| 丁香五月天色| 丁香综合伊人AV| 色五XX| 99免费在线视频| 五月丁香好婷婷A片网| 婷婷导航| 五月天偷拍| 国产黄大片在线观看画质优化| 色色色九九九五月婷婷| 久艹久| 日韩 中文 欧美| 丁香五月婷婷黑人妻黄色电影院| 婷婷免费精品视频| 婷婷六月插屄激情| 色五月天视频| 99久热这里只有精品| 久久久久亚洲AV无码网影音先锋| 久久99精品视频| 亚洲成人免费在线| www免费在线视频| 国产69精品久久久久999小说| 丁香婷婷浪潮AV久久综合| 99欧美三级视频| 大香蕉久热| 思思久久网| 激情综合网,婷婷五月天| 人人噜天天上| 天天综合五月| 狠狠爱综合网| 九九99久久| 狠狠婷婷综合| 国产免费一区二区三州老师F1F1……| 99婷婷国产最新视频| 激情五月深爱五月观看| 26uuu91| 激情五月天影院| 淫视馆aV二区一区| 国产精品久久久久久久久久| 男人的天堂99| 色五月天堂| 欧美激情五月天在线观看| 婷婷五月天在线观看免费 | 婷婷在线播放| 五月精品99综合| 天天综合五月天| 99惹在线精品免费观看| 色情五月天婷婷| 五月香婷婷| 99热精品在线播放| 色色亚洲99com| 九九re精品视频在线观看| 五月份婷婷| 开心五月婷婷99| 久久综合丁香| 公的粗大挺进了我的密道| 九九精品碰| 99热福利| 婷婷玉月丁香五月在线视频| 久久机热/这里只有精品| 亚洲黄色影视| 丁香,开心成人,久久| 婷婷色吧| av在线超清中文| 精品成人a v无码内射| 91大屁股精品| 五月天成人综合| 色婷婷第四色| 日韩人妻无码专区| 婷婷五月天视频在线观看| 五月天婷婷综合免费| 色色亚洲| 99ri网站在线观看| 日本一级特黄大片AAAAA级| 色五月丁香激情视频| 性爱视频久久| 97色干| 色色色色色日韩午夜激情| 丁香色六月婷婷| 这里只有精品99www| 日韩一级网站| 欧美韩国日本| 99啪在线| 人妻自慰在线| 亚洲日日操| 色色色9| 欧美性爱专区| 91色五月| 天天日夜夜夜操操操操| 99热在线看片| 欧美成人AAA片一区国产精品| 日韩美女羞羞网站在线观看| 丁香六月婷婷久久综合八月| 激情五月婷婷| 天海翼中文字幕高| 99热久草| 天天操天天操天天操| 五月丁香六月色| 国产精产国品一二三在观看| 99热这里有精品首页10| 婷婷五日b| 狠狠99| 亚洲精品V天堂中文字幕| 色婷婷色情| 五月永久激情| 色色色婷婷五月天| AV色色天堂中文| 99爱爱| 人妻VideOssS人妻高清| 99re8这里只有精品99re8热视频| 五月色激情综合网| 丁香五月天色| 色婷婷六月| 97超碰婷婷五月天| 婷婷五月电影院| 色天天综合| 丁香五月久久| 日韩久久日| 亚洲激情无码久久| 久热超碰91| aV直接看| 久久久久久综合88| 色五月婷婷色五月| 51国精产品自偷自偷综合 | www激情五月天| 99激情| 综合色吧| 婷婷五月天a| 欧美色五月| www.com在线操视频免费观看| .操區COm| 99碰网站| 在线播放 精品| 色视频2025| 国产性爱一级| www.99.色| 91日视频| 综合网五月天123| 国产色色视频| 亚洲AVDVD| 五月四色色| 亚洲国产成人在线| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 天天干夜晚夜操| 免费观看全黄做爰的视频| 欧洲综合视频| www.久久五月天.com| 婷婷丁香97| 99在线一区| 这里只有精品视频国产| 伊人五月婷婷|