欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ECC內(nèi)存錯(cuò)誤排查:從內(nèi)核日志到MBIST測(cè)試的完整指南

ECC內(nèi)存錯(cuò)誤排查:從內(nèi)核日志到MBIST測(cè)試的完整指南 兩周前調(diào)一臺(tái)跑了快一年的嵌入式服務(wù)器日志系統(tǒng)里開始反復(fù)出現(xiàn)同一類記錄EDAC MC0: 1 CE on ...當(dāng)時(shí)我第一反應(yīng)不是急著關(guān)機(jī)換內(nèi)存而是先去看這個(gè)CE是真實(shí)發(fā)生的單比特翻轉(zhuǎn)還是某個(gè)測(cè)試流程或ECC控制器自己造成的誤報(bào)。真正讓我緊張的是另外一臺(tái)機(jī)器日志里一共就兩行類似uncorr. ecc 顯示2的記錄緊接著就是一次完整的machine check panic。很多第一次接觸這類日志的人要么被嚇到要么干脆忽略。但ECC錯(cuò)誤信息從來不是有或沒有這么簡(jiǎn)單尤其當(dāng)你既要處理線上運(yùn)行時(shí)的內(nèi)核報(bào)錯(cuò)又要在產(chǎn)線階段面對(duì)MBIST測(cè)試時(shí)你得能分清哪些錯(cuò)誤可以被糾正、哪些會(huì)直接導(dǎo)致數(shù)據(jù)損壞以及內(nèi)存控制器究竟是在哪個(gè)環(huán)節(jié)把錯(cuò)誤分類的。這篇文章我就沿著一條真實(shí)的排查鏈路說起按照?qǐng)?bào)錯(cuò)怎么讀、ECC怎么糾錯(cuò)、怎么定位壞內(nèi)存、怎么用MBIST提前發(fā)現(xiàn)隱患的順序把我在項(xiàng)目里踩過的坑、花時(shí)間驗(yàn)證過的做法一次性攤開講清楚。1. 日志里的 uncorr. ecc 顯示2 到底在說什么1.1 一條典型的ECC報(bào)錯(cuò)日志長(zhǎng)什么樣很多運(yùn)維同事第一次看到類似uncorr. ecc 顯示2這樣的描述都會(huì)有個(gè)共同疑問這個(gè)2是什么意思是錯(cuò)誤等級(jí)是DIMM編號(hào)還是錯(cuò)誤計(jì)數(shù)就我接觸過的實(shí)際日志來說它多半是監(jiān)控工具從內(nèi)核EDAC子系統(tǒng)、MCEMachine Check Exception模塊或者帶外管理接口比如SEL日志、IPMI sensor讀取出來的累計(jì)計(jì)數(shù)含義通常是不可糾正ECC錯(cuò)誤已經(jīng)發(fā)生過2次。換句話說這不是某一條內(nèi)存顆粒壞了才出現(xiàn)的信息而是系統(tǒng)已經(jīng)把兩次不可恢復(fù)的內(nèi)存錯(cuò)誤記錄在案。典型的Linux內(nèi)核日志長(zhǎng)這樣[ 5326.885023] EDAC sbridge MC0: UE row 2, channel 0, label CPU_SrcID#0_Ha#0_Chan#0_DIMM#1 [ 5326.885033] mce: [Hardware Error]: Machine check events logged [ 5326.895103] Memory failure: 0x2a5b1c0: recovery action for dirty LRU page: Recovered如果是通過mcelog的JSON輸出也有類似結(jié)構(gòu){ type: memory, mc: 0, csrow: 2, channel: 0, dimm: CPU_SrcID#0_Ha#0_Chan#0_DIMM#1, ue_count: 2 }這里的ue_count: 2就是我說的累計(jì)計(jì)數(shù)。相比之下uncorr. ecc 顯示2是某些帶外管理界面或腳本里的縮寫描述并不標(biāo)準(zhǔn)但指向同一個(gè)東西這個(gè)內(nèi)存模塊下已經(jīng)累計(jì)了2次不可糾正ECC錯(cuò)誤。1.2 Corrected Error 與 Uncorrected Error 的工程差異ECC日志里最基礎(chǔ)的兩個(gè)詞是CECorrected Error可糾正錯(cuò)誤和UEUncorrected Error不可糾正錯(cuò)誤。網(wǎng)上很多文章只說CE沒關(guān)系UE要換內(nèi)存但在實(shí)際項(xiàng)目里這種二分法會(huì)害死人。CE意味著內(nèi)存陣列中的某一位發(fā)生了翻轉(zhuǎn)ECC電路通過校驗(yàn)位把它恢復(fù)到了正確值系統(tǒng)可以繼續(xù)跑。表面上看起來無害但CE出現(xiàn)頻率是有意義的信號(hào)。假設(shè)一條內(nèi)存條的CE計(jì)數(shù)在一個(gè)月內(nèi)從0漲到幾百說明該區(qū)域可能存在物理損壞、顆粒老化或者觸發(fā)了行錘擊Row Hammer效應(yīng)再不處理后續(xù)大概率會(huì)演化成UE。UE則意味著錯(cuò)誤已經(jīng)超出了ECC的糾錯(cuò)能力比如雙比特翻轉(zhuǎn)、同一緩存行里出現(xiàn)兩個(gè)單比特錯(cuò)誤或者內(nèi)存顆粒的某個(gè)位完全失效。這種情況下ECC只能檢測(cè)到錯(cuò)誤但拿不出正確的數(shù)據(jù)系統(tǒng)只能上報(bào)MCE。如果發(fā)生UE的區(qū)域恰好是正在運(yùn)行的代碼頁或關(guān)鍵數(shù)據(jù)結(jié)構(gòu)結(jié)果通常是進(jìn)程被kill、系統(tǒng)panic最難受的是沒有任何報(bào)錯(cuò)只是數(shù)據(jù)悄悄被寫壞等發(fā)現(xiàn)時(shí)已經(jīng)晚了。我見過不少同學(xué)直接把UE日志無視掉理由是機(jī)器還能跑。對(duì)當(dāng)時(shí)是能跑但你不知道哪塊數(shù)據(jù)已經(jīng)變成錯(cuò)的這是最可怕的。只要出現(xiàn)一次UE就應(yīng)該進(jìn)入排查流程而不是等下次再報(bào)。1.3 一次只有2次UE的故障場(chǎng)景復(fù)盤今年年初處理過一臺(tái)設(shè)備日志里ue_count從1變成2中間間隔了三周系統(tǒng)沒有panic所有業(yè)務(wù)看起來都正常。但仔細(xì)翻內(nèi)核日志后發(fā)現(xiàn)第一次UE發(fā)生時(shí)有幾頁用戶空間內(nèi)存被標(biāo)記為損壞對(duì)應(yīng)的進(jìn)程收到了SIGBUS某個(gè)老舊的服務(wù)進(jìn)程直接退出只不過因?yàn)榕渲昧诉M(jìn)程守護(hù)自動(dòng)重啟了所以業(yè)務(wù)沒有中斷。第二次UE發(fā)生時(shí)平臺(tái)已經(jīng)進(jìn)入了帶病運(yùn)行狀態(tài)。用ras-mc-ctl --summary查看再結(jié)合dmesg | grep EDAC確認(rèn)了UE發(fā)生的物理地址范圍最終鎖定了某個(gè)通道上的內(nèi)存條替換后問題消失。這個(gè)過程讓我形成了一條判斷習(xí)慣UE計(jì)數(shù)哪怕只有1也要當(dāng)成重大故障對(duì)待而不是等它自我恢復(fù)。內(nèi)存錯(cuò)誤是硬件故障靠重啟軟件是永遠(yuǎn)修不好的。2. ECC糾錯(cuò)原理為什么64位數(shù)據(jù)要配72位物理通道2.1 漢明碼與SEC-DED的數(shù)學(xué)基礎(chǔ)ECC之所以能糾錯(cuò)核心在漢明碼。漢明碼的基本思路是給數(shù)據(jù)位額外增加若干個(gè)校驗(yàn)位讓整個(gè)碼字滿足特定的奇偶校驗(yàn)關(guān)系。經(jīng)典漢明碼可以糾正任意單比特錯(cuò)誤但檢測(cè)不了雙比特錯(cuò)誤。為了兼顧糾正單比特和檢測(cè)雙比特實(shí)際內(nèi)存ECC幾乎都使用SEC-DEDSingle Error Correction, Double Error Detection編碼也就是在漢明碼基礎(chǔ)上再增加一個(gè)全校驗(yàn)位使碼字的最小漢明距離從3增大到4。最小距離為3時(shí)只能糾正1位錯(cuò)誤距離為4時(shí)可以糾正1位錯(cuò)誤、檢測(cè)2位錯(cuò)誤。校驗(yàn)位數(shù)量怎么算對(duì)于64位數(shù)據(jù)需要滿足2^r m r 1其中m是數(shù)據(jù)位寬度64r是校驗(yàn)位數(shù)量。代入計(jì)算2^7 128 64 7 1 72 成立所以7個(gè)校驗(yàn)位理論上就能實(shí)現(xiàn)SEC但加上SEC-DED需要的額外校驗(yàn)位后實(shí)際是8個(gè)。64位數(shù)據(jù)加8位校驗(yàn)正好拼成72位。這就是為什么標(biāo)準(zhǔn)ECC UDIMM/RDIMM的數(shù)據(jù)位寬是72位而不是普通內(nèi)存的64位。順帶一提很多DDR5支持On-die ECC那是顆粒內(nèi)部額外存儲(chǔ)區(qū)做的保護(hù)和系統(tǒng)級(jí)ECC是兩回事。系統(tǒng)級(jí)ECC走的是72位總線DDR5的On-die ECC通常不參與系統(tǒng)內(nèi)存的糾錯(cuò)流程只覆蓋內(nèi)部陣列的讀取這一點(diǎn)在選型時(shí)特別容易混淆。2.2 為什么選SEC-DED而不是更強(qiáng)的糾錯(cuò)編碼理論上還可以設(shè)計(jì)出能糾正2位甚至更多位錯(cuò)誤的編碼比如BCH碼或Reed-Solomon碼。那內(nèi)存為什么不用三個(gè)字性價(jià)比。DRAM單比特錯(cuò)誤的占比遠(yuǎn)高于多比特錯(cuò)誤。粒子撞擊引起的軟錯(cuò)誤、電壓瞬變、溫度漂移絕大多數(shù)表現(xiàn)為單個(gè)存儲(chǔ)單元翻轉(zhuǎn)。芯片級(jí)物理損壞初期也通常是從一個(gè)位開始失效。SEC-DED已經(jīng)覆蓋了99%以上的實(shí)際錯(cuò)誤場(chǎng)景再多一位糾錯(cuò)能力校驗(yàn)位寬度會(huì)大幅增加總線帶寬、內(nèi)存控制器復(fù)雜度、延遲和成本全都惡化。在一些高端服務(wù)器平臺(tái)上有Chipkill或SDDC技術(shù)它的思路是用多個(gè)內(nèi)存顆粒分別承載不同數(shù)據(jù)塊配合更寬的ECC編碼讓單個(gè)顆粒完全失效時(shí)仍然可以恢復(fù)數(shù)據(jù)。這種能力本質(zhì)上是通過更寬的扇出和更強(qiáng)的編碼實(shí)現(xiàn)代價(jià)是內(nèi)存子系統(tǒng)設(shè)計(jì)更復(fù)雜通常只出現(xiàn)在關(guān)鍵業(yè)務(wù)服務(wù)器的RDIMM/LRDIMM方案里。2.3 ECC覆蓋不到的物理錯(cuò)誤ECC不是萬能的有幾類錯(cuò)誤它一點(diǎn)忙都幫不上。地址線或控制線上的錯(cuò)誤。如果內(nèi)存控制器要訪問的物理地址在傳輸過程中被干擾最終訪問到的是錯(cuò)誤地址上的數(shù)據(jù)這個(gè)數(shù)據(jù)本身可能是合法的ECC校驗(yàn)自然通過但你拿到的根本不是想要的數(shù)據(jù)。這種場(chǎng)景下ECC報(bào)告不了任何錯(cuò)誤數(shù)據(jù)卻已經(jīng)錯(cuò)了。讀改寫粒度的限制。某些平臺(tái)對(duì)ECC內(nèi)存做部分寫入時(shí)需要先把整塊數(shù)據(jù)讀出來修改目標(biāo)字節(jié)后再寫回這個(gè)讀-改-寫窗口如果同時(shí)遭遇另一個(gè)單比特錯(cuò)誤可能產(chǎn)生疊加效應(yīng)最終表現(xiàn)為無法糾正的UE。行錘擊攻擊造成的比特翻轉(zhuǎn)。高頻訪問某一行內(nèi)存導(dǎo)致相鄰行的電容電荷泄漏加速可能在正常讀寫過程中引發(fā)多處比特翻轉(zhuǎn)形成多比特錯(cuò)誤。ECC只能事后檢測(cè)無法預(yù)防。理解了這些邊界你就明白為什么在關(guān)鍵系統(tǒng)里光靠ECC不夠還需要內(nèi)存鏡像、故障預(yù)測(cè)、定期巡檢這些更上層的機(jī)制來兜底。3. 從內(nèi)核日志到定位壞內(nèi)存一次完整排查復(fù)盤3.1 第一步確認(rèn)錯(cuò)誤來源是內(nèi)存還是緩存排查開始前最重要的事是確認(rèn)這個(gè)MCE/EDAC錯(cuò)誤到底來自DRAM、CPU緩存還是總線。不少人一看日志里有ECC就默認(rèn)是內(nèi)存條然后直接替換替換完了問題依舊最后才發(fā)現(xiàn)是CPU的L2緩存出問題。怎么區(qū)分看dmesg里MCE日志的MCG_STATUS和MCACOD兩個(gè)字段。MCACOD低幾位會(huì)編碼錯(cuò)誤類型常見的有MCACOD部分值典型含義0x0134 / 0x0135內(nèi)存控制器報(bào)告的錯(cuò)誤通常關(guān)聯(lián)DIMM0x0150 / 0x0151緩存層次報(bào)告的錯(cuò)誤0x0000 / 0x0001通用總線/互連錯(cuò)誤同時(shí)查看EDAC的mc0目錄如果日志里出現(xiàn)EDAC MC0: UE基本可以確定是內(nèi)存控制器視角的錯(cuò)誤。如果只有MCE事件而沒有EDAC事件且MCACOD指向緩存那就要往CPU方向排查。3.2 第二步通過EDAC和MCE互相印證確認(rèn)是內(nèi)存錯(cuò)誤之后要快速鎖定是哪根DIMM?,F(xiàn)代平臺(tái)通過edac-util --report可以給出非常具體的位置edac-util --report mc0: 0 Uncorrected Errors with DIMM CPU_SrcID#0_Ha#0_Chan#0_DIMM#1 1 Corrected Errors with DIMM CPU_SrcID#0_Ha#0_Chan#0_DIMM#1這個(gè)label字段結(jié)合dmidecode -t memory里的Locator可以直接對(duì)應(yīng)到物理插槽dmidecode -t memory | grep -E Locator|Error Correction|Size比如看到Locator: DIMM_A1再對(duì)照主板上絲印編號(hào)就能確定是哪個(gè)物理槽位。如果平臺(tái)比較老沒有l(wèi)abel信息可以讀/sys/devices/system/edac/mc/mc0/csrowX/下的ue_count和ce_count配合內(nèi)存控制器的channel映射關(guān)系推斷。這里有個(gè)很容易踩的坑某些虛擬化環(huán)境或云主機(jī)里/sys下的EDAC信息可能是宿主機(jī)的客戶機(jī)里的EDAC路徑要么不存在要么不完整。所以排查之前先確認(rèn)自己是在物理機(jī)還是虛擬機(jī)里別在虛擬機(jī)里折騰半天物理內(nèi)存條。3.3 第三步壓力測(cè)試與替換驗(yàn)證鎖定嫌疑DIMM后不要急著拆機(jī)先把錯(cuò)誤復(fù)現(xiàn)做一下。常用的工具是memtester和stressapptest。stressapptest的經(jīng)典用法stressapptest -M 64 -s 3600 -i 4 -C 8-M 64表示分配64GB內(nèi)存-s 3600是測(cè)試時(shí)長(zhǎng)3600秒-i 4是迭代次數(shù)-C 8是使用8個(gè)CPU線程。注意測(cè)試內(nèi)存容量不要超過系統(tǒng)可用物理內(nèi)存的85%否則大量swap會(huì)干擾結(jié)果。跑完一輪后觀察EDAC計(jì)數(shù)是否增長(zhǎng)。如果ue_count或ce_count明顯增加并且關(guān)聯(lián)的label還是同一根DIMM基本石錘。接下來做替換驗(yàn)證。方法是換位不換條把嫌疑內(nèi)存條插到另一個(gè)已知正常的槽位同時(shí)把正常內(nèi)存條插到嫌疑槽位再跑一輪壓力測(cè)試。如果錯(cuò)誤跟著內(nèi)存條走說明是內(nèi)存條本身問題如果錯(cuò)誤留在原槽位說明是主板內(nèi)存通道或CPU內(nèi)存控制器的問題。這一步極其重要我遇到過不止一次最終變成換主板的案例。3.4 換內(nèi)存之后的驗(yàn)證換完內(nèi)存條不要以為事情就結(jié)束了還要做三項(xiàng)確認(rèn)第一dmesg里舊的EDAC錯(cuò)誤記錄還在要用edac-ctl --reset或重啟來清空計(jì)數(shù)器避免把歷史錯(cuò)誤當(dāng)成新錯(cuò)誤。第二重新跑至少一小時(shí)的stressapptest確認(rèn)新增CE/UE數(shù)量為0。第三觀察后續(xù)一周的日志確認(rèn)沒有間歇性錯(cuò)誤。很多朋友只做第一步就宣布故障解決結(jié)果下一周又收到報(bào)警歷史日志和新日志混在一起排查起來非常痛苦。4. MBIST與ECC聯(lián)合驗(yàn)證量產(chǎn)與板級(jí)調(diào)試的關(guān)鍵一環(huán)4.1 MBIST能發(fā)現(xiàn)什么、發(fā)現(xiàn)不了什么MBISTMemory Built-In Self-Test是內(nèi)建內(nèi)存自測(cè)試廣泛應(yīng)用在芯片測(cè)試和板級(jí)產(chǎn)線測(cè)試中。它通過在內(nèi)存控制器內(nèi)部集成測(cè)試邏輯對(duì)存儲(chǔ)陣列施加一系列測(cè)試圖形比如March C、March SS、棋盤格Checkerboard、走查Walking 1/0來檢測(cè)陣列里是否存在stuck-at fault固定為0或1、transition fault翻轉(zhuǎn)失敗、coupling fault單元間耦合干擾。MBIST的強(qiáng)項(xiàng)是直接面向存儲(chǔ)單元陣列做無損遍歷不需要操作系統(tǒng)也不需要CPU參與復(fù)雜的數(shù)據(jù)搬移。在產(chǎn)線階段MCU/SoC上電后先跑一段MBIST幾百毫秒就能覆蓋整個(gè)內(nèi)存顆粒陣列。但MBIST有它的盲區(qū)它對(duì)ECC邏輯本身的校驗(yàn)?zāi)芰苋?。因?yàn)镸BIST通常繞過了ECC編碼/解碼電路直接訪問物理存儲(chǔ)陣列校驗(yàn)位存儲(chǔ)區(qū)雖然也會(huì)被測(cè)試到但ECC的syndrome計(jì)算邏輯、錯(cuò)誤注入上報(bào)鏈路、單比特糾正流程在純MBIST流程里根本不會(huì)被觸發(fā)。4.2 兩類容易漏掉的錯(cuò)誤校驗(yàn)位陣列故障與錯(cuò)報(bào)EDC邏輯實(shí)際項(xiàng)目中我踩過兩個(gè)坑。第一個(gè)坑是校驗(yàn)位存儲(chǔ)單元故障。MBIST測(cè)試主數(shù)據(jù)區(qū)時(shí)校驗(yàn)位區(qū)域通常是一起測(cè)的但如果MBIST配置只在固定地址段做全0/全1寫入有些顆粒的校驗(yàn)位單元stuck-at故障就測(cè)不出來。比如校驗(yàn)位某一位恒為0數(shù)據(jù)區(qū)全部寫1時(shí)校驗(yàn)位本來就應(yīng)該是特定的混合序列可能恰好和恒為0很接近測(cè)試就這么糊弄過去了。正確的做法是讓MBIST針對(duì)校驗(yàn)位區(qū)域也跑March SS或棋盤格或者利用ECC控制器的測(cè)試模式對(duì)校驗(yàn)位做獨(dú)立的0/1翻轉(zhuǎn)測(cè)試。第二個(gè)坑是錯(cuò)誤上報(bào)鏈路斷了。有次板卡量產(chǎn)測(cè)試MBIST跑完一切正常但產(chǎn)品到客戶現(xiàn)場(chǎng)之后系統(tǒng)不停上報(bào)可糾正ECC錯(cuò)誤CE計(jì)數(shù)漲得飛快。排查后發(fā)現(xiàn)是固件里ECC中斷處理函數(shù)配置有問題錯(cuò)誤已經(jīng)發(fā)生了但中斷沒觸發(fā)EDAC在錯(cuò)誤達(dá)到門限前都不會(huì)報(bào)。換句話說內(nèi)存顆粒本身沒有故障是ECC的錯(cuò)誤上報(bào)鏈路沒有閉環(huán)。這讓我養(yǎng)成一個(gè)習(xí)慣量產(chǎn)測(cè)試?yán)锍薓BIST跑內(nèi)存顆粒必須單獨(dú)做一次ECC鏈路測(cè)試驗(yàn)證從數(shù)據(jù)錯(cuò)誤產(chǎn)生、到ECC模塊糾正/檢測(cè)、再到中斷上拋、最終EDC日志記錄這條完整路徑是通的。4.3 用MBIST驗(yàn)證ECC邏輯的實(shí)操做法怎么在一個(gè)產(chǎn)品化的測(cè)試流程里把MBIST和ECC串起來我分享一套驗(yàn)證過的做法。第一步裸機(jī)階段靠MBIST排掉陣列級(jí)故障。上電初始化后正常進(jìn)入所以MBIST全陣列遍歷模式用March C和反走查pattern各跑一遍。任何一顆顆粒有物理故障這一步會(huì)直接報(bào)錯(cuò)并給出失效地址固件把它記錄到壞塊管理表里。第二步進(jìn)入ECC模式后做故障注入測(cè)試fault injection。大部分內(nèi)存控制器的測(cè)試模式里都有寄存器可以強(qiáng)制翻轉(zhuǎn)數(shù)據(jù)線或校驗(yàn)位可以模擬單比特錯(cuò)誤和雙比特錯(cuò)誤。對(duì)單比特注入確認(rèn)數(shù)據(jù)仍然能正確讀回同時(shí)CE計(jì)數(shù)增加對(duì)雙比特注入確認(rèn)系統(tǒng)產(chǎn)生UE事件并觸發(fā)MCE或者對(duì)應(yīng)中斷。示例偽代碼流程// 進(jìn)入ECC測(cè)試模式 ecc_test_enable(ECC_TEST_INJECT_SINGLE_BIT); // 寫入已知pattern write_data(0x5A5A5A5A5A5A5A5A); // 讀取并比較 read_data(val); if (val 0x5A5A5A5A5A5A5A5A) { // 單比特錯(cuò)誤被糾正CE計(jì)數(shù)應(yīng)增加 check_ce_counter(1); } // 切換為雙比特注入 ecc_test_enable(ECC_TEST_INJECT_DOUBLE_BIT); read_data(val); // 此時(shí)不應(yīng)返回正確數(shù)據(jù)而應(yīng)產(chǎn)生UE中斷/事件 check_ue_event();第三步確認(rèn)系統(tǒng)層面的EDAC/MCE通道能正確記錄。板上固件測(cè)試模式下產(chǎn)生的UE事件要和Linux EDAC層對(duì)上。比如測(cè)試注入一次UE后進(jìn)入Linux讀/sys/devices/system/edac/mc/mc0/ue_count確認(rèn)計(jì)數(shù)增加了。以前我遇到過測(cè)試模式下能觸發(fā)中斷但Linux驅(qū)動(dòng)沒正確解析寄存器導(dǎo)致日志里什么都看不到的情況這一步就是為了堵住這種漏洞。4.4 產(chǎn)線測(cè)試中遇到的一個(gè)假UE案例順便分享一個(gè)很有意思的排查過程。某批次板卡MBIST全過但在客戶機(jī)器上運(yùn)行一個(gè)月后多塊板卡同一天報(bào)UE而且都是錯(cuò)誤地址集中在同一片區(qū)域。當(dāng)時(shí)第一反應(yīng)是顆粒批次問題準(zhǔn)備整批退貨。后來把退回板卡放在實(shí)驗(yàn)室復(fù)測(cè)壓力測(cè)試跑了兩天都測(cè)不出來再用原來客戶日志里的錯(cuò)誤地址和行錘擊工具專門打那片地址錯(cuò)誤立刻復(fù)現(xiàn)。結(jié)論是這批次顆粒的行錘擊閾值偏高正常工作負(fù)載下沒問題但客戶業(yè)務(wù)里恰好有大量訪問同一內(nèi)存行的場(chǎng)景觸發(fā)了相鄰行的比特翻轉(zhuǎn)。問題不在MBIST覆蓋率而在系統(tǒng)級(jí)行錘擊防護(hù)策略沒配置好。后來通過調(diào)整內(nèi)存控制器的RFMRefresh Management參數(shù)解決了。這個(gè)案例說明MBIST和ECC測(cè)試做得再完整也不能替代對(duì)實(shí)際使用場(chǎng)景的理解。量產(chǎn)前的可靠性測(cè)試一定要結(jié)合目標(biāo)部署場(chǎng)景設(shè)計(jì)用例。5. 項(xiàng)目選型與日常監(jiān)控的實(shí)操建議5.1 什么時(shí)候必須上ECC不是所有設(shè)備都需要ECC內(nèi)存但下面幾類場(chǎng)景我的建議是ECC沒有妥協(xié)余地。長(zhǎng)期無人維護(hù)的邊緣設(shè)備。比如部署在偏遠(yuǎn)站點(diǎn)的工業(yè)控制器、網(wǎng)關(guān)設(shè)備沒人會(huì)定期巡檢一旦內(nèi)存故障錯(cuò)誤被悄悄寫入文件系統(tǒng)過幾個(gè)月數(shù)據(jù)損壞才發(fā)現(xiàn)損失遠(yuǎn)大于內(nèi)存條的那點(diǎn)差價(jià)。跑數(shù)據(jù)庫或文件系統(tǒng)的機(jī)器。數(shù)據(jù)庫頁緩存、文件系統(tǒng)元數(shù)據(jù)對(duì)bit翻轉(zhuǎn)極度敏感一個(gè)bit錯(cuò)誤可能導(dǎo)致一條記錄損壞或者文件系統(tǒng)目錄結(jié)構(gòu)崩潰。沒有ECC的機(jī)器出現(xiàn)這種錯(cuò)誤時(shí)連日志都不會(huì)有。高密度計(jì)算和AI訓(xùn)練節(jié)點(diǎn)。長(zhǎng)時(shí)訓(xùn)練任務(wù)如果因內(nèi)存錯(cuò)誤導(dǎo)致數(shù)據(jù)損壞可能跑幾天才發(fā)現(xiàn)loss異常重跑一遍的代價(jià)遠(yuǎn)超ECC的成本。5.2 軟ECC與硬ECC怎么選現(xiàn)在很多消費(fèi)級(jí)SSD、嵌入式eMMC/UFS控制器內(nèi)部都帶LDPC或BCH軟糾錯(cuò)這是軟ECC的概念指的是主控固件層面的糾錯(cuò)。它和我們說的內(nèi)存ECC是兩碼事。系統(tǒng)級(jí)內(nèi)存ECC要求內(nèi)存控制器和內(nèi)存顆粒都支持ECC即72位總線。消費(fèi)級(jí)CPU和普通UDIMM不支持這個(gè)模式只有工作站/服務(wù)器CPU加ECC UDIMM/RDIMM才能組合出完整方案。有些嵌入式SoC支持的是內(nèi)嵌ECC模式數(shù)據(jù)總線上沒有額外校驗(yàn)位但控制器內(nèi)部利用預(yù)留存儲(chǔ)區(qū)存放校驗(yàn)數(shù)據(jù)外部看來還是64位總線。這種方案的糾錯(cuò)能力受限于內(nèi)部帶寬和訪問粒度通常只能覆蓋部分錯(cuò)誤場(chǎng)景。選型時(shí)要確認(rèn)清楚是哪種ECC別看到支持ECC就算數(shù)。5.3 開啟正確的監(jiān)控與告警硬件選對(duì)只是第一步運(yùn)行期的監(jiān)控同樣不能少。Linux內(nèi)核需要確認(rèn)開啟了以下配置CONFIG_EDACy CONFIG_EDAC_LEGACY_SYSFSy CONFIG_EDAC_DEBUGy CONFIG_MCE_LOGy監(jiān)控層面建議至少做三件事定期檢查/sys/devices/system/edac/mc/mc*/csrow*/ce_count和ue_count并寫入巡檢腳本。配合rasdaemon做持久化方便回溯錯(cuò)誤歷史。設(shè)置告警閾值比如任意DIMM的CE計(jì)數(shù)在24小時(shí)內(nèi)超過100或者UE計(jì)數(shù)從0變成1都屬于需要立即人工介入的級(jí)別。rasdaemon --record ras-mc-ctl --summary還有一個(gè)容易被忽略的點(diǎn)日志輪轉(zhuǎn)和持久化。很多系統(tǒng)默認(rèn)不開pstore或RAS日志重啟后錯(cuò)誤記錄就丟了。我建議配置pstore/ramoops確保內(nèi)核panic前的MCE日志能保存在不掉電的區(qū)域方便崩潰后分析。5.4 最后分享幾條實(shí)實(shí)在在的經(jīng)驗(yàn)做內(nèi)存可靠性相關(guān)項(xiàng)目這么多年真正影響項(xiàng)目成敗的往往不是技術(shù)方案本身而是以下幾點(diǎn)。不要過度解讀單次UE。硬件錯(cuò)誤分為持續(xù)性和偶發(fā)性。持續(xù)性錯(cuò)誤通常定位明確替換即可。偶發(fā)性錯(cuò)誤可能和溫度、電壓、訪問模式耦合需要長(zhǎng)期觀察。一兩次CE不一定是壞條CE計(jì)數(shù)持續(xù)上漲才是危險(xiǎn)信號(hào)。更換內(nèi)存時(shí)注意批次一致性。不同批次、不同封裝廠商的內(nèi)存混插電氣特性可能存在細(xì)微差異在高溫高壓場(chǎng)景下容易觸碰臨界點(diǎn)。尤其是數(shù)據(jù)中心級(jí)別部署盡量統(tǒng)一批次和型號(hào)。ECC只是可靠性架構(gòu)的一環(huán)不是全部。我見過不少項(xiàng)目硬件全是頂配ECC、RAS、熱備都做了但軟件層面對(duì)硬件錯(cuò)誤沒有處理策略進(jìn)程收到SIGBUS直接崩潰沒有任何優(yōu)雅降級(jí)或重試機(jī)制。錯(cuò)誤處理鏈路是軟的和硬件同樣重要。最大的一次教訓(xùn)是有臺(tái)設(shè)備日志里反復(fù)出現(xiàn)CE但大家都沒當(dāng)回事覺得反正ECC能糾正。最后一次內(nèi)存條徹底失效文件系統(tǒng)緩存里的關(guān)鍵數(shù)據(jù)塊被靜默寫壞備份也受到影響恢復(fù)數(shù)據(jù)花了兩周時(shí)間。從那以后我在任何項(xiàng)目里都把CE趨勢(shì)監(jiān)控當(dāng)成基礎(chǔ)配置絕不等到最后再處理。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲一个色| 九九热这里只有国产精品| 五月丁香偷拍| 一级性感黄色内射视频| 激情综合网五月婷婷| 人妻22p| 性生活视频98791| 狠狠情色| 九九这里有精品| 操操操操操操婷婷五月天| 九九久久网| 九九無碼| 丁香五月婷婷图片综合| 99操免费视频| 五月天婷婷日日爱| 婷婷九月久久| 996热re视频精品视频| 人人九色| 在线理论片| 狠狠五月天婷婷激情网。| 久久婷婷丁香花综合网| 五月激情婷婷播播开心| 色五月天堂| 婷婷开心深爱五月天| 久久性视频| 色噜噜狠狠色综合伊人| 色婷婷AV久久| 亚洲欧美成人在线| 色久五月| 婷婷丁香五月天影院 | 五月天激情小说网| 久久性爰视频这里只有精品| 另类精品视频在线观看| 成熟妇人A片免费看网站| 人人爽亚洲| www.色情五月天.com| 五月婷婷人人人操| 色婷婷五月亚洲| 婷婷综合伊人| 天天色视频| 激情丁香淫荡婷婷| 久久婷婷综合国产| 一级片操逼视频| 丁香五月天啪啪a日本| 婷婷色综合网日韩国产| 婷婷五月成人| 婷婷综合久久| 黄网在线播放| 天天做天天爱天天玩夜夜爽 | 91一起操| 天天艹夜夜艹| 丁香五月在线观看综合| 色婷婷六月天| 久久午夜理论| 特黄三级片| 日韩AV免费看| 97丁香婷婷| 婷婷久久视频| 色色丁香婷婷| 五月丁香婷婷激情四射迷人| 欧美日韩中文国产一区发布| 丁香六月色婷婷| WWW.桔色成人.COM入口| 97视频.干com| 男人的天堂av俄罗斯热| 激情视频网址| 91九色国产| 五月综合六月丁| 2013AV天堂| 五月丁香六月欧美综合网站| 色播五月婷婷| 亚洲综合丁香婷婷六月天| 日韩免费99| 成人做爰A片免费看视频| 色亭亭五月天丁香综合AV - 百度 - 百度 | 婷婷五月天激情电影| 99er6| 91九色无码内射| 九九在线精点品| 婷婷久久草| 综合欧美五月婷婷| 成人亚洲精品| www999日韩精品| 任你躁XXXXX麻豆精品| 五月婷婷五月天| 五月天无码视屏播放| 婷婷五月天情色| 成人无码精品1区2区3区免费看| 丁香五月成人| 五月激情影视| 久久婷婷五月综合色和| 蜜乳国产网站| 婷婷五月丁香基| 99噜噜| 新激情五月天| 国产偷人爽久久久久久老妇APP | 激情五月天婷婷| 五月婷婷精品视频| 69堂午夜视频最新地址| 超碰99在线观看| 欧美123区免| 久久久国产精品黄毛片| 色婷婷丁香A片区毛片区女人区| 丁香婷婷91在线观看视频| 思思热久久婷婷五月天| 久热这里只有精品视频6| 欧美久久婷婷| 操操碰| 色五月婷婷影视| 屁股翘好撅高迎合跪趴| 亚洲精品无AMM毛片| www婷婷| 五月丁花六月丁香综合| 色婷婷成人| 色天天综合成人网| 婷婷综合在线观看视频| 色色色.com| 天天拍夜夜撸 | 久久曰曰| 久草热8精品视频在线观看| 综合色五月天| 91爱啪啪| 99精品综合| 亚洲精品无码久久| 九九色色| 久草热久草在线视频| 色五月激情| 超碰人人色| 欧美 日韩 成人在线| 激情五月天视频| 五月婷婷 激情五月| 99爱免费视频| 五月亭亭直播| 久久精品婷婷| 色综合激情| 99欧州偷拍视频| 成人网在线视频| 五月婷婷七月丁香| 色五月色五天色情网| 九月大香蕉| 久re在线| 伊人久久大香线蕉av一区| 日本毛片内射| 五月天激情影院| 欧美内射AA| 国产成人网址| 久久99久久99精品免视看婷婷| 337p午夜影院| 天天操综合网站| 这里只有免费精品| 婷婷五月大香蕉| 超碰在线综合| 婷婷丁香成人| 伊人狼人干| 亚洲9久久精品| 丁香五月婷婷操逼| 色婷婷AⅤ| 色色色婷婷| 日本天堂免费99| 五月丁香好婷婷A片网| 超碰色婷婷| www.97干视频| 五月婷婷丁香啪啪| 99综合免费视频| 丁香五月天在线观看| 婷婷五月天av| 天天日天天爽夜夜爽| 97自拍视频在线| 亚洲V国产V欧美V久久久久久| 丁香五月婷婷天激情| 99婷婷综合| 日本毛片内射| 在线VA视频| 婷婷五月天熟妇| www.AV在线| 久久久婷婷五月亚洲97号色| 五月天合网| 久久久99精品| 日本高清久| 国产精品色| 超碰免费成人网站| 色婷婷在线视频综合| 热99热久| 这里只有精彩小视频视频网站| 五月天天久久香| 五月天色五月| 黄色片avv| 国产一区二区av免费| 就爱日五月天| 神马欧美精| 超级碰碰碰久久网站视频| 五月婷婷狠狠干| 在线日韩视频| 梁铮版蜘蛛女在线观看| 91丁香五月| 色情激情五月婷婷| 久久97| 五月色婷婷亚洲 | 思思精品视频| 黄色高清无码| 国庆精品久久| 开心婷婷中文字幕| 国产,欧美,学生妹,视频| 久久精品熟女亚洲AV麻豆| 97色图片中文字幕视频在线观看| 天天插天天干天天舔| 丁香五月婷婷基地| 婷婷久久久| 亚洲一区二区 成人网站戴套| 97色婷| 99视频网| 亚洲日本韩国| 五月丁香婷婷啪啪| www.五月天婷婷| 精品一区二区三区四区五区六区| 丁香六月激情| 激情五月天社区| 成人精品视频99在线观看免费| 一区二区三区四区牛| 怕怕av| 九九在线精品| 五月丁香综合久久夜夜| 欧美综合激情五月丁香| 亚州色色色| 超碰在线观看成人视| 婷婷五月天视| 操操啪| 99九九免费精品| 狠狠色官网| 丁香五月性| 婷婷97C| 激情五月天在线观看色婷婷| 蜜臀丁香黄色婷婷五月天| 狠色狠色综合久久| 99久久人妻精品无码二区| 婷婷五月综合社区| 性色天| 电影91久久久| 色婷婷综合中心| www.色五月| AV网址大全在| 五月婷婷花| 九九色综合| 丁香色六月婷婷| 婷婷久久亚洲| 亚洲成人电影在线免费观看| 秋霞电影理论| 国产熟妇的荡欲午夜视频| 丁香五月婷婷啪啪啪| 日本五月天激情| 97色精品视频| 洗浴中心操B视频| 亚洲乱码日产精品BD| 99re思思| 色婷婷电影网| www色婷婷久久综合久色| 人妻激情在线| 伊久久婷婷| 99色热| 99在线免费视频播放| 亚洲尤物在线| 大香蕉AV电影在线| 青青草蜜臀| 丁香五月天啪啪| 禁片二区| 情一色一乱一伦一91A| www.五月天婷婷姐姐| 五月婷丁香| www.激情五月天。com| 青青草tp| 91精品久久久久久| 天天插天天干| 九九九午夜影院成人| 无码操B| 亚洲色综合| 一区二区成人电影| 97人人超| 国产成人一区二区三区在线观看| 中文人妻主播久久| 综合AV网| 色播播婷婷| 欧美日韩中国| 在线成人视频免费| www.99视频| 色五月网址| 大香网伊人久久综合| 黄网在线播放| 五月丁香六月玩女人| 亚洲成人av在线观看| 亚洲精品国产成人AV在线| 99热在线观看免费精品| 色色丁香婷婷| 四色五月婷婷| 99热这里只有精品1998| 五月婷婷亚洲色图| 色九月婷婷综合| 五月婷婷啪啪啪| 超碰免费人人| 色欲五月天| 免费超碰在线观看| jiZZdr| 在线观看免费狠狠色丁香香综合| 丁香婷婷深情五月亚洲| 五月丁花色综合网| 91人操| 性爱激情小说AV五月丁香花| 激情综合网五月激情| 久久久思思热| 午夜]香婷婷深深爱| 久久99热精品a片在线观看| 中文字幕操比影片| 综合99久久| 综合五月天亚洲婷婷| 色婷婷网大全在线| 激情开心五月天婷婷基地丁香社区| 国产精品人妻在线网址| 久青草影院| 激情五月www| 狠狠爱夜夜| www,天天干| 操逼福利视频| 亚洲一区国产传媒| 51精品国自产在线| 91视频一起草| 丁香五月婷婷亚洲另类| 大香蕉久久婷婷精品综合| 操91| 五月婷婷第四色| 另类专区在线观看| 亚洲无码影音| 91精品久久久久| 天天干夜夜欢| 99热18| 久久思思热| 婷婷五月天激情网站| 综合久久五月天| 乱精品一区字幕二区| 可以看的av网站| 草一草avb| 综合激情深爱| 97人人草| 日韩AV中文字幕在线| 激情五月丁香五月| 九九热视频这里只有精品| 天天肏夜夜肏| 五月婷婷9| 婷婷五月成人| 殴美日韩成人| 99久久久| 婷婷六月网| 婷婷综合色网| 黑人巨粗进入警花疼哭A片| 色欲久久久久久综合网综合网| 色国产五月| 99久久五月丁香野外| 色色丁香| 久久草大香蕉| 婷婷激情五月色综合| 五月天婷婷色五月天| 欧美操我| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 天天综合网网欲色| 久久这里只有精品07 | 五月花激情| 久久资源网五月婷| 亚洲国产成人AV在线 | 这里只有精品视频| 午夜精品777| 亚洲成人另类| 五月丁香六月婷婷激情四射| 91人人人人人| 天天爽天天| 色九九九九| 97丁香五月| 精品色情一区二区三区四区| 久草 天堂| 超碰色碰碰| 五月天成人在线视频网站| 99热这里都是精品| 国产午夜一区二区三区| 日日操夜夜爽天天天| 97碰免费视频在线| 超碰超碰在线| 熟女激情网| 色爱综合五月| 丁香激情五月天| 国产婷婷色综合AV蜜臀AV | 情欲禁地| 婷婷丁香社区| 人人爱人人草| 亚洲色婷婷五月天| 九九视频在线| 婷婷色网站| 天堂网啪啪| 色婷婷色五月天| 婷婷丁香五月激情中文字幕版| 丁香五月天啪啪| 大香蕉99热| 国产精品人妻在线网址| 97超级操操| 色婷婷久久9.com| 精品欧美一区二区三区久久久| 九九成人| 少妇激情五月婷婷| 婷婷欧美色| 激情综合区| 婷婷五月天午夜激情影院| 一区二区你懂的| 欧美日本不卡黄色片| 精品国产乱码久久久久夜深人妻 | 色噜噜狠狠色综合无码久久欧美| 激情综合网丁香| 五月丁香另类图片| 久久狠狠高潮亚洲精品 天天摸夜夜摸夜夜狠狠摸 | 噜噜噜久久| 色色色国产| 操操自拍| 亚洲天天| 中文字幕无码人妻少妇免费视频| 俺去也五月| 国产人妻777人伦精品HD| 三人荫蒂添的好舒服A片| 五月综合激情婷婷六月色窝| 五月日韩中文字幕| 久久亭亭电影| 七七九色| 六月婷婷天天操夜夜爽视频| 日本婷婷综合精品| 丁香五月在线观看完整版| 亚洲婷婷乱乱丁香| 国内婷婷丁香社区在线播放| 开心五月丁香啪| 亚洲激情综合五月婷婷啪啪| 第四色五月天| 婷婷综合五月天| 丁香五月六月| 久久五月婷综合| www.com任你艹| 夜夜爱伊人| 九九激情| 五月天色色无码| 亚洲123区高清入口| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 色色五月天丁香| 丁香六月欧美| 伊人爱爱日本| av在线激情| 色婷婷丁香五月天| 天天檫天天爽| 玖玖午夜视频| 99热这里只有精| 丁香五月婷婷激情97| 91n啪啪| 91人人操人人爱| 婷婷六月色情| 91干网| 强壮公让我夜夜高潮A片视频| 色狠狠图片| 激情av网| 影音先锋91在线资源站| 99综合久久| 天天摸人人摸| Av在线不卡一区| 婷婷成人丁香色情基地30 | www.久久99热地址发布| 99视频在线观看欧| 九九人人看| 九玖视频这里只有精品| 五月天婷婷丁香社区| 国产精品色婷婷久久久精品| 色色热| 超级碰91| 婷婷六月开心网| 99热这里只有精品55| 成片免费播放| 99色综合久久| 91欧美| 天天舔天天摸天天透| 就爱射中文字幕资源网| 九九热黄色| 五月精品99综合| 综合性爱网| 婷婷久久夜| 五月丁香在线观看| 久久久久亚洲AV综合| 91人人爽人人操| 美女视频图片久久91| 久热这里只精品| 国产成人+亚洲+欧洲| 午夜成人AV在线| 色爆五月| 五月丁香久久网| 五月综合激情视频在线| 九九9久九9国产视频| 99热在线精品播放| 婷婷五月天精品| 久久丁香五月天| 先锋男人91资源| 综合色五月天| 婷婷五月天影院| 日韩人人操| 五月婷婷内射网| 婷婷六月综合基地| 嫩草视频。| 婷婷五月天成人动漫| 91婷婷五月天嫩女| 五月天另类小说久久小说网| 99视频在线| 日韩av手机在线观看| 第四色婷婷日本| 99热官网| 日本A片一区| www.夜夜夜| 久久久五月天| 婷婷涩涩五月天| 天天摸色吧天天摸色吧| 爽tv | 99这里是99在线视频| 九月婷婷色色| 日韩视频女神99| 99热无码| 99视频在线精品免费观看2| 久热天堂| 五月婷婷免费在线观看视频| www.色色色com| 性婷婷| 激情五月天视频| 丁香五月婷婷AV| 九九色热视频| 久婷狼色诱惑在线| 九月婷婷人人操人人舔人人爱| 日韩狠狠色婷婷| 激情久久久| 操人久久| 欧美综合五月丁香六月婷| 男人視頻站| 可似看的AV| 五月天婷久久| 人人做人人看人人摸| 青青草国产亚洲精品久久| 99热在线播放| 五月激情六月丁香| site:wpjngj.com| 青青草成人网| 五月色婷婷综合色| 婷婷中文字幕| 婷婷五月在线免费| 欧美日朝成人| 人妻操逼视频。| 激情婷婷五月亚洲| 国产在线中文字幕| 中文字幕在线播放视频| 亚洲精品大片| 五月丁香色婷婷婷基地| 丁香五月天堂网| 玖玖综合网| 天天色色天天| 日韩狠狠色婷婷| 少妇人妻丰满做爰XXX| 色综合色欲综合天天免费| 久久超级碰碰| 噜噜噜噜噜在线| 激情综合五月婷婷| 国产va在线视频| 极品人妻VIDEOSSS人妻| 五月天婷婷青青草| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 91精品激情9| 婷婷丁香五月欧美人| 伊人久久丁香五月91| 亚洲久久婷婷| 综合久久六月| 亚洲天堂爱爱| 天天日,天天射,天天插| 伊人婷婷福利网| 久8色色| 91se视频| 婷婷五月六月丁香| 97综合在线| 久久综合五月天| 日本九九热| 亚洲视频码| 2020日日干| 伊人久久婷婷| 国产AV一区二区三区最新精品 | 超碰国产av| 成人短视频在线| 五月丁香六月婷婷,婷| 做爰丰满少妇1313| 91wwmm导航| 97久操| 五月丁香激情综合啪啪| 噜综合| 婷婷99综合| 岛国av网站| 亚洲综合在线视频| 被男人添B超爽视频| 亚洲久热无码| 九九热中文| 噼里啪啦完整版中文在线观看| 亚洲人人干| 婷婷五月综合性爱| 中文无码婷婷| 久草xx性爱视频| 亚洲视频无| 亚洲精品亚洲人成人网| 久久er这里只有精品| 九色综合网| 99超级碰碰| 99国产精品久久久久久久久久久 | 狠狠色噜噜狠狠狠狠综合| wuyuedingxiang99| 99ri6在线视频| 婷婷无码视频| 五月婷伊人| 久久婷婷五月综合网| 亚洲AV网站| 天天天日天天天干| 任你草| 97偷拍对白视频| 婷婷丁香六月| 色五狠狠| 狠狠艹狠狠艹| 亚洲成人日韩无码精品| 天天精品视频免费观看| 婷婷六月色播| 五月婷婷偷| 一级七香蕉| 超碰大香蕉网| 丁香五月六月激情久久| 色狠狠狠干| 一区二区三区四区牛| 色婷婷五月天偷拍| 涩婷婷五月天在线精品视频| 欧美天天综合网站上去吧| 超碰人人91| 99欧美精品99日本精品| 五月丁香av中文| 五月婷婷自拍| 丁香五月天天| 亚洲国产网站| 大香蕉综合视频在线| 欧美性爱中文字幕| 成人超碰Av| 欧洲亚洲免费视频9| 五月丁香人妻| 狠狠色狠狠| wwwwww.色| 97啪啪| 99内射视频| 久久久久久久久月丁| 色色a| 91日日日| 五月天婷婷激情综合| 日日操日日干| 丁香婷婷五月天亚洲| 亚洲AV综合在线观看| 国产黄色av| 色九九中文字幕| 人人操插| 色五月激情综合网站| 综合99久久天天综合| 五月婷婷五月丁香综合| 天天操天天曰天天射| 婷婷综合中文字幕| 狠狠狠狠狠干| 艹| 亚洲啪啪精品| 丁香无月在线观看| 五月婷婷日| 中文字幕av久久爽一区| 玖玖99福利| 91成人看| 五月丁香色色网| 大香蕉啪啪网| 欧美日韩成人免费在线| 色五月自偷自拍婷婷婷婷| 99热首页| 婷婷五月激情五月激情| 26uuu欧美| 五月丁香综合激情网| 五月婷婷六月婷| 99热这里有精品24| 免费久久这里只有精品99| 99精品国产在热久久| 殴美激情综合网| 婷婷综合在线播放| 少妇婷婷五月天| 久久久久久久五月| 99久久婷婷国产综合亚洲| 91se视频| 依人大香蕉在钱1| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 久久视频这里有精品99| 亚洲综合新99视频| 婷婷亚洲丁香五月| 六月婷婷视频| 26UUU亚洲欧美| 丁香六月成人网| 激情婷婷丁香色五月| 狠狠色婷婷7777久| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 99热99热在线| 五月丁香花开综合网| 六月婷综合| ZpRSw| 91chinese在线| 亚洲综合成人网| 五月激情另类| 天天干,天天舔| 色之综合网| 五月天五月色婷婷综合| 激情五月丁香色婷婷| 东北婷婷五月天| 这里只有精品久| 五月丁香成人| 开心激情网在线| 国产精品色婷婷AV综合色色| 99热这里都是精品| 婷婷综合色图| 五月天婷婷久久| 久色精品| 先锋男人91资源| 大香蕉五月天婷婷丁香91| 91久久婷婷| 99热这里只有精品亚洲| 丁香六月亚洲综合| 日本婷婷色日| 激情综合网址| 99热婷婷| 日本精品人妻无码77777| 国产精品第一国产精品| 99热免费18| 9999三级片| 亚洲一色色色色色色色色| 丁香五月图片| 婷婷综合爱| 99色色视频| 色热久| 色五月婷婷在线| 精品久久久中文字幕大豆网推荐理由| 区啪精品| 成人噜噜网| 激情开心五月亚洲| 亚洲黄色精品| 天天干,夜夜爽| 久久五月天影院| 九九99精品视频| 六月色色综合| 婷婷丁香五月网| 亚洲午夜AV| 欧美日韩精品一区二区三区钱| 97碰久久| 激情色情五月天| 婷婷月综合| 狼人久草| 超碰成人在线免费观看| 影音先锋按摩| 亚洲欧美一区二区三区四区爱爱动图| 99自拍视频在线| www.天天干| 色色五月丁香婷婷综合| 99'无码| 五月天激情视频| 中文字幕网伦射乱中文| 成人AV播放| 久热这里只精品| 五月色婷婷综合丁香精品无遮挡| 色99色| 国产3p露脸普通话对白| 91肏| 激情 婷婷 丁香五月天| 九九Av| 碰碰碰97国产| 色色色欧美| 天天日,天天插| 五月天开心网| WWW色色色COm| 五月天另类图片| 午夜天堂啪啪| 99久久视频| 一区二区三区四区无码| 26UUU精品一区二区| 亚洲AV另类| 97婷婷丁香五月| 五月色婷婷综合| 久久狠婷婷| 欧美婷婷五月天综合| 综合另类视频| 月丁香久久久| 这里只有精9| 91九色精品女同系列| 欧美日韩国产成人在线| 色综合天天网| 玖玖资源在线视频| 怡春院久操| 亚洲射激情| 色婷婷9| 一级黄色操B| 人妻在线中文字幕久久| 九九香蕉网| 4399欧美另类视频| 亚洲mm色| av中文在线| 婷婷综合五月| 婷婷五月天第四色| 狠狠的日| Av大香蕉| 婷婷丁香激情综合色情| 狠狠看狠狠| 99精品视频在线观看| 九九热再线九九视频免费在线观看| 色欲天天综合| 激情五月综合免费| 日本道久久91| 五月精品| 激情四射五月天| 狠狠综合久久| 久久精品爱爱| 婷婷成人基地| 五月天婷婷在线观看精品男人| 色五月天综合网| 性爱人人网| 婷婷亚洲丁香五月| 99re在线观看| 天堂五月婷婷| 丁香五月婷婷国产在线| 精国产品一区二区三区A片| 97操在线视频| 99自拍视频网站| 狠狠色五月| 丁香五月婷婷亚洲色图| 99热九九在线| 伊人婷婷五月天| 超碰在线观看成人视| 色亚洲激情| 激情五月天婷婷丁香| 五月婷在线播放| 高清免费在线视频| 六月婷伊人| 日本欧美成人片AAAA| 五月婷婷综合激情| 97精品人人A片免费看| 亚洲 精品 综合 精品| 人人操AV| 亚洲欧洲自拍图片专区五月天| 欧洲色色| 天天拍久久| 97色五月婷婷在线| 激情五月天之六月婷婷| 亚洲午夜成人av电影网| 这里只有免费的精品| 五月精品99综合| 99久久性爱| 久久九九re热| 91久久精品无码一区二区三区| www99久久| 精品成人久久久久久久_一二三四视| 伊人久久大香网| 99热首页| 五月社区婷婷激情| 日本韩国视频在线观看社区免费的9| 97色色色色色| 色综合丁香婷婷| 丁香五月天啪啪| 婷婷丁香77777| 日韩av一区二区在线/日产精品久久久| 久久网思思| 婷婷色五月大香蕉在线| 九九色综合视频| 人妻aV在线| 五月天色丁香| 99亚洲大片精品永久在线观看| 国产在线网址1| 五月婷婷丁香俺日污视频| 亚洲99在线| 中文AV网站| 天天噪夜夜爽| 婷婷五月精品| 99在线精品视频| 亚洲激情综合| 人人插操| 丁香五月天亚洲视频| 丁香五月久久| 欧美色男人网站| 日日噜狠狠色综合久| 久久色区| 九九九九热99超碰| 人妻久热| 成人婷婷五月天| 久久蜜臀婷婷| 91chinese在线| 天天天添天天操| 久久图色4| 婷婷激情综合| 天天综合网亚洲网站| 五月婷婷偷拍| 极品人妻VIDEOSSS人妻| 五月天婷婷成人| 欧美群妇大交乱婬网| 爱穴久久| 久久五月丁香婷婷| 五月丁香六月婷婷综合网| 丁香花操逼| 五月婷婷激情| 色小说五月天| 99免费成人网| 狠狠狠狠青草| 九九热视频这里只有精品| 五月丁香花激情综合网| www色五月| 天天干天天av天天射| 噜噜干日本| 五月丁香婷中文字幕| 免费AV在线| 国自产拍偷拍精品啪啪一区二区| 狠狠干婷婷| 五月丁香婷婷无码A∨| 久久婷婷综合拍| 欧美日韩成人在线| 神马欧美精| 激情丁香五月婷| 99热这里只有精品4| 久热婷婷| 国产干逼片| 久久婷婷亚洲| 婷婷涩五月天综合| 久9视频| 少妇人妻偷人精品无码视频新浪| 99色在线| 久草丁香婷婷五月天婷| 六月婷婷五月丁香首页| 色九月激情综合网| 久久婷婷综合网| 色综合色色| 日B日潘金莲BB| 91操黄| 99久久婷婷国产综合精品电影| 爱爱网址9| 人人干人人操外国| site:esunnet.com| 婷婷 色 丁香 夜| 婷婷情色五月天| 亚洲五月天,激情视频| 丁香五月www| 桃色成人网| 操一操干一干| 91肏| 五月丁香无码视频| 婷婷丁香五月六月激情| 天天艹天天综合网| 欧美色久| 色都都狠狠色都都色综合色| 国产欧美日韩综合精品一区二区| 久九色| 五月婷婷视频| 婷婷五月天无码视频| 五月丁香婷婷色色| 色五月婷婷自拍| 免费黄网不卡AV| 婷婷丁香五月综合| 五月丁香六月激情在线| 天天噜日日噜综合无码| 伊人AV五月婷| 五月丁香五月天现场视频| 第2色五月婷| 久久视频婷婷视频| 丁香五月色五月| 国产精品视频网| 色玖玖网| 操逼视频网址| 五月婷婷电影院| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 久99| www.色婷婷.com| 欧美日韩AAAA| 五月激情五月婷婷五月天在线| 五月涩涩网| 色五月视频无码播放| 五月婷婷狠天天色综合| 97亚洲色 torrent magnet| 综合色五月| 99九九热在线观看| 色域五月婷婷丁香| 日本三级日本黄色| 67194线路二在线观看| Av狠狠色丁香婷| 色色色色色色色色色影院| 国产真人做爰视频免费| 99国产精品久久久久久久久久久 | 久草性爱| 97色视频网| 伊人久久大香线蕉亚洲五月天,| 丁香五月婷婷操逼| 岛囯综合激情网| 五月丁香久久激情综合| 91a片爽| 婷婷中文综合网| 欧美情色电影一区二区| 97超级啪啪在线观看| 久久婷婷免费| 白度黄视频| 久综合4| 91婷婷丁香五月亚洲| 久久精品日| 色五月婷婷激情基地| 婷婷色六月| 97干视频在线| 久草A片| 婷婷五月色情| 91丨九色丨白浆秘| 99精品在线观看| 狠狠夜夜五月丁香| 热久久66| 亚洲日日操| 色五月婷婷五月天| 热99精品视频五月| 日本婷婷| 色婷婷成人做爰A片免费看网站| 成人做爰黄A片免费看直播室男男| 国产精品成人网址| 9久久网| 九热...av| www九九热| 天天综合亚洲综合网天天αⅴ| 插插插色综合网| 久久机热思思热| 色亚洲激情| 丁香五月婷婷激情尤物| 九九免费视频| 六月婷婷激情| 葵花AV在线| 欧美日韩123| 五月婷六月综合在线观看| 五月丁香婷婷人体| 四月婷婷丁香五月| 久久草大香蕉| 丁香六月天| 久热视频97AV在线观看| 激情视频91| 久久老码第一| 天天噜噜| 97色色色色色| 日产精品一线二线三线芒果| 日本在线wwww| 99热都是精品| 五月花婷婷最新| 激情色色色| 色婷婷久久综合中文久久一本| 成人午夜天| 人人操91色| 欧美一级色| 色情五月天婷婷| 99a级片| 国产肥白大熟妇BBBB视频| 任你爽在线视频| 欧美色99| 99精品视频免费观看,| 九九视频这里只有精品| 久久久五月天| 熟妇高潮一区av| 日本三级中文字幕| 很很干在线视频| 久re热视频| 中文字幕日产A片在线看| 婷婷九色| 婷婷大美在线| 婷婷亚洲综合| 欧类av怡春院| 色播播婷婷| 亚洲丁香五月深爱五月| 色婷婷亚洲婷婷| 婷婷六月色| 婷婷综合九月| 狠狠色综合777| 丁香五月激情视频| 五月天婷婷小说| 成人短视频免费| 天天五月丁香五月| 丁香五月天资源网| AA片在线观看视频在线播放| 超碰国产在线观看| 久久婷婷亚洲五月天| 天天看A片| 超碰免费电影| 五月天激情网址| 麻豆雪千夏| www.婷婷com| 狠狠色丁香久久久婷| 99热99热在线| 麻豆AV一区二区三区| 黄网网站在线播放| 热久久视频99| 婷婷五月六月| 婷婷丁香社区| 青青草六月丁香| 丁香五月天激情视频| 丁香久久久| 久久思思热视频| 99视频在线| 久久久99免费视频| 国产资源91在线| 99热这里只有精品99| 色五月婷婷91| 伊人五月丁香| 777精品久无码人妻蜜桃| 色色色色五月天| 丁香五月天成人网站| 婷婷大美在线| A色色| 五月天丁香| 9999久久久久| 大香蕉天堂色| 丁香五月婷婷大香蕉| 大香蕉精品视频| 五月丁香婷婷综合激情基地| 99热这里只有精品青草| 亚洲精品国产成人AV在线| 成 人片 黄 色 大 片| 午夜福利成人AV91| 亚洲国产网站| 亚洲色婷婷色| 99久久久久久| 黄色三级毛片中字| 日韩无码一区二区三区四区| 美女100%露全身无挡网站| 激情五月天开心| 激情婷婷| 亚洲妇女熟BBW| 日笨久久网| 国产成人AV在线| 婷婷色五月亚洲| 国产亚洲在线观看| 婷婷五月六月| 第五色婷婷| 色色五月丁香婷婷综合| 99久久国产综合精品五月天喷水\| 色婷婷六月性| 丁香五月色情| 91色在线/日韩| 99九九在线精品热动漫| 久久久婷婷五月亚洲97号色| 色婷婷的五月天| 99情色五月天| 五月婷婷在线观看| 99在线视频操999| 热99re| 狠狠精品干练久久久无码中文字幕 | 亭亭五月色男人| 五月丁香啪啪啪综合网| 91色综合| 日韩综合网络男女香蕉a片| 丝雨一区二区| 伊人91| 天天操天天干天天日| 婷婷激情视频| 69精品人人人人| 五月天成人在线视频丁香| 欧洲色| xx色综合| 丁香六月色婷婷| 99视频内射三四| 五月丁香激情四射| 99re6热在线精品视频播放速度| 久久激情五月| 天天插天天插天天日| 亚洲人妻av| 五月丁香999| 99精品偷自拍| www.亚洲激情| AV网在线观看| 97色97干| 99热啪啪| 色丁香五月| 2050人人操免费工开爱| 亚洲日韩乱码一区二区三区四区| 五月婷色丁香| 青青草青青草五月天| 岛国AV网站| 97人人操人| 色五月欧美| 成人AV中文字幕| 天天操综合网| 婷婷久久六月天| 91日综合欧美| 婷婷五月丁香91| 99热永久在线观看| 99精品国产在热久久| 丁香婷婷十月| 伊人久热91| 亚洲操操| 色婷婷4| 狠狠 久久| 啪啪综合| 99热这是里只有精品| 婷色天堂| 久久只有18视频| 久久伦乱| 欧美日韩成人| 男女久久婷婷五月天| 色噜噜五月丁香婷婷| 成人精品在线| 激情五月天综合图片小说网站| 91丨九色丨国产| 六月丁香av| 另类图片激情五月天| 狠狠色噜噜色狠狠狠综合色 | 99热 在线播放| 99九九久久| 色色色色色色97| 丁香五月婷婷五月| 久久久久9| 五月天婷婷激情小说| 东京热人妻一区二区三区在线| 91丨九色丨熟女|新版| 99re热| 91欧美日韩| 99久热这里只有精品| 色宗合久久五月婷婷| 日本视频99| 国产精产国品一二三在观看| 天天射色五月天| 大香蕉婷婷丁香天堂AV| 青草青草视频2免费观看| 激情色色色| 开心五月六月婷婷| 九九视频在线观看视频6| 99九九视频精彩在线| 亚洲精品欧洲精品| 成人国产网站| 91一起操| 九九热视频精品| 精热在线综合网| 丁香五月婷综合| 99热久| 天天爱天天秀天天做| 五月婷婷六月丁香激情综合网| 婷婷五月天丁香成人社区| 日日撸夜夜操| 五月婷精品| 色五月成人婷婷| 在线成人av播放| 九九色热| 五月天婷婷丁香导航| 激情婷婷人妻| 狠狠色狠狠爱| 国产AV一区二区三区最新精品| 亚洲熟妇无码乱子AV电影| 人人添人人| 成人婷99最新| 99情色五月天| 性一交一乱一交A片久久四色| 欧美黄色韩日网| 五月天婷婷爱丁香中文字幕| www. 五月. com| 久久艹 五月天| 五月天激情图片| 婷婷免费视频| 人人色AV| 精品久久9| 丁香视频| 亚洲V国产V欧美V久久久久久| 婷婷伊人綜合中文字幕小说| 亚亚州久久高潮| 久久国产性爱A V| 日本97在线|