欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

ECC內(nèi)存故障排查指南:從Uncorrectable錯(cuò)誤到MBIST自檢

ECC內(nèi)存故障排查指南:從Uncorrectable錯(cuò)誤到MBIST自檢 半夜兩點(diǎn)手機(jī)彈出一條戴爾OpenManage的告警郵件標(biāo)題寫著“Uncorrectable ECC Error Detected on Memory Slot 2”??吹健癠ncorrectable”這個(gè)詞相信不少運(yùn)維心態(tài)跟我第一次一樣完了內(nèi)存掛了系統(tǒng)怕是要重啟。結(jié)果我登上iDRAC一看系統(tǒng)還好好的SQL Server還跑著硬件健康頁里顯示那次錯(cuò)誤就記錄了一次之后計(jì)數(shù)值一直沒動(dòng)。那一晚上我基本沒睡把這臺(tái)機(jī)器的內(nèi)存日志、SMBIOS信息、內(nèi)核EDAC計(jì)數(shù)、MBIST自檢日志翻了個(gè)底朝天。第二天白天確認(rèn)這只是一根內(nèi)存條上某個(gè)bank的介質(zhì)老化ECC機(jī)制把一次本可能致命的“多比特錯(cuò)誤”攔在了系統(tǒng)之外系統(tǒng)沒宕機(jī)數(shù)據(jù)沒丟。這就是ECC內(nèi)存有意思的地方它既能幫你“擋災(zāi)”又會(huì)用一堆“uncorrectable”“CE”“UE”“MBIST”這種術(shù)語把你嚇得不輕。這篇就寫一寫我對(duì)ECC內(nèi)存糾錯(cuò)機(jī)制、日志解讀、MBIST自測和實(shí)際排查經(jīng)驗(yàn)的一些沉淀適合剛接觸服務(wù)器運(yùn)維的人、自己在組NAS且打算買ECC內(nèi)存的玩家、以及被內(nèi)存日志折磨過的同行參考。1. 從奇偶校驗(yàn)到漢明碼ECC糾錯(cuò)的底層邏輯1.1 內(nèi)存為什么會(huì)出錯(cuò)內(nèi)存芯片看起來很穩(wěn)定實(shí)際上是很脆弱的半導(dǎo)體結(jié)構(gòu)。從故障來源看內(nèi)存錯(cuò)誤一般可以分成三類第一類是瞬時(shí)軟錯(cuò)誤宇宙射線或者封裝材料中的微量放射性粒子打到存儲(chǔ)單元的電容上導(dǎo)致電荷翻轉(zhuǎn)典型表現(xiàn)是“單比特翻轉(zhuǎn)”。這類錯(cuò)誤是瞬時(shí)的、可恢復(fù)的也是服務(wù)器里最常見的錯(cuò)誤來源。第二類是熱噪聲與電壓波動(dòng)內(nèi)存顆粒工作在納米級(jí)的電荷量上溫度升高、電壓跌落都可能讓某一位變得不穩(wěn)定。第三類是物理損耗通電時(shí)間長了、頻繁熱脹冷縮焊點(diǎn)和內(nèi)部走線出現(xiàn)異常最終形成固定的壞塊、壞bank。普通內(nèi)存沒有任何校驗(yàn)?zāi)芰θ魏我粋€(gè)位出錯(cuò)都是災(zāi)難性的。你平時(shí)用消費(fèi)級(jí)電腦偶爾遇到藍(lán)屏很多情況下就是這種瞬時(shí)錯(cuò)誤沒有被發(fā)現(xiàn)程序讀到了錯(cuò)誤的數(shù)值然后當(dāng)場崩潰。服務(wù)器要7x24小時(shí)跑關(guān)鍵業(yè)務(wù)內(nèi)存容量又是消費(fèi)級(jí)的幾十倍錯(cuò)誤概率自然更高。如果每一處錯(cuò)誤都不加處理數(shù)據(jù)庫跑到一半讀出一個(gè)錯(cuò)誤的余額那才是真正的大事故。所以服務(wù)器迫不得已要帶一個(gè)“校驗(yàn)員”這就是ECC存在的意義。1.2 從“知道錯(cuò)了”到“知道錯(cuò)在哪”如果只想給內(nèi)存加錯(cuò)誤檢測機(jī)制最原始的想法是奇偶校驗(yàn)每8個(gè)數(shù)據(jù)位額外存1位記錄這一組里1的個(gè)數(shù)是奇數(shù)還是偶數(shù)。讀取時(shí)重新算一遍對(duì)不上就知道出錯(cuò)了但只能知道“出錯(cuò)了”不知道是哪一位更沒法自動(dòng)恢復(fù)。所以這種方案很快被漢明碼取代。漢明碼的巧妙之處在于它給數(shù)據(jù)增加的不是一個(gè)籠統(tǒng)的校驗(yàn)位而是一組按不同組合方式計(jì)算的校驗(yàn)位每個(gè)校驗(yàn)位覆蓋數(shù)據(jù)位的一個(gè)特定子集。當(dāng)某個(gè)數(shù)據(jù)位出錯(cuò)時(shí)會(huì)導(dǎo)致多個(gè)校驗(yàn)位檢查失敗而這些校驗(yàn)位的“失敗編號(hào)”恰好就是出錯(cuò)位的索引。這樣一來系統(tǒng)不僅能知道內(nèi)存里確實(shí)有錯(cuò)還能唯一定位到是哪一位然后直接把它翻轉(zhuǎn)回去。這就是“單比特糾正、雙比特檢測”SEC-DED的含義單個(gè)位出錯(cuò)能自動(dòng)修好兩個(gè)位以上出錯(cuò)檢測機(jī)制能發(fā)現(xiàn)“出大事了”但沒法定位并修復(fù)只能拋出uncorrectable錯(cuò)誤。為了讓這個(gè)過程落到硬件上ECC內(nèi)存條比普通內(nèi)存多出一部分存儲(chǔ)芯片。普通DDR內(nèi)存是64位數(shù)據(jù)位寬ECC內(nèi)存是72位相當(dāng)于多了8位這8位用來存儲(chǔ)校驗(yàn)信息。CPU訪問內(nèi)存時(shí)內(nèi)存控制器自動(dòng)計(jì)算校驗(yàn)值讀出來時(shí)自動(dòng)校驗(yàn)整個(gè)過程的時(shí)延開銷被硬件吃掉了。壞消息是多出來的校驗(yàn)位會(huì)占用一部分帶寬所以如果純粹比峰值讀寫性能ECC內(nèi)存會(huì)稍有折損。但好消息是可靠性提升了一個(gè)數(shù)量級(jí)。對(duì)服務(wù)器來說這個(gè)交換極其劃算。1.3 “可糾正”和“不可糾正”的分水嶺每次發(fā)生錯(cuò)誤時(shí)內(nèi)存控制器會(huì)根據(jù)校驗(yàn)結(jié)果給事件分類Correctable ECC errorCE系統(tǒng)成功定位并修復(fù)了錯(cuò)誤但硬件會(huì)把這個(gè)事件記錄在日志里這就是“CE計(jì)數(shù)”的來源。CE計(jì)數(shù)可以很高因?yàn)槊恳淮嗡矔r(shí)錯(cuò)誤都算一次。Uncorrectable ECC errorUE錯(cuò)誤超出了糾正能力比如一個(gè)校驗(yàn)組里兩個(gè)位同時(shí)翻轉(zhuǎn)系統(tǒng)無法恢復(fù)。如果出錯(cuò)的數(shù)據(jù)正在被CPU使用通常會(huì)引起Machine Check Exception直接導(dǎo)致系統(tǒng)停機(jī)或進(jìn)程被殺。注意uncorrectable并不等于“內(nèi)存徹底報(bào)廢”。一次有多個(gè)位同時(shí)翻轉(zhuǎn)的瞬時(shí)沖擊也會(huì)觸發(fā)UE而物理壞塊導(dǎo)致的UE則意味著該區(qū)域不可信。所以在日志里看到UE時(shí)可能對(duì)應(yīng)完全不同的結(jié)論一種是要繼續(xù)觀察的軟錯(cuò)誤另一種是必須立刻換條硬故障。區(qū)分它們的方法就是接下來要講的日志解讀和MBIST自檢。2. “uncorr. ecc 顯示2”背后的日志讀法2.1 不同日志系統(tǒng)對(duì)同一錯(cuò)誤的不同記賬方式能搜到“uncorr. ecc 顯示2”這種詞的人多半是在某臺(tái)服務(wù)器的帶外管理界面看到內(nèi)存錯(cuò)誤計(jì)數(shù)顯示2或者在日志導(dǎo)出文件里看到“uncorrectable error count 2”的字樣。我見過不少同事看到數(shù)字2就緊張覺得壞了兩次其實(shí)這里有個(gè)很大的誤解同一個(gè)硬件事件在帶外日志、內(nèi)核日志、BIOS日志里往往會(huì)被記錄成不同的計(jì)數(shù)。比如同一時(shí)刻DIMM A2發(fā)生了一次UE帶外控制器Dell iDRAC、HPE iLO等可能會(huì)記錄為一條獨(dú)立的“Uncorrectable ECC Error on DIMM A2”事件同時(shí)BMC的系統(tǒng)事件日志中會(huì)遞增一個(gè)“Total Uncorrectable Error Count”字段而Linux內(nèi)核的EDAC模塊可能只記錄一條“EDAC MC0: 1 UE”。不同日志系統(tǒng)對(duì)同一事件的編碼方式不一樣數(shù)字自然對(duì)不上。如果你用RACADM導(dǎo)出的日志里看到“uncorr. ecc 顯示2”最可能的解釋有兩個(gè)一是內(nèi)存控制器下有兩個(gè)bank的UE計(jì)數(shù)被分開累計(jì)日志里顯示的是“某個(gè)控制器總共檢測到兩次不可糾正錯(cuò)誤事件”二是帶外日志把同一個(gè)根源事件重復(fù)存儲(chǔ)成兩條記錄——比如一條是錯(cuò)誤本身另一條是錯(cuò)誤狀態(tài)寄存器達(dá)到告警閾值的事件。判斷的關(guān)鍵是看時(shí)間戳和具體位置如果兩次錯(cuò)誤的時(shí)間戳幾乎相同、DIMM位置也一樣基本可以斷定是同一事件的多級(jí)上報(bào)如果時(shí)間戳相差很遠(yuǎn)、位置也不同那才是兩次獨(dú)立事故。2.2 用EDAC和mcelog看內(nèi)核側(cè)的真實(shí)計(jì)數(shù)在Linux下看真實(shí)的內(nèi)存糾錯(cuò)計(jì)數(shù)最直接的是查看EDAC子系統(tǒng)暴露的計(jì)數(shù)器。以下是我常用的命令組合# 查看內(nèi)存控制器的CE/UE總計(jì)數(shù) cat /sys/devices/system/edac/mc/mc0/ce_count cat /sys/devices/system/edac/mc/mc0/ue_count # 查看每個(gè)csrow的計(jì)數(shù) cat /sys/devices/system/edac/mc/mc0/csrow0/ue_count cat /sys/devices/system/edac/mc/mc0/csrow0/ch0_ce_count # 實(shí)時(shí)看dmesg里新增的EDAC記錄 dmesg -w | grep EDAC MCue_count為0、ce_count很大這是非常常見的狀態(tài)。CE計(jì)數(shù)高說明這個(gè)通道的環(huán)境或顆粒不太穩(wěn)定但還在內(nèi)存控制器的處理能力之內(nèi)。如果ue_count從0變成1就要提高警惕。配合mcelog可以解析硬件層記錄的Machine Check信息cat /var/log/mcelog journalctl -k | grep -i mce很多發(fā)行版默認(rèn)裝了mcelog但不一定開啟了守護(hù)進(jìn)程建議先檢查服務(wù)狀態(tài)。它能給出CPU、內(nèi)存控制器的詳細(xì)信息并區(qū)分“可糾正”和“不可糾正”。如果系統(tǒng)里同時(shí)裝了edac-utils也可以用edac-util -v看更詳細(xì)的錯(cuò)誤分布那個(gè)更容易定位到具體通道和插槽。2.3 看到計(jì)數(shù)增加后先別急著換內(nèi)存很多剛?cè)胄械呐笥岩豢吹絻?nèi)存錯(cuò)誤計(jì)數(shù)漲了就馬上去機(jī)房拔內(nèi)存條其實(shí)這反而可能會(huì)把簡單問題復(fù)雜化。我建議至少按這個(gè)順序做一遍判斷看是不是“舊賬”。很多機(jī)器長時(shí)間沒清過日志BMC里累積了歷史錯(cuò)誤和當(dāng)前運(yùn)行無關(guān)。先看系統(tǒng)uptime和最后一次錯(cuò)誤記錄時(shí)間如果時(shí)間戳很久以前優(yōu)先考慮清空日志后繼續(xù)觀察??村e(cuò)誤位置和系統(tǒng)負(fù)載的關(guān)系。我遇到過一臺(tái)機(jī)器每次跑內(nèi)存密集型編譯任務(wù)時(shí)CE計(jì)數(shù)就開始漲業(yè)務(wù)空閑時(shí)完全不漲。后來鎖定到溫度問題把風(fēng)扇策略調(diào)高后計(jì)數(shù)就停了。這種“負(fù)載相關(guān)”的錯(cuò)誤方向往往是散熱或供電而不是顆粒本身。確認(rèn)是不是插槽或主板接觸問題。臟污氧化會(huì)導(dǎo)致接觸電阻變大出現(xiàn)間歇性UE。這種情況下直接換內(nèi)存條不一定解決問題先做金手指清潔、重新插拔很多“幽靈錯(cuò)誤”會(huì)直接消失。如果確實(shí)是反復(fù)新增的UE且手上沒有備用條可以暫時(shí)通過BIOS把出問題的內(nèi)存通道或bank屏蔽掉應(yīng)急但長期必須安排更換。3. MBIST ECC自檢把內(nèi)存逼到極限再放行3.1 MBIST到底是什么Memory Built-In Self-Test也就是內(nèi)存內(nèi)建自檢。現(xiàn)代服務(wù)器主板的內(nèi)存控制器里內(nèi)置了專門的測試邏輯不依賴操作系統(tǒng)也不完全依賴CPU主頻。MBIST引擎會(huì)按照預(yù)設(shè)的算法序列向存儲(chǔ)單元寫入、讀取、翻轉(zhuǎn)特定圖案檢查是否存在“卡死在0”“卡死在1”、地址線短路、存儲(chǔ)單元相互干擾等結(jié)構(gòu)性問題。這個(gè)過程和操作系統(tǒng)里跑memtest86類似但MBIST更偏向硬件底層的結(jié)構(gòu)測試也更加嚴(yán)格。MBIST最厲害的一點(diǎn)是它能繞開操作系統(tǒng)的干擾直接在硬件層面對(duì)整個(gè)存儲(chǔ)陣列進(jìn)行暴力讀寫。所以當(dāng)運(yùn)行時(shí)出現(xiàn)的ECC錯(cuò)誤可能是環(huán)境干擾時(shí)MBIST報(bào)錯(cuò)的指向性要明確得多。如果MBIST在某個(gè)bank報(bào)了fail那基本可以認(rèn)定為物理顆粒的問題直接對(duì)應(yīng)到DIMM甚至具體rank而不是“運(yùn)氣不好碰到的瞬時(shí)錯(cuò)誤”。3.2 怎么觸發(fā)一次MBIST服務(wù)器一般有幾個(gè)入口可以觸發(fā)POST階段自動(dòng)運(yùn)行很多服務(wù)器的BIOS默認(rèn)在開機(jī)自檢時(shí)做一輪“Enhanced Memory Test”如果上次關(guān)機(jī)不干凈或檢測到異常會(huì)自動(dòng)擴(kuò)展成完整的MBIST。帶外管理界面手動(dòng)觸發(fā)Dell iDRAC里有“Memory Test”功能HPE iLO里有“Run Memory Test”觸發(fā)后機(jī)器會(huì)重啟在開機(jī)階段跑一輪測試。BIOS里的內(nèi)嵌測試AMI等主板的BIOS里一般有“Memory Test”或“MemTest”頁面可以手動(dòng)開啟。手動(dòng)跑之前務(wù)必注意MBIST極其耗時(shí)。一條16GB內(nèi)存跑一輪完整的March C-大概要幾分鐘到十幾分鐘整機(jī)內(nèi)存如果堆到幾百GB甚至TB級(jí)別完整測試可能跑幾個(gè)小時(shí)。測試期間機(jī)器必須停機(jī)業(yè)務(wù)要提前切換或安排窗口。我在生產(chǎn)環(huán)境里跑過一臺(tái)512GB內(nèi)存的數(shù)據(jù)庫機(jī)器完整測試跑了將近三個(gè)小時(shí)期間那臺(tái)機(jī)器完全離線。3.3 怎么看MBIST結(jié)果并與ECC日志對(duì)應(yīng)跑完之后MBIST的結(jié)果通常會(huì)在POST日志、iDRAC/ILO的系統(tǒng)事件日志中顯示為“Memory BIST Test Passed/Failed”或者給出類似“Single-bit correction error in DIMM A2”的信息。這里有個(gè)很容易踩的坑MBIST測試結(jié)果“passed”并不代表內(nèi)存絕對(duì)健康只能說明在那一輪測試的算法序列和溫度環(huán)境下沒有測出致命的固有問題。有些存在微妙時(shí)序問題的內(nèi)存條要跑到高溫高負(fù)載時(shí)才會(huì)暴露MBIST不一定抓得住。反過來如果MBIST報(bào)出fail甚至具體到“bank 4, wordline xxxxx”那就別猶豫了問題定位很明確。我自己的習(xí)慣是運(yùn)行時(shí)日志看到CE新增、UE偶發(fā)先不慌安排一個(gè)內(nèi)存測試窗口測試通過但計(jì)數(shù)還繼續(xù)漲就檢查散熱和供電測試失敗直接按位置換條。這樣一套流程下來絕大多數(shù)內(nèi)存問題都能在業(yè)務(wù)不中斷的前提下處理干凈。3.4 跑MBIST前的準(zhǔn)備工作清單想在窗口內(nèi)高效跑完MBIST建議提前做這幾件事備份數(shù)據(jù)并切換業(yè)務(wù)確認(rèn)測試期間這臺(tái)機(jī)器完全離線也不會(huì)影響核心服務(wù)。導(dǎo)出當(dāng)前的內(nèi)存錯(cuò)誤日志作為基線測試前后用同一套命令對(duì)比計(jì)數(shù)。在帶外管理界面開啟告警屏蔽防止測試期間的噪音告警把值班手機(jī)震爛。記錄測試開始時(shí)間和預(yù)計(jì)時(shí)長測試過程中安排一次人工確認(rèn)看有沒有中途報(bào)錯(cuò)。有條件的話記錄機(jī)箱溫度和系統(tǒng)功耗。測試過程會(huì)拉高內(nèi)存負(fù)載溫度數(shù)據(jù)可以一并用來判斷散熱是否異常。4. 一次真實(shí)ECC故障的完整排查鏈路4.1 告警點(diǎn)名DIMM A2但系統(tǒng)看起來沒事前段時(shí)間處理過一臺(tái)客戶數(shù)據(jù)庫服務(wù)器Dell R75064GB RDIMM插了8條跑了快兩年。某天客戶的郵件轉(zhuǎn)發(fā)過來說iDRAC昨晚報(bào)了一次“Uncorrectable ECC Error Detected on DIMM A2”問是不是要換內(nèi)存。我登錄后先看iDRAC面板內(nèi)存健康一欄是黃色警告但系統(tǒng)狀態(tài)顯示正常操作系統(tǒng)也沒重啟過。再看BMC日志除了那條UE外前一天還有幾條“Corrected ECC Error”事件并且日志里顯示“uncorr. ecc 顯示2”的感覺就是這么來的——帶外管理界面把內(nèi)存控制器上報(bào)的錯(cuò)誤次數(shù)統(tǒng)計(jì)成了2。按前面的方法先查內(nèi)核側(cè)dmesg | grep -i EDAC MC | tail -20結(jié)果只有一條類似這樣的記錄EDAC MC0: 1 UE on DIMM A2 (channel:0 slot:2 page:0x12345)時(shí)間戳和iDRAC里的那條能對(duì)上。到這里基本可以判斷所謂“顯示2”是帶外日志把同一件事記成了兩條事件——一條是錯(cuò)誤本身另一條是錯(cuò)誤閾值達(dá)到告警的事件內(nèi)核側(cè)實(shí)際只認(rèn)一次。4.2 業(yè)務(wù)切換后如何把根因釘死接下來安排窗口把數(shù)據(jù)庫切換到備機(jī)然后按順序走了一遍完整流程先做完整日志快照dmidecode -t memory # 查看內(nèi)存條信息、序列號(hào)、插槽、速度 edac-util -v # 查看EDAC所有控制器的詳細(xì)計(jì)數(shù) dmesg | grep -i -E EDAC|MC | tail -30在iDRAC里手動(dòng)觸發(fā)“Memory Test”跑完整MBIST。結(jié)果出來后確認(rèn)fail位置正是DIMM A2上的bank 4。執(zhí)行更換。這里有幾個(gè)細(xì)節(jié)值得注意先把機(jī)器完全下電做好防靜電措施。拆下嫌疑條后觀察金手指如果表面有氧化痕跡或插槽內(nèi)有灰先用無塵布加酒精清潔插槽和內(nèi)存條金手指再插回去跑一輪測試。替換用同型號(hào)、同頻率、盡量同一批次的內(nèi)存條避免不同顆粒方案的條子混插引發(fā)新的不穩(wěn)定。更換后開機(jī)進(jìn)BIOS跑一輪快速內(nèi)存測試確認(rèn)通過。然后進(jìn)系統(tǒng)查看EDAC計(jì)數(shù)是否歸零如果沒有歸零但內(nèi)核支持可以手動(dòng)重置echo 0 /sys/devices/system/edac/mc/mc0/ce_count echo 0 /sys/devices/system/edac/mc/mc0/ue_count如果內(nèi)核不支持寫入重啟后計(jì)數(shù)一般也會(huì)清零。觀察72小時(shí)包括CE計(jì)數(shù)是否反彈、有沒有新增UE事件、系統(tǒng)日志是否干凈。觀察期間業(yè)務(wù)可以先切回來但要把監(jiān)控盯緊。4.3 換上備用條后日志還在報(bào)我踩過的坑有次排查一臺(tái)機(jī)器換了兩次所謂“新條”后CE計(jì)數(shù)依然在漲。后來拆下來用放大鏡看金手指發(fā)現(xiàn)新條其實(shí)是翻新條表面有細(xì)微的劃痕和氧化。于是我把原來的嫌疑條清干凈后重新插回去跑一輪MBIST竟然全過之后計(jì)數(shù)也穩(wěn)定了。這說明很多時(shí)候問題不在顆粒本身而在電氣接觸面。另一個(gè)坑是槽位編號(hào)問題。服務(wù)器內(nèi)存槽位不是按A1、A2、B1、B2的順序與日志里的channel/slot直接對(duì)應(yīng)的。有的板子A通道的槽位和B通道交錯(cuò)排列日志里說DIMM A2物理上可能是中間那根。換條前一定要先看服務(wù)手冊(cè)搞清楚物理插槽和通道的映射關(guān)系別拔錯(cuò)了。第三個(gè)坑是固件。有次排查一臺(tái)跑了大半年的機(jī)器內(nèi)存錯(cuò)誤計(jì)數(shù)持續(xù)增加MBIST卻一直通過。后來更新了BIOS和BMC固件更新說明里明確寫著“fixed false positive memory error logging on some DIMMs”更新完計(jì)數(shù)就停了。不是所有錯(cuò)誤日志都是硬件真相固件層面的誤報(bào)也是真實(shí)存在的。5. 選內(nèi)存與固件策略把ECC的價(jià)值用到位5.1 不同ECC內(nèi)存類型的適用場景想上ECC先搞清楚類型。下表是常見內(nèi)存類型的核心區(qū)別類型是否帶ECC緩沖方式常見場景普通UDIMM部分帶無緩沖桌面平臺(tái)、入門NASECC UDIMM帶無緩沖入門級(jí)服務(wù)器部分消費(fèi)級(jí)平臺(tái)支持RDIMM帶寄存器緩沖絕大多數(shù)企業(yè)級(jí)服務(wù)器LRDIMM帶數(shù)據(jù)緩沖與寄存器大容量內(nèi)存場景降低總線負(fù)載RDIMM必須搭配支持Reg ECC的CPU和主板Xeon、EPYC這類基本都支持。消費(fèi)級(jí)平臺(tái)雖然也有“支持ECC”的說法但不一定默認(rèn)開啟很多模式下面向消費(fèi)級(jí)的內(nèi)存控制器策略會(huì)直接忽略ECC功能。自己組NAS時(shí)想上ECC最穩(wěn)的辦法是選明確標(biāo)注支持ECC的主板BIOS里把Memory ECC打開再驗(yàn)證而不是買回來才發(fā)現(xiàn)功能被鎖。5.2 BIOS里那些與內(nèi)存可靠性相關(guān)的設(shè)置BIOS里關(guān)于內(nèi)存可靠性的選項(xiàng)名稱各家不太一樣但核心邏輯是這幾項(xiàng)選項(xiàng)大致作用注意點(diǎn)ECC Mode / ECC Enable總開關(guān)必須打開關(guān)掉后ECC完全失效Memory Sparing留一部分內(nèi)存做熱備塊檢測到損壞自動(dòng)切換可用容量下降A(chǔ)DDDC / DDDC更高級(jí)的多設(shè)備錯(cuò)誤糾正能力有內(nèi)存容量和性能開銷Memory Training開機(jī)時(shí)重新訓(xùn)練內(nèi)存時(shí)序換條或升級(jí)固件后不穩(wěn)定時(shí)可主動(dòng)做一次Memory Test就是MBIST入口Quick/Full模式耗時(shí)差異巨大這些選項(xiàng)不是“開了就萬事大吉”。比如Memory Sparing啟用后系統(tǒng)實(shí)際可用容量會(huì)減少因?yàn)镺S根本看不到備份塊ADDDC也會(huì)引入少量地址解析開銷。選的時(shí)候要結(jié)合業(yè)務(wù)負(fù)載數(shù)據(jù)庫或金融交易系統(tǒng)可靠性優(yōu)先HPC高性能計(jì)算可以偏向性能模式。5.3 固件升級(jí)與內(nèi)存“玄學(xué)”在服務(wù)器上內(nèi)存訓(xùn)練、錯(cuò)誤上報(bào)、ECC糾正策略都依賴固件。固件更新常常解決“某個(gè)型號(hào)內(nèi)存條誤報(bào)錯(cuò)誤”“某個(gè)通道不穩(wěn)定”這類問題。我在生產(chǎn)環(huán)境里踩過一個(gè)坑新采購了一批內(nèi)存條不在服務(wù)器制造商兼容性列表里結(jié)果使用一個(gè)月后某個(gè)槽位出現(xiàn)間歇性CE。查遍硬件都沒找到毛病最后發(fā)現(xiàn)平臺(tái)發(fā)布了新BIOS說明里明確寫著“更新內(nèi)存參考代碼修復(fù)部分內(nèi)存條的錯(cuò)誤上報(bào)問題”。更新到支持的BIOS版本后CE計(jì)數(shù)慢慢清零問題再也沒有復(fù)現(xiàn)。所以遇到說不清的內(nèi)存問題先查固件版本更新說明這往往比拔插內(nèi)存條快得多。5.4 采購與備件策略內(nèi)存的采購和備件我比較堅(jiān)持幾個(gè)原則選服務(wù)器制造商兼容性列表里的內(nèi)存不要迷信“代工同款”這種說法。兩個(gè)看起來一模一樣的顆粒固件訓(xùn)練曲線可能完全不同。備件保持兩到四根最好與機(jī)器里在用的條子同型號(hào)。真正出問題的時(shí)候沒有時(shí)間去調(diào)頻率、調(diào)時(shí)序。對(duì)關(guān)鍵業(yè)務(wù)部署內(nèi)存健康監(jiān)控定期采集EDAC計(jì)數(shù)、關(guān)注BMC告警閾值別等宕機(jī)才翻日志。過保機(jī)器盡早補(bǔ)備件倉位內(nèi)存老化是慢過程最怕壞在半路卡了采購流程。最后聊幾句個(gè)人經(jīng)驗(yàn)。我看了這么多年服務(wù)器的內(nèi)存日志最大的感受是ECC內(nèi)存這個(gè)機(jī)制99%的時(shí)候都在默默干活但一旦它開始頻繁上報(bào)往往意味著你已經(jīng)進(jìn)入了“修復(fù)倒計(jì)時(shí)”。與其糾結(jié)“這個(gè)錯(cuò)誤顯示2是不是真的壞了兩次”不如盡早把這些日志讀懂把MBIST流程跑熟。等哪天真需要救火時(shí)你會(huì)感謝當(dāng)年認(rèn)真研究過這些概念的自己。要是你手里正好也有內(nèi)存報(bào)錯(cuò)的機(jī)器不妨按文里的順序先抓一遍日志結(jié)果往往會(huì)在第一頁就說話。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月婷婷亚洲| 九九色精品| WWW色色色COm| 伊人影院久久网| 激情综合网五月激情| 激情五月五月五月婷婷| 五月伊人综合| 天天久久66xxx| 9久热在线精品| 婷婷五月综合在线| 精品久热| 欧美色宗和激情| 婷婷五月天影院| 亚洲六月色| ,99视频久久| 日韩淑女人妻luan伦激情精品一区二| 99国产99| 欧美色一级色| 少妇性按摩无码中文A片 | 五月婷婷之综合激情| 91一起操| 亚洲成人在线免费| 婷婷爱爱蜜臀天天操| 国产精品电| 亚洲天天| 丁香五月偷拍| 91啪啪视频| 99A级片| site:feetmall.com| 丁香五月天堂| 99色天堂| 无码se| 人妻aV在线| 极品嫩草| 六月婷婷AV| 桃色成人网| 久久激情五月| 丁香五月天堂网| 激情综合无码| 亚州操人在线视频| 狠狠爱综合网| A片试看50分钟做受视频| 99性爱| 久操无码| 亚洲AV成人片无码网站| 一级黄色影片| 婷婷激情五月综合| 国产精品99久久久久久久女警| 丁香六月五月天| 在线视频另类| 天天插天天插| www。久久久久一b。Cc| 五月丁香久久激情综合| 久久婷婷五月天激情| 蒲京久久无码视频| 9超碰在线| 久久久久久18| 成人一级片| 99久久玖玖| 99亚洲视频| 二级黄色毛片| 99,色| 亚洲小视频免费看| 99爱视频免费看| 99.色| 人人干人人操人人摸人人做| www.久久99精品| 大操人妻| 日韩啪| 超碰色婷婷| 久草五月婷婷| 婷婷色香六月综合激情| 天天综合影院| 婷婷五月天黄色| 色情综合网| 五月婷激情| www.91久久| 五月色综合| 国外亚洲成AV人片在线观看| 国产高潮白浆一区二区| 97香蕉久久超级碰碰高清版| www.91有码.com| 婷婷综合网站| 五月激情综合网| 天天日夜夜拍| www.夜夜爱.com| 欧美在线ee日韩| 激情小说五月天社区丁香| 丁香五月人妻| 能看的AV| 97自拍99| anquye伊人| 久色五月婷婷综合| 久久 婷婷 五月天| 热99玖玖99玖玖99九九| 99ri国产| 91亚洲免费片| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 99久久综合精品五月天| av久热| 久久这里只有精品8| 国精产品一区一区三区免费视频| 丁香五月大香蕉AV| 丁香激情六月天婷婷| 天天色噜| 欧美性生交xXxX久久久| 色XX综合网| 婷婷伊人久久| 丁香婷婷中文字幕| 亚洲综合五月天| 国产午夜成人免费看片无遮挡| 国产乱轮一区二区三区| 婷婷五月成人色综合| 日日做天天操夜夜爽| 色99在线观看| 日本V在线观看不卡视频网站| 日本黄色精品| 2w在线视频| 91色久| 日本V在线观看不卡视频网站| 天堂成人久久| 可似看的AV| 中文av网站| 国产首页在线| 五月天婷婷爱丁香中文字幕| 婷婷五月天AV| 91精产一区三区免费观看| 婷婷97狠狠干| 五月丁香啪啪网| 婷婷狠狠香蕉综合| Va另类视频| 91热99| 中文超碰视在线| 色~性~乱~伦~噜| 色综合综合色| 老美AA片| 欧美天天综合网站上去吧| 久久99热免费最新版| 久久精品国产精品| 综合五月草| 五月激情小说| 丁香9月婷婷| 婷婷六月丁香在线| 色播五月婷婷| 激情综合色| 性色天| 欧美成人在线观看| 综合网激情五月天| 97高清国语自产拍| 精品国产va久| 亚洲妇女熟BBW| 4399在线日本A片| 深爱综合网| 夜夜夜叫天天天做| 大香蕉220| 日本精品在线噜噜噜| 天天干天干| 亚洲欧美日韩VIP| 俺来也综合网精品一区| 99久热这里只有精品| 成人免费高清在线播放| 97干视频在线| AV操逼网| 色播五月网| 超碰在线观看9| 黄色AAAAA| 日日躁夜夜躁狠狠久久AV| 久久激情视频| 婷婷伊人綜合中文字幕| 丁香五月第九色| 五月丁香亭亭| 99色丁香婷婷综合网| 九九激情| 狠狠干在线视频| 五月天婷婷色| 欧美97p| 久热婷婷综合| 99热这里只有精品18| av在线免费播放观看| 丁香婷停五月激情综合深爱| 色涩视频久久| 高清无码视频网址| 婷婷丁香熟妇综合网| 五月天激情图片网| 久草性爱| 久久婷婷成人视频| 国产真实乱对白精彩| 五月丁香花伦理电影| ..真实国产乱子伦对白在线_欧 | 99热这里只有精品22| 91偷拍视频| 97超碰综合| 永久的网站AAAA | 五月天婷婷AV| 亚洲小视频免费看| 丁香五月婷婷图片综合| 日韩综合久| 91热久久| 丁香五月婷婷色综合| 久久色五月天综合网| 亚洲色五月婷婷| 欧美va在线观看| 久青操| 色香欲综合| 天天综合天天做天天综合| 97超碰婷婷五月天| 天天综合五月| 天堂五月婷婷| 日本在线99| 18av天堂| 99精品久| 99这里有精品视频| 深情五月天| 久9精品视频| 人妻久久久久久| 天天成人综合视频| 99在线观看视频| 日日干夜夜干| 久久视频这里有精品99| 色五月xxx| 丁香六月婷婷缴情欧美| 香蕉婷婷色五月| 丁香六月色香蕉视频| 激情色五月天| 无码任你操| 亚洲mm色| www.99视频| 免看黄大片AA | 情趣视频66| www.久久| 色综合狠狠色| 草草色情综合网| 14色综合婷婷| 青青草原精品久久| 99国产小视频免费观看| 亚洲色色五月天| 97久久视频| 婷婷五月天激情丁香| www.五月婷婷| www.com任你艹| 色综合伊人网| 91操碰| 五月天丁香久久综合 | 99色免费在线观看| 99超超碰| 五月丁香777| 婷婷五月激情视频| 色婷婷六月综合| 中文字幕综合| 涩涩婷婷五月| 中文字幕高清av| 天天狠天天叉| 六月婷久久| 日本成人小说婷婷六月| 欧美性丁香色色五月天综合爱爱| 色综合九九| 激情婷婷黄色五月| 中文AV网站| 婷婷五月天成人网| 另类图片色五月| 国产精品视频久久99| www.日本久久videos| 国产精品A片在线| www久| 伊人五月天| www.婷婷,com| 5月婷婷激情6月| 女性自慰系列第五页| 99热99| 无码 av电影| 午夜色婷婷| 婷婷刺激综合| 996黄色片| 欧美日本日韩| 婷婷成人基地| 99在线精品免费视频| 五月丁香啪啪网| 狠狠干天天日| 天天爽夜夜操| 最新va在线播放| 婷婷五月天免费| 婷婷六月丁香久| 超碰成人电影| 99日本精品视频热| 91狠狠综合久久| 五月天狠狠色| 九色91视频| 影音先锋男人资源站一区二区| 激婷网| 色婷婷成人做爰A片免费看网站| 激情五月天婷婷丁香| 99热这里| 天天操婷婷| VA色婷婷| 婷婷色婷婷| 激情第四色| 亚洲综合五月| 97色吧| 色色激情五月天| 狠狠干五月天| 欧美丰满熟妇BBB久久久| 欧美成人AAA片一区国产精品| 另类专区在线观看| WwW色婷婷| 少妇伦子伦精品无吗| 96精品成人无码A片观看金桔| 欧美色五月| 国产午夜成人免费看片无遮挡| 欧美性猛交 XXXX 乱大交| 五月婷视频| 婷婷五月婷婷| 国产在线激情视频| 综合久久8| 色婷婷综合影院| 97色啪| 日韩高清成人| 狠狠干天天内射| 凹凸探花电影| 五月婷婷六月少妇激情| 色综合久久88色综合天天99| 99激情视频| 99视频内射三四| 欧美三9久九观看| 最新无码专区| 日本欧特黄色刺激一区影视久精品无码| 婷婷伊人五月丁香天堂网| 色婷婷综合电影| 欧洲亚洲午夜| 99热在线99| 激情久久综合网| 婷婷色六月| 欧美熟女99| 婷婷啪啪| 超碰伊人碰婷婷五月| 久久婷网| 日日射天天射| 亚洲AV综合在线观看| 思思热精品在线| 久久黄色片| 69综合在线| 狠狠五月激情在线| 99这里只有精品|v| 天天草天天爽| 九热视频精品| 高清无码一区二区三区四区| 久久久五月五丁香| 日韩成人中文| 大香蕉五月天| 精品五月天| 久久ww| 中文字幕精品无码一区二区| 99碰碰视频| 另类丁香五月天区图| 五月天伊人网| 国产精品第一国产精品| 精品激情| 久久婷婷综合五月天| 五月成人网站| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 婷婷激情五月天在线视频| 99久久6| 天天爽天天干| 97黑人精品区| 婷婷色成人| 久久综合99| 激情婷婷五月社区| 妻久久久久| 色五月婷婷91| 在线sebiav精品视频| 久热这里只精品| 99热在线成人网站| 欧亚成人A片一区二区| 亚洲婷婷久久综合| 激情五月四色| 日本强伦片中文字幕免费看| 激情网第九色| 97香蕉久久超级碰碰高清版| 五月婷婷丁香综合,亚洲天堂| 五月丁香综合啪啪啪啪啪| 99免费在线| 中文字幕欧美日韩VA免费视频| 国产精品国产| 色99网站| 丁香五月停停av| 五月丁香啪啪啪免费看| 五月丁香黄色视频| 欧美色久| 欧美啪啪9| 中文字幕综合色| 五月丁香啪啪啪免费看| 亚洲色网络| 在线资源av-超碰中文在线-成人AV| 日韩无码人妻一区二区三区综合| 五月天色图| 天天操无码| 久久99热这里只有精品| 中文字幕高清av| 337p午夜影院| 国产精品人成A片一区二区| 91久久1118| 天天噜| 丁香五月ⅤA久久久| 99re思思热这里| 久草婷婷| 五月婷婷 六月丁香| 99在线免费观看| 日本三级韩三级99久久| 婷婷午夜天| 91九色|疯狂|高潮|对白|| 99热精品在线在线| 九九热在线99| 天天摸天天肏| 五月丁香综合啪啪| 天天色综网| 爆乳熟妇一区二区三区爆乳照片| 婷婷丁香熟妇综合网| 91九色国产熟女| 精品99在线观看| 先锋资源婷婷| 日本久久精品| 思思热在线视频观看精品| 色播五月网| 婷婷九月| 国产精品久久久久久久久久免费| 99er在线观看| 任我肏视频精品| 婷婷色丁香六月| 免费99色| 五月婷婷激情| 人妻射精AV| 色优久久| 欧美综合五月丁香六月婷| 97超级碰人人| 天天日天天舔| 五月婷婷无码| AA片在线观看视频在线播放 | AV九九| 深爱五月中文字幕| 色五月激情图片| 开心深爱激情网| 激情九月天天天天婷婷| 九九伊人网| 丁香五月在线伊人| 七月丁香婷婷 色色| 99爱免费视频| PORNY九色9l自拍视频成人| 99热网站| 五月婷婷啪啪网| 操操熟女| 九九激情| www天天爽| 在线观看996精品| 激情婷婷| 久久人妻高清中文| 黄色激情久久| 香蕉AV777XXX色综合一区| 久色欧美| 丁香五月天无码AV| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 99久久.www| 五月婷婷影院| 婷婷五月天激情视频| 综合色影院| 99 热国产在| 国产午夜伦鲁鲁| 五月亭亭狠狠| 人妻系列久久久久久久久久久 | 日韩人妻无码精品| 日韩精品色| 色色色色色五月丁香| 六月丁丁香| 在线可以看的av网址| 五月天丁香成人| 色婷婷丁香五月| a久久免费视频| 99在线视频精品| 99热国品| 男女99免费视频| 五月丁香狠狠地噜噜噜噜| 99丁香五月婷| 五月天操逼激情| 99精品久久久久久久婷婷| 亚洲综合干| 99视频网址| 天天射影院| 99色中文| AV中文字幕夜夜操b天天摸bb | 五月丁查人人| 爱草视频在线观看| 大香蕉520| wwww.9免费视频| 人妻中文在线| 亚洲婷婷五月| 婷婷丁香五月综合激情视频| 久久综合热17c| 五月婷婷深深爱| 教师性爱毛片| 99热这里都是精品| 九九热九九| 五月丁香啪啪伦理电影| 精品色色网| 在线另类| 色五月婷婷操逼| 99精品九九| 欧美成人精品A片免费一区99| 婷婷的色色五月天| 日日.c| 91操操操| 免费精品66| 色播婷婷五月天| 午夜微拍福利| 综合久久丁丁香婷| 久久婷婷视频| 97精品综合久久| 丁香婷婷月| 婷婷色日本| 在线成人网站| 伊人激情综合网| 97超碰99热99| 久久婷婷七月丁香| CHINESE熟女老女人HD视频| 日本99在线视频| 四月婷婷丁香| 日韩久久这里只有精品| 五月丁香婷婷无码中文| 任你日视频| 91啪啪网| 91丨九色熟女丨首页| 久久在线视频免费观看| 99re视频精品| www夜夜操wwwcon| 东北婷婷五月天| 丁香六月婷婷一区| 九九综合色| 99热这里只有精品1025| 99在线资源| 亚洲另类av| 亚洲国产另类av| 五月婷婷伊| 少妇人妻丰满做爰XXX| 伊人99热| 九九RE视频在线精品| www.婷婷亚洲基地| 夜夜爽天天干| 九九激情| 五月激情六月丁香| 天天操天天插| 亚洲亚洲人成综合网络| 久久全意婷婷| 国产特黄色精品一区二区三区精品无广告| 婷婷丁香18| 久久婷婷网址| 中文字幕天天干| Av中文在线| WWW色色色COM| 婷婷五月欧美| 超级碰碰碰91| 久热9| 91精品久久久久久综合五月天| 99情色五月天| 色婷婷9| 99热在线资源| 激情四射网| 国产成人av在线播放| 色丁香婷婷| 99色这里| 欧美天天性| 伊人色欲五月天| 色欲一二三| 偷偷操99| 日本色色图| 婷婷五月天成人| 99热久久这里只有精品| 内射 无码 伊人| 人人操操| 久久这里这里有精品免费视频| 深爱网深爱综合网| 激情六月一二| 久婷久婷| 99在线精品免费视频| 成人免费黄色短视频| 狠狠色噜噜狠狠狠777奇米| 六月丁香狠狠爱| 久热一本| 婷婷五月天美女| 五月噜噜| 久久九精品| 天天插天天干| 九九无毛| 五月丁香福利| 99视频热| 婷婷五月天奸女| 婷婷五月六月丁香| 香蕉视频性爱BB做爱| 精品亚洲日韩99欧美片| 色五月婷婷少妇人妻| www色中色综合| 丁香六月婷婷| 五月丁香婷婷成人网| 日本少妇AA一级特黄大片| 亚洲 视频 导航 一区| 丁香桃色综合网| 婷婷婷婷色| 久久xxxx| 欧美婷婷丁香五月| www.狠狠操.co m| 天天日天天爽夜夜爽| 色欲av伊人久久大香线蕉影院| 狠狠干,狠狠操| 91热网址| 五月丁香 久久久| 开心婷婷五月天激情网| 婷婷五月天小说| 五月婷婷六月丁香在线| 超碰狠狠操| 狠狠色中色| 激情婷婷色色| 激情小说婷婷五月| 国产XXXX搡XXXXX搡麻豆| 一起肏在线视频| 丁香五月天激情小说| 26UUU欧美激情一区二区| 做爰丰满少妇1313| 永久无码色| 婷婷五月美女直播| 蜜桃五月天| 色哟哟精品| 伊人色综在线| 屁股翘好撅高迎合跪趴| 色五月大香蕉| 99无码精品| 影音先锋男士资源网一区| www.久久爱| 开心五月激情网| 激情涩播| 婷婷狠狠久久| 大香蕉九九| 成人电影AV在线观看| 99热在线观看精品| 日韩性爱AV| 玖玖在线视频福利| 色综合婷婷| 一级性感毛片| 久久开心五月婷婷| 666555。COm毛片| 六月丁香激情综合网| 色九亚洲| 久久婷婷的综合色丁香五月| av人人操| 亚洲操女| 99热骚货| 国产成人综合电影| 国产精品噜噜在线视频| 五月天成人综合| 亚洲精品国产成人AV在线| 五月婷婷免费在线视频| 日韩成人综合| 深情五月天| 久草婷婷网 | 777影视理论片大全在线观看| 丁香五月,开心五月,成人婷婷| 五月天丁香| 五月激情婷婷国产精品久久久久久| 人人干AV| 日韩黄色影院| 99热在线观看亚洲区| 午夜无码熟熟妇丰满人妻| 天天天天天色| 青柠影视免费高清电视剧| se色99| 99热9| 国产在线6| 精品人妻伦九区久久AAA片| 综合激情五月天| 色情五月丁香| 在线视频色五月| 丁香六月色婷婷| 九九视频网| 久久九九99| 久色成人| 超级碰 久久9| 婷婷狠狠操| 手机旧版看人妻1025| 99干日本| 操操啪| 蜜桃人妻无码AV天堂三区 | 丁香八月综合激情| www.金莲av| 久久性爱视频这里只有精品| 丁香五月网| 丁香五月在线自慰| 久久综合激情五月天| 日本三级大片| 日韩在线aaa| 涩 五月 婷婷 狠狠| 日本欧美成人片AAAA| 99综合免费视频| 婷婷色在线| 五月之婷婷| 婷婷五月天毛片| 欧美婷婷日本| 婷婷激情五月综合基地| 情色五月天 网站| www.婷婷.com| 五月婷婷丁香啪啪| 五月天激情色色| 久久99热免费最新版| 啪啪综合| 亚洲精品无码99热| 激情婷婷六月天| 五月丁香六月色婷婷综合五月天| 欧美叉叉叉BBB网站| 欧美精品熟女一区二区| 五月丁香免费视频| 92久久精品一区二区| jiZZdr| 综合亚洲六月婷婷在线| 超碰一区二区| 色婷婷综合久久久久| 丁香婷婷六月婷婷六月婷婷六月婷婷| 婷婷色综合网日韩国产| 激情综合五月天| 久久婷婷五月丁香| 色播播婷婷| 搡BBBB搡BBB搡18 | 五月激情小说| 久久五月丁香伊人青草| 26uuu偷拍亚洲欧洲综合| 天天干一干| www色五月| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 色天堂婷婷| 玖玖爱综合网| 婷婷五月天熟妇| 日韩精品电影| 欧美成人AAA片一区国产精品| 直接看的AV| 夜夜爽天天| 激情婷婷网| 97色婷婷| 九九色图| 色情婷婷五月天| 久热这里这里有精品| 成人啪啪色婷婷久| 成 人片 黄 色 大 片| h在线看免费版在线看| 欧美日韓成人亚洲精品另类| 91人人操人人看| 午夜精品久久久久久久爽| 天天肏高清在线| 69er小视频| 六月99天天婷婷激情综合| 婷婷久久爱| 少妇水多A片太爽了| 性视频久久| 淑女丝袜bi操逼123| 99热精品在线播放观看| 99色五月| 高清av在线国产| 婷婷五月在线视频| 五月丁香亭亭操逼| 婷婷五月花丁香| 开心五月丁香综合久久| 九九青青草成人| 色婷婷女优有码五月亭| 婷婷五月欧美综合| 人人爱人人草| 99色综合| 亚洲综合在线播放| 99色 | 一级AV片| 天天综合精品| 99精彩视频| 五月天久久久| 亚洲六月色| jiZZdr| 婷婷五亚洲| 思思久久96热在精品国产,| 可以免费观看的av网址| 99碰网站| 玖玖激情五月天| 色播五月丁香综合| aaa9区免费在线观看| 超碰69天堂| 99久久国产宗和精品1上映| 丁香成人五月天| 97综合在线| AV操逼网| 91黄操| 色爽九九| 国产无人区大片| 色婷婷亚洲婷婷| 五月婷婷免费在线视频| 色情五月停停丁香| 久久性爱视频这里只有精品| 婷婷爱综合| 激情五月天之五月婷婷| 婷婷欧美激情综合| 色久婷婷五月| www999日韩精品| 97丁香五月| 在线观看av网站| 99干日本| 亚洲综合99| 思思99热这里只有精品| 婷婷丁香六月综合激情站| 狠狠色综合网| 日本色婷婷综合| 欧美99热| 这里只有精品69| 99热日韩| 97九色视频| 色色五月丁香婷婷| 丁香成人五月天| 欧美顶级少妇做爰HD| 偷拍九九热| 99热色综合| 九九热99视频在线| 99久久99九九99九九九| 99综合婷婷五月| 天天爽天天弄| 五月天另类小说| 五月丁香婷婷深深爱| 色爱99| 色五月天电影| 国产亚洲精品久久久久久郑州| www.金莲av| 九九美女视频| 在线成人网站| 成人婷婷桔色| 亚州操人在线视频| 99精品在线观看视频| 免费视频无码| 五月婷婷久久大片| 九热免费视频| 久er7久热| 99热免| 婷婷综合色图| 国产3p露脸普通话对白| 精品9l九九九九九77777| 九九热在线99| 五月天激情综合网站| 99热这里只有精品50| 亚洲激情婷婷| www久久久| 超碰97在线操| 日本3级片一区2区| 久思思热视频在线观看| 五月天成人伊人| 79精品视频在线观看,| 五月婷婷久久久| 草草色情综合网| 日本三级网址| www.色婷婷。com| 99热这里是精品| 国产毛片精品一区二区色欲黄A片| 99久久66综合| 五月天激情四射网站| 情婷婷五月天在线| 五月丁香香蕉| 激情AV| 婷婷中文字暮| 丁香婷婷六月婷婷六月婷婷六月婷婷| 婷婷深爱网| 婷婷性爱影院| 91碰操| 国产99热在线看| 五月天之色情综合网| anquye伊人| 久久婷婷内射| 五月天综合在线网| 欧美A级网站| 综合一本道| .精品久久久麻豆国产精品| 伊人大香蕉在线视频| 九九热再线九九视频免费在线观看 | 激情五月色综合| 激情五月天婷婷丁香| 九七色色六月丁香| 九九热只有这里精品| 五月天开心激情综合网| 99干日日干| 色婷婷欧美| www夜夜| 777米奇影视第四色| 久热九九| 久久婷婷视频| 玖玖@三月天天丁香婷婷| 久er免费视频| 五月天婷婷AV| 亚洲天堂婷婷| 人妻系列久久久久久久久久久| 97se视频在线| 色色丁香婷婷五月天| 天天爽天天爽天天爽天天爽天天爽| 五月丁香六月婷婷色日| 乱精品一区字幕二区| 五月天第四色开心色播| 碰碰女| 97色婷婷在线观看| 国产色色网址网站| 俺去也综合| 亚洲综合草草| 伊人五月综合网| 69超碰在线| 思思热思在线精品视频| 天天爽天天操| WWW.99热| www.色综合| 日本WWW九九九| 99热97| 亚州成人综合在线| 五月婷综合网| 无码少妇高潮喷水A片免费| 五月丁香| 影音先锋色婷婷| 婷婷丁香成人五月天| 色色网站免费| 婷婷综合玖玖五月| 人人看人人草人人摸| 亚洲五月天婷婷| 开心五月综合激情网| 婷婷四色五月| 91九色在线视频| 狼人婷婷综合| 丁香色影院| 久久狠狠干| 奇米四色五月天| 丁香六月婷婷综合在线| 97成人在线视频| www.lingjunshare.com| www.韩日视频| 五月婷婷丁香综合网| 久久久五月天婷婷成人网| 丁香五月激情图片| 97久久婷婷色| 久久婷婷五月综合伊人| 九月色婷婷综合亚洲| 婷婷五月骚厕所| 天堂在线伊久| 香蕉AV777XXX色综合一区| 婷婷五月六月| 另类图片五月天| 亚洲综合99| 大香蕉520| 秋霞学生妹一二级| 亚洲精品又粗又大又爽A片 | 第六色在线| 97涩婷婷婷婷基地| 婷婷五月天电影区小说区| 丁香 亚洲 久久| 免费啪啪亚州视频| 色视频2025| 九九热最新| 久久久婷丁香五月| 9精品国产在热久久| 五月婷婷婷| 丁香五月综合婷婷| 五月婷婷片| 丁香五月婷婷动漫| 久久大国产香蕉| 天天插,天天射| 欧美、日韩、中文、制服、人妻| 色五月欧美| 婷婷97碰碰| 婷婷五月在线视频| 99re这里只有精品首页| 97干婷婷| 天天综合在线网| 亚洲色小说在线综合| 婷婷五月丁香色综合| 色五月天堂| 五月丁香六月婷婷免费| 97操碰日本女人| 五月丁香香蕉| 五月丁香六月婷婷综合免| 婷婷激情久久| 久久婷婷丁香| 婷婷五月综合在线| 国产人妻777人伦精品HD| 天天综合网在线| 色五月激情视频在线综合| 色五月首页| 亚洲天码视频www蛋播视频| 96精品久久久久久久久| 欧美成人精品三区综合A片| 色五月丁香六月婷婷| 五月丁香六月激情综合| 任你草| 国产日韩亚洲欧美在线观看| YJLZZJLZZ亚洲乱熟无码| 国产99久久久国产精品免费看| 丁香五月天视频在线播放| 亚洲在线综合| 香蕉久久国产AV一区二区| 婷婷色综合av| 欧美久久五月婷婷| 99在线视频资源| 丁香五月婷婷图片综合| 亚洲 视频 导航 一区| 国产精品久久久60086| www.sebowuyue| 97超碰,人人舔,人人操,人人摸 | 9这里只有精品| 亚洲乱码在线观看| 中文字幕有多少字| 久久天堂网| 五月婷婷视频28| 色综合色五月| 五月婷婷www| 免费AV播放| 9l视频自拍9l九色9l成人| 涩涩涩.com| 丁香五月天AV在线| 99ri在线播放| 大香蕉综合视频在线| 天干夜夜操| 激情五月色播五月| 国内婷婷丁香社区在线播放| 久久在这里99| 丁香五月婷婷激情中文| 五月丁香久久| 成人婷99最新| 五月天综合图片| 婷婷在线视频| 五月天色色婷婷| 猫咪伊人AV| 噜噜在线| 亚洲人人操| 丁香五月综合在线播放 | 久色激情| 这里只有精品视频免费在线观看| 久久久久综合激动五月天| 九九热这里只有精品5| 久草丁香婷婷五月天婷| 色色婷婷综合| 无码少妇高潮喷水A片免费| 婷婷综合精品| 久久99大全| 伦99热| 色婷婷五月六月丁香综合视频| 91成人视频| 在线看av| 99热 在线播放| 五月四色激情| 成人做爰高潮A片免费视频| 色99色| 91黄址| 最新va在线播放| 亚洲 六月 综合| 国产精品久久久60086| 亚洲国产精品成人免费一区久久久在线观看AAAA | 碰碰碰碰碰99| 国产探花一片区| 做爰丰满少妇1313| 天天做天天爱天天高潮| 九九热最新| 激情五月天综合| 婷婷婷婷婷婷婷五月丁香| 影音先锋一区| 免费黄色AV| 情色五月天网站| 天天干天天射色综合| 99热这里只有精品50| 天天摸天天爽| se色99| www.伊人天堂偷偷婷婷| 五月丁香五月丁香| 日本综合久| 啪啪啪大香蕉| 亚洲中文无码成人| 深爱五月激情网| WWW·天天操·视频?| 丁香五月日啪| 日本www五月婷婷| 婷婷五月丁香伊人网| 久久久久久久久久人妻| 丁香欧美| 亚洲美女网Va| 99色视频免费在线规看| 色导航色婷婷五月天在线观看| 色五月婷婷在线| 这里只有精品视频免费在线观看| 激情丁香九九五月综合网| www激情| 99这里热| 夜夜夜夜夜操| 丁香六月激情| 婷婷五月花| 99在线视频操999| 东北熟女视频99| 超碰伊人碰婷婷五月| 日本丁香久在线| 人妻性操逼中文字幕 国产| 天天曰夜夜爽| 丁香五月激情综合在线观看| 婷婷五月图片小说视频| 婷婷五月天精品| 五月丁香色| 狠狠综合| AV成人在线网站| ...婷婷五月综合不卡,国产在线手机 | CHINESE熟女老女人HD视频| 九九婷婷五月天| 丁香六月婷婷激情| 欧美婷婷精品激| 九九热啪啪| 色婷婷在线综合色播网| 国产精品视频久久99| 色五月人妻| 99综合视频| A久久| 丁香婷婷九月在线| 超碰在线99热| 看黄的网站18禁| 五月天婷婷人妻| 九九黄色网| 婷色五月天| 成年视频免费观看| www.婷婷网| 天天色天天干天天插| 丁香五月天啪啪a日本| 黄色三级日本| 激情综合网激情五月婷婷| 正宗黄色毛片| 婷婷五月激情网站| 五月婷精品| 午夜色婷婷| 99ER热精品视频| 琪琪色五月天| 久草五月天电影网| 人妻久久久久久久 | 韩国情人在线电视剧免费观看高清版全集 | 性欧美大战久久久久久久83| 视频在线免费观看欧洲乱码| 久热伊人| 亚洲视色| 亚洲综合激情五月久久| 丁香六月成人| 婷婷在线播放av| 婷婷五月骚厕所| 久久99久久久久久| 影音先锋 萱萱| 在线超碰91| 五月天免费色| 99热这里只有精品最新网址| 超碰人人超碰| 99色综合久久| 欧美色色色| 天天玩夜夜操| 婷婷五月天激情小说| 婷五月天六| 激情五月色综合国产精品| 国产免费AV在线| 成人丁香婷婷| 思思热在线视频观看精品| 五月丁香偷拍| 精品一二三区久久AAA片| 99热亚洲| 五月天婷婷激情春色小说| 色五月婷婷久久| 日本黄色在线观看| 亚洲综合视频一下| 六月丁香久久| 九九视屏| 五月丁香婷婷综合网色欲| www久久久| 极品色丁香| 久久九九蜜| 色五月激情五月| 婷婷综合网站| 婷婷五月丁香五月综合网| 成人 在线观看国产| 日韩无码专区| 国产精品久久久海的味道| 丁香狠狠色婷婷久久无码视频 | 在线观看av网站| 激情av网| AV五月婷婷露脸| 武则天精品久久| 欧美婷婷日本| 婷婷中文字幕网| 亚洲av电影在线| 五月丁香婷婷久久| www.婷婷| 色婷婷中文字母五月丁香| 97超碰在线免费观看| 欧美月久久| www.minyis.com【JT】实力收量可预付QQ2101460746 | 久久99免费视频| 亚州视频九九99| 色婷婷电影网| 99色综合网| 久久婷婷内射| WWW.久久久久久久| 99热精品在这里| 9热在线| 思思久日精品视频| 亚洲亚洲人成综合网络| 丁香六月婷婷综情欧美| 天天干夜夜想| 色色色99| WWW99热| YJLZZJLZZ亚洲乱熟无码| 婷婷五月电影院| 99re在线视频| 九九综合伊人| 狠狠操狠狠爱| 狼人婷婷综合| 五月天停停日日| 婷婷丁香激情综合色情| 9久国产精品| 婷婷丁香18| 色黄啪啪| 影音先锋偷偷色男人站| 国产性爱色| 九九热99热| 激情九月天天天天婷婷| 久久婷婷六月综合综合| 伊人狠狠丁香婷婷综合尤物| 9l视频自拍九色9l视频在线观看| 99视频在线观看视频| 超碰国产在线观看| 九九热中文| VA色婷婷| 永久99免费视频网站| 成人.在线日韩| 人人干AV| 五月停性愛| 99热这里只有精品66| www久久艹| 91超碰在线观看| 99色精品视频| WWW嗯嗯啊啊啊啊| 色五月亚洲开心网| 午夜]香婷婷深深爱| 婷婷五月天成人| 99黄色性生活| 六月天婷婷| 草美女在线观看视频在线播放 | 99爱精品视频| 久久久久久久久久久久久久久久久精典| 婷婷五月情| 日本三级中国三级99| 婷婷五月六月丁香| 噜噜噜噜噜日本视频| 婷婷丁香五月社区亚洲| 十月丁香九月婷婷综合| 激情五月婷婷啪啪| 色屌丝中文字幕| 五月天激情无码高清| 美女久久天堂| 丁香婷婷五月六月久久| 美妞av| 激情婷婷。| 欧美性色视频| 亚洲综合激情五月天婷婷| 超碰九热| 无码髙清| 91丨九色丨高潮丰满日本| 夫妇交换刺激做爰| 涩婷婷五月天在线精品视频| 婷婷啪啪| 日本美女97在线视频| 超碰人人干| 五月丁了香蕉综合|