欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

ECC多面解析:內(nèi)存糾錯、MBIST測試與SAP年結(jié)實戰(zhàn)指南

ECC多面解析:內(nèi)存糾錯、MBIST測試與SAP年結(jié)實戰(zhàn)指南 ECC這個詞在圈子里絕對是個多義詞。搞硬件的看到它第一反應(yīng)是內(nèi)存糾錯碼Error Correction Code做芯片測試的腦子里冒出來的是MBIST里的ECC校驗邏輯而搞企業(yè)信息化的老哥第一時間想到的卻是SAP ECC那套ERP系統(tǒng)的年度結(jié)賬流程。同一個縮寫三種完全不同的技術(shù)棧但底層都離不開“查錯”和“糾錯”這兩個核心動作。這篇文章我想把這三個維度的ECC串起來聊一聊從糾錯碼的原理開始講到服務(wù)器內(nèi)存里常見的ECC和 uncorrected ECC error 顯示2 這種告警怎么排查再聊到芯片設(shè)計里MBIST怎么借助ECC機制做存儲器測試最后說說SAP ECC年結(jié)到底在結(jié)什么、為什么每年都有人在這上面翻車。無論你是管服務(wù)器的運維、寫RTL的芯片工程師、做測試的還是被財務(wù)追著問“年結(jié)怎么還沒跑完”的IT支持這篇文章里應(yīng)該都能找到對你有用的東西。1. ECC的核心邏輯糾錯碼到底在糾什么1.1 為什么需要糾錯數(shù)據(jù)翻轉(zhuǎn)這個“小概率大事故”糾錯碼這個概念的誕生本質(zhì)上是因為一個很樸素的問題數(shù)據(jù)在存儲和傳輸?shù)倪^程中可能出錯。這個概率在大多數(shù)普通人看來可以忽略不計但在大規(guī)模數(shù)據(jù)系統(tǒng)里它是個必須正視的現(xiàn)實。拿DRAM內(nèi)存舉例內(nèi)存里的每個bit本質(zhì)上是靠電容存儲電荷來區(qū)分0和1的電容會漏電需要定期刷新。一旦某個電容的電荷量因為某種原因發(fā)生異常衰減或者受到外部粒子轟擊導(dǎo)致電荷突變這個bit就翻了1變00變1。這就是我們常說的“位翻轉(zhuǎn)”bit flip。引發(fā)位翻轉(zhuǎn)的因素有很多。一是高能粒子比如宇宙射線轟擊芯片封裝材料產(chǎn)生次級粒子擊中存儲單元二是芯片本身的老化和電壓波動制程越先進存儲單元就越小電荷量越少遇到干擾時翻車的概率就越高三是鄰近單元之間的耦合干擾這也是制程微縮后越來越頭疼的問題。一個bit翻轉(zhuǎn)如果發(fā)生在普通的圖片、視頻數(shù)據(jù)里頂多花屏或者出現(xiàn)一個壞像素。但如果發(fā)生在操作系統(tǒng)的內(nèi)核代碼、數(shù)據(jù)庫的事務(wù)日志、科學(xué)計算的關(guān)鍵中間結(jié)果里后果就是系統(tǒng)崩潰、計算錯誤、甚至數(shù)據(jù)永久損毀。這時候就需要一種機制讓計算機能自己發(fā)現(xiàn)錯誤、糾正錯誤這就是ECC糾錯碼存在的意義。1.2 ECC如何工作漢明碼的思路與SEC-DED我們把“糾錯碼”拆開看核心就兩件事加冗余、算校驗。最簡單的方案是奇偶校驗Parity給一組數(shù)據(jù)加1個bit讓整個組里1的個數(shù)是奇數(shù)還是偶數(shù)這樣能發(fā)現(xiàn)奇數(shù)個bit的錯誤但發(fā)現(xiàn)不了錯誤在哪兒也糾不了錯只能報“你壞了”。這就像快遞外包裝上貼了個“是否破損”的標(biāo)簽?zāi)苤老渥涌赡軌牧说恢览锩婺募浳锼榱?。真正讓ECC在內(nèi)存領(lǐng)域普及起來的是Richard Hamming提出的漢明碼。漢明碼的思路極其聰明不是給整組數(shù)據(jù)加一個校驗位而是把數(shù)據(jù)按不同的位置規(guī)則分組給每組分別計算校驗位這樣這些校驗位之間就有了一種“交叉印證”的關(guān)系。當(dāng)某一位出錯時多組校驗結(jié)果會同時異常通過比對各組異常的組合模式就能精確算出是哪一bit翻了從而把它再翻轉(zhuǎn)回來。以經(jīng)典的漢明碼(7,4)為例4個數(shù)據(jù)位3個校驗位。校驗位分別落在第1、2、4位它們各自覆蓋不同的數(shù)據(jù)位組合。接收端重新計算校驗位并與發(fā)送來的校驗位比對會得到一個叫“校正子”Syndrome的二進制值這個值在二進制里代表的數(shù)字就是出錯bit的位置。Syndrome為0表示沒錯非0就可以直接對相應(yīng)位置做取反操作完成糾錯。這種只糾正單bit錯誤的能力叫SECSingle Error Correction。如果再增加一個全局偶校驗位就能實現(xiàn)檢測雙bit錯誤即SEC-DEDSingle Error Correction, Double Error Detection這也是現(xiàn)代內(nèi)存ECC最主流的能力基準(zhǔn)。1.3 糾錯不是萬能的覆蓋范圍與代價說句實在話ECC并不是魔法它的糾錯能力是有邊界的。單bit錯誤可以糾正雙bit錯誤只能檢測不能糾正一旦檢測到不可糾正的錯誤系統(tǒng)能做的只是報錯或者直接halt防止錯誤數(shù)據(jù)擴散。而且糾錯能力的強弱和開銷是成正比的。校驗位越多能糾的錯誤越多但存儲開銷、編碼延遲、帶寬損耗也會跟著漲。在存儲系統(tǒng)里如果用復(fù)雜的Reed-Solomon碼或BCH碼可以在NAND Flash等場景下糾正多bit連續(xù)錯誤但控制器里的計算復(fù)雜度遠高于漢明碼。在DDR內(nèi)存控制器里ECC校驗計算消耗的是訪存延遲在SSD里L(fēng)DPC糾錯消耗的是主控的處理能力和前端讀取延遲。所以沒有哪套機制是“最好”的只有“在成本、延遲、可靠性之間取得平衡”的方案。理解了這一層后面對內(nèi)存ECC告警、MBIST ECC測試邏輯、甚至SAP年結(jié)里的“對賬”思路就都有了通感的抓手——所有糾錯/校驗機制本質(zhì)上都是在冗余成本和錯誤風(fēng)險之間做博弈。2. 內(nèi)存ECC服務(wù)器穩(wěn)定性的第一道防線2.1 Registered ECC與Unbuffered ECC的區(qū)別在服務(wù)器和高端工作站里ECC內(nèi)存幾乎是標(biāo)配。但同樣是ECC內(nèi)存還分Registered ECC簡稱RDIMM和Unbuffered ECC又稱UDIMM。這兩者最大的區(qū)別在于RDIMM的地址和控制信號經(jīng)過寄存器Register緩沖后再進入內(nèi)存顆粒數(shù)據(jù)線不受影響所以在同一通道上可以多插幾條內(nèi)存容量能做很大高負載穩(wěn)定性也更好。UDIMM沒有寄存器緩沖地址線直接連到內(nèi)存顆粒延遲略低一點點但電氣負載更大一個通道能插的條數(shù)很有限一般就2條。從外觀上看RDIMM和UDIMM最明顯的差異是內(nèi)存條中間位置有沒有額外的寄存器芯片——RDIMM通常會有幾顆較小的芯片做信號中繼。兩者的物理防呆缺口位置也不同不能混插。選擇上家用平臺或入門級單路服務(wù)器常見UDIMM ECC雙路及以上的服務(wù)器幾乎清一色RDIMM。還有LRDIMM通過Rank緩沖技術(shù)進一步降低負載適合需要超大規(guī)模內(nèi)存容量的場景價格也更高。2.2 如何確認內(nèi)存是否開啟ECC很多買了“支持ECC的主板”的新手以為只要插上ECC內(nèi)存就自動開啟了ECC其實并不是。內(nèi)存控制器需要顯式啟用ECC模式并且要和CPU、主板BIOS配合。在服務(wù)器上通常可以在BIOS的Memory Configuration里確認ECC Mode是否為Enabled。有些主板里如果同時開啟了Memory Encryption或部分內(nèi)存鏡像功能和ECC可能會組合出不同的容錯策略。進了Linux系統(tǒng)后可以用dmidecode查看內(nèi)存條的類型信息。重點關(guān)注兩個字段Total Width和Data Width。如果Total Width比Data Width多8位比如72位 vs 64位說明這根內(nèi)存帶ECC如果兩者一樣都是64位那就是普通非ECC內(nèi)存。dmidecode --type memory | grep -E Total Width|Data Width|Size|Speed|Manufacturer|Part Number如果Total Width顯示72 bitsData Width顯示64 bits那8位的差距就是ECC校驗位。Bit 0-63是數(shù)據(jù)位Bit 64-71是校驗位。UC和SEC-DED的校驗開銷不同但72648是業(yè)界最普遍的DDR ECC配置。2.3 uncorrected ECC error 顯示2 是怎么來的在服務(wù)器帶外管理系統(tǒng)比如IPMI/BMC管理界面或者Linux的EDAC驅(qū)動日志里經(jīng)常會看到類似“uncorrected ECC error count: 2”的信息。這里的關(guān)鍵詞是Uncorrected也就是不可糾正錯誤。要理解這條告警先要明確ECC對錯誤的處理路徑。當(dāng)內(nèi)存控制器發(fā)現(xiàn)某個bit錯了并且能算出它是哪個位置它會直接在硬件層面修正然后把修正結(jié)果寫回同時遞增一個Corrected ECC錯誤計數(shù)。這種錯誤對系統(tǒng)是無感的業(yè)務(wù)不會中斷但記多了說明內(nèi)存條所在的DIMM可能正在漸進性老化。而Uncorrected錯誤則是錯誤程度超過了ECC的糾正能力比如一個數(shù)據(jù)字里同時出現(xiàn)了兩個bit的錯誤ECC只能檢測到有錯但不知道具體錯在哪兩個位置無法修補。一旦發(fā)生不可糾正錯誤內(nèi)存控制器會生成一個機器檢查異常MCE。在Intel平臺上這個MCE可能記錄在Bank 0的MCE日志里同時通過IPMI向BMC上報SEL事件顯示“Uncorrected ECC Error”。那個“顯示2”通常代表這個事件已經(jīng)被記錄并且累計了2次。看到“uncorr. ecc 顯示2”第一反應(yīng)不應(yīng)該是“繼續(xù)用吧反正沒崩”而是立刻按下面流程處理先確認錯誤地址和關(guān)聯(lián)的DIMM槽位。通過IPMI SDR記錄、Linux的ras-mc-ctl --summary或者直接看 /sys/devices/system/edac/mc/mc*/csrow*/dimm_label。如果機器還在運行盡快規(guī)劃維護窗口。因為每一次Uncorrected錯誤都是一次數(shù)據(jù)完整性事故下次可能直接造成文件系統(tǒng)損壞或進程core dump。定位到具體DIMM后優(yōu)先做內(nèi)存條交叉驗證把疑似故障條換到另一個槽位跑MemTest86壓力測試確認是槽位問題還是條子問題。檢查散熱和供電。我遇到過一臺機器頻繁報uncorrected ECC換了內(nèi)存也沒用最后發(fā)現(xiàn)是CPU散熱器沒裝好內(nèi)存控制器過熱導(dǎo)致存取時序漂移。提示不要忽視單個Uncorrected ECC錯誤。很多服務(wù)器里內(nèi)存故障的典型路徑就是“開始報corrected - 錯誤頻率上升 - 某天報uncorrected - 系統(tǒng)直接hang死”。從第一個Uncorrected事件開始就已經(jīng)進入故障處理流程了。3. 芯片設(shè)計中的MBIST ECC還沒出廠就把錯誤揪出來3.1 為什么要做MBIST芯片內(nèi)部集成越來越多的SRAM用于緩存、FIFO、寄存器堆。到了先進制程時代一顆SoC里SRAM的面積占比可以超過50%甚至到70%。這些片上存儲分布在芯片的各個角落數(shù)量多、密度大、頻率高但芯片封裝之后沒有那么多測試引腳可以直接訪問每一塊SRAM。于是就有了MBISTMemory Built-In Self-Test把測試邏輯直接做進芯片內(nèi)部。MBIST控制器和被測SRAM之間通過專用的測試端口連接測試時由控制器自己產(chǎn)生地址、數(shù)據(jù)、控制信號遍歷整個存儲陣列把讀回的數(shù)據(jù)和預(yù)期值比對一旦不一致就記錄失敗信息。MBIST的好處在于它不需要外部測試機去精確驅(qū)動每個內(nèi)部信號只需要外部通過JTAG或IEEE 1500接口發(fā)送一條“開始測試”的指令然后等結(jié)果。這樣測試成本大幅降低而且能在系統(tǒng)級測試、老化測試、甚至現(xiàn)場上電自檢時反復(fù)使用。3.2 MBIST如何與ECC配合MBIST和ECC其實是兩個不同層面的事MBIST是“測試手段”ECC是“防護機制”。但兩者在現(xiàn)代芯片設(shè)計里緊密配合。MBIST測試時通常并不依賴ECC去糾正錯誤反而要繞過或禁用ECC這樣才能暴露出存儲單元最真實的物理缺陷。如果讓ECC在旁邊“幫忙”糾錯MBIST可能測不出那些已經(jīng)存在但被掩蓋的故障單元生產(chǎn)測試就失去了意義。所以標(biāo)準(zhǔn)做法是MBIST模式下通過測試模式控制信號把ECC路徑旁路掉直接讀寫原始的數(shù)據(jù)和校驗位。某些更高級的MBIST設(shè)計會把ECC校驗邏輯作為被測對象的一部分來測試。因為ECC的編碼、解碼、校正邏輯本身也是復(fù)雜邏輯電路萬一編碼器有問題即使存儲單元沒壞也會檢測出錯。所以測試序列里會專門安排一組驗證步驟往特定地址寫入可控數(shù)據(jù)讀取時插入一位邏輯錯誤然后檢查ECC校正電路能否正確糾正。MBIST在診斷方面的能力也很強。通過失敗日志可以記錄每一個發(fā)生故障的邏輯地址、數(shù)據(jù)模式和預(yù)期數(shù)據(jù)模式。把這些數(shù)據(jù)導(dǎo)出來做bitmap分析工程師能精確判斷是哪一根字線、位線、sense amplifier出了問題。這對于新品調(diào)試和良率提升至關(guān)重要產(chǎn)線分析出來的故障模式直接反饋給工藝部門改進。3.3 可測試性設(shè)計要點真正做芯片測試規(guī)劃時有幾點經(jīng)常被忽視我在這里提一下MBIST控制器要在低功耗模式下也能運行。很多車規(guī)、IoT芯片需要在生產(chǎn)老化測試和板級測試時進入低功耗自檢狀態(tài)這時候如果MBIST把整個SRAM功耗拉滿會導(dǎo)致測試芯片超過溫度規(guī)格觸發(fā)誤翻。在SoC集成多個SRAM時要合理分組成多個MBIST域BIST Domain并行測試不同域可以縮短整體測試時間但會帶來瞬時功耗沖擊。每個域的規(guī)模和控制策略需要仔細權(quán)衡。Repair機制是MBIST產(chǎn)線的自然延伸。檢測到故障后會通過內(nèi)建自修復(fù)BISR把前述故障行/列替換成冗余行/列修復(fù)結(jié)果記錄到eFuse。所以很多芯片標(biāo)稱“有MBIST”實際量產(chǎn)時跑的是“MBIST - 分析失效地址 - 冗余替換 - 重測驗證”的完整閉環(huán)。用來輔助MBIST的ECC必須和產(chǎn)品正常模式用的ECC策略一致。如果產(chǎn)品宣稱具備SEC-DED能力那么MBIST對校驗位區(qū)域的測試也要覆蓋不然校驗存儲器本身有缺陷運行時會直接生產(chǎn)錯誤。4. SAP ECC年結(jié)ERP老系統(tǒng)的年度關(guān)賬4.1 SAP ECC是什么為什么還有人說起它如果把話題切換到企業(yè)信息系統(tǒng)SAP ECC全稱是SAP ERP Central Component是SAP上一代旗艦ERP套件的核心組件。雖然SAP現(xiàn)在主推S/4HANA但現(xiàn)實中還有大量企業(yè)在繼續(xù)運行SAP ECC系統(tǒng)尤其制造業(yè)、醫(yī)藥、能源行業(yè)系統(tǒng)里積累了幾十年的主數(shù)據(jù)、定制化增強代碼和復(fù)雜接口遷移成本極高?!癝AP ECC年結(jié)”在財務(wù)顧問和IT運維的口中就是財務(wù)年度結(jié)賬Year-End Closing。ERP系統(tǒng)不像普通財務(wù)軟件季度關(guān)了季度年終結(jié)轉(zhuǎn)賬很麻煩。它涉及資產(chǎn)折舊、總賬余額結(jié)轉(zhuǎn)、利潤中心結(jié)轉(zhuǎn)、物料賬結(jié)算等一系列模塊之間的聯(lián)動A步驟沒跑完B步驟就是跑不過去。每年12月底到次年1月初都是一批財務(wù)顧問和IT支持守在機房蹲年結(jié)的日子。4.2 年結(jié)的關(guān)鍵步驟與實操要點年結(jié)在SAP里并不是單一事務(wù)代碼能搞定的而是一連串的順序操作。以最常見的資產(chǎn)會計FI-AA年結(jié)為例核心步驟分兩塊一是資產(chǎn)公司年末結(jié)賬。先用事務(wù)代碼AJRW運行“資產(chǎn)年度余額結(jié)轉(zhuǎn)”或叫“余額結(jié)轉(zhuǎn)”把本年度資產(chǎn)的購置值、累計折舊、賬面凈值結(jié)轉(zhuǎn)到新會計年度。然后事務(wù)代碼AJAB執(zhí)行資產(chǎn)會計年度最終關(guān)賬。很多公司遇到的“結(jié)不了賬”問題都卡在AJAB這一步因為系統(tǒng)會檢查是否存在未折舊的資產(chǎn)、未過賬的采購訂單、未結(jié)清的資產(chǎn)主數(shù)據(jù)等等任何一個校驗沒過AJAB都會報錯。二是總賬余額結(jié)轉(zhuǎn)。事務(wù)代碼FAGLGVTRSAP ECC 6.0或F.56把總賬科目的余額結(jié)轉(zhuǎn)到下一年度。執(zhí)行時要注意必須先把所有12月的會計憑證全部過賬完成把應(yīng)收應(yīng)付、存貨、損益類科目余額都結(jié)轉(zhuǎn)到對應(yīng)科目之后才能跑這一步否則結(jié)轉(zhuǎn)出來的余額就是錯的。實操里我看到過幾個典型的翻車點過賬期間沒開。年度切換后OB52里新年度過賬期間沒有及時打開所有跑到新年的憑證都會報“期間未打開”的錯誤。資產(chǎn)年結(jié)前忘了跑折舊。資產(chǎn)折舊沒跑完AJAB會提示資產(chǎn)存在未折舊的情況讓你先回上月折舊期間跑AFAB。把測試數(shù)據(jù)和正式數(shù)據(jù)混了。年結(jié)前一定要用測試環(huán)境完整跑一遍年結(jié)腳本拿測試結(jié)果給財務(wù)確認科目余額是否正確再在正式系統(tǒng)里操作。我見過有人跳過了測試直接在PRD里跑AJRW結(jié)果資產(chǎn)余額出現(xiàn)巨大差異只能做沖銷再來。4.3 一個成熟的年結(jié)檢查清單下面是我總結(jié)的年結(jié)前檢查清單分享給正在準(zhǔn)備年度結(jié)賬的同行每條背后都有踩坑的代價確認所有12月期間的外幣評估、應(yīng)收應(yīng)付重分類、GR/IR清賬等周期性任務(wù)已經(jīng)完成。檢查AJAB運行日志里的每一個錯誤提示紅色報錯全部處理后重新跑黃色警告要逐條評估是否影響結(jié)賬結(jié)果。總賬余額結(jié)轉(zhuǎn)前導(dǎo)出各科目的期末余額表和財務(wù)手工編制的科目余額表對照一致后再運行。結(jié)轉(zhuǎn)后抽查幾個關(guān)鍵科目在新年度里是否已有期初余額尤其往來科目和存貨科目。注意物料賬ML的年度結(jié)賬流程CKM3N在年結(jié)時容易報“物料賬期未關(guān)閉”需要在后臺物料賬期間控制里同步調(diào)整。提示SAP ECC年結(jié)最怕的是“趕時間”。財務(wù)說月底必須跑完但你一定不能省流程。先備份再測試最后動生產(chǎn)。任何時候都要留出一到兩天的緩沖窗口用于處理意外問題。5. 排障實戰(zhàn)從“uncorr. ecc 顯示2”開始捋一套思路5.1 一次真實的內(nèi)存ECC錯誤排查流程有一天客戶報一臺數(shù)據(jù)庫服務(wù)器IPMI里有Uncorrected ECC Error事件計數(shù)顯示2。登錄系統(tǒng)后我先確認了操作系統(tǒng)是否信任ECC邏輯# 查看EDAC設(shè)備 ls /sys/devices/system/edac/mc/ cat /sys/devices/system/edac/mc/mc0/ue_count cat /sys/devices/system/edac/mc/mc0/ce_count結(jié)果顯示mc0的ue_count確實為2ce_count反而不高只有幾十說明這顆DIMM有突發(fā)性、不可糾正錯誤的風(fēng)險已經(jīng)比較高了。我隨后用ras-mc-ctl --error-count獲取更詳細的地址映射ras-mc-ctl --error-count輸出里會列出哪個內(nèi)存控制器mc、哪個csrow和dimm標(biāo)記對應(yīng)具體物理DIMM位置。服務(wù)器BMC也會在SEL里記下DIMM槽位號。處理策略是先和業(yè)務(wù)確認可以中斷的時間然后給服務(wù)器安排一次內(nèi)存壓力測試。用MemTest86完整跑兩遍如果連MemTest都報錯那這內(nèi)存條基本可以判定為物理故障。之后聯(lián)系供應(yīng)商按保修流程更換。有個細節(jié)換完內(nèi)存后不要急著讓系統(tǒng)恢復(fù)正常運行。我建議保留EDAC的ue_count清零確認一下有些系統(tǒng)需要重啟后reload edac模塊計數(shù)才會清零。重啟后如果ue_count繼續(xù)快速增長說明可能是內(nèi)存控制器或者主板布線有問題也可能是內(nèi)存條插槽的觸點臟了建議把CPU重新安裝一遍內(nèi)存條換個插槽再測試。5.2 MBIST fail怎么追作為芯片測試工程師處理MBIST FAIL的方法論更依賴數(shù)據(jù)。拿到fail log之后先看失敗地址的分布分析是行分布、列分布還是塊分布。單點失效大概率是粒子缺陷或介質(zhì)擊穿整行失效往往是字線驅(qū)動電路損壞整列失效多為位線read/write通路問題。這時候把物理地址映射到邏輯地址很關(guān)鍵。芯片內(nèi)部SRAM通常經(jīng)過行列地址重映射需要通過地址展開腳本對照網(wǎng)表確認對應(yīng)的物理單元。之后再結(jié)合bitmap和電鏡分析做缺陷定位判斷是光刻、刻蝕、還是金屬殘留導(dǎo)致。如果是量產(chǎn)階段的MBIST fail還要做良率相關(guān)性分析同一批次wafer里fail die的坐標(biāo)是否存在分布聚集某臺光刻機處理的區(qū)域是不是故障率偏高把這些數(shù)據(jù)反饋到工廠往往能快速定位工藝窗口漂移。ECC在這時候的作用是輔助分析比如修復(fù)后的die重測仍掛在ECC校驗位區(qū)域就需要檢查eFuse冗余行的熔斷是否異常。5.3 年結(jié)報錯如何快速定位SAP年結(jié)報錯分成兩類配置類錯誤和業(yè)務(wù)數(shù)據(jù)類錯誤。配置錯誤通常是年度變式、期間變式、屏幕變式?jīng)]有為新年度創(chuàng)建數(shù)據(jù)錯誤則是某些陳舊的主數(shù)據(jù)或未清憑證卡住了流程。定位思路無非三步看消息號、查OSS noteSAP官方知識庫、做數(shù)據(jù)檢查。比如FIN_AA_YEAR_CLOSE里報“存在未過賬的折舊”先到AFAB里確認所有折舊運行是否都成功再檢查資產(chǎn)過賬期間有沒有錯誤關(guān)閉。如果是OB52期間錯誤直接修改相應(yīng)公司代碼的過賬期間即可如果是折舊范圍配置缺失可能要在AO11里補充折舊范圍。關(guān)鍵原則是在SAP里“強制關(guān)賬”永遠是最下策。很多年結(jié)問題不是靠強行解鎖跑過去的而是底層數(shù)據(jù)本身存在錯漏該回去改憑證就改憑證該清未清項就清未清項。不要只盯著那個紅叉告警數(shù)據(jù)正確才是最終目標(biāo)。5.4 排查方法論關(guān)鍵詞到根因的三層定位這幾類問題看著風(fēng)馬牛不相及但排障思路其實是相通的。我把常見做法整理成三層定位法基本通用第一層收斂關(guān)鍵詞?!皍ncorr. ecc 顯示2”里的核心詞是“不可糾正”和“計數(shù)為2”MBIST fail的“fail address”SAP年結(jié)報錯里的“消息號”。先明確現(xiàn)象關(guān)鍵詞和相關(guān)模塊。第二層做組件歸因。內(nèi)存到DIMM、MBIST到SRAM陣列、SAP報錯到后臺配置或數(shù)據(jù)表這一步是把問題從“系統(tǒng)層面”縮小到“組件層面”。第三層隔離驗證。換內(nèi)存、重測、跑仿真、重新執(zhí)行年結(jié)事務(wù)代碼確認根因假設(shè)。到了這一步大部分問題已經(jīng)能定性。這套方法用來對付日常的服務(wù)器監(jiān)控、芯片量產(chǎn)異常、ERP年結(jié)運維都夠用了。如果拿不準(zhǔn)寧可多花一小時收集數(shù)據(jù)也不要憑感覺拍腦袋下結(jié)論——這個經(jīng)驗在我多年工作里被反復(fù)驗證。結(jié)尾ECC這幾個字母從內(nèi)存到芯片再到大企業(yè)系統(tǒng)貫穿的其實是同一種工程思想用冗余換取可靠用校驗換取信心。我這些年在服務(wù)器、芯片驗證和企業(yè)系統(tǒng)運維里來回穿梭最大的體會是遇到任何“錯誤”“告警”“異?!鳖惖南⒌谝环磻?yīng)都應(yīng)該是記錄現(xiàn)場信息第二反應(yīng)才是動手修。很多運維同事一看到uncorrected ECC就嚇得直接重啟機器結(jié)果漏掉了現(xiàn)場日志反而失去了判斷根因的唯一線索很多芯片工程師在MBIST失敗之后不先看bitmap就開始盲改測試流程最后只能靠撞運氣解決問題浪費大量工時。最后分享一個小習(xí)慣無論管理多少臺服務(wù)器都應(yīng)該在監(jiān)控系統(tǒng)里給EDAC的ce_count和ue_count單獨建一條趨勢曲線。ECC錯誤的增長速率比單次錯誤值更能反映硬件的健康走向——緩慢增長大概率是正常老化指數(shù)級暴增多半是設(shè)備正在走向崩潰。提前發(fā)現(xiàn)趨勢既能避開業(yè)務(wù)中斷也能讓保修流程走得從容許多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
精品无吗va视频免费观看| 嫩BBB搡BBBB榛BBBB| 九九热精品99| 国产激情综合五月久久| 开心 五月 综合| 99ri视频| 激情五月四色| 99久久精品国产色欲| www.精品99| 91丨九色丨白浆| 伊人干综合| 久久亚洲婷婷| 婷婷丁香成人色综合| 五月之婷婷| 韩国97天堂| 激情五月,激情综合网| 婷婷久久天堂网| 激情色色色| 国产亚洲99久久| 丁香婷婷五月天激情四射| 玖玖爱综合网| http:色情日本com| 96丁香六月婷婷蜜桃综合久久| 丁香激情五月| 俺去也五月| 婷婷五月色综合| 99热官网精品在线| 九九热视频在线观看| 色婷婷内射| 五月丁香婷婷成人网| 精品A√| 激情五月婷婷啪啪| 久久激情综合| 婷婷五月天色播| 自拍偷窥99热| 碰超亚洲| 九九这里有精品| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 玖玖婷婷综合| 色五月婷婷777| www.com五月天| 狼人婷婷综合| 99久久婷婷国产综合精品电影| 久久精品视频在这里有| 5月婷婷6月丁香aV| 91天天操天天干天天射| 色吊操色妞| 日本精品99| 开心五月婷婷六月丁香| 中文精品在| 亚洲综合五月天婷婷丁香| 色婷婷激情五月天| 全网最新网黄大秀直播高清,主播国产录屏在线 | w婷婷五月婷婷w| 99人人干人人| 超碰一区二区| 成AV人片一区二区三区久久| 99久久99九九九99九他书对| 韩国天天婷婷| 天天综合天天玩夜夜玩天天玩夜夜玩| 天天射影| 人伦30P| 亚洲色无码A片一区二区麻豆| 五月天色综合| 狠狠草综合网| 丁香六月 婷婷六月| 婷婷五月丁香综合瑟瑟| 欧美大片免费播放器| 欧美五月婷婷| 色综合综合色| 国产精品在线视频| 婷婷丁香在线| 狠狠99| 亚洲精品白浆高清久久久久久| www.婷婷,com| 99视频这里有精品免费观看| www.狠狠狠.com| 超碰成人av| 婷婷五月天天| 五月综合激情婷婷六月色窝| 久色网| 激情五月婷婷丁香| 色婷婷五月亚洲| www.天天色综合| 69精品人人人人人人| 99精品成人无码A片观看金桔| 天天爱天天狠天天透| 五月婷婷免费| 色五月丁香婷婷综合| 九九精品综合| 天堂久久性| 性爱激情五月| 五月天激情美女久久| 丁香五月天啪啪| 婷婷爱五月| 婷婷五月激情视频| 色五月影视| 超碰AAAAAAV| 性日本激情| 婷婷五月综合网| 丁香午夜天| 久久99激情| 97久久超碰| 亚洲狠狠婷婷| 日本99在线| 婷婷久久婷婷色五月| 欧美成人猛片AAAAAAA| 婷婷久久久| 噜噜狠狠色综无码久久合欧美| 婷婷久久六月天| 五月婷婷在线视频免费观看| 婷婷五月天视| 亚洲色色图片| 99热这里只有精品69| 激情综合综合综合| 综合在线丁香五月| 热久久66| 色婷婷五月亚洲| 丁香五月婷婷精品视频| 五月丁香六月婷婷亚洲| 99青青草| 婷婷丁香18| 久久人妻视步| 婷婷成人五月天成人文学| 99热这里只有精品最新网址| 亚州色色色| 色丁香婷婷| 久久机只有这里精品| 亚洲五月丁| 秋霞学生妹一二级| 五月丁香亭亭天天舔| 99热首页在线30| 丁香五月aV| 亭亭色天香| 嫩BBB槡BBBB搡BBBB视频| 五月熟妇婷婷久久| 色丁香六月| 色五狠狠| 欧美超级视频97| 啪啪婷婷五月天激情| 免费啪啪亚州视频| 亚洲综合成人网| 婷婷五月花| 欧美槡BBBB槡BBB少妇| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 国产精品视频免费看| 夜夜爱伊人| 激情丁香社区| 国产日产亚洲系列最新| 亚洲免费视频网站| 婷婷在线播放av| 国产色丁香| 国产成人AV人人爽人人澡Va| www激情com| 婷婷另类小说| 久久久网站| 亚洲乱码日产精品BD| 热99玖玖99玖玖99九九| 久草五月天| 九月激情网| 五月婷婷开心深| 激情影院免费视频婷婷五月天| 操你av| 九九热免费| 日本女人久久| 欧美成人猛片AAAAAAA| 亚洲中文字幕在线电影| 成片免费观看视频大全| 天天干天天色天天干| 欧美色爱五月天| 色爱综合网| 2025最新亚洲激情在线| 五月天成人网在线观看| 久久xxxx| 月色色综合婷婷网| 另类色网| 婷婷深爱五月天| 欧美精品99久久久| 亚洲精品444久久久久久| 二色AV| 五月丁香久久综合精品| 91超碰在线播放| 五月婷婷色| 婷婷色基地在线看| 极品 少妇 内射| 亚洲另类视频| 成人无码精品1区2区3区免费看| 色婷婷影音| 色色色777| 噜噜色com| 99ri国产| 天啪色| 天天操夜夜啊| 夜夜资源站| 26uuu国产色| 人草人人| 国产精产国品一二三在观看| 97色婷婷五月天| 激情综合网,婷婷五月天| 丁香婷婷色色| 丁香99| 丁香五月电影| 丁香五月成人婷婷| 超级碰碰碰久久网站| 99久久精| 婷婷五月综合社区| 色都都狠狠色都都色综合色| 婷婷久久免费看| 九色啦蜜臀| 欧美性生交XXXXX无码小说| 亚洲操B视频| 天天摸,天天爽| 欧美狠狠色| 国产做爰视频免费播放| 可以免费看av网站| 99热99在线| 九一牛视频探花| 夜夜爽天天| 五月婷婷视频| 一区二区aV电影免费看| 丁香五月激情视频| av中文字幕免费观看| 99在线播放视频| 91精品综合久久久久久五月丁香 | 国产VA播放| 日本色婷婷| 丁香网五月天| 伊人超碰| 无遮挡国产高潮视频免费观看| 激情综合色网| 成人婷99最新| 亚洲AV人人操| 99热新网址| 色五月色五天色情网址| 五月丁香六月婷婷亚洲视频| 免费碰碰视频久| 天天日综合网射| 色婷婷中文在线| 久久精彩视频99| 99久久思思| 九九热免费视频| 啪啪色区| 亚洲成人在线综合| 非洲一级AV| 婷婷五月激情天| 五月婷性爱| www.色婷婷。com| 日日撸夜夜操| 丁香婷婷综合五月天| 精品久久99码| 99久久久国产大片| 久久久婷婷| 99er日韩| 五月婷婷六月色| 思思视频久久| 黄色99网| 大香蕉AV电影在线| 亚洲激情网站| 99精品视频推荐| 日日操日日撸| 六月丁香综合| 人妻少妇色综合| 五月开心婷婷极品激情| 啪啪一区| 亚洲精品性色| 98热精品| 人人97碰| 依人大香蕉| 色吧五月婷婷| www.狠狠操.com| 三年高清大片免费观看国语| 人妻自慰高清合集| 九九av在线| 亚洲色图五月丁香| 九九碰九九爱97超碰| 五月丁香六月在线| 综合五月天天天天天五月| 欧美成人一区二区三区在线视频| 天天舔日日肏夜夜爽| 五月天色色色网| 99这里只有精| 五月婷在线| 久9热| 天天激情视频| 七七久久综合| 色五月五月婷婷| 日本一道久久| 性天天中文网| 91精品91久久久中77777久久玖玖九九| 久久婷婷丁香| 久久国产性爱A V| 99视频| 17.c黄色| 五月丁香福利| 丰满老熟妇BBBBB搡BBB| 久久开心五月天激情| 91在线日本| 伊人久久99| 成人五月天婷婷| 无码激情AAAAA片-区区| 五月婷婷在线视频观看| 丁香五月天啪啪| 内射爽无广熟女亚洲| 婷婷五月六月丁香综合| 秋霞A V毛片| 亚洲高清在线| 玖玖资源在线视频| 欧美日本综合网| 狠狠精品干练久久久无码中文字幕 | 五月丁香黄色| 国产熟妇的荡欲午夜视频| 性天天中文网| 99操逼| 人妻丰满精品一区二区A片| 99思思热只有在这里看| 亚洲AV免费在线| 亚洲中字AV电影在线网站| 99精品视频网站| caop在线| 激情婷婷激情在线不卡| 五月丁香| 久久性爱视频这里只有精品| 91精品久久久久久| 狠狠色综合无线观看| 婷综合| 最新五月天婷婷影| 91vip在线观看| 四川BBB搡BBB爽爽视频| 日韩av在线电影| 丁香五月婷婷成人综合| 粉嫩av蜜桃av蜜臀av| 成人无码精品1区2区3区免费看| 激情五月婷| 色综久久AV| 欧洲区自拍| 91chinese在线| 婷婷色六月| 天天舔天天摸天天射| 97超碰欧美中文字幕| 综合激情五月丁香| www.91在线观看| 六月丁香五月激情网| 六月婷婷啪啪| 色色热日| AA片在线观看视频在线播放| 婷婷五月天AV| 丁香五月婷婷五月| 天天色综合综合| 激情婷婷五月久久| 激情五月天啪啪| 激情人妻蜜夜系列区| 色婷| 天天摸天天透天天舔| 婷婷爱综合| 五月天激情四射网站| 大香蕉220| 99热最新| 4399人妻无码久久久| 天天草天天日| 日韩五月天婷婷| www.婷婷亚洲基地| www.sebowuyue| 91色性感五月婷婷丁香| 国产精品久久久久久亚洲毛片| 天天久久狠狠色综合| 天天激情站| 激情综合网亚洲色图| WWW.天天日| 午夜成人网站在线观看| 色婷婷五月影院| 中文字幕人妻一区二区| 日韩av手机在线观看| 九九亚洲| 99热在线播放| 人人干av| 玖玖热视频| 五月婷婷深深爱| 五月丁香六月婷婷综合| 日日撸日日操| 亚洲第一视频 久久| 色色综合日韩| 婷五月天在线草| 99热这里在线精品| 丁香六月婷婷一区| 婷婷五月激情网站| 2014天天爽| 丁香五月激情婷婷视频| 丁香六月婷婷综合| 天天操天天爱天天日| 99精品在线观看视频| 《久久综合九色综合97婷婷| 一起肏在线视频| 色婷婷成人久久| 狠狠爱丁香婷| 综合激情在线观看| 99久久婷婷五月综合| 亚洲色图81p| 激情丁香五月天图片| 99婷婷综合| 狠狠色综合久久久久| 99九九这里有免费视频| 欧美三级大片AA在线看| 久久色午夜在线导航| 婷婷97C| 免費观看aV在线网址| 人人操9| 色99xx| 在线一起草av| www.9797国产| 综合久久综合久久| 婷婷五月综合亚洲| 99热加勒比| 婷婷五月中文字幕| 女婷久久| 色情五月丁香婷婷网| 天天搞夜夜六| 五月婷在线视频免费播放| 婷婷激情五月综合丁| 婷婷色Av| 激情五月天天狠狠久久| 操久久网| 欧美韩国日本| 欧美久久久中文字幕| 久久五月热| 91 九色 入口| 91人妻色色网| 色大综合| 丁香五月天在线观看| 婷婷五月天成人网| 丁香五月Av| 蜜臀AV在线观看| 五月婷婷很很色| 激情色情五月天| 色五月激情综合| 九九亚洲视频| 欧美丁香五月天| 淑女丝袜bi操逼123| 丁香五月人妻| 中文字幕精品无码一区二区| 婷婷五月六月丁香| 狠狠操狠狠爱| 五月丁香花免费视频| 丁香婷婷五月| 激情五月综合| 五月婷婷久久爱| 26.uuu丁香五月婷婷| 噜噜色五月| 五月激情网络| 婷婷五月天久久| 激情婷婷| 蜜桃婷婷狠狠久久综合| Xx色综合| 日本色五月| 四色五月婷婷| 黄色激情网站在线观看| 五月婷婷六月丁香| 六月丁香影院| 夜夜骑夜夜操| 亚洲色基地| 国产伦理精品高清在线观看网站一区二区 | 五月婷婷六月丁香激情| 久久九九免费视频| AV网在线观看| 另类五月婷婷| 99这里有精品| 亚洲精品国产熟女久久久| 影音先锋91男人资源在线播放| 91超碰九色| 婷婷激情丁五月| 久久免费操| 九八Av| 亚洲五月激情| 综合色综合| 久久五月天精品视频| 开心五月婷婷在线视频免费观看| 在线观看av网站| 欧美丰满熟妇BBB久久久| 天天综合色丁香| 色欲五月天| 久久伦乱| 97操碰免费视频| 色热久资源| 97 A I色色| 婷婷五月天丁香| 91热视频色网站| 激情狠狠丁香月| 热九九精品| 九九综合网| 激情美女五月天| 日日干日日| 色欲色欲久久宗合网| 丁香六月激情综合| 丁香五月天视频| 婷婷综合性爱网| 热99国产精品| 五月天婷婷基地综合网| 欧美色偷偷大香| 天天AV导航网| 久9热| 自拍视频在线观看9| 国产色婷婷亚洲| 91seav| 青青999| www.狠狠狠.com| 超碰久热| 成人一级片| 五月婷婷激情综合网| 无码成人AAAAA毛片AI换脸| 婷婷亚洲天堂| 色婷婷综合久久久久| 色婷综合| 可以免费看AV网站| 伊人五月婷| 九九热这里有精品23| 色色色色色色色色五月先| 亚洲免费电影2| 好好干av| 爽tv | 成人va在线观看视频| 97碰久久| 六月婷婷久久| 成人视频在线免费播放| 欧美日韩国产一区二区| 99热97| 91高潮喷水久久久久久久久| 五月婷婷自拍视频| 久久婷婷超碰| 激情小说 五月天| 四川女人毛多水多A片| 26uuu色噜噜精品一区| www.婷婷五月| 五月天婷婷色在线视频免费观看 | 一本色道久久综合狠狠躁小说| 99精品在线观看视频| 六月丁香啪啪啪| 五月激情久久| 丁香五月婷婷视频| 欧美日韩五月婷婷| 综合色影| www.99热视频| 天天日夜夜拍| 五月天婷婷三级黄| 狠狠干狠狠干| 丁香五月婷婷综合91| 天天操天天日天天操| 激情98色婷婷五| 思思热久久婷婷五月天| 日日操夜夜操不卡| 五月天亚洲色| 国产成人AV在线播放| 五月天激情国产综合婷婷婷| 婷婷丁香九月| www.99热视频| 亚洲丁香五月天在线视频| 专区无日本视频高清8| 清色五月天| AⅤ网站在线看| 青草激情在线| 7777精品伊人久久久大香线蕉最新版| 玖玖午夜视频| 欧美噜噜噜草| 国自产拍偷拍精品啪啪一区二区| 九九色视频| 色综合久久8| 婷婷丁香五月网| 美女精品一级不卡视频| 色五月婷婷五月| 精品无码色| 日韩成人中文| 婷婷五月天天天| 综合久久高清| 涩五月婷婷| 色婷婷先锋| 亚洲免费在线观看岛国| 五月天激情电影| 天天舔天天摸天天射| 99热人人艹| 久久99热这里只有精品| 婷婷久久亚洲| 亚洲亚洲人成综合网络| 青草激情综合| 色999;丁香五月| 亚洲成av人影院| 人人爽亚洲| www.婷婷,com| 99热这里有精品| 99热这里只有精品国产首页| 亚洲综合99| 538在线精品| 久久538| 五月天久久久| 91色性感五月婷婷丁香| 久久大香蕉同僚| 99热香港| www.精品久9| 婷婷开心激情| 黄色AAAAA| 91超碰人人操| 99爱在线| 国产亚洲在线观看| 亚洲人妻五月丁香婷婷| 久久99视频| 日B日潘金莲BB| 久久大香蕉同僚| 天天色五月| 91丁香| 激情五月天网| 婷婷五月激情网| 亚洲中文无码成人| 日韩精品一品二区三区的使用体验| 亚洲天堂99| 久久性爱视频网站| 综合在线丁香五月| 玖玖爱资源站| 超碰在线资源| 国产成人精品亚洲线观看| 六月婷婷开心| 五月天色婷婷小说| 成人 在线 日韩| 五月婷婷先锋| 五月婷婷色| 激情无码网| A A色色| 91爱操| 久草视频大香蕉99| 拍真实国产伦偷精品| 97碰人人操| 婷婷丁香五月天亚洲| 亚洲永久四色| 亚洲AV无码成人精品区电影网| 91啪啪视频| 中文成人在线| WWW,婷婷,COM| 色五月av伊人| 丁香六月开心| 超碰男人色| 五月天婷婷网站| www.超碰| 深爱激情综合网| A久久| 九九久久综合网站| 久久这里只有精品07 | 深爱五月天| 婷婷激情丁香六月| 美女要搞搞天天搞搞搞网站| 婷婷五月av| 4399伦理午夜| 停停六月 综合| 婷婷五月,综合伊人| 99热自拍| 婷婷五月天久久久| 婷婷五月天堂| 国产婷婷综合| 丁香婷婷社区| 久久五月天色| 五月婷婷五月天亚洲无码| 五月婷伊人| 毛片网站谁有| 另类视频一区| 丁香婷婷基地| 1024国产| 精品在线网站| 六月丁香色色| www.日本91| 丁香六月色| 九九视频在线观看视频在线播放69| 综合天堂AV久久久久久久| 久久久婷| 天天干天天做| 九九色色| 人妻丰满精品一区二区A片| 久久五月综合| 99热亚洲| 国产精品a无线| 色综合天天| 91一起操| 精品国产AV色一区二区深夜久久| 国产 码在线成人网站| 超碰人人草| 99在线精品观看99| 极品少妇XXXX精品少妇偷拍| 国产亚洲成AV人片在线观黄桃| www99热| 天天操天天插| 江苏少妇性BBB搡BBB爽爽爽| 婷婷香草网| 色无婷婷| 啪啪色激情五月天| 无码动漫AV| 婷婷自拍| 亚洲六月色婷婷| 92久久| 婷婷她六月天| 色五月天中文字幕| 五月色丁香激情| 色色色色色网站| 天天日天天干天天操| 国产.亚洲.欧洲视频在线| 97人人操人人| 超碰99热| 极骚大香蕉伊人| 九九视频在线观看视频在线播放69| 亚洲国产网址| 久久新| 激情综合网丁香| 高清激情av在线观看| 亚洲激情色色| 26uuu日韩| 久久HD| 伊人91| 六月色丁香婷婷| 丁香五月天堂网AV| 欧美人人操| 欧美激情五月天婷婷| 五月丁香成人| 99看片| 久热大香蕉| 色婷婷成人做爰A片免费看网站 | 综合久久99| 国产偷人爽久久久久久老妇APP| 区欧美日韩成人| 五月久久网| 久久er这里只有精品| 人人干Av| 亚洲天堂啪啪| 亚洲日韩一页精品发布| 超碰五月婷婷五月天| 无码啪啪| 久久这里只有精品16| 99综合| 人人干人人看| 色9999综合久久| 亚洲六月婷婷| 我爱va亚洲va52| 99re热在线视频观看| 亚洲天堂热| 色五月激情综合网站| 丁香五月自拍| 婷婷激情五月天在线| 玖玖综合色| 丁香五月婷婷激情四射深爱激情| 色五月婷婷综合在线| 亚洲综合新99视频| 激情五月六月| 亚洲精品一区中文字幕乱码| 色婷婷情片| 色播五月天天| 日本三久久| 久久99最新地址| 91视频一起草| 思思热久久婷婷五月天| 99日韩| 狠狠爱丁香婷| 天天开心婷婷丁香五月| 色婷婷亚洲五月天| 少妇人妻丰满做爰XXX| 九九人人自拍| 青草激情在线| 女人天堂AV| 五月婷婷九九久久| 欧美黑人巨大猛烈cuckold| 亚洲人妻Av| 国产99久| 同性gv国产精品一区二区| 黄色一级影片| 色色色com| 亚洲国产精品成人免费一区久久久在线观看AAAA | 99热只有精品综合| 这里只有精品视频在线| 4438亚洲欧美| 久久草人妻| 色五月 五月婷婷| 成人片黄网站色大片免费毛片| 日日干天天射| 月婷婷婷婷五月| 九九九九精品精| 99成人| 丁香婷婷色色| 五月丁香中文字幕| 91久久精品国产91性色TV| 久久久网站| 五月丁香六月天| 久草免费福利视频| 狠狠操天天操综合| 久久综合五月| 色碰干| 久久婷婷五月| WWW色色色COM| 激情婷婷另类| 北京熟妇搡BBBB搡BBBB| 五月婷婷色| 99在线视频资源| 99啪在线视频| 五月激情婷婷开心| 国产欧美日韩综合精品一区二区| 色婷婷丁香网| 伊人婷婷五月天| 9月色婷婷| 操骚货在线| 91熟妇大香蕉| 婷婷五月天色综合| 黄色热99| 久久婷婷五月综合激情国产| 色色色综合网| 久久婷婷五月| 六月婷婷色综合| 99九九热在线观看| www.91九色| 91丨九色丨国产打屁股| 色婷另类| 97干在线播放| 亚洲 视频 导航 一区| 思思热在线观看| www.久9| 日日天天干| 操操操91| 99视频在线精品| 久久精品噜噜噜成人A∨色欲| 五月婷婷激情综合视频| 五月激情婷婷偷拍| 欧美激情综合色丁香婷婷五月天 | 日本五月婷| 婷婷中文字暮| 日本五月天激情| 丁香五月婷婷色偷偷| 99视频在线观看网址| 超碰在线网站| 操人久久| 97色在线视频| 精品人妻一区二区三区四区不卡在| 亚洲欧美成人在线| 五月丁香五月综合欧美| 琪琪理论片| 亚洲精品V天堂中文字幕| 伊人婷婷激情| 国产干逼片| 五月天激情电影| 婷婷五月丁香色播| 欧美色色色色色色色色色色| 午夜成人网站在线观看| 婷婷五月av| 都市激情久久| 97在线观视频免费观看| 五月丁香六月婷婷手机无线| 五月婷婷综合天天操| 5月丁香啪啪啪| 色蜜婷婷| 婷婷五月综合激情| 天天上天天爽| 90色免费视频| 日本天天操| 97热视频| 99re在线播放| 乱色色色| 五月婷婷婷| 五月丁香啪啪综合| 都市激情五月婷婷综合| 碰碰碰97国产| 婷婷丁香五月综合| 99在线观看| 中国女人内射6XXXXX| 五月草影视| 久久五月天色婷婷| 91超级碰碰碰| 天天摸人人摸| 香蕉婷婷色五月| 亚洲AV成人在线| 久久久99精品| 婷婷久久内射| 色婷婷网| 深爱1激情网| 日本在线视频播放91| 欧美99热| 婷婷色丁香六月| 一级性感黄色内射视频| 色久综合| 色色色综合色| 97色碰| 综合五月婷婷| av网址在线| www.9操| 天天爽夜夜操| 久久久久久久久久久久久久人妻视频| 视频一区二区在线| 97干在线视频| 五月天婷婷成人资源站| 97性视频| 影音先锋美国A| 日本色色网站| 激情五月网站| 五月天婷婷基地综合网| 99精品偷自拍| 在线天堂9| 成人五月天在线视频在线观看| yiqicaoav| 狠狠色婷婷777| 99热精品中文字幕| 激情的五月婷婷蜜桃| 精品导航在线x不卡| 99性爱视频| www五月天com| 丁香五月天天| 丁香五月婷婷大香蕉| 亚洲乱码精品久久久久.. | 丁香影院五月综合| 99热精品在这里| 日本va欧美va欧美va| 日本怕怕视频| 大香蕉七区| 国产精品久久久爽爽爽麻豆色哟哟| www.91婷婷| 久热这里只有精品66| 成人AV免费观看| 91久久人人操| 精品无码久久久久久久久| 五月天社区婷婷丁香社区| 日在线V视频在线播放| 99操久久| 久久丁香九| 成人精品视频99在线观看免费| www.9797国产| 99色最新在线视频网站| 日操| 激情六月婷婷| 日本欧美999久久久三级片| 色婷婷丁香五月| 91热在线| 996er热| 日韩久久这里只有精品| 金桔一区二区ab地址| 五月天婷婷激情在线色图| 日本黄色一级| 久久久五月天| 色色婷婷五月天| 天天操天天插| 狠狠色综合网站久久久久| 五月丁香在线婷婷蜜桃| 热99精品视频在线观看| 91碰| 干一干xxxx| 超碰在线资源| 久99婷婷色综合| 亚洲人妻av伦理| 99热最新| 99色综合网| 综合五月婷婷| 久久大香蕉视频| 97ai婷婷| av不卡网站| av在线播放网站| 99在线免费观看| 久久久久久人妻| 91天天操天天干天天射| 久久伦乱| 99综合网| 玖玖婷婷五月天| 国产VA亚洲VA96| 丁香五月成人在线| 久久人妻情侣| 26uuu亚洲欧美另类| 五月天 综合 在线| 99这里只有精品视频在线| 五月天丁香六月综合| 91色五月| 九月丁香亭亭| 97资源欧美日韩大香蕉超碰一区| 97干婷婷| 久久五月婷婷丁香| 99热天堂| 五月天综合久久丁香91| www.五月天色色色| 精品99视频| 欧美天天搞| 丁香五月停停基地| 激情伊人网| 91疯狂操操操操| 小泽玛利亚视频一区二区| 激情久久网 | 操B视频在线播放| av一级棒av| 伊人久久大香线蕉精品| 熟妇高潮一区av| 26uuu成人网| 特黄三级又爽又粗又大| 99视频在线看| 九9九9无码| 99热丁香五月| 五月天婷婷操逼视频| 色婷婷9| 天天久久狠狠色综合| 色五月综合激情| 丁香婷婷六月激情文学| 怕怕av| 26uuu亚洲色| 丁香五月天综合网| 99热这里只有精品2| 色99在线观看| 久操无码| 天天爽人人综合免费7799| 国产亚洲精品AAAAAAA片| 中文字幕丰满孑伦无码专区| 丁香五月综合狠狠| 免费观看2018www黄色操逼网站| 综合色婷婷| 免费婷婷| www色婷婷久久综合久色| 插插网爽妇五月丁香| 五月天婷婷高清无码| 婷婷激情小说| 综合啪啪| 精品夜夜澡人妻无码AV| 级人人91| 啪啪夜久久| 丁香五月色| 婷婷综合成人五月天| 五月天堂在线| 五月亭亭开心网| 伊人久久婷婷| 最近中文字幕大全免费版在线| 综合六月久久| 婷婷va| 五月丁香婷婷爱激情综合网| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | BBWCUCKOLD精品熟妇| 色亭亭丁香五月天| 久久婷婷国产| 亚洲视频在线观看99| 丁香九月婷婷色| se99高清无码| 天天干-天天日| 丁香婷婷深情五月亚洲| 久操热| 色色欧美色色色| 九九色院| 婷丁五月| 亚洲色无码| 丁香激情网| 黄网在线免费| 超碰色婷婷| www。五月天。com| 日本爆乳片手机在线播放| 婷婷六月色| 婷婷五月色花丁香社区| 依人大香蕉| 欧美激情凹凸丁香网| caop在线视频| 色婷婷香蕉在线| 超碰免费人妻| 国产成人va在线| 婷婷久久99| 人妻激情久久| 97综合在线| 欧美激情综合色综合| 婷婷天堂综合| 中文字幕丰满乱孑伦无码专区 | 九九爱激情| 五月激情综合网| www.婷婷com| 开心五月综合激情综合五月| 97日本在线| 婷婷久久综合| 天天久| 欧韩性爱| 日本玖玖在线| 五月婷婷婷婷| 丁香六月无码| 色狠狠色| 亚洲狠狠丁香婷婷香蕉| 美女精品一级不卡视频| 婷婷日| 九九色院| 激情六月天| 亚洲人妻电影| site:picc-up.com| 五月天社区婷婷丁香社区| 大香蕉综合网| 婷婷五月花| renre人人操国产超碰在线| 色哟哟性爱av| 香蕉久久国产AV一区二区| 色五月婷婷91| 思思热99在线| 丁香九月激情| 久久一伦| 中文字幕人成乱码在线观看| 天天插天天插| 日日撸天天干| 婷婷五月播| 久婷自拍视频| 香蕉AV777XXX色综合一区| 人妻综合网| 九热视频| 九九九成人在线视频| 色五月婷婷基地| 久久全色| 欧美色片中文字幕久久久久| 99re思思热久久| 激情五月婷婷五月| 五月色婷婷激情| 五月激情婷婷图片基地| 超碰在线99热| 久久五月天丁香| 99热个人在线| 色五月综合网| 99ri精品| 激情五月综合亚洲另类| 中文字幕 久久9999| 热九九在线| 九九九日本熟女| 97碰碰视频| 996黄色片| 激情性爱五月天网页| 99热在线播放| 国产这里只有精品| 亚洲AV免费在线| 在线天堂9| 丁香婷婷激情| 青青草成人网| 99亚州综合精品成人网| 欧美狠狠地| 五月综合精品| 天天射天天射一道本日本社区 | 久婷婷| 91人妻人人操人人爽| 综合激情在线观看| 99天堂网最新| 热996精品在线观看| 99ri6在线视频| 丰滿爆乳一区二区三区| 亚洲成人影视在线| 日本操天堂| 最近中文字幕2019视频1| 任你草| 天天插天天干| 激情丁香五月| 无码日本精品XXXXXXXXX| 五月丁香综合网| 天天综合网站| 在线观看免费视频| 亚洲无AV在线中文字幕| 成人片黄网站色大片免费毛片| 99re在线观看| 最新高清无码专区| 综合aV在线| 超碰99热精品在线| 9精品国产在热久久| 岛国午夜视频| 另类 在线| 激情久久久久久| 日本99视频| 激情五月伊人婷婷| 婷婷六月丁香色| 激情五月视频| 亚城区在线| www.天天干| 九九久久五月天| 久久538| 中国丰满熟女A片免费观| 99婷婷狠狠成为人免费视频| 丁香六月天婷婷色| 99热在线网站| 玖玖无码中文| 婷婷激情五月天激情在线| 69五月天视频| 老司机伊人| 成人电影AV在线观看| 免费亚洲婷婷| 五月婷婷影视| 色老久久| 国产成人AV人人爽人人澡Va| 精品怡红九九九| 五月婷婷亚洲色视频| 三级黄网站| 欧美性猛交XXXX乱大交极品| 99精彩视频在线观看| 超碰色色综合| 色噜噜狠狠色综合日日免费| 天天xxxxxx天天日| 啪啪婷婷五月天激情| 大香蕉久久| 91热久| 影音先锋按摩| 开心五月激情婷婷| 六月婷婷av| 国产成人AV不卡| 骚五月婷婷| 狠狠色激情在线| 色婷婷亚洲婷婷| 另类天堂| 六月色婷婷综合影视| 欧美丁香五月97色| 月婷婷亚洲| 天天天久久人人人合| 人人射人人高潮| 久久婷色| 永久天堂日本| 五月综合亚洲色| 婷婷开心五月| 五月色天情| 99色精品| 99热99在线精品| 丁香五月天人体| 色99色| 国产乱子轮XXX农村| 天天爱天天秀天天做| 婷婷综合五月| 97婷婷丁香五月天激情图片| 久久综合色五月| 亚洲成人av在线播放| 人人爱天天摸摸天天爱| 五月丁香六月婷婷开心网| 久久HD| 超碰人人99| 中文不卡一二区| 久久97| 99超碰人人| 亚洲综合视频一下| 大香蕉九九| 国产精品天天狠天天看| 久久婷婷六月综合| 成人va在线播放| 日本V在线观看不卡视频网站| 色欲婷婷五月天| www.av骚货| 激情婷婷人妻| 五月色婷婷在线观看| 精品A√| 无遮挡国产高潮视频免费观看| 激情婷婷五月色| 九九色逼| 天天综合91入口| 26uuu亚洲欧美另类| 丁香六月五月天| 大香蕉久久久| av人人干| 亚洲狠狠爱婷婷| 热无码A∨| 热久精品| 超碰色综合| 新激情五月天天在线网| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 亭亭五月天成人| 亚洲色五月| 日韩精品超碰在线观看| 色综合色色| 亚洲图色五月天| 欧洲第一久色| 亚洲成人在线在线| 开心久久爱五月天| 婷婷99狠狠躁天天躁| av 一区三区四区| www五月| 天堂久久精品| www色五月| 99在线精品视频| 性视频久久| 91色噜噜狠狠狠狠色综合| 99在热线免费视频| 色婷婷另类| 天天色天天日| 中文字幕第四色.999| 五月丁香六月婷婷色| 清纯唯美 激情四射| 99视频一区| 99久高清视频| 99这里有精品视频|