欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

鐵路加固雙Xeon系統(tǒng)設(shè)計(jì):寬溫振動(dòng)與冗余切換的實(shí)戰(zhàn)解析

鐵路加固雙Xeon系統(tǒng)設(shè)計(jì):寬溫振動(dòng)與冗余切換的實(shí)戰(zhàn)解析 干鐵路現(xiàn)場(chǎng)這一行的人應(yīng)該都有體會(huì)信號(hào)機(jī)房、軌旁控制柜、車廂電氣柜里那些計(jì)算機(jī)看著不起眼卻是整條線路能不能正常跑起來(lái)的“大腦”。這幾年我做過(guò)的加固計(jì)算平臺(tái)里有一類需求特別典型——客戶點(diǎn)名要“一對(duì)”基于第10代Xeon的加固系統(tǒng)專門為鐵路環(huán)境設(shè)計(jì)。這種項(xiàng)目不是攢臺(tái)工控機(jī)那么簡(jiǎn)單它背后牽扯到寬溫、振動(dòng)、電磁兼容、電源瞬斷、冗余切換這一整套邏輯。這篇文章我就以這套面向鐵路需求的加固型雙Xeon系統(tǒng)為例把從需求拆解、硬件選型、結(jié)構(gòu)設(shè)計(jì)到雙機(jī)切換和現(xiàn)場(chǎng)驗(yàn)收的完整鏈路梳理一遍。如果你正在做軌道交通、礦山、船舶或者任何“惡劣環(huán)境邊緣計(jì)算”方向的設(shè)備選型或方案設(shè)計(jì)這篇內(nèi)容應(yīng)該能幫你少踩不少坑。1. 項(xiàng)目整體設(shè)計(jì)與需求拆解1.1 鐵路現(xiàn)場(chǎng)對(duì)計(jì)算設(shè)備的“硬約束”先說(shuō)環(huán)境。鐵路行業(yè)最坑人的地方在于它的環(huán)境參數(shù)不是靠想象出來(lái)的而是有明確標(biāo)準(zhǔn)卡著的。軌道交通設(shè)備通常要參考EN 50155鐵路用電子設(shè)備和EN 61373車輛設(shè)備的振動(dòng)沖擊試驗(yàn)來(lái)設(shè)計(jì)。很多人一聽(tīng)“加固”就以為是加個(gè)厚鐵殼子真不是這么回事。溫度這一項(xiàng)就夠喝一壺。常規(guī)商用服務(wù)器的正常工作溫度在10℃到35℃之間而鐵路設(shè)備要求的是寬溫常見(jiàn)等級(jí)分T1-25℃到55℃和TX-40℃到70℃。軌旁機(jī)柜夏天被太陽(yáng)直射內(nèi)部溫度能輕松沖破60℃北方冬季夜間又能壓到零下三四十度。這種溫差跨度下普通消費(fèi)級(jí)主板上的電解電容、晶振、DC-DC電源模塊都會(huì)出問(wèn)題。所以這套系統(tǒng)的第一設(shè)計(jì)原則就是整機(jī)必須支持-40℃到70℃的寬溫工作而且是滿載工作不是“能開機(jī)”那種勉強(qiáng)狀態(tài)。振動(dòng)沖擊同樣讓通用服務(wù)器崩潰。列車過(guò)軌縫、道岔、制動(dòng)的時(shí)候車體振動(dòng)加速度不是鬧著玩的。如果你把設(shè)備直接安裝在轉(zhuǎn)向架附近那就得按Bogie-mounted等級(jí)來(lái)考核隨機(jī)振動(dòng)和沖擊的烈度比普通車載設(shè)備高一個(gè)數(shù)量級(jí)。即便裝在車廂內(nèi)或設(shè)備柜里長(zhǎng)期的低頻振動(dòng)也會(huì)讓內(nèi)存條松動(dòng)、SATA接口接觸不良、螺絲退扣。所以鐵路加固系統(tǒng)的內(nèi)部幾乎見(jiàn)不到大型散熱器和獨(dú)立顯卡這種“懸臂”結(jié)構(gòu)所有板卡都要通過(guò)加固支架壓緊連接器必須選用帶鎖扣或螺紋鎖緊的類型。供電環(huán)境也得單獨(dú)說(shuō)。列車上的直流母線電壓不是穩(wěn)定的直流而是伴隨大量紋波、浪涌和瞬斷。EN 50155里明確規(guī)定了電源中斷、電壓跌落、上電沖擊等測(cè)試要求。比如110V DC母線在機(jī)車過(guò)分相區(qū)時(shí)可能出現(xiàn)毫秒級(jí)的電壓跌落如果設(shè)備的電源模塊沒(méi)有足夠的保持時(shí)間系統(tǒng)就會(huì)無(wú)故重啟這在運(yùn)行中的列車上是非常嚴(yán)重的事故。所以鐵路用計(jì)算機(jī)的電源輸入部分必須做寬壓輸入、浪涌抑制、反接保護(hù)和足夠的儲(chǔ)能電容。1.2 為什么是“一對(duì)”而不是一臺(tái)更強(qiáng)的很多甲方提需求時(shí)都會(huì)問(wèn)能不能用一臺(tái)性能翻倍的高端服務(wù)器代替兩臺(tái)加固機(jī)答案是在鐵路場(chǎng)景里不行。原因不是性能不夠而是冗余架構(gòu)必須存在。軌道交通的信號(hào)、通信、監(jiān)控類業(yè)務(wù)對(duì)可用性要求極高核心系統(tǒng)需要有故障切換能力。單機(jī)方案無(wú)論做得多可靠都存在單點(diǎn)故障風(fēng)險(xiǎn)電源燒了、主板掛了、系統(tǒng)死機(jī)了整條鏈路就斷了。而一套雙機(jī)系統(tǒng)A機(jī)和B機(jī)同時(shí)運(yùn)行同樣的業(yè)務(wù)一臺(tái)故障時(shí)另一臺(tái)無(wú)縫接管業(yè)務(wù)中斷時(shí)間控制在秒級(jí)甚至毫秒級(jí)這在行業(yè)里是硬性要求。這里的“一對(duì)”可以做兩種部署形態(tài)。一種是把兩臺(tái)獨(dú)立的加固計(jì)算機(jī)放在同一個(gè)4U或6U機(jī)箱內(nèi)共享電源模塊和背板物理上成為一個(gè)整體單元便于柜內(nèi)集成。另一種是兩臺(tái)完全獨(dú)立的加固終端盒各自帶獨(dú)立電源和對(duì)外接口只在網(wǎng)絡(luò)層做冗余。我們這次做的項(xiàng)目更接近前一種——一個(gè)機(jī)箱內(nèi)裝兩個(gè)計(jì)算節(jié)點(diǎn)每個(gè)節(jié)點(diǎn)都能單獨(dú)拆裝和維護(hù)背后通過(guò)冗余網(wǎng)絡(luò)互聯(lián)再配合心跳線判斷彼此狀態(tài)。選“一對(duì)”還有一個(gè)現(xiàn)實(shí)原因維護(hù)窗口極短。鐵路線路上的設(shè)備通常運(yùn)行周期很長(zhǎng)出了問(wèn)題需要在不中斷業(yè)務(wù)的情況下更換故障節(jié)點(diǎn)。雙機(jī)熱備架構(gòu)天然支持故障節(jié)點(diǎn)在線更換一塊節(jié)點(diǎn)抽出、另一塊繼續(xù)頂著業(yè)務(wù)跑這在單機(jī)方案里根本做不到。1.3 選型在第10代Xeon上做文章選處理器是整個(gè)項(xiàng)目里爭(zhēng)執(zhí)最多的地方。客戶最初的傾向是用當(dāng)時(shí)主流的嵌入式Atom或者低功耗酷睿理由是功耗低、散熱壓力小。但我堅(jiān)持用第10代Xeon平臺(tái)原因很直接鐵路邊緣計(jì)算這幾年的負(fù)載已經(jīng)不再是簡(jiǎn)單的串口采集和IO控制越來(lái)越多的場(chǎng)景要跑視頻分析、AI推理、大數(shù)據(jù)特征提取低功耗處理器在算力上真的頂不住。第10代XeonComet Lake架構(gòu)LGA1200平臺(tái)放在今天來(lái)看單核性能和指令集支持依然是工業(yè)邊緣設(shè)備里的穩(wěn)妥選擇。和消費(fèi)級(jí)酷睿相比Xeon最大的優(yōu)勢(shì)是支持ECC內(nèi)存。鐵路設(shè)備通常7×24小時(shí)長(zhǎng)年運(yùn)行內(nèi)存一枚比特翻轉(zhuǎn)在消費(fèi)級(jí)平臺(tái)上可能就是一個(gè)隨機(jī)崩潰、一次數(shù)據(jù)損壞而在鐵路信號(hào)或安全監(jiān)控系統(tǒng)里這可能導(dǎo)致無(wú)法預(yù)估的連鎖反應(yīng)。ECC內(nèi)存能在硬件層面糾正單比特錯(cuò)誤并檢測(cè)雙比特錯(cuò)誤這種可靠性等級(jí)是普通DDR4沒(méi)法提供的。另外Xeon的PCIe通道數(shù)、VPro遠(yuǎn)程管理、長(zhǎng)周期供貨承諾通常是7到10年也是鐵路項(xiàng)目特別看重的點(diǎn)。一條線路從設(shè)計(jì)到開通再到維護(hù)可能超過(guò)十年中途換CPU平臺(tái)意味著整套底層軟件要重新適配這種隱性成本沒(méi)人愿意承擔(dān)。2. 硬件核心細(xì)節(jié)解析2.1 CPU與主板配置性能、壽命與ECC具體配置上這套系統(tǒng)選擇了第10代Xeon W系列以Xeon W-1290這類10核20線程的處理器為參考基準(zhǔn)TDP控制在80W左右搭配Intel C246芯片組支持128GB DDR4 ECC內(nèi)存。為什么不用更高主頻的型號(hào)因?yàn)榧庸虣C(jī)箱的散熱能力有限高主頻帶來(lái)的功耗和熱量增長(zhǎng)會(huì)讓你在散熱設(shè)計(jì)上付出成倍的代價(jià)。鐵路應(yīng)用尤其看重“平均故障間隔時(shí)間”MTBF芯片長(zhǎng)期在高溫高負(fù)載下運(yùn)行壽命會(huì)明顯縮短。所以寧可選擇核心數(shù)足夠、主頻適中、TDP可控的型號(hào)也不追求極端性能。主板選型有幾個(gè)關(guān)鍵點(diǎn)需要單獨(dú)說(shuō)生命周期一定要選支持7年以上長(zhǎng)期供貨的工業(yè)級(jí)主板不能用工控市場(chǎng)上東拼西湊的公板。鐵路項(xiàng)目的驗(yàn)收周期長(zhǎng)一個(gè)批次出了問(wèn)題后面全得跟著返工。BIOS定制能力需要支持關(guān)閉不必要的PCIe設(shè)備、調(diào)整風(fēng)扇策略如果有風(fēng)扇的話、開啟看門狗定時(shí)器。這些功能在鐵路現(xiàn)場(chǎng)維護(hù)時(shí)能救命。板載接口除了常規(guī)的千兆網(wǎng)口還要考慮板載串口、DIO、CAN等工業(yè)接口減少外接轉(zhuǎn)接卡的依賴。外接卡在振動(dòng)環(huán)境下就是隱患來(lái)源。為了讓大家有個(gè)直觀概念我用一個(gè)表格列出這套系統(tǒng)中單個(gè)節(jié)點(diǎn)的核心配置項(xiàng)目配置說(shuō)明處理器Intel Xeon W-129010核20線程TDP約80W芯片組Intel C246內(nèi)存最高128GB DDR4 ECC UDIMM支持4條存儲(chǔ)1個(gè)M.2 NVMe系統(tǒng)盤 2個(gè)2.5寸SATA SSD數(shù)據(jù)盤網(wǎng)絡(luò)4路千兆電口其中2路支持網(wǎng)卡綁定支持M12鎖緊接頭擴(kuò)展接口4路RS-232/422/485、8路DI/DO、2路CAN電源輸入24V/48V/72V/110V DC寬壓輸入帶浪涌抑制與反接保護(hù)工作溫度-40℃到70℃滿載防護(hù)等級(jí)整機(jī)IP54機(jī)箱內(nèi)部板卡區(qū)域IP65認(rèn)證參考EN 50155、EN 61373、EN 61000-6-2這套配置放在今天看性能不是最頂?shù)牡膬r(jià)值在于“穩(wěn)定”和“夠用”。鐵路邊緣側(cè)的視頻流分析、協(xié)議轉(zhuǎn)換、數(shù)據(jù)匯聚這套配置能從容扛住同時(shí)還有余量跑容器化應(yīng)用。2.2 加固結(jié)構(gòu)散熱、減振、連接器無(wú)風(fēng)扇設(shè)計(jì)是這類系統(tǒng)最讓機(jī)械工程師頭疼的部分。要在完全不使用風(fēng)扇的前提下把兩個(gè)Xeon節(jié)點(diǎn)的熱量帶出去通常的做法是讓整機(jī)外殼變成一塊巨大的散熱器鋁合金銑削的機(jī)箱鰭片、貼合CPU和芯片組的導(dǎo)熱銅管或均熱板、內(nèi)外空氣隔離的封閉式結(jié)構(gòu)。整機(jī)從外觀上看就是一塊帶鰭片的金屬疙瘩沒(méi)有通風(fēng)孔里面的板卡被完全密封起來(lái)。這個(gè)設(shè)計(jì)的優(yōu)勢(shì)很明顯沒(méi)有活動(dòng)部件不會(huì)積灰MTBF顯著提升。但代價(jià)是熱設(shè)計(jì)必須在選型階段就完成不能等樣機(jī)出來(lái)再補(bǔ)救。我們?cè)谠O(shè)計(jì)初期用熱仿真軟件跑過(guò)整機(jī)模型確定了散熱器鰭片的厚度、間距以及熱管數(shù)量。單純把CPU散熱片加大是不夠的內(nèi)存、SSD、電源模塊同樣會(huì)發(fā)熱整個(gè)機(jī)箱內(nèi)部的空氣流動(dòng)路徑都要在結(jié)構(gòu)設(shè)計(jì)階段規(guī)劃好。這里特別提醒一句如果你沒(méi)有熱仿真和實(shí)際環(huán)境試驗(yàn)的條件不要輕易嘗試“全密封無(wú)風(fēng)扇”方案很多項(xiàng)目就是在這一步翻車的——機(jī)器在家里跑得好好的上了現(xiàn)場(chǎng)連續(xù)高溫運(yùn)行幾天就開始降頻甚至重啟。連接器在鐵路場(chǎng)景里的重要性被很多人低估。普通RJ45網(wǎng)口在振動(dòng)環(huán)境下太容易松了插頭一抖就接觸不良。我們?nèi)繐Q成M12鎖緊式連接器網(wǎng)口、串口、電源口都是這樣。M12的螺紋鎖緊結(jié)構(gòu)一旦擰到位不刻意松脫基本不會(huì)掉而且它本身就是防水的對(duì)IP防護(hù)等級(jí)是加分項(xiàng)。內(nèi)部板卡之間的連接全部采用板對(duì)板連接器加鎖緊支架線纜能不用就不用必須用線纜的地方全部點(diǎn)膠固定接頭處用熱縮管加固。這些細(xì)節(jié)你從外面看不出來(lái)但到現(xiàn)場(chǎng)跑一年之后它們就是系統(tǒng)能不能穩(wěn)定運(yùn)行的勝負(fù)手。2.3 電源與信號(hào)防護(hù)鐵路供電環(huán)境的“隱形殺手”鐵路直流供電表面上看是110V DC實(shí)際上波形臟得嚇人。列車上大功率牽引電機(jī)啟停、空調(diào)壓縮機(jī)切入、車門電機(jī)動(dòng)作都會(huì)在母線上制造大量毛刺和浪涌。電源模塊如果扛不住這些系統(tǒng)就會(huì)出現(xiàn)各種莫名其妙的故障。這套系統(tǒng)的電源模塊我們選的是自帶浪涌抑制和EMC濾波的鐵路專用電源輸入范圍覆蓋從16.8V到137.5V DC這是EN 50155要求的各檔電壓范圍同時(shí)支持反接保護(hù)、過(guò)流保護(hù)、過(guò)壓保護(hù)。存儲(chǔ)數(shù)據(jù)的完整性也必須專門處理。突然斷電或電壓跌落時(shí)如果SSD正在寫入數(shù)據(jù)輕則文件損壞重則文件系統(tǒng)崩潰。我們的方案是在系統(tǒng)層面做兩層防護(hù)第一層SSD選擇帶斷電保護(hù)Power Loss Protection的型號(hào)硬件層面保證掉電時(shí)不丟數(shù)據(jù)第二層系統(tǒng)軟件上配置只讀文件系統(tǒng)或高可靠性文件系統(tǒng)把關(guān)鍵分區(qū)設(shè)為只讀掛載減少非預(yù)期寫入。這兩層配合才敢說(shuō)“列車斷一下電不會(huì)讓系統(tǒng)起不來(lái)”。3. 雙機(jī)系統(tǒng)裝配與軟件實(shí)現(xiàn)3.1 系統(tǒng)引導(dǎo)與固件配置硬件平臺(tái)定下來(lái)之后第一個(gè)要過(guò)的坎是BIOS配置。加固系統(tǒng)不像個(gè)人電腦裝好系統(tǒng)就完事很多底層設(shè)置必須提前鎖死否則到了現(xiàn)場(chǎng)一個(gè)參數(shù)被改動(dòng)排查起來(lái)非常痛苦。BIOS里我通常會(huì)按這樣一套邏輯配置開啟看門狗定時(shí)器系統(tǒng)死機(jī)后自動(dòng)重啟這是無(wú)人值守設(shè)備的第一道防線??撮T狗超時(shí)時(shí)間我們?cè)O(shè)的是180秒太短容易誤重啟太長(zhǎng)又起不到保護(hù)作用。關(guān)閉無(wú)關(guān)設(shè)備板載聲卡、未用到的SATA口、未用到的USB控制器全部在BIOS層面禁用減少驅(qū)動(dòng)沖突和被非法操作的可能。設(shè)置上電自動(dòng)開機(jī)鐵路設(shè)備掉電再恢復(fù)后必須自動(dòng)開機(jī)不能等人去按電源鍵。同時(shí)設(shè)置AC Power Loss為“Power On”。固定PCIe鏈路速度對(duì)PCIe插槽鎖定Gen3速率防止鏈路的自動(dòng)協(xié)商在惡劣環(huán)境下反復(fù)重訓(xùn)練導(dǎo)致設(shè)備離線。CPU功耗設(shè)置把Turbo Boost策略設(shè)置為“按需啟用但不激進(jìn)”既保持有限時(shí)間的峰值性能又控制長(zhǎng)時(shí)間運(yùn)行的整體發(fā)熱。裝系統(tǒng)這塊我們使用的是精簡(jiǎn)版的Linux發(fā)行版內(nèi)核開啟PREEMPT_RT實(shí)時(shí)補(bǔ)丁。為什么用實(shí)時(shí)內(nèi)核因?yàn)殍F路綜合監(jiān)控系統(tǒng)里有不少硬實(shí)時(shí)任務(wù)比如信號(hào)采集周期要求精確到毫秒級(jí)普通內(nèi)核的調(diào)度延遲有可能讓采集時(shí)序抖動(dòng)超標(biāo)。不過(guò)這里也要提醒一句實(shí)時(shí)內(nèi)核不是萬(wàn)能的如果你上層的應(yīng)用寫得一團(tuán)糟再怎么打?qū)崟r(shí)補(bǔ)丁也沒(méi)用。我見(jiàn)過(guò)不少項(xiàng)目把延遲問(wèn)題全甩給內(nèi)核其實(shí)源頭是應(yīng)用層用了不可中斷的鎖、日志同步寫盤這種操作。3.2 雙機(jī)冗余切換機(jī)制雙機(jī)系統(tǒng)的靈魂不在硬件而在切換機(jī)制。我們常見(jiàn)的做法是“主備熱備 心跳檢測(cè) 自動(dòng)仲裁”。A機(jī)和B機(jī)之間通過(guò)兩條心跳通道互聯(lián)一條專用網(wǎng)線一條串口心跳應(yīng)用層業(yè)務(wù)通過(guò)冗余網(wǎng)口對(duì)外提供服務(wù)。心跳檢測(cè)的策略很關(guān)鍵。最怕的是“假故障”——A機(jī)心跳線斷了B機(jī)立刻接管業(yè)務(wù)結(jié)果A機(jī)其實(shí)活得好好的兩臺(tái)機(jī)器同時(shí)對(duì)外發(fā)數(shù)據(jù)這在工業(yè)現(xiàn)場(chǎng)會(huì)造成嚴(yán)重的數(shù)據(jù)沖突。我們的做法是采用“多數(shù)派仲裁 業(yè)務(wù)層故障確認(rèn)”只有在心跳丟失且無(wú)法通過(guò)業(yè)務(wù)網(wǎng)口ping通對(duì)方、同時(shí)自身業(yè)務(wù)正常運(yùn)行的情況下才允許執(zhí)行主備切換。簡(jiǎn)單來(lái)說(shuō)不能因?yàn)橐粭l線斷了就輕舉妄動(dòng)。切換時(shí)間的指標(biāo)上這個(gè)項(xiàng)目要求的是從故障發(fā)生到備用機(jī)接管業(yè)務(wù)不超過(guò)2秒。這個(gè)目標(biāo)靠腳本輪詢是實(shí)現(xiàn)不了的必須用獨(dú)立的心跳檢測(cè)守護(hù)進(jìn)程配合內(nèi)核級(jí)網(wǎng)絡(luò)綁定和ARP通告。當(dāng)B機(jī)切換為主機(jī)時(shí)主動(dòng)向交換網(wǎng)絡(luò)發(fā)送免費(fèi)ARP把虛擬IP的流量引導(dǎo)到自身這樣終端用戶根本無(wú)感知。整個(gè)雙機(jī)系統(tǒng)的驗(yàn)證不是測(cè)一次就完事的。我們整理了一整套故障注入測(cè)試列表覆蓋的場(chǎng)景包括單節(jié)點(diǎn)斷電、單節(jié)點(diǎn)網(wǎng)口故障、心跳線斷開、CPU過(guò)載假死、應(yīng)用進(jìn)程崩潰、內(nèi)存壓力測(cè)試等。每次故障注入后觀察業(yè)務(wù)中斷時(shí)間、數(shù)據(jù)完整性、恢復(fù)過(guò)程是否自動(dòng)完成。下面是我們測(cè)試記錄中的一個(gè)片段故障場(chǎng)景注入方式業(yè)務(wù)中斷時(shí)間恢復(fù)結(jié)果A機(jī)斷電直接斷開A機(jī)電源約1.2秒B機(jī)接管數(shù)據(jù)無(wú)丟失A機(jī)主網(wǎng)口斷開拔掉業(yè)務(wù)網(wǎng)線約0.8秒B機(jī)接管虛擬IP流量自動(dòng)切換心跳線單側(cè)斷開拔掉A-B心跳線不切換系統(tǒng)報(bào)警維持A機(jī)主用A機(jī)應(yīng)用進(jìn)程掛死kill -9核心進(jìn)程約1.5秒檢測(cè)到業(yè)務(wù)異常B機(jī)接管測(cè)試?yán)镒钣袃r(jià)值的發(fā)現(xiàn)是如果心跳線只斷了一邊絕對(duì)不能立刻做主備切換必須靠業(yè)務(wù)層面再確認(rèn)一次。這是我們?cè)诙啻维F(xiàn)場(chǎng)故障復(fù)盤后總結(jié)出來(lái)的鐵律。3.3 現(xiàn)場(chǎng)整機(jī)驗(yàn)收流程樣機(jī)做完只是開始真正決定項(xiàng)目生死的是整機(jī)驗(yàn)收。鐵路設(shè)備的驗(yàn)收不是通電跑幾天就行的要按標(biāo)準(zhǔn)逐項(xiàng)過(guò)。我們的驗(yàn)收流程基本分四步第一步是高溫老化。整機(jī)滿負(fù)荷運(yùn)行在70℃環(huán)境下連續(xù)跑72小時(shí)同時(shí)監(jiān)控CPU核心溫度、機(jī)箱外殼溫度、SSD溫度、有無(wú)熱降頻現(xiàn)象。這一步能淘汰掉絕大部分散熱設(shè)計(jì)不過(guò)關(guān)的機(jī)器。我們?cè)诘谝淮胃邷乩匣瘯r(shí)發(fā)現(xiàn)過(guò)問(wèn)題雖然整機(jī)能開機(jī)但兩塊SSD在持續(xù)寫入時(shí)溫度飆升觸發(fā)了SSD自身的過(guò)熱保護(hù)性能掉到原來(lái)的一半。后來(lái)給SSD位置加了導(dǎo)熱墊讓熱量通過(guò)機(jī)箱殼體導(dǎo)出問(wèn)題才解決。第二步是低溫啟動(dòng)測(cè)試。整機(jī)在-40℃冷箱里冷凍12小時(shí)然后在低溫狀態(tài)下直接上電啟動(dòng)檢查各接口是否能正常識(shí)別。低溫啟動(dòng)失敗在成本敏感的項(xiàng)目里非常常見(jiàn)因?yàn)榈蜏叵码娙萑葜迪陆怠㈦娫磫?dòng)電流不足、晶振起振困難。我們這次選用的電源模塊和主板都經(jīng)過(guò)-40℃驗(yàn)證所以一次通過(guò)。如果你的物料沒(méi)有低溫規(guī)格千萬(wàn)別賭運(yùn)氣。第三步是振動(dòng)與沖擊測(cè)試。按EN 61373的標(biāo)準(zhǔn)做隨機(jī)振動(dòng)和沖擊試驗(yàn)重點(diǎn)關(guān)注設(shè)備是否出現(xiàn)重啟、網(wǎng)口是否斷連、存儲(chǔ)是否出現(xiàn)壞塊。振動(dòng)測(cè)試前所有外露螺釘要打上防松膠所有板卡插槽要檢查鎖緊機(jī)構(gòu)。我們?cè)?jīng)在振動(dòng)測(cè)試中遇到過(guò)內(nèi)存條因未壓緊導(dǎo)致系統(tǒng)隨機(jī)重啟的故障當(dāng)時(shí)排查了很久最后發(fā)現(xiàn)就是一根內(nèi)存沒(méi)卡到位。這種問(wèn)題在普通機(jī)房環(huán)境很難暴露但在鐵路振動(dòng)環(huán)境下會(huì)放大得特別明顯。第四步是EMC測(cè)試。鐵路電子設(shè)備要通過(guò)EN 50121-3-2的電磁兼容測(cè)試包括輻射發(fā)射、傳導(dǎo)發(fā)射、ESD、浪涌、射頻場(chǎng)感應(yīng)等。很多人不知道EMC不光是硬件設(shè)計(jì)的事系統(tǒng)軟件的配置也會(huì)影響測(cè)試結(jié)果。比如網(wǎng)口速率協(xié)商成百兆還是千兆輻射特性完全不一樣CPU是否開啟節(jié)能模式也會(huì)影響電源線上的噪聲。所以EMC測(cè)試階段一定要用最終的BIOS配置和軟件鏡像否則測(cè)試通過(guò)不了。4. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄4.1 高溫環(huán)境下的隱性降頻不少人在加固系統(tǒng)上會(huì)犯同一個(gè)錯(cuò)誤只看CPU標(biāo)稱的TDP不看散熱系統(tǒng)的實(shí)際散熱能力。我們這套整機(jī)雖然是無(wú)風(fēng)扇散熱但在極端高溫下CPU為了自我保護(hù)會(huì)自動(dòng)降頻。降頻本身不可怕可怕的是你不知道它什么時(shí)候降了、降了多少。如果應(yīng)用層的實(shí)時(shí)性要求高降頻帶來(lái)的性能波動(dòng)會(huì)讓任務(wù)超時(shí)。對(duì)策是在軟件層做兩層監(jiān)控一是通過(guò)讀取CPU MSR寄存器監(jiān)控實(shí)時(shí)頻率和溫度記錄到系統(tǒng)日志二是對(duì)核心業(yè)務(wù)線程做CPU核心綁核配合cpuset隔離把實(shí)時(shí)任務(wù)釘在指定核心上避免和其他進(jìn)程爭(zhēng)搶資源。這樣即便遇到極端高溫導(dǎo)致整體降頻核心業(yè)務(wù)線程的影響也能控制在可接受范圍內(nèi)。4.2 振動(dòng)測(cè)試后“找不到網(wǎng)卡”的真相項(xiàng)目測(cè)試中遇到過(guò)一次很詭異的情況振動(dòng)測(cè)試做完上電之后系統(tǒng)提示“network interface not found”。反復(fù)重啟幾次又好了。一開始以為是驅(qū)動(dòng)問(wèn)題后來(lái)發(fā)現(xiàn)根本不是——PCIe插槽上板卡因?yàn)檎駝?dòng)出現(xiàn)了輕微移位導(dǎo)致金手指接觸不良系統(tǒng)在啟動(dòng)時(shí)沒(méi)能枚舉到PCIe設(shè)備。重新插拔、壓緊加固支架后問(wèn)題消失。這類故障在隨機(jī)振動(dòng)下最容易復(fù)現(xiàn)。排查思路是先看dmesg里有沒(méi)有PCIe枚舉失敗的記錄再檢查板卡是否有物理位移的痕跡。預(yù)防手段只有一個(gè)就是前面反復(fù)強(qiáng)調(diào)的——所有可插拔部件都要有獨(dú)立的機(jī)械鎖緊結(jié)構(gòu)不能只靠摩擦力和卡扣。4.3 雙機(jī)誤切換的“乒乓效應(yīng)”雙機(jī)系統(tǒng)的經(jīng)典詭異故障是“乒乓切換”。意思是A機(jī)和B機(jī)因?yàn)槟撤N不明原因反復(fù)搶占主用狀態(tài)業(yè)務(wù)在兩者之間來(lái)回切每次切換都是一次短暫中斷整個(gè)系統(tǒng)看起來(lái)就像在“打擺子”。我們?cè)跍y(cè)試中模擬過(guò)這個(gè)場(chǎng)景觸發(fā)原因是心跳鏈路和業(yè)務(wù)鏈路是同一根物理線纜連接的交換機(jī)交換機(jī)某個(gè)端口出現(xiàn)閃斷導(dǎo)致兩臺(tái)機(jī)器同時(shí)檢測(cè)到對(duì)方“失聯(lián)”各自以為對(duì)方故障于是都搶著升主。解決乒乓效應(yīng)的標(biāo)準(zhǔn)答案是引入“防翻轉(zhuǎn)”機(jī)制系統(tǒng)切換后在短時(shí)間內(nèi)不允許再次切換稱為“翻轉(zhuǎn)抑制時(shí)間”。我們?cè)诖a里把這個(gè)時(shí)間設(shè)為10秒同時(shí)要求發(fā)起切換的節(jié)點(diǎn)必須經(jīng)過(guò)至少連續(xù)3次失敗檢測(cè)確認(rèn)才能進(jìn)入切換流程。自那以后乒乓切換再?zèng)]出現(xiàn)過(guò)。4.4 常見(jiàn)問(wèn)題速查表為了方便維護(hù)人員現(xiàn)場(chǎng)排查我整理了一份故障速查表。這里說(shuō)三個(gè)最值得記錄的故障現(xiàn)象可能原因檢查與處理建議系統(tǒng)低溫?zé)o法上電電源模塊低溫啟動(dòng)能力不足電池/電容容量下降確認(rèn)電源模塊支持-40℃檢查是否有加熱模塊手動(dòng)預(yù)加熱后再上電網(wǎng)絡(luò)偶發(fā)斷連丟包嚴(yán)重網(wǎng)口接觸不良電磁干擾網(wǎng)卡驅(qū)動(dòng)老化優(yōu)先更換M12鎖緊式連接器檢查網(wǎng)口變壓器和共模電感更新網(wǎng)卡固件雙機(jī)頻繁切換心跳檢測(cè)邏輯過(guò)于敏感網(wǎng)絡(luò)閃斷檢查心跳線及交換機(jī)端口增加故障確認(rèn)次數(shù)啟用翻轉(zhuǎn)抑制時(shí)間排查現(xiàn)場(chǎng)問(wèn)題時(shí)我的習(xí)慣永遠(yuǎn)是“先懷疑硬件再懷疑軟件最后懷疑配置”。很多工程師一上來(lái)就翻代碼日志結(jié)果查了半天發(fā)現(xiàn)是螺絲松了。這行當(dāng)干久了你就會(huì)明白加固系統(tǒng)里那些不起眼的“小問(wèn)題”才是真正的老大難。最后再分享一個(gè)體會(huì)做這種面向鐵路的加固設(shè)備最大的敵人往往不是技術(shù)難度而是“差不多”的心態(tài)。散熱差不多、接口差不多、可靠性差不多到了現(xiàn)場(chǎng)就會(huì)變成差很多。如果你也在做類似的項(xiàng)目建議從第一天起就把環(huán)境試驗(yàn)的標(biāo)準(zhǔn)定到上限設(shè)備選型多留余量別等上線了再追悔莫及。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九热在线视频观看| 日韩在线一级| 亚洲狠狠狠色婷婷综合激情久久久| ′久久99一| 黄色国久久| 婷婷综合在线| 丁香五月激情网| 五月丁香六月花| 五月天婷婷色在线视频免费观看| www999日韩精品| 丁香婷婷影院| 99在线精品免费视频| 婷婷伊人| 婷婷五月丁香综合| 婷婷社区五月天| 综合色99| 色色五月天婷婷| 九九99热久久精品66中文字幕| 九九视频精品在线免费 | 激情伊人五月天| 深爱网深爱综合网| 爱爱色五月天| 高清无码.com| 四色永久成人网站| 伊人丁香在线| 二色av| 丁香在线视频| 色中色综合| 美国天天日天天操| 天天干天天 亚洲| 久久丁香婷婷五月天| 久久 婷婷 五月天| 99爱99操| 99久精品视频| 2016日日夜夜操| 久热re视频在线观看网站| 风流少妇A片一区二区蜜桃| 99这里只有精品| 丁香激情久久| 激情五月综合网最新| 五月激情站| 99色 色| 狠狠干在线视频| 思思热久久阴99| 天天射美女| 九九 激情 网| 丁香五月人妻| 日本一级一片免费视频| 婷婷丁香五月天影院| 六月婷婷操逼| 伊人婷婷99热精品| 免費观看aV在线网址| 亚洲综合色婷| 色五月婷婷777| 中文字幕日产A片在线看| 丁香五月综合| 日本色婷婷| 人妻无码精品一区| 亚洲色另类| 国产精品成人在线| 五月丁香婷婷成人网| www.久久久久久久| 91综合国免费久入| 综合久| 国产精品色色| 人人草人人看| 丁香激情五月| 97干视频| 久碰视频| 激情五月天视频| 久久大香蕉| 九九综合| 啪啪激情网| Av狠狠色丁香婷| 久久丁香五月天| 操人久久| 99久在线| 99久热这里只有精品视频删减版| 五月天综合视频| 亚洲中文字幕av| 久久婷婷网| 91久久精品无码一区二区三区| 婷婷五月天天爽| 色婷婷电影网| 精品成人在线观看| 五月婷在线| 大香蕉手机视频| 香蕉婷婷| 日本99久久| av九九| 久久久久人妻| www.henhenl| 99热主页日本| 九九热在线视频观看| 午夜天天精品视频| 久热无码| 99er在线观看| 久久五月天激情婷婷| 婷婷的激情五月| 亚州欧美国产久精国产99综合视频| 色日本丁香婷婷| 精品综合久久久久久五月天| av免费人人| 五月天 另类图片| 五月丁香婷婷三级| 婷婷五月激情中文字幕| 九九热欧美| 天天色宗合| 精品人妻伦一二三区久久| 成人电影一区| 色呦精品| 五月婷婷激情综合网| 色99在线视频| 国产精产国品一二三在观看| 婷婷五月综合免费在线| yellow视频在线观看91| 大香蕉婷婷| 少妇丁香婷婷 | 久久五月婷婷开心网| 丁香六月视频免费观看| 激情五月婷婷开心网| 色婷久九| 91九色首页| 天天肏夜夜肏| 7777国产盗摄农村女人| 亚洲久艹| 丁香婷婷五月综合色情| 激情综合五月.....| 欧美成人精品一区二区| 色在线99| 无码色色色| 国产婷婷色综合AV蜜臀AV| 少妇人妻人伦A片| 成人国产网| 97五月综合网| 五月天无码| 激情伍月 欧美| 狠色狠色综合久久| 国产精品视频| WWW.国产| 97ai婷婷| www.超碰| 天天夜天天色天天| 久久99久久99精品免观看粉嫩| 亚洲日日日| 性生生活大片又黄又| 色站9/| 五月婷婷深深爱| 九九综合视频在线观看| 激情五月婷婷在线| 9|无码久久久久久| 嫩草AV久久伊人妇女超级A| 夜色爱爱亚洲| 久久99视频| www.狠狠操.con| 欧美丁香五月| 综合色播| 欧美婷婷综合| 天天噜天天插| 99热99热在线| 狠狠操狠狠| 九九爱激情| 色欲久久久久久综合网综合网| 丁香五月天在线视频| 99er6热在线观看精品6| 色5月婷婷色| 成熟妇人A片免费看网站| www.韩日视频| 99爱视频精品在线观看| 婷婷涩涩五月天| 91五月天| 色色97丁香婷婷五月天| 婷婷激情中文综合| 五月天最新网| 五月天激情婷婷| 日韩无码亚欧无码| 99综合视频在线| 美英法精品无码免费视频| www.91在线观看| 日本不卡高字幕在线2019| 人人草碰| 天天网站天天爽| 韩国天天婷婷| 人妻22p| 天堂va久久久噜噜噜久久Va| 永久的网站AAAA | 亚洲综合在线视频| 日韩三及成人AV片| 婷婷舔| 欧美性色视频| 亚洲熟妇AV乱码在线观看| 九九精品亚洲| 五月婷婷免费视频| 色婷婷导航| 五月婷婷香蕉视频| 丁香五月激情综合| 开心激情五月天网| 无码激情AAAAA片-区区| 九九精品自拍| 五月激情久久综合网| 亚洲综合色色色| 操草草草| WWW丁香五月| 天天日,天天射,天天舔| 色色99| 人人妖人人97| 另类的婷婷| 五月丁香在线观看| 99婷婷狠狠成为人免费视频| 久久五月天婷婷| 九九视频这里有精品| 五月综合色| 五月丁香偷拍| 欧美天天性| 色五月天激情| 久热re在线视频| 5月色亭亭视频| 激情五月婷黄版| 成人做爰A片免费看视频 | 九九视屏| 亚州第一黄网| 婷婷5月天激情综合| 中文资源在线a| 亚洲第一成人AV| 五月婷婷在线丁香| 激情五月婷黄版| 91人久| 丁香六月久久| 婷婷五月六| 无码少妇高潮喷水A片免费| 五月丁香无码| 婷婷丁香18| 人与禽A片啪啪| 大香蕉手机视频| 中文AV网站| 久久久亚洲精品一区二区三区浴池| 99免费热视频在线| 噜噜色噜噜网| 国产麻豆视频| 天天噜天天爱| 久久久久人妻网址| 国产精品视频免费看| 99久久免费精品| 九月婷婷久久| 天天色播| 色综合天堂| 高清av在线国产| 婷婷亚洲五月丁香综合在线| 久色资源| 99热碰碰热| 亚洲a色| 国产古装妇女野外A片| 狠狠操狠狠爱| 日韩成人无码人妻| 激情综合网激情五月天| 婷婷综合网| 婷婷中合| 丁香花五月天| 开心激情婷婷| 秋霞电影一级黄| 99热播放| 综合99视频| 五月天五月天激情网| 国产特级毛片AAAAAAA高清| 成人AV在线电影| 这里有精品| 3DAV亚洲香蕉久久 一区二区| 69婷婷丁香午夜| 色碰碰视频| www.久久9| 日韩欧美骚货| 大香蕉在九| 久久综合热17c| 成人国产综合| 日韩av一区二区在线/日产精品久久久| 七月婷婷色香综合网| 99色综合网| 亚洲视频二区| 丁香六月婷婷久久高清| 激情五月丁香亭亭| 久久久九九九 99| 五月婷婷综合色拍| 成人无码免费一区二区中文| 色婷婷五月基地在线| 色香欲综合| 久久全意婷婷| 久久久99精品| www,奇米影视| 天天射影视综合网| 最近中文字幕2019视频1| 99久久国产成人精品| 五月婷婷婷| 91干| 97人人操人人干| 亚洲天堂啪啪| www.97碰碰com| 99热精品10| 日婷婷久久开心| 丁香五月婷婷综合激情啪啪啪| 久久九精品| 天天弄天天操| 伊人五月天日日夜夜久久久天天| 丁香六月综合激情| 亚洲人人96@| 色色国产| 熟女激情网| 五月婷婷av| 91超级碰| 日日天天干| 六月丁香久久| 我爱大香蕉| 久久久久激情| 丁香五月,激情五月,深爱五月| 免费无码毛片一区二区A片| 婷婷五月天色综合翘| 99热色精品| 久久久久久久久久久久久久人妻视频| 搡BBBB搡BBB搡18| 伊人五月婷婷| 无码成人AAAAA毛片AI换脸| 天天日夜夜B久久| 色色亚洲| 人妻尝试久久久久久久久久久久| 1024AV视频| 久久九九蜜| 免费一区二区三区| 思思热99热| 久久天堂婷婷五月| 久久伦乱| 色婷五月天| 五月婷六月| 婷婷五月天最新综合你懂的| 久久综合婷婷| 天堂婷婷五月色| 天天插天天干| 精品九九视频| 婷婷五月丁香成人网| 日日舔夜夜操| 99热九九在线| 久久婷婷婷| AV在线免费网站| 欧美六月| 婷婷欧美偷拍综合| 国产真人做爰视频免费| VA婷婷亚洲| 午夜激情四射影院| 婷婷激情社区| 婷婷激情人妻| 久久伊人五月天| 狠狠夜夜五月丁香| 日本无码专区| 丁香六月婷婷姐网| 色哟哟性爱av| 九九这里都是精品| 26uuu淫色| av高清无码| 日日操天天| 亚洲在线成人| 婷婷伊人久久综合| 激情碰碰碰| 99热综合色图| 伊人影音无码一区二区三区| 99国产精品久久久久久久久久久| 丁香五月激情五月开心五月| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 婷婷激情啪啪| 久久五月视频| 色青青五月| 抽插特写| 丁香五月欧美色综合| 久久色情| 人妻丰满精品一区二区A片| 玖玖资源站视频| 香蕉乱插| 久久亚洲激情五码| 五月婷婷网久久| 五月色情婷婷| 色综合九九| 日日夜夜狠狠婷婷色| 色婷婷六月| 天天久| 亚洲AV综合网| 亚洲乱码日产精品BD在线观看| 99热这里只有精品一区| 成人中文字幕在线| 欧美激情综合| 深爱激清网| 国产精品日日躁夜夜躁| 国产精产国品一二三在观看| 久久婷婷综合五月趴| 婷婷五月天AV在线| 亚洲成人免费电影| 天天操狠狠操| 五月丁香福利| 亚洲中文字幕在线观看| WWW夜夜| 午夜天堂一区人妻| 五月天色不卡| 第2色五月婷| 五月激情综合婷婷| 大香蕉五月丁香| 69午夜成人影片| 性爱网六月丁香| 99亚洲天堂| 无遮挡国产高潮视频免费观看| 色婷婷影| 久久的爱大香蕉| 91jiuseshunv| 久久久久久久久久8888| 久久这里只有国产视频| 91大神操美女| 日韩免费视频| 97自拍视频网| 97人人操在线| 国产婷婷五月中文字幕高清 | 99国产精品久久久久久久久久久| 天天射色五月天| 天天干在线播放| 色婷久| 视频综合网| 亚洲成人电影在线免费观看| 狠狠爱综合网| 激情婷婷五六月天| 五月婷婷激情综合| 欧美婷婷成人| 91精品久久久久久| 大香蕉视频婷婷| 综合AV在线| 先锋男人99资源| 超碰不卡在线| 99免费超碰在线| 亚洲婷婷五月| 五月丁香婷中文| 色九月欧美| 五月丁香六月激情| 六月婷婷五月丁香| 色情五月天首页| 亚洲免费观看高清完整版AV线| 99综合视频一体| 色婷婷久久综合中文久久一本 | 777丁香六月青青草婷婷综合久月| 色婷婷丁香社综合| 强壮的公次次弄得我高潮A片日本 | 26uuu成人网| 色色色在线播放| 91疯狂操操操操| 精品一二三区久久AAA片| 丁香五月天视频| 丁香五月AV综合激情| 99久超碰| 5月丁香美女影院| 国产免费AV网站| 午夜电影网VA内射| 亚洲综合激情五月久久| 伊人久热91| 九九碰九九爱97超碰| 激情六月色| 狠狠人人| 亚洲愉拍99热成人精品| 色情成人五月天| 丁香六月欧美| 天天日夜夜爽| 森林影视大全,最好看的2019年视频 | 黄色成人AV在线| 亚洲精品亚洲人成人网| 久久视频这里99| 亚洲久热| 中文在线视频久9| 色激情五月天| 成人网站在线观看视频| 成人精品亚洲性爱| 五月开心婷婷| 九九这里只有精品在线视频| 激情中文在线| 婷婷丁香精品视频在线观看| 欧美槡BBBB槡BBB少妇| 99热新网址| 婷婷色av| 熟女五月天久久综合| 九九热九九| 国产亚洲成AV人片在线| 色吧婷婷五月亚洲| 91超级碰碰| 狠狠爱激情网| 六月丁香五月天| 丁香综合伊人AV| 丝袜人妻| 狠狠色大香蕉| 色综合网页| 八戒青柠影视剧在线观看| 99在线观看视频| 五月婷婷激情久久| 亚洲国产精品成人va在线观看| 婷婷香香五月| 五月天综合激情网| 精品视频网| 鲁鲁色五月| 日日干夜夜干| 日夜操B| 五月丁香啪| 色婷五月天综合网| 99aese| 丁香五月AV综合| 婷婷丁香花五月天| 色情开心五月| 91亚洲视频| 国产亚洲精品久久久久久久久动漫 | 五月丁香六月婷婷综合免| www狠狠| 超碰97色| 国产免费一区二区三州老师F1…… | 色9999综合久久| 国产精品99久久久久久久女警| 天天干天天色天天干| 国产伊人五月天| 操97| 外国碰视频网站97| 9l视频自拍九色9l视频在线观看| 久久青青日本视频| 99精品久久久久久久久| 五月Huangsewang| 这里只有精品久久| 精品色色| 秋霞性爱AV| 97碰人人操| 天天狠狠夜夜狠狠2023| 五月天激情电影| 人人操人av| 亚洲婷婷六月天| 九九视频这里是精品五月| 120分钟婬片免费看| 久久久性爱视频| 91人人操| 久久九九99桃花视频| 另类图片五月天激情| 狠狠久久婷五月综合色| 播丁香五月婷婷欧美| 九九色逼| 9l视频自拍9l九色成人| 色丁香五月婷婷| 思思re99视频在线观看| a网站免费观看| 日韩成人中文字幕| 无码人妻电影| 久9视频| 97碰超级人人看| 综合激情五月婷婷| 日本婷久久| 久久伦乱| 婷婷久久综| 九九热婷婷| www.色九月| 玖玖婷婷色五月| 婷婷五月激情网| 激情丁香五月婷婷| 99综合网| 人人摸人人干| 婷婷五月天手机版视频| 丁香5月啪啪| 天天开心AV色综合婷婷五月天| 性 色 婷婷| 99热这里只有精品国产免费| 色97综合婷婷天天色| 天堂爱爱| 色欲日日躁| 开心五月色婷| 国产日日操夜夜操的肉棒视频| 婷婷涩五月天综合| 夜夜操激情| 日本社区五月天激情| 五月丁香婷婷激情视频| 婷婷丁香五月激情| 久操97| 4438激情网| 九九在线视频| 亚洲五月天婷婷| 国产成人+综合亚洲+天堂| 久久伊人五月天| 五月天色婷婷综合| 亚洲第一综合| 欧美午夜乱妇午夜福利| 99se丁香| 丁香色情五月综合激情| 日本99色| 丁香九月婷| 亚洲精品乱码久久久久久按摩观| 丁香五月花婷婷开心| 九九热10| www夜夜操wwwcon| 欧美啄木乌丝袜人妻系列| 六月色播| 超碰二区| 狠狠色噜噜狠狠狠狠综合| 97精品综合| 草草女人亚洲| 久久久色情| www91精品| AV在线观看网站| 人妻性爱av网站| 激情六月五月婷婷综合网| 色色网站免费观看| 亚洲欧美一区二区三区爱爱动图 | 99精品久久久久久久久| 国产特级毛片AAAAAAA高清| AV大片在线播放| 99久热在线精品99re6热| 久久久色情| 五月丁香婷婷爱激情综合网| 九久9精品| 欧美大片免费播放器| 欧洲MV日韩MV国产| 色色草97| 综合激情专区| 超碰九热| 99热99草97| 成人网站av免费网站推荐| 99热费观看| 超碰99热精品在线| 亚洲成人无码网站| 色五月激情综合网| 天天色情站| 免费色婷婷| 五月丁香九九| 久久之人妻| www.狠狠干| 思思re99视频在线观看| 婷婷五月激情欧美| 天天日天天操心| 亚州成人综合在线| 欧美日比视频| 欧美成人无码一区二区三区| 久久久精久人妻| 综合网视频| 91Chinese在线| 国产日韩精品SUV| 婷婷丁香五月天色色| 97久久精品| 色色色视频| 丁香五月区| 久99久在线观看| 六月婷婷综合| 五月丁香A∨在线| 久久99精品久久久久久噜噜| 天天骑日日爽| 婷婷五月天首页| 五月天丁香成人社| 国产日韩欧美| 97人人干| 日日干夜夜干| 五月丁香综合| 玖玖九九9999在线观看视频精品| 五月天开心色情网| 欧洲亚洲欧洲99久久| 久久亚洲激情五码| 色婷婷狠狠| 狠狠干.com| 伊人网碰碰| 婷婷激情六月综合| 五月丁香在线| 色色丁香| 日韩AV在线免费| 久操婷婷| 开心五月激情婷婷| 香蕉久久国产AV一区二区| WWW色五月| 婷婷五月色影视先锋| 色97综合婷婷天天色| 操操操Av| 五月天综合| 91热手机在线| 亚洲日韩人妻操逼| 97色色色| 专区无日本视频高清8| 热久久色| 婷婷五月情色| 激情99| 国产99久久久国产精品免费看| 91精品国产日韩91久久久久久国模| 亚洲精品操一操、噜一噜、摸一摸、爽| 丁香六月情| 亚洲婷婷婷| 日本激情五月| 婷婷开心激情| 亚洲免费观看高清完整版AV线| 97九色视频| 日韩成人AV在线| 天天色天天操天天射| 九九热精品视频| 婷婷爱五月| 天天碰夜夜操| 99国产精品白浆在线观看免费| 极品人妻VIDEOSSS人妻| 丁香五月性爱| 日日影院 | 成人无码髙潮喷水A片| 八戒青柠影视剧在线观看| 丁香五月六月激情| 五月丁香777| 婷婷久久综合久| 色婷婷色综合激情91| 激情婷婷亚洲五月| 91色操| 婷婷的五月天另类视频| 色色五月婷婷| 精品人妻伦一二三区久| 婷婷91视频| 久久综合激情| 深爱激情网综合| 五月天成人免费视频| 99久久新视频| 激情丁香婷婷五月天| 99热精品在线观看| 久9综合| 99小视频在线| 色综合99| 乱乱av| 丁香六月激| 色噜噜狠狠色综合日日| 婷婷五月在线影院| 如何安全看伊人婷婷| 色婷婷五月天在线观看| 新激情五月天| 日本女va| 日韩精品999| 中文字幕成人日韩| 五月丁香花伦理电影| 五月香婷婷| 亚洲成片在线观看| 五月天激情婷婷丁香| 天天日日夜夜| 香蕉久久六月| 久久综合丁香激情五月| 搡BBBB搡BBB搡18 | 亚洲激情亚洲激情| 久久大香蕉同僚| 黄色av高清| A一级操| 超碰人人干| 性爱七区| 人人摸人人干人人做| 婷婷综合| 色色免费网站| 天天做夜夜爽| 超碰人人在线观看| 亚洲无码成人性爰网| 久久九九色| 91色逼| 国产视频婷婷| 97操资源婷婷| 丁香亚洲婷婷五月| 99热最新网址| 青青.com| 久久婷婷综| 97婷婷在线| 色五月女| 99久久综合狠狠综合久久| 日本在线视频手机播放五月婷| 日韩中文欧美| 五月丁香啪啪综合网| 五月天激情图片| 日韩成人中文| 五月丁香久久久日婷婷久久婷婷日| www.99视频| 91婷婷色五月| 国产精品色婷婷99久久精品| 99在线爽| 五月丁香久久丝袜啪啪| 嫩草AV久久伊人妇女超级A| 色婷丁香五月| 极品人妻VideOssS人妻| 超碰亚洲天堂| 99久.| www.婷婷.com| 播五月,色五月,开心五月播放器 | 天天肏天天舔AV| 婷婷四色五月| 国产精品久久久爽爽爽麻豆色哟哟| 婷婷五月av| 五月丁香色| 99操无码视频观看| 天天色天天日| 久久丁香九| 久久性爱视频这里只有精品| 99久操视频| 成人婷婷深爱综合网| 激情综合网五月婷婷| www.99色| 亚洲激情网| AV在线大香蕉| 丁香五月91| 99九九99九九九视频精彩| 丁香五月综合激情性爱| 国产亚洲网站在线| 九九大香蕉黄色影院| 丁香五月天堂网AV| 日日天天干| www99xxxx五月丁| 天天爽日日爽夜夜爽| 99色综合久久| 99爱无码| 久草 tingting| 婷婷五月美女直播| 丁香婷婷婷婷十二月在线观看视频| 婷婷色五月情| 西西4r午夜剧场| 性生活视频98791| 九月丁香婷婷网| 激情五月色综合| 99九九精品视频推荐| 婷婷色成人| 夜色.cnm| 丁香五月五月婷婷| 正宗黄色毛片| 91超级碰在线| 六月婷久久| 久久久97| 六月丁香啪啪| 九九热这里只有精品6| 那里有AV网址| 国产这里只有精品| www.狠狠操.com| 性生生活大片又黄又| 99热综合在线观看| 91夫妻网站九色| 天天撸天天干天天插| www九月婷婷| 五月色丁香| 亚洲 视频 导航 一区| 五月丁香久| 亚洲AV成人片无码网站| 伊人激情影院| 高清激情av在线观看| 无码免费人妻A片AAA毛片西瓜| 色大综合| 五月婷九月| 综合色色色| 91久久综合亚洲噜噜成人在线 | 狠狠操天天干| 99热这里只有精品96| 综合色七七| 激情五月婷婷六月丁香| 丁香五月黄色| 久久多色| 久热精品视频在线观| 久久婷婷六月综合| 九九热99精品在线| 9999热免费视频视频| 五月婷视频| 婷婷综合色| 亚洲色啪| 99 频99热国里只有精品| 色天堂婷婷| 开心激情网五月| www.色色com| 九九热在线观看视频| 婷婷丁香成人五月天| 99这里有精品视频| 丁香色五月直播| 亚洲精品国产熟女久久久| 九九无码视屏| 成人网站av免费网站推荐| 色欲婷婷五月天| 伊人网欧美在线男人天堂五月丁香| 国产精品18久久久| 日韩激情人伦人| 精品一区久热| 另类视频五月天| 狠狠香蕉| 少妇AB又爽又紧无码网站| 人人操人人爱丁香五月| 俺去婷婷 丁香| 久久婷婷五月综合色奶水99啪| 那里有AV网址| 激情婷婷狠狠干综合| 五月丁香成人视频| 欧美天堂久久| 久久婷五月天| 婷婷色网站| 久久婷婷人人| www.99热| 色欧美日| 婷婷五月婷| 五月丁香久| 夜夜躁爽日日| 激情精品久久| 激情98色婷婷五| 色五月五月婷婷| 久久久久9| 最近中文字幕大全免费版在线 | 天天婷婷色六月| 爆乳熟妇一区二区三区爆乳| 国产精产国品一二三在观看| 激情小说 五月天| 久久大香蕉视频| 四色99久久| 草婷婷在线| 成人人操| 狠狠干天天日| 欧美综合激情五月天| 色婷婷超碰| 狠狠色综合网| 五月天婷婷亚洲| 激情文学久久| 苗黎美女四级成人版一级二级毛片| 日本色视| site:xmssd.com| 日韩av免费版| 在线视频另类| 五月丁香啪啪综合| 久久综合人妻| 日本熟女三区| WWW色色色COM| 97婷婷狠狠| 337p午夜影院| 久久思思99| 日韩啪啪网| 婷婷五月天性| 日本成人综合| 成AV人片一区二区三区久久| 狠狠xx| 婷婷色婷婷亚洲成人| 黄色网址五月婷婷| 婷婷激情九月| 丁香涩涩五月天| 激情中文在线| 日本欧美成人片AAAA| 婷婷爱五月| 十月丁香婷婷| 婷婷五月丁香综合桃花色网| 久久性爱视频| 激情五月婷婷丁香| 丁香五月六月久久综合 | 91人妻人人做人碰人人爽九色| 中文字幕丰满孑伦无码专区| 五月天播播中文字幕| 激情网战码亚洲A| 久久久久视剧HD| 99热在线看| 欧美日本va| 人人草公开操| 色婷婷综合在线| 99热久| 激情综合五月婷婷| 婷婷综合网在线| 九九十99视频| 超碰在线caop| 色色色国产| 五月丁香婷婷激激激综合网色播| 久久久8| www.韩日视频| 亚洲综合激情五月久久| 五月天激情.com| WWW.99视频| 96自拍视频九色在线观看| 亚洲AV综合在线观看| 婷婷五月天首页| 综合激情五月天| 五月婷婷激情在线| 天天爽天天操| 另类激情综合| 五月天性色| 久久久91| 色婷婷色丁香色欲av| 色情五月丁香| 欧美激情VA永久在线播放| 六月婷婷日| 色婷婷伊人| 五月丁香另类网| 99久在线精品99re8热| 成人va视频| 99热只有国产在线精品| 婷婷九月激情| 91亚洲视频| 五月天婷婷激情| 91丨九色丨熟女丰满| AV天堂婷婷五月天| 丁香午月AV中文字幕| 激情亭亭五月| 久久久婷婷五月天| 深情五月天| 丁香六月色婷婷欧美| 人人操人人看97干| 成人中文网| 五月天色色网站| 天天草天天摸| 东北婷婷五月天| 99re66热这里只有精品| 久久日九九| 狠狠爱青青草| 久久婷婷亚洲| 五月婷婷久久大香蕉| 丁香六月五月婷婷| 婷五月天在线草| 色婷婷导航| 激情熟女网| 96精品成人无码A片观看金桔| 成人版视频在线观看| 情婷婷五月天| 思思热在线视频观看精品| 久久久27操| 天堂呦 呦百度搜索-百度搜索| 开心五月激情网| 免费观看亚洲AV片| 五月天婷婷无码| 婷婷五月天首页| 婷婷丁香五月天色播网站| 日韩黄色网络| 碰人人97| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 婷婷在线操| 久久综合99| 色五月中文字幕| 俺也去色| 在线播放中文字幕| 五月丁香婷婷婷激情爱爱| 婷婷五月激情在线| 99综合婷婷五月| 日韩成人网址| 国产.亚洲.欧洲视频在线| 午夜激情久久| 丁香五月婷婷av影院| 黄桃AV无码免费一区二区三区| 伊人91| 亚欧州精品视频| 婷婷五月天电影网| 丁香美女主播视频在线观看| 婷婷永久在线| 五月婷六月综合在线观看| 91热99| 日韩99视频| 99热全是精品| 亚洲热视频| 9久热在线视频精品| 久久性爱视频网站| 日日爱699| VA婷婷亚洲| 亚洲五月婷天天操| 亚洲精99| 丁香五月电影| 99狠狠色| 2015超碰| 色色色色区| 玖玖99婷婷| 午夜69成人做爰视频| 五月激情天| 夜夜骑夜夜撸| 九九热AV| 国产免费AV网站| 婷婷综合激情| 亚洲 五月 婷婷 成人| 五月激情婷婷播播网| 丁香五月婷婷动漫| 九月丁香婷婷综合激情| 97自拍视频在线| 五月丁香婷婷基地| www一起操| 久久色午夜在线导航| 亚洲欧洲美女在线观| 久久久宗合视频88| 精品人妻一区二区三区在| 亚洲人妻av伦理| 久热99| 91狠狠综合久久| 成人在线99| 九月婷婷| 成人av在线电影| 99热免费精品| 丁香九月综合| 丁香久久综合| 久久伦乱| 夜色综合网| 影音先锋偷偷色男人站| 99热免费| 91九色中文| 五月激情六月丁香| 五月婷婷五月天激情网| 欧美va在线| 亚洲精品激情| 日本五月婷| 亚洲五月花| 开心激情综合| 五月丁香激情综合久久| www婷婷| 婷婷五月天成人| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 久久久婷婷| 九九久久精品| 操操操操操操婷婷五月天| 桃色Av色哟哟| 婷婷六月丁香开心深深爱| 九九家庭影院| 99热最新精品| 久久精品爱爱| 天天干夜夜操A片| 五月丁香婷婷AV天堂| 婷婷五月天,影院| 久久午夜理论| 丁香欧美| 五月六月婷婷| 婷婷五月天播播| 精品久热69| 色婷婷五月天激情在线观看| 久久久久人妻精品| 五月婷婷导航| 亚洲激情综合| 五月丁香综合| 超碰超碰在线| 91性高潮久久久久久久久| 天天操人人干| 开心激情婷婷| www.五月天| 九九操屄| 婷婷字幕在线| av人人操| 人人操人| 二区成人视频| 人人操 色| 久久99网址| 五月丁香黄色| 99热这里是精品| 【乱子伦】黄色| 伊人五月人妻精品| 久久欧洲综合网| 亚洲日日日| 国产97色在线 | 日韩| 婷婷五月综合在线| 激情五月久久| 亚洲精品V天堂中文字幕| 99久久喉9| 国产这里只有精品| 国产乱妇无乱码大黄AA片| 综合久久婷婷99| AⅤ在线播放网| 91chinese 在线| 我爱大香蕉| 成人超碰AV| 天天艹天天色| 中文字幕乱轮| 超碰人人干| 久久婷婷成人综合色怡春院| 国产FREESEXVIDEOS性中国| 激情6月| 狠狠色婷婷7777久综合| 六月丁香av| 亚洲99激情| 色欲资源网| 婷婷综合五月天| 五月婷婷激情性爱| 色婷婷狠狠| 五月激情四射网站| 亚洲精品成人片在线播| 日韩综合网络男女香蕉a片| 91操色| 亚洲人妻一区二区| 日本狠狠网| 日日噜狠狠| 伊人综合网站| 亚洲天堂制| xxxx久| 2050人人操免费工开爱| 99热最新网址| 婷婷八月丁香激情综合| 综合婷婷| 性av| 操操熟女| 国产激情综合| 春色激情第四色| 午夜做爱影院| 色吧五月| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 天天噜日日噜综合无码| 丁香五月色情| 99热在线播放精品| 色九月婷婷综合| 五月丁香综合激情在线观看| www.色擼擼.com| 啪啪操超碰| 色情五月丁香| 丁香五月激情啪啪综合| 色婷婷久久天天性爱| 九月婷婷综合八月丁香在线观看| 久热A| 狠狠爱激情网| 疯狂做受XXXX高潮A片| 伊人久久大香线蕉亚洲五月天,| 影音先锋一区二区三区| 日本www五月婷婷| 99热.com| 99热.com| 9九九久久精品无码专区| 久久久99免费视频| 五月丁香少妇A| 亚洲综合五月| 激情婷婷丁香| 99在线免费视频播放| 超碰成人电影| 视色网在线播放| 丁香五月香蕉| 激情五月婷| 国产免费一区二区三州老师F1……| 久久免费操| 91视屏在线观看com.wwwvv| 好好干av| 色激情五月| 99热这里只有精品3| 热99色| 91九色丨国产丨爆乳| 人人爽人人爽人人爽人人爽| 五月婷婷丁香| 天天操夜夜操| 激情婷婷激情在线不卡| 国产91视频| 激情五月婷婷啪啪| 五月婷婷深深爱| 内射在线CHINESE| 在线中文亚洲| 天天做天天爱天天爽在| 九九在线精点品| 亚洲乱码精品久久久久..| 天天操五月天| 色综合爱综合| 激情综合网五月婷婷| 丁香色婷婷| 九 九九九AV| 免费成人va| 色五月激情| 激情五月综合网| 日本在线观看91| 日本女天天爽| 激情综合网五月婷婷| 免费无码毛片一区二区A片| 天天综合久久| 操逼福利视频| 激情网五月天| 97丨九色丨国产丨PORNY| AV在线免费网站| 亚洲丁香网| 96丁香六月婷婷蜜桃综合久久| 久久天堂色| 五月丁香直播| 婷婷色在线视频| 五月丁香色停停啪啪啪| 激情综合网五月在线播放| 婷婷五月激情视频| 99激情| WWW.婷婷五月天.COM| 淫荡工a| 天天干天天干天天干天天干天天干| 九九精品re免费视频| 情欲综合网| 亚洲综合1024| 亚洲AV无码电影| 77799热| 六月撸婷婷| 碰碰碰97国产| 这里有精品99| 思思精品视频| 99久久99久久综合| 天堂爱啪啪| 麻豆五月丁香婷婷| 99爱视频免费| 视频久久9| 热99这里只有精品视频| 二色av| 影音先锋91视频| 婷婷在线操|