欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

從CPU瓶頸到無(wú)損網(wǎng)絡(luò):FPGA智能網(wǎng)卡如何重塑數(shù)據(jù)中心數(shù)據(jù)面

從CPU瓶頸到無(wú)損網(wǎng)絡(luò):FPGA智能網(wǎng)卡如何重塑數(shù)據(jù)中心數(shù)據(jù)面 幾個(gè)月前我調(diào)一個(gè)分布式存儲(chǔ)集群?jiǎn)慰碈PU使用率只有百分之十幾可業(yè)務(wù)就是跑不滿帶寬。抓包一看網(wǎng)卡中斷幾乎全打在一個(gè)核上軟中斷和協(xié)議棧處理直接把那個(gè)核壓垮了其他核想幫忙也插不上手。換了一塊支持多隊(duì)列的網(wǎng)卡緩解了一些可數(shù)據(jù)一上來(lái)還是扛不住。后來(lái)我們把存儲(chǔ)報(bào)文處理的核心邏輯從CPU挪到智能網(wǎng)卡上問(wèn)題才算真正解決。這篇文章不打算講太多概念層面的東西就圍繞我最近折騰的FPGA智能網(wǎng)卡、鳴鏑這類產(chǎn)品化網(wǎng)卡以及數(shù)據(jù)中心的RDMA無(wú)損網(wǎng)絡(luò)聊聊它們到底解決了什么問(wèn)題又該怎么選型。1. 智能網(wǎng)卡到底解決了什么問(wèn)題從一次CPU被打滿的排障說(shuō)起1.1 傳統(tǒng)網(wǎng)卡的工作模式為什么開始撐不住傳統(tǒng)網(wǎng)卡的活兒其實(shí)很單一收包的時(shí)候把數(shù)據(jù)通過(guò)DMA搬進(jìn)內(nèi)存然后發(fā)中斷通知CPU“包到了”發(fā)包的時(shí)候從內(nèi)存把數(shù)據(jù)搬出去按MAC地址發(fā)到鏈路上。看起來(lái)簡(jiǎn)單可問(wèn)題就出在收包之后的那一長(zhǎng)串流程上——校驗(yàn)和、協(xié)議解析、路由查詢、Netfilter鉤子、協(xié)議棧處理、socket隊(duì)列再到用戶態(tài)拷貝全套下來(lái)全是CPU在干活。25G時(shí)代這種模式還勉強(qiáng)能撐到了100G就徹底繃不住了。咱們可以粗略算一筆賬100Gbps線速下如果全是64字節(jié)小包大約每秒要處理1.48億個(gè)包。一顆主流服務(wù)器CPU跑到3GHz單核每秒大概有30億個(gè)時(shí)鐘周期攤到每個(gè)包上只有20個(gè)周期左右??墒且粋€(gè)DMA描述符處理加校驗(yàn)都不止20個(gè)周期更別提后面還有一長(zhǎng)串協(xié)議棧邏輯。換句話說(shuō)一個(gè)核早就被數(shù)據(jù)面吃干榨凈了。虛擬化場(chǎng)景更嚴(yán)重。虛擬機(jī)的網(wǎng)絡(luò)不是直接懟到物理網(wǎng)卡上的中間還隔著一層虛擬交換機(jī)。每個(gè)包從虛擬機(jī)出來(lái)要先經(jīng)虛擬交換機(jī)做轉(zhuǎn)發(fā)決策、查安全組規(guī)則、做VXLAN封裝然后才從物理口出去。這一套操作比物理機(jī)收包還重所有開銷都實(shí)打?qū)崝傇谒拗鳈C(jī)CPU上。我們當(dāng)時(shí)那個(gè)存儲(chǔ)集群就是這種狀態(tài)存儲(chǔ)節(jié)點(diǎn)之間跑RDMA協(xié)議中斷處理不均勻某一個(gè)核被打滿整個(gè)集群的吞吐就卡在那一兩個(gè)核上。1.2 卸載的本質(zhì)把“數(shù)據(jù)搬運(yùn)和協(xié)議處理”從CPU手里拿走智能網(wǎng)卡的思路說(shuō)起來(lái)特別樸素既然CPU干數(shù)據(jù)面不劃算那就把這些重復(fù)性的、固定模式的活兒放到網(wǎng)卡上干。網(wǎng)卡上原本就有DMA引擎現(xiàn)在再加上硬件解析、流表匹配、封裝解封裝、擁塞控制、加密卸載這些模塊CPU只負(fù)責(zé)下發(fā)規(guī)則和收控制面消息。這就是“卸載”的核心邏輯。不過(guò)這中間有個(gè)易混淆的概念不是所有卸載都叫智能網(wǎng)卡。普通網(wǎng)卡也有校驗(yàn)和卸載、TSO/GRO這些功能但它們只是把某個(gè)固定操作微加速規(guī)則和邏輯都焊死在芯片里。智能網(wǎng)卡的區(qū)別在于可編程性——你可以定義新的轉(zhuǎn)發(fā)規(guī)則、修改協(xié)議頭處理流程、加載新的擁塞控制算法。從這個(gè)角度智能網(wǎng)卡更像是一個(gè)放在網(wǎng)卡位置上的專用處理系統(tǒng)而不只是一個(gè)I/O設(shè)備。如果用快遞來(lái)打比方傳統(tǒng)網(wǎng)卡相當(dāng)于每個(gè)快遞員收發(fā)件時(shí)都要自己查地圖、手動(dòng)填面單、逐個(gè)繞路配送智能網(wǎng)卡則相當(dāng)于一個(gè)分揀中心快遞一進(jìn)來(lái)自動(dòng)掃描、按規(guī)則分揀、規(guī)劃路線還能隨時(shí)更新分揀規(guī)則。CPU從“親手送快遞”變成“制定規(guī)則、處理異常件”效率自然是另一個(gè)量級(jí)?,F(xiàn)在市面上的智能網(wǎng)卡方案大概分三類一類是固定加速的ASIC網(wǎng)卡把幾類熱門卸載做成硬件邏輯性能功耗都很好但不能改邏輯一類是FPGA智能網(wǎng)卡邏輯可以反復(fù)配置適合還沒(méi)完全定型的場(chǎng)景還有一類是帶多核CPU的DPU網(wǎng)卡能跑完整的控制面協(xié)議?;揪褪且慌_(tái)小服務(wù)器掛在PCIe槽上。三類各有各的舒服區(qū)后面會(huì)專門算賬。2. FPGA智能網(wǎng)卡為什么說(shuō)網(wǎng)絡(luò)處理天生適合“可重寫的硬件”2.1 FPGA的流水線結(jié)構(gòu)與包處理天然匹配好多朋友一聽到FPGA就發(fā)怵覺(jué)得那是硬件工程師的地盤。實(shí)際上從網(wǎng)絡(luò)從業(yè)者的角度看把FPGA理解成一個(gè)可以反復(fù)改接線的大規(guī)模并行邏輯陣列就行。它最核心的優(yōu)勢(shì)不是某個(gè)單獨(dú)模塊跑得快而是整條數(shù)據(jù)通路可以做到所有環(huán)節(jié)同時(shí)工作——包從進(jìn)去那一刻開始解析、查表、轉(zhuǎn)發(fā)、封裝、發(fā)送就是在一條流水線上并行的。網(wǎng)絡(luò)包處理恰恰就是這種高度流水化的計(jì)算。一個(gè)包進(jìn)來(lái)先查協(xié)議類型再提取五元組然后匹配流表按規(guī)則做QoS和封裝最后從出口發(fā)出去。每一步都依賴上一步的結(jié)果但不同包之間完全獨(dú)立。這種場(chǎng)景CPU處理起來(lái)效率很低因?yàn)镃PU是“取指—譯碼—執(zhí)行”的串行模型一個(gè)核同時(shí)在跑的上下文也就那么幾個(gè)還得不停做分支預(yù)測(cè)。FPGA則可以把流水線的每一級(jí)做成獨(dú)立硬件上一級(jí)還沒(méi)算完下一級(jí)已經(jīng)開始處理前一幀的尾部了。我在實(shí)際調(diào)測(cè)里的感受是FPGA網(wǎng)卡在處理64字節(jié)小包時(shí)的延遲穩(wěn)定性比同級(jí)別通用CPU方案要穩(wěn)得多延遲抖動(dòng)基本可以忽略。2.2 FPGA網(wǎng)卡上真正值錢的幾個(gè)加速模塊一塊FPGA智能網(wǎng)卡上真正承擔(dān)業(yè)務(wù)的其實(shí)是下面這幾個(gè)模塊可編程解析器支持自定義報(bào)文格式不只是標(biāo)準(zhǔn)以太網(wǎng)/IP/TCP還能直接解析RoCE、NVMe-oF這類特定協(xié)議字段。這是相比固定ASIC最大的自由度。多級(jí)流表匹配用哈希、基于塊內(nèi)存的匹配邏輯做五元組/連接級(jí)別的查表。按精確匹配、最長(zhǎng)前綴匹配分級(jí)規(guī)則變更是下發(fā)到硬件刷新不用動(dòng)數(shù)據(jù)通路。流調(diào)度器按優(yōu)先級(jí)、隊(duì)列、流的速率做整形和擁避。無(wú)損網(wǎng)絡(luò)的優(yōu)先級(jí)流控參數(shù)也是在這里生效。線速加密和摘要IPsec、MACsec的加解密、完整性校驗(yàn)?zāi)苄兜紽PGA邏輯里省掉CPU的加密開銷。硬件時(shí)間戳在數(shù)據(jù)通路里直接給每個(gè)包蓋上納秒級(jí)時(shí)間戳這個(gè)對(duì)網(wǎng)絡(luò)監(jiān)控和延遲測(cè)量特別有用。我自己剛接觸時(shí)最直觀的感受是FPGA網(wǎng)卡的“可編程”不像CPU軟件那樣寫個(gè)函數(shù)就能改邏輯而是通過(guò)加載不同的比特流或規(guī)則表來(lái)生效。好在鳴鏑這類產(chǎn)品化網(wǎng)卡已經(jīng)把常用的卸載功能封裝好了我們不需要真去寫Verilog按它提供的接口下發(fā)規(guī)則表就行FPGA的靈活性和用戶的開發(fā)成本之間取了一個(gè)平衡。2.3 三種智能網(wǎng)卡方案到底怎么選看靈活性也看總成本經(jīng)常有朋友問(wèn)我FPGA網(wǎng)卡是不是一定比ASIC網(wǎng)卡好真不是。選型本質(zhì)上是拿靈活性換功耗和成本。我習(xí)慣用下面這張表來(lái)說(shuō)事維度FPGA智能網(wǎng)卡ASIC固定功能網(wǎng)卡多核SoC DPU可編程性邏輯級(jí)可重寫規(guī)則和流程都能改只有參數(shù)能調(diào)邏輯流片后定型軟件可編程生態(tài)最豐富數(shù)據(jù)面性能高延遲確定性強(qiáng)最高功耗最優(yōu)取決于核數(shù)和加速器配合開發(fā)周期硬件迭代一次幾周流片周期數(shù)月到一年軟件開發(fā)迭代最快單卡成本較高適合批量但非海量大規(guī)模量產(chǎn)單卡成本低中高CPU核本身也值錢適用場(chǎng)景協(xié)議還在演進(jìn)、需要快速跟隨標(biāo)準(zhǔn)成熟、量非常大的場(chǎng)景需要復(fù)雜控制面邏輯的卸載說(shuō)實(shí)話數(shù)據(jù)中心無(wú)損網(wǎng)絡(luò)這塊目前正好處在協(xié)議參數(shù)還在調(diào)整的階段。DCQCN的參數(shù)怎么配、PFC是否全局開啟、ECN閾值設(shè)多少不同廠商都有各自的推薦值。ASE方案一旦流片這些細(xì)節(jié)基本就固定了FPGA方案則可以隨著算法迭代重新配置這是它現(xiàn)在被重視的很關(guān)鍵的原因。當(dāng)然如果哪天無(wú)損網(wǎng)絡(luò)和智能網(wǎng)卡的功能完全標(biāo)準(zhǔn)化了ASIC的優(yōu)勢(shì)會(huì)重新凸顯。3. 鳴鏑這類FPGA智能網(wǎng)卡產(chǎn)品化之后業(yè)務(wù)端拿到的是什么3.1 鳴鏑系列網(wǎng)卡在產(chǎn)品層面的幾個(gè)看點(diǎn)鳴鏑這個(gè)系列最近在圈子里討論比較多按公開資料來(lái)看它屬于典型的FPGA智能網(wǎng)卡產(chǎn)品化路線。硬件上通常是PCIe 4.0或5.0形態(tài)雙25G或雙100G端口板載大容量?jī)?nèi)存用來(lái)做流表和緩沖隊(duì)列FPGA邏輯里集成了包解析、流表匹配、隧道封裝、RDMA和擁塞控制相關(guān)的硬件模塊。相比一塊裸FPGA開發(fā)板鳴鏑這類產(chǎn)品的價(jià)值在“打包好了”。網(wǎng)卡管理工具、驅(qū)動(dòng)、固件升級(jí)機(jī)制、調(diào)試接口都是現(xiàn)成的用戶拿到手不是面對(duì)一堆邏輯代碼而是通過(guò)一套協(xié)議直接下發(fā)流表規(guī)則、配置QoS、查看統(tǒng)計(jì)計(jì)數(shù)。網(wǎng)絡(luò)工程師可以用自己熟悉的那套“下發(fā)規(guī)則—看計(jì)數(shù)器—調(diào)參數(shù)”的方法來(lái)使用它而不需要懂硬件描述語(yǔ)言。從卸載范圍看鳴鏑覆蓋了云數(shù)據(jù)中心最常見(jiàn)的那幾類卸載OVS流表卸載、VXLAN/GRE封裝卸載以及RoCEv2所需的ECN識(shí)別和流控配合。這幾個(gè)點(diǎn)正好是純CPU方案最吃力的地方也是無(wú)損網(wǎng)絡(luò)落地最核心的環(huán)節(jié)。3.2 實(shí)測(cè)下來(lái)感受最明顯的三個(gè)場(chǎng)景我自己目前在模擬環(huán)境里調(diào)過(guò)類似定位的FPGA智能網(wǎng)卡三個(gè)場(chǎng)景印象比較深。第一個(gè)是云主機(jī)網(wǎng)絡(luò)卸載。沒(méi)卸載之前虛擬交換機(jī)每轉(zhuǎn)發(fā)一個(gè)包都要CPU參與規(guī)則多了之后CPU占用像坐過(guò)山車。把OVS流表下發(fā)到網(wǎng)卡后數(shù)據(jù)面直接走硬件匹配轉(zhuǎn)發(fā)宿主機(jī)CPU占用立刻掉了一大截。最讓我意外的是規(guī)則變更時(shí)的表現(xiàn)流表下發(fā)到FPGA是增量刷新不是把整張表重來(lái)一遍業(yè)務(wù)流量幾乎無(wú)感。第二個(gè)是存儲(chǔ)和AI訓(xùn)練的RoCE場(chǎng)景。分布式存儲(chǔ)節(jié)點(diǎn)之間跑RDMA時(shí)一個(gè)很頭疼的問(wèn)題是PFC和ECN參數(shù)配不好就會(huì)掉速。FPGA網(wǎng)卡上這些參數(shù)可以直接通過(guò)寄存器調(diào)而且ECN標(biāo)記是在數(shù)據(jù)路徑里由硬件判斷的不像軟件方案那樣需要靠采樣來(lái)近似。調(diào)完之后AI訓(xùn)練這類長(zhǎng)尾通信的尾延遲明顯變得穩(wěn)定。第三個(gè)場(chǎng)景可能很多人沒(méi)意識(shí)到就是網(wǎng)絡(luò)可視化和安全過(guò)濾。FPGA可以在線速下做包頭和負(fù)載特征匹配把特定流量鏡像到分析端或者在硬件層直接丟掉惡意報(bào)文。這在CPU方案里幾乎不可能做到線速但FPGA天然就是干這個(gè)的。3.3 產(chǎn)品化網(wǎng)卡同樣要付出的隱性代價(jià)用了幾周之后我也得說(shuō)實(shí)話產(chǎn)品化FPGA網(wǎng)卡不是零成本方案。首先是驅(qū)動(dòng)和固件的配套。FPGA邏輯越靈活驅(qū)動(dòng)和固件的版本匹配就越敏感。我們遇到過(guò)升級(jí)固件后舊驅(qū)動(dòng)異常業(yè)務(wù)斷連的情況最后只能按“固件和驅(qū)動(dòng)必須同批驗(yàn)證”的規(guī)矩來(lái)管理。其次是管理接口的成熟度。產(chǎn)品化網(wǎng)卡的管理工具通常能覆蓋絕大多數(shù)需求但真要到做深度調(diào)試的時(shí)候還是得翻廠商提供的寄存器級(jí)文檔。再有一個(gè)容易被忽略的功耗和散熱。FPGA的邏輯規(guī)模上去了功耗比同端口的固定功能網(wǎng)卡高不少。單臺(tái)服務(wù)器如果插兩塊供電和散熱就得提前做評(píng)估。這些成本不會(huì)出現(xiàn)在產(chǎn)品宣傳頁(yè)上但會(huì)在你部署的時(shí)候一點(diǎn)一點(diǎn)“找補(bǔ)”回來(lái)。4. 無(wú)損網(wǎng)絡(luò)的真相PFC、ECN與智能網(wǎng)卡之間其實(shí)是三方博弈4.1 RDMA為什么必須追求“無(wú)損”先從一個(gè)基礎(chǔ)問(wèn)題說(shuō)起RDMA為什么對(duì)丟包這么敏感傳統(tǒng)TCP丟包后走重傳、擁塞窗口退避雖然延遲升高但總歸能恢復(fù)。而RDMA為了降低延遲把數(shù)據(jù)通路上的重傳和擁塞處理減到最輕很多實(shí)現(xiàn)甚至依賴無(wú)損網(wǎng)絡(luò)來(lái)保證不丟包。一旦某個(gè)包丟了接收端遲遲等不到數(shù)據(jù)整個(gè)傳輸就可能等上很長(zhǎng)時(shí)間才觸發(fā)超時(shí)代價(jià)是微秒級(jí)的性能瞬間掉到毫秒級(jí)差距上千倍。所以無(wú)損網(wǎng)絡(luò)不是一個(gè)“金字招牌”它是RDMA能夠成立的前提。為了讓網(wǎng)絡(luò)不丟包傳統(tǒng)思路就是用流控把壓力往上游推推到源頭讓它降速。這聽起來(lái)很合理但真做起來(lái)全是坑。4.2 PFC看似簡(jiǎn)單的逐跳反壓挖了哪些坑PFC優(yōu)先級(jí)流控的原理就是每跳交換機(jī)和網(wǎng)卡都監(jiān)控自己隊(duì)列的長(zhǎng)度超過(guò)閾值就向上一跳發(fā)暫停幀讓對(duì)端暫時(shí)停發(fā)該優(yōu)先級(jí)的流量。一層一層推上去最后讓發(fā)送端降速。這個(gè)機(jī)制本身沒(méi)有大問(wèn)題坑全在工程實(shí)現(xiàn)里。最典型的是隊(duì)頭阻塞某個(gè)擁塞隊(duì)列觸發(fā)了反壓暫停幀會(huì)把同一優(yōu)先級(jí)上的所有流都擋在后面哪怕這些流根本不經(jīng)過(guò)擁塞點(diǎn)。我見(jiàn)過(guò)一臺(tái)混跑AI訓(xùn)練和普通業(yè)務(wù)的交換機(jī)上一條訓(xùn)練流的突發(fā)流量把同優(yōu)先級(jí)里所有流全部堵死連監(jiān)控流量都跟著遭殃。PFC風(fēng)暴更是運(yùn)維噩夢(mèng)配置里任何一個(gè)環(huán)節(jié)出錯(cuò)暫停幀就會(huì)在環(huán)網(wǎng)里循環(huán)傳播整個(gè)機(jī)房的該優(yōu)先級(jí)流量全部癱瘓排查難度極高。所以現(xiàn)在做無(wú)損網(wǎng)絡(luò)的人對(duì)PFC基本是“能不開就不開必須開就限制范圍”。把優(yōu)先級(jí)流控當(dāng)作最后一道防線而不是主要手段這個(gè)觀念上的轉(zhuǎn)變很重要。4.3 ECN和DCQCN則是更聰明的“有損折中”為了少依賴PFC現(xiàn)在無(wú)損網(wǎng)絡(luò)的主流做法是端到端擁塞控制。核心思想是交換機(jī)不直接掐斷流量而是在隊(duì)列深度超過(guò)閾值時(shí)給報(bào)文打上ECN標(biāo)記。接收端網(wǎng)卡收到帶標(biāo)記的報(bào)文后生成擁塞通知包發(fā)回給發(fā)送端發(fā)送端據(jù)此快速降速。這一套在RoCEv2里對(duì)應(yīng)的就是DCQCN。算法細(xì)節(jié)當(dāng)然比這段文字復(fù)雜得多什么時(shí)候標(biāo)記、降速比例多大、什么時(shí)候升速、CNP包的生成頻率怎么控制每個(gè)參數(shù)都會(huì)影響真實(shí)業(yè)務(wù)吞吐。這恰恰是FPGA智能網(wǎng)卡發(fā)揮價(jià)值的地方——ECN標(biāo)記的識(shí)別需要在線速下做毫秒級(jí)的延遲都會(huì)影響算法效果而擁塞控制參數(shù)的調(diào)節(jié)則需要靈活因?yàn)樗惴ㄟ€在持續(xù)演進(jìn)。固定功能的ASIC在流片那一刻就把這些邏輯定型了而FPGA的邏輯可以重新配置。我們的實(shí)際感受是這塊的可迭代性比紙面上的性能參數(shù)更重要因?yàn)槟阌肋h(yuǎn)不知道下一次算法優(yōu)化會(huì)改成什么樣。4.4 智能網(wǎng)卡在無(wú)損網(wǎng)絡(luò)里實(shí)際承擔(dān)的活把角色拆開看智能網(wǎng)卡在無(wú)損網(wǎng)絡(luò)里承擔(dān)的事情有三塊流控參數(shù)的硬件卸載PFC的暫停閾值、ECN標(biāo)記閾值、速率限制器全部由網(wǎng)卡硬件執(zhí)行CPU只負(fù)責(zé)初始化和動(dòng)態(tài)調(diào)整。參數(shù)下發(fā)之后即使CPU被業(yè)務(wù)打滿流控依然有效。線速ECN識(shí)別和標(biāo)記交換機(jī)打上的ECN標(biāo)記接收端網(wǎng)卡要在收包的第一時(shí)間識(shí)別并決定是否生成CNP。這個(gè)操作做慢了擁塞窗口就調(diào)整晚了。PFC統(tǒng)計(jì)與死鎖檢測(cè)網(wǎng)卡維護(hù)每個(gè)優(yōu)先級(jí)的暫停幀收發(fā)統(tǒng)計(jì)出現(xiàn)異常時(shí)及時(shí)上報(bào)。這些計(jì)數(shù)器是排查PFC風(fēng)暴最重要的依據(jù)。鳴鏑這類FPGA網(wǎng)卡在無(wú)損網(wǎng)絡(luò)里的價(jià)值就在于它開箱就帶這些硬件邏輯同時(shí)保留了“未來(lái)算法升級(jí)時(shí)重新配置邏輯”的可能。這比單純買一塊固定功能的RoCE網(wǎng)卡要穩(wěn)妥得多。用我們團(tuán)隊(duì)內(nèi)部的話來(lái)說(shuō)無(wú)損網(wǎng)絡(luò)不是“配置”出來(lái)的一次性結(jié)果而是需要持續(xù)調(diào)優(yōu)和演進(jìn)的動(dòng)態(tài)過(guò)程。5. 選型與落地到底什么樣的組合才是“最優(yōu)解”5.1 按業(yè)務(wù)場(chǎng)景對(duì)號(hào)入座別問(wèn)“哪個(gè)最好”要問(wèn)“哪個(gè)適合”經(jīng)常有人問(wèn)“買FPGA智能網(wǎng)卡是不是一步到位”。我的回答是沒(méi)有一步到位只有場(chǎng)景適配。下面是我自己整理的一個(gè)粗粒度選型表業(yè)務(wù)場(chǎng)景核心訴求推薦方案理由HPC高性能計(jì)算超低延遲、固定路徑通信成熟RoCE網(wǎng)卡優(yōu)先ASIC通信模式固定、追求極致性能功耗AI訓(xùn)練集群長(zhǎng)尾流量、突發(fā)嚴(yán)重、需持續(xù)調(diào)優(yōu)FPGA智能網(wǎng)卡支持ECN參數(shù)自定義擁塞算法還在演進(jìn)需要靈活迭代分布式存儲(chǔ)吞吐優(yōu)先數(shù)據(jù)面卸載FPGA智能網(wǎng)卡RoCEv2卸載存儲(chǔ)協(xié)議卸載收益最直接云主機(jī)大規(guī)模虛擬化OVS卸載、多租戶隔離帶OVS卸載的智能網(wǎng)卡流表頻繁變化需要可編程匹配通用Web/業(yè)務(wù)成本敏感、流量相對(duì)平穩(wěn)固定功能網(wǎng)卡CPU調(diào)優(yōu)FC網(wǎng)卡性價(jià)比最優(yōu)這個(gè)表不是絕對(duì)的但能反映出核心邏輯流量模式越穩(wěn)定、協(xié)議越標(biāo)準(zhǔn)越應(yīng)該選ASIC固定功能流量突發(fā)越強(qiáng)、協(xié)議越不成熟越需要FPGA這類可編程方案。5.2 成本賬智能網(wǎng)卡的錢花得值不值咱們可以算一筆很粗略的賬。一臺(tái)雙路服務(wù)器如果要支撐100G網(wǎng)絡(luò)并做OVS轉(zhuǎn)發(fā)和RoCE處理純CPU方案往往要預(yù)留4到6個(gè)物理核給網(wǎng)絡(luò)數(shù)據(jù)面。一顆28核的CPU那相當(dāng)于損失了七分之一左右的算力。如果跑的是云主機(jī)業(yè)務(wù)這些核占著的成本一直存在很浪費(fèi)。智能網(wǎng)卡把數(shù)據(jù)面卸載之后這幾個(gè)核可以釋放跑業(yè)務(wù)虛擬機(jī)。按一臺(tái)服務(wù)器的生命周期和核數(shù)來(lái)折算一塊智能網(wǎng)卡多花的幾萬(wàn)元成本通常能在一年左右從業(yè)務(wù)部署密度提升上賺回來(lái)這筆賬在測(cè)試環(huán)境里跑一遍就能算清楚。當(dāng)然如果要跑的場(chǎng)景只是少量收發(fā)包智能網(wǎng)卡的優(yōu)勢(shì)就體現(xiàn)不出來(lái)這時(shí)候也沒(méi)必要上。5.3 部署和調(diào)優(yōu)時(shí)容易踩的坑提前幫你排掉最后說(shuō)幾個(gè)我們自己踩過(guò)、周邊同行也常踩的坑。第一驅(qū)動(dòng)和固件的版本配套關(guān)系一定要固化。FPGA網(wǎng)卡邏輯可更新固件升級(jí)后驅(qū)動(dòng)不匹配會(huì)有兼容性問(wèn)題升級(jí)前必須看官方配套表升級(jí)后立刻做回歸測(cè)試。我們現(xiàn)在的規(guī)矩是生產(chǎn)環(huán)境能不動(dòng)固件就不動(dòng)。第二BIOS里的PCIe配置別漏。智能網(wǎng)卡要發(fā)揮性能PCIe鏈路寬度和速率必須配夠SR-IOV、IOMMU相關(guān)選項(xiàng)也要按產(chǎn)品手冊(cè)打開。曾經(jīng)遇到性能只有預(yù)期一半的情況查了半天最后發(fā)現(xiàn)PCIe被BIOS自動(dòng)協(xié)商到了x4不是x16。第三PFC和ECN參數(shù)不要一把梭。無(wú)損網(wǎng)絡(luò)的配置要按業(yè)務(wù)流量模型來(lái)定不同優(yōu)先級(jí)配不同的緩沖策略PFC能不開就不開優(yōu)先級(jí)范圍越小越好。調(diào)完一定要跑一輪長(zhǎng)時(shí)壓測(cè)看PFC暫停幀計(jì)數(shù)有沒(méi)有異常增長(zhǎng)我見(jiàn)過(guò)不少“配置看著合理、跑了半小時(shí)就開始丟包”的案例。最后我直接分享一點(diǎn)自己的體會(huì)。我一開始也懷疑智能網(wǎng)卡是不是就是高級(jí)一點(diǎn)的卸載卡真正調(diào)完RDMA和PFC之后才明白在無(wú)損網(wǎng)絡(luò)這件事上網(wǎng)卡端的靈活性和可編程能力比想象中重要。FPGA方案看起來(lái)功耗高一點(diǎn)、門檻也高一點(diǎn)但遇到PFC風(fēng)暴、新?lián)砣惴ㄟ@類問(wèn)題你會(huì)慶幸自己選了一塊能改邏輯的卡。如果你正在折騰數(shù)據(jù)中心網(wǎng)絡(luò)建議先跑通一套標(biāo)準(zhǔn)的流量模型再考慮上智能網(wǎng)卡如果預(yù)算允許優(yōu)先選支持RoCEv2卸載和流表可編程的方案。這個(gè)方向變化很快早一點(diǎn)自己動(dòng)手試試比看多少文章都有用。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
免费观看2018www黄色操逼网站| 婷婷色啪| 精品综合五月| 婷婷色爱| 欧美色图天堂网| 97久久视频| 极品人妻VIDEOSSS人妻| 久草五月婷| 色婷六月| 欧美猛片| 日韩在线视频网站| 久久AAAA片一区二区| 日本综合99| 色开心五月婷婷丁香HD| 国产成人高清| AV国产有码| 婷婷五月情| 中文字幕视频在线播放| 国产亚洲精品AAAAAAA片| 懂色av粉嫩av蜜臀av| 91呦呦呦| 99无码视频| 狠狠va| 天天操天天日天天操| 天天影院色| 欧美成人网99网| 中文字幕综合网| 国产亚洲99久久精品| 日本色色影片| www.色色com| 四川BBB搡BBB爽爽视频| 丁香五月综合久久| 黄涩毛片| 日韩久久色| 久久激情网| 青吴乐视频| 影音先锋毛片网站| 婷婷综合伊人丁香| www色色色com| 2017人人操| 99在线精品视频观看免费下载| 亚州激情网站无码| 婷婷无码视频| 色日本颜射| 亚洲成人无码免费| 色色网站免费观看| 婷婷综合网| 亚洲网站观看视频| 中文字幕,综合,91| 五月丁香龟婷婷| 精品久久99码| 97超碰在线免费观看| 日本熟女三区| 色色色色综合网| 色婷婷av综合网| 久久性爱视频| 婷婷成人五月天成人文学| 99操逼| 久草五月丁香婷婷综合| 婷婷综合五月激情| 五月丁香六月激情在线| 色婷婷丁香综合中文字幕| 91人妻视频| 婷婷久久五月天| 丁香伍月婷电影全集| 内射综合网| 欧美激情综合色综合色| 国产看真人毛片爱做A片| 婷婷五月天大香蕉| 婷婷开心激情五月激情网| 亚洲va综合va国产va中文| 色五月婷婷影视| 性小说五月天| www.狠狠操| 棕合影院色色| 九九大香蕉黄色影院| 在线观看视频1区| 大香蕉人妻| 婷婷九月丁香| 丁香五月天91| 深爱激情五月天婷婷网| 亚洲经典三级| 99热这只有| 中文字幕在线不卡| av国产精品偷| 丁香六月狠狠干| 婷婷色综合网日韩国产| 久久久久人妻中文| 婷婷六月激情综合| 色宗合久久五月婷婷| 久久婷婷影院| 在线VA视频| 久久婷婷综合五月天| 亚洲一级AV在线免费播放| 色六月天| 99色嘟嘟精品网站| 激情五月综合网最新 | 久草婷婷| bbwcuckold精品熟妇| 91se在线视频| 亚洲色久| 九九热精品| 99热大香蕉| 99免费在线视频| 亚洲人成网站999综合| 婷婷丁香激情五月| 九九九九热99超碰| 五月丁香婷婷激情视频| 丁香六月av| 色五月第四色| 99热欧美精品| 亚洲视频五区| 91一起操| 天天婷婷综合亚洲亚洲| 欧美在线骚货| 欧美性生交A片免费看| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 久久国产一区二区三区| 日韩小视频在线99| 香蕉99网| 日韩人妻无码精品| 99视频内射三四| 欧美99热| 综合激情五月婷婷| 五月婷婷AV| 另类亚洲视频| 婷婷婷婷婷婷婷五月丁香| 任你擦免费视频| 久综合| 丁香六月久久| 97色色视频| 天天色综合色| 九九久久玖玖爱| 色婷五月天综合网| 中文字幕日韩成人| 97综合在线| 美臀自射自家人妻| 久久3级片| www.成人婷婷综合| 9福利性视频欧美| 激情综合网五月丁香| 亚洲视频二区| 亚洲国产精品二二三三区| 99热这只有| 成人做爰高潮A片免费视频| 五月丁香色狠狠干大屄| 色色色色色五月| 成人版视频在线观看| 丁香五月婷婷激情网| 开心激情网五月天| 色了色综合| 狠狠爱丁香婷| 成人在线不卡| 丁六月激情| 一级黄色片看看| 日日干夜夜干| 蜜臀av无码久久久久久久久 | 欧类av怡春院| 天天天天干| 97狠狠色| 国产精品美女久久久久AV超清| 伊人丁香花综合影院| 国产亚洲av片| 五月婷婷色播| 拳交大逼| 天天狠狠婷婷在线| 久草婷妨| 丁香婷婷基地| 天天爽天天干天天| 99久热在线精品| 9国产在线视频| 综合一本道| 成年视频免费观看| 大地9中文在线观看免费高清| 婷婷六月伊人| 久久婷色| 色色六月| 99色色网| 五月天综合色| 伊人超碰| 丁香蜜臀黄色婷婷五月天| 五月大香蕉| 97婷婷丁香五月| 激情综合婷婷久久| 俺去也五月| 亚洲婷婷五月草久| 91精品91久久久中77777久久玖玖九九 | 开心四月婷婷在线色播播| 狠狠色 综合色区| 亚洲综合五月| 少妇口诉沐足视频播放器网址| 97婷婷在线视频| 激情丁香五月| 色色五月婷婷久久| 五月丁香婷婷综合网色欲| 九九人人看| 激情综合五月婷婷| 色色色.COM| 久久五月婷婷电影| 丁香六月婷| 成片免费播放| 2020日日干| 婷婷狠狠五月综合| 婷婷五月天影院| 99久久婷婷精品视频| 97精品欧美91久久久久久久| 狠狠五月综合在线| 婷婷六月综合在线| 日本综合久久| 九月色婷婷综合| 免费无码毛片一区二区A片| www.成人婷婷综合| 婷婷放心五日爱| 丁香花五月天社区| 天天揷综合网| 91超级碰碰碰| 99爱爱| 思思热再线视频| 久久婷综合| 色婷婷五月综合色婷婷| 九九99九九精品免费 | 伍月婷丁香花全集| 五月婷婷在线短视频| 九九在线91| 天天日天天插| 能看的av网站| 婷婷五月综合久久中文字幕| 夜夜爽天天爽| 99视频这里只有精品10| 欧美97p| 激情五月天色| 综合色色婷婷| 人妻AV在线观看| 日韩 mm 不卡| 五月刺激丁香月综合| 五月玖玖| 九九热精品99| 色综合色| 五月天综合视频| 天天草人人摸| 99噜噜噜在线播放| 国产中文亚洲欧美日韩性交| 99操碰| 九月色婷婷综合| 五月丁香综合色婷婷| 久久思思热| 91丨九色丨熟女|新版| 五月天最新网| 亚洲综合另类| 五月天小说激情| 精品一二三区久久AAA片| 五月婷婷激情网| 色色操| 激情五月综合久久| 婷婷丁香综合| 狠爱婷色| 久久影视婷婷五月| 五月婷婷导航| 啪啪操操| 色婷婷丁香社综合| 国产九九一区二区三区| 日本色色网站| 亚洲视频操| 色级停停| 久久丁香网| 亞洲自怕| 丁香花五月天社区| 4399高清无码视频| 91色逼| www久久艹| 九月色婷婷综合| 97人妻碰碰碰久久久久-最近国语高清| 2025超碰| 色婷婷亚洲综合天堂| 97日本在线播放| 久久综合99综合| 欧美内射AAAAAAXXXXX| 亚洲操操| 婷婷婷婷婷婷婷婷婷婷丁香| 第四色色色色色丁香五月天| 婷婷五月天丁香激情| 激情久久网 | 伊人啪啪网| 亚洲操操| 日韩成人av在线| 精品久久99码| 色丁香五月婷婷| 久久性爱视频免费| 开心日韩丁香婷婷五月| 五月婷高清视频| 天天操夜夜夜夜爽| 亚洲婷婷五月草久| 五月婷婷影视| 五月婷婷综合色啪首页| 激情婷婷五月天日本系列| 九九色综合九九色| 九九干视频| 亚洲免费av在线| 在线中文字幕av| 99热在这里只有精品| 亚洲久热| 丰满少妇猛烈A片免费看观看| 91妻人人爽人人看片| 五月激情丁香六月狠狠干| 超碰在线网站| 婷婷丁香九月| 九九热在线观看6| 97操在线视频| sS丁香五月婷婷| 婷婷五月天av网| 久久综合这里只有精品1| 色五月综合网| 久久激情综合| 凹凸7777操操操| 日本三级日本三级99| 91人人操人人看| 在线观看996精品| 五月婷婷狠狠久久| caop在线| WWW五月天| 婷婷五月丁香激情色情| 婷婷色av| www.精品99| 五月丁香婷草| 五月丁香激情综合网| 可以看的av| 国产乱妇乱子在线播视频播放网站 | 99热精品在线| 欧美色图天堂网| 色碰碰| 色域五月婷婷丁香| 精品一区二区三区免费毛片爱| 最近中文字幕大全免费版在线 | 精品九九九久| www.91AV.com| 97人人操在线| 99热在线中文字幕| 能看的av| 国产精品色| 99热久久这里只有精品| 久热re在线视频| 一区视频网站| 先锋av性爱成人电影| 少妇达人正片在线播放_ikun_福利吧| 亚洲网视屏| 天天色天天| 亚洲V国产V欧美V久久久久久| 男女啪啪做爰高潮无遮挡| 久久精品一区二区三区四区| 丁香婷婷性久久| 丁香伊人网| 狠狠va| 五月婷丁香| 日日操日日撸| 99小视频在线观看| yazhou seshipin| 欧美人妻一区二区| 色色婷| 亞洲自怕| 久月丁香爱婷婷综合| 色婷婷五月中文字幕在线dvd| www999日韩精品| 99这里有精品视频| 亚洲色夜| www夜夜操wwwcon| 婷婷久久五月天丁香| 天天做天天爱天天爽| 日本 色综合| 伍月婷丁香婷| 婷婷五月丁香色综合| 99热综合| 日本久久婷婷| 婷婷激情丁香六月| 久久五月综合| 久婷| 天天透天天爱| 色婷婷88| 亚洲成人AV一区在线观看| 国产99久久久| 五月丁香婷婷综合网| 亚洲色婷婷| 39视频第二区| 亚洲国产精品综合色区| 免费无码毛片一区二区A片| 91丨九色熟女丨首页| 天天舔天天摸天天射| 中文成人在线| 色黄啪啪| 五月花亭亭| 一级精品999WWW| 婷婷无五月无码视频| 91碰碰碰| 久久99网站| 亚洲天堂青草| 综合图区激情| 五月婷婷涩涩爱| 色狠狠五月天| 在线另类| 久久99久久99精品免视看婷| 五月天丁香成人| 激情婷婷五月社区| 日本不卡五月婷婷丁香| 日韩一本操| 日韩色色小视频| 五月丁香婷婷三级| www.99精品日操伊人乱碰在线| 六月五月丁香五月欧美| 久操福利| AV在线大香蕉| 五月丁香无码| 激情婷婷在线中文字幕| 婷婷激情人妻| 啪啪黄页网| 五月色婷婷综合| 成人无码精品1区2区3区免费看| 天天搞夜夜爽夜夜爽| 99热在线精品观看| 欧美日韩精品一区二区三区钱| 开心五月色婷| www.狠狠| 日本美女天天日天天爽| 免费看欧美成人A片无码| 日韩色色色色色| 婷婷六月啪啪| 五月婷婷另类| 大地9中文在线观看免费高清| 99er日韩| 成人精品视频99在线观看免费| 五月丁香成人网| 久99久在线观看| 午夜丁香综合婷婷| 色噜噜狠噜噜视频| se99热久久一本| 婷婷五月天网| 五月丁香A片| 精品人妻一区二区| 一本久久亚洲五月婷婷| 久久看九九90| 亚洲国产精品VA在线看黑人| 久久婷婷久久| 丁香六月激情| 五月婷婷干| 日韩精品AV一区二区三区| 成人做爰A片免费看网站找不到了| 婷婷五月丁香基地| www.爱操com.| 激情第四色| 久久婷五月综合色| 99ri6在线视频| 激情色色色| 九九综合网色全集 | 九九AV| 五月四色婷婷| 狠狠爱夜夜| 黄网在线播放| 天天激情夜夜干| 一区二区无码视频| 色综合九九色综合88| 91碰碰碰| 婷婷香蕉精品| 97人凄人人操人人爽| www.日本久久videos| 丁香六月婷婷久久综合| 久99久热只有精品国产99| 五月天久久色| 97人妻碰碰碰久久香蕉| 久久黄色免费视频| 五月天婷婷涩涩| 99热最新精品| 婷婷丁香五月天色区| 202丰满熟女妇大| 深爱婷婷丁香五月激情| 91天天操天天干天天射| 色偷偷五月天| 九九性视频| 婷婷免费无马| 琪琪色五月婷婷老师| 激情六月一二| 久久久99久久| 成人国产网| 五月丁香激情婷婷| 五月天婷婷乱| 91妻人人爽人人看片| 婷婷色六月| 成人va在线观看视频| 色婷丨日丨天丨综合久久| www.色婷婷.com| 亚洲小电影在线观看黄999| 米奇激情婷婷| 91午夜激情| 欧美韩国日本| 色色丁香婷婷综合| 日本婷婷色日| 伊人网色婷婷五月天| 亚洲综合婷婷五月| 五月丁香在线综合| 天天更新天天亚洲| 玖玖婷婷视频| 色碰碰| 五月六月激情| 粉嫩AV久久一区二区三区| 婷婷色五月开心五月| 久久99久久99精品免观看软件 | 99只有这里是精品| 婷婷五月天av| 久久多色| 五月婷丁香| 亚洲综合色婷| 久久亚洲精品成人无码网站导航| 色综合网址| 真实熟女-91九色| www.久久久久久| 五月情涩综合婷婷| 日本欧美成人片AAAA| 五月婷婷九九热| 99亚洲色| 国产伦亲子伦亲子视频观看| 5月色婷婷| 久久五月激情综合| 天天爽综合网| 天天插操| 五月天婷婷黄色| 五月丁香狠狠爱| 91婷婷丁香| 婷婷综合五月| 艹天天射| 五月丁香婷庭在线| 95精品区一区二| 丁香五月天天| 亚洲综合九九| 五月天丁香六月综合| 92久久| 日韩欧美老妇性视频91久久久| 天天操夜夜爽歪歪| 123日本不卡在线| 3p日韩网站视频| 大香蕉啪啪啪| 91五月天| 激情五月激情综合网| 婷婷久久大香蕉| 六月婷婷久久| 97色色婷婷五月天| 伊人婷婷综合| 亚洲综合1024| 五月婷婷啪啪| 俺也去婷婷五月天第五色| 9久热免费视频99| 激情图片99| 极品另类| 日韩AV片| 婷婷激情小说| 日本狠狠爽| 婷婷五月天激情网| 日本色频| 丁香六月婷婷久久综合| 伊人国产婷婷五月天| AA片在线观看视频在线播放| 久久草婷婷丁香网站| 国产乱妇乱子在线播视频播放网站 | 青草激情在线| 99在线综合视频| 大香蕉 伊人夜| 蜘蛛女侠2003满天星免费观看| 婷婷久久天堂网| 久久久这里有精品| 久久婷婷五月综合色奶水99啪| 久久狠狠干| 亚洲视频操| 91九色首页| 99色色爰| 日本精品人妻无码77777| 狠狠999| 万月丁香狠狠爱| 狠狠色婷婷777| 精品一区二区三区三区| 久操激情| 天天日日人| 免费视频WWW在线观看网站| 第四色婷婷色五月| 日本在线wwww| 狠狠干在线| 99在线观看| 久久丁香| 六月久久狠狠| 亚洲av日韩无码| 国产精品色婷婷99久久精品| 婷婷亚洲五| 日本欧美成人片AAAA| 操熟女成人网| 亚洲网站999| 99色| 天天檫天天爽| 激情av在线| 综合色五月天| 我爱宗和色| 亚洲国产网址| 99精品久久| 天天干天天日天天插| 超碰成人在线免费观看| 综合大香蕉| 秋霞簧片| 婷婷久久性爱| 国产精品A成V人在线播放| 五月综合六月婷婷| 亚州色婷婷| 婷婷五月成人| 亚洲热视频| 欧美va视频| dingxiangtingtingliuyue| 婷婷六月成人| 热99在线| 婷婷激情视频欧美视频自拍视频欧美剧 | 夜夜爽日日躁| www999日韩精品| 99热官网| 色五月综合| 五月色丁香成人| 激情丁香久久久久久| AV中文在线| 成人精品亚洲性爱| 五月婷婷综合色啪| 天天搞天天色综合| 久久加勤综合| 天天爽天天日| 日本欧美成人片AAAA| 婷婷成人网五月天| 色综合香蕉视频| 亚洲成人五月天| 日婷婷久久开心| 欧美va视频不用播放器的va视频网| 欧美婷婷色五月网| 国产成人精品亚洲线观看| 五月婷婷综合视频| 色色色色色色综合| 激情综合网丁香| 九九激情视频| 色色热| 久久99热这里只频精品6学生| 久婷婷五月激情| 91chinese 在线| 狠狠婷婷色| 五月天综合网| www.99热精品| 婷婷五月天六点丁香五月| 亚洲婷婷丁香五月在线| 欧美激情综合色综合啪啪五月| 天堂在线观看视频| 国产精产国品一二三在观看| 色一情一乱一乱一区91| 欧美五月丁香| 日本欧美国产| 天天干天天日天天插| 五月丁香欧美综合| 亚洲四色五月| 色婷婷av综合网| 亚州激情在线视频| 婷婷五月天黄色网址| 五月天偷拍| 婷婷八月丁香激情综合| 五月开心深爱激情网| 天天综合五月| 亚洲成色综合网站免费观看| 国产激情久久| AV在线大香蕉| 色色色色色五月丁香| 婷婷婷久久| 天天射网站| 99热自拍| 色五月婷婷av| 九九色大香蕉| 激情综合五月| 伊人在线视频| 丁香五月中文字幕久色| 色 五月婷婷基地| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 亚洲视频二区| 久久久久亚洲AV无码网影音先锋| 色五月丁香婷婷| 2025年最新亚洲在线欧美| 亚洲一区先锋影音| 婷婷五月丁香基| 伊人五月婷婷| 丁香狠狠| 五月天激情网址| 99热这只有| wWw色五月| 久久婷婷六月天| 激情五月天婷婷激情| 色色综合无码| 成人婷婷色五月天| 激情五月天之六月婷婷| 丁香婷婷五月天色综合| 日韩黄黄| 天天添天天摸天天天天做| 五月丁香婷婷激情久久| 另类小说五月天综合网| 五月色婷婷激情| site:feetmall.com| 日日操人人操| 99热这里只有精品在线播放| 丁香五月婷婷激情蜜桃| 79精品视频| 99热这| 五月丁香啪| 狠狠爱激情网| www夜夜操| 思思热在线精品视频| AVDV久久| 熟女少妇内射日韩亚洲| 99热个人在线| 婷婷情色五月| 免费人人操| 色哟哟精品| 激情视频综合| 激情婷婷五月| 久久人妻熟女一区二区| 麻豆忘忧草午夜| 日韩在线成人电影| 91视频一起草| 影音先锋女人av鲁色资源网小说免费| 丁香伊人激情| 亚洲Av入口| www99热| 亚洲成人无码网站| 亭亭玉月丁香| 九色综合网| 亚州色综合| 人妻综合网| 天天爽天天弄| 久久久久er热| 淫视馆AV在线| 99re在线播放| 操婷婷基地| 国产无人区大片| 婷婷丁香色情| 色色色色色色色综合| 99九九免费精品| 久热99热| 综合99在线| 色永久| 另类A片| 五月开心网| 五月婷婷影院| 超碰A V在线| 婷婷五月天激情小说| 国产综合激情五月久久| 日日噜噜夜夜狠狠久久丁香六月| 99热在线只有精品| 91在线视频观看午夜福利| 婷婷五月天综合久久| 色综合色欲综合天天免费| 激情綜合W W W,激情五月天| 婷婷五月综合激情| 七月激情六月婷婷综合在线播放| 日日日日做夜夜夜夜无码| 99re这里只有精品视频了| 成人婷99最新| 九九丁香社区欧美激情| 一起草Av| 国产资源91在线| caop在线| 久久婷婷青青| 丁香五月婷婷狠狠色| 草做免费在线观看| 亚洲五月花| 丁香色情五月综合激情| www.婷婷五月天| 成人国产网站在线免费看| 99日逼视频| 开心五月丁香啪| 婷婷性爱影院| 啪啪九九色| 久久中文人妻系列| 久久色亭亭五月天| 日韩在线观看网址| 激情五月婷婷| 日狠狠| 五月天综合色| 色婷婷色综合激情91| 欧美综合激情五月丁香| 久久久99视频| 秋霞网在线免费基地五月婷婷丁香| 99久久久国产大片区| 五月天久久婷婷| 人妻内射一区二区在线视频| 六月婷婷激情图片| 色婷婷成人| 色五月激情五月| 91九色视频| 色色色色色色网站| 国产日产亚系列精品版优势| 色九月欧美| 婷婷五月丁香基| AV大香蕉| 九九色大香蕉| 五月天激情小说欧美激情| 亚洲V国产V欧美V久久久久久| 日韩在线视频网站| 天天爽夜夜爽夜爽精品| 婷婷综合视频| 色情五月天小说| 2020日日干| 五月黄色婷婷| 日日操,夜夜爽| 婷婷五月天小说| 久久婷婷亚洲| 色色狼人综合| 婷婷国产欧美97| 五月丁香综合久久| 日韩操人| 涩五月婷婷| 综合网啪啪| 美女伊人久久| 五月六月伦理| 9久9久9久女女女九九九一九| 噜噜噜噜在线| 国产精品扒开腿做爽爽爽A片唱戏| 18av天堂| 99∨VTV| .操區COm| 日本99久久| 色婷婷手机在线| 中文字幕 中文字幕明步| 国产操碰| 婷婷五月天播| 五月丁香婷婷啪啪| 亚洲精品色色| 99热这里| 婷婷在线操| 亚洲乱码日产精品BD在线观看| 99综合婷婷五月| 可以免费观看的AV| 综合激情五月丁香| 亚洲妇女熟BBW| 综合久久五月| 久热精品免费视频4| 91精品综合久久久久久五月丁香 | 五月丁香大相交| 婷婷涩涩五月天| 综合激情五月婷婷| 婷婷少妇激情| 亚洲色视频| 丁香六月婷婷开心| 狠狠精品干练久久久无码中文字幕| 色综合爱综合| 9视频在线成人网站| 很很干在线视频| 99久99久| 五月丁香免费看| 五月天丁香久久| 99热老网站| 九九热视频网站| 午夜精品人妻无码一区二区三区 | 亚洲天堂AV免费片| 激情性爱五月天网页| 亚洲人妻五月丁香婷婷| 欧美日韩五月婷婷| 欧美大香蕉视频| 婷婷五月在线综合| 69超碰在线| 色色网站| 色欲色天天香综合| 无码激情AAAAA片-区区| 久久精品66| 五月久久婷婷天堂视频| 夜夜骑夜夜撸| 日日肏夜夜干| 色色五月天com| 五月婷六月| 日日操夜夜爽天天天| 婷婷五月天大香蕉在线视频观看| 婷婷五月天成人网| 伊人玖玖网| 久草热在线视频| 天天综合图片| 婷婷伊人75| 99热精品无码| 玖玖资源站视频| 丁乡久久| A片试看120分钟做受视频红杏| 精品三区影院| 五月丁香亭亭操逼| 五月天色五月| 亚洲激情五月天| 九九久久精品| 国内精品免费一区二区2009| 婷婷成年人免费视频| 俺来也综合网精品一区| 国产性爱在线| 一起草无码| 免费99情趣网视频| 天天操五月天| 国产精品久久..4399| 婷婷五月天深爱| 丁香婷婷综合色五月激情国产基地| 亚洲中文字幕av| 国产永久一二一起草| 亚洲视色| 九九热这里只有精品首页| 人妻视频一区而且二区| 中文字幕在线不卡| 成人九九视频| 色婷婷久久综合| 亚洲av电影在线| 六月婷婷av| 亚洲五月情| 九九综合网色全集| www,黄色在线,con| 天天噜噜| 五月色影院| 激情婷婷五月天网址| 激情综合在线播放| 三级av在线| 九九精品自拍| 日韩在线五月天婷婷| 99热最新网址| 欧美月久久| 欧美肉大捧一进一出免费视频| 激情五月天网| 婷婷 激情 五月| 另类精品视频在线观看| 婷婷五月丁香第四色超碰在线| 五月婷婷性爱| 激情六月综合| 欧美噜一噜| 在线视频你懂得| 色涩影院六月丁香| 色视频色综合91| 99热在这里只有精品| 人。妻久久| 91大屁股| 丁香婷婷精品视频| 色婷精品91| 91主播在线| 在线18av | 五月色影院| 亚洲综合无码| 天天天天天日| 天天成人综合视频| 热99视频精品| 99热最新网址| 9精品在线| 99啪在线视频| 婷婷伊人综合| 疯狂做受XXXX高潮A片| 丁香午夜天| 中文久久婷婷| 丁婷婷五月天在线播放| 插插五月天| 狠狠色丁香99| 欧美色图45678| PORNY九色9l自拍视频成人| 香蕉中文在线| av一区免费看| 激情五月婷婷色综合| 亚洲国产精品VA在线看黑人| 伊人久久婷婷| 婷婷久久五月天| 成人短视频在线| z色五月播播久久| 亚洲精品国产精品乱码视99| 婷婷丁香激情五月天色色| 激情久久天天| 天天爽日日搞| 五月天色综合服务平台| 五月网激情| 天天爱天天日| 五月天婷婷三级黄| 综合色久| 久久机热这里只有精品免费视频| 五月丁香91| 九月色婷婷| 五月婷婷色色色| 婷婷色九月| 欧美视频五区| 538任你爽| 日本三级中国三级99| 97资源欧美日韩大香蕉超碰一区| 色停停五月天| 九九视频这里只有精品| 精品人妻久久久久久| 色婷婷小说| 另类激情首页| 99热免费观看| 综合视频久久| 丁香五月影视| 色婷婷五月在线| 天天干天天拍| 久久性操| 六月婷婷中文字幕| 婷婷五月天影院| 成人做爰A片免费看视频| 乱岳熟女50岁| 五月丁香色停停啪啪啪| www.丁香黄色五月天人与| cao视频,现在观看| 人妻Av在线| 婷婷丁香色性爱| 五月天操逼网| 国产 亚洲 在线| 人人草成人视频| 丁香五月综合久久八| 亚洲综合色丁香五月天| www。狠狠干。com| 九月婷婷丁香| 色爱亚洲| WWW.17C亚洲精品| 亚州色婷婷| 久久人妻精品| 狠狠插.com| 男人的天堂在线婷婷| 欧美操逼天堂| 欧亚洲在线高清视频| 色色色综合视频| 欧美综合五月丁香五月天| 开心婷婷五月中文字幕组| 九九热最新视频| w婷婷五月婷婷w| 亚洲超碰在线| 五月丁香婷婷激情图片| 日本毛片内射| 2015好吊操| 亚洲 在线 性爱 | 色婷婷丁香| 五月婷婷日| 久久免费精彩视频| 99久久国产宗和精品1上映| 九九综合88| 超碰99在线| 激情综合网,婷婷五月天| 五月天婷婷激情综合| 神马欧美精| 五月天婷婷av| 夫妇交换刺激做爰| aaa9区免费在线观看| www.99在线| 亚洲色综久久五月| 99热免费| 欧美电影在线播放| www.91在线看| 人妻久久做| 五月婷婷六月丁香色| 亚洲av网站在线观看| 国产欧美精品AAAAAA片| 色色色色区| 色玖玖| 99愛国产| 久久停停超碰| 热热色色五月天婷婷| 中文字幕激情综合| 六月丁香婷婷亚洲中文玖玖| 人妻精品一区二区三区| av人人干| 久久久久久久久久久久63| 九九人人操| 开心激情播播五月天| 天天综合色| 91主播在线| 久久人妻乱子伦| 色在线视频网2025| 成功精品影院| 另类视屏| 日本五月丁香| 99热在线观看精品| 丁香五月花| 天天摸天天肏| 天天色天天爱天天爱天天爱y| 亚洲成人在线播放| 六月婷婷日| 中文精品久久久久人妻不| 国产精品VA在线| 香蕉久久国产AV一区二区| 婷婷趴趴| 日本成人噜噜| 色婷婷五月综合| 亚洲综合在线网站| 思思精品久久艹| 久色网址| 97在线干| 国产六月婷婷| 狠狠爱综合网| 婷婷欧美激情| 五月天婷婷青青| 激情综合亚洲| 狠狠草综合网| 综合色播| 日本视频99| 五月丁六月婷| 91丨九色丨东北熟女| 亚洲av成人在线| 天天天天天久久久久久| 成人综合网站| 婷婷99狠狠躁天天| 精品色色| 婷婷五月丁香99| 三区激情四射av| 五月激情婷婷在线| 久久综合无| 26uuu另类亚洲欧美日本一| 国产伦亲子伦亲子视频观看| 久久与婷婷| 日韩啊啊啊| 丁香五月激情啪啪啪啪| 婷婷丁香五月视频| 五月激情六月丁香| 99色五月| 夜夜骑夜夜操| 激情婷婷五月综合| 五月婷婷综合色拍| 成人做爰高潮A片免费视频| 丁香5月激情网| 91综合色| 欧洲S级在线观看| 丁香婷婷色五月| 在线精品97| 色婷婷亚洲在线| 精品无码久久久久久久久| 亚洲综合视频天天精品| 26uuu最新地址| 亚洲 视频 导航 一区| 婷婷五月色惰| 婷婷色色色| 色色免费网战视频| 久热久69| 丁香婷五月| 狠狠精品干练久久久无码中文字幕| 激情综合五月激情17| 九九九九国产| 伊人激情啪啪| 97操操操| 超碰免费大香蕉| 久久久香| 五月天婷婷爱| 丁香五月情| 伊人五月婷婷| 991精品在线视频| 色婷婷激情| 激情九月婷婷| 亚洲不卡| 大香蕉啪啪啪| 久久视频66| 婷婷爱五月| 久久婷出差欧美色两性综合网| 少妇大叫太大太粗太爽了A片| 五月丁香久久网| 1000部毛片A片免费观看| 天天在线久久综合| 99国产精品白浆在线观看免费| 色97综合婷婷天天色| 激情视频网址| 夜夜操夜夜姧| 欧美精品狠狠色丁香婷婷| 丁香五月婷在线观看| 92久操视频| 色婷婷69| 五月伊人网| 婷婷激情五月| 玖玖九九99| 99九九这里有免费视频| www激情婷婷com| 丁香玖玖| 日韩成人中文字幕| 99在线精品视频免费| 日本欧美成人片AAAA| 五月丁香婷婷激情| 夜色爱爱亚洲| 九九干视频| 操97| 国产av天堂| 丁香美女主播视频在线观看| 香港九九六区八区99| 五月天国产| 婷婷亚洲天堂| 亚洲丁香花色| 99久久免费精品| 色哟哟性爱av| 狠狠色综合网| 婷婷国产日本欧美| 五月天社区| ady狠狠入| 亚洲精品在线视频| 九九热只有这里精品| 婷婷五月天激情小说| 欧洲亚洲欧洲99久久| 99在线爽| 久热黄色| 免费日韩99| 操逼视频网址| 玖玖午夜视频| 麻豆科斗777| 色综合99色| 五月丁香六月激情视频| 中文激情网| www五月婷婷88导航| 激情五月天网站| 久久免费操| 五月婷婷丁香深深爱| 丁香九月色| 五月天婷婷操逼视频| sisi热国产| 大胆伊人久久| 国产亚洲在线| 婷婷激情五月综合丁香社| 久99热在线观看| 五月激情在线| 狠狠狠夜夜夜| 91蜜桃婷婷狠狠久久综合9色| 丰满少妇猛烈A片免费看观看| 六月丁香六月婷婷欧美| 人妻狠狠操| 999热这里只有美国精品| 九九久久99精品免费观看www| www.久久五月天.com| 久久久婷婷色五月资源网| 天天色视频| 老司机伊人| 国产 亚洲 在线| 97碰碰草| 色色色色网| 色婷婷久久综合中文久久一本| 国产67194| 免费V片在线| 丁香婷婷色五月| 99re这里| 婷婷色色综合激情| www.sebowuyue| 日产精品一线二线三线芒果| 丁香五月婷婷大香蕉| 99秘 在线| 4399成人黄A片| 99热最新国内| 天天干,天天日| 五月天天天天天天天天天天天天天天天婷婷婷| 色色日韩网| 亚洲综合在线网站| 少妇AB又爽又紧无码网站| 天天噜| 99爱免费在线视频| 五月丁香六月久久| 亚洲成片在线观看| 2018国产大陆天天弄| 五月婷婷色影院| 日日日日操| 人妻久久做| 人人干女人| 99久久综合狠狠综合久久| 操碰99| 日婷婷| 天天拍夜夜爽| 26UUU| 婷婷五月,偷窥偷拍网| 婷婷丁香色五月天| 亚洲午夜av| 99热免费| 色婷婷激情五月天在线观看| 成人精品一区二区三区四区五区 | 97干在线看| 丰滿爆乳一区二区三区| 色啪网| 亚洲天堂热| 黄色激情五月天| 久99久热只有精品国产99| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 激情综合激情综合| 夜夜做夜夜愛| 激情五月六月丁香|