欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Kata容器存儲(chǔ)選型:virtiofs與9p共享存儲(chǔ)性能實(shí)測(cè)與踩坑記錄

Kata容器存儲(chǔ)選型:virtiofs與9p共享存儲(chǔ)性能實(shí)測(cè)與踩坑記錄 拿到kata container virtiofs這個(gè)測(cè)試任務(wù)時(shí)我的第一反應(yīng)是終于不用再跟9p那套共享存儲(chǔ)死磕了。之前線上跑Kata容器凡是涉及掛載宿主機(jī)目錄的場(chǎng)景基本都踩過9p的坑幾百個(gè)文件的編譯任務(wù)能卡到懷疑人生Java進(jìn)程在共享盤上起不來mmap相關(guān)調(diào)用要么報(bào)錯(cuò)要么性能慘不忍睹。這次virtiofs從原理到壓測(cè)完整跑了一遍中間還撞了幾個(gè)比較隱蔽的穩(wěn)定性問題整理成這篇技術(shù)分析給正在做Kata容器存儲(chǔ)選型的同學(xué)一個(gè)參考。這篇文章不是簡(jiǎn)單夸virtiofs有多快而是把測(cè)試方案、結(jié)果數(shù)據(jù)、原理拆解和踩坑記錄都攤開講。適合正好在調(diào)Kata運(yùn)行時(shí)、計(jì)劃把hostPath遷移到virtiofs、或者在考慮容器和虛擬機(jī)混合存儲(chǔ)方案的工程師。1. 為什么Kata Containers的共享存儲(chǔ)會(huì)選virtiofs從9p的痛點(diǎn)說起1.1 Kata的存儲(chǔ)路徑到底特殊在哪Kata Containers的本質(zhì)是用輕量虛擬機(jī)隔離容器每個(gè)Pod其實(shí)是一個(gè)小虛擬機(jī)有自己的內(nèi)核。這個(gè)設(shè)計(jì)帶來一個(gè)很直接的問題宿主機(jī)目錄要怎么讓虛擬機(jī)里的進(jìn)程看到。普通容器比如純r(jià)unc靠Linux內(nèi)核共享文件系統(tǒng)層namespace一切目錄直接掛進(jìn)來性能接近本地盤。Kata不行它和宿主機(jī)之間的邊界是虛擬化層文件系統(tǒng)必須穿過這條邊界。早期方案是9p九號(hào)項(xiàng)目文件協(xié)議在QEMU里做了個(gè)fsdev后端Kata這邊作為客戶端掛載。聽起來不難對(duì)吧但實(shí)際用起來凡是正經(jīng)業(yè)務(wù)負(fù)載9p幾乎都能把性能打崩。我把線上幾個(gè)真實(shí)案例搬過來測(cè)試問題立刻暴露。1.2 9p的三大痛點(diǎn)mmap、協(xié)議棧、元數(shù)據(jù)先說mmap。Java服務(wù)、Node.js、Nginx這類進(jìn)程對(duì)mmap依賴很重比如JVM加載jar包、共享內(nèi)存映射。9p的mmap實(shí)現(xiàn)沒有真正的內(nèi)存映射底層是靠read/write系統(tǒng)調(diào)用模擬的也就是說每次page fault都要向host發(fā)起一輪完整請(qǐng)求。線上Java應(yīng)用在9p共享盤上偶發(fā)卡頓壓測(cè)時(shí)直接出現(xiàn)長(zhǎng)時(shí)間停頓這本身就是不可接受的。再就是協(xié)議開銷。9p是傳統(tǒng)的request/response模型每個(gè)操作在guest內(nèi)核、QEMU進(jìn)程、host VFS之間來回穿梭。單次操作的延遲比本地文件系統(tǒng)高一個(gè)量級(jí)一旦并發(fā)量上來guest側(cè)的內(nèi)核線程和QEMU進(jìn)程的CPU就會(huì)被協(xié)議處理占滿吞吐上不去。最致命的是元數(shù)據(jù)操作。創(chuàng)建、刪除、stat、readdir這些小文件場(chǎng)景9p基本暴露全部缺陷。我這邊跑過一個(gè)簡(jiǎn)單的編譯模擬測(cè)試創(chuàng)建一萬個(gè)小文件再逐個(gè)stat9p用了將近三分鐘本地盤不到兩秒。這種差距已經(jīng)不屬于調(diào)優(yōu)能解決的范疇是協(xié)議和應(yīng)用場(chǎng)景不匹配。1.3 virtiofs的方向轉(zhuǎn)變從通用協(xié)議到專用虛擬設(shè)備virtiofs和9p最大的區(qū)別在于它不再把自己當(dāng)成一個(gè)通用網(wǎng)絡(luò)文件系統(tǒng)來設(shè)計(jì)而是專門為“宿主機(jī)和虛擬機(jī)之間共享文件”這個(gè)場(chǎng)景定制的虛擬設(shè)備。它走的是virtio設(shè)備框架guest里有一個(gè)內(nèi)核驅(qū)動(dòng)通過virtqueue和QEMU通信。文件操作請(qǐng)求采用FUSE協(xié)議格式但不需要經(jīng)過/dev/fuse設(shè)備而是直接由內(nèi)核模塊對(duì)接virtqueue。host側(cè)則由一個(gè)用戶態(tài)守護(hù)進(jìn)程virtiofsd來接收請(qǐng)求轉(zhuǎn)換成普通的Linux系統(tǒng)調(diào)用訪問宿主機(jī)文件系統(tǒng)。這個(gè)架構(gòu)上的改變把原來QEMU進(jìn)程內(nèi)的協(xié)議處理拆出來了。virtiofsd可以獨(dú)立調(diào)度、獨(dú)立調(diào)優(yōu)而且DAX直通能力也是在virtio框架下才有空間實(shí)現(xiàn)。9p是給Plan 9遺產(chǎn)做的通用文件協(xié)議virtiofs則是給虛擬化場(chǎng)景專門畫的一條新賽道。從Kata 2.x開始默認(rèn)把shared_fs切到virtiofs不是沒有道理的。2. virtiofs的核心機(jī)制拆解DAX緩存與FUSE協(xié)議的配合邏輯2.1 FUSE協(xié)議在virtiofs里被重新實(shí)現(xiàn)了一遍很多人以為virtiofs就是“虛擬機(jī)里掛了個(gè)FUSE”這個(gè)理解不夠準(zhǔn)確。標(biāo)準(zhǔn)FUSE的路徑是用戶態(tài)進(jìn)程 - /dev/fuse - 內(nèi)核FUSE模塊 - 用戶態(tài)daemon。virtiofs把這條鏈路簡(jiǎn)化了guest內(nèi)核的virtio_fs驅(qū)動(dòng)直接扮演FUSE模塊的角色請(qǐng)求封裝成FUSE消息格式通過virtqueue直接發(fā)給host的virtiofsd。這樣做的好處是省掉了一層字符設(shè)備和用戶態(tài)上下文切換。FUSE消息結(jié)構(gòu)本身已經(jīng)被大量文件系統(tǒng)驗(yàn)證過協(xié)議字段齊全特別適合做文件語義的精細(xì)化控制比如lookup緩存、屬性超時(shí)、目錄項(xiàng)的負(fù)緩存。virtiofsd收到請(qǐng)求后翻譯成open、read、write、getattr、readdir這些系統(tǒng)調(diào)用命中宿主機(jī)的VFS和page cache。所以從功能視角看guest里的文件系統(tǒng)體驗(yàn)非常接近本地文件系統(tǒng)從性能視角看合理的緩存策略下很多操作根本不需要穿透到host在guest內(nèi)就能完成。2.2 DAX window為什么能繞開guest page cache這是virtiofs最有技術(shù)含量的部分。普通文件共享路徑里guest讀文件時(shí)數(shù)據(jù)要經(jīng)過guest page cache - virtqueue - QEMU內(nèi)存拷貝 - virtiofsd - host VFS - host page cache。每一層都有開銷尤其是大塊數(shù)據(jù)傳輸內(nèi)存拷貝和CPU占用非??捎^。DAXDirect Access的思路是在虛擬機(jī)地址空間里開辟一塊PCI BAR窗口把host端文件頁直接映射進(jìn)去。guest里的進(jìn)程mmap一個(gè)virtiofs文件時(shí)內(nèi)核可以把guest物理地址直接映射到這塊BAR區(qū)域CPU訪問它就像訪問普通內(nèi)存一樣。真正讀到的其實(shí)是host page cache里的文件頁寫的時(shí)候也直接寫進(jìn)host page cache。整條鏈路省掉了virtqueue通信和QEMU內(nèi)部的拷貝動(dòng)作。當(dāng)然DAX不是萬能的。窗口大小是有限資源由Kata配置里的virtio_fs_cache_size控制映射以2MB大頁粒度對(duì)齊文件多而碎的時(shí)候很可能把窗口耗盡。窗口耗盡后virtiofs會(huì)回退到普通virtqueue路徑性能斷崖下跌。我后面壓測(cè)的時(shí)候就真實(shí)遇到了這個(gè)問題一會(huì)兒細(xì)說。2.3 cache三檔到底怎么選none、auto、alwaysvirtiofs的緩存策略直接決定數(shù)據(jù)一致性和性能表現(xiàn)生產(chǎn)環(huán)境不能只開一個(gè)默認(rèn)值完事。cachenone是所有讀寫都穿透到hostguest不持有page cache。語義最強(qiáng)性能最差適合數(shù)據(jù)庫、分布式存儲(chǔ)這類絕對(duì)不能讀到舊數(shù)據(jù)的場(chǎng)景。cacheauto是Kata的默認(rèn)策略guest可以緩存文件和目錄的屬性以及目錄項(xiàng)但文件數(shù)據(jù)還是要走h(yuǎn)ost。它引入了attr超時(shí)機(jī)制定期向host校驗(yàn)文件變化類似NFS的attribute cache行為。大多數(shù)配置類、日志類共享目錄用auto就夠了。cachealways則是最大緩存策略guest對(duì)文件數(shù)據(jù)和元數(shù)據(jù)都全面緩存寫回延遲交給guest內(nèi)核管理。性能最好但多客戶端共享同一文件時(shí)一致性風(fēng)險(xiǎn)很高。我通常只建議用在單寫多讀、只讀共享這類場(chǎng)景。選擇策略時(shí)記住一句話緩存放guest性能好但一致性弱緩存放host一致性穩(wěn)但性能回調(diào)。沒有絕對(duì)最優(yōu)要按目錄用途拆分掛載。3. 測(cè)試環(huán)境與測(cè)試矩陣設(shè)計(jì)不能只看帶寬和IOPS3.1 壓測(cè)環(huán)境說明我這次測(cè)試用的是一臺(tái)x86服務(wù)器32核、128G內(nèi)存系統(tǒng)盤和數(shù)據(jù)盤都是NVMe SSD。宿主機(jī)內(nèi)核版本5.15系列Kata Containers版本跑過2.4.x和2.5.x兩代QEMU用的7.x系列。普通容器對(duì)照組直接跑在宿主機(jī)上。測(cè)試方式是用Kata拉起一個(gè)完整的容器在里面掛載virtiofs共享目錄然后跑各類基準(zhǔn)和模擬負(fù)載。對(duì)照組則把Kata的shared_fs切回9p同樣基準(zhǔn)再跑一遍。最后還有一個(gè)本地盤的基準(zhǔn)值作為底限參照。這個(gè)環(huán)境不算特殊理論上能在大部分主流服務(wù)器上復(fù)現(xiàn)。3.2 為什么拒絕只跑fio如果只跑fio的順序讀、順序?qū)憊irtiofs和9p的差距并不會(huì)顯得特別夸張因?yàn)轫樞騃O更多受限于設(shè)備本身。真實(shí)業(yè)務(wù)里共享目錄的痛點(diǎn)基本都在隨機(jī)小文件、元數(shù)據(jù)操作和應(yīng)用對(duì)mmap的依賴上這些恰好在純fio簡(jiǎn)單模式下會(huì)被掩蓋。所以我設(shè)計(jì)了九個(gè)場(chǎng)景覆蓋典型業(yè)務(wù)負(fù)載方向大文件順序讀寫、4K隨機(jī)讀寫、元數(shù)據(jù)密集操作、小文件并發(fā)創(chuàng)建刪除、mmap隨機(jī)訪問、帶fsync的數(shù)據(jù)庫模擬、多線程混合讀寫、跨容器同目錄并發(fā)訪問、git倉庫和代碼編譯這種高頻小IO場(chǎng)景。每個(gè)場(chǎng)景都有明確的工具、指標(biāo)和模擬目標(biāo)。工具方面用了fio做塊IO和混合負(fù)載sysbench做文件IO模擬git和編譯任務(wù)模擬真實(shí)開發(fā)場(chǎng)景Python腳本控制小文件并發(fā)。指標(biāo)不只記錄帶寬和IOPS還記錄了P99延遲、CPU占用率、耗時(shí)總量因?yàn)樯a(chǎn)上更關(guān)心長(zhǎng)尾延遲。3.3 Kata配置改動(dòng)細(xì)節(jié)在Kata的configuration.toml里核心配置就三塊shared_fs virtio-fs virtio_fs_cache_size 8192 virtio_fs_extra_args [-o, cacheauto]shared_fs指定使用virtiofsvirtio_fs_cache_size控制DAX窗口大小單位MBextra_args里可以傳virtiofsd的參數(shù)。對(duì)照組我把shared_fs改回9p即可其他參數(shù)保持不動(dòng)。這里特別提醒一點(diǎn)修改cache策略后Kata需要重啟運(yùn)行時(shí)和Pod才能生效不能熱更新。測(cè)試之前務(wù)必確認(rèn)running Pod已經(jīng)被新配置接管否則結(jié)果會(huì)串。4. 性能實(shí)測(cè)對(duì)比九種場(chǎng)景下virtiofs與9p的真實(shí)差距4.1 結(jié)果總覽virtiofs全面領(lǐng)先但仍不是本地盤所有場(chǎng)景我都以本地盤作為100%基準(zhǔn)對(duì)比9p和virtiofs的表現(xiàn)。表格里的數(shù)據(jù)是我這個(gè)環(huán)境下的實(shí)測(cè)值用來定性和看趨勢(shì)沒問題換到不同硬件會(huì)有浮動(dòng)但比例關(guān)系基本可以參考。測(cè)試場(chǎng)景9p相對(duì)性能virtiofs相對(duì)性能備注順序讀大文件35%88%virtiofs接近本地盤順序?qū)懘笪募?2%64%寫路徑開銷明顯4K隨機(jī)讀9%72%9p災(zāi)難級(jí)表現(xiàn)4K隨機(jī)寫7%41%寫放大問題需關(guān)注元數(shù)據(jù)密集操作3%58%9p基本不可用小文件并發(fā)創(chuàng)建刪除4%52%目錄項(xiàng)緩存有作用mmap隨機(jī)訪問失敗/極慢67%DAX直通效果明顯帶fsync的數(shù)據(jù)庫模擬2%38%fsync是最大瓶頸混合讀寫業(yè)務(wù)負(fù)載12%61%綜合表現(xiàn)參考9p在4K隨機(jī)讀上只有本地盤的9%這解釋了很多線上卡頓。virtiofs在隨機(jī)讀、mmap上表現(xiàn)最好幾乎追上本地盤但隨機(jī)寫和fsync場(chǎng)景還是明顯落后這反映了寫路徑的固有成本。4.2 好消息和壞消息哪些場(chǎng)景能放心用先說好消息。隨機(jī)讀、順序讀、mmap三個(gè)場(chǎng)景virtiofs表現(xiàn)非常接近本地盤尤其是DAX直通模式下讀取大文件幾乎沒有協(xié)議開銷。這類負(fù)載包括代碼目錄共享、模型文件讀取、只讀配置加載、日志歸集讀取直接用virtiofs放心。元數(shù)據(jù)操作方面virtiofs比9p提升了一個(gè)數(shù)量級(jí)。它借助FUSE協(xié)議的屬性緩存和目錄項(xiàng)緩存在cacheauto下表現(xiàn)已經(jīng)可接受。代碼編譯這種大量創(chuàng)建臨時(shí)文件再刪除的場(chǎng)景virtiofs跑下來耗時(shí)大約是本地盤的1.8倍9p則要慢將近二十倍。壞消息集中在寫路徑。順序?qū)懙南鄬?duì)性能只有64%隨機(jī)寫只有41%fsync場(chǎng)景更是掉到38%。寫操作在DAX模式下直接寫host page cachevirtiofsd后續(xù)還要維護(hù)一致性這里面有額外開銷。再加上guest和host兩層page cache寫放大問題在隨機(jī)小寫時(shí)比較明顯。4.3 并發(fā)上去了性能反而掉下來測(cè)試中我特別觀察了并發(fā)線程數(shù)從1逐步增加到32時(shí)的表現(xiàn)。virtiofs在小并發(fā)下表現(xiàn)優(yōu)秀但并發(fā)超過一定閾值后性能曲線先漲后跌出現(xiàn)了明顯的吞吐回退。host側(cè)的virtiofsd進(jìn)程CPU占用率一路上漲最終成為瓶頸。9p在同樣并發(fā)測(cè)試中更慘線程數(shù)即使只有8就出現(xiàn)大量的IO等待整個(gè)容器幾乎卡死。virtiofs至少能撐到更高并發(fā)但也不是無限可擴(kuò)展的。這個(gè)問題在Kata容器密度較高、多個(gè)Pod同時(shí)掛載相同共享目錄時(shí)會(huì)放大。后來排查發(fā)現(xiàn)virtiofsd在較老版本里線程模型是受限的大量并發(fā)請(qǐng)求集中在同一個(gè)工作線程上處理CPU單核跑滿后其余請(qǐng)求全部排隊(duì)。官方后來的實(shí)現(xiàn)逐步改進(jìn)了并發(fā)模型但如果你還在跑老版本壓測(cè)時(shí)最好把并發(fā)摸清楚別被小并發(fā)數(shù)據(jù)迷惑。5. 穩(wěn)定性與異常場(chǎng)景踩坑記錄鎖語義、崩潰恢復(fù)和緩存一致性5.1 多容器同目錄并發(fā)flock能用但寫緩存會(huì)打架測(cè)試時(shí)我用兩個(gè)Kata容器同時(shí)掛載同一宿主目錄通過flock對(duì)同一個(gè)文件做互斥寫。實(shí)測(cè)下來flock在virtiofs上是能工作的因?yàn)関irtiofsd最終在host上以普通文件方式打開文件所有鎖都匯聚到host內(nèi)核處理跨虛擬機(jī)的鎖語義是可靠的。但有個(gè)問題容易踩坑當(dāng)兩個(gè)容器都用cacheauto或always時(shí)guest各自保留文件數(shù)據(jù)緩存。一個(gè)容器寫入數(shù)據(jù)后另一個(gè)容器可能在一段時(shí)間內(nèi)看不到最新內(nèi)容即使鎖已經(jīng)釋放。鎖解決的是寫互斥并不解決緩存刷新。這在分布式任務(wù)共享狀態(tài)文件時(shí)會(huì)帶來詭異問題。我的處理方案是涉及多客戶端讀寫的目錄強(qiáng)制用cachenone寧可比性能也不賭一致性。5.2 fuse request timeout導(dǎo)致的I/O error高并發(fā)壓測(cè)時(shí)guest里偶爾報(bào)出I/O error應(yīng)用直接異常退出。起初以為是磁盤問題后來反復(fù)復(fù)現(xiàn)發(fā)現(xiàn)是FUSE請(qǐng)求超時(shí)機(jī)制在起作用。當(dāng)virtiofsd處理不過來guest發(fā)出的請(qǐng)求長(zhǎng)時(shí)間得不到響應(yīng)guest內(nèi)核FUSE模塊就會(huì)標(biāo)記連接異常并返回EIO。這個(gè)問題的觸發(fā)點(diǎn)有兩個(gè)一是virtiofsd單線程瓶頸二是guest側(cè)請(qǐng)求隊(duì)列積壓。我臨時(shí)把并發(fā)和iodepth降下來才能穩(wěn)定跑完測(cè)試后來調(diào)整了virtiofsd的并發(fā)配置并監(jiān)控host側(cè)CPU才把它壓住。碰到I/O error時(shí)不要急著懷疑文件系統(tǒng)損壞先看host側(cè)virtiofsd進(jìn)程是不是已經(jīng)CPU跑滿再檢查guest內(nèi)核日志里的fuse超時(shí)記錄。有條件的情況下?lián)Q用新版運(yùn)行時(shí)并適當(dāng)增大FUSE超時(shí)配置能有效規(guī)避這類假故障。5.3 mmap MAP_SHARED在業(yè)務(wù)里的真實(shí)表現(xiàn)DAX直通對(duì)mmap的支持是virtiofs相對(duì)9p的最大優(yōu)勢(shì)之一。我在測(cè)試?yán)镉脙蓚€(gè)進(jìn)程共享一個(gè)映射文件做狀態(tài)同步運(yùn)行良好互相修改立即可見性能接近本地共享內(nèi)存映射。但分布式場(chǎng)景下要清醒認(rèn)識(shí)一點(diǎn)mmap寫的數(shù)據(jù)先落在host page cache真正落盤要等host內(nèi)的pdflush機(jī)制觸發(fā)。如果host突然斷電所有落在page cache里但未寫盤的數(shù)據(jù)都會(huì)丟失。9p時(shí)代大家習(xí)慣了慢反而不會(huì)丟太多virtiofs快了數(shù)據(jù)丟失窗口也變大了。數(shù)據(jù)庫和消息隊(duì)列這類數(shù)據(jù)不能丟的組件哪怕virtiofs支持mmap也不建議把數(shù)據(jù)目錄放上來。mmap共享文件做狀態(tài)同步、鎖協(xié)調(diào)這類非關(guān)鍵數(shù)據(jù)場(chǎng)景才是它的正確戰(zhàn)場(chǎng)。5.4 數(shù)據(jù)庫類負(fù)載能跑但別勉強(qiáng)我用sysbench在virtiofs上模擬了數(shù)據(jù)庫IO結(jié)果能跑但絕不驚艷。O_DIRECT支持方面測(cè)試下來virtiofs在打開文件時(shí)會(huì)傳遞對(duì)齊的direct IO請(qǐng)求能正常工作但隨機(jī)寫和fsync的短板仍然存在。數(shù)據(jù)庫的崩潰恢復(fù)高度依賴fsync速度和寫順序這恰好是virtiofs最弱的地方。如果業(yè)務(wù)方堅(jiān)持把MySQL這類組件放到共享目錄我的建議是數(shù)據(jù)目錄用塊存儲(chǔ)或本地盤只有配置文件、臨時(shí)目錄這類非關(guān)鍵數(shù)據(jù)放到virtiofs。拿virtiofs扛數(shù)據(jù)庫性能上去了但可靠性在下降屬于拿核心資產(chǎn)換便利不劃算。6. 生產(chǎn)配置建議與最后的選型邊界6.1 我們線上最終采用的Kata配置經(jīng)歷了這輪測(cè)試后我線上環(huán)境給出了一個(gè)相對(duì)保守但穩(wěn)定的配置方案shared_fs virtio-fs virtio_fs_cache_size 4096 virtio_fs_extra_args [-o, cacheauto]cache選auto保證默認(rèn)情況下元數(shù)據(jù)有緩存文件數(shù)據(jù)由host控制一致性。如果業(yè)務(wù)目錄是單寫多讀而且對(duì)性能有極致要求再單獨(dú)加一份extra_args切換成cachealways。DAX窗口我設(shè)了4G。窗口太大會(huì)占掉guest內(nèi)存地址空間太小在大文件并行讀寫時(shí)很快耗盡回退到普通路徑。4G對(duì)大部分共享目錄已經(jīng)夠用。如果你需要看具體填充情況可以在guest里用mmap映射后觀察后端命中的比例但我實(shí)測(cè)很難拿到準(zhǔn)確數(shù)字更多是靠壓測(cè)判斷窗口是否夠用。6.2 掛載規(guī)劃不同用途目錄用不同策略生產(chǎn)上不建議一個(gè)共享目錄包打天下。我現(xiàn)在的做法是把共享存儲(chǔ)按用途拆成三個(gè)掛載點(diǎn)配置和只讀數(shù)據(jù)用cachealways追求最快的重復(fù)讀。代碼目錄和工作目錄用cacheauto兼顧性能和一致性??缛萜鲄f(xié)作的狀態(tài)目錄用cachenone保證任何寫入都能被其他消費(fèi)者盡快看到。三種目錄落在相同的物理路徑池里只是掛載參數(shù)不同。這樣拆下來每一類目錄都能在自己的策略下達(dá)到最優(yōu)狀態(tài)也避免了緩存語義互相干擾。6.3 什么場(chǎng)景還是別用virtiofsvirtiofs不是萬能的。數(shù)據(jù)庫數(shù)據(jù)目錄、分布式存儲(chǔ)WAL日志、內(nèi)容尋址存儲(chǔ)的臨時(shí)寫緩沖這幾類對(duì)寫延遲和fsync可靠性要求極高的場(chǎng)景我仍然堅(jiān)持用本地塊設(shè)備或者專門的存儲(chǔ)方案。虛擬化文件共享層天然存在協(xié)議轉(zhuǎn)換和雙緩存無論怎么優(yōu)化都不可能比直通塊設(shè)備更穩(wěn)。同樣如果你需要多個(gè)Kata虛擬機(jī)強(qiáng)一致地共享同一個(gè)文件并且要求實(shí)時(shí)可見virtiofs即使配cachenone也不是最佳選擇。這種場(chǎng)景最好的歸宿仍然是分布式存儲(chǔ)用戶態(tài)協(xié)議或者直接共享塊設(shè)備由guest自己跑文件系統(tǒng)。6.4 測(cè)試過程中值得繼續(xù)深挖的方向virtiofs還在快速演進(jìn)。新的virtiofsd實(shí)現(xiàn)改了線程模型高并發(fā)吞吐相比早期版本有明顯提升。DAX機(jī)制上也有針對(duì)不同文件粒度做單獨(dú)緩存控制的嘗試未來配置會(huì)更靈活。如果后續(xù)還有精力我打算做兩件事一是把virtiofs和宿主機(jī)本地存儲(chǔ)做一層組合只把熱數(shù)據(jù)放共享盤冷數(shù)據(jù)回本地看看能否兼顧共享和性能二是針對(duì)多Kata實(shí)例同時(shí)掛載同一大文件做并發(fā)模式測(cè)試把剛才提到的緩存一致性問題量化成工程指標(biāo)。這兩個(gè)方向弄明白Kata共享存儲(chǔ)這塊就算徹底盤清楚了。寫這篇分析的時(shí)候我回想最開始被9p折磨的日子還是要感慨一句virtiofs出現(xiàn)之后Kata Container的共享目錄體驗(yàn)確實(shí)是質(zhì)的飛躍。但所有性能優(yōu)勢(shì)都必須建立在正確的cache策略和使用邊界之上。把benchmark數(shù)據(jù)當(dāng)成衡量標(biāo)準(zhǔn)之前先想清楚你的業(yè)務(wù)到底在哪個(gè)象限里這才是在生產(chǎn)環(huán)境真正穩(wěn)妥的做法。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色婷婷综合网站| 久热成人| www激情| 丁香五月性爱| 久久草婷婷丁香网站| 欧在线一区| 日本色色网| 99re思思精品在线观看| 色色色色欧洲| 91打屁股视频网站| 亚洲精品九九| 婷婷综合久久综合| 九九视频在线观看视频6| 五月婷婷导航| 思思精品热在线| 婷婷五月天综合久久| 亚洲V国产V欧美V久久久久久| 综合在线色婷婷| 婷婷天天综合| 插插插丁香五月婷婷| 97超级操操| 成熟妇人A片免费看网站| 天天影视天天爽天天草| ji'qi'luan'ren'lun| 黄网在线免费观看| 久久婷五月| yw.av| 麻豆AV一区二区三区| 婷婷玖玖五月天| 五月青青草综合| 97婷婷色| 亚洲激情在线| 金桔一区二区ab地址| 色色网91| 色五月欧美| www,黄色在线,con| 曰韩五月丁香色婷婷无码| 色99视频| 国产日韩欧美| 亚洲性爱AV在线| 久久曰曰| 五月激情小说| 日日夜夜天天| 中文字幕无线久必| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 丁香六月亚洲| 91九色在线观看免费| 亚洲乱码日产精品BD| 超碰久热| 丁香五月婷婷亚洲综合精品| 色亚洲婷婷| 中文字幕av久久爽一区| 91热久| 色色网站观看| 亚洲精品午夜国产va久久成人| 天天天久久久| tingtingzonghewang| 凹凸探花电影| 六月色色婷婷| 亚洲色情在线| 99视频久久| www.夜夜操| www.色婷婷.com| 老司机日日夜夜青草| 激情五月婷婷老师| 天天插天天射| 色播丁香| 婷婷视频在线| 性色综合网| 婷婷五月丁香人妻无码高清| 日韩另类在线观看| 五月天日日操夜夜操 | 婷婷五月天com| 六月婷婷无码| 亚洲色A| 99热成人在线观看| 干一干xxxx| 日本三级中国三级99| 97极品在线| 二色AV| 色噜噜婷婷| 五月天天综合| 青青草视频免费观看| 熟女人妻一区二区三区免费看| 婷婷色网| 99热999| 久久色9| 91九色小视频| 激情婷婷丁香五月| 亚洲欧美婷婷五月色综合| 久久亚洲天堂| 国产成人精品一区二三区熟女在线| 亚洲国产精品二二三三区| 中文字幕婷婷9月天| 亚洲日本三级片| 99热高清在线| 婷婷亚洲激情在线观看视频| 婷婷五月丁香网| 丁香五月天婷婷中文字幕| 婷婷的99视频网站| 99热8在线| 亚洲操B视频| 丁香六月啪啪| WWW.婷婷| 国产av一区二区三区| 色九九中文字幕| 狠狠 久久| 久久久久久久97| 久久一热免费视频| 久久婷丁香五月| 亚洲激情五月| 日韩精品一品二区三区的使用体验 | WWW.久久久久久久久久久久久| 啪啪99| a久久| 丁香99| 日韩操逼大片| 婷婷综合五月天亚洲综合| 丁香九月综合| 亚洲天堂制| 99ri精品视频在线观看| av网站中文| 中文字幕成人影视| 久热伊人91| 无码人妻电影| www.99热这里精品| 丁香99| 99综合| 91午夜激情| a在线观看| 色五月中文字幕| 色欲婷婷夜夜| 欧美六月| 五月天另类图片区99| 99热这只有| 六月婷婷综合激情| 91色碰| 99热这里只有精品13| 久操福利| 99爱免费在线视频| 五月婷婷久久爱| 五月天,激情四射,婷婷频道| 色色免费网站| 色婷婷电影| 99久久精| 人操综合| 日本大人久久| 人妻VideOssS人妻| 亚洲婷婷月丁香五月| 五月天激情网图片| 97人人爱人人操| av在线色五月丁香婷区久| 婷婷五月天播播| 一区视频网站| 婷婷久久爱| 狠狠色五月激情| 91视频精品99| 欧美激情伊人| 国产亚洲精品久久一区二区三区| ww超碰在线| 色播五月丁香综合| 99精品成人无码A片观看金桔| 婷婷五月,偷窥偷拍网| 五月天社区狠狠| 99热在线看片| 五月天六月丁香| 婷婷的五月天另类视频| 激情五月婷婷五月| 色99视频| 久在线综合69| 激情五月婷婷色综合| 9久精品视频| 五月婷婷啪啪| 久久精品噜噜噜成人A∨色欲| 狠狠五月天激情| 五月婷婷丁香| 密乳视频| 99热99思午夜精品| 色99综合视频| 激情五月最新网址| 丁XX 成人| 色婷婷影音| 橾逼网| 婷婷五月另类网站| 婷婷成人AV| 久热精品在看| 色综合久久88色综合天天99| 久青青久| 日本精品人妻无码77777| 丁香狠狠| 精品热青草| 婷婷五月天综合蜜桃| 激情二色月| 五月丁香六月婷婷啪啪| 夜精品无码A片一区二区蜜桃| 一区二区你懂的| 97av在线视频| 四色五月婷婷| av在线免费播放观看| 欧美日本黄色| 婷婷色av| 欧美激情综合色综合啪啪五月| 九九激情| 五月www| 成人综合视频在线| 黄网在线免费观| 人人爱干人人爱草| 无码人妻AV久久久一区二区三区| 六月 丁香 视频| 激情五月天色色色| 久久五月婷| 中文资源在线a | 狠狠香蕉| 色婷六月| 五月丁香花激情综合网| 99热在线播放| 99色色网| 波多野结衣AV无码Porn| 另类视频丁香五月| ..真实国产乱子伦对白在线_欧| 国产资源在线视频| 久热这里只有精品视频免费观看| 成人无码髙潮喷水A片| 91精品久| 婷婷五月综合在线| 五月丁香狠狠| 77799热| 国产毛片欧美毛片久久久| 91九色无码内射| 丁香婷五月天| 北京熟妇搡BBBB搡BBBB| WWW,激情五月天,COM| 婷婷中文字幕网| 99热精品在线观看| 国产美女精品| 婷婷五月激情综合| 黄色短视频在线观看| 婷婷亚洲影院| 久热网站| 激情丰满熟妇五月| 91色噜噜狠狠狠狠色综合| 成人做爰A片免费看视频| 五月六月激情| 色情五月天se| 日本熟妇精品99| 亚洲精品一区中文字幕乱码| 91九色在线| 五月丁香婷婷伊人| 五月天另类小说亚洲| 婷婷五月天小说网| 五月激情四射婷婷丁香| 超色欲天天| 极品人妻VIDEOSSS人妻| 爱射综合| 99狠狠| 激情影院免费视频婷婷五月天| 在线不卡中文字幕| 99久99久| 久久婷婷九月国产精品| 夜夜干天天操| 99啪啪视频| 久8色色| 很很干天天干| 亚洲av电影网站| 互月天综合| 亚洲深喉AV| 337p午夜影院| 欧美婷婷丁香社区在线播放| 情五月亚洲婷婷| 九九性视频| 五月天婷婷一起草| 9精品久久999| 色婷婷在线视频综合| 久久综合九色综合97婷婷| 亚洲AV激情五月综合网| 丁香五月色欲| 色婷婷在线视频久| 色五月激情五月丁香五月婷婷啪啪综合| 久Se视频在线观看| 色七七九九| AV在线不卡网站| 亚洲欧洲中文日韩久久AV乱码| 99热亚洲| 99久久综合网| 色999五月色| 久婷婷五月综合欧美| 亚洲精品V天堂中文字幕 | 久综合九综合99| 9久热精品在线视频| 91啪啪视频| 五月婷婷激情中文字幕| 婷婷五月天亚洲五码| 99无吗| 亭亭五月天黑人2014| 99热国产国产| 亚洲久久婷婷丁香五月天| 激情五月图| 五月天丁香六月综合| 成人永久免费视频在线观看| 色综合视频| 五月婷综合激情| 密视AV综合在线| 亚洲成人av在线观看| 97日本操| 五月丁香婷婷综合网色欲| 9999热免费视频视频| 五月天婷婷色播综合在线| 青青草免费公开视频| 五月大香蕉| 五月婷婷丁香| 激情五月婷婷| 亚洲精品白浆高清久久久久久| 久久人妻熟女一区二区| 日操夜操天天操不卡| 丁香六月无码播放| 丁香五月婷婷大香蕉| 91狠狠综合网| 久久婷婷综合五月天| 欧美日韩999| 第五婷婷伊人丁香色| 综合性爱网| 991国产精选视频在线播放下载| 9久久久久久久久久久| 另类A片| 久久婷婷五月综合97色一本| 狠狠色狠狠鲁| 这里只有精品视频免费在线观看| 九色自拍| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 亚洲九区| 天天激情站| 欧美人人草草| 操一区| 激情网五夜婷婷| 99热在线中文字幕| 婷婷狠狠操| 91精品综合久久久久久五月丁香| 欧美在线| 成人午夜免费电影| 婷婷天天舔| 人人摸人人干人人做| 亚洲色热| 青草青草视频2免费观看| 久草婷婷在线| 婷婷五月色情天| 九九热九九热精品| 99亚洲视频| 99精品网| 伊人网啪啪| 久久婷婷成人视频| 狠狠干综合| 九九热在线精品视频| 天天色综合网吨吧| 亚洲网站999| a久久| 99久久五月婷婷| 99re在线视频精品,这里只有精品18,| 五月亭亭综合五码| 色婷婷www| 五月丁香久久久| 噜噜操操| 伊人狠狠干| 大香蕉久艹| 午夜激情综合| 99爱精品视频| 色婷婷五月天天天做| 在线天堂9| 91窝窝| 欧洲色| 丁香大香蕉| 嫩草乱码一区三区四区| 天天色域综合网| 久热这里只有精品在线观看 | 久久婷婷五月综合色播| 色情五月天视频网| 婷色五月| 久99视频在线观看| WWW99热| 在线亚洲综合网| 久久AV无码精品人妻系列试探| 3DAV亚洲香蕉久久 一区二区| 色婷婷性爱| 亚洲色婷婷| 超碰人人干| 三级三久久线久久99久目本WW| 99re久热只有精品6在线直播| 人妻视频在线| 天天爽天天摸天天爱| 丁香色五月 97干| 97在线干| 五月丁香六月婷婷激情视频在线观看免费| 国产乱子轮XXX农村| 亚洲成人一区| www.婷婷六月天| 欧美婷婷色五月网| 亚洲五月天婷婷综合| 五月丁香在线| 丁香婷婷五月天校园春色| 久热99热| 丁香六月激情综合网| 亚洲中文乱字字幕线在永久| 五月婷在线| 久热久| 人人摸人人澡人人| 激情五月激情综合俺也去婷婷小说| 婷婷色色欧美| 六月婷婷av| 激情五月天啪啪| 日韩成人电影在线播放| 超碰在线人人| 天天做天天爱天天日| 深爱激情中文五月天av| 亚洲精品操一操、噜一噜、摸一摸、爽 | 日日干五月天婷婷| 玖月婷婷爱丁香| 五月天激情综合网站| 五月丁香猫咪久久婷婷综合视频激情四射网入口| 久久婷婷五月丁香网| 激情图片婷婷| 97丁香花五月天激情小说| 国产成人99久久亚洲综合精品| 大香蕉天堂色| 99色天堂| 熟女色专区| www91久久| 五月丁香六月婷婷亚洲视频| 91人人妻人人操人人爽| 天天综合网站| AV在线大香蕉| 久久曰曰| 狠狠色激情综合| A片天天| 丁香五月av在线| 大香蕉丁香婷婷| 美英法精品无码免费视频| 午夜在线成人网站免费观看| 思思国产99| 色色色色区| 五月天伊人久久久久| 操逼三区| 丁香五月在线观看| 26uuuu精品一区二区| 风流少妇A片一区二区蜜桃| 色婷婷丁香AV综合| 激情骚五月| 伊人五月婷婷| 久久国产色| 欧美特大片黄| 狠狠se| 丁香五月激情宗合网| 久久久久婷婷五月热综合| 精品少妇蜜臀91| 丁香五月婷婷视频| 久久性爱视频| 婷婷五月丁香综合桃花色网| 在线国产精品色| 人人爽人人爽人人爽人人爽| 9月色婷婷| 噜噜视频| 99欧美三级视频| 久久激情五月| 亚洲综合在线丁香五月| 欧美99| 色综合爱综合| 991国产精选视频在线播放下载| 99热这| 草草色情综合网| 亚洲视频国产一区| α久久| 极品另类| 激情图片亚洲| 内射综合网| 五月婷丁香亚洲| www,com,五月色色| 色婷婷很很丝袜| 激情99| 久久96热| 激情六月婷婷| 五月天激情四射网站| 午夜 外网 精品 在线| www.激情| 丁香综合日产精品久久| 激情丁香婷婷| 五月婷婷激情视频| 国产日韩欧美性生活| 色五月婷婷五月天| 91九九热| 五月深爱婷婷| 婷婷五月天精品| 久在线综合69| 婷婷涩涩网| 五月丁香六月色| 久久大国产香蕉| 九九精品综合| 激情五月综合| www.夜夜爱.com| 精品99这里有| 激情综合九月| 东北黄色一级| 第四色首页| 激情综合五月婷婷| 婷婷色在线| 五月婷亚洲精品| 久久国产一区二区三区| AV伊人青草丁香六月| 九九热视频在线观看| 九九99九九精品免费| 婷婷九月色| 婷婷色综合网日韩国产| 91婷婷搞| 日日干日日| 色五月色五天色情网| 丁香五月天在线观看视频| 欧美碰碰碰| 成人综合视频网址| 天天干,夜夜爽| 久久精品4| 九热视频| 天天婷婷色六月| 五月花成人网| 综合狠狠干| 九九色中文| 超碰在线观看9| 四季日韩AV无码综合| 国产又色又爽又黄又免费| 色噜噜婷婷| 色狠狠综合网| 91色噜噜狠狠狠狠色综合| 啪到高潮激情丁香五月| 国产真实乱了老女人视频| 俺也去婷婷五月天第五色| 97操在线视频| 亚洲美女高潮久久久久久69| 日本久久人人| 久久婷婷综合基地| 超碰激情网| 999热视频精品99免费在线| 日本二级毛片二级毛片| 男人的天堂婷婷色五月| 日B日潘金莲BB| AV大片在线播放| 日木WWW视频| 国产又黄又爽又色的免费| 噼里啪啦在线观看免费完整版视频| www.婷婷五月| 色5月婷婷| 色9999日韩国产| 俺去也婷婷| 色色色色色色色色综合网| caop在线| 久久激情视频99| 综合网色| VA国产在线综合网站| 中文字幕丰满乱孑伦无码专区| 久久久久久天天日天天爱| 66精品国产成人| 亚洲avjiujiur91| 五月婷婷中文网| 少妇性按摩无码中文A片| 激情小说五月丁香在线视频观看视频| 丁香五月av| 婷婷六月天精品| AV在线不卡播放| 九久9精品| 色5月婷婷色| 久久久www| 五月天激情综合网站| 丁香激惜男女| 五月停停激情网| 婷婷综合五月天亚洲综合| 99精彩视频| 色色婷婷丁香| 国产伦亲子伦亲子视频观看| 亚洲人成网站999综合| 久久婷婷六月综合综合| AA丁香综合激情| 在线五月色播| 亚洲这里只有精品| 丁香六月婷婷综合| 国产精品电| 91丨九色熟女丨首页| 97综合在线| 无码毛片992367| 操操操Av| 婷婷综合五月天| 欧洲综合一区| 欧洲激情五月天婷婷| 中文字幕婷婷9月天| 播五月丁香三月婷婷| 五月婷婷色色色| 成人综合网站| 婷婷国产成人| 丁香五月天信号| 丁香六月天| 伊人九九68| 91打屁股视频网站| 激情图片婷婷| 人人摸人人| 九九偷拍网| 色婷婷狠狠| 99免费视频网| 色婷五月| 婷婷操无码| 在线成人网址| 久久婷婷成人视频| 色吊丝99| 这里只有精品视频| 婷婷性爱五月天| www.主妇. com| WWW.五月com| 欧美日朝成人| 久久黄色片| 久久久久妻| a免费在线| 久久久久婷婷| 桃色激情网| 亚洲VA欧美VA| 色婷婷久久综| 色色五月天 亚洲| 激情五月天色网站| 噜噜久| www.五月天社区| 中国女人做爰A片| 日日操日日撸| 天天综合干| 中文字幕AV网址| 97午夜一区二区| 亚洲激情综| 婷婷在线免费| 激情99热| 9福利性视频欧美| 9久热精品在线视频| 人人操97| 国产精品久久7777777精品无码| 99黄色在线视频精品熟女| 亚洲精品久久久久久久久久吃药| 99热9999| 亚洲精品激情| 手机看片日日做夜夜| 91大神操美女| 91窝窝| 国产成人AV不卡| 九九久久99| 日日.c| 电影爱拉战争免费观看| 97热视频| 国产免费一区二区三州老师F1F1| 六月婷婷九月丁香亚洲综合| www.日日日.com| 大香蕉婷婷丁香天堂AV| 99亚洲精美视频在线观看| 九九在线热九九在线热99热| 伊人五月天| 久久久8| 99热这里只有精品首页| 国产精品激情五月天色婷婷| 丁香女人五月天| 色婷操逼| 熟女91九色| 六月婷婷青青青视频| chaopengdaxiangjiao| www.夜夜操| 久热无码| 欧美日综合| 99热日| 五月婷亚洲精品| 午夜无码精品色综合久久| 免费AV黄在线播放| 狠狠搞五月天| 欧洲激情网站| 青草网在线观看| 婷婷午夜丁香| 五月激情综合网| www.射伊蕉婷婷| 色情五月| 伊人久久综合| 色色色色色五月丁香| 丁香五月婷综合| 北条麻妃伊人| 日本久久极品| 丁香五月www| se.久久视频在线观看| 综合激情九月婷婷,激情综合婷婷中文字 | 色噜噜狠狠一区二区三区| 亚洲第一视频 久久| 丁香五月婷婷骚视屏| 天天射天天射一道本日本社区| 热99视频精品| 五月丁香婷婷人体| 色色亚卅| 亚洲欧美999| 五月的色婷婷高潮| 五日激情综合| 色婷操逼| 五月激情站| 久久小视频免费| 激情综合女人网五月播播| 五月天国产成人| 这里只有在线精品| 婷婷五月天色网久| 天天摸色吧天天摸色吧| 九九在线精品| 色久女| 第四色五月天| 色婷婷五月天| 尤物一区二区| 一婬一伦一区二区三区| 99熟女啪啪视频| 激情网第九色| 成人婷婷桔色| 99这里只有精品在线观看| 激情五月,激情综合网| 五月丁香五月综合欧美| 九九色热| 五月天网址在线刘玥| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 婷婷久久综合| 婷婷丁香18| 久久一级免费黄色片| 超碰色婷婷| 亚洲性受XXXX五月丁香| 五月激情黄色小说| 婷婷天天婷婷天天澡| 丁香五月色五月| 丁香五月天婷婷激情| 国产XXXX搡XXXXX搡麻豆| 婷婷五月综合丁香久久| 欧美性爱一区| 天天草婷婷五月| 五月婷婷AV| 超碰超碰在线| 夜夜嗨一区二区三区直播内容| 五月丁香六月婷婷的女人| 在线成人网址| 婷婷丁香激情| 六月丁香综合| 强辱丰满人妻HD中文字幕| 久久精品噜噜噜成人A∨色欲| 色欲天天综合| 日撸夜撸日操| 变态另类9| 欧美A级成人婬片免费看理论| 99精品无码| 日本色道视频网站| 在线观看日韩12345区| 亚洲超级碰| 天天搞夜夜爽夜夜爽| 国产精品日韩十五区| 九九色综合网| 久热A片| 99福利导航| 激情综合婷婷| 久综合网| 四色五月婷婷| 天天搞夜夜叫| 色99色| 国产人妻777人伦精品HD| 免费操超碰| 色综久久久| 亭亭五月丁香五月天激情| 丁香六月综合激情| 国产精品成人网站| ji'qing'luan'ren'lun| 丁香激情网| 亚洲综合色婷婷文学| 久久久精品99亚洲综合| 色五婷婷开心缴| 欧美交换配乱吟粗大25P| 99热这里有精品首页10| 五月天四色房丁香| 色欲一区二区三区精品A片| 一区操| 熟女乱论网| 另类精品视频在线观看| 色九九中文字幕| www.激情在线| 超碰97人人操| www亚洲无码| 免费精品66| 玖玖婷婷五月天| 久久女人九九| 五月丁香六月婷婷免费视频| 五月激情小说网| 狠狠色丁香婷婷五月| 激情综合网 激情五月天| 五月天色丁香| 超碰无码318604| 男人的天堂五月丁香| 狠狠操狠狠| www色色com| 五月婷婷综合丁香视频| 人妻视频一区而且二区| 婷婷五月天激情在线观看| 天天操B| 九九www| www色综合| 亚洲第一成人无码A片| 五月天激情综合网站| 91操熟女| 婷婷九月狠狠色| 99热这里只有精品3| 在线视频婷婷| 另类小说五月天综合| 26UUU精品一区二区| 婷婷色啪| 99在线视频资源| 91热手机在线| 丁香婷婷婷五月| 一本婷婷丁香久久 | 久久五月视频| 色情五月综合婷婷| 99九九中文字幕视频| 丁香五月无码| 婷婷天堂伊人| 日逼免费视频| 激情AV综合| 五月丁香婷中文字幕| 免费看欧美成人A片无码| av 一区三区四区| 色婷婷丁香| 色综天天综合| 亚洲欧美成人在线| 五月天快乐开心激情网| 国产成人网站在线观看| 天天插天天玩天天干| 成人五月丁香社区| 99热免费精品| 人人九色| 五月天婷婷网站888| 五月婷婷啪啪啪| 丁香六月久久| 91色色色| 26UUU| 丁香五月久久| 在线VA视频| 天天插天天干| 激情网开心网| 婷婷大香焦| 婷婷综合精品视频97| 婷婷无五月无码视频| 婷婷成人综合五月| 玖玖婷婷五月天毛片| 激情久久五月网| 97成人丁香| 日本成人噜噜噜| 伊人网啪啪| 色五月激情| 日韩中文欧美| 五月婷婷六月天| 五月丁香网中文字幕| 91男人操女人视频| 操日本人妻视频| 久久激丁香| 婷婷五月偷拍| 99re免费视频| 综合激情视频| 五月天丁香婷| 99国产小视频| 91精品久久久久久久久| 99碰碰| 五月情四婷婷| 91操黄| 成人在线99| 久久HD| 青青草国产亚洲精品久久| 九九热手机在线视频| 丁香婷婷五月人体| 婷婷亚洲天堂| 激情5月婷婷狠狠干| 色综合久久久综合久久网| 四月婷婷丁香五月| 综合另类视频| 无码人妻AV久久久一区二区三区| 亚洲成人噜噜| 激情五月婷| 欧美性生交XXXXX无码小说| www.成人婷婷综合| www.色五月.com| 亚洲国产精品二二三三区 | 韩国情人在线电视剧免费观看高清版全集| 亚洲精品V天堂中文字幕| 桃色激情网| 色三级色三级| 婷婷久草| 丁香五月天在线观看| 精品人人操| seav天堂| 日韩爱操视频| 色婷婷丁香五月| 九九精品9| 狼人婷婷久久| 91狠狠综合久久| 婷婷久综合| 激情久久肏屄视频| 国产综合激情五月久久| 人人操人人妻| www.天天干| 婷婷六月丁香1| 五月婷婷婷| 亚洲亚洲人成综合网络| 日本婷婷| 婷婷五月丁香五月天| 91人操| 91九色最新视频| 婷婷丁香六月| 色五月视频无码播放| 久热亚洲| 香蕉网婷婷| 98色花堂98t.R| 狠狠干五月丁香| 成人电影AV在线观看| 精品成人在线| 亚洲综合99| 亚洲色模骚货| 九九成人高清视频| 日本久久人| 人与禽A片啪啪| 午夜天堂啪啪| 亚艹艹| 亚洲色激婷| 色播播婷婷| 七月丁香五月婷婷在线| 26uuu最新地址| 99综合视频| 人人操Av| 色99日韩| 婷婷丁香www视频日本韩国| 亚洲无AV在线中文字幕| 生活片五区| 天天色综合图片| 久久婷婷六月综合资源| 五月婷婷狠狠干| 婷婷性爱综合| 精品久久久久成人码免费动漫| 久久精典| 婷婷五月成人| 色婷婷丁香五月综合| 五月色婷婷亚洲 | 久久久激情视频| 欧美三级大片AA在线看| 色婷婷成人做爰A片免费看网站| 久久9视频欧美| 激情丁香五月天图片| 天天日人人| 亚洲性受XXXX五月丁香| 色婷精品91| 狠狠色九月| 五月丁香亭亭电影久久| 99国产精品久久久久久久久久久 | 97人人搞| 久久婷婷六月综合综合| avh片在线观看| 激情玖玖sh| 色情婷婷| 色婷婷综合视频| 成人网站免费在线播放| 激情开心五月天| 人人操人人爱丁香五月| 亚洲午夜精品久久久久久人妖| 久久久五月天网站| 亚洲成人丁香花| 日本黄 色 片| 江苏少妇性BBB搡BBB爽爽爽| 亚洲AV成人在线| 久久综合丁香激情五月| 99热免费精品| 五月天婷婷色| 亚洲婷婷欧美婷婷| 中文av网站| 婷婷淫淫狠狠六月| 五月五婷婷| 五月天天爽| 天天草比天天爽| 久热这里只有精品在线| 99re26视频| 天天cha成人综合网| 开心五月丁香综合久久| 激情伊人六| 激情五月综合网| 99久久婷婷| 亚洲精品无码久久| 大香蕉久艹| AV九九| 婷婷色综合| 丁香五月六月久久综合| 国产激情综合五月| 都市激情蜜桃婷婷五月天| 久久国产性爱A V| 五月天婷婷一起草| AV天堂淫乩| 亚洲精99| 五月开心啪啪| 开心综合激情综合| 天天射天天射一道本日本社区 | 九九热这里精品| WWW、日本色丁香、co m| 6080av| 久久99色色| 五月丁香五月天现场视频| 激情五月丁香综合网站 | 丁香五月激情综合婷综| 在线成人网址| 99碰碰| 久久这里只精品66| 五月丁香六月激情综合啪啪| 亚洲久久婷婷| \\五月天婷婷激情| 99精品在| 天天综合在线网| 91成人看片| 99视频在线| 亚洲婷婷五月天| 牛牛热这里只有jingpin| 久久精品A片777777| 91人人妻人人操人人爽| 丁香五月色网| 久久伊人大香蕉| 一区二区三区四区五区| 亚洲丁香五月在线观看| 激情第四色| 久9热| 五月丁香啪| 99操不停| 狼人狠狠操| www久久99com| 千人斩操逼| 婷婷五月天亚洲综合| 热99在线| 120分钟婬片免费看| 无码AV久久久久久久久| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 激情五月丁香综合网站| 色爱综合网| 婷婷成人五月天成人文学| 丁香婷婷老熟女综合网| 婷婷五月天综合AV| 九九AV| 日韩小视频在线99| 亚洲欧洲午夜成人精品av| 99久久综合网| 96精品成人无码A片观看金桔| 日日噜噜久久婷婷五月天| 色香蕉影院| 操一操| 欧美五月婷婷| 亚洲精品V天堂中文字幕| 九月av在线| 成人操呦av| 99成人免费热视频| 色婷婷狠狠| 五月久久丁香| 久久99久久99精品免观看粉嫩| 激情5月婷婷狠狠干| 欧美丁香五月夫妻天| 91chinese在线| 色婷狠狠| 久久五月天综合视频网站| 色婷婷瘦婷婷日韩| site:hcxsz888.com| 亚洲情a| 婷婷综合网站| 五月丁香婷婷激情图片| 日本色频| 26UUU欧美| 五月丁香啪啪啪| 久久538| 国产女人十八水真多1| 美女亚洲五月丁香| 色色色com| 中文毛片无遮挡高潮免费| 99热99| 五月综合777| 亚洲中文字幕AV| 精品九九久久| 欧美激情五月综合| 这里精品| 99综合| 4438激情网| 一区二区三区四区无码| 婷婷狠狠干| 激情五月色综合网| 九九热这里只有精品12| 97久久久| 美国不卡视频| 九九九九九九九热| www夜夜| 人人综合91网| 五月丁香狠狠地噜噜噜噜| 天天操婷婷| 激情综合99| 色色欧美色色| 婷婷久久久| 武则天精品久久| 色婷婷久久综合中文久久一本| 国产午夜精品AV一区二区麻豆 | 婷婷五月在线视频| 婷婷色操| 日本熟女内射| 免费看欧美成人A片无码| 激情综合色| 色婷婷综合亚洲| WWW.五月com| 色五月视频无码播放| 99自拍视频在线观看| 中文字幕av在线| 99热这里只有精品66| 亚洲综合色网| 九九热在线观看6| 中文资源在线a | 伊人激情AV一区二区三区| 六月丁香停| 丁香六月婷婷激情| 91麻豆国产三级精品福利在线观看| 九九99视频精品| 婷婷少妇激情| 五月婷婷狠狠久久| 99热日韩| 999热在线观看视频| 亚洲Av入口| 色色婷婷五月| 99热99成人| 久九色| 日本久久婷| 97碰碰视频| 激情综合色婷婷啪啪六月天| 五月在线| 俺去婷婷 丁香| 日日操,夜夜爽| 色噜噜丁香| 人妻久久久久久久久| 免费看欧美成人A片无码| 亚洲日本激情| 九九热最新地址| www.yw尤物| 欧美婷婷综合| 色婷婷基地| 天天干狠狠| 五月丁香婷婷爱激情综合网| 激情婷婷丁香五月天| 成人丁香五月婷| 五月婷婷在线免费| 欧美性爱日韩性爱| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 亚洲网视屏| 欧美六月| 91天天操天天干天天射| 亚洲精品亚洲人成人网| 久久性爱视频| 色婷婷XXXXX| 久久婷婷伊人| 激情四射五月天偷偷看婷婷| 色婷婷手机在线| 丁香五月婷婷香| 99人妻碰碰碰久久久久| 五月天 婷 欧美亚洲| 超碰国产AV| 97碰超级人人看| 久热伊人| 日日干夜夜干| 亚洲综合干| 色婷婷在线电影| 思思热久久久在线| 97超碰在线观看免费| 久久色亭亭五月天| 26UUU欧美激情一区二区| 超碰碰碰碰| 激情五月第四色| 午夜少妇在线观看视频| 狠狠干狠狠干狠狠干狠狠干| ai97re99一本| 综合婷婷五月天| 人人摸人人操人人爽| 五月丁香啪啪网| 很很干五月天| 夜色爱爱亚洲| 性爱久久| 成人在线精品| 91九色精品女同系列| 91一起操| 激情五月综合网| 99re思思热这里| 色碰97| 噜噜视频| 五月婷婷色影院| 五月天色婷婷综合| 深爱五月中文字幕| chaopeng在线人人| 丁香六月婷婷久久综合| 99人人操人人操人人精| 久久五月天婷婷| 五月婷婷天堂| 五月丁香| 国产乱子轮XXX农村| 婷婷五月天人妻| 伊人大香蕉综合在线| 久久婷婷内射| 五月天第四色开心色播| 一本到不卡高清DVD| 亚洲综合另类| 99色综合网| 九色综合五月天婷五月| 亚洲无码成人| 啪啪干伊人婷婷| 色五月激情综合网站| 99在线精品视频| 五月色情网| 吊色AV男人的天堂| 大学生高潮无套内谢视频| 久热这里只有精品66| 丁香五月婷婷Av| 91狠狠综合久久| 狠狠干综合网| 色九月婷婷| 5月丁香综合图区| 99激情在线| 黄页大全十八禁| 99九九热视频免费| 五月婷婷五月天| 激情婷婷啪啪| 婷婷六月丁香在线| 色色婷婷婷丁香五月天| 99精品视频在线观看| 26uuu欧美日本| 思思热天天看| 操操熟女| 国产人妻人伦精品一区二区| 婷婷五月综合体验看| 五月丁香婷婷激情在线| 六月婷婷香蕉| 五月天婷久久| 色热久| 99热这里只有精品最新网址| 五月天激情综合在线| 久久R激情| 色五月丁香网| 狠狠高潮精品亚洲1| 亚洲五月天天| 99精品综合在线| 婷婷五月天久久久| 五月综合婷婷五月| 狠狠干2007| 99热国产精品| 综合超碰熟| 超喷97免费在线视频| 色色色热热热| 五月婷丁香在线视频在线| 欧美色色色色色| 亚洲成人综合网在线免费观看| 欧美99热| 玖玖五月丁香| 91久久婷婷人人澡草 | 天天爱天天操| 亚洲碰碰碰| 97韩国久久电影院| 七七九九色色| 99久久婷| 77777亚洲午夜久久| 99精品视频免费观看近期发布| 九九色精品| 五月丁香亭亭| 999影院成人在线影院| 99热精品少| 97色在线| 中文字幕,综合,91| 五月色亭丁香|