欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

FastDFS高可用集群部署實(shí)戰(zhàn):從雙Tracker到雙Storage的完整指南

FastDFS高可用集群部署實(shí)戰(zhàn):從雙Tracker到雙Storage的完整指南 文件存儲(chǔ)這種基礎(chǔ)設(shè)施平時(shí)不起眼一到容量滿(mǎn)了或者節(jié)點(diǎn)宕了就容易雞飛狗跳。我前后用FastDFS搭過(guò)好幾次文件集群從單機(jī)玩具到帶實(shí)際流量的生產(chǎn)環(huán)境一點(diǎn)一點(diǎn)把坑踩平這篇筆記就是圍繞FastDFS高可用集群部署整理的。重點(diǎn)不是讓你背命令而是把每一步為什么這么做講透順便把那些網(wǎng)上教程里經(jīng)常一筆帶過(guò)的坑標(biāo)出來(lái)。這篇內(nèi)容適合誰(shuí)看準(zhǔn)備把文件存儲(chǔ)從單機(jī)搬到多機(jī)、需要撐住一定并發(fā)上傳下載的運(yùn)維和開(kāi)發(fā)或者被領(lǐng)導(dǎo)一句話(huà)安排“搞個(gè)高可用文件存儲(chǔ)”但自己還沒(méi)有完整實(shí)戰(zhàn)過(guò)的人。你對(duì)FastDFS的基本概念有點(diǎn)印象但沒(méi)在真實(shí)環(huán)境里完整搭過(guò)一套那這篇文章的實(shí)操價(jià)值會(huì)比較直接。你還要清楚一點(diǎn)高可用不是某個(gè)參數(shù)開(kāi)一下就能有的它是“控制面冗余 數(shù)據(jù)面冗余 客戶(hù)端正確配置 運(yùn)維監(jiān)控”共同作用的結(jié)果。FastDFS恰好把這幾個(gè)維度的分工做得非常清晰理解了這個(gè)模型后面所有部署動(dòng)作都不會(huì)跑偏。1. 為什么自建文件存儲(chǔ)要糾結(jié)高可用1.1 從“一臺(tái)機(jī)器存文件”的痛說(shuō)起單機(jī)文件存儲(chǔ)你平時(shí)根本感受不到問(wèn)題上傳下載都正常磁盤(pán)也夠大一切歲月靜好。但只要磁盤(pán)壞道、系統(tǒng)分區(qū)滿(mǎn)、進(jìn)程被OOM殺掉、機(jī)房斷電業(yè)務(wù)方立刻就會(huì)收到一堆“圖片裂了”“附件打不開(kāi)”“上傳失敗”的反饋。更難受的是單機(jī)模式下沒(méi)有第二個(gè)副本數(shù)據(jù)損壞了就是真沒(méi)了恢復(fù)成本極高。MySQL要搞主從Kafka要搞多副本Redis要搞哨兵但很多團(tuán)隊(duì)在文件存儲(chǔ)上卻默認(rèn)“先能用就行”。等到文件量上去再想從單機(jī)平滑遷到集群中間要處理存量數(shù)據(jù)遷移、目錄結(jié)構(gòu)調(diào)整、客戶(hù)端指向變更遠(yuǎn)比一開(kāi)始就按集群來(lái)部署麻煩。所以我建議如果你判斷這個(gè)文件服務(wù)未來(lái)半年不會(huì)下線(xiàn)就直接按高可用模型設(shè)計(jì)別給自己留返工的量。1.2 高可用到底要覆蓋哪些故障高可用不是說(shuō)“多買(mǎi)幾臺(tái)機(jī)器裝一遍”就完事你得先列清楚要對(duì)抗哪些故障進(jìn)程級(jí)別的故障tracker或storage進(jìn)程意外退出可能是代碼bug也可能是內(nèi)存不足被系統(tǒng)殺掉。節(jié)點(diǎn)級(jí)別的故障整臺(tái)服務(wù)器宕機(jī)、硬件故障、機(jī)房斷電這個(gè)級(jí)別最考驗(yàn)架構(gòu)。網(wǎng)絡(luò)層面的故障網(wǎng)卡異常、交換機(jī)端口兜住、iptables策略誤改節(jié)點(diǎn)的服務(wù)還活著但相互之間已經(jīng)不通。磁盤(pán)層面的故障磁盤(pán)損壞導(dǎo)致文件系統(tǒng)只讀或者壞道導(dǎo)致讀寫(xiě)IO卡住。對(duì)應(yīng)到FastDFS里tracker負(fù)責(zé)解決調(diào)度面的故障storage配合group機(jī)制解決數(shù)據(jù)面的故障而客戶(hù)端配置多個(gè)tracker_server則是你使用層面必須補(bǔ)上的最后一環(huán)。四者缺一個(gè)你對(duì)外宣稱(chēng)“高可用”都是心虛的。2. FastDFS集群的幾個(gè)關(guān)鍵設(shè)計(jì)2.1 tracker和storage不是主從關(guān)系很多人剛接觸FastDFS會(huì)下意識(shí)套用MySQL主從那種思維覺(jué)得tracker也要搞主備。實(shí)際上tracker和storage之間完全不是主從關(guān)系多個(gè)tracker之間地位平等沒(méi)有選主、沒(méi)有數(shù)據(jù)同步。storage啟動(dòng)時(shí)會(huì)把自己注冊(cè)到配置文件里列出的所有tracker上之后每隔一段時(shí)間持續(xù)上報(bào)心跳。這種設(shè)計(jì)的優(yōu)勢(shì)是簡(jiǎn)單可靠任何一臺(tái)tracker掛了剩下的tracker繼續(xù)提供調(diào)度服務(wù)客戶(hù)端換一個(gè)地址就行。缺點(diǎn)也很明顯所有tracker都不可用時(shí)整個(gè)集群的上傳下載入口會(huì)斷掉但已經(jīng)落盤(pán)的文件數(shù)據(jù)不會(huì)因此丟失。所以生產(chǎn)環(huán)境我至少會(huì)放兩臺(tái)tracker讓“調(diào)度可用性”和“數(shù)據(jù)可用性”解耦。2.2 group才是數(shù)據(jù)冗余的基本單位FastDFS的“組”概念很多人一開(kāi)始理解不到位。一個(gè)group下面放多個(gè)storage節(jié)點(diǎn)同一個(gè)group里的storage節(jié)點(diǎn)會(huì)互相同步文件不同group之間沒(méi)有任何自動(dòng)同步。可以簡(jiǎn)單類(lèi)比成group是一個(gè)備份域文件傳到了group1那group1里的所有storage都會(huì)有這份文件的副本而group2完全不知道這份文件的存在。這帶來(lái)兩個(gè)直接結(jié)論一個(gè)group里只能有一個(gè)storage時(shí)不管外面有多少tracker這個(gè)group的數(shù)據(jù)冗余度依舊是1沒(méi)有高可用。想把文件同時(shí)放到兩個(gè)不同group比如group1和group2各存一份FastDFS本身不會(huì)替你做必須由上層應(yīng)用雙寫(xiě)或者靠外部同步任務(wù)。所以最基礎(chǔ)的高可用方案不是“5臺(tái)機(jī)器亂配”而是至少兩個(gè)tracker加一個(gè)雙storage的group。2.3 容量規(guī)劃與副本率怎么定同group的storage數(shù)量就是文件的副本數(shù)。兩臺(tái)storage等于雙副本三臺(tái)是三副本。副本率越高磁盤(pán)有效容量越低因?yàn)橐环菸募级喾菘臻g。我整理了一個(gè)簡(jiǎn)單的參考關(guān)系group內(nèi)storage數(shù)實(shí)際副本數(shù)有效容量占比建議11100%只建議測(cè)試環(huán)境2250%一般生產(chǎn)環(huán)境最低配置3333%重要數(shù)據(jù)或?qū)σ恢滦砸蟾邥r(shí)使用很多人一上來(lái)就三副本覺(jué)得副本越多越安全。其實(shí)FastDFS的同步是異步的三副本和雙副本都解決不了短時(shí)間窗口內(nèi)的數(shù)據(jù)不一致問(wèn)題盲目堆副本只會(huì)讓磁盤(pán)成本和同步壓力一起上漲。我的習(xí)慣是基礎(chǔ)業(yè)務(wù)雙副本兜底特別重要的文件額外做離線(xiàn)冷備或傳一份到對(duì)象存儲(chǔ)。3. 環(huán)境準(zhǔn)備與版本選型3.1 操作系統(tǒng)和基礎(chǔ)依賴(lài)近幾年新建服務(wù)器一般都會(huì)選AlmaLinux、Rocky Linux這類(lèi)系統(tǒng)熱詞里提到Rocky Linux 9我也是在Rocky Linux 9上操作的。FastDFS官方文檔雖然老很多例子還停留在CentOS 6/7但代碼本身的兼容性沒(méi)那么差內(nèi)核版本和系統(tǒng)庫(kù)對(duì)它的影響不大。編譯之前先裝好依賴(lài)否則后面一堆“缺頭文件”的報(bào)錯(cuò)會(huì)把你折磨壞dnf install -y gcc gcc-c make cmake libevent libevent-devel openssl-devel pcre-devel zlib-devel git wget這里有個(gè)容易忽略的點(diǎn)libevent和pcre是fastdfs-nginx-module編譯時(shí)的硬依賴(lài)。如果只裝FastDFS本體不裝這兩個(gè)開(kāi)發(fā)包也能編譯但等到你集成nginx模塊時(shí)才補(bǔ)裝就得重新編譯一遍nginx白白浪費(fèi)時(shí)間。3.2 源碼版本匹配是個(gè)大坑FastDFS本體和libfastcommon是分開(kāi)維護(hù)的兩個(gè)倉(cāng)庫(kù)都在GitHub上。編譯時(shí)必須保證版本匹配否則會(huì)出現(xiàn)結(jié)構(gòu)體字段對(duì)不上、編譯失敗或者能編譯但運(yùn)行時(shí)崩潰的問(wèn)題。fastdfs-nginx-module也存在同樣的匹配問(wèn)題它的版本不能太舊我見(jiàn)過(guò)有人拿著好幾年前的分支去配新版FastDFS編到一半直接報(bào)錯(cuò)。我的建議是全部選官方release中的較新版本不要圖新鮮拉master分支。具體版本號(hào)可根據(jù)你下載當(dāng)天的release來(lái)確定只要三者用同一時(shí)期的版本即可。下載命令示例wget https://github.com/happyfish100/libfastcommon/archive/refs/tags/V1.0.53.tar.gz wget https://github.com/happyfish100/fastdfs/archive/refs/tags/V6.06.tar.gz wget https://github.com/happyfish100/fastdfs-nginx-module/archive/refs/tags/V1.22.tar.gz如果GitHub下載慢可以找國(guó)內(nèi)鏡像站但一定要核對(duì)壓縮包里的版本號(hào)別拿錯(cuò)。3.3 目錄和磁盤(pán)規(guī)劃FastDFS的tracker和storage都通過(guò)base_path指定基礎(chǔ)路徑用來(lái)放日志和運(yùn)行數(shù)據(jù)。storage還要單獨(dú)指定store_path也就是真實(shí)文件存儲(chǔ)目錄。我習(xí)慣把所有數(shù)據(jù)盤(pán)統(tǒng)一掛載到/data/fastdfs下再按角色區(qū)分子目錄。規(guī)劃時(shí)記住兩個(gè)禁忌tracker的base_path不要和storage的store_path放在同一個(gè)目錄免得日志和數(shù)據(jù)互相干擾。storage的base_path和store_path也不要指向同一個(gè)路徑啟動(dòng)時(shí)FastDFS會(huì)明確拒絕。磁盤(pán)選型上大量小文件場(chǎng)景對(duì)機(jī)械盤(pán)的隨機(jī)IO非常不友好。如果是相冊(cè)、頭像、附件這類(lèi)海量小文件建議至少用SSD如果只是存一些較大的視頻、壓縮包機(jī)械盤(pán)還可以接受。FastDFS本身沒(méi)有內(nèi)置壓縮和加密能力磁盤(pán)的吞吐上限就是整個(gè)文件服務(wù)的性能上限。4. 部署步驟tracker多節(jié)點(diǎn)4.1 編譯安裝FastDFS本體先編譯安裝libfastcommon再編譯FastDFS本體順序不能反。FastDFS的make腳本會(huì)自動(dòng)找libfastcommon的安裝目錄如果先裝本體再裝依賴(lài)運(yùn)行時(shí)就會(huì)缺符號(hào)。tar zxvf libfastcommon-V1.0.53.tar.gz cd libfastcommon-V1.0.53 ./make.sh ./make.sh install看到install完成之后繼續(xù)tar zxvf fastdfs-V6.06.tar.gz cd fastdfs-V6.06 ./make.sh ./make.sh install安裝完成后可執(zhí)行文件會(huì)放到/usr/bin下比如fdfs_trackerd、fdfs_storaged、fdfs_upload_file都在這里。默認(rèn)配置目錄是/etc/fdfs你可以從源碼目錄里的conf下拷貝一份模板過(guò)去mkdir -p /etc/fdfs cp /path/to/fastdfs-V6.06/conf/* /etc/fdfs/啟動(dòng)程序時(shí)如果報(bào)找不到libfastcommon.so多半是動(dòng)態(tài)庫(kù)路徑?jīng)]生效。解決方法是執(zhí)行一次ldconfig或者把動(dòng)態(tài)庫(kù)所在目錄加進(jìn)/etc/ld.so.conf。4.2 tracker.conf關(guān)鍵參數(shù)說(shuō)明修整/etc/fdfs/tracker.conf這一步很關(guān)鍵。以我的模板為例bind_addr port22122 base_path/data/fastdfs/tracker work_threads4 store_lookup0 store_groupgroup1bind_addr留空表示監(jiān)聽(tīng)所有網(wǎng)卡地址如果機(jī)器有多個(gè)IP想指定內(nèi)網(wǎng)網(wǎng)卡可以填具體IP。work_threads控制網(wǎng)絡(luò)處理線(xiàn)程數(shù)生產(chǎn)環(huán)境一般不開(kāi)太低4到8都是常見(jiàn)值。store_lookup和store_group決定了新文件寫(xiě)入哪個(gè)group。store_lookup0表示輪詢(xún)所有g(shù)roup1表示強(qiáng)制寫(xiě)入store_group指定的group2表示按每個(gè)group剩余空間比例分配。如果你的集群只有一個(gè)group這三個(gè)值怎么配結(jié)果都一樣。當(dāng)你有多個(gè)group且希望不同類(lèi)型的文件寫(xiě)入不同group時(shí)可以用store_lookup1配合store_group指定。4.3 啟動(dòng)tracker并驗(yàn)證編譯安裝后配置模板里有一堆參數(shù)但你實(shí)際要改的并不多。改完base_path、store_lookup這些關(guān)鍵項(xiàng)就可以啟動(dòng)了mkdir -p /data/fastdfs/tracker fdfs_trackerd /etc/fdfs/tracker.conf start啟動(dòng)后確認(rèn)進(jìn)程存在ps -ef | grep fdfs_trackerdtracker的日志在base_path/logs/trackerd.log啟動(dòng)報(bào)錯(cuò)看日志比猜原因靠譜得多。多節(jié)點(diǎn)tracker的操作很簡(jiǎn)單把配置文件和可執(zhí)行文件同步到另一臺(tái)機(jī)器改一下base_path啟動(dòng)即可。tracker之間不需要互填對(duì)方地址它們不是靠互相通信來(lái)工作的。5. storage節(jié)點(diǎn)部署與group規(guī)劃5.1 storage.conf關(guān)鍵參數(shù)說(shuō)明storage的配置重點(diǎn)是group_name、store_path和tracker_server列表。我的模板如下group_namegroup1 port23000 base_path/data/fastdfs/storage store_path_count1 store_path0/data/fastdfs/storage/data tracker_server192.168.10.11:22122 tracker_server192.168.10.12:22122同一group下的所有storage節(jié)點(diǎn)group_name必須一致否則它們各自為政不會(huì)互相同步。tracker_server這一項(xiàng)可以配置多行把全部tracker地址都列上。storage啟動(dòng)后會(huì)依次向這些tracker發(fā)心跳達(dá)到“一臺(tái)tracker掛了其他tracker仍然知道這個(gè)storage存在”的效果。store_path_count是存儲(chǔ)路徑數(shù)量如果只有一塊數(shù)據(jù)盤(pán)就填1有多塊盤(pán)就按順序繼續(xù)加store_path1、store_path2。每一路store_path必須是獨(dú)立的磁盤(pán)掛載點(diǎn)FastDFS會(huì)盡量把文件分布到不同store_path上。5.2 同組多storage怎么配對(duì)最簡(jiǎn)單的生產(chǎn)拓?fù)涫莾膳_(tái)storage同屬group1形成雙副本。我做容量評(píng)估時(shí)看得比較重的一個(gè)點(diǎn)是同一group里的storage節(jié)點(diǎn)磁盤(pán)容量最好基本一致。因?yàn)槲募闹鞲北緯?huì)均衡分發(fā)到每個(gè)storage如果某臺(tái)機(jī)器磁盤(pán)特別小它很容易先被寫(xiě)滿(mǎn)后續(xù)同步就會(huì)一直失敗拖累整個(gè)group的健康度。我在實(shí)際項(xiàng)目里見(jiàn)過(guò)這種情況一個(gè)group里一臺(tái)機(jī)器4TB另一臺(tái)只有1TB結(jié)果1TB那臺(tái)很快就滿(mǎn)了tracker按剩余空間分配文件時(shí)又優(yōu)先把新文件分到4TB那臺(tái)導(dǎo)致小盤(pán)節(jié)點(diǎn)的同步任務(wù)積壓日志里全是同步失敗。后來(lái)我干脆把小盤(pán)機(jī)器換掉問(wèn)題立刻消失。高可用設(shè)計(jì)里容量不齊比性能不齊更要命。5.3 啟動(dòng)storage和等待同步storage啟動(dòng)方式和tracker類(lèi)似mkdir -p /data/fastdfs/storage/data fdfs_storaged /etc/fdfs/storage.conf start啟動(dòng)后會(huì)有個(gè)初始化過(guò)程首次啟動(dòng)會(huì)創(chuàng)建256個(gè)一級(jí)目錄和對(duì)應(yīng)的二級(jí)目錄文件量大的時(shí)候這個(gè)過(guò)程可能要等一會(huì)兒。啟動(dòng)成功后用fdfs_monitor檢查集群狀態(tài)fdfs_monitor /etc/fdfs/client.conf輸出里會(huì)看到tracker列表和storage列表。重點(diǎn)看storage狀態(tài)正常應(yīng)該是ACTIVE。如果狀態(tài)是OFFLINE先查防火墻和端口通不通再看storage日志。同組兩臺(tái)storage都處于A(yíng)CTIVE后FastDFS開(kāi)始自動(dòng)同步同步速度和文件總大小、磁盤(pán)IO直接相關(guān)。6. 對(duì)外文件訪(fǎng)問(wèn)Nginx和fastdfs-nginx-module6.1 命令行先驗(yàn)證上傳流程配置好storage之后先不用急著上Nginx用命令行跑一次全流程。創(chuàng)建client.confbase_path/data/fastdfs/client tracker_server192.168.10.11:22122 tracker_server192.168.10.12:22122上傳測(cè)試文件fdfs_upload_file /etc/fdfs/client.conf /tmp/test.jpg正常會(huì)返回類(lèi)似group1/M00/00/00/wKg...jpg的字符串。這一串里M00表示store_path000/00是兩級(jí)目錄后面是文件ID。如果這個(gè)環(huán)節(jié)失敗問(wèn)題基本出在tracker和storage的連通性上先不要碰Nginx免得排查范圍變大。6.2 編譯nginx時(shí)加載模塊FastDFS原生不提供HTTP下載能力必須用fastdfs-nginx-module配合Nginx。模塊編譯是常見(jiàn)重災(zāi)區(qū)我建議把nginx源碼和模塊源碼放到一起統(tǒng)一編譯wget https://nginx.org/download/nginx-1.24.0.tar.gz tar zxvf nginx-1.24.0.tar.gz cd nginx-1.24.0 ./configure --add-module/path/to/fastdfs-nginx-module/src make make install如果configure階段報(bào)pcre、openssl相關(guān)的錯(cuò)說(shuō)明前面開(kāi)發(fā)包裝少了補(bǔ)齊之后再重新configure。模塊編譯進(jìn)nginx后需要在nginx.conf里增加locationlocation /group1/M00 { ngx_fastdfs_module; }同時(shí)還要確保/etc/fdfs下有mod_fastdfs.conf通常從fastdfs-nginx-module源碼目錄拷貝模板后修改。重點(diǎn)要改group_name和tracker_server其他參數(shù)保持模板默認(rèn)即可。6.3 Nginx和storage是否同機(jī)部署fastdfs-nginx-module有兩種工作模式。Nginx和storage在同一臺(tái)機(jī)器時(shí)模塊直接讀本地磁盤(pán)文件性能最好Nginx在獨(dú)立節(jié)點(diǎn)時(shí)模塊會(huì)通過(guò)tracker查到文件實(shí)際所在的storage然后回源拉文件相當(dāng)于多了一層代理轉(zhuǎn)發(fā)。如果量不大獨(dú)立Nginx節(jié)點(diǎn)也沒(méi)問(wèn)題但要注意從Nginx到storage的23000端口必須放通。流量一旦上來(lái)回源鏈路的網(wǎng)絡(luò)帶寬和延遲就會(huì)被放大所以我更推薦Nginx與storage同機(jī)部署前面再掛一層負(fù)載均衡或CDN。這樣本地讀盤(pán)路徑最短高并發(fā)下載時(shí)能明顯減少瓶頸。6.4 一個(gè)讓新手抓狂的M00目錄問(wèn)題很多人在上傳成功后用瀏覽器訪(fǎng)問(wèn)Nginx時(shí)得到404直接用curl檢查返回的是“404 Not Found”。這時(shí)候先確認(rèn)兩件事mod_fastdfs.conf里的storage_path是否指向了正確的store_path0。Nginx進(jìn)程是否真的用了帶模塊的二進(jìn)制執(zhí)行nginx -V看有沒(méi)有--add-module記錄。常見(jiàn)原因還有一個(gè)模塊按URL里的M00匹配store_path0但如果你在nginx.conf里的location寫(xiě)的是/group1/M00/后面又加了alias就會(huì)二次拼接路徑很容易錯(cuò)。直接用官方推薦的location /group1/M00 { ngx_fastdfs_module; }不要畫(huà)蛇添足加alias。7. 高可用驗(yàn)證與故障演練7.1 驗(yàn)證tracker調(diào)度面的高可用配置兩個(gè)tracker后先把client.conf里的tracker_server只留第一個(gè)停掉第一臺(tái)tracker再執(zhí)行上傳命令。如果你只配置了一個(gè)地址這時(shí)會(huì)直接報(bào)連接失敗。把第二個(gè)tracker_server補(bǔ)上再試上傳就能成功因?yàn)榭蛻?hù)端在第一個(gè)tracker不可用時(shí)會(huì)自動(dòng)嘗試下一個(gè)。這個(gè)測(cè)試的意義是提醒你tracker本身再多如果客戶(hù)端、storage端沒(méi)有把全部tracker_address都配上高可用就是空談。我在交付項(xiàng)目時(shí)檢查項(xiàng)目里所有FastDFS客戶(hù)端配置和storage.conf看的就是tracker_server列表是否完整。7.2 驗(yàn)證storage數(shù)據(jù)面的高可用storage層面的驗(yàn)證稍微講究一點(diǎn)。上傳一個(gè)文件后立刻停掉其中一臺(tái)storage再?gòu)牧硪慌_(tái)訪(fǎng)問(wèn)文件是有可能失敗的因?yàn)镕astDFS的文件同步是異步的剛上傳到主storage還沒(méi)同步給同組其他節(jié)點(diǎn)你就把主storage停了數(shù)據(jù)自然取不到。正確做法是先等同步完成。用fdfs_monitor觀(guān)察待同步文件數(shù)變成0再停節(jié)點(diǎn)做驗(yàn)證。生產(chǎn)環(huán)境里你要接受這個(gè)同步窗口的存在不能把FastDFS當(dāng)成強(qiáng)一致系統(tǒng)。如果業(yè)務(wù)對(duì)剛剛上傳的文件有一致性要求要么應(yīng)用層雙寫(xiě)要么在文件上傳后加一個(gè)短暫不可讀的容忍期。7.3 從故障演練反推監(jiān)控項(xiàng)故障演練不是演給別人看的練完要反過(guò)來(lái)檢查監(jiān)控覆蓋。我會(huì)在演練前后看tracker日志和storage日志確認(rèn)故障切換過(guò)程是否對(duì)客戶(hù)端有感知、同步線(xiàn)程是否正常恢復(fù)。監(jiān)控項(xiàng)至少要有三個(gè)tracker上活躍storage數(shù)量少于預(yù)期就告警。storage磁盤(pán)剩余空間低于閾值就告警。storage同步狀態(tài)出現(xiàn)大量未同步文件時(shí)就告警。這三項(xiàng)cover住了絕大多數(shù)FastDFS故障都能在用戶(hù)感知之前被發(fā)現(xiàn)。8. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄8.1 編譯安裝階段的問(wèn)題我在編譯階段遇到最多的問(wèn)題就是libfastcommon安裝后找不到庫(kù)文件。表現(xiàn)為fdfs_trackerd啟動(dòng)時(shí)提示error while loading shared libraries: libfastcommon.so。這其實(shí)是動(dòng)態(tài)鏈接庫(kù)路徑?jīng)]刷新執(zhí)行l(wèi)dconfig之后即可解決。另一個(gè)問(wèn)題是fastdfs-nginx-module和新版FastDFS源碼版本不兼容。報(bào)錯(cuò)信息往往指向某個(gè)結(jié)構(gòu)體里沒(méi)有某某字段。出現(xiàn)這種問(wèn)題先說(shuō)結(jié)論換新版本的模塊源碼別自己在源代碼里改字段名因?yàn)槟氵€得同步改模塊邏輯很容易引入隱藏bug。8.2 啟動(dòng)與注冊(cè)失敗的原因storage啟動(dòng)后在fdfs_monitor里看不到或者狀態(tài)是OFFLINE常見(jiàn)原因按優(yōu)先級(jí)排查防火墻沒(méi)放行tracker的22122和storage的23000端口。很多人在本機(jī)能ping通但TCP不通一查就是firewalld默認(rèn)區(qū)域規(guī)則沒(méi)放行。storage.conf里的tracker_server配置有誤或者漏寫(xiě)了某個(gè)tracker地址。端口被占用比如有一臺(tái)機(jī)器同時(shí)裝了storage和tracker又把端口都配成23000必然沖突。服務(wù)器時(shí)間不一致。FastDFS雖然對(duì)時(shí)間同步要求不算苛刻但偏差太大時(shí)心跳和同步會(huì)變得很奇怪建議所有節(jié)點(diǎn)統(tǒng)一裝chrony。8.3 上傳成功但下載失敗怎么定位上傳成功說(shuō)明tracker和storage的鏈路是通的問(wèn)題集中在Nginx模塊或網(wǎng)絡(luò)回源兩處。我按步驟來(lái)排查curl -I http://nginx-host/group1/M00/00/00/wKg...jpg先看HTTP狀態(tài)碼。403或404優(yōu)先檢查mod_fastdfs.conf的group_name、storage_path是否配置正確。連接超時(shí)或502優(yōu)先檢查Nginx節(jié)點(diǎn)到storage的23000端口以及tracker_server是否能訪(fǎng)問(wèn)到。還有個(gè)容易被忽略的細(xì)節(jié)模塊的error_log要打開(kāi)日志里會(huì)直接記錄它嘗試訪(fǎng)問(wèn)的物理路徑看到路徑后基本一眼就能定位問(wèn)題。8.4 同步狀態(tài)異常和存儲(chǔ)節(jié)點(diǎn)DELETED如果同組storage之間同步一直不完成先看storage日志里的同步錯(cuò)誤。最常見(jiàn)的是目標(biāo)節(jié)點(diǎn)磁盤(pán)滿(mǎn)了或者網(wǎng)絡(luò)IO異常導(dǎo)致同步線(xiàn)程反復(fù)重試。這種問(wèn)題處理起來(lái)并不難但一定要趁早因?yàn)橥椒e壓越多數(shù)據(jù)窗口越危險(xiǎn)。如果你曾經(jīng)在tracker上用fdfs_monitor delete刪除過(guò)某個(gè)storage它的狀態(tài)會(huì)變成DELETED。之后即使節(jié)點(diǎn)還活著tracker也不會(huì)再讓它參與同步?;謴?fù)方式是在該storage上重新啟動(dòng)或重置狀態(tài)必要時(shí)清空data目錄再重新加入。清空data目錄前要確認(rèn)該節(jié)點(diǎn)上沒(méi)有未同步到其他節(jié)點(diǎn)的獨(dú)有文件否則數(shù)據(jù)就真的丟了。8.5 常見(jiàn)問(wèn)題速查現(xiàn)象排查方向常見(jiàn)解法上傳返回錯(cuò)誤28磁盤(pán)空間不足擴(kuò)容或清理文件storage狀態(tài)OFFLINE防火墻/端口/配置放行端口核對(duì)tracker_server上傳成功但Nginx 404模塊配置路徑錯(cuò)誤檢查mod_fastdfs.conf和locationNginx日志找不到物理文件storage_path錯(cuò)誤修正store_path指向同步進(jìn)度一直不動(dòng)目標(biāo)磁盤(pán)滿(mǎn)或網(wǎng)絡(luò)異常恢復(fù)空間或網(wǎng)絡(luò)后重啟storage時(shí)間導(dǎo)致的怪問(wèn)題節(jié)點(diǎn)時(shí)間漂移部署chrony統(tǒng)一時(shí)間同步9. 部署之后還要想清楚的事9.1 高可用不等于數(shù)據(jù)絕對(duì)安全FastDFS的同組復(fù)制解決的是“單節(jié)點(diǎn)故障”問(wèn)題不是“誤刪和邏輯損壞”問(wèn)題。文件被誤刪或覆蓋時(shí)同組另一臺(tái)storage的副本會(huì)被同步刪除你沒(méi)有機(jī)會(huì)反悔。我在生產(chǎn)環(huán)境里會(huì)把FastDFS當(dāng)成“高性能可用存儲(chǔ)”真正的災(zāi)備依賴(lài)另外一套離線(xiàn)備份機(jī)制比如定期把文件冷備到對(duì)象存儲(chǔ)。9.2 容器化部署要謹(jǐn)慎熱詞里有Kubernetes相關(guān)的內(nèi)容但FastDFS本身并不是為云原生設(shè)計(jì)的。用Docker單跑一個(gè)storage簡(jiǎn)單真正麻煩的是把storage做成StatefulSet、掛PVC、管理擴(kuò)縮容。如果團(tuán)隊(duì)已經(jīng)有K8s基礎(chǔ)設(shè)施且網(wǎng)絡(luò)、存儲(chǔ)插件都比較完整可以考慮容器化如果只是想省事裸機(jī)或虛擬機(jī)二進(jìn)制部署反而更穩(wěn)。我個(gè)人經(jīng)驗(yàn)是沒(méi)有強(qiáng)烈的“必須容器化”訴求別把FastDFS硬塞進(jìn)K8s里給自己找活干。9.3 最后的實(shí)用習(xí)慣我每次部署完FastDFS都會(huì)寫(xiě)一個(gè)巡檢腳本定時(shí)抓取fdfs_monitor的輸出解析出已同步數(shù)量、待同步數(shù)量和磁盤(pán)使用率。巡檢腳本不復(fù)雜但非常能救命它的作用就是讓你在用戶(hù)反饋“圖裂了”之前先一步發(fā)現(xiàn)storage同步積壓或磁盤(pán)寫(xiě)滿(mǎn)的問(wèn)題。另一個(gè)建議是改動(dòng)任何配置之前先備份conf目錄。FastDFS的配置文件不多但每個(gè)參數(shù)都能影響集群行為改完忘了備份出了事連回滾的參照都沒(méi)有。把整套部署過(guò)程沉淀成文檔或者Ansible腳本下次擴(kuò)容新節(jié)點(diǎn)時(shí)能少踩一半坑。這個(gè)小習(xí)慣也是我后來(lái)每次搭建文件存儲(chǔ)集群時(shí)效率能提升不少的原因。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
能看的av网站| 丁香五月大香蕉AV| 亚洲视频a| 天天日夜夜帕| 99热久久这里只有精品| 久久久中文| 99热这里只有精品热| 综合大香蕉| 91狼友视频在线观看| 精品久久99| 色五月婷婷婷婷| 激情五月六月婷婷| 丁香 亚洲 久久| 伊人婷婷五月天av| 丁香婷婷伊人| 九九久久综合| 亚洲天堂久久| 久久9视频欧美| 九九XX视频| 五月激情五月丁香| 五月婷婷六月丁香| 九色91美女| 六月丁香激情综合| 精品一区二区三区免费毛片爱| 免费啪啪亚州视频| 开心婷婷五月| 国产婷婷五月| 亚洲视频伍月婷婷| 色综合99无码| 五月天成人在线| 另类天堂| 婷激情五月天视频导航| 99视频精品在线| 色婷婷综合综合网| 天天日天天色| 中文AV网站| 深爱网深爱综合网| 天天爽天天操| www.25五月婷婷| 色五月激情综合| 丁香五月婷婷操逼| 六月婷婷六月天天在线免费| 六月色狠狠色| 人人操av| 丁香六月色婷婷欧美| 国产阿姨日皮艹逼内射视频| 人妻少妇色综合| 香蕉AV777XXX色综合一区| 免费观看全黄做爰的视频| 五月天丁香网| 操九色| 六月综合在线| 97sese婷婷| 91大屁股在线| 日日舔夜夜操| 色婷婷大香蕉| 久久久天堂国产精品女人| 丁香五月偷拍| 5月色亭亭视频| 99爱99操| 亚洲成Av人片乱码色第1集| 婷婷五月色天| 夜夜撸夜夜骑| 青青五月天婷婷| 国产91资源在线| 激情婷婷色五月| 91欧美| 日产精品一线二线三线芒果| 26uuu91| AA片在线观看视频在线播放| 开心五月色婷| 天啪天啪天啪天啪| 另类激情中文| 在线不卡AC| 插插五月天| 岛国在线观看91| 五月色丁香婷婷中文字幕| 精国产品一区二区三区A片 | 思思久久99热只有频精品66| 五月婷婷综合色啪首页| 久热九九| 亚洲综合网区| 欧美色男人网站| 狠狠色激情综合| 精品人妻午夜一区二区三区四区 | 久久精品9| 91热在线| 婷婷伊人綜合中文字幕小说| 艹| 五月婷婷香蕉| 久久九九色| 九九热re99re6在线精品| 亚洲不卡| 亚洲一色色色色色色色色| 8090在线影视少妇| 日日天天干| 久人操| 久久资源网五月婷| 99re在线观看视频| 久久久亚洲成人无码A片| 狠狠xx| AAA久久久AAA久久久AAA| 婷婷五月天堂| 婷婷五月天激情在线观看 | 国产成人综合网| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 伊人婷婷99热精品| 婷婷在线播放| 欧美五月丁香在线| 最新国产AV| 五月天激情综合首页| 日本狠狠干| 五月丁花色综合网| 伊人婷婷五月天av| 九九热在线视频| 五五月五月| 99热伊人综合| 秋霞性爱AV| 色色色精品无码区| 色五月色情| www.久久爱.com| 丁香五月婷婷久久综合激情网 | 狠狠干五月天| 欧美天天干天天草| 五月丁香激情婷婷| 亚洲无AV在线中文字幕 | 五月天婷婷操逼视频| 婷婷欧美| 婷婷激情五月综合| 最新热中文字幕| 97超碰免费超级在线观看| 五月婷婷激情视频| 26uuu青青| 青青久在线视频免费观看| 丁香涩涩爱| 色情久久久| 1000部毛片A片免费观看| 五月情涩综合婷婷| 婷综合| 国产精品第一国产精品| 9热在线观看| 天天综合激情| 超碰在线观看成人视| 啪啪一区| 婷婷五月天综合小说网| 99热只有精品综合| WWW、日本色丁香、co m| 五月天婷婷影院| 五月激情开心婷婷| 久久九九中文字幕| 色.五月综合网| 婷婷五月天无码视频| 国产欧美大香蕉一区| 日韩成人中文字幕| 婷婷五月丁香久久| 亚洲欧洲另类| 99玖玖视频| 婷婷色五月天在线观看| 色五月婷婷色五月| 丁香婷婷五月天网站| 亚洲成人电影在线免费观看| 亚洲色网络| 五月好婷婷| 噜噜噜狠狠色综| 九九99久久精品| 久9热视频| 五月丁六月香av| 非洲一级AV| 国产日韩欧美| 97在线综合| 亚洲综合婷婷五月天| 日本一级一片免费视频| 91人人人人人人人| 色婷五月天| 丁香五月天激情综合| 这里只有精品热| 丁香五月黄色| 久久5 9视频免费观看| 久久9久| 亭亭五月天黑人2014| A片一曲| 97碰碰草| 亚洲五月天激情| 岛国AV网| 操逼福利视频| 丁香婷婷六月| 99热这里全都是精品| 婷婷色正月| 性爱在线播放av| 99日精品视频| 激情五月天福利| 久久99久久99久久99人受| 可以看的av| 午夜性爱影视一区77| 色婷婷五月在线| 激情五月婷婷色综合| 99视频只有精品| 一本色道久久综合狠狠躁小说| 69五月天视频| 九九热视频精品2| 婷婷99丁香| 精品欧美性爱超级爽| 丁香婷婷大香蕉| www天天色天天射| 色在线五月天免费| 久久这里只有精彩| 久草 天堂| 涩婷婷视频快播人妻| 国产成人精品一区二区三区视频 | 5月婷婷视频网站综合| 99热这里有精品首页10| 狠狠综合久久综合| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 日日干日日| 色色亚洲| 色99网| 天天爱天天做天天爽| 色婷婷AAA| 九九热91| www.99操.com| 97五月婷| 538在线精品| 久热这里只有精品6| 97操碰在线视频| 欧美成人五月天| 婷婷亚洲五月丁香综合在线| VA日本视频| 丁香婷婷基地| 色婷婷色情| 色色色五月天激情资源| 五月丁香久久激情综合| 亚洲六月色| 欧美交换配乱吟粗大25P| 色婷婷狠狠| 99碰网站| XX久久| 丁香六月五月天| 日日操,夜夜撸| 99热 免费| 五月六月播婷婷| 伊人色综合影院视频| 欧美亚洲成人在线| 玖玖99精品视频| 97亚洲精品| 婷婷综合仓库中文| 国产一二区爆乳_1国产日韩一区二区三-成人AV| 一本色道久久综合狠狠躁小说| 超碰男人色| 少妇人妻人伦A片| 五月花在线观看视频| 五月婷婷六月奇米网丁香| 五月天另类综合网| www.色婷婷。com| 五月伊人综合| 操操操av| 丁香婷婷丁香五月欧美人| 亚洲婷婷在线播放十月| 五月份婷婷| 99热国产| 综合97五月| 四虎成人精品永久免费AV九九| 任你操精品免费| 五月天停婷基地| 激情五月天 婷婷| 久久资源网五月婷| 色99网站| 色婷五月| 日产精品久久久久久久蜜臀| 成人做爰黄A片免费看直播室男男| 五月丁香影视| 爱爱网址9| 中文字幕成人网站| 91碰免费视频| 青青草婷婷久久| 大香蕉娱乐| 丁香狠狠操| 综合超碰熟| AVV黄| 伊人色综合久久久| 色综合色五月| 五月综合视频在线| 五月天婷婷丁香蜜桃91| 五月色俺婷婷| 色色射| 夜夜撸夜夜骑| 色五月婷婷基地| 婷婷丁香五月亚洲| 熟妇内谢69XXXXXA片| 国产偷人爽久久久久久老妇APP | 97色色网| 色色色99韩| 激情国产综合| seav天堂| 婷婷五月天视频| 亚洲色爱综合| 丁香婷婷五月天色播| 影音先锋毛片网站| 婷五月天| 国产毛片精品一区二区色欲黄A片| 五月天丁香成人| 婷婷激情网五月天| 思思热思在线精品视频| 成人欧美日韩| 中文字幕+中文在线| 99精品视频在线观看| 婷婷五月综激情| 婷婷五月丁综合| 狠狠做六月爱婷婷综合aⅴ| 伊人玖玖婷婷| 丁香五月停停av| 亚洲激情综合| 97精品综合| 任你躁XXXXX麻豆精品| 伊人狼人干| 久久综合五月婷婷| 久久婷婷五月天懂色| 五月婷婷与六月丁香图片激情| 丁香婷婷人妻综合网| 五月花丁香婷婷| 五月天婷久精视频| 五月婷婷啪| 99热这里只有精品99| 成人草榴视频| 综合五月丁香六月婷婷| 丁香五月天激情网址| 深爱五月日韩| 欧美日韩AAAAA| 日本久久婷婷| A级毛片高清免费不卡播放谢谢谢谢| 国产国产乱老熟女视频网站97| 男男野外做爰全过程69| 停停六月 综合| 91avse| 亚洲视频在线观看99| 色欲五月婷婷| 91碰碰视频| 青青草成人网| 五月丁香六月花| 丁香月五月天婷婷久久| 欧美又粗又大一区二区在线观看| 日韩成人综合网| 日亚二欧美| 久久久噜噜噜操操操| 丰满少妇猛烈A片免费看观看| 婷婷免费视频| 久久a热| 超碰人人艹| 日日日日日| www,天天干| 天天摸天天日天天舔| 玖玖精品资源| 99热这里精| 五月丁香六月婷婷在线小说视频| 插插干干干色| 另类五月激情| 五月婷婷丁香六月| 噜噜五月天综合| 日本91在线| www.思思99热| 六月99天天婷婷激情综合| 国产成人精品亚洲线观看| 丁香五月婷婷www..com| 九九热这里只有精品首页| 婷婷五月天六月| 色五月五月天| 99热久草| 成人婷婷色综合| 啪啪黄页网| 丁香五月AV综合| 久草五月| 激情色播| 5月婷婷综合| 天天 青草 制服丝袜 在线| 天天干、天天日日| 在线日韩视频| 91熟妇大香蕉| 伊人大香五月天| 99乱视频| 丁香婷婷五月天激情四射| 天天天干夜夜夜操| 婷婷五月天综合AV| 色色色国产| 久久狼人天堂| 婷婷伊人网| 色色国产| 香蕉AV777XXX色综合一区| 久99999热视频在线观看免费| 丰满少妇猛烈A片免费看观看| 中文中文在线| 婷婷成人av| 在线成人国产| 五月丁香在线观看99| 激情亚洲婷婷| 国产VA播放| 婷婷激情五月天天天开心| 思思99热在线| www激情网| 久久性爱视频这里只有精品| 日日操夜夜爽| 久热中文字幕| 337p大胆噜噜噜噜噜91Av| 极品少妇高潮啪啪AV无码| 国产偷人爽久久久久久老妇APP| 婷婷五月花| WW婷婷五月天com| 国内熟女黄色系列| 99热色婷婷| 99色热视频| 91狠狠色丁香婷婷综合久久精品| 久久婷婷五月草视频在线播放| 香蕉中文在线| 久久久久网站| 九九热只有这里精品| 色插综合网| 天天舔天天摸视频| 超碰在线免费9| 五月婷在线| 色综合久| 丁香色色五月| 超碰色综合| 99色综合| 五月天婷婷黄色| 婷婷伊人网| 狠狠操狠狠| 色五月婷婷91| 中文av网站| www婷婷色| VA日本视频| 1024国产| 色欧美影院| 色欲AV导航| 成人无码精品1区2区3区免费看| 婷婷五月天综合网| 91人操人人人操人| 99啪在线| 五月天天天色| 婷婷色网址| 插插网爽妇五月丁香| 狠狠干在线| 丁香婷婷六月天| 国自产拍偷拍精品啪啪一区二区| 综合九九日本| 久久之人妻| 色性日本| 婷婷天堂综合| 久久婷婷五月天大香蕉| 日韩 中文 欧美| 伊人五月丁香| 免费碰碰视频久| 五月丁香婷色| 久久精品91视频| 精品无码色| 色五月激情网| 久久久久久综合88| 久久东京热婷婷五月| 91热网址| 五月丁香综合激情| 日本片日本片祼观看网站在线看中文版网页在线看 | 99这里只有精品|v| 亚洲无码猫咪| 激情五月天伊人av| 九月丁香| 婷婷激情五月天激情小说| 婷婷激情综合网| 99久久综合精品五月天| 欧美久久婷婷| 97AV人人插人人操| 五月婷婷丁香综合| 婷婷在线日韩综合| 视色综合| 色播激情| 噜噜色噜噜网| 综合超碰熟| 五月社区丁香| 久久综合五月| 午夜69成人做爰视频| 色约约视频一区二区三区四区五区| 六月丁香综合网| 农村熟妇高潮精品A片| 超碰A V在线| 色婷操逼| 播四月婷婷六月丁香| 九九热精品在线| 777久久久| 另类在线| 91丨九色丨东北熟女| 91丨九色丨大屁股| 久久女婷| 开心五月丁香综合久久| 丁香五月婷婷天激情| 99久久综合精品五月天| 色色六月| 久久综合婷婷| 日韩色色视频| 真实的国产乱XXXX在线91| 色色婷婷丁香| 日本丁香五月| 五月丁香婷婷伊人日韩| 久久五月天综合视频网站| 人人草人人舔| 伊人喵咪a V| 综合丁香婷婷五月天| 七七色色综合| 91色色色视频| 色五月婷婷、老熟女| 丁香婷婷基地| 日本三级网址| 美英法精品无码免费视频| 久久久精品人妻| av在线免费网站 | 婷婷五月天干干| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 丁香五月天啪啪a日本| 影音先锋男人AV资源站| 俺去也综合| 在线观看亚洲视频影院| 久久综合人妻| 五月丁香狠狠爱婷婷综合| 久久婷婷五月丁香蜜桃网| WWW,五月| 久久激情五月婷婷| 六月天婷婷| 日批在线看| 色爱爱综合网| 26UUU欧美激情一区二区| 色情五月丁香| 久久精品99国产精品日本| 丁香五月婷婷欧美成人色图| 激情五月份婷婷| 国产欧洲欧洲精品久久| 91919191919久久成人视频| site:hcxsz888.com| 色婷久九| 成人毛片在线免费观看| 亚洲综合视频在线| 开心四月婷婷在线色播播| 亚洲中文AV| www.狠狠| 激情综合啪啪啪| 一本色综合色| 婷婷基地五月色| 久久人妻久久| 91操人视频| 99在线观看视频| 99久re热| 五月婷婷深深爱| 久久 无毛。| 五月草视频| 伊人九九九久| 五月丁香婷婷成人综合网| 4399无码视频| 天天色,天天日,天天做| 久久与婷婷| 日本猛少妇色XXXXX猛叫| 激情亚洲网| 午夜免费试看| 婷婷五月综激情| 久鲁鲁色网| 综合色色色| 国产五月天婷婷| 婷婷五月在线观看| 婷婷9月天| 色五月播五月| 天天弄天天爽| 久久青草国| 天天精品视频免费观看| 丁香婷婷五月基地| 色色五月婷| 久9综合| 深夜男女福利刺激影院一区完整| 思思re视频在线| 免费AV在线| 亚洲妇女熟BBW| 天天日夜夜| 丁香婷婷人妻综合网| 日本久草福利| 六月成人网| 色婷婷A| 九九热99精品| 五月丁香操婷逼| 66色在线日韩| 91超碰在线观看| 色五月婷婷综合| 欧美狠狠草| 疯狂做受XXXX高潮A片动画| 婷婷激情社区| 热99热| 六月丁香停| 国产熟妇乱子伦hd| 91超级碰碰碰| 26uuu欧美日本| 金品在线视频99| 天天爽天天| 五月天婷婷网站888| 99超级碰免费视频| 99热思思在线观看| 亚洲AV无码成人电影| 色色日本| 婷婷永久在线| 女人高潮内射99精品| 九九热在线视频,| 99碰碰碰| 色婷婷狠| 婷婷五月天777| 99综合色色色| 天天干天天拍| 九玖视频这里只有精品| 五月婷婷色欲| 人人草人人爱| 久久XX| 国自产拍偷拍精品啪啪一区二区 | 狠狠色性| 丁香五月天婷婷大香蕉| 六月婷婷av| 乱女乱妇熟女熟妇综合网站| 99热人人艹| 婷婷五月在线视频| 秋霞三级色戒| 久久综合站| 色婷另类| 五月停停直播| 9久热在线精品| 色综合区| 五月天性色| 五月天伊人久久| 色播综合| 日撸夜撸日操| 伊人婷婷大香蕉| 色噜噜狠狠色综无码久久合欧美| 丁香五月色欲| 色丁香久久| 最近中文字幕2019视频1| 久久国产色| 日本超碰在线| 丁香五月激情久久麻豆| 99热99美国在线观看| 欧洲婷婷五月天| 加勒比久热| 这里只有精品免费视频| 日日夜夜小色哥| 日本人妻伦在线中文字幕| 日日爱激情| 久久久人妻人伦| 热久综合| 久久五月综合| 欧美综合五月丁香六月婷| 久久伊人9| 国产69久久久欧美黑人A片| 天天爽,夜夜爽| 五月开心婷婷中文字幕| 综合久久8| 在线婷婷| 色久综合天天做视频| 欧美成性色| 久热91| 玖玖无码中文| 99热免费精品| 色女人久久| 第四色网婷婷| 停停综合色色| 午夜免费高清AV片| 亚洲另类AV| 成人AV播放| 久草婷婷网 | 久久婷婷五月综合| 俺去也综合| 色色操| 色五月婷婷综合| 九九热婷婷| 激情六月色| 婷婷涩涩五月天| 丁香五月六月婷婷殴美综合| 久久精品66| 久婷婷| 国产成人综合电影| 色婷婷视频在线| 色婷婷婷婷五月天| 丁香婷婷激情五月色| 成人在线日韩欧美| 夜夜爱爱亚洲| www.久久婷婷| 丁香五月开心亚洲| 91精品人妻少妇无码影院| 婷丁香五月天| 色婷婷久久天天性爱| enecarbon-materials.com污K127封锁请涟系@wip1688 | 97色色综合| 69超碰在线| 婷婷激情四射| 天天爱综合网| 色色色色av777| 五月开心婷婷网| 超碰9在| 9九九久久精品无码专区| 亚洲色网址| 天天日天天操心| 天天爽综合| 婷婷五月成人有| 操逼毛片国语对白| 性爱激情小说AV五月丁香花| 婷婷丁香18| 色情婷婷| 久久久五月天| 色婷婷五月天| www.日日夜夜.com| 五月天婷婷深深爱| 亚洲AV激情五月综合网| 日本色道视频网站| 色综合视频| 欧美久久久中文字幕| 日日做A爰片久久毛片A片英语| 香蕉综合网| 综合性爱网| 综合色色色色色色| 亚洲一区二区无码蜜乳av| 99热久只有精品首页| 亚洲永久四色| 久久婷婷五月综合色奶水99啪| 婷婷五月a| 91丨九色丨首页| 国产FREESEXVIDEOS性中国| 99热免费在线| 激情视频网址| 色玖玖综合| 婷婷五月情| VfJxEwPH| 亭亭社区五月天| 国产26uuu视频| 女人天堂av| 26uuu视频欧美| 日韩999| 五月玖玖| 任你日视频| 免费AV在线| 婷婷综合一二三| 婷婷综合av| 色婷婷五月天无码视频| 天堂网操| 高清av在线国产| 狠狠婷婷日韩| 五月刺激丁香月综合| 色色色色丁香| 91夫妻网站九色| 天天干天天日蜜臀av| 日本女色人人| 精品成人在线| 九九成人电影婷婷| 欧美十二区| 好叼操在线观看| 超碰妻人人| 天天久久九九| 99精品视频网| 日本色婷婷| 日韩aaaaa| 97人人超| 五月天婷婷成人网| 96精品成人无码A片观看金桔| 色五月激情五月| 熟女人妻一区二区三区免费看| 成人做爰A片免费看视频| 99在线精品免费视频| 少妇被躁爽到高潮无码文| 成人无码精品1区2区3区免费看| 欧美人与性动交CCOO| 欧美私人家庭影院| 婷婷色色亚洲| 久久99草五月婷婷| 九九九九无码| 色吊丝永久访问网址| 综合网啪啪| 婷婷五月丁香综合| 亚洲一个色| 99热精品10| 丁香六月高清视频| 婷婷五月天免费| 人人摸人人干人人做| 婷婷色狠狠| 激情五月天小说网| 91超级碰在线视频| 五月天婷婷在线AN| 最近中文字幕大全免费版在线| 国产精品久久久久久久久久| 色欲五月丁香| 9色免费网| 日韩在线99| AV九九| 亚洲色爽| 日韩精品无码99| 久久美女五月天| 大香蕉天堂| 中文AV网| 五月日韩中文字幕| 五月婷婷9| 91婷婷丁香五月| 天天骑日日爽| 99精品视频在线| 色丁香五月天婷婷| www久久艹| 天天干天天操天天拍| 拍真实国产伦偷精品| 婷婷五月在线影院| 91AV视频| 五月婷婷av| 开心五月婷婷六月丁香| 久久色五月天综合网| 婷婷五月色| 另类视频在线| 搡BBBB搡BBB搡18 | 看逼中文字幕| 亚洲天堂99| 提提热五月天婷婷| 五月在线| 婷婷色五月天在线| 久久99热网| 婷婷第一页| 99热久| 伊人婷婷色激情丁香| 桃色激情网| 日本片日本片祼观看网站在线看中文版网页在线看| 亚洲色五月| 精品自拍99| 亚洲六月婷婷| 99 这里只有精品| 五月天综合在线观看视频| 色色五月天婷婷| 久草热8精品视频在线观看| 超碰在线播放免费观看| 久久久精品视频79| 少妇人妻凹凸视频| 国产精品成人AV在线| 中文字幕在线观看视频www| 久久99激情五月天| 色色色99| www.热99热| 色五月丁香总合网| 天天日,天天干,天天操| 五月婷婷婷| 久久免费高| 婷婷精品在线| 九九九九九九九热| 人人操97| 操操操B| 91久久精品无码一区二区三区| 天天做天天爱天天爽在| 婷婷狠狠操| 五月激情在线| 97超级碰碰碰| 操国产人妻| 99re8在这里只有精品| 丁香五月激情网| 激情五月天福利| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 538任你爽视频不一样的| 情婷婷五月天在线| 婷婷色五月婷| 中字幕视频在线永久在线观看免费| 91操屁股| 丁香婷婷人妻综合网| 成人在线日韩欧美| 日本少妇裸体做爰高潮片| 成人网在线视频| 99热骚货| 狠狠爱综合| 婷婷综合国产| 色色自拍视频网站| 久久久这里有精品| 青青草国产亚洲精品久久| 亚洲精品在线视频| 思思热热久久| 色五月婷婷中文字幕| 九九中文色色| 五月色婷婷综合色| 九九热精品视频在线观看| 少妇人妻人伦A片| 婷婷99热| 人人噜天天上| 丁香五月激情综合| 欧美五月婷婷| 天天爱夜夜爽| 国产真人做爰视频免费| 棕合影院色色| 色停停五月天| 色色99| 超碰成人在线观看| 婷婷五月天精品| 五月丁香啪啪啪| 超碰9| 日韩视频99| 国色天香成人网| 成人国产综合| 亚洲色99| 日韩黄在免| 一起草无码视频| 天天干天天操天天射| 丁香五月婷婷啪啪视频| 色激情综合狠狠婷婷| 久热黄色| 丁香社92视频| 91婷婷五月天综合视频| www,天天干| 97超碰在线免费观看| 色99欧洲色19| 无遮挡国产高潮视频免费观看 | 停停五月天激情网| 欧美大肥婆大肥BBBBB| 精品人人操| 人人摸人人| 九九丁香社区欧美激情| 色99亚洲| 超碰人人色| 91chinese 在线| 天天天天色天天天天天干| 精品一二三区久久AAA片| 久久激情网| 色欲五月婷婷| 美腿丝袜AV天堂网| 婷婷六月五月天综合| 操骚货在线| 99热99精品在线观看| 丁香五月亭亭六月综合激情网| 激情av| 成人av在线网址| 色婷婷狠狠| 99视频热99| 婷婷五月天亚洲激情戏精品| 九九亚洲视频| 婷婷色色网| 人人97碰| 欧美超级视频97| 五月人妻婷婷视频| 99精品综合在线| 爱婷婷五月| 任你躁XXXXX麻豆精品| 婷婷五月花免费视频在线| AV九九| 性视频久久| 14色综合婷婷| 成人网站av免费网站推荐| 久久九九热视频| 日本道久久91| 永久AⅤ1| 91九色白丝| 婷婷五月AV| 草草女人亚洲| 天天综合图片| 国产亚洲精品AAAAAAA片| 天天日天天插天天操| 五月天com| 日本综合久| 欧美25p| 久久99网站| 九九99免费视频| 97碰碰在线看视频免费| 激情婷婷久久| 五月丁香亭亭操逼| 欧美视频五区| 免费黄色AV| 99超级碰碰| 伊人玖玖精品| 99在线免费视频| 婷婷欧美综合| 五月天啪啪视频| 亚洲五月婷| 国产成人99久久亚洲综合精品| 亚洲无码另类| 99热这里只有精品22| 久久五月综合| 可以免费观看的av| 久久亚洲婷婷综合色五月| 婷婷色五月激情| 99亚洲综合| 无码激情AAAAA片-区区| 天天干天天干天天干天天干天天干天天 | 久久久区区一久久久久久| 五月天婷婷狂暴白浆| 五月丁香六月情亚洲| 97碰碰叉| 五月婷婷六月丁香色| WWW.久久久久久久久久久久久| 五月婷婷啪啪| 久热超碰91| 久久久8| 天天骑日日爽| 内射爽无广熟女亚洲| 免费久久这里只有精品99| 婷婷婷狠狠| 五月婷婷在线综合| www,超碰| 91在线日| 激情综合青草| 国外亚洲成AV人片在线观看| 伊人婷婷五月天av| 操逼综合网| 欧洲一区二区| 久久丁香| 欧美性猛交99久久久久99按摩| 五月婷婷六月奇米网丁香| 黄色短视频在线观看| 亚洲丁香婷婷丁香五月天激情| 久99久视频免费观看| 色情五月婷婷| 中文人妻主播久久| 久草婷婷在线| 婷婷五月丁香在线视频| 色婷婷综合综合网| 五月丁香在线观看| 色亚洲色宗合| 久久五月婷综合网| 久久总和99| 国产色色在线| 性欧美大战久久久久久久83| 久久视频这里99| h亚洲| 五月丁香六月激情在线| 日韩欧美四五区| 91伦| 九九热中文| 99热精品在线播放观看| 天天插操| 欧洲色色| 婷婷五月激情的图片| 日本色色影片| 婷婷综合在线| 久99| 色色网站毛片| 天天操天天插| Av性爱网| 久久99看免费| 超pen个人视频97| 五月婷婷啪啪网| 精品三区影院| 五月开心婷婷极品激情| 91久久精品视频| 天天做天天爱天天爽| 色欲婷婷五月天丁香| 天天拍夜夜爽| 五月婷在线观看| Av在线资源| 亚洲综合色网| 色婷婷五月综合在线| 久久视频九九视频| 久久婷婷视频| 天堂网色婷婷| 欧美私人家庭影院| 婷婷中文无码| 常久最新免费的色吊丝| 六月婷婷深深爱| 91九色中文| 久久99最新地址| 日日爽日日| 国产欧美va| 婷婷五月天视频在线观看| 色停停香蕉视频| 在线观看视频1区| 丁香五月成人| 日韩在线99| 丁香五月六月激情久久| 婷婷四月 成人 狠狠干| 啪啪黄页网| 五月丁香在线观看国产| www.yw尤物| 中文资源在线a| 丁香五月激情综合啪啪| 国产成人AV人人爽人人澡Va| 久久刺激网| 欧美婷婷综合| 国产avapp 网| 黄页大全十八禁| 九热精品| 9九九久久精品无码专区| 91色综合| 99热亚洲精品66| 色999亚洲人成色| 激情五月天.色网| 狠狠草狠狠草| 久久久久久久久人妻| 婷婷五月激情四月综合| 五月婷丁香久久综合| 五月丁香影院| 五月婷婷激情综合av| 五月熟妇婷婷久久| 丁香五月天狠狠操| 中文字幕成人网站| 99热超碰在线| 丁香色五月婷婷| 侠女刀之记忆电影在线看免费| 日韩激情网站| 99噜噜噜在线播放| 欧美99视频| 五月激情网络| 丁香5月激情网| 日本久久9| 99国产精品久久久久久久久久久| 伊人玖玖精品| 婷婷五月天综合中文| 狠狠搞五月天| 激情丁香久久久久久| 亚洲蜜桃精久久久久久久久久久久| 久久久.COM| 婷婷激情丁香六月| 激情五月天婷婷久久久久久久久久久| 玖玖婷婷视频| 午夜天天精品视频| 亚洲热久久| 久久久精品人妻| 人人爽人人爽人人爽人人爽| 久久性爱视频| 久操人| 玖玖爱伊人网| 五月婷婷综合视频| 99精品久久久久| 色天天综合| 九九热这里都是精品6| 狠狠爱婷婷爱| 99在线综合视频| 国产日产亚洲系列最新| 五月婷婷中文字幕| 婷婷五月,偷窥偷拍网| 99re在线这里只有精品视频首页| 思思色播| 色色狼人综合| 看逼中文字幕| 狠狠干.com| 色色丁香| 97精品综合久久| 综合久久99| 婷婷激情网五月天| 五月婷婷开心爱| 久热九九| 五月天激情四射网站| 色播色丁香五月| 天天揷综合网| 婷婷大香蕉| 丁香五月色| 91色操| 五月丁香六月综合激情| 婷婷五月天电影在线| 综合xx网| 精品九九在线观看视频| 亚洲成人AV在线播放| 操人精品| 一本狠婷婷综合| 91av传媒高清在线视频网| 操碰91| 婷婷天天日婷婷| 五月丁香激情四射| 日日操日日撸| 五月网在线| 99爱免费在线视频| 五月激激网w'w'w| 狠狠操.com| 91狠狠色丁香婷婷综合久久| 91色涩| 日韩精品一区二区亚洲AV观看| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 青草青草久9视频在线视频| 97色 五月天丁香| 国产精品天天狠天天看| 激情五月丁香五月| 狠狠插狠狠插| 日日.c| 五月色婷| 99热国内精品| 色色色五月婷| 久久五月天网| 五月欧美丁香在线观看| 五月丁香中文字幕| 日韩精品二三区| 天天夜天天色天天| 99re26视频| 超碰AAAAAAV| 天天在线久久综合| 99精品这里只有免费视频| 亚洲综合视频天天精品| 久久精品爱爱| 欧美极品999| 国产成人网| 久久综合九九| 激情婷婷| 亚洲一个色| 狠狠色噜噜狠狠色噜噜噜999| 思思99热这里只有精品| 欧美黑人大吊| 综合激情五月四射婷婷| 天天干,天天舔| 激情婷婷丁香五月天小说| 99精品在线播放| 色色色在线观看| 99热精品在线| 九九人人精品| 婷婷操超碰| 色三级色三级| 日韩成人综合网| 91chinese在线| 五月天亭亭俺也| 六月丁香网| 五月综合久久| 欧美日韩精品人妻狠狠躁免费视频| 极品人妻VIDEOSSS人妻| 欧洲电影在线观看免费版英语版| 97热91| 人操综合| 五月天堂六月丁香亚州中文字幕久久 | 五月丁香六月婷婷久久肏| 美女网黄| 亚州操人在线视频| 婷婷五月天av| 亚洲日本韩国| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 99热这里只有精品国产免费| 国产裸舞福利资源在线视频| 就爱操www com| 五月婷六月丁香| 色吧五月婷婷| 亚洲人人操| 大香蕉综合| 极品人妻VideOssS人妻| 久久久天堂国产精品女人| 国产伦亲子伦亲子视频观看| 偷拍九九热| 五月丁香婷婷激情四射迷人| 婷婷网影院| xxxx五月天色色| 婷婷综合网伊人| 99∨VTV| 91玖玖| 99超级碰碰| 五月婷免费视频| 99这里只有精品|v| 亚洲成人丁香花| 亚洲久久婷婷| 超pen个人视频97| 4399在线观看免费高清电视剧| 精品在线网站| pom538精品视频| 99热成人| 婷婷九月丁香天堂丁香天堂| 五月天婷婷中文字幕在线播放| 欧美性色A片免费免费观看的 | 婷婷五月天渟渟| 精品成人无码A片观看香草视频 | 亚洲精品V天堂中文字幕| 婷婷基地五月色| av线电影| 99亚洲天堂| 五月天激情四射| 99这里都是精品| 激情五月视频| 婷婷丁香婷婷97| 亚洲精品在线视频| 综合久久婷婷| 久久精品人妻| 五月婷婷新网站| 亚洲综合激情五月久久| 国产中文亚洲欧美日韩性交| 亚洲热热视频| 色色热99| 久久怡红院| 亚洲色域网| 超碰九热| 丁香激情五月少妇| 欧美碰碰| www,色婷婷| 五月天色婷婷小说| 久久精品五月天| 色婷婷yy久|