欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

FastDFS分布式文件系統(tǒng)詳解:架構(gòu)、部署與調(diào)優(yōu)實(shí)踐

FastDFS分布式文件系統(tǒng)詳解:架構(gòu)、部署與調(diào)優(yōu)實(shí)踐 1. 先搞清楚它是什么FastDFS的定位與適用場(chǎng)景如果你做過(guò)后端開(kāi)發(fā)大概率遇到過(guò)文件存儲(chǔ)這類需求——用戶頭像、商品圖片、網(wǎng)盤附件、視頻資源凡是得落盤的東西早晚都會(huì)擠爆你那臺(tái)服務(wù)器的磁盤。我最早處理這類需求時(shí)特別天真把文件直接丟在應(yīng)用服務(wù)器的某個(gè)目錄下再走一層Nginx把靜態(tài)目錄暴露出去一開(kāi)始確實(shí)省事但隨著文件越來(lái)越多、服務(wù)器壓力越來(lái)越大拆分就成了繞不開(kāi)的坎。FastDFS就是奔著這個(gè)問(wèn)題來(lái)的。它是一個(gè)用C語(yǔ)言寫的開(kāi)源輕量級(jí)分布式文件系統(tǒng)專門用來(lái)存儲(chǔ)中小尺寸的文件核心能力就三句話文件存得下、文件不丟、文件能橫向擴(kuò)展。說(shuō)它是分布式文件系統(tǒng)它跟HDFS那類動(dòng)輒幾百G內(nèi)存起步的重量級(jí)選手不是一個(gè)路子FastDFS的設(shè)計(jì)哲學(xué)是極簡(jiǎn)化——不搞復(fù)雜的數(shù)據(jù)塊抽象不做副本級(jí)的強(qiáng)一致機(jī)制它把文件存成扁平結(jié)構(gòu)用組group作為基本單位來(lái)做容災(zāi)和擴(kuò)容適合文件總體規(guī)模在TB級(jí)別、單文件大小在KB到幾十MB之間的場(chǎng)景。那什么時(shí)候該用FastDFS我個(gè)人的判斷標(biāo)準(zhǔn)有三條。第一文件數(shù)量大、平均尺寸小比如一個(gè)每天產(chǎn)生幾萬(wàn)張圖片的商城系統(tǒng)這種場(chǎng)景對(duì)象存儲(chǔ)當(dāng)然也能做但如果不想把業(yè)務(wù)綁到云廠商的API上自建一套FastDFS是成本最低的路徑。第二對(duì)讀寫延遲有一定要求但不苛刻FastDFS是純內(nèi)存態(tài)的管理加磁盤態(tài)的存儲(chǔ)上傳下載速度非常快內(nèi)網(wǎng)跑滿千兆是完全可能的。第三機(jī)房環(huán)境可控、機(jī)器數(shù)量不多兩到三臺(tái)起步就能搭一套能用的集群?jiǎn)螜C(jī)磁盤不夠了再加機(jī)器就行不必一上來(lái)就上Kafka、ES那套全家桶。沒(méi)接觸過(guò)的人可能會(huì)問(wèn)它跟OSS、S3這類對(duì)象存儲(chǔ)有什么區(qū)別其實(shí)FastDFS本質(zhì)上也可以算作一種私有化部署的類對(duì)象存儲(chǔ)只不過(guò)它的接口不是S3協(xié)議而是自有的客戶端協(xié)議。前者是花錢買省心后者是自己動(dòng)手換自主可控兩條路沒(méi)有絕對(duì)好壞取決于你手里的資源和對(duì)成本的敏感度。如果項(xiàng)目剛起步、機(jī)器預(yù)算有限又希望文件這一層能扛住增長(zhǎng)FastDFS是個(gè)非常務(wù)實(shí)的備選方案。另外值得一提的是FastDFS的部署形態(tài)非常輕——Tracker和Storage兩個(gè)角色都是單一二進(jìn)制文件配置項(xiàng)也少得可憐幾分鐘就能把一個(gè)單機(jī)實(shí)例跑起來(lái)。相比起動(dòng)不動(dòng)就要你搭一堆依賴組件的系統(tǒng)這種給個(gè)tar包就能玩的項(xiàng)目對(duì)新手極其友好。我第一次部署時(shí)大概只花了不到半小時(shí)連讀文檔帶踩坑這份經(jīng)驗(yàn)后來(lái)多次幫我在朋友公司的項(xiàng)目里快速落地了文件層方案。2. 架構(gòu)拆解Tracker與Storage各自扮演的角色FastDFS整個(gè)系統(tǒng)里只有兩種角色Tracker Server和Storage Server。有的資料會(huì)把FastDFS的架構(gòu)分成三部分把客戶端也算進(jìn)去但我更習(xí)慣把客戶端忽略掉因?yàn)镕astDFS的官方客戶端更像是一層SDK真正干活的是這兩個(gè)服務(wù)端角色。Tracker Server是調(diào)度的核心它的職責(zé)是維護(hù)整個(gè)集群里所有Storage節(jié)點(diǎn)的狀態(tài)包括哪個(gè)組還活著、哪個(gè)存儲(chǔ)節(jié)點(diǎn)的負(fù)載情況、磁盤剩余空間還有多少。注意Tracker是不存文件內(nèi)容的它只保存元數(shù)據(jù)級(jí)別的路由信息所以它的內(nèi)存和CPU壓力都不大。一個(gè)FastDFS集群可以部署多個(gè)Tracker彼此之間通過(guò)選舉機(jī)制選出主節(jié)點(diǎn)客戶端拿到的是可用Tracker的地址列表任何一個(gè)掛了都能自動(dòng)切換過(guò)去。Storage Server才是真正存放文件的地方。Storage以組為組織單位一個(gè)組內(nèi)可以有多臺(tái)機(jī)器組內(nèi)機(jī)器之間做數(shù)據(jù)互備——同一份文件會(huì)在同一個(gè)組里的每臺(tái)機(jī)器上都落一份這樣只要組里還有一臺(tái)機(jī)器活著數(shù)據(jù)就還在。不同組之間存的是完全不同的文件互不相干。這種設(shè)計(jì)帶來(lái)的好處非常直接想要提高容錯(cuò)就增加組內(nèi)的機(jī)器想要提升存儲(chǔ)容量上限就增加組的數(shù)量。橫向擴(kuò)展和縱向加固被徹底解耦操作起來(lái)非常清晰??赡苡腥藭?huì)問(wèn)既然組內(nèi)是多副本為什么FastDFS不把容災(zāi)做到多個(gè)組之間這其實(shí)是有意的取舍。跨組互備意味著任意一個(gè)組里的一對(duì)機(jī)器損壞都可能牽連到其他組的目錄結(jié)構(gòu)維護(hù)成本陡增。FastDFS選擇的是最樸素的主從模型組內(nèi)主備同步組間各自獨(dú)立。它犧牲了一點(diǎn)極端場(chǎng)景下的冗余能力換來(lái)了架構(gòu)的簡(jiǎn)潔和運(yùn)維的直觀實(shí)際用起來(lái)很少會(huì)因?yàn)槎喔北镜膯?wèn)題頭疼。Storage內(nèi)部還分幾個(gè)目錄層級(jí)文件名會(huì)經(jīng)過(guò)哈希之后分散到不同的子目錄里。這里建議初次接觸的人重點(diǎn)理解一個(gè)概念文件ID不只是一個(gè)隨機(jī)的名字它里面其實(shí)是帶著路由信息的格式通常是組名/磁盤目錄/兩級(jí)子目錄/文件名??蛻舳四玫竭@個(gè)ID就能反推出文件在哪一組、大概在哪個(gè)子目錄Tracker的定位壓力也就被分?jǐn)傁氯チ讼螺d文件時(shí)可以直接定位到具體Storage節(jié)點(diǎn)而不需要每次都來(lái)一次全集群掃描。Tracker和Storage之間的通信走的是2188端口的心跳協(xié)議Storage每隔一段時(shí)間向自己注冊(cè)的Tracker上報(bào)磁盤剩余量和同步狀態(tài)。Tracker側(cè)維護(hù)著一張動(dòng)態(tài)更新的節(jié)點(diǎn)表客戶端每次操作文件之前先向Tracker問(wèn)一句這個(gè)文件我該找誰(shuí)Tracker返回一個(gè)可用的Storage地址客戶端再直連它去讀寫。一整套流程走下來(lái)Tracker本身只負(fù)責(zé)做輕量級(jí)的決策不會(huì)成為數(shù)據(jù)通道上的瓶頸這也是FastDFS能扛住高并發(fā)文件操作的原因之一。3. 文件從上傳到訪問(wèn)的完整鏈路搞懂FastDFS的讀寫流程比單純背概念有用得多。我剛?cè)腴T時(shí)對(duì)著架構(gòu)圖看了半天總覺(jué)得心里沒(méi)底直到自己把上傳日志打出來(lái)、一條一條追蹤了一次完整請(qǐng)求才算徹底弄明白這套調(diào)度是怎么回事。先說(shuō)上傳??蛻舳苏{(diào)用接口時(shí)先把文件名和文件大小信息發(fā)給TrackerTracker根據(jù)各組的存儲(chǔ)狀態(tài)選出一個(gè)合適的組再?gòu)倪@個(gè)組里挑一臺(tái)剩余容量充裕的Storage然后把這臺(tái)Storage的地址返回給客戶端。注意這里的剩余容量充裕Tracker并不是隨機(jī)亂選的——它的調(diào)度策略是優(yōu)先選擇磁盤剩余空間最大的組組內(nèi)優(yōu)先選擇剩余空間最大的Storage這保證了集群里的數(shù)據(jù)相對(duì)均勻地鋪在各塊磁盤上不至于出現(xiàn)某臺(tái)磁盤寫滿、旁邊的還是空著的尷尬情況??蛻舳四玫降刂泛笾苯酉騍torage發(fā)起連接寫入文件內(nèi)容。Storage把文件落到磁盤后會(huì)根據(jù)配置生成一個(gè)文件ID再把這個(gè)ID返回給客戶端。到這里上傳就算完成了。整個(gè)過(guò)程Tracker只在最開(kāi)始做了一次調(diào)度決策后面就完全不參與了數(shù)據(jù)不經(jīng)過(guò)它中轉(zhuǎn)。再往下走FastDFS會(huì)異步執(zhí)行組內(nèi)的同步。文件剛寫完時(shí)它只會(huì)出現(xiàn)在當(dāng)前這臺(tái)Storage上另外幾臺(tái)備機(jī)上的同組節(jié)點(diǎn)會(huì)通過(guò)binlog方式把文件拉過(guò)去實(shí)現(xiàn)最終一致。所以這里有個(gè)細(xì)節(jié)要留心剛上傳完的文件如果在極短時(shí)間內(nèi)去別的組內(nèi)節(jié)點(diǎn)讀取是有可能暫時(shí)讀不到的等同步完成才能保證可用。FastDFS的同步非常快局域網(wǎng)內(nèi)一般秒級(jí)就完成了但極端情況下如果你在寫完立刻跨節(jié)點(diǎn)去讀需要有個(gè)重試機(jī)制兜底。下載流程是上行鏈路的逆過(guò)程??蛻舳四弥募蘒D向Tracker查詢Tracker解析出這個(gè)ID里的組名然后返回該組內(nèi)某臺(tái)Storage的地址。這里的組內(nèi)選擇策略跟上傳時(shí)略有不同——如果配置了優(yōu)先讀取本機(jī)客戶端會(huì)直接定位到ID被創(chuàng)建時(shí)那臺(tái)機(jī)器否則Tracker會(huì)返回當(dāng)前負(fù)載較低的一臺(tái)。拿到地址后客戶端再直連Storage讀取文件內(nèi)容。那客戶端又是怎么知道該找哪個(gè)Tracker的呢一般是在初始化SDK時(shí)傳入一組Tracker地址列表SDK啟動(dòng)時(shí)會(huì)主動(dòng)注冊(cè)并獲取可用的Tracker節(jié)點(diǎn)。如果第一個(gè)連不上會(huì)自動(dòng)切換下一個(gè)保證整個(gè)服務(wù)不會(huì)因?yàn)槟撑_(tái)Tracker宕機(jī)而不可用。我第一次搭的時(shí)候只配了一個(gè)Tracker后來(lái)被同事提醒才明白這玩意單點(diǎn)風(fēng)險(xiǎn)極大趕緊加了一臺(tái)并配置好選主心里才踏實(shí)。FastDFS還支持一種Nginx擴(kuò)展模塊叫fastdfs-nginx-module它的用途是把HTTP下載能力對(duì)接進(jìn)來(lái)。Storage本身的服務(wù)端口是23000走的是私有協(xié)議不方便給瀏覽器直接用通過(guò)這個(gè)Nginx擴(kuò)展你可以把文件ID映射成URL讓用戶直接通過(guò)http://域名/group1/M00/... 這種路徑訪問(wèn)文件。實(shí)際部署時(shí)普遍的做法是每臺(tái)Storage上裝一個(gè)Nginx專門用來(lái)做本機(jī)文件對(duì)外服務(wù)速度和穩(wěn)定性都很好。最后多說(shuō)一句關(guān)于目錄結(jié)構(gòu)的事。FastDFS會(huì)按天自動(dòng)生成兩級(jí)子目錄例如當(dāng)前日期是某月某日就生成M00/XX/XX這樣的路徑文件通過(guò)取文件名hash值的前兩位來(lái)決定落到哪個(gè)子目錄避免單目錄內(nèi)文件太多導(dǎo)致查詢效率下降。這部分邏輯在系統(tǒng)內(nèi)部自動(dòng)完成不需要人工干預(yù)但理解它的原理對(duì)排查某個(gè)文件到底存到哪去了這類問(wèn)題時(shí)特別有用。4. 從零搭建一套FastDFS環(huán)境的實(shí)測(cè)記錄部署FastDFS最怕的不是不會(huì)配而是配到一半發(fā)現(xiàn)文檔跟實(shí)際版本對(duì)不上。我這次記錄的是基于最新穩(wěn)定版安裝包的操作用一個(gè)組加兩塊磁盤的簡(jiǎn)單形態(tài)做講解單機(jī)照樣能跑通兩臺(tái)以上機(jī)器可以實(shí)現(xiàn)真正的組內(nèi)互備。先準(zhǔn)備環(huán)境。FastDFS依賴libfastcommon這個(gè)公共庫(kù)需要提前編譯安裝順序不能搞反。整套工具鏈要求gcc、make這些基礎(chǔ)編譯工具存在我這里用的是某臺(tái)干凈的CentOS 7虛擬機(jī)內(nèi)存給了1G沒(méi)有做任何額外優(yōu)化。如果機(jī)器上沒(méi)有這些依賴先執(zhí)行一下包管理器的安裝命令把編譯工具鏈備齊否則后面編譯會(huì)報(bào)錯(cuò)。整個(gè)安裝過(guò)程大概三步先編譯libfastcommon再編譯FastDFS本體最后把Tracker和Storage的配置寫對(duì)并啟動(dòng)服務(wù)。編譯安裝的細(xì)節(jié)我不展開(kāi)每個(gè)命令了重點(diǎn)說(shuō)配置階段最容易翻車的地方。Tracker的配置文件只有一個(gè)tracker.conf需要關(guān)注的選項(xiàng)是base_path、store_lookup和reserved_storage_space。base_path指定的是Tracker保存狀態(tài)文件的目錄建議放到獨(dú)立的磁盤分區(qū)上并把日志單獨(dú)重定向出來(lái)。reserved_storage_space這個(gè)參數(shù)非常關(guān)鍵——它決定了Tracker認(rèn)為某個(gè)存儲(chǔ)組剩余空間不足的閾值默認(rèn)是10%意思是磁盤容量只剩10%時(shí)就不再往這個(gè)組調(diào)度新文件了。如果你的磁盤總量不大建議把這個(gè)值調(diào)低一點(diǎn)否則白白浪費(fèi)很大一塊可用空間。Storage的配置文件是storage.conf里面要配的字段多幾個(gè)group_name、base_path、store_path_count、store_path0、tracker_server。group_name必須跟組內(nèi)其他節(jié)點(diǎn)保持一致否則會(huì)被Tracker當(dāng)成另一個(gè)組的機(jī)器。store_path_count和store_path0是配套的表示這個(gè)Storage上掛了幾塊獨(dú)立的存儲(chǔ)路徑FastDFS會(huì)在這幾個(gè)路徑之間做文件分布。如果你有兩塊磁盤想都利用上就在這里配store_path_count2然后分別指定store_path0和store_path1的路徑但要注意所有store_path的剩余空間必須都大于reserved_storage_space的閾值否則整個(gè)Storage會(huì)被判斷為不可用。配置寫好后先啟動(dòng)Tracker再啟動(dòng)Storage啟動(dòng)順序沒(méi)有硬性要求但建議Tracker先起Storage啟動(dòng)時(shí)才能正常注冊(cè)上去。用監(jiān)控命令查一下節(jié)點(diǎn)注冊(cè)狀態(tài)如果看到ACTIVE的字樣說(shuō)明這臺(tái)Storage已經(jīng)被Tracker納管了。首次啟動(dòng)后Tracke會(huì)生成一個(gè)data目錄里面放著集群信息千萬(wàn)不要手滑刪掉否則Storage之間會(huì)誤認(rèn)為自己是新節(jié)點(diǎn)。我把整個(gè)搭建過(guò)程中的幾個(gè)易錯(cuò)點(diǎn)整理成了一張表易錯(cuò)點(diǎn)現(xiàn)象解決方式編譯缺少依賴編譯中斷報(bào)未找到頭文件檢查gcc及l(fā)ibfastcommon是否正確安裝tracker.conf中reserved_storage_space過(guò)大新文件總寫入失敗根據(jù)實(shí)際磁盤容量下調(diào)到1%~5%storage.conf中g(shù)roup_name不一致同組互備不生效組內(nèi)所有節(jié)點(diǎn)配置完全相同的group_name防火墻未放行端口客戶端連接被拒絕放行Tracker的22122和Storage的23000端口base_path誤放在系統(tǒng)盤且空間不足日志撐爆系統(tǒng)盤用獨(dú)立數(shù)據(jù)盤掛載并指定路徑還有一件事很容易被忽略FastDFS的時(shí)間同步問(wèn)題。各節(jié)點(diǎn)之間的系統(tǒng)時(shí)間如果差太多心跳和同步會(huì)變得異常要么誤判節(jié)點(diǎn)離線要么binlog位置錯(cuò)亂。建議部署完就把NTP時(shí)間同步裝上讓所有機(jī)器的時(shí)間保持一致。我在第一次測(cè)試時(shí)沒(méi)有做這一步結(jié)果一臺(tái)Storage的時(shí)鐘慢了五分鐘日志里不斷出現(xiàn)超時(shí)重連的告警排查了半天才定位到是這個(gè)原因。5. 客戶端接入與API使用細(xì)節(jié)FastDFS客戶端不是我之前提到的那種大型SDK它本質(zhì)上是一層極薄的協(xié)議封裝支持的語(yǔ)言覆蓋了Java、Python、Go、PHP等主流方向。這里拿Java和Python各舉一個(gè)例子把最常用的上傳下載邏輯講清楚你完全可以直接遷到自己的項(xiàng)目里去。Java端的接入方式很統(tǒng)一——引入官方提供的客戶端依賴然后創(chuàng)建ClientGlobal對(duì)象初始化時(shí)把Tracker地址列表寫進(jìn)去。這里有一個(gè)容易踩的坑ClientGlobal初始化時(shí)的超時(shí)參數(shù)默認(rèn)是30秒如果網(wǎng)絡(luò)抖動(dòng)導(dǎo)致連接失敗HTTP接口層會(huì)等很久才返回前端就會(huì)看到轉(zhuǎn)圈半天。建議把網(wǎng)絡(luò)超時(shí)調(diào)到5秒以內(nèi)并配合重試邏輯體驗(yàn)會(huì)好得多。核心的上傳代碼無(wú)非就是構(gòu)建一個(gè)StorageClient對(duì)象調(diào)用upload_file方法傳入本地文件路徑和后綴名最終拿到一個(gè)包含組名和文件名的字符串?dāng)?shù)組。拿到這兩個(gè)字段后把它們拼接成文件ID保存到數(shù)據(jù)庫(kù)后續(xù)下載和刪除都用它來(lái)定位。我在實(shí)際項(xiàng)目里會(huì)把文件ID當(dāng)做一個(gè)不透明的字符串來(lái)存訪問(wèn)時(shí)直接用FastDFS的Nginx模塊去映射這樣后端Java服務(wù)只需要負(fù)責(zé)生成ID真正的文件IO全走HTTP層壓力很小。Python端的接入同樣順暢。初始化客戶端時(shí)把tracker_conf路徑指過(guò)去然后創(chuàng)建一個(gè)StorageClient實(shí)例上傳就一行代碼。需要注意的是Python客戶端返回的文件ID結(jié)構(gòu)跟Java略有不同它直接返回一個(gè)元組第一個(gè)元素是組名第二個(gè)是遠(yuǎn)程文件名兩個(gè)必須同時(shí)保存下來(lái)缺一個(gè)都定位不到文件。下載同理用download_file方法把文件內(nèi)容拉回本地或者直接拿到字節(jié)流做后續(xù)處理——比如圖片壓縮、視頻轉(zhuǎn)碼可以先在內(nèi)存里過(guò)一遍再落盤避免臨時(shí)文件的反復(fù)讀寫。講到這里必須提醒一下FastDFS自帶的客戶端API在網(wǎng)絡(luò)異常時(shí)行為比較生硬寫業(yè)務(wù)代碼時(shí)一定要在外面包一層自己的容錯(cuò)邏輯。比如上傳失敗時(shí)把文件先存到本地臨時(shí)目錄等網(wǎng)絡(luò)恢復(fù)再補(bǔ)傳下載失敗時(shí)如果允許可以嘗試從同組的另一臺(tái)Storage拉數(shù)據(jù)。FastDFS本身沒(méi)有復(fù)雜的負(fù)載均衡邏輯這些策略最好在業(yè)務(wù)層做省得日后出問(wèn)題還得改底層SDK。另外文件刪除接口也要慎用。FastDFS執(zhí)行刪除是很徹底的——文件ID一旦刪除對(duì)應(yīng)的物理文件就會(huì)被清理沒(méi)有回收站。如果你不小心把線上文件的ID刪了而且組內(nèi)同步已經(jīng)完成那就真的找不回來(lái)了。我在生產(chǎn)環(huán)境里給文件刪除接口加了一層軟刪除位業(yè)務(wù)層的刪除操作只更新數(shù)據(jù)庫(kù)狀態(tài)真正的FastDFS刪除延后到凌晨低峰期集中執(zhí)行給誤操作留出反悔時(shí)間。這個(gè)習(xí)慣救過(guò)我一次后來(lái)也推薦給了其他朋友。還有一點(diǎn)容易被忽略訪問(wèn)頻率。FastDFS對(duì)高并發(fā)讀是能扛住的畢竟每臺(tái)Storage上的Nginx直接對(duì)外服務(wù)不需要經(jīng)過(guò)任何中心節(jié)點(diǎn)。但上傳和刪除這類寫操作由于要經(jīng)過(guò)Tracker調(diào)度并發(fā)太高時(shí)Tracker的CPU也會(huì)有一定消耗。我見(jiàn)過(guò)一個(gè)極端案例對(duì)方把圖片上傳全部走FastDFS高峰每秒上千次上傳請(qǐng)求四個(gè)Tracker節(jié)點(diǎn)的CPU直接飆到80%以上。后來(lái)它們?cè)跇I(yè)務(wù)層做了合并上傳處理把多個(gè)小文件打包成一個(gè)大文件再上傳問(wèn)題就緩解了。如果你的系統(tǒng)存在類似的寫入洪峰建議盡早做這種批量化的改造。6. 用了兩年之后才知道的坑與調(diào)優(yōu)經(jīng)驗(yàn)FastDFS用久了才會(huì)發(fā)現(xiàn)它的坑多數(shù)不在功能層面而在運(yùn)維習(xí)慣和容量規(guī)劃的細(xì)節(jié)上。這里整理幾條我踩過(guò)之后印象特別深的經(jīng)驗(yàn)供后來(lái)人少走彎路。第一個(gè)坑是擴(kuò)容操作前置條件沒(méi)做好。往一個(gè)已有的組里加新的Storage節(jié)點(diǎn)時(shí)新節(jié)點(diǎn)啟動(dòng)后會(huì)自動(dòng)嘗試向同組的舊節(jié)點(diǎn)同步數(shù)據(jù)。如果舊節(jié)點(diǎn)上的文件有幾百萬(wàn)個(gè)同步過(guò)程可能持續(xù)好幾個(gè)小時(shí)期間新節(jié)點(diǎn)會(huì)顯示為SYNC狀態(tài)不會(huì)對(duì)外提供讀取服務(wù)。我遇到過(guò)最極端的案例是加了一臺(tái)新機(jī)器同步跑了三天還沒(méi)跑完因?yàn)樵璯roup里已經(jīng)有上億個(gè)小文件。所以擴(kuò)容前一定要評(píng)估任務(wù)量最好在業(yè)務(wù)低峰期操作。而且擴(kuò)容完成后不要立刻把舊節(jié)點(diǎn)重啟或者做磁盤檢查防止中斷同步導(dǎo)致數(shù)據(jù)不一致。第二個(gè)坑是磁盤空間檢查只看df是不夠的。FastDFS在上傳文件時(shí)會(huì)實(shí)時(shí)計(jì)算目標(biāo)存儲(chǔ)組的剩余容量這個(gè)計(jì)算邏輯依賴的是Storage啟動(dòng)時(shí)掃描到的磁盤信息。如果你在存儲(chǔ)節(jié)點(diǎn)上手動(dòng)清掉了大量文件比如用find命令刪了一批臨時(shí)目錄Storage的剩余空間統(tǒng)計(jì)不會(huì)立刻更新除非重啟進(jìn)程或者等它下一次定時(shí)檢測(cè)。我一朋友在生產(chǎn)環(huán)境做過(guò)一次誤刪操作明明磁盤空間已經(jīng)空出來(lái)一大半FastDFS卻還在報(bào)警說(shuō)空間不足直到重啟了Storage才恢復(fù)正常。所以推薦在存儲(chǔ)節(jié)點(diǎn)上做定期的df檢查并且配置監(jiān)控告警不要依賴存儲(chǔ)進(jìn)程自報(bào)的數(shù)字做唯一判斷。第三個(gè)坑是組內(nèi)主備切換時(shí)的文件沖突。如果同組內(nèi)的兩臺(tái)Storage因?yàn)榫W(wǎng)絡(luò)分區(qū)導(dǎo)致暫時(shí)失聯(lián)各自又都接受了一部分寫請(qǐng)求那么恢復(fù)連接后兩邊會(huì)產(chǎn)生同一文件ID的不同版本。FastDFS的同步機(jī)制默認(rèn)以后寫入為準(zhǔn)也就是說(shuō)后落盤的那份會(huì)被保留先寫的那份被覆蓋。這類問(wèn)題雖然罕見(jiàn)但在雙機(jī)房跨專線場(chǎng)景下確實(shí)可能發(fā)生。我個(gè)人的應(yīng)對(duì)方案是盡量把同一個(gè)組的Storage放在同一個(gè)機(jī)架或同一局域網(wǎng)內(nèi)避免引入跨地域的網(wǎng)絡(luò)因素。再說(shuō)說(shuō)調(diào)優(yōu)。Tracker端的性能優(yōu)化最重要的一個(gè)參數(shù)是max_connections這個(gè)值代表了Tracker能同時(shí)維持的連接數(shù)上限默認(rèn)比較保守。如果客戶端數(shù)量多建議調(diào)高同時(shí)把操作系統(tǒng)層的文件描述符上限也一并改掉否則連接數(shù)到了上限再新的請(qǐng)求就只能排隊(duì)等待。Storage端的調(diào)優(yōu)重點(diǎn)則在磁盤IO調(diào)度上FastDFS大量使用隨機(jī)小文件讀寫所以強(qiáng)烈建議用SSD而非機(jī)械盤來(lái)存文件機(jī)械盤在文件量上來(lái)以后讀取速度衰減非常明顯這在文件數(shù)量幾十萬(wàn)時(shí)還看不出差別到了千萬(wàn)級(jí)以后就是兩個(gè)世界。配置方面的調(diào)優(yōu)還有一個(gè)精妙之處Tracker的store_lookup策略默認(rèn)是選擇剩余空間最大的組但你可以把它改成輪詢模式。輪詢模式的好處是寫入壓力會(huì)均勻分散到各個(gè)組而不是總往那一個(gè)剩余空間最大的組擠這在多個(gè)組存儲(chǔ)容量差不多的場(chǎng)景下更合理。缺點(diǎn)是如果各組的物理容量差異很大輪詢模式反而可能導(dǎo)致小容量組提前寫滿。所以調(diào)整這個(gè)參數(shù)前先看清楚你的組間容量是否接近不要盲目照搬別人的配置。日志這塊雖然不起眼但排查問(wèn)題時(shí)價(jià)值巨大。FastDFS默認(rèn)日志級(jí)別是INFO生產(chǎn)環(huán)境建議調(diào)整成WARN一是降低磁盤寫入壓力二是日志量少了后真正重要的問(wèn)題反而更容易被發(fā)現(xiàn)。同步失敗、節(jié)點(diǎn)離線這類關(guān)鍵事件WARN級(jí)別都會(huì)記錄不用擔(dān)心漏掉。我在一次故障排查中就是靠Storage的日志確認(rèn)了一臺(tái)備節(jié)點(diǎn)的binlog同步位置偏移然后手動(dòng)觸發(fā)了全量補(bǔ)傳否則數(shù)據(jù)缺口還不知要拖到什么時(shí)候。還有一點(diǎn)容易被忽視但真的很關(guān)鍵FastDFS集群內(nèi)部的網(wǎng)絡(luò)帶寬。因?yàn)榻M內(nèi)互備是全量同步文件總量越大帶寬占用越高。如果同一批文件上傳寫入量很大同步流量會(huì)跟業(yè)務(wù)流量搶帶寬導(dǎo)致用戶訪問(wèn)變慢。我建議Storage節(jié)點(diǎn)之間用獨(dú)立網(wǎng)卡或者至少劃分獨(dú)立的VLAN條件允許的話直接千兆起步萬(wàn)兆更好。否則文件量增長(zhǎng)到一定程度你會(huì)在深夜發(fā)現(xiàn)明明沒(méi)什么用戶訪問(wèn)網(wǎng)絡(luò)卻打著滿屏原因就是后臺(tái)同步在做全量追平。7. 寫在最后的選型與維護(hù)建議關(guān)于FastDFS值不值得用我的立場(chǎng)是它是一個(gè)性價(jià)比極高的小型私有化文件存儲(chǔ)方案但它不適合所有人。如果你的團(tuán)隊(duì)沒(méi)有人愿意承擔(dān)維護(hù)一套自建文件系統(tǒng)的責(zé)任那直接用對(duì)象存儲(chǔ)云產(chǎn)品會(huì)更省心如果能找到人維護(hù)并且對(duì)數(shù)據(jù)私密性有要求FastDFS就是一條投入小、回報(bào)穩(wěn)的路。維護(hù)層面我建議至少投入一個(gè)人來(lái)負(fù)責(zé)這臺(tái)系統(tǒng)的日常觀察。FastDFS的控制面沒(méi)有真正意義上的可視化面板最多通過(guò)命令查看節(jié)點(diǎn)狀態(tài)和同步進(jìn)度所以監(jiān)控告警一定得靠外掛——用市面上主流的監(jiān)控系統(tǒng)去盯各節(jié)點(diǎn)的進(jìn)程存活、端口連通、磁盤使用率。我自己用的是文本形式的腳本加企業(yè)微信告警的組合每晚跑一遍狀態(tài)檢查有異常直接推給值班手機(jī)兩年下來(lái)基本沒(méi)有出過(guò)大事故。如果項(xiàng)目接下來(lái)有上云或者切換存儲(chǔ)形態(tài)的打算也不用慌。FastDFS的文件ID結(jié)構(gòu)是自包含的導(dǎo)出數(shù)據(jù)時(shí)只要把每個(gè)文件ID補(bǔ)全成完整的URL生成一個(gè)清單換到其他存儲(chǔ)服務(wù)時(shí)照著清單重新拉取一遍即可。我做過(guò)一次從FastDFS遷到另一套自建對(duì)象存儲(chǔ)的實(shí)踐整個(gè)過(guò)程最耗時(shí)的反而不是數(shù)據(jù)遷移而是清洗庫(kù)里幾十億條文件ID中那些過(guò)期無(wú)用數(shù)據(jù)這讓我意識(shí)到一個(gè)道理跟存儲(chǔ)系統(tǒng)的兼容性相比數(shù)據(jù)的生命周期治理才是真正的大工程。這個(gè)教訓(xùn)希望你在設(shè)計(jì)自己的業(yè)務(wù)表結(jié)構(gòu)時(shí)就能提前留個(gè)心眼。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
激情五月狠狠| 免费无码毛片一区二区A片| 成人AV中文字幕| 爱草视频在线观看| 免费一区二区三区| 十一月婷婷激情四射| 一点色成人网| 丁香五月激情视频在线| 日韩啪图| 激情六月丁香| 久久黄色免费视频| 性爱网五月婷婷| 亚洲五月情| 午夜国产精品AV在线播放| 五月丁香在线观看| 国产成人VA| 天天久久狠狠色综合| AV片在线观看| 亚洲狠狠操| 五月激情四射网站| 色色色色av色色色色| 4399精品一区二区| 美欧日韩国产成人在战| 婷婷五月天激情文学小说| 婷婷久久色| 九九人妻福利| 丁香久久在线| 91无码高清| 99精品久久久久久久婷婷| 伊人碰碰碰| 欧美 日韩 成人在线| 婷婷金品综合视频| 久久66精品| 玖玖玖婷婷婷| 狠狠色成人影片| 99国产精品久久久久久久久久久| 亚洲热视频在线| 五月天啪啪视频| www.色婷婷.com| 丁香五月婷婷狠狠色| 五月丁香啪| 色情丁香五月天| 激情五月六月婷婷| 丁香五月天啪啪激情综合网| 九九99热| 开心婷婷五月| 99国产这里只有精品| 狼人狠狠操| 五月丁香婷婷色| www.五月天。com| 激情婷婷五月在线合集| 大香蕉婷婷| 天天狠狠插| 五月天综合在线网| 五月天婷婷AV| 亚洲99视频| 玖玖激情网| 性生活视频98791| 久久无码激情视频| 色播激情婷婷| 激情五月丁香五月| EEUSS鲁片一区二区三区| 五月丁香激| 国产熟妇的荡欲午夜视频| 激情五月天激情综合网| 玖热精品综合视频| 丁香五月性爱爱五月| www.天天干| 99re热精品视频国| 99视频日韩| 色婷婷综合久久久久| 五月色婷婷亚洲 | 色五月婷婷亚洲| 久久奄也去色色网站| 岛国操B不卡在线| 丁香五月天综合| 人人操人av| 色色色婷婷五月| 国产成人精品亚洲线观看| 五月婷婷婷婷| 五月婷高清视频| 级人人91| 亚洲情综合五月天| 欧美在线干| 婷婷.com| 亚洲性图一区二区| 国产视频久色| 色五月婷婷中文字幕在线观看| 久久性爱网| 婷婷五月天首页| 婷婷五月精品中文| 国外亚洲成AV人片在线观看| 激情五月天综合网| 丁香五月影院| 99九九99九九九视频精彩| 五月天精品综合在线| 中文字幕成人| 另类精品视频在线观看| 亚洲AV无码影院| 五月丁香六月婷综合成人综合| 欧美婷婷五月天综合| 中文字幕综合网| 亚洲国产色婷婷| 大学生高潮无套内谢视频| 92久久| 日韩AV色色色| 婷婷五月天色综合翘| www.婷婷五月| 4399在线日本A片| 婷婷久久天堂网| 成人网丁香五月| 亚洲AV成人无码电影| 日韩黄在免| 九九热九九| 99热最新精品| 久久婷婷五月综合色奶水99啪| www夜夜操com| 婷婷激情五月天在线| 色五月丁香激情视频| 99,色| WWW,五月| www.91九色| 成人AV网站在线| 久久婷鲁| 亚洲乱啪| 4399在线观看免费高清黄色视频| 久久精品日| 成人无码精品1区2区3区免费看| 婷婷激情图片| 欧洲色| 九月丁香亭亭| 五月天大香蕉| 丁香婷婷久久| 久草热8精品视频在线观看| 亚洲国产精品VA在线看黑人| 久久婷婷五月综合激情国产| 婷婷五月天激情综合| 丁香激情婷婷网| 丁香伊人激情| 狠狠夜夜五月丁香| site:esunnet.com| 久久久999精品| 狠狠第四色| 996精品热视频| 香蕉久操| 久久99草五月婷婷| 玖玖婷婷色五月| 成人网页在线观看| 99久精品| 色色五月天激情| 99re思思| 婷婷日日天天| 婷婷在线激情| 成人在线网| 97视频91| 九九视频这里只有精品| 少妇被下春药玩弄A片| 亚洲激情婷婷| 天天躁日日躁狠狠躁日日躁2022年5月9日| 亚洲成人日韩无码精品| 婷五月天六| 色九综合| 婷婷色女| 99热日韩| 99热这里都是精品| 大香蕉综合在线| 搡BBBB搡BBB搡18| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 五月天激情视频五月天| 久久婷婷五月天蜜桃| 天天色五月| 六月丁香婷婷尤物| 99爱爱网| 免费观看18视频网站| 97干干干丁香| 精品99视频| 性爱综合网| 成久综合视频| 色五月婷婷激情| 大陆肏屄视频| 色色五月婷| 乱岳熟女50岁| 色综合色综合色综合| 99人人精品| 97色在线观看视频| 色久五月| 五月丁香婷婷基地| 国产精品成人网址| 亚洲四色五月| 一个色的综合| 99狠狠| 成人在线日韩| 风流少妇A片一区二区蜜桃| 香港九九六区八区99| 综合另类激情| 激情综合色网| 色综合久久伊伊婷婷五月| 久久久五月四色| 久久9精品视频| 99热精品在线观看| 丁香激情五月| 六月婷婷国产| 激情视频网址| 91丨九色丨首页| 97在线/亚洲| 丁香五月婷婷亚洲色图| 天天日天天舔| 婷婷D区| 激情五月综合第一页| 婷婷五月丁香五月| 99色看| 色婷婷19| 丁香五月婷婷亚洲激情四射| 婷婷五月永远18免费久久久| 天天操无码| 五月刺激丁香月综合| 九九99免费理论| 99热只有精品在线观看| 五月丁香婷婷综合| 91婷婷搞| 天天色综网| 久久xxxx| 久久99精品视频| 五月丁香狠狠| 熟妇内谢69XXXXXA片| 超碰在线99热| 婷婷五月天成人综合网| 99性爱| 午夜九九九九九九| 热99热9| 在线播放中文字幕| 九热视频| 婷婷六月丁香五月| 97精品人人A片免费看| 成人av在线网址| 六月婷婷国产| 曰韩少妇内射免费播放| 欧美在线视频99| 五月婷婷啪| 婷婷五月丁香五月| 久久久久9999| 五月婷婷性爱| 黄色片精品| 婷婷激情五月天在线| 九九热视频精品| 91操屁股| 久久丁香五月天| 国产精品成人AV在线观看春天| 高清不卡一区| 狠狠爱综合| 伊人9在线| 伊人丁香五月| 激情五月婷婷| 亚洲avjiujiur91| 久久久久er热| 中文字幕婷婷| 中美日韩成人在线| 成人婷婷| 久久9精品| 色婷婷色综合激情91| www.亭亭五月天| 无码 av电影| 精品国产人人爱人人| 色人久久| 五月天激情黄色小说在线观看| 色婷婷五月天成人网| 日韩性爱无码| 色播五月天激情| 99热九九九九| 99爱视频在线| 97色永久免费视频| 99在线观看视频| 婷婷色在线播放| 久热这里只有精品视频免费观看| 91九色无码内射| 日韩欧美一级大黄网站| 激情婷婷99| 五月婷婷开心综合| 亚洲Av成人在线观看| 九九成人精品| 九色综合五月天婷五月| 99热一区| 91久久综合亚洲噜噜成人在线| 五月丁香基地| 日本三级毛片| 91九色精品熟女内射| 欧美、日韩、中文、制服、人妻| 99热这里都是精品| 色综合久久88色综合天天99| 色婷五月| 欧美综合五月丁香五月天| 1024亚洲无码| 先锋资源 996| avh片在线观看| 色情激情五月| 99视频在线观看视频| 99久久性爱| 五月天大香焦| 激情小说视频图片| 婷婷欧美激情| 久久99热这里只有精品| 日韩六十路91性交电影| 天堂va久久久噜噜噜久久Va| 久久婷婷五月综合啪| 色九九九九| 成人网站在线观看视频| 亚洲五月天天| 99热欲| 色婷婷亚洲婷婷| 久久92| 日韩成人综合网| 伊人丁香五月| 亚洲热久| 在线播放中文字幕| 开心激情网在线| 97婷婷狠狠久久综合9色| 久久婷婷激情| 开心五月婷| 九 九九九AV| 大香蕉伊人爱在线| 五月婷成人网| 亚洲色图日韩网址| 激情五月综合网| 丁香色五月婷婷91桃色| 色婷| 成人国产网站在线免费看| 丁香六月五月天| 丁香六月色婷婷| 第九色区av天堂| 五月婷婷就去色| 丁香五月激情啪啪啪| 人人干99| 五月开心啪啪| 九九黄色网| 成人中文网| 丁香五月天激情综合| 婷婷五月天成人| 婷婷五月天 丁香五月天 裸体| 五月天激情无码专区| 婷婷五月天奸女| 日本视频不卡123区| 亚洲综合99| 久久狠狠高潮亚洲精品 天天摸夜夜摸夜夜狠狠摸| 成人做爰A片免费看网站找不到了| 九九视频这里只有精品| 婷婷亚洲激情在线观看视频| 久热丁香| 日韩丰满少妇无码内射| 久久久久9| 婷婷五月色丁香在线看| 亚洲天堂热| 久久六月婷婷| 99精品综合| 91人人爽久久涩噜噜噜| 日本色婷婷综合| 激情av网| www.91五月| 97色在线| 久久综合影院 | 色色色色色色色色综合网| 视色综合| 婷婷五月天激情偷拍| 在线观看av网站| 久久97久久99久久综合欧美| 婷婷久久综合久| 婷婷五月激情天| 天天爽天天日人人爱| 婷婷九色| 婷综合六月| 天天干天天插| 久久机热/这里只有精品| 久久久久久综合五月婷婷| www一起操| 国产另类综合| 综合网激情五月天| 久久五月天视频| Www.se.久久| 色色色热| www夜夜操| 色色色综合| 久久九九大香蕉电院| 中文字幕婷婷五月天| AV动漫不卡无码免费| 久草九一| 伊人五月婷| av狠狠操| 九九综合久久| 婷婷中文在线| 婷婷五月天综合在线| 婷婷五月天激情小说网站| 九九热这里只有精品23| 婷婷成人综合| 精品女人九九九| 五月婷av| 色色六月| 一本狠婷婷综合| 天堂成人A片永久免费网站| 99久久www| 五月丁香六月情| 亚洲色A| 色婷婷综合中心| 亚洲无码成人网| 伊人九九热| 丁香婷婷久久五月天| 丁香六月在线综合| 婷婷金品综合视频| 拳交大逼| 婷香五月激情视频| 五月婷婷六月情| 99色精品| 综合网五月| 天天爽天天摸天天爱| 五月丁香婷婷俺| www.激情| 激情深爱婷婷网| 久久丁香婷婷五月天| 依人大香蕉| 欧美激情综合| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 4438全国最大视频成人网站在线观看| 五月婷婷先锋| 任你日热视频| 性爱网五月天| 思思热久久艹| 丁香五月婷婷六月婷婷| 99久久99热| 亚洲色五月天是什么| 26uuu.| 播五月婷婷开心| 99热这里只有精品国产免费| 婷婷五月天激情综合深爱| 国产 A片 自拍| 五月丁香六月婷婷免费| 99热精地址| 欧美人妻一区二区| 色情五月婷| 国产成人网址| 色婷婷基地 | 香蕉97碰碰碰欧美| 激情五月份婷婷| 大香蕉网站,大香蕉综合| 久久九九网| 中文字幕婷婷五月天| 亚洲天堂亚洲色色色| 99视频精品8 | 视频一二区| 日本三级黄色大片| 久久三级视频| 亚洲AV激情五月综合网| 毛片毛片毛片毛片| 99热在线精品观看| 国产人妻人伦精品一区二区| 色五月激情图片| 久久综合首页| 五月婷婷新网站| 9在线9在线婷婷在线国产| 五月停停999| 99免费热视频在线| 五月丁香999| 欧美色爱五月天| 婷婷射综合| 99视频内射三四| 久99久视频精品| 日本九九网| 婷婷五月天成人导航| 色播五月丁香综合| 偷拍91九色| 大香蕉久| 九久九精品| 色五婷婷| 色五月婷婷久久大| av中文在线| 丁香五月亚洲综合丝袜| 丁香五月91| 六月婷五月丁香| 天天干天天日天天操| 亚洲视频99| 亚洲在线网站| 国产亚洲在线观看| 激情六月综合| 97天堂| 性爱五月婷婷| 丁香 婷婷五月| 久久这里有精品| 久久婷婷精品| 26uuu丁香婷婷五月| 婷婷5月天av| 99.N在线视频| 国产av天天插天天操天天爽| 婷婷亚洲天堂| 99草在线免费观看视频| 激情丁香久久| 天天射影院| 夫妇交换刺激做爰| 久久婷婷热| 久久激情五月天| 五月天激情婷婷| www.99热这里精品| 丁香久久五月天视频在线观看| 激情视频综合| 欧美黄色一级| 婷婷五月天少妇| 亚洲av网站在线观看| 日韩AC在线免费观看| 婷婷爱在线观看| 99热地址| 97亚洲精品| 99热这里只有精品亚洲| 色婷婷亚洲婷婷| 另类图片五月天婷婷| 色婷婷基地在线| 五月丁香色婷婷| 狠狠爱青青草| 日日色五月天| 性一交一乱一交A片久久四色| 婷婷色狠狠| 五月婷婷六月爱| 九九AV| 超碰爱爱爱| 99热12| 伊人综合网站| 久久久人妻不卡| 多精窝99在线视频| 99热色在线精品| 婷婷五月丁香五月| 爱射综合| 五月婷婷激情| 9久久精品视频| 久久成人精品视频| 五月天激情国产综合婷婷婷| 啪啪啪综合网| 亚洲美女高潮久久久久久69| 在线99精品| 五月丁香久久丝袜啪啪| 五月婷视频| 久久9久| 狠狠色成人影片| 欧美日韩二区在线| 亚洲狠狠操| .精品久久久麻豆国产精品| 日本色频| 丁香色五月天| 俺来也综合网精品一区| 另类小说色婷婷| 欧美一级色| 婷婷99视频精品| 五月天婷婷香蕉狠狠超碰综合| 开心激情网五月天| 丁香五月婷婷激情完整版| 99热这里只有精品18| 色五月丁香91| 色五月婷婷激情| 色吊操色妞| 曰日爽日日操| 最新久久99视频网站| 天天摸色吧天天摸色吧| 久久九九一區| 色婷婷基地| 色欲一二三| 亚洲殴洲精品Av在线| 五月天综合激情网| 91人碰| 五月丁香激情综合久久| 五月婷婷七月丁香| 丁香九月婷| www.激情.com.| 九九热在线99| 色综天天综合| 亚洲精品一区无码A片| 五月婷人妻| 狠狠色噜噜狠| 色久天| 久久嘟嘟丁香| www.91久久| 精品99这里有| 亚洲成人无码专区| 激情婷婷啪啪| 色99热| 天天玩夜夜操| 激情亚洲色图片丁香综合| 色色色五月天婷婷| 无码区婷婷五月花开| 欧美日韩国产伦精品日韩人妻一| 人妻AV在线| 99re这里只有精品国产99| www.色五月| 五月婷婷激情综合视频| 吊色AV男人的天堂| 久久精彩免费视频| 在线观看玖玖资源免费观看| 综合超碰熟| 人人操插| 国产欧美日韩一区二区三区| 婷婷丁香五月天操逼| 日韩综合久| 婷婷五月在线免费| 97五月婷| 亚洲旡码| Va另类视频| 色月丁| 婷婷亚洲色| 五月香蕉婷婷| 五月丁香综合成人社区| 激情五月综合网| 五月天婷婷青青草| 激情综合在线观看| 中国操逼99| 天天肏高清在线| 婷婷五月天成人娱乐| 成人国产网| 人妻激情综合| 婷婷五月丁香伊人网| 99精品国产在热久久婷婷| 亚洲精品99| 丁香婷婷激情网站| 高清无码.com| 99资源人人| 六月丁香五月天| 中文字幕色色色| 国产在线黄色| 男人大jjc女人免费视频| 丝袜激情网| 伊人狠狠狠综合| 99精品97| 九九草草逼| 久热婷婷| 婷婷五月天在线综合| 99热只有精品综合| 亚洲精品第一国产综合亚AV | 人人做人人看人人摸| 久久天堂婷婷五月| 无码少妇高潮喷水A片免费| 99色视频| 狠狠色婷婷六月激情网| 天天爽在线视频| 色欧美日| 色色色激情网| 色欲色香综合网| 无码任你操| 五月激情综合激情五月| 五月丁香黄色| 国产古装妇女野外A片| 五月丁香六月激情综合| 五月天婷婷中文字幕在线播放| 婷婷色色五月天| 五月丁香久久丝袜啪啪| 日韩黄在免| 五月天com| 女人天堂AV| 九九成人电影婷婷| 色五月综合网| 国产99热| 丁香激情五月| 狠狠色综合网站久久久久| xx综合网| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 久久亚洲色导航| 久青操| 嫩草视频。| 99re6在线视频精品免费| 99久久网站| 婷婷五月天影视首页| 婷婷丁香激情| 99久久国产成人精品| 激情久久五月天| 91久久九色| 欧美五月婷婷综合| 影音先锋日本三级资源| 天天操人人干| 99热老网站| 五月天婷婷AV| 激情网婷婷五月天| 色久五月天| 欧美性色五月天| 婷婷舔| 免费AV黄在线播放| 丁香五月婷婷婷婷欧美综合| 婷婷色综合| 九九综合九九| www.婷婷亚洲基地| 97碰碰视频在线观看免费| 日韩伊人大香蕉| 人人操操97| 丁香五月色情av| 九九色精品| www.五月天婷婷| 亚洲激情网| 亚洲欧美婷婷五月色综合| 9l视频自拍9l九色9l成人| 天天透天天爱| 96丁香六月婷婷蜜桃综合久久| 综合婷婷五月丁香在线观看| 人人人va亚洲视频在线| www,av好吊操| 久久丁香五月婷| 婷婷噜噜| 中文av网站| 激情五月天小说网| 婷婷五月综合色拍| 久9久9热久热| 激情五月综合网| 亚洲精品大片| 天堂成人A片永久免费网站| 五月婷婷色| 国产婷婷色综合AV蜜臀AV| 嫩BBB搡BBBB榛BBBB| BBWCUCKOLD精品熟妇| 91操碰| 日本欧美成人片AAAA| 日逼AV影音先锋男人资源站| 开心婷婷五月综合| 欧美啪啪五月天| 超碰三级片| 久久婷婷激情| 26UUU成人网| 色综合五月婷婷狠狠干| 激情丁香五月婷婷啪啪| 开心激情网五月天| 六月婷久久| 天天影院色| 成人精品视频99在线观看免费| 五月天久久婷| 国产成人亚洲综合亚洲| 日本系列_4页_777FP| 日韩色色色色色| 五月丁香啪啪激情| 婷婷开心激情五月激情网| 永久免费一区二区三区| 六月丁香av| 九九家庭影院| 天天干天天操| 亚洲在线操| 超碰精品在线| 99年操人人爽| 超碰伊人碰婷婷五月| 伊人干综合| 丁香五月天婷婷久久| 只有久久精品免费| 日本色婷婷| 五月色综合| 嫩草AV久久伊人妇女超级A| 蜜臀久久99精品久久久久久酒店| 婷婷丁香综合在线| 4399在线日本A片| 亚洲综合激| 丁香五月激情综合啪啪| 五月丁香六月婷婷成人电影| 99网| 看逼中文字幕| 99丁香五月婷| 日韩无码色色| 色色热| 六月婷婷天堂| 五月婷婷大香蕉| 五月婷久久在线| 丁香五月色五月| 丁香网站| 97久久五月丁香婷婷| 爱爱色五月天| 五月婷婷六月激情| 国产午夜精品一区二区三区嫩草| 色色婷婷色色| 色播五月天天| 色玖玖综合网| 久草九一| 色五月天.con| 丁香五月激情婷婷婷婷在线观看| 五月丁香网站| 四色五月视频| 五月天成人在线视频丁香| 五月天综合久久| 全部老头和老太XXXXX| www.com亚洲网站在线免费| 26uuu.| 无码髙清| 精品热九九| 久久狠狠干| 五月婷婷九月婷婷九月婷婷| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 深爱激情五月天色婷婷| 六月婷婷综合激情| 任你搞免费视频观看| 色色综合色视频| www色五月| 五月Huangsewang| 99热婷婷| 九九热精品| 无码 av电影| 日本片日本片祼观看网站在线看中文版网页在线看 | 婷婷六月网| 婷婷五月天黄色| 亚洲激情六月丁香| 丁香五月综合图片在线观看| 99在线精品观看99| 日本97久久久精品| 99热视精品| 色色99| 九月丁香亭亭| 亚洲激情综合| 亚洲AV日韩AV永久无码网站| 开心婷婷五月花| 六月婷婷开心| 26uuu精品一区二区| 亚洲色A| 精品国产乱码久久久久夜深人妻| 色综合久久888| 色婷婷丁香五月| 五月丁香色色色| 五月婷在线色视频| 久操操| 色婷婷小说| www.色婷婷.com| 色色色天堂网| 久久久精品色色色| www.wuyuetian啪啪| 人人爽在线视频综合网| 成人AV免费观看| 丁香五月六月综合激情| 婷婷色色综合| 视色网在线播放| 操91| 六月婷婷av| 99这里热| 天综合日日夜综合7799| 99热精品一| 内射人妻视频国内| 成人天天爽| 五月天丁香网| 丁香五月综合激情久久潮喷| 亚洲综合五月| 五月总合激情网| 一起草性爱不卡视频| 日本久久婷| 国产精品成人在线| 丁香色五月 97干| 丁香五月婷婷啪啪啪| 久久婷婷五月天蜜桃| 色噜噜狠狠色综无码久久合欧美| 天天干天天操天天射| 丁香五月婷婷五月| 蜜臀av粉嫩av懂色av| 干一干xxxx| 猫咪伊人久久| 国产67194| 99热在线播放| 91九九| 婷婷色五月天第7色| 97碰碰碰免费公开在线视频| 天天操天天操| 五月丁香| 99热这里只有精品13| 欧美日韩二区在线| 日韩欧美一级大黄网站| 91趴趴| 五月婷婷日| 久久五月网| 亚洲综合激情五月久久| 欧美五月丁香在线| 无码少妇高潮喷水A片免费| 熟女五月天久久综合| 日韩国产在线精品| 99热这里只有是亚洲国产| 日本全黄一级999| 九九99热久久精品66中文字幕| 五月婷婷激情久久| AV性爱网| 天天干天天日日| 丁香五月停停av| 日本五月天激情| 久9热视频在线观看| 日本99视频| 亚洲五月六丁香激情| 日韩乱轮AV| 天天久| 中文字幕不卡+婷婷五月| 99热首页| 五月丁香婷中文字幕 | 婷婷免费视频| 操逼在线视频| 伊人大香蕉综合在线| 99久久久久久| 激情丁香五月婷| 99久操视频| 成人va视频| 九九成人精品免费视频| 亚洲欧洲中文日韩久久AV乱码| 五月婷婷精品无在线| 射久久丁香五月| 日日操夜夜撸| 五月婷婷六月基地| 99久久99视频| 国产亚洲色婷婷久久99精品91| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 久久色五月| 丰满人妻一区二区三区| 天天摸人人摸| 欧美 日韩 成人在线| 精品夜夜澡人妻无码AV| 九九精品热| 欧洲激情网站| 久久99网| 在线综合网| 人人摸人人干人人做| 激情综合网五月丁香| 97在线观视频免费观看| 天天日夜夜欢| 噼里啪啦完整版中文在线观看| 丁香五月a| 婷婷丁香五月天婷婷| 五月婷婷很很色| 五月丁香啪啪啪综合网| 日本噜噜色网| 色婷婷色和| 五月天婷婷色色| 5月婷婷性视频| 国产免费av在线| 91欧美| 天天天天天天操| 91人人爽狠狠狠| 天天干天天拍| 丁香五月天堂| 激情视频综合| 五月天开心网| 亚洲激情综合| 热久久成人| 大香蕉人在线65| 丁香香蕉射射射| 乱码操操| 99re最新地址| WWW丁香五月| 三级毛片7979| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 亚洲性爱电影| 丁香婷婷在线| 99热在线爱| 亚洲有码在线视频| 九月婷婷在线视频| 人妻久久久久久| 狠狠操天天干| 婷婷五月天论坛| 婷婷月五天在线在线看| 超碰高清在线| 亚洲综合五月天婷婷| 夜夜干夜夜操| 蜜臀99精品| 婷婷五月丁香久久| 激情深爱婷婷网| 超碰资源在线| 丁香九月色| 色婷婷成人做爰A片免费看网站| 噜噜干日本| 天天爽天天摸人妻综合网| 亚洲人人96@| www,久久久| 成人啪啪色婷婷久| 亚洲狠狠终合停停终合| 深爱五月婷婷| 婷婷久久综合久| 99无码| 人人操超踫| 亚洲精品乱码久久久久久综合| 91视频一起草| 超碰网站在线观看| 怡红院AV亚洲一区二区三区H| 六月丁香婷婷综合狠狠爱夜夜爱| 亚洲色色香蕉| 六月婷婷网站| 天天爽—爽| 六月丁香婷婷五月天| 色琪琪一综合久久激情五月视频| 婷婷五月天毛片| 国产黄色大片| 丁香五月婷婷社区| 国产99久久久国产精品免费看 | 久久综合天天综合| 五月婷婷香蕉| 妻久久久久| 五月天激情综合网站| 久久三级视频| 内射综合网| 婷婷久久五月天丁香| 亚洲国产黄色电影| 美女被操一区二区| 91大操| 99热香港| 伊人丁香五月天丁香在线婷| 亚洲精品无AMM毛片| 99精品偷自拍| 成人做爰高潮A片免费视频| 婷婷中文字幕网| 色五月五月天色婷婷色五月| 超碰色色综合| 最新AV在线观看| 婷婷狠狠狠爱| 免费成人网在线观看| 婷婷综合另类| www.久久9| 伊人五月天97| AV无码免费| 庭庭久久内射| 另类专区在线观看| 亚洲AV成人精品日韩在线播放| 久久婷婷激情| 草草视频91| 婷婷99中文字幕| 日韩黄色电影| 久久激情五月天| 91丨九色丨熟女|新版| 婷婷五月丁香六月| 五月丁香亚洲校园欧美| 久热这里只有国产| 欧美激情丁香五月天久久婷婷一区| 国内婷婷丁香社区在线播放| 爱爱色五月天| 五月天激情网址| 激情综合丁| 99热在线这里| 五月天伊人| 五月丁香久久网| 婷婷激情综合| 99操视频| 婷婷99狠狠躁天天久久久九九九| 级人人91| 人妻体体内射精一区二区| 天天爽天天操| 夜夜爽77777妓女免费下载 | 色色COm| 色久综合| 欧美丁香婷婷五月| 激情六月天| 亚洲欧美成人在线观看| 超碰在线观看成人视| 五月丁香六月婷婷啪啪| 性色欲情 网站| 婷婷六月天精品| 黄色AAAAA| 亚洲婷婷基地| 免费黄色片子| 九九九九九九热| 丁香五月天社区婷婷| 99狠狠| 天天肏屄夜夜爽| 婷婷激情欧美| 天天影院色| 色五月婷婷久久| 亚洲欧美在线观看| 五月婷婷亚洲综合在线 | 激情婷婷色色| www.人人操人人看人人想人人摸 人人人人操,COM| A网在线欧洲| 丁香五月综合激情性爱| 色播播五月天| 狠狠爱丁香婷| 黄色三级日本| 亚洲视频在线观看99| 婷婷.com| 亚洲AV综合网| 日本欧美成人片AAAA| 欧美婷婷综合| 婷婷丁香人妻天久久| 丁香五月婷婷欧美成人色图| 99玖玖免费视频| 俺去也五月| www,色综合| 九九色99| 丁香五月婷婷六月婷| 怡红院一二三| 天天色亚洲| 色啪久 | 五月婷六月| 精品夜夜澡人妻无码AV| 51XX嘿嘿午夜无码| 天天操夜夜啊| 美女五月天| 成人在线视频网| 精品一区二区三区三区| 台湾综合丁香五月蜜桃| 《蜘蛛女》梁铮1995| 天天草天天爽| 日韩xx在线| 九九这里只有精品在线视频| 五月丁香在线综合| 狠狠干,狠狠操| 91丨九色熟女丨首页| 六月婷婷狠狠色在线观看| 欧美狠狠色| 国产亚洲精品久久久久久久久动漫 | 九九热a| 五月综合婷婷五月| 欧美顶级少妇做爰HD| 精品99在线| 婷婷激情5月| 色色亚洲视频| 欧美日韩国产一区二区| 夜夜噜夜夜奇| 久久99久久99久久99人受| 色天使色综合| www.狠狠操.co m| 97欧美在线| 99青青草99| 亚州欧美国产久精国产99综合视频| 人人摸人人澡人人| 欧美色男人网站| 内射爽无广熟女亚洲| 色99在线看| 丁香六月爱综合| 婷婷五月天社区| 中文字幕精品在线观看| 婷婷五月丁香伊人网| 亚洲AV综合在线观看| 久久久香港| site:wpjngj.com| 大香蕉精品视频| www.久久9| 伊人久久丁香婷婷六月五月综合| 六月丁香久久| 二色AV| 日本天天操| WWW色色色COM| 国产美女精品| AAA久久| 久草大| 色五月天丁香婷婷| 99热99| 亚洲 在线 性爱| 色色色欧美| 亚洲色综合| 婷婷射图| 91操在线观看| 天天日,天天射,天天舔| 狠狠婷婷色综合| 伊人婷婷青青cao| 亚洲五月天婷婷| 玖玖精品婷婷| 天天操比比| 碰人人97| 亚洲五月天婷婷在线| 日木WWW视频| 六月丁香婷婷天堂| 午夜性做爰电影| 亚洲小说五月婷婷| 小视频久久久aaa| 久久久久9| 婷婷五月天激情小说| 一二区成人电影| 色视频五月天| 麻豆123区| 丁香成人色情五月天| 久久婷婷午夜| 九九九成人在线视频| 熟女人妻一区二区三区免费看| WWW、日本色丁香co m| 激情99| 丁香五月婷婷亚洲色图| 99热思思| 青青草tp| 五月 激情视频| 丁香六月色| 小视频久久久aaa| 成人无码精品1区2区3区免费看| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 五月婷婷激情久久| 99热精品网| 狠狠爱五月婷婷| 特级操b片| w婷婷五月婷婷w| 九九九日本熟女| 丁香六月综合激情| 97干在线| 大香蕉伊人久久| 天天色综合色| 久久久婷婷五月天| 少妇人妻综合色6699| 九九九九成人| 色婷久久| 欧美色色色色色色| 久9久成人精品视频| 久久精品4| 五月婷在线| 六月婷五月丁香| 婷婷丁香六月天| 久久综合五月| 91婷婷在线观看| 91操网| 色视频2025| 国产在线aaa片一区二区99| 婷婷激情欧美| 欧亚中文A V| 久久99综合网| 精典久久| 婷婷色婷婷| 婷婷丁香激情五月| 色婷婷呢狠禁久禁| 色激情五月| 先锋资源婷婷| 日韩成人av在线| 6月丁香婷婷| 九九久久99| 日本五月视频| 99热日| 99热最新网址| 五月丁香婷色| 超级碰碰一区| 生活片五区| 99久久99热| 免费在线观看av网站| 亚洲啪啪网| 久久五月天婷婷视频| 蜜乳av一级av| 99精彩视频| 无码九九| 婷婷福利影院| 丁香婷婷五月六月久久| 国产色色网址网站| 亚洲激情Av| 夜夜 操无码| 婷五月丁香| 久草丁香婷婷五月天婷| 婷婷六月激情| www.色擼擼.com| 99在线热| 九月激情婷婷丁香| 五月丁香综合影院| 日本久久精品| 五月激情偷拍婷婷| 97婷婷丁香五月综合| 99热大香蕉| 久久永久网址| 91精品91久久久久77777| 99精品视频免费观看| 激情综合五月激情| 亚州激情九月| 五月丁香激情综合| 五月丁香色| 五月丁香在线视频观看| 99re免费视频| 丁香五月天激情视频| 这里只精品热在线18| 色婷婷大香蕉| 日本91在线播放| 婷婷五月天色色| wwwwww.色| 日韩色色色色色| 99碰碰碰| 久久色情| 九九亚洲| 中国AV性爱观看| 日韩一级A片黄色| 狠狠精品干练久久久无码中文字幕| 九九热在线99| 亚洲色五月天在线| 综合99视频| 久久久久久久11111111111| 色色综合网站| 丁香五月婷中字幕| 激情综合网,婷婷五月天| wwwss在线观看| 99视频在线观看视频| 五月婷婷久久大片| 九九热AV| 五月婷婷六月天| 日本色爽| 开心五月婷婷在线| 狠狠操天天操综合| 久久这里都是精品免费| 大香蕉网站,大香蕉综合|