欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

GlusterFS Statedump 完全指南:生成、解讀與內(nèi)存泄漏/掛起問題排查

GlusterFS Statedump 完全指南:生成、解讀與內(nèi)存泄漏/掛起問題排查 存儲網(wǎng)絡(luò)【免費下載鏈接】glusterfsGluster Filesystem : Build your distributed storage in minutes項目地址https://gitcode.com/gh_mirrors/gl/glusterfs點擊查看免費下載Statedump 是 GlusterFS 進程在運行時導(dǎo)出的內(nèi)部數(shù)據(jù)結(jié)構(gòu)快照文件覆蓋活動 inode、fd、內(nèi)存池mempool、iobuf、各 xlator 的數(shù)據(jù)結(jié)構(gòu)內(nèi)存分配統(tǒng)計等關(guān)鍵狀態(tài)。本文以 doc/debugging/statedump.md 為主線結(jié)合倉庫源碼libglusterfs/src/statedump.c、cli/src/cli-cmd-volume.c 等深入講解如何對 glusterd/glusterfs/glusterfsd 進程生成 statedump、如何逐段解讀每一類輸出以及如何利用它定位內(nèi)存泄漏和由 frame 丟失引起的掛起問題。什么是 StatedumpStatedump 是 GlusterFS 進程生成的、記錄其內(nèi)部各種數(shù)據(jù)結(jié)構(gòu)狀態(tài)的文本文件。文件中可能包含當前活動的 inode、fd文件描述符內(nèi)存池mempool、iobuf 池的狀態(tài)每個 xlator 各類數(shù)據(jù)結(jié)構(gòu)的內(nèi)存分配統(tǒng)計掛起的 call-stack / call-frame用于排查 fop 掛起fuse 層的操作歷史、xlator 私有配置、inode table 狀態(tài)等在 libglusterfs/src/statedump.c 中g(shù)f_proc_dump_info()是生成 statedump 的核心入口它通過gf_proc_dump_add_section()/gf_proc_dump_write()兩個工具函數(shù)以[section]與keyvalue的鍵值對格式逐段寫入 dump 文件見 libglusterfs/src/statedump.c。也就是說statedump 的所有區(qū)塊本質(zhì)上都來自各模塊主動注冊的 dump 回調(diào)通過統(tǒng)一的鍵值文本格式輸出。如何生成 Statedump1. 確認 statedump 目錄使用gluster --print-statedumpdir命令查詢 statedump 文件的默認存放目錄gluster --print-statedumpdir在源碼中該命令直接打印DEFAULT_VAR_RUN_DIRECTORY見 cli/src/cli.c通常對應(yīng)/var/run/gluster一類路徑。如果該目錄在當前安裝類型下尚不存在請先手動創(chuàng)建。下文將該目錄統(tǒng)稱為statedump-directory。2. 使用 SIGUSR1 信號觸發(fā)對任意 GlusterFS 進程glusterd / glusterfs / glusterfsd發(fā)送 SIGUSR1 即可觸發(fā)kill -USR1 pid-of-gluster-process從源碼看gf_proc_dump_info()就運行在信號處理上下文gf_msg_trace(dump, 0, received statedump request (sig:USR1))見 libglusterfs/src/statedump.c并受gf_proc_dump_mutex保護防止多次觸發(fā)相互干擾。值得注意的是statedump 落在信號處理器內(nèi)執(zhí)行因此實現(xiàn)中特意避免在該路徑上使用可能阻塞鎖的gf_log見 libglusterfs/src/statedump.c。3. 針對 brick / NFS / quotad 進程Gluster 提供了專門的 CLI 命令來為不同類型進程生成 statedumpgluster volume statedump volname gluster volume statedump volname nfs gluster volume statedump volname quotad其中第一條為brick 進程brick 模式第二條為NFS 服務(wù)器進程nfs 模式第三條為quotad 進程quotad 模式。該命令的 CLI 側(cè)實現(xiàn)為cli_cmd_volume_statedump_cbk()見 cli/src/cli-cmd-volume.c其完整的命令語法在命令注冊表中定義如下見 cli/src/cli-cmd-volume.cvolume statedump VOLNAME [[nfs|quotad] [all|mem|iobuf|callpool|priv|fd|inode|history]... | [client hostname:process-id]]也就是說除nfs、quotad外還支持all、mem、iobuf、callpool、priv、fd、inode、history等細分選項inodectx、fdctx亦被cli_cmd_validate_dumpoption()接受完整選項表見 cli/src/cli-cmd-parser.c。這些選項決定了 dump 文件中包含哪些區(qū)塊對應(yīng)源碼中的gf_dump_options_t結(jié)構(gòu)libglusterfs/src/glusterfs/statedump.h。4. 針對使用 libgfapi 的應(yīng)用進程對于通過 libgfapi 接入 Gluster 的應(yīng)用如 smbd、libvirtd不能直接使用SIGUSR1——這類進程可能早已把SIGUSR1用于其他用途。此時可在 Gluster 集群中該 libgfapi 應(yīng)用所連接的任一節(jié)點上執(zhí)行g(shù)luster volume statedump volname client hostname:process idCLI 解析器會校驗hostname:pid格式其中 IP 必須是合法地址、pid 必須為正整數(shù)見 cli/src/cli-cmd-parser.c。5. 生成文件的命名規(guī)則brick 進程文件名為hyphenated-brick-path.pid.dump.timestampbrick 路徑中的/會替換為-見 libglusterfs/src/statedump.c其他所有進程文件名為glusterdump.pid.dump.timestamp。文件最終路徑的構(gòu)造邏輯見 libglusterfs/src/statedump.c依次取glusterdump.options文件中的path配置 → 進程自身的ctx-statedump_path→ 默認目錄DEFAULT_VAR_RUN_DIRECTORY。寫入時先通過mkstemp創(chuàng)建臨時文件dumpXXXXXX全部寫完后再rename為最終文件名保證 dump 文件內(nèi)容完整見 libglusterfs/src/statedump.c。對使用 libgfapi 的應(yīng)用進程dump 文件同樣位于statedump-directory命名為glusterdump.pid.dump.timestamp。由于一個應(yīng)用可能多次調(diào)用glfs_init()訪問多個卷同一個 pid 可能對應(yīng)多個這樣的文件。6. 通過 glusterdump.options 控制 dump 內(nèi)容直接發(fā)送SIGUSR1時沒有命令行選項機制。為了讓 CLI 命令和 SIGUSR1 兩種方式都能配置 dump 內(nèi)容進程會優(yōu)先讀取statedump-directory/glusterdump.options全局配置其次讀取statedump-directory/glusterdump.pid.options按進程配置具體邏輯見 libglusterfs/src/statedump.c兩個文件都不存在時默認開啟全部選項gf_proc_dump_enable_all_options()存在文件時先關(guān)閉全部選項再按文件中keyvalue逐行解析value以yes開頭即為開啟如memyes、iobufyes若解析后所有選項都被禁用則回退到默認選項mem與callpoolgf_proc_dump_enable_default_options()。如何閱讀 Statedump下面按區(qū)塊逐一解讀各類輸出的含義。文件首尾時間戳dump 文件第一行和最后一行分別記錄了開始與結(jié)束寫入 statedump 的時間格式為DUMP-START-TIME/DUMP-END-TIME時區(qū)為UTC實現(xiàn)見 libglusterfs/src/statedump.c。兩端時間差可粗略衡量 dump 寫入耗時。Mallinfoglibc 堆內(nèi)存統(tǒng)計mallinfo區(qū)塊來自 glibc 的mallinfo()/mallinfo2()源碼根據(jù)HAVE_MALLINFO2宏選擇調(diào)用見 libglusterfs/src/statedump.c反映進程堆的總體分配狀況[mallinfo] mallinfo_arena100020224 /* Non-mmapped space allocated (bytes) */ mallinfo_ordblks69467 /* Number of free chunks */ mallinfo_smblks449 /* Number of free fastbin blocks */ mallinfo_hblks13 /* Number of mmapped regions */ mallinfo_hblkhd20144128 /* Space allocated in mmapped regions (bytes) */ mallinfo_usmblks0 /* Maximum total allocated space (bytes) */ mallinfo_fsmblks39264 /* Space in freed fastbin blocks (bytes) */ mallinfo_uordblks96710112 /* Total allocated space (bytes) */ mallinfo_fordblks3310112 /* Total free space (bytes) */ mallinfo_keepcost133712 /* Top-most, releasable space (bytes) */各字段的詳細語義請參考man mallinfo。簡單來說mallinfo_uordblks是已分配空間mallinfo_fordblks是空閑空間mallinfo_arena是非 mmap 區(qū)域的分配量mallinfo_hblkhd是 mmap 區(qū)域的分配量。它是判斷進程整體內(nèi)存增長趨勢的起點但要定位具體是哪類數(shù)據(jù)結(jié)構(gòu)在增長還需要結(jié)合下面兩個區(qū)塊。數(shù)據(jù)結(jié)構(gòu)分配統(tǒng)計Data structure allocation stats對調(diào)用圖call-graph中加載的每個 xlatorstatedump 會按數(shù)據(jù)結(jié)構(gòu)類型打印內(nèi)存記賬memory accounting信息。先給出匯總頭[global.glusterfs - Memory usage] #[global.xlator-name - Memory usage] num_types119 #It shows the number of data types it is using其中num_types是該 xlator 使用的數(shù)據(jù)類型數(shù)量。隨后對每一種有活動分配的數(shù)據(jù)類型打印明細格式如下[global.glusterfs - usage-type gf_common_mt_gf_timer_t memusage] #[global.xlator-name - usage-type tag associated with the>[mempool] #Section name ---------- pool-namefuse:fd_t #pool-namexlator-name:data-type hot-count1 #number of mempool elements that are in active use. i.e. for this pool it is the number of fd_t s in active use. cold-count1023 #number of mempool elements that are not in use. If a new allocation is required it will be served from here until all the elements in the pool are in use i.e. cold-count becomes 0. padded_sizeof108 #Each mempool element is padded with a doubly-linked-list ptr of mempool is-in-use info to operate the pool of elements, this size is the element-size after padding pool-misses0 #Number of times the element had to be allocated from heap because all elements from the pool are in active use. alloc-count314 #Number of times this type of data is allocated through out the life of this process. This may include pool-misses as well. max-alloc3 #Maximum number of elements from the pool in active use at any point in the life of the process. This does *not* include pool-misses. cur-stdalloc0 #Denotes the number of allocations made from heap once cold-count reaches 0, that are yet to be released via mem_put(). max-stdalloc0 #Maximum number of allocations from heap that are in active use at any point in the life of the process.各字段含義字段含義pool-name池名稱格式為xlator-name:data-typehot-count池中處于活動使用狀態(tài)的元素數(shù)如該池即當前活動的fd_t數(shù)cold-count池中空閑未使用元素數(shù)新分配優(yōu)先從這里取直到池元素全部被占用cold-count 為 0padded_sizeof每個元素經(jīng)過填充后的實際大小含雙向鏈表、池指針、是否在用標記等池管理開銷pool-misses因池元素全部在用而從堆分配的次數(shù)alloc-count進程生命周期內(nèi)該類型數(shù)據(jù)的總分配次數(shù)含 pool-missesmax-alloc進程生命周期內(nèi)池元素活動使用數(shù)的歷史峰值不含pool-missescur-stdalloccold-count 歸零后從堆分配、且尚未通過mem_put()歸還的分配數(shù)max-stdalloc任意時刻從堆分配且處于活動使用的最大數(shù)量cold-count長期為 0 且pool-misses持續(xù)增長通常意味著內(nèi)存池被打穿、系統(tǒng)頻繁走堆分配cur-stdalloc持續(xù)增長則說明有分配沒有歸還是內(nèi)存泄漏的強信號。IobufsI/O 緩沖池iobuf 是 GlusterFS 為 I/O 數(shù)據(jù)準備的緩沖池其全局統(tǒng)計格式如下[iobuf.global] iobuf_pool0x1f0d970 #The memory pool for iobufs iobuf_pool.default_page_size131072 #The default size of iobuf (if no iobuf size is specified the default size is allocated) #iobuf_arena: One arena represents a group of iobufs of a particular size iobuf_pool.arena_size12976128 # The initial size of the iobuf pool (doesnt include the stdallocd memory or the newly added arenas) iobuf_pool.arena_cnt8 #Total number of arenas in the pool iobuf_pool.request_misses0 #The number of iobufs that were stdallocd (as they exceeded the default max page size provided by iobuf_pool).iobuf_pool.request_misses表示因為請求尺寸超過池默認最大頁大小而走 stdalloc 的次數(shù)。這些字段與 libglusterfs/src/iobuf.c 中iobuf_stats_dump()的輸出一一對應(yīng)。iobuf 池中存在3 種 arena 列表Arena 列表池創(chuàng)建時分配的 arena以及正在使用active_cnt ! 0的 arenaPurge 列表可以被回收的 arena無活動 iobufactive_cnt 0Filled 列表沒有空閑 iobuf 的 arena。每個 arena 的明細如下[purge.1] #purge.S.No. purge.1.mem_base0x7fc47b35f000 #The address of the arena structure purge.1.active_cnt0 #The number of iobufs active in that arena purge.1.passive_cnt1024 #The number of unused iobufs in the arena purge.1.alloc_cnt22853 #Total allocs in this pool(number of times the iobuf was allocated from this arena) purge.1.max_active7 #Max active iobufs from this arena, at any point in the life of this process. purge.1.page_size128 #Size of all the iobufs in this arena. [arena.5] #arena.S.No. arena.5.mem_base0x7fc47af1f000 arena.5.active_cnt0 arena.5.passive_cnt64 arena.5.alloc_cnt0 arena.5.max_active0 arena.5.page_size32768如果某個 arena 的active_cnt非零statedump 還會額外打印該 arena 的活動 iobuf 列表[arena.6.active_iobuf.1] #arena.S.No.active_iobuf.iobuf.S.No. arena.6.active_iobuf.1.ref1 #refcount of the iobuf arena.6.active_iobuf.1.ptr0x7fdb921a9000 #address of the iobuf [arena.6.active_iobuf.2] arena.6.active_iobuf.2.ref1 arena.6.active_iobuf.2.ptr0x7fdb92189000在任意時刻如果存在大量filled arena無空閑 iobuf則可能是iobuf 泄漏的跡象值得結(jié)合活動 iobuf 列表與調(diào)用棧進一步分析。Call stack調(diào)用棧GlusterFS 收到的所有 fop 都通過 call-stack 處理。call-stack 中包含執(zhí)行該 fop 的進程的 uid/gid/pid 等信息每個 call-stack 由多個 call-frame 組成——每個 frame 對應(yīng)處理該 fop 路徑上的一個 xlator。格式如下[global.callpool.stack.3] #global.callpool.stack.Serial-Number stack0x7fc47a44bbe0 #Stack address uid0 #Uid of the process which is executing the fop gid0 #Gid of the process which is executing the fop pid6223 #Pid of the process which is executing the fop unique2778 #Xlators like afr do copy_frame and perform the operation in a different stack, this id is useful to find out the stacks that are inter-related because of copy-frame lk-owner0000000000000000 #Some of the fuse fops have lk-owner. opLOOKUP #Fop type1 #Type of the op i.e. FOP/MGMT-OP cnt9 #Number of frames in this stack.其中unique尤其值得注意像 afr 這類 xlator 會通過copy_frame在新棧中執(zhí)行操作unique用于關(guān)聯(lián)因 copy-frame 而相互關(guān)聯(lián)的多個棧。Call-frame調(diào)用幀每個 frame 記錄其所屬 xlator、從哪個函數(shù) wind、向哪個函數(shù) unwind以及是否已完成 unwind。當系統(tǒng)出現(xiàn)掛起時取一個 statedump找到最后一個尚未 unwind 的 xlator就能定位掛起發(fā)生的層[global.callpool.stack.3.frame.2]#global.callpool.stack.stack-serial-number.frame.frame-serial-number frame0x7fc47a611dbc #Frame address ref_count0 #Incremented at the time of wind and decremented at the time of unwind. translatorr2-client-1 #Xlator this frame belongs to complete0 #if this value is 1 that means this frame is already unwound. 0 if it is yet to unwind. parentr2-replicate-0 #Parent xlator of this frame wind_fromafr_lookup #Parent xlator function from which the wind happened wind_topriv-children[i]-fops-lookup unwind_toafr_lookup_cbk #Parent xlator function to which unwind happened關(guān)鍵字段字段含義ref_countwind 時遞增、unwind 時遞減的引用計數(shù)translator該 frame 所屬的 xlatorcomplete1 表示該 frame 已 unwind0 表示尚未 unwindparent該 frame 的父 xlatorwind_from父 xlator 中發(fā)起 wind 的函數(shù)wind_towind 目標下一層 xlator 的 fopunwind_to父 xlator 中接收 unwind 的回調(diào)函數(shù)如果棧中靠前接近客戶端的 framecomplete1而靠后的 framecomplete0說明調(diào)用在某個 xlator 處“丟失”了具體排查流程見文末 FAQ。Fuse 操作歷史History of operations in Fusefuse xlator 會維護在 fuse 層發(fā)生過的操作歷史輸出格式如下[xlator.mount.fuse.history] TIME2014-07-09 16:44:57.523364 message[0] fuse_release: RELEASE(): 4590:, fd: 0x1fef0d8, gfid: 3afb4968-5100-478d-91e9-76264e634c9f TIME2014-07-09 16:44:57.523373 message[0] send_fuse_err: Sending Success for operation 18 on inode 3afb4968-5100-478d-91e9-76264e634c9f TIME2014-07-09 16:44:57.523394 message[0] fuse_getattr_resume: 4591, STAT, path: (/iozone.tmp), gfid: (3afb4968-5100-478d-91e9-76264e634c9f)歷史記錄由 fuse xlator 的fuse_history_dump()回調(diào)輸出且受event-history選項控制見 xlators/mount/fuse/src/fuse-bridge.c。掛起發(fā)生時這段歷史能幫你判斷最后一個成功處理的操作是什么。Xlator 配置Xlator configuration每個 xlator 的私有配置priv也會被 dump格式如下[cluster/replicate.r2-replicate-0] #Xlator type, name information child_count2 #Number of children to the xlator #Xlator specific configuration below child_up[0]1 pending_key[0]trusted.afr.r2-client-0 child_up[1]1 pending_key[1]trusted.afr.r2-client-1 data_self_healon metadata_self_heal1 entry_self_heal1 data_change_log1 metadata_change_log1 entry-change_log1 read_child1 favorite_child-1 wait_count1區(qū)塊標題格式為[xlator-type.xlator-name]隨后是child_count與 xlator 特有的配置項此處為 replicate/afr 的 child 狀態(tài)、self-heal 開關(guān)、pending key 等。這部分通過各 xlator 注冊的dumpops-priv回調(diào)輸出見 libglusterfs/src/statedump.c。Graph / inode table當前活動 graph 與 inode table 的統(tǒng)計如下[active graph - 1] conn.1.bound_xl./data/brick01a/homegfs.hashsize14057 conn.1.bound_xl./data/brick01a/homegfs.name/data/brick01a/homegfs/inode conn.1.bound_xl./data/brick01a/homegfs.lru_limit16384 #Least recently used size limit conn.1.bound_xl./data/brick01a/homegfs.active_size690 #Number of inodes undergoing some kind of fop to be precise on which there is at least one ref. conn.1.bound_xl./data/brick01a/homegfs.lru_size183 #Number of inodes present in lru list conn.1.bound_xl./data/brick01a/homegfs.purge_size0 #Number of inodes present in purge list關(guān)鍵統(tǒng)計active_size正在參與某種 fop、至少持有一個引用的 inode 數(shù)lru_size處于 LRU 列表中的 inode 數(shù)purge_size處于 purge 列表中的 inode 數(shù)lru_limitLRU 大小的上限。若active_size異常偏高且持續(xù)不降說明 inode 引用未被正確釋放。Inode 明細inode table 中的每個 inode 也會被打印格式如下[conn.1.bound_xl./data/brick01a/homegfs.active.324] #324th inode in active inode list gfide6d337cf-97eb-44b3-9492-379ba3f6ad42 #Gfid of the inode nlookup13 #Number of times lookups happened from the client or from fuse kernel fd-count4 #Number of fds opened on the inode ref11 #Number of refs taken on the inode ia_type1 #Type of the inode. This should be changed to some string :-( Ref by xl:.patchy-md-cache11 #Further this there will be a list of xlators, and the ref count taken by each of them on this inode at the time of statedump [conn.1.bound_xl./data/brick01a/homegfs.lru.1] #1st inode in lru list. Note that ref count is zero for these inodes. gfid5114574e-69bc-412b-9e52-f13ff087c6fc nlookup5 fd-count0 ref0 ia_type2 Ref by xl:.fuse1 Ref by xl:.patchy-client-0-1要點active 列表中的 inoderef非零lru 列表中的 inode ref 為 0如上面的ref0所示Ref by xl:xlator名ref數(shù)逐條列出每個 xlator 對當前 inode 持有的引用數(shù)用于判斷是誰“拖住”了 inode 沒有釋放fd-count為 on inode 上打開的文件描述符數(shù)長期不為 0 的 inode 可能與 fd 泄漏相關(guān)。Inode context含鎖信息每個 xlator 還可能為 inode 保存上下文例如 locks xlator 的 inode 上下文會輸出鎖域與鎖明細[xlator.features.locks.homegfs-locks.inode] path/homegfs/users/dfrobins/gfstest/r4/SCRATCH/fort.5102 - path of the file mandatory0 inodelk-count5 #Number of inode locks lock-dump.domain.domainhomegfs-replicate-0:self-heal #Domain name where self-heals take locks to prevent more than one heal on the same file inodelk.inodelk0typeWRITE, whence0, start0, len0, pid 18446744073709551615, owner080b1ada117f0000, client0xb7fc30, connection-idcompute-30-029.com-3505-2014/06/29-14:46:12:477358-homegfs-client-0-0-1, granted at Sun Jun 29 11:01:00 2014 #Active lock information inodelk.inodelk1typeWRITE, whence0, start0, len0, pid 18446744073709551615, ownerc0cb091a277f0000, client0xad4f10, connection-idgfs01a.com-4080-2014/06/29-14:41:36:917768-homegfs-client-0-0-0, blocked at Sun Jun 29 11:04:44 2014 #Blocked lock information lock-dump.domain.domainhomegfs-replicate-0:metadata #Domain name where metadata operations take locks to maintain replication consistency lock-dump.domain.domainhomegfs-replicate-0 #Domain name where entry/data operations take locks to maintain replication consistency inodelk.inodelk0typeWRITE, whence0, start11141120, len131072, pid 18446744073709551615, owner080b1ada117f0000, client0xb7fc30, connection-idcompute-30-029.com-3505-2014/06/29-14:46:12:477358-homegfs-client-0-0-1, granted at Sun Jun 29 11:10:36 2014 #Active lock information鎖信息按鎖域domain分組self-heal、metadata、entry/data 等每個鎖條目標注了類型ACTIVE/BLOCKED、鎖類型READ/WRITE、起始偏移與長度、owner、client、連接 ID 以及加鎖/阻塞時間。當懷疑鎖導(dǎo)致 I/O 掛起時這份數(shù)據(jù)可以直接給出“誰在等誰”的證據(jù)。實戰(zhàn) FAQ用 Statedump 排查典型問題如何用 Statedump 調(diào)試內(nèi)存泄漏方法一利用內(nèi)存記賬memory accounting特性一個真實案例對應(yīng) Bugzilla 1120151在 replicate 卷中擦除一個 brick 并觸發(fā)fullself-heal 后進程內(nèi)存持續(xù)增長。對 self-heal 守護進程執(zhí)行kill -USR1 pid-of-gluster-self-heal-daemon抓取 statedump然后grep -w num_allocs glusterdump.5225.dump.1405493251 num_allocs77078 num_allocs87070 num_allocs117376 .... grep hot-count glusterdump.5225.dump.1405493251 hot-count16384 hot-count16384 hot-count4095 ....在 statedump 文件中定位這些高數(shù)值對應(yīng)的數(shù)據(jù)類型 tag。該案例中g(shù)rep 結(jié)果顯示 replicate 下以下數(shù)據(jù)類型的分配異常偏高gf_common_mt_asprintfgf_common_mt_chargf_common_mt_mem_pool隨后排查 afr 源碼中帶gf_common_mt_chartag 的分配發(fā)現(xiàn)data-self-heal代碼路徑有一處內(nèi)存沒有釋放gf_common_mt_mem_pool則提示池內(nèi)存存在泄漏——replicate-0:dict_t、glusterfs:data_t、glusterfs:data_pair_t這些池的cold_count為 0 且分配過多。檢查 libglusterfs/src/dict.c 源碼后發(fā)現(xiàn)dict中的key使用gf_common_mt_char分配對應(yīng)第 2 個 tagvalue 通過gf_asprintf創(chuàng)建內(nèi)部使用gf_common_mt_asprintf對應(yīng)第 1 個 tag。繼續(xù)在 self-heal 代碼路徑中排查定位到一行代碼在變量已持有某個字典引用的情況下又用新字典覆蓋了它舊引用丟失。修復(fù)泄漏后在同一測試heal 包含 10,000 個文件的目錄層級中驗證self-heal 守護進程 statedump 里所有num_allocs不再增長。排查思路小結(jié)num_allocs反映“當前活動分配數(shù)”若某 tag 的num_allocs隨測試推進持續(xù)上升就說明該類型數(shù)據(jù)結(jié)構(gòu)只增不減順著 tag 反查源碼中對應(yīng)分配點即可鎖定泄漏位置。方法二排查內(nèi)存池泄漏借助 -DDEBUG 構(gòu)建另一個案例對應(yīng) Bugzilla 1134221代碼分析發(fā)現(xiàn) name self-heal 過程中dict_t對象被反復(fù)創(chuàng)建而未被充分 unref。驗證步驟如下用-DDEBUG編譯 glusterfs使cold count默認為 0即內(nèi)存池默認不預(yù)分配讓堆分配情況完全暴露在cur-stdalloc中在 plain replicate 卷上創(chuàng)建 100 個文件從其中一個 brick 的后端刪除它們從掛載點對這些路徑觸發(fā) lookup測試前后分別對 fuse 掛載進程取 statedump。測試前的 statedumpfuse mount 進程pool-nameglusterfs:dict_t hot-count0 cold-count0 padded_sizeof140 alloc-count33 max-alloc0 pool-misses33 cur-stdalloc14 max-stdalloc18測試后的 statedumppool-nameglusterfs:dict_t hot-count0 cold-count0 padded_sizeof140 alloc-count2841 max-alloc0 pool-misses2841 cur-stdalloc214 max-stdalloc220在cold count為 0 的前提下cur-stdalloc表示通過mem_get()從堆分配、尚未用mem_put()歸還的dict_t對象數(shù)。測試100 個文件的 name self-heal之后dict_t的cur-stdalloc從 14 漲到 214泄漏被證實。mempool 工作機制的更多細節(jié)可參考 datastructure-mem-pool.md。修復(fù)泄漏后再次以-DDEBUG編譯并重復(fù)相同步驟測試前后的結(jié)果如下——修復(fù)前pool-nameglusterfs:dict_t hot-count0 cold-count0 padded_sizeof140 alloc-count33 max-alloc0 pool-misses33 cur-stdalloc14 max-stdalloc18修復(fù)后測試后pool-nameglusterfs:dict_t hot-count0 cold-count0 padded_sizeof140 alloc-count2837 max-alloc0 pool-misses2837 cur-stdalloc14 max-stdalloc119cur-stdalloc在測試前后保持 14 不變分配峰值max-stdalloc也明顯回落說明修復(fù)確實生效。排查思路小結(jié)cur-stdalloc是堆上“已分配未歸還”對象的實時計數(shù)測試前后對比該值即可判斷是否有對象被分配后從未釋放。如何用 Statedump 調(diào)試因 frame 丟失導(dǎo)致的掛起真實案例對應(yīng) Bugzilla 994959中掛起發(fā)生時對所有進程抓取 statedump。mount 進程的 statedump 中出現(xiàn)了如下調(diào)用棧[global.callpool.stack.1.frame.1] ref_count1 translatorfuse complete0 [global.callpool.stack.1.frame.2] ref_count0 translatorr2-client-1 complete1 ----- Client xlator completed the readdirp call and unwound to afr parentr2-replicate-0 wind_fromafr_do_readdir wind_tochildren[call_child]-fops-readdirp unwind_fromclient3_3_readdirp_cbk unwind_toafr_readdirp_cbk [global.callpool.stack.1.frame.3] ref_count0 translatorr2-replicate-0 complete0 ---- Afr xlator is not unwinding for some reason. parentr2-dht wind_fromdht_do_readdir wind_toxvol-fops-readdirp unwind_todht_readdirp_cbk [global.callpool.stack.1.frame.4] ref_count1 translatorr2-dht complete0 parentr2-io-cache wind_fromioc_readdirp wind_toFIRST_CHILD(this)-fops-readdirp unwind_toioc_readdirp_cbk [global.callpool.stack.1.frame.5] ref_count1 translatorr2-io-cache complete0 parentr2-quick-read wind_fromqr_readdirp wind_toFIRST_CHILD (this)-fops-readdirp unwind_toqr_readdirp_cbk分析要點frame.2r2-client-1complete1說明 client xlator 已完成readdirp調(diào)用并 unwind 回 afr其unwind_toafr_readdirp_cbkframe.3r2-replicate-0complete0說明afr xlator 沒有繼續(xù) unwind其下的 frame.4、frame.5dht、io-cache、quick-read自然全部處于complete0的掛起狀態(tài)。順著unwind_toafr_readdirp_cbk檢查 afr 源碼中該回調(diào)的實現(xiàn)發(fā)現(xiàn)當 fop 失敗時afr 沒有對棧執(zhí)行 unwind導(dǎo)致整個調(diào)用鏈懸掛。找到根因并修復(fù)后掛起消失。排查思路小結(jié)在棧中尋找“上方 frame 已 complete、但本 frame 仍未 complete”的斷層點——那個 frame 所屬的 xlator 就是 fop 被卡住的地方。unwind_to字段直接指明了應(yīng)當被調(diào)用卻沒有被調(diào)用的回調(diào)函數(shù)據(jù)此即可精確定位源碼位置。附相關(guān)源碼路徑速查關(guān)注點文件statedump 核心實現(xiàn)信號處理、文件生成、選項解析libglusterfs/src/statedump.cstatedump 選項結(jié)構(gòu)定義與對外 APIlibglusterfs/src/glusterfs/statedump.hiobuf 池狀態(tài) dumparena/purge/filled 列表libglusterfs/src/iobuf.cgluster volume statedumpCLI 命令回調(diào)cli/src/cli-cmd-volume.cstatedump 選項校驗與client hostname:pid解析cli/src/cli-cmd-parser.cgluster --print-statedumpdir實現(xiàn)cli/src/cli.cfuse 操作歷史 dump 回調(diào)xlators/mount/fuse/src/fuse-bridge.cmempool 數(shù)據(jù)結(jié)構(gòu)設(shè)計說明datastructure-mem-pool.md總結(jié)Statedump 是 GlusterFS 運維與開發(fā)調(diào)試中最高效的“現(xiàn)場快照”工具kill -USR1與gluster volume statedump兩條路徑覆蓋 glusterd、brick、NFS、quotad 以及 libgfapi 應(yīng)用進程輸出中的 mallinfo、數(shù)據(jù)結(jié)構(gòu)分配統(tǒng)計、mempool、iobuf、call-stack/call-frame、fuse 歷史、鎖上下文等區(qū)塊分別服務(wù)于內(nèi)存泄漏定位、iobuf 泄漏判斷、fop 掛起歸因等典型故障場景。掌握“先抓 dump、再按區(qū)塊交叉印證、最后反查源碼”的方法論就能把一次莫名的內(nèi)存增長或 I/O 掛起快速收斂到具體的 xlator、數(shù)據(jù)結(jié)構(gòu)和代碼路徑。贊分享存儲網(wǎng)絡(luò)【免費下載鏈接】glusterfsGluster Filesystem : Build your distributed storage in minutes項目地址https://gitcode.com/gh_mirrors/gl/glusterfs點擊查看免費下載相關(guān)推薦CodeForge內(nèi)存泄漏問題排查方法CodeForge內(nèi)存泄漏問題排查方法 引言為什么內(nèi)存泄漏是CodeForge的關(guān)鍵問題 作為一款多語言代碼執(zhí)行器CodeForge面臨著獨特的內(nèi)存管理挑開發(fā)工具代碼編輯器桌面應(yīng)用數(shù)據(jù)庫客戶端數(shù)據(jù)可視化MimicKit深度解析輕量級運動模仿框架如何徹底改變控制器訓(xùn)練MimicKit深度解析輕量級運動模仿框架如何徹底改變控制器訓(xùn)練 MimicKit是一款輕量級運動模仿框架專為訓(xùn)練控制器提供一套全面的運動模仿方法。該框架告別內(nèi)存噩夢前端內(nèi)存泄漏完全排查指南告別內(nèi)存噩夢前端內(nèi)存泄漏完全排查指南 你是否遇到過網(wǎng)頁越用越卡甚至崩潰的情況用戶投訴頁面操作卡頓卻找不到明確報錯這很可能是內(nèi)存泄漏在作祟。本文將帶你從文檔技術(shù)博客教程上一篇完整指南How to Train Your GPT 詳解 LLM 推理加速與采樣參數(shù)設(shè)置KV Cache、Temperature、Top-k/Top-P 一次講透下一篇Laya-CoreML W8 調(diào)色板壓縮實戰(zhàn)K-means 權(quán)重量化帶來3.19倍能效的完整過程創(chuàng)作聲明:本文部分內(nèi)容由AI輔助生成(AIGC),僅供參考
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月丁香影院| 九九色播五月丁香| 97在线精品| 久久精品99| 激情五月天婷婷丁香| 伊人激情综合| 九九色图| 精品色色网| 天堂草在线观| 精品一二三区久久AAA片| 色狠狠色| 中文字幕免费高清电视剧| 激情精品久久| 婷婷五月精品| 天天综合色丁香| 日本在线99| 天天色天天爱天天爱天天爱y| 激情6月| 激情五月亚洲综合网| 亚洲视频一区| 五月丁香另类图片| 五月婷婷啪| 亚洲中文字幕av| 伊人五月天| 99热最新国内| 《诡秘之主》在线观看| 五月天天视频| 国产全是老熟女太爽了| 婷婷丁香五月天影院| 人人爽在线视频综合网| 日本天天操| 亚洲精品99| 丁香八月综合激情| 色色色视频免费无码| 99久久精品网| 色情综合网| 碰碰人人人| 欧美成人AAA片一区国产精品| 色婷婷97| av高清无码| 久久伊人日日夜夜| 91狠狠色丁香| 色九九综合| 99国产er热视频| 另类激情网| 日本一级黄色电影| 色色色综合| 伊人五月婷婷| 91综合视频丁香| 可以直接看的av| 秋霞丝袜啪啪啪| 婷婷精品| 五月丁香中文| AV性爱网| 99色 色| 色婷婷五月色| 日逼AV影音先锋男人资源站| 国产在线网址1| 色婷婷色婷婷五月| 五月天六月丁香| 97色婷婷五月天| 翔田千里aV中文字幕| 激情五月综合| 天天肏天天爽夜夜爽| 成人网站免费在线播放| 五月丁香影视| 噜噜视频| anquye五月| 狠狠五月激情丁香六月| 激情综合网激情五月俺也去| 五月天激情亚洲| 五月天性色| 欧美性爱一区| 91久久九| 五六月婷婷久久| 狠狠色无码| 日韩伊人大香蕉| 久久婷婷亚洲| 人人九色| 婷婷综合一二三| 婷婷视频在线碰| 99色色热热| 丁香婷婷深情五月亚洲| 能直接看的av网站| 五月的婷婷六月丁香| 色香久久| 一本大道伊人AV久久综合| 五月婷婷激情综合在线| 9久久婷婷国产综合精品性色| 色五月丁香A欧美com| 欧美激情 日韩无码 婷婷 五月天 久久婷婷丁香五月一二三 | 五月综合激情| 九九热自拍| 九九热99精品| 五月丁香啪啪| 欧美三级级99久久| 婷婷六月激情| 色婷婷丁香九月| 俺去啦综合网| 婷婷婷久久| 天天日,夜夜爽| 婷婷五月天综合网| 超碰人人99| 天天日夜夜草进麻麻的子宫| 成人噜噜网| 三级av在线| 色五月婷婷在线| 婷婷5月久久综合网站| 99爱在线视频| 久久久久激情| 五月激情综合网| 大香蕉院线| 天天爽在线视频| 久热精彩视频98| 亚洲一区国产传媒| 久久婷婷丁香| 草草女人亚洲| 综合色网站| 无码G高清天| 婷婷天天日婷婷| 日韩99视频| 99精品色| 六月综合在线| 激情综合网五月天天| 亚洲无AV在线中文字幕| 色婷婷人人| 色五月六月婷婷| 成人无码髙潮喷水A片| 亚洲视99| 亚洲V国产V欧美V久久久久久| 日本狠狠爽| 国产熟妇的荡欲午夜视频| 99热欧| 黄网在线播放| 深爱丁香激情| 久re在线| 婷综合| 色呦呦免费观看| www激情| 日本精品99| 亚洲激情网| 婷婷成人网五月天| 婷婷中文字幕网站| 五月婷婷综合丁香视频| 日韩影院三级| 五月综合激情婷婷六月色窝| 91wwmm导航| 91碰碰碰久久久久| www.色色五月天.com| 九九热99视频| 五月婷婷开心六月激情小说| 日韩精品VIP| 色五月激情网| wwwss在线观看| 亚洲综合色网| 久久色五月天综合网| 任你干嘛免费视频播放| 丁香六月婷婷久久综合| 99爱免费视频在线观看| 九97免费视频| 亚洲视频操| 噜噜噜噜噜在线| 丁香五月婷婷色| 26UUU精品一区二区Com| 亭亭五月基地在线| 激情五月综合| 激情内射p| 91凹凸在线| 五月丁香婷婷欧美| 婷婷香五月| 亚洲4区国产欧美| 日本一级特黄大片AAAAA级| 天天五月丁香五月| 大鸡巴伊人网| 五月天婷婷在线播放| 激情图片婷婷| 99九九视频| 五月婷婷六月丁香| 九九亚洲视频| 那里有AV网址| 婷婷激情综合色五月久久91| 久久婷婷综合五月天| 加勒比色色| 婷婷丁香先锋资源网站| 色色亚洲| 97香蕉久久超级碰碰高清版 | 天天色噜| 综合xx网| 久久婷婷亚洲| 色色色色色色色色综合网| 97碰超级人人看| 99精品成人无码A片观看金桔| 天天爽天天做| 天天搞夜夜叫| 黄网在线观看免费| 婷婷丁香激情五月天色色色| 五月丁香婷婷综合网| 99热日| 丁香五月天婷婷91| 日韩ww| AA久久| 日韩激情人伦人| 亚洲成人网站在线| 综合色在线| 欧美六月| 尔尔AV一区| 看黄的网站18禁| 亚洲乱码日产精品BD| 五月婷婷在线免费| 色五月成人在线| 亚洲五月天婷婷| 大香蕉五月婷婷丁香| 99热爱爱干干日| 丁香婷婷十月| 亚洲婷婷五月草久| 色五月丁香五月| 九月性爱网| 另类小说色婷婷| 亚洲免费婷婷| 开心五月激情婷婷| 五月天快乐开心激情网| 婷婷激情图片| 五月丁香激| 五月天婷爱综合| 日本99久久| 91综合视频在线| 99热9| www久久久久久久97| 精品草原久久视频| 国产日日操夜夜操的肉棒视频| 91久久99久久91熟女精品| 亚洲AV电影美洲AV电影| 大香蕉福利导航| 99热地址| 深爱激情六月天| 66色在线日韩| 婷婷五月婷| 婷婷五月天激情在线观看| 色色色综合色| 91超级碰在线视频| 欧美网站视频4399| 婷婷终合色图| 五月婷婷综合性爱噜噜| 色色丁香五月天社区| 桃色五月婷婷| www.99热国产| 欧美激情综合五月色丁香| 激情五月综合| 激情婷婷五月| 91大神操美女| 大香蕉婷婷久久| 五月丁香婷婷综合视频| 婷婷播5月| 丁香六月成人网| 秋霞午夜理论| 9999热精品在线免费播放| 亚洲小视频免费播放| 激情婷婷五月天| 五月丁香亭亭操逼| 亚洲区视频| 五月天淫乱视频| 天天插天天操| 五月婷婷在线视频| 超碰爱爱爱| 国产色色视频| 丁香五月影院| 久婷| AV人人操| 日本色色网| 能看的av| 日本精品人妻无码77777| 少妇人妻人伦A片| 色综合五月天| 综合色图区| 激情五月影院| 色婷婷激情| 久久人妻视频| 校花娇喘呻吟校长陈若雪视频| 超碰在线99| 丁香五月天堂| 一级AV片| 香蕉曰比| 国产肏屄大片| 五月婷婷丁香综合| 久久婷婷成人视频| 欧美97p| 五月天婷婷黄色| 九月丁香五月婷婷| 色噜噜狠狠色综合日日| 激情性爱五月天| 99操逼| 婷婷五月综合激情小说| 99国产性感视频| 久久人妻视步| 久久总和99| AV在线资源| 久久这里只有精品热在99| 超碰九色| 久cao香蕉影院| 激情五月天福利| 玖玖热99| av九九| 免费99情趣网视频| 久久这里只有欧美| www.色综合.com| 婷婷色五月丁香六月欧美啪| 欧美性做爰大片免费看办公室| 99超超碰| 亚洲性视频| 中文无码婷婷| 婷婷亚洲丁香五月| 人人爱摸视频| 五月天婷婷久久视频| 精品亚洲国产成人A片在线鸭王| 国产伦亲子伦亲子视频观看| 日韩精品99久久| 99碰碰视频| 久婷婷五月激情| 五月中旬婷婷丁香六| www天天色天天射| 四虎成人精品永久免费AV九九| 色五月AV| 婷婷五月丁香激情图片| 99色色热热| 婷婷激情蜜桃玖玖丁香| 婷婷五月天小说| 欧美99热| 天天色天天操天天射| 婷婷五月天最新综合你懂的 | 久xxxx| 亚洲爆乳无码精品AAA片蜜桃| 香蕉婷婷色五月| 色激情五月| 成人在线观看国产| 99热9| 亚洲噜色| 亚洲免费电影2| 大香蕉福利导航| 99色视频| 久七香蕉| 激情五月婷婷伊人| 99热这里都是精品| av在线婷婷| 成人综合AV| 秋霞网在线观看理论91| 九九大香视频| 精品香蕉99久久久久网站| 久久影视婷婷五月| 操国产人妻| 色婷婷狠狠| 欧美这里只有精品| 波多野结衣成人作品在线| 久草五月| 91成人性爱视频| 91一起操| 大香蕉伊人爱在线| 久久机热这里只有精品| 91九色在线| 成人无码髙潮喷水A片| 色九九九综合| 亚洲Va成人| 人人爽欧美婷婷久久久五月丁香| 久热伊人| 99操中文视频| 色婷狠狠| 伊人久久丁香五月91| 中文字幕在线播放视频| 五月天另类图片| 夜夜操夜夜操| 色婷婷影| 日韩99色99| www.狠狠干| 五月激情小说| 五月婷婷激情在线| 激情五月婷婷在线区| 久操激情| www.久久色.com| 激情五月婷婷欧美极品| 香蕉婷婷| 丁香九月综合| 99精品免费视频| AA片在线观看视频在线播放| 金桔一区二区ab地址| 五月天播播| 伊人久久大香线蕉精品| 久久五月天综合视频网站| 天堂综合久| av在线播放网站| 99riAV国产精品视频| 婷婷五月丁香综合人妻| 五月丁香激情综合网| 91丨九色丨国产在线| 五月丁香久久呀| 91一起操| 亚洲激情AV| 婷婷六月色开 | 97色久| 开心五月深爱五月丁香五月激情五月 | 97涩婷婷婷婷基地| 久久这里99| 热久精品| 婷婷五月69| 婷婷五月婷婷五月| 日韩人妻白浆视频系列| 很操日本7| 97狠狠色| 偷偷操99| 人人干99| 婷婷五月在线观看| 丁香五月婷婷啪啪啪| www99热| 琪琪色五月婷婷老师| 日韩狠狠色婷婷| 欧美在线干| 色情五月综合婷婷| 99色热| 五月天色综合| 秋霞性爱AV| 五月丁香婷婷综合久久| 在线中文字幕av| 2017人人操| 99色在线| 亭亭色网| 婷婷丁香久久| 婷婷丁香69精华| 五月丁香777| 五月丁香久久网| 国产免费AV在线| 久热黄色| 色婷婷五月综合| www.久久99| av在线观看网站| 国产资源在线视频| 精品视频99看在线视频| 男女99免费视频| 九九大香视频| 色色色国产| 丁香婷婷性爱| 五月丁香六月情| 九九国产精视频| 99色在线| 开心五月丁香综合久久| 99在线免费视频| 五月天天天开心激情网| 97日本在线播放| 五月丁香基地| 六月丁香婷婷大香蕉| 婷婷综合色| 丁香五月婷婷视频| 激情五婷网| 俺去也五月| 99'无码| 大香蕉综合| 五月天堂婷婷| 在线免费观看激情视频| 五月天婷婷綜合院| 久久婷婷成人视频| 被强行糟蹋的女人A片| 五月色丁香国产在线视频| 日本人妻伦在线中文字幕| 色五月婷婷成人视频| 1000部毛片A片免费观看| 色五月五月丁香| 日本天堂网站99| 色五月激情五月开心五月| 涩综合网| 欧美激情性做爰免费视频| 天天干天天干天天干天天干天天干天天干天天 | 中文在线成人| 激情小说婷婷小说| 国内久久婷婷| 亚洲中文av| 婷婷5月天激情综合| 96丁香婷婷九月蜜桃综合久久| 五月婷婷六月丁香综合在线| www.婷婷| 久草免费福利视频| 美欧日韩国产成人在战| 五月情四婷婷| 色婷婷在线影院| 东京热免费视频| 激情六月五月婷婷综合网| 久久男人网婷婷| 免费国产视频| 六月婷婷七月丁香| 丁香五月婷婷欧美激情-中文天堂最新版在线观看 | 色综合色色| 色天天综合成人网| 欧洲综合视频| 五月激情丁香啪啪| 大香蕉伊人99| 国产精品色色色色| 黄色精品五月婷婷| 99婷婷狠狠成为人免费视频| av在线免费网站| 欧洲激情五月天婷婷| 亚州婷婷五月激情综合| www.婷婷六月天| 婷婷开心五月| 久久99最新| 九九综合88| 色狠狠色| 色色色色色网站| www.日本久久videos| 婷婷色色欧美综合网| 亚洲在线综合| 五月丁香六月激情啪| 久久久婷婷五月天| www色色com| 亚洲五月天婷婷综合| 日本熟妇精品99| 蜜桃五月天| 天天插天天操| 色色综合日韩| 99热在线中文字幕| 有码一区二区三区| 九九黄色网| 天天插天天爱| 五月丁香六月综合情在线观看 | 丁香婷婷少妇| 亚洲成人免费电影| 七七久久综合| 五月丁香色婷婷| 久久WW| 六月天六月婷| 91精品综合久久久久久五月丁香| 黄色五月婷| 极品人妻VIDEOSSS人妻| 综合网色| 国产毛片精品一区二区色欲黄A片| 婷婷久久国产视频| 人妻人人操| 操b视频在线观看一区二区| 久久五月丁香| 国产亚洲在线观看| 色欲影香| 天天插,天天射| se色99| 91精品人妻少妇无码影院| 琪琪色网在线| 乱精品一区字幕二区| 婷婷九月激情| a久久| 五月丁香六月香综合激情| 午夜一区| 五月婷婷影| 碰超在线九色| 亚洲日韩久久婷婷伊人| 日韩免费视频| 色婷婷丁香五月| 九九热精品视频在线观看| 综合网五月天123| 激情五月黄色小说| 六月婷婷九月丁香| 美国不卡视频| 丁香九色不卡aaa | 婷婷五月综合网激情| 激情内射人妻1区2区3区| 激情婷婷丁香五月天| 四月婷婷丁香五月| www激情com| 怡红院精品视频久久久久久久久| 丁香五月另类小说在线阅读| 婷色人人狠| 激情亭亭五月| 国产99久9在线| www.9色色色| 五月停性愛| 亚洲欧洲中文日韩久久AV乱码| 婷婷丁香在线| 丁香五月激情综合| 综合色久| 日产精品久久久久久久蜜臀| 国产精品99久久久久久久女警| 亚洲精品亚洲人成人网| 久久久精品色| 久久精品性爱| 亚洲综合色婷婷| 天天操夜夜操| 国产99热| 国产亚洲精品久久久久久郑州| www五月| 人妻内射视频| 六月丁香激情网| 久久久久9| 成人丁香五月| 五月色综合| 91蜜桃婷婷狠狠久久综合9色| 99精品久久久久久久婷婷| 狠狠爱婷婷丁香| 婷婷俺去也| 亚洲丁香婷婷丁香五月天激情| 色99网站| AV成人在线播放| 啪啪黄页网| 97久久精品| 五月婷婷影院| 欧美久久网| 色婷婷中文在线| 思思热99在线| 色婷婷免费观看| 欧美日韩123| 丁香五月网址| 亚洲AV成人在线| www激情| 天天天天操| 婷婷九月色| 伊人综合网站| 免费一区二区三区| 99超碰人人| a九九热www| 婷婷啪啪| 狠狠操.com| 91丨九色丨国产打屁股| 久久草人妻| 天天肏天天插| 色人妻五月| 夜夜爱网站| 大香蕉五月婷婷| 日本一级一级一级一级| 中文字幕乱码亚洲精品一区| 牛牛色av| 超碰成人电影| WWW.桔色成人.COM入口| 丁香五月天精品| 可以免费看AV网站| 亚洲视频二区| 国产精品电影| 久久久久久五月天| 丁香五月激情综合婷综| 丁香五月天无码AV| 五月色精品| 激情都市丁香婷婷| 啪啪激情网| 九九热精品| 丁香六月婷婷激情| 婷婷激情人妻| 台湾综合丁香五月蜜桃| 综合综合网| 在线观看婷婷5月| 五月亭亭直播| 碰99在线| 久久婷丁香五月| 青青草a在线| 九九精品视频在线6| 97色天堂| 九九综合| 嫩草免费视频| 中文字幕婷婷| 天天色官网| 日韩啪啪视频| 国精产品一区一区三区免费视频| 4399欧美另类视频| 日本www五月婷婷| 久久精品只有这| 四色99久久| 日日影院 | 丁香五月天亚洲综合| 五月婷婷六月丁香| 婷婷视频在线| 另类激情综合| 中文字幕婷婷在线| 久草久青福利| 久草狼人| 五月婷婷黄色网址| 9l视频自拍9l九色成人| 丁香五月天欧洲在线| 婷婷五月天成人小说| 九九热精品视频在线观看| 五月婷视频在线观看| 99久久婷婷国产综合精品青桔| 色区域网站视频| 开心激情网在线| 欧在线一区| 开心婷婷五| 色婷婷丁香五月| 成人无码精品1区2区3区免费看| 伊人久久大香天蕉亚洲特级| 六月丁香婷婷天堂| 91精品久久久久久| bukadeavzaixian| www。88热在线视频免费观看| 九九在线精品| 人妻丰满精品一区二区A片| 婷婷午夜精品久久久| 婷婷丁香五月六月激情| 99re这里| 九九亚洲无码| 五月婷婷久草在线视频综合| 色99在线| 久久婷婷综合网| 色色AV色色色东莞| 99精品视频免费观看近期发布| 久久久久激情| 人妻自慰高清合集| 人妻丰满精品一区二区A片| 亚洲熟女色| 五月婷婷免费在线观看视频| 国产精品18久久久| 五月天天天操天天爽夜夜操| 五月婷六月| 五月色亭丁香| 思思热99在线| 色五月婷婷五月天| 五月丁香手机在线| 激情五月天影院| 久久婷婷丁香花综合网| 日本五月婷婷久久久六月丁香| 色婷婷日本| 热久免费视频9| 美女主播野战视步页| 六月婷婷综合| www久| 久艹大香蕉| 久久久五月天婷婷成人网| 婷婷六月激情丁香| 亚洲色久| 俺也去婷婷五月天第五色| 丝袜激情网| 99视频在线观看视频| 九九热这里只有精品12| 五月天丁香| 综合色播| 亚洲人人操| 成人VAV视频在线观看| 夜夜撸日日骑| www.玖玖九| 亚洲女婷婷五月基地综合久久久| 五月天婷婷影院| 久久五月丁香婷婷| 岛国AV网| 色婷婷综合视频| 人妻激情综合| 六月婷久久| 九九色播五月丁香| 色爱99| 丁香 亚洲 久久| 1024亚洲| 国产精品色婷婷久久久精品| 欧美日韩五月婷婷| 99热| 久久艹99| 婷婷色五月开心五月| 九九亚洲无码| www..999热久| 国产精品久久久久久白浆色欲| 五月丁香 啪啪| 97碰久久| 亚洲精品99| 婷婷五月天成人| 91Chinese在线| 97色婷婷| 激情五月婷婷综合| 性爱动图国产麻豆一区二区三区| 91欧美| 五月婷婷激情综合在线| 久久丁香五月天| 夜夜涩涩涩| 国产小精品| 亚洲精品性色| 亚洲影院婷婷色| 色色a| 五月婷久久综合| 色五月AV| 九九久久五月天| 久久婷婷亚洲| 六月色五月天天婷婷| 黄色片avv| 99爱在线免费视频| 免费啪啪亚州视频| 特级西西4444www无码| 青青草a在线| 九九热123| 噜噜久| 中文在线视频久9| 天天综合五月天| 伊人婷婷五月天| 免费做A爰片77777| 99成人小视频| 99久re热| 五月天婷婷久久| 色播丁香婷婷五月激情| 综合久久六月| 婷婷九九| 色色热99| 一区二区三区四日本| 99爱视频在线| 91色五月| 裸体做A爰片毛片A片免费| 色欲五月婷婷| 色色九九五月天| 亚洲综合激情五月久久| 99re热视频| www.激情com| 久99视频在线观看| 五月婷婷熟女| 中文成人在线| 婷婷婷婷婷婷婷婷| 开心五月六月婷婷| 90色免费视频| 99热色精品| 婷婷丁香激情综合色情| 99ER热精品视频| 丁香婷婷色五月合集| A级毛片高清免费不卡播放谢谢谢谢| 色一情一乱一乱一区91Av| 五月婷色丁香| 九九精品热播| 色五月综合激情| 色五月婷婷激情五月| 99热热热国产超碰| www超碰| 久热网在线视频| 51XX午夜影福利| 国产黄大片在线观看画质优化 | 欧美天天五月丁香免费观看| 岛囯综合激情网| 一区二区乱码视频| 五月丁香激情综合六月涩涩爱| 97人妻碰碰碰久久| 五月综合激情婷婷六月色窝| 5月婷婷五月天| 大香蕉伊人99| 五月婷婷影视| 色五月天丁香婷婷| 婷婷性爱无码视频| 色噜噜狠狠色综合网| 丁香六月婷婷| 99国产精品久久久久久久久久久| 久热99| YW无码| 婷婷99狠狠| www.99情趣网| 欧美日韩大黄| 婷婷色在线视频| 无码一区精品一区视频| 99热的无码| 激情网第九色| 五月婷婷色色网址| 日本人妻伦在线中文字幕| 亚洲乱码w在线观看| 丁香激情六月天婷婷| 人人操91| 丁香六月亚洲| 秋霞免费视频| 99视频在线观看网址| 欧美色六月婷婷| 97精品在线| W色综合| 六月婷婷开心| 亚洲色婷婷| 午夜性爱影视一区77| 97色片| 墨西哥毛片内射精| 极品人妻VIDEOSSS人妻| 久久激情五月| 五月丁香成人小说| 五月花成人网| 激情小说五月天| 亚洲成片在线观看| 久99久视频精品| www.日日夜夜.com| 网站免费一站二站| 99这里是精品| 六月丁香五月激情亚洲AV| 狠狠干综合网| 99热人人艹| 五月婷婷五月天| 婷婷丁香五月网| 五月婷婷精品无在线| 亚洲永久四色| 激情綜合網址| 999精品久久久久久久| 无码一区精品一区视频| 天天插天天插| 中文字幕在线日亚州9| 九九视频在线| 五月天婷婷自拍图片在线观看| 99男人的天堂| 色婷在线视频| AV网址大全在| 九九亚洲天堂| 一本道在线电影| 婷婷五月天.com| 精热在线综合网| 国产亚洲网站在线| 97se在线视频| 淫视馆av三区| 国产欧美精品AAAAAA片| 色五月婷婷五月天| 欧洲亚洲精品| www.99视频| 日韩aaaaa| 久久九九热视频| 久久婷婷五月综合伊人| 亚洲精品久久久久久久久久吃药| 开心五月丁香综合久久| 亚洲avjiujiur91| 久久五月天激情婷婷| 婷婷五月电影| 色碰干| 99热这里有精品首页10| 丁香五月婷婷99| 日韩美一级毛卡片 | 日韩久久这里只有精品| 伊人青草成人| 丁香五月天无码AV| 亚洲永久四色| 大香蕉五月天婷婷丁香91| 丁香五月天激情四射网| 午夜丁香六月婷| 丁香社92视频| 超碰99热在线观看| 五月婷婷亚洲色图| 少妇婷婷五月天| 色播激情婷婷| 五月色婷丁香| 色婷婷五月天av在线| 国内精品99| 91av传媒高清在线视频网| 97操操网| 123日本不卡在线| 天天干天天插| 成人精品视频99在线观看免费| 青青久在线视频免费观看| 五月丁香影视| 搡BBBB搡BBB搡18 | 操B无码视频国语| 日本99久久| 大地9中文在线观看免费高清| 无码日本精品XXXXXXXXX| 99精品偷自拍| 婷婷五月激情四射手| 激情操逼婷婷| 免费观看日韩成人av| 人妖色AV色综合| wWW九九在线播放| 99热e| 国产AV不卡福利| av色婷婷| 亚洲综合视频天天精品| 婷婷五月天va| 激情综合六月| 色色色综合色| 九九色色网| www.色综合| 亚洲蜜桃精久久久久久久久久久久| 欧美五月停| 丁香五月成人丝袜| 欧洲不卡视频| 婷婷久久综| 成人免费在线电影| 色播五月婷婷| 米奇激情婷婷| 五月天在线视频尤物视频在线看| 丁香5月婷婷| 色五月综合在线| 五月丁香 啪啪| 99色热| 日韩AC在线免费观看| 婷婷激情五月视频| 任你艹| 天堂婷婷五月色| 俺也去在线视频| 99热亚洲| 91日韩在线| 五月开心播播网| 色婷婷丁香社综合| 99人人操人人爱久久久| WWW,五月天| 米奇影视资源777狠狠色婷婷五月天激情网 | 色婷| 免费观看全黄做爰的视频| 99在线综合视频| 色五月婷婷91| 丁香九月综合| 成人精品99| 天堂网啪啪| 五月激情小说| 五月天久久小说| 久久久性爱网| 五月深爱婷婷| 性爱久久| 噼里啪啦完整版中文在线观看| 中文字幕在线免费看线人| 97精品综合久久内射| 五月丁香久人妻中文| 丁香五月婷婷丫| 狠狠干五月天| av中文在线| 五月婷婷9| 91九色在线| 亚洲色激婷| 六月激情久久| 激情久久久| 丁香激情五月少妇| XXXX岛国| 99色在线| 五月综合色| 香蕉中文在线| 99热这里有精品6| 天天摸天天舔| 五月婷婷激情网| 欧美啪啪五月天| 亚洲精品va| 亚洲激情婷婷| 色播五月婷婷| 婷婷久久婷婷色五月| 丁香色五月 97干| 26uuu欧美激情另类| 色色激情| 色婷狠狠| 五月婷伊人| 欧美色色色色色色色色色色| 欧洲色| 久99热在线观看| 91美女啪啪| 五月天婷婷激情在线色图| 婷婷欧美激情| 天天做天天要天天爽| 伊人五月综合网| 伊人激情综合网| 9久9久9久女女女九九九一九| 99啪啪网| 噜综合| 99精品在线| 久久五月婷综合网| 五月婷婷五月天激情视频| 五月婷婷色丁香| 另类激情综合| 26uuu丁香婷婷五月| 伊人综合网站| 色婷婷超碰| 欧洲亚洲免费视频9| www狠狠| 午夜 外网 精品 在线| 青青草视频福利| 99视频在线观看网址| www、色色色| 日韩综合天堂| www.色9| 99re26视频| 99热精品免费| 日本九九网| 婷婷五月激情视频| 欧美日韩欧美| 五月天婷婷色五月天| 婷婷五月成人系列| 99ree6| 综合亚洲六月婷婷在线| 激情五月天免费视频| www久久久| 人人干99| 婷婷丁香激情综合色情| 99热综合| 99热精品超碰| 69婷婷丁香午夜| 天天操B| 激情婷婷护士激情| 琪琪理论片| 五月天婷亚洲天综合网综合| 久婷婷色| 色色色色色日韩午夜激情 | 丁香五月天激情综合| 亚洲色碰| 五月天亭亭俺也| 婷婷五月天亚洲综合网| 99热精品综合| 婷婷久久五月天| 婷婷五月天综合激情| 久热欧美| 变态另类9| 久久免费操| 婷婷五月欧美| 亚州AV超碰人人操| 免费看欧美成人A片无码| 久青青久| 超碰色综合| 色婷婷AV在线| 五月婷婷六月激情| 丁香五月天婷婷91| 婷婷九月丁香久久| 色婷婷呢狠禁久禁| 热久久66| 色欧美色色色| 色 五月婷婷基地| 97人妻超级碰碰碰碰碰| 婷婷丁香五月激情中文字幕版| 激情综合五月婷婷| 九九热视频网站| 丁香五月婷久久| 无码人妻激情| 色综合九九| 色婷婷六月天| 在线中文字幕视频| 99热青青草| 五月婷婷久久综合| 五月丁香综合啪啪| 激情五月天电影| 色婷婷91激情小说| 人草人人| 色婷丁香91| 精品国产va久久久| 五月丁香六月婷婷激情四射| 日本VA视频| 91干99| 久狠日av| 丁香婷婷久久五月天| 超碰精品在线| 6月丁香婷婷激情| 丁香六月婷婷| 青青热视频| 26uuu最新地址| 第四色婷婷日本| 色噜噜狠狠色综无码久久合欧美| 九九九九毛片| 亚洲精品婷婷| 另类图片激情五月天| 欧美色综合天天久久综合精品| 五月婷婷之六月丁香| 久久视9精| 精品怡红九九九| 成人婷婷色综合| 婷婷五月天成人小说| 另类丁香综合| 日韩超碰在线| 殴美日比视频| 丁香五月综合| 色婷婷五月天成人网| 激情网 久久| 国产婷婷五月色情综合| 久久久久久久久久久44| 在线成人网址| 操笔无码| 色噜噜狠狠色综无码久久合欧美| 天天干天天干天天干天天干天天干天天干天天| 97啪在线观看视频| 六月激情婷婷| 亚洲av日韩无码| 人妻内射视频| 色香五月天| 另类图片五月天婷婷| 亚洲婷婷丁香| 高潮毛片遮挡费高一百度| 精品成人无码A片观看香草视频| 亚洲另类噜噜| 久久9999| 色五月天电影| 五月天电影网| 人人插9| 六月激情综合| 久久精品永久免费| 日本一区二区三区精品视频| 久久婷五月综合| 爱之国产色情综合| 久久五月天丁香| 99视频久久| 激情五月综合免费| 欧美婷婷综合网| 久久九九99| 一本伊人色婷| 大伊香蕉玖玖爱| 九月丁香| 男女久久婷婷五月天| 伊人色综合久久久| 中文字幕在线日亚州9| 99热这里只有精品最新| 六月色播| 综合色在线| 欧美va在线观看| 婷婷丁香五月天综合AV| 婷婷五月丁香亚洲| 66色在线日韩| 久热伊人| 91九色视频| 色色色色色色色色色999| www.色九月| 伊人无码高清| 五月丁香六月婷婷激情视频在线观看免费| 中文字幕av久久爽一区| 成人在线观看国产| 五月天色色婷婷| ji'qing'luan'ren'lun| 超碰资源在线| 精品成人无码A片观看香草视频| 欧美丁香五月夫妻天| WWW色五月天| 天堂网色色| 亚洲国产99| www.狠狠| 99九九热播在线免费视频| 色欧洲| 婷婷五月色情天| 婷婷丁香69精华| 激情五月天情色| 婷婷五月天成人网| 久久激情五月| 色色婷婷综合网| 色停停香蕉视频| 亚洲免费成人电影AV| 99色在线视频| 老司机日日夜夜青草| 性色欲情 网站| 99热最新| 五月天开心网| 五月情涩综合婷婷| 天天日天天做天天舔| 久热爱大香蕉在线蜜臀悦色 | 激情深爱五月婷婷| 亚洲第二AV| 无码少妇高潮喷水A片免费| 欧美美美女性色视频| 天天日综合网射| 91人人操人人| 欧美六月婷婷| 国产精品涩涩涩视频网站| 亚洲色五月| 五月丁香成人小说| 99热国产在线| 欧美精品久久久久久视频观看| 操人久久| 91刘玥视频在线观看| 成人在线不卡| 99re8这里只有精品99re8热视频| 欧美五月婷婷| 99ri精品视频在线观看| 可以直接看的AV网站| 99热在线网站| 色情综合| 五月丁香基地| 东京热伊人| 亚洲AV免费在线| 在线另类| 激情的五月婷婷蜜桃| 婷婷9月天| 国产无人区大片| 婷婷五月天激情综合网| 97精品欧美91久久久久久久| 99国产精品白浆在线观看免费| 婷婷丁香五月综合| 无码人妻电影| 超碰人人艹| 秋霞少妇毛片| 99燥99日| 福利视频在线播放| 久久婷婷综合五月趴| 99色这里| 九九99免费视频| 天天插天天日| 久久伦乱| 五月婷久久| 亚洲狠狠婷婷| 久久精品女人天堂AAA| 超碰人人干| 亚洲成人网站在线播放| 日日夜夜天天爽| 色综啪啪| 991精品在线视频| 99精品视频在线观看| 六月婷婷视频| 怕怕視頻| 99色在线视频观看| 538在线精品| www.狠狠操| 婷婷五月激情综合| 综合激情在线视频|