欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

glibc線程源碼解析:pthread_create、線程棧與同步原語(yǔ)深度拆解

glibc線程源碼解析:pthread_create、線程棧與同步原語(yǔ)深度拆解 1. 為什么還要專(zhuān)門(mén)看glibc的線程源碼寫(xiě)Linux多線程程序這么多年我最早的階段就是拿pthread_create、pthread_mutex_lock當(dāng)黑盒用參數(shù)照抄能跑就行。直到有一次線上服務(wù)出現(xiàn)詭異卡頓——線程創(chuàng)建特別慢、鎖競(jìng)爭(zhēng)一上去就吞吐暴跌翻遍各種top、perf數(shù)據(jù)也找不到根因這才意識(shí)到man手冊(cè)只告訴你函數(shù)“做什么”根本不告訴你“怎么做”。而真正決定性能、排障思路的恰恰是glibc里那幾千行用宏和匯編堆出來(lái)的實(shí)現(xiàn)細(xì)節(jié)。這篇是Linux線程系列第四篇前三篇講完了線程的抽象、生命周期和同步模型這次直接把glibc源碼翻開(kāi)從nptl目錄開(kāi)始逐個(gè)拆解pthread_create、pthread_join、線程棧分配、mutex/condvar背后到底發(fā)生了什么。我會(huì)順著真實(shí)調(diào)用鏈走一遍把關(guān)鍵數(shù)據(jù)結(jié)構(gòu)、宏定義、匯編片段都標(biāo)記出來(lái)同時(shí)補(bǔ)上我在實(shí)際項(xiàng)目里踩過(guò)的坑——比如thread pointer寄存器被誤用、cancel信號(hào)和業(yè)務(wù)信號(hào)打架、棧緩存命中率低導(dǎo)致頻繁mmap等。不管你是在排查性能問(wèn)題、研究底層原理還是準(zhǔn)備Linux系統(tǒng)編程面試這篇都值得耐心看完。需要提前說(shuō)明一下文中的源碼來(lái)自glibc 2.35版本具體行號(hào)和宏名在不同版本里會(huì)有些差異但核心路徑基本沒(méi)變。閱讀時(shí)我會(huì)給出真實(shí)的函數(shù)名和宏名方便你在自己機(jī)器上對(duì)照/usr/include和源碼包做驗(yàn)證。2. glibc在Linux線程體系里到底扮演什么角色2.1 用戶(hù)態(tài)線程庫(kù)與內(nèi)核線程之間隔著一層什么很多剛接觸Linux線程的人會(huì)有一個(gè)誤解覺(jué)得pthread_create創(chuàng)建的那個(gè)“線程”就是內(nèi)核里的一個(gè)task_struct。嚴(yán)格說(shuō)這層關(guān)系是“用戶(hù)態(tài)線程庫(kù)管理、內(nèi)核進(jìn)程調(diào)度器負(fù)責(zé)調(diào)度執(zhí)行”。glibc的線程實(shí)現(xiàn)叫NPTLNative POSIX Thread Library從glibc 2.3.2開(kāi)始成為默認(rèn)實(shí)現(xiàn)它的設(shè)計(jì)前提就是“1:1線程模型”——一個(gè)用戶(hù)態(tài)線程由一個(gè)內(nèi)核輕量級(jí)進(jìn)程LWP承載。這里的關(guān)鍵在于內(nèi)核根本不知道“線程”這個(gè)概念它只認(rèn)task_struct。NPTL要做的是通過(guò)clone系統(tǒng)調(diào)用創(chuàng)建“共享地址空間但擁有獨(dú)立棧和調(diào)度上下文”的進(jìn)程再用用戶(hù)態(tài)的代碼把這一堆“假進(jìn)程”包裝成符合POSIX語(yǔ)義的“真線程”。所以你會(huì)發(fā)現(xiàn)ps -eLf能列出線程gettid()能拿到內(nèi)核線程ID但pthread_self()返回的卻是另一個(gè)用戶(hù)態(tài)ID——前者是內(nèi)核視角后者是glibc內(nèi)部管理的ID。理解這層邊界有多重要舉個(gè)例子當(dāng)你說(shuō)“這個(gè)線程卡住了”如果你只會(huì)看pthread_self的返回值去gdb里找線程大概率是找不到的。正確做法是pthread_self()和gettid()做映射或者直接看/proc/pid/task/目錄。這類(lèi)問(wèn)題我在“線程排查實(shí)錄”里還會(huì)展開(kāi)。2.2 glibc源碼目錄怎么讀nptl的核心文件想從源碼層面理解線程不用把glibc整個(gè)看完幾十萬(wàn)行沒(méi)人能硬啃。你只需要盯住nptl/目錄下的幾個(gè)核心文件pthread_create.c所有線程創(chuàng)建的入口包含__pthread_create_2_1和舊的兼容版本pthread_join.c線程回收、等待的邏輯pthread_mutex_lock.c、pthread_mutex_unlock.c互斥鎖的用戶(hù)態(tài)部分pthread_cond_wait.c、pthread_cond_signal.c條件變量allocatestack.c線程棧分配與回收這是最容易被忽視但信息量最大的文件nptl/descr.h核心數(shù)據(jù)結(jié)構(gòu)struct pthread也叫descr所有線程視圖的根sysdeps/.../createthread.cclone系統(tǒng)調(diào)用之前的最后一公里不同架構(gòu)有不同實(shí)現(xiàn)。這里有個(gè)小技巧從glibc官方倉(cāng)庫(kù)拉源碼后不要用grep搜“pthread_create”因?yàn)榉?hào)版本化導(dǎo)致函數(shù)名層層包裹你會(huì)搜出一堆__pthread_create_2_1、__pthread_create_2_0這種。正確姿勢(shì)是直接在pthread_create.c里找versioned_symbol這個(gè)宏它定義了不同glibc版本的入口綁定關(guān)系。2.3 一個(gè)線程在內(nèi)存里的全貌struct pthread和tcbhead_t要說(shuō)清楚實(shí)現(xiàn)原理必須先認(rèn)識(shí)兩個(gè)核心結(jié)構(gòu)體。struct pthread在descr.h里定義它不僅僅是“線程控制塊”更是一塊承載了TLS線程局部存儲(chǔ)、調(diào)度信息、棧指針、清理處理函數(shù)鏈表的大結(jié)構(gòu)。這里有個(gè)很反直覺(jué)的設(shè)計(jì)pthread_t其實(shí)不是指針而是一個(gè)無(wú)符號(hào)長(zhǎng)整型指向struct pthread在內(nèi)存中的起始地址。所以pthread_equal比較的其實(shí)是兩個(gè)“線程控制塊地址”。tcbhead_t則更底層它被放在線程棧的最低地址位置棧向下增長(zhǎng)的那一端里面有幾個(gè)硬核字段比如self指針、multiple_threads標(biāo)志、sysinfo等。x86-64架構(gòu)下fs或gs段寄存器會(huì)指向這個(gè)區(qū)域使線程能夠快速通過(guò)段前綴訪問(wèn)自己的TLS變量。這也是為什么一個(gè)線程切換后fs/gs基地址必須隨之切換——內(nèi)核在上下文切換時(shí)會(huì)自動(dòng)處理這個(gè)但如果你在用戶(hù)態(tài)用arch_prctl改了它就會(huì)立刻把整個(gè)線程的TLS干廢。這個(gè)坑我后面會(huì)講一個(gè)真實(shí)的崩潰案例。3. pthread_create完整生命周期從函數(shù)調(diào)用到內(nèi)核clone3.1 pthread_create入口先收集屬性再分配身份我們平時(shí)調(diào)用pthread_create傳的四個(gè)參數(shù)里attr為NULL表示全默認(rèn)。但glibc內(nèi)部可不直接拿NULL用它會(huì)先構(gòu)造一個(gè)默認(rèn)屬性棧。入口函數(shù)__pthread_create_2_1做了幾件關(guān)鍵事情拷貝用戶(hù)傳入的attr如果沒(méi)有則用default_pthread_attr并設(shè)置flags為ATTR_FLAG_NOT_INITED標(biāo)記后續(xù)需要初始化如果屬性里指定了棧地址用戶(hù)自己提供棧會(huì)做一個(gè)校驗(yàn)__pthread_attr_setstack時(shí)傳入的棧大小必須不小于PTHREAD_STACK_MIN否則直接返回EINVAL檢查是不是第一個(gè)線程——如果不是就設(shè)置tcbhead_t里的multiple_threads標(biāo)志并調(diào)用__ctype_init之類(lèi)的TLS初始化邏輯。這里有個(gè)細(xì)節(jié)值得注意get_cached_stack這個(gè)函數(shù)會(huì)先去緩存鏈表里找之前回收的棧如果命中就直接復(fù)用不再走系統(tǒng)調(diào)用。如果沒(méi)命中才會(huì)進(jìn)入allocate_stack去mmap。這個(gè)“緩存優(yōu)先”的設(shè)計(jì)直接影響你的線程創(chuàng)建效率。3.2 allocate_stackmmap、棧底對(duì)齊與防護(hù)頁(yè)allocate_stack是整個(gè)創(chuàng)建鏈路里最“性感”的函數(shù)也是產(chǎn)生大多數(shù)字節(jié)數(shù)和內(nèi)存布局的地方。在x86-64下glibc默認(rèn)的線程棧大小是8MBARCH_STACK_DEFAULT_SIZE但它不會(huì)一次申請(qǐng)8MB的物理內(nèi)存而是用mmap映射一段8MB 4KB 對(duì)齊余量的虛擬地址空間。為什么多4KB因?yàn)闂5撞績(jī)?nèi)存地址低端要放一個(gè)不可訪問(wèn)的guard page防護(hù)頁(yè)用來(lái)檢測(cè)棧溢出。當(dāng)你的程序真的越界寫(xiě)入這個(gè)區(qū)域內(nèi)核會(huì)觸發(fā)SIGSEGV而不是悄悄破壞別的內(nèi)存。棧布局從高地址到低地址依次是棧頂初始RSP、線程棧主體、struct pthread、tcbhead_t。struct pthread被放在棧的最低端還刻意做了TLS_TCB_AT_TP對(duì)齊——這個(gè)宏要求thread pointer所指的地址必須滿(mǎn)足一定的對(duì)齊條件通常是16字節(jié)或32字節(jié)。一旦對(duì)齊不滿(mǎn)足后續(xù)的_dl_allocate_tls分配動(dòng)態(tài)TLS就會(huì)出現(xiàn)偏移錯(cuò)亂。分配完成后還會(huì)做一件很細(xì)碎的事把pd-specific數(shù)組、pd-robust_list等字段初始化好并設(shè)置pd-stackblock、pd-stackblock_size。這兩個(gè)字段后續(xù)被pthread_attr_getstack用來(lái)向用戶(hù)報(bào)告棧信息也是?;厥諘r(shí)的依據(jù)。3.3 create_thread與do_clone真正喚醒內(nèi)核線程棧就緒后create_thread被調(diào)用。它干的第一件事是設(shè)置struct pthread里的start_routine和arg字段——這兩個(gè)值會(huì)被存到新棧的初始位置即棧頂附近新線程啟動(dòng)時(shí)會(huì)從這里取參數(shù)。這一步看似簡(jiǎn)單實(shí)際是優(yōu)雅的你不需要為每個(gè)線程額外維護(hù)一個(gè)“參數(shù)隊(duì)列”新線程一出生就能從寄存器或初始棧幀里拿到自己的任務(wù)。隨后進(jìn)入do_clone這層是平臺(tái)相關(guān)的x86-64實(shí)現(xiàn)在sysdeps/unix/sysv/linux/x86_64/clone.S里。它設(shè)置一個(gè)棧底指針然后調(diào)用clone系統(tǒng)調(diào)用。注意這里的clone參數(shù)非常講究clone(flags CLONE_VM | CLONE_FS | CLONE_FILES | CLONE_SIGHAND | CLONE_THREAD | CLONE_SETTLS | CLONE_PARENT_SETTID | CLONE_CHILD_CLEARTID, child_stack stack_address, parent_tidptr pd-tid, child_tidptr pd-tid, tls pd-tcb);逐個(gè)解釋CLONE_VM共享地址空間這就是“線程”的內(nèi)存本質(zhì)CLONE_THREAD放進(jìn)同一個(gè)線程組使得getpid()對(duì)所有線程返回相同值而gettid()不同CLONE_SETTLS告訴內(nèi)核將該線程的TLS基地址設(shè)置為pd-tcb這一步設(shè)置了后續(xù)fs寄存器的基址CLONE_PARENT_SETTID和CLONE_CHILD_CLEARTID在父進(jìn)程和子進(jìn)程側(cè)分別寫(xiě)入/清空pd-tid這是實(shí)現(xiàn)pthread_join等待的關(guān)鍵機(jī)制之一。這里有個(gè)我最初讀源碼時(shí)的困惑為什么clone返回后父線程還要單獨(dú)設(shè)置pd-tid并做條件變量喚醒原因是CLONE_CHILD_CLEARTID讓子線程退出時(shí)內(nèi)核自動(dòng)futex喚醒等待在該地址上的線程——這比用戶(hù)態(tài)自己做信號(hào)處理可靠得多因?yàn)榫€程可能因?yàn)閑xit_group異常終止內(nèi)核依然會(huì)清理這個(gè)地址。3.4 start_thread新線程的“第一個(gè)函數(shù)”start_thread不是在glibc庫(kù)函數(shù)層面被直接調(diào)用的它是clone出來(lái)后子線程在內(nèi)核態(tài)切換到用戶(hù)態(tài)的第一個(gè)入口。它做的事保存參數(shù)、解析pd指針、初始化自己的TLS、設(shè)置信號(hào)掩碼如果用戶(hù)指定過(guò)PTHREAD_SIGMASK_*屬性然后調(diào)用用戶(hù)傳入的start_routine(arg)。當(dāng)用戶(hù)函數(shù)返回時(shí)start_thread會(huì)自動(dòng)調(diào)用pthread_exit——就算你沒(méi)寫(xiě)pthread_exit線程也不會(huì)“自然死亡”內(nèi)核進(jìn)程結(jié)束而是被庫(kù)函數(shù)接住完成清理。這里就引出一個(gè)很多人忽視的點(diǎn)pthread_create之后如果不調(diào)用pthread_join或pthread_detach線程結(jié)束后的資源不會(huì)自動(dòng)完全回收尤其是棧和struct pthread會(huì)成為泄漏。4. 線程棧與TLS一塊內(nèi)存的三重身份4.1 線程棧的存放路徑為什么8MB的棧會(huì)“占”很多虛擬內(nèi)存默認(rèn)8MB線程棧如果你創(chuàng)建1000個(gè)線程虛擬內(nèi)存會(huì)飆到8GB——這也是很多服務(wù)線程池上限不能開(kāi)太大的原因之一。但請(qǐng)注意這只是虛擬地址空間不是物理內(nèi)存。mmap出來(lái)的這些頁(yè)在你真正訪問(wèn)到棧頂之前并不會(huì)分配物理頁(yè)。所以很多線上環(huán)境里2GB物理內(nèi)存的機(jī)器開(kāi)500個(gè)默認(rèn)棧線程也扛得住但如果每個(gè)線程都瘋狂遞歸物理內(nèi)存就會(huì)快速漲到OOM。棧的分配還有個(gè)方向性問(wèn)題Linux棧是向下增長(zhǎng)的從高地址到低地址所以保護(hù)頁(yè)必須放在低地址端。allocate_stack里專(zhuān)門(mén)有這段邏輯如果棧頂對(duì)齊到STACK_ALIGN時(shí)會(huì)造成保護(hù)頁(yè)錯(cuò)位就會(huì)做一次“頁(yè)邊界對(duì)齊”把整個(gè)棧地址往下挪幾KB確保保護(hù)頁(yè)起點(diǎn)恰好是一頁(yè)的起始。4.2 TLS的三層組織全局動(dòng)態(tài)TLS、局部動(dòng)態(tài)TLS、__thread變量關(guān)于TLSglibc的實(shí)現(xiàn)可以分成兩級(jí)編譯期確定的__thread變量即靜態(tài)TLS和運(yùn)行時(shí)通過(guò)dlopen加載模塊時(shí)分配的動(dòng)態(tài)TLS。這里只看靜態(tài)TLS。當(dāng)你寫(xiě)static __thread int x;時(shí)編譯器并不知道這個(gè)變量在哪個(gè)線程里它只生成一段通過(guò)fs段基址加偏移的尋址代碼。具體偏移在程序加載時(shí)由動(dòng)態(tài)鏈接器計(jì)算并填入TLS塊的dtvDynamic Thread Vector表里。tcbhead_t中有一個(gè)dtv指針指向一個(gè)數(shù)組。數(shù)組第0項(xiàng)存儲(chǔ)generation用于動(dòng)態(tài)TLS版本檢查第1項(xiàng)之后每項(xiàng)對(duì)應(yīng)一個(gè)共享對(duì)象的TLS塊。線程啟動(dòng)時(shí)_dl_allocate_tls負(fù)責(zé)為這個(gè)線程分配一整塊TLS存儲(chǔ)區(qū)并將其地址填入dtv。這就是為什么__thread變量的訪問(wèn)本質(zhì)上就是一個(gè)“段寄存器基地址 編譯期偏移”的訪存而不是符號(hào)查找。極快卻也讓調(diào)試器很難直接打印。如果在線程運(yùn)行中通過(guò)dlopen加載了新的共享庫(kù)且?guī)靸?nèi)聲明了__thread變量就需要重新分配或擴(kuò)展dtv。glibc的做法是很精巧的懶分配新庫(kù)的TLS塊并非立即分配而是等到該線程第一次訪問(wèn)時(shí)通過(guò)sigtrap或__tls_get_addr觸發(fā)動(dòng)態(tài)分配。這里有個(gè)可復(fù)現(xiàn)的坑如果你在某個(gè)線程里反復(fù)dlopen/dlclosedtv只增不減內(nèi)存碎片風(fēng)險(xiǎn)與struct pthread的棧緩存錯(cuò)位問(wèn)題都可能被放大。4.3 棧緩存stack_cache的命中與淘汰策略線程退出時(shí)free_stack會(huì)把它的棧歸還到GL(dl_pagesize)管理的緩存池里。allocatestack.c里有stack_cache和stack_cache_maxsize兩個(gè)核心參數(shù)默認(rèn)緩存上限是40MBSTACK_CACHE_MAXSIZE。也就是可以緩存若干塊棧空間而不必每次munmap再mmap。線程頻繁創(chuàng)建銷(xiāo)毀時(shí)這就是性能差異的關(guān)鍵。但是緩存策略有個(gè)”坑“只有滿(mǎn)足pd-user_stack 0棧不是用戶(hù)外部提供的且pd-stackblock_size不超過(guò)一定閾值的棧才會(huì)被緩存。如果你用了pthread_attr_setstack自己提供棧那么退出時(shí)這一塊棧是不會(huì)進(jìn)緩存的——它是用戶(hù)的虛擬地址glibc無(wú)權(quán)回收。很多人在高并發(fā)短任務(wù)場(chǎng)景下頻繁創(chuàng)建線程卻發(fā)現(xiàn)自己自定義8KB棧依然每次mmap排查到最后發(fā)現(xiàn)user_stack標(biāo)志位的作用。5. 同步原語(yǔ)glibc如何把futex包成鎖和條件變量5.1 mutex的兩種形態(tài)快速鎖的“試鎖-睡眠”路徑pthread_mutex_lock在glibc里調(diào)用鏈為_(kāi)_pthread_mutex_lock→__lll_lock快路徑 →__lll_lock_wait慢路徑 →futex(FUTEX_WAIT)。核心思路是樂(lè)觀并發(fā)先原子指令嘗試拿鎖通常是cmpxchg或atomic_lock_cmpxchg拿到就返回沒(méi)拿到才進(jìn)入內(nèi)核睡眠等待。這個(gè)設(shè)計(jì)非常適合低競(jìng)爭(zhēng)場(chǎng)景絕大部分鎖競(jìng)爭(zhēng)不激烈時(shí)只是幾次原子操作就搞定了根本不會(huì)觸發(fā)系統(tǒng)調(diào)用。但一旦鎖競(jìng)爭(zhēng)激烈大量線程涌入__lll_lock_wait每個(gè)失敗的線程都要進(jìn)入內(nèi)核態(tài)。這也解釋了為什么高競(jìng)爭(zhēng)場(chǎng)景下自旋鎖或讀寫(xiě)鎖的性能可能更好——因?yàn)樽孕粫?huì)睡眠忙等期間鎖釋放的窗口極小避免上下文切換開(kāi)銷(xiāo)。x86-64下glibc的默認(rèn)mutex不是PTHREAD_MUTEX_ADAPTIVE_NP而是普通的PTHREAD_MUTEX_TIMED_NP。如果你是高競(jìng)爭(zhēng)場(chǎng)景需要手動(dòng)設(shè)置pthread_mutexattr_settype為PTHREAD_MUTEX_ADAPTIVE_NP或者用新APIpthread_mutexattr_setprotocol設(shè)置優(yōu)先級(jí)繼承。這兩個(gè)選擇直接決定鎖失敗后是立即睡眠還是先自旋若干輪。5.2 elision用硬件事務(wù)內(nèi)存優(yōu)化鎖這里要講一個(gè)幾乎沒(méi)人注意但非常硬核的細(xì)節(jié)glibc支持通過(guò)--enable-lock-elision編譯選項(xiàng)啟用鎖省略lock elision。它利用x86的TSXTransactional Synchronization Extensions指令集鎖更新時(shí)不會(huì)修改內(nèi)存中的鎖變量而是在事務(wù)中樂(lè)觀執(zhí)行臨界區(qū)如果臨界區(qū)訪問(wèn)的數(shù)據(jù)沒(méi)有被其他線程沖突修改事務(wù)提交成功其他線程不會(huì)發(fā)現(xiàn)這個(gè)鎖被“繞過(guò)”過(guò)如果發(fā)生沖突則回退到傳統(tǒng)鎖路徑。elision在pthread_mutex_lock.c里有單獨(dú)的__lll_lock_elision實(shí)現(xiàn)通常縮寫(xiě)為elision-lock.c。但在常規(guī)glibc發(fā)行版里這個(gè)特性默認(rèn)關(guān)閉因?yàn)門(mén)SX在某些CPU上存在bug曾有跨代CPU上TSX的行為不一致導(dǎo)致死鎖所以實(shí)際生產(chǎn)環(huán)境很少開(kāi)啟。了解一下就好不推薦親自在生產(chǎn)環(huán)境開(kāi)啟。5.3 condvar的wait函數(shù)為什么必須配mutex一起使用pthread_cond_wait的源碼是幾乎所有講線程同步的實(shí)現(xiàn)繞不開(kāi)的。它的核心循環(huán)大致如下do { // 進(jìn)入等待隊(duì)列釋放mutex ... while (1) { // futex_wait等待信號(hào) ... } // 被喚醒后重新加鎖 } while (0);這段循環(huán)看起來(lái)簡(jiǎn)單但注意的是“發(fā)布和等待之間的競(jìng)態(tài)”。如果在pthread_cond_signal被調(diào)用時(shí)等待線程還沒(méi)進(jìn)入futex_wait就叫“喚醒丟失”。POSIX規(guī)范要求signal必須和mutex配合使用調(diào)用者在持有鎖時(shí)signal這樣在解鎖之前等待線程一定已經(jīng)進(jìn)入了等待隊(duì)列。glibc的實(shí)現(xiàn)里__pthread_cond_wait內(nèi)部會(huì)對(duì)傳入的mutex做特殊操作先記錄它的指針然后原子釋放鎖排隊(duì)再等f(wàn)utex返回后重新加鎖。為了不讓mutex被意外關(guān)閉或改為其他類(lèi)型它會(huì)檢查mutex的__data.__kind是否是PTHREAD_MUTEX_NORMAL并臨時(shí)保存/恢復(fù)。真正實(shí)現(xiàn)的細(xì)節(jié)非常繞信號(hào)可能發(fā)生在等待者還沒(méi)“完全睡著”之前所以glibc使用了一個(gè)叫做“組”的計(jì)數(shù)器g1_start、g_signals將等待線程按代分組。signal只會(huì)喚醒一個(gè)指定代的線程避免新加入的等待者被舊信號(hào)直接吸收。這部分邏輯在pthread_cond_wait.c里是最復(fù)雜的部分如果深入到這里你基本就掌握了條件變量最難啃的骨頭。6. 線程生命周期管理退出、回收與取消6.1 pthread_exit線程走到了終點(diǎn)但棧不會(huì)立刻消失pthread_exit做的事情很多它不返回值給調(diào)用者而是把返回值存儲(chǔ)到pd-result里然后開(kāi)始逐層調(diào)用線程清理回調(diào)__pthread_unwind包括用戶(hù)通過(guò)pthread_cleanup_push注冊(cè)的清理函數(shù)。之后觸發(fā)內(nèi)核級(jí)的線程結(jié)束清除tid字段td_clear并把棧歸還到緩存中。這個(gè)歸還過(guò)程并非同步完成——如果還有線程正阻塞在pthread_join等待這個(gè)線程內(nèi)核會(huì)通過(guò)CLONE_CHILD_CLEARTID的futex機(jī)制喚醒等待者。這里有個(gè)細(xì)節(jié)容易被忽略pthread_exit不會(huì)調(diào)exit()所以它不會(huì)刷新stdio緩沖區(qū)例如printf輸出未\n會(huì)被丟棄也不會(huì)運(yùn)行atexit注冊(cè)的函數(shù)。你寫(xiě)的普通局部變量和堆內(nèi)分配都還是有效的但進(jìn)程的全局清理階段還沒(méi)開(kāi)始。這也是為什么很多人困惑“我的printf不打印”——很可能線程就在輸出緩沖刷新前直接退出了。6.2 線程“不可被回收”的后果棧內(nèi)存與pd泄漏如果線程既沒(méi)有被join也沒(méi)有被detach退出后它的棧并不會(huì)立刻釋放。glibc能做的只是把這一塊棧放入緩存池如果緩存池滿(mǎn)了它才執(zhí)行munmap返回內(nèi)核。但struct pthread本身是要緩存的而且它的pd指針還被pthread庫(kù)里其他調(diào)度邏輯引用著——在某些版本里可能導(dǎo)致pd-tid指向的線程號(hào)已被內(nèi)核回收重用造成pthread_equal判斷錯(cuò)誤。這在實(shí)際業(yè)務(wù)里最常見(jiàn)的場(chǎng)景就是“線程池里線程用完就丟”。雖然線程池本身會(huì)join但如果你自己在業(yè)務(wù)代碼里new thread后從不join/detachNPTL的棧緩存就會(huì)成為隱性?xún)?nèi)存增長(zhǎng)點(diǎn)。這也解釋了為什么很多性能優(yōu)化的第一刀就是“改成線程池復(fù)用線程”。6.3 線程取消pthread_cancel實(shí)現(xiàn)原理pthread_cancel不是直接殺死線程而是從外部把取消請(qǐng)求發(fā)給目標(biāo)線程。glibc通過(guò)兩種方式實(shí)現(xiàn)如果目標(biāo)線程正在futex等待某個(gè)條件變量或鎖時(shí)內(nèi)核喚醒并注入SIGCANCEL信號(hào)否則只在目標(biāo)線程的下一個(gè)取消點(diǎn)cancellation point檢查標(biāo)志。實(shí)現(xiàn)機(jī)制有兩個(gè)關(guān)鍵點(diǎn)一是信號(hào)NPTL使用一個(gè)實(shí)時(shí)信號(hào)SIGCANCEL__SIGRTMIN來(lái)打斷阻塞的系統(tǒng)調(diào)用二是取消狀態(tài)和類(lèi)型標(biāo)志它們存在pd-cancelhandling字段中。重點(diǎn)來(lái)了如果線程設(shè)置了PTHREAD_CANCEL_DISABLE即使發(fā)送多次cancel也只是在標(biāo)志上置位而不會(huì)真正執(zhí)行取消動(dòng)作。這里有個(gè)容易踩的坑如果你的業(yè)務(wù)代碼自己用了SIGUSR1或SIGRTMIN范圍內(nèi)的信號(hào)很可能和SIGCANCEL產(chǎn)生干擾。glibc在pthread_create時(shí)會(huì)為每個(gè)線程重置信號(hào)掩碼并屏蔽SIGCANCEL。如果你手動(dòng)sigprocmask把某些實(shí)時(shí)信號(hào)取消屏蔽就可能破壞內(nèi)部約定——輕則pthread_cancel失效重則整個(gè)進(jìn)程出現(xiàn)信號(hào)處理錯(cuò)亂。7. 從源碼中學(xué)到的排障經(jīng)驗(yàn)三個(gè)真實(shí)案例7.1 案例一TLS被誤改導(dǎo)致的“線程飛了”有一次排查詭異崩潰某個(gè)線程突然訪問(wèn)野指針gdb掛了半天也沒(méi)看出是哪里寫(xiě)壞的。后來(lái)在strace里注意到幾個(gè)線程的fs基地址發(fā)生了變化并且clone時(shí)CLONE_SETTLS被其他第三方庫(kù)篡改了。深入調(diào)查發(fā)現(xiàn)該庫(kù)內(nèi)部用了arch_prctl(ARCH_SET_FS, ...)來(lái)保存自己的上下文導(dǎo)致glibc的thread pointer被換掉所有__thread變量的偏移全部錯(cuò)誤。從那以后我對(duì)任何直接操作arch_prctl的第三方庫(kù)都格外警惕——他們和glibc搶同一個(gè)段寄存器早晚要出事。7.2 案例二棧緩存命中率低導(dǎo)致的耗時(shí)毛刺服務(wù)每隔幾秒會(huì)創(chuàng)建和銷(xiāo)毀一批線程。初期線程創(chuàng)建頻繁時(shí)pthread_create的耗時(shí)在20~50微秒但偶爾會(huì)有1~2毫秒的尖峰。起初以為是CPU調(diào)度問(wèn)題查看源碼后才想到stack_cache_maxsize。因?yàn)闂>彺婺J(rèn)上限是40MB當(dāng)線程創(chuàng)建峰值超過(guò)這個(gè)容量后每次free_stack都會(huì)真正munmap而再次創(chuàng)建時(shí)又需要mmapmemset毛刺就是這么來(lái)的。調(diào)大stack_cache_maxsize并改用線程池后毛刺消失了這對(duì)短生命周期線程特別敏感。7.3 案例三死鎖時(shí)系統(tǒng)性排查死鎖是最常見(jiàn)的線程問(wèn)題。真正常見(jiàn)的死鎖并非“四個(gè)人圍著桌子互等”那種教科書(shū)式而是鎖順序不一致兩個(gè)線程都持有鎖A去搶鎖B同時(shí)另一線程持有鎖B去搶鎖A。排查時(shí)我通常先gdbattach用thread apply all bt看每個(gè)線程的棧再結(jié)合pstack確認(rèn)鎖的持有者。如果鎖被futex保護(hù)gdb甚至能直接打印owner線程的TID。這比純靠代碼review快得多。排查時(shí)有一個(gè)很容易被忽略的細(xì)節(jié)pthread_mutex_t里的__owner字段只在DEBUG版本里才可讀。生產(chǎn)環(huán)境的pthread_mutex_lock通常經(jīng)過(guò)LOCK_ELISION編譯__owner可能是0。所以不要依賴(lài)__owner來(lái)判斷“誰(shuí)持有了鎖”而是看每個(gè)線程的棧幀中正在等待哪個(gè)鎖的地址。7.4 線程問(wèn)題速查表現(xiàn)象可能原因排查思路線程創(chuàng)建越來(lái)越慢未join線程堆積棧緩存頻繁mmap/munmap檢查線程數(shù)量與服務(wù)預(yù)期查看/proc/pid/status的Threads字段線程棧溢出SIGSEGV棧大小不足或遞歸過(guò)深guard page被擊穿調(diào)大棧大小檢查是否有數(shù)組越界寫(xiě)棧底方向pthread_cancel不生效目標(biāo)線程設(shè)置了cancel disable或在非取消點(diǎn)運(yùn)行檢查PTHREAD_CANCEL_ENABLE重試或通過(guò)標(biāo)志位協(xié)作退出鎖競(jìng)爭(zhēng)嚴(yán)重吞吐低鎖粒度大或默認(rèn)mutex對(duì)高競(jìng)爭(zhēng)不友好考慮讀寫(xiě)鎖、自旋鎖或調(diào)整臨界區(qū)大小線程退出后資源不釋放未join也未detach棧進(jìn)入緩存池且未及時(shí)munmap主動(dòng)join或detach或改用線程池動(dòng)態(tài)庫(kù)加載導(dǎo)致TLS錯(cuò)亂dtv版本沖突或dlopen后首次訪問(wèn)動(dòng)態(tài)TLS避免熱點(diǎn)線程頻繁dlopen或?qū)?dòng)態(tài)TLS改為獨(dú)立堆分配pthread_equal對(duì)不上棧緩存復(fù)用導(dǎo)致pd地址重用舊線程ID映射失效不要長(zhǎng)期持有pthread_t用完即棄8. 深入閱讀與調(diào)試的建議路徑如果你看完這篇想進(jìn)一步驗(yàn)證glibc給出的細(xì)節(jié)我建議不要光看文章直接動(dòng)手調(diào)試。我的做法是在開(kāi)發(fā)機(jī)上裝一個(gè)glibc源碼包apt source libc6或dnf debuginfo-install glibc然后用gdb在pthread_create上打斷點(diǎn)stepi單步看匯編流程。也可以直接設(shè)置環(huán)境變量GLIBC_TUNABLESglibc.pthread.stack_cache_size8388608來(lái)觀察棧緩存調(diào)優(yōu)效果這個(gè)特性在較新的glibc中可用。比較推薦的閱讀順序是先看pthread_create.c的整體邏輯然后跳到allocatestack.c理解棧的分配再去看clone.S的匯編確認(rèn)系統(tǒng)調(diào)用參數(shù)最后回到同步原語(yǔ)部分。只要順著“創(chuàng)建→運(yùn)行→退出→同步”這條路徑讀一遍你對(duì)線程的認(rèn)知會(huì)從“API使用者”變成“實(shí)現(xiàn)者”許多線上疑難雜癥也能一眼定位。我的閱讀習(xí)慣是用pahole看結(jié)構(gòu)體布局或者用offsetof輔助打印關(guān)鍵字段。比如在gdb里執(zhí)行p ((struct pthread*)0)-specific就能直接看到specific字段偏移十分方便。源碼讀完后一定記得把perf top打開(kāi)觀察實(shí)際運(yùn)行中是否有不必要的系統(tǒng)調(diào)用——這樣你讀到的源碼和實(shí)際行為才能對(duì)上不至于掉進(jìn)“紙上談兵”的坑。我個(gè)人在實(shí)際操作中最大的體會(huì)是glibc的線程實(shí)現(xiàn)并不復(fù)雜但它像一層“性能放大鏡”把每種錯(cuò)誤放大得很明顯。理解它不是為了炫耀底層知識(shí)而是讓你排查問(wèn)題和做性能優(yōu)化時(shí)有據(jù)可依。比如看/proc/pid/status里voluntary_ctxt_switches驟增你能立刻想到是不是futex競(jìng)爭(zhēng)了看到線程創(chuàng)建耗時(shí)飆升你會(huì)自然聯(lián)想到棧緩存是否被打滿(mǎn)了。這些判斷如果只是在API上層做黑盒觀察很難一次定位準(zhǔn)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
精品亚洲国产成AV人片传媒 | 色婷婷六月| 五月婷婷,狠狠操| 色一情一乱一乱一区91| 丁香性爱在线视频| 伊人五月婷婷| 五月天婷婷导航| 五月天伊人网| 99综合视频一体| 五月丁香综合色婷婷| 五月丁香六月在线| 99在线观看精品视频| 中文字幕网伦射乱中文| 影音先锋四区| 五月婷婷六月婷| 婷婷综合成人| 国产五月视频| 婷婷色五月激情| 五月天久久婷婷婷| 亭亭色网| 色99久草在线| 亚洲夜五月| 丁香激激情网| www.minyis.com【JT】实力收量可预付QQ2101460746 | 婷婷五月天中文字幕.| 丁香五月激情性色郤| 丁香五月激情网| 最近中文字幕大全免费版在线| 一级韩国产精品毛| 无码中文一区二区三区| 99ri在线| 伊人狠狠色婷婷综合丁香一区| 婷婷五月天最新综合你懂的| 亚洲熟妇无码乱子AV电影| 开心激情网在线| 96精品成人无码A片观看金桔| 婷婷激情综合色五月久久91| 狠狠色婷婷7| 五月丁香婷庭在线| 色噜噜狠狠色综合日日| 9久久久| 亚洲五月天综合色| 91成人看片| 蜜桃人妻无码AV天堂三区| 任我肏视频精品| 超碰成人免费| 九九在线精品| 天天干在线播放| 欧美在线看| 色播五月丁香婷婷| 一区二区乱码视频| 色色色丁香| 欧美综合五月丁香六月婷| 亚洲丁香五月天在线视频| 综合在线色婷婷| 久久九九网| 九月av在线| 色婷婷婷av| 色偷偷色婷婷| 婷婷五月天 丁香五月天 裸体 | www.婷婷五月天.com| 少妇人妻丰满做爰XXX| 六月婷欧美| 五月婷婷伊人久久| 疯狂做受XXXX高潮A片| 男人視頻站| 丁香五月天人体| 激情99| 俺也去五月婷婷丁| 色欲操| 99热这里只有精品在线| 99热国产在线| 婷婷五月天com| 日韩999| 久热re在线视频| 美女要搞搞天天搞搞搞网站| 人人干av| 99自拍视频| 婷婷五月天视频| AV成人在线网站| 九九香蕉网| 五月婷婷,六月婷婷| 丁香 婷婷五月| 超碰在线人人| 香蕉国产2013| 天天日日夜夜| 大香蕉九九操| 99热这| 久久人妻少妇嫩草AV| 91久久| 色五月AV| av在线不卡播放| 五月天婷婷开心| 久久久婷婷| 免费播放片大片| 天天舔天天摸视频| 99久久欧美| 日日操,日日爽| 色~性~乱~伦~噜| 熟女国产在线一区二区三区四区| 久久aaaa片一区二区| 男妓跪趴把舌头伸进我的嘴巴| 日本综合久久| 五月精品| 97视频.干com| 亚洲天堂热| 国内久久亭亭| 噜噜在线| 99毛片| 天天干电影| 五他月天啪啪啪| 久久综合香蕉国产国产蜜臀AV| www.狠狠操.com| 丁香六月啪| 丁香婷婷人妻| 超碰99在线观看| 亚洲一个色| 色婷婷www| 99综合| 精品久久99| 久久久香| 久久丁香五月天| 婷婷天堂视频| 亚洲黄色影视| 五月婷六月综合在线观看| 久久久噜噜噜久久人妻| 狠狠五月天婷婷| 超碰在线人妻| 六月婷婷国产| 日本天堂久久| 日日夜夜干| 久久久久久久久久久97| 99久在线精品99re8| 丁香 婷婷 激情 综合 五月| 欧亚成人A片一区二区| WWW色综合| 久久99精品视频| 九九99精品| www久久久| 色爱综合网| 伊人婷婷五月天| 只有精品视频在线观看| 九九九激情综合| 婷婷五月天激情影片| 97超级碰碰碰久久久| 亚洲另类视频| 91超级碰| 日韩中文字幕| 五月激情影视| 久久性操| 久久久天堂国产精品女人| 色亭亭五月天网扯| 激情丁香五月天图片| 久久久天天啊| 思思久久99热| 亚洲色无码A片一区二区麻豆| 在热视频精品| 99在线播放视频| 激情五月婷| 成人婷婷桔色| 伊人久久大香| 亚洲色五月婷婷| 大波美女VA网站| 色青青电影色五月| 六月撸婷婷| 996er在线观看| 日本不卡高字幕在线2019| 五月天综合影院| 久久色五月天| 成人做爰A片免费看视频| 女人天堂 AV| 色播五月综合网| 色播婷婷大香蕉| 国产永久一二一起草| 久久婷婷青青草| 五月婷婷天天| 久久婷婷五月国产激情综合片| 牛色色碰| 91ncom.色| 深爱激情五月天色婷婷| 天天综合色丁香| 91操人| 欧美性色五月天| 96色婷婷| 婷婷久久综合久| 激情五月天免费视频| 91丨九色丨老熟女激情| 久99久视频| 五月丁香婷中文字幕| 欧美婷婷综合网| 丁香六月婷婷久久综合| 欧洲亚洲精品| 99极品视频| 97人人操com| 天天天天天日| 日日操夜夜爽| 精品人妻久久久| 日熟女| 五月婷婷综合在线| 亚洲性爱电影| 婷婷五月天亚洲丁香| 99精品在线观看视频| 欧美成人精品A片免费一区99| 亚亚州久久高潮| 天天爽在线视频| 91精品刘玥| 99re热在线视频| 六月亭亭久久综合激情| AV色五月婷婷| 久久看婷婷| 亚洲第一成人无码A片| 综合久久高清| 婷婷五月天免费视频| 色色精品色| 激情婷婷丁香色五月| 中文字幕无码人妻少妇免费视频| 婷婷五月激情欧美| 色五月六月| 久久黄色免费视频| 亚洲啪啪网| 婷婷五月丁香亚洲| 欧美人与性动交CCOO| 天堂综合久久| 亚洲成人在线五月天| 欧洲永久精品| 婷婷99中文字幕| 婷婷丁香大香蕉| 夜夜骑天天玩天天日| 欧美这里只有精品| 五月天成人在线视频网站| www.sd-xiangsu.cpm| www.无码com| 成人片黄网站色大片免费毛片| 色综合网址| 天天搞天天色综合| 狠狠色激情综合| 色综合网上班开心婷婷久久| 成人电影在线免费试看| 伊人大香蕉毛片| 操一操干一干| 色婷另类| 丁香五月成人| 无套内射极品大美女| www.操逼comm| 久久五月激情网| www.99色| 97在线精品| 久久五月婷婷丁香| 懂色av蜜臀av粉嫩av永陈冠希| 久久性爱网| 久热9| 亚洲五月婷| 激情小说在线视频| 月婷婷婷婷五月| 另类综合网| 热的国产,热的综合,热的有码| 丁香婷婷六月天| www:99热视频| 人人操大| 99热99草97| 婷婷操无码| 成人做爰A片免费看视频| 天天干天天爽| 超碰av在线| 五月天精品视频| 久久久99久久| 91九色在线| 日熟女| 婷婷五月天天爽| 99re思思热久久| 色五月视频,小说| 婷婷成人丁香色情基地30| 精品99久久久久成人网站免费| 五月婷啪| 男女99免费视频| 久久久精品AV| 大香蕉人妻| 久久久WWW| 五月丁香久久网| 欧美啪啪9| 99九九玖玖| 五月天综合久久丁香91| 國語久久婷| 另类激情四射| 日韩啪啪视频| 久久五月天大美女| 另类小说婷婷色| 婷婷丁香五月六月激情| 久久婷婷丁香六月天| 丁香五月综合在线播放| 婷婷 月 丁香| 久久久无码精品成人A片小说| 五月亭亭网成人在线视频| 第四色婷婷丁香五月| 激情欧美五月丁香| 久久92| 婷婷四色五月| 日本猛少妇色XXXXX猛叫| 婷婷综合久久| 无码人妻少妇色欲AV一区二区| av亚洲国产小电影| 丁香五月婷婷高清| 久综合| 人人操AV| 久热这里有精品视频| bbwcuckold精品熟妇| 婷婷五月天无码熟女| 高清无码 一区 二区 三区| Av性爱网| 老司机伊人| 天天爽天天| www.粉嫩av.com| 操久久网| 这里只有视频精品| 日本AAAAAAAAAAAAAA片| 99九九视频精彩在线| 99色干| 免费观看的av| 婷婷五月丁香国产| 99riAv1国产在线观看| 丁香六月狠狠干| 亚洲va欧美| 天天艹天天综合网| 婷婷激情六月天视频| 日日干天天| 天天天天操| 啪啪激情综合| 2w在线视频| 丁香五月婷婷激情网| 久久五月天合网| 激情宗合网激情五月天| 思思热99热| 99热老网站| 亚洲精品字幕在线观看 | 99热综合在线| 中文国产五月天| 色日本综合| 亚洲成人免费电影| 丁香视频| 香蕉久久国产AV一区二区| 丁香色播五月天| 激情VA视频| 亚洲熟女色| 精品色色| 婷婷色五月开心五月| 干亚洲天堂| 涩婷婷五月天| 26UUU精品一区二区| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 久久久27操| 蜘蛛女免费观看完整版高清电影 | 99免费综合网| 深爱激情五月婷婷| 国产成人网| 97超碰99热99| 操笔无码| 日韩人妻无码精品| WWW.久久.COM| 丁香五月久久| 五月亭亭直播| 性做久久久久久久免费看| 久久女人九九| 五月婷婷和六月| 2025天天日爽| 婷婷丁香红五月91C| 二色AV| 精品无码99| 色婷丁香| 超色欲天天| 欧美综合激情五月丁香| 久热九九| 97人妻碰碰碰久久久久-最近国语高清| 五月丁香色婷婷伊人| 99性色| 亚洲国产精品VA在线看黑人| WWW,五月天| 亚洲色婷婷五月天| 天天日色情| 玖玖国产视频一区| 新激情五月天天在线网| 久久九九99视频| 色狠狠五月天| 婷婷五月天堂| 激情五月婷婷啪啪| 色五月首页| 欧美激情综合| 爱射综合| 久久东京热婷婷五月| 久久大香蕉丁香| 久久97| 狠狠色五月天| 丁香五月婷婷操逼| 99久久思思| 日韩啪啪视频| 久大香蕉| 极品人妻VideOssS人妻| 亚洲av成人一区二区电影在线| 9999热精品在线免费播放| 五月婷啪| 色五月婷婷操逼| 五月天成人在线| 美日韩成人| 99久在线观看| 91凹凸在线| 超碰在线播放免费观看| 色狠狠色综合| 淫视馆av三区| 五月婷婷婷婷婷| 国产伦亲子伦亲子视频观看| 99惹在线精品免费观看| 99视频精品| 伦99热| 色色射| 九久久婷婷| 五月天久久婷婷婷| 欧类av怡春院| 少妇人妻凹凸视频| 丁香婷婷天堂| 五月丁香婷婷人体| 国产一区二区三区影院| 天天操天天操综合| 熟妇无码乱子成人精品| 丁香伊人激情| 色色色色色色色色色影院| 加勒比色色| 五月丁香啪| 婷婷丁香77777| 欧美久热| 日本a片网址| 开心激情五月天网| 精品久久人妻热| 五月天婷婷成人网| 6月丁香婷婷激情| 香蕉AV福利精品导航| 深爱婷婷基地| 丁香五月久久| 五月色婷婷综合丁香精品无遮挡| 婷婷色情 | 79色色免费| AV在线不卡播放| 久热视频这里只有精品68| 婷婷五月花| 天天日日天天| 91麻豆国产三级精品福利在线观看| 啪啪啪五月天| 婷婷福利影院| 91色在线 | 日韩| 日韩精品超碰在线观看| 婷婷中文在线| 亚洲性爱干干| 丁香色婷婷色手机免费在线| 情趣视频66| 婷婷五月六月| 色综合丁香| 激情丁香五月天综合| 激情综合亚洲| 成人AV在线网站| 亚洲激情四谢| 99只有精品| 91丨九色丨白浆秘| 九九aV| 五月色丁香国产在线视频| 在线观看免费人成视频无码| 婷婷六月激情在线视频| 成人午夜免费电影| 国产在这里只有精品| www.精品99| 草草色情综合网| 久久婷婷六月综合| 男女99免费视频| 久久久com| 五月天激情无码高清| 九九伦子片| 五月婷婷在线视频观看| 色婷婷五月天av在线| 国产精品一区在线观看你懂的| 亚洲性图一区二区| 激情婷婷久久| 成人无码髙潮喷水A片| 五月精品免费XXX| 国产精品视频网| 丁香五月自拍| 六月丁香激情婷婷| 丁香婷婷性久久| 五月丁香黄色视频| www,五月天激情| 国产九月婷婷| 久久五月综合| 伊人深爱综合| 色欲色天天香综合| 亚洲乱码日产精品BD| 久久国产色| 日韩九区| 激情婷婷五月丁香啪啪啪| 99久在线精品99re5热视频| 国产亚洲精品人人| 4438全国最大视频成人网站在线观看| 99久久综合网| 五月天欧美激情| 五月色婷婷影院| 亚洲日韩乱码一区二区三区四区 | 五月婷婷无码专区| 丁香婷婷综合激情五月色| 4399成人黄A片| 婷婷激情五月综合| 伊人五月婷婷| 99亚洲精美视频在线观看| 久久久com| 开心激情网在线| 亚洲天堂久久| 亚洲无码免费看| 91精品综合久久久久久五月丁香| 五月网在线| 激情综合网丁香| 九月色婷婷婷| 丁香六月婷婷| 亚欧州精品视频| 色噜噜狠狠色综合日日免费| 日本久久爽| 最新无毒无码AV| 9久精品| 最新亚洲色色网| 久久久99婷婷久久久久久| 久久久99精品免费观看| 中文av网| www.热99热| 97人人草| 99热性色| 91黄色五月天视频| 狠狠色丁香| 久久九九@| 这里只有免费的精品| 精品久久99码| 丁香玖玖| .肏屄视频一区二区| 九九av| 大香蕉五月婷婷| 色综合综合网| 天天综合图片| 婷婷丁香视频在线观看免费| 丁香六月婷婷久久高清| 久久婷婷丁香花综合网| 粉嫩AV久久一区二区三区| 色五月综合在线| 99精品大片| www婷婷色情网| 五月久久五月激情| 成人五月丁香社区| 久久视频婷婷| 超级碰碰碰久久网站| 日本欧美成人片AAAA| 日韩成人电影AV| 五月婷婷五月天| 快色t v在线入口| 婷婷五月天最新综合你懂的 | 丁香五月播播| 天天干天天做| 熟女激情五月天 | 中文aV网| 五月丁香啪啪激情| 性爱网久久| 五月婷婷激情| 婷婷操超碰| WWW.久久久久久久久久久久久| 黑人巨粗进入警花疼哭A片| 天天肏夜夜肏| 亚洲第一综合| 99色热| 久久女婷| 婷婷六月啪啪| 色五月婷婷在线| 二色av| 色五月婷婷亚洲最大| 午夜福利8055| 久久男人网婷婷| 成人在线观看精品| 大香蕉五月婷婷丁香| 欧美私人家庭影院| 久久婷婷五月综合激情国产| 丁香六月 人妻| 成人视频九九| 99免费热在线精品| 久久亚洲A| 色情五月天小说| 激情av| 丁香婷婷六月天| 国产av基地| 激情五月色婷婷| 97色图片中文字幕视频在线观看| www.wuyuetian啪啪| 丁香六月天婷婷色| 日本A片一区| 97在线天堂| 成人无码中文| www.久久99精品| 欧美超碰亚洲| 丁香婷婷五月综合| 亚洲综合视频网| 九九热自拍| 婷婷五月AV| 亚洲人妻AV| 99久热在线精品| 777色婷婷爱五月| 夜夜涩涩涩| sisi热国产| 五月天婷婷激情小说| 美女主播野战视步页| 操操操操操电影网| 天天爽夜夜爽天天爽夜夜爽| 亚洲99精品欧美一区| 成人丁香五月| 久操综合| 亚洲综合五月天婷婷| 五月丁香大香蕉| 99热网精品| 亚洲综合碰| 丁香五月婷婷总啪啪| 碰碰碰91| 欧美99热| 婷婷综合成人五月天| 深爱五月天 开心网| av最新在线| 色五月婷婷91| 色婷五月婷婷| 丁香五月图片| www.久久五月天.com| 天天狠狠色综合| 六月丁香婷婷综合在线| 日韩成人综合网| 五月丁香色综合| 久cao香蕉影院| 五月婷婷综合影院| 色情五月天小说| 婷婷成人丁香色情基地30 | 丁香五月中文字幕| 天天爱天天做天天舔| 成人欧美一区二区三区在线观看| 激情www.98com| 色综合激情| 超碰人人干| 国产成人精品一区二三区熟女在线| 欧美槡BBBB槡BBB少妇| 综合99在线| 综合久久影院| 色综合五月在线| 天天干 夜夜爽| 99热精品中文字幕| 玖玖婷婷五月天毛片| 久久99精品久久久久子伦| 日韩综合网络男女香蕉a片| 狠狠色官网| 五月婷婷色五月| 99热这里只有精品9| 91919191919久久成人视频| 日本天堂免费99| 五月天开心激情网色欲无码| 欧美婷婷五月天综合| 欧美视频五区| 亚洲精品无码99热| 爆乳熟妇一区二区三区爆乳照片| 狠狠色五月| 狠狠干,狠狠操| 涩五月婷婷| 色婷九九九| 成人 在线 日韩| 日日夜夜爽爽| 久久婷婷五月综合| 丁香五月天堂亚洲社区| 五月婷婷激情刺激| 丁香欧美| 亚洲九九视频| 色婷综合| 天天噜天天爱| 亚洲无码11| 91在线操逼视频| 亚洲成人网在线观看| 韩国久久少妇视屏| 久热只有精品| 夜夜久久综合网| 婷婷成人五月天一区| 超碰99久久| 婷婷桃色网| 大香蕉久操| 久久A热| 在线看片av| 91熟妇大香蕉| 丁香婷婷久久激情| 婷婷久久丁香五月| 亚洲AV成人在线观看| 五月天婷婷黄色视频| 婷婷六月五月天综合| 成人电影一区| 国产亚洲网站在线| 这里只有精品免费视频在线观看| 99久久久久| 亚洲成人AV一区在线观看| 综合亚洲五月天| 91人操| 成人AV在线中文版| sS丁香五月婷婷| www.99热视频| 97色 五月天丁香| 成人视频九九| 久婷久婷| 日本在线视频看se99| 精品一二三区视频立| 五月丁香激情四射| 久碰综合| 日本颜色视频人人爱| 九月婷婷综合| 99成人网一区| 成人五月丁香社区| 欧美婷婷综合| 伊人婷婷五月天av| 亚洲亚洲人成综合网络| 五月丁香网视频| 五月天丁香婷婷社区| 天天综合网色欲香| 激情5月天天天| 中文字幕黄色片| 99色天堂| 超碰在线人人| 丁香婷婷婷五月综合色情| 天天插天天| 91久久久久久| 九九精品综合| 综合一区二区三区| 7777精品伊人久久久大香线蕉最新版| 欧美日本va| 婷五月天影院| 婷婷五月伦理| 五月天电影网| 婷婷深爱五月亚洲综合| 亚洲人妻av伦理| 激情色中文| 夜夜爱网站| 97色在线| 亚洲欧美成人在线| 成人午夜无码视频| 婷婷天堂站| 久久婷婷网站| 综合AV在线| 秋霞A V毛片| 久久五月网| 国产1区2区3区| 97热在线精品| 久久婷婷啪啪视频| 五月天综合在线| 色婷婷电影网| 亚洲激情另类| 色五月丁香六月资源站| 久久九九综合| 国产韩日亚洲美州欧亚综合在线| 五月丁香色| 97在线精品| 深爱综合网| wwxx日本| 美女婷婷激情亚洲| 色五月在线视频观看| 亚洲日比视频| 日狠狠| 吊色AV男人的天堂| 无码人妻激情| 久久视这里只有精品| 日本久久精品| 久久五月激情网| 亚洲综合色成丁香五月色| 97韩国久久电影院| 成人免费网站免费看| 99色视频| WWW免费视频碰碰碰碰| 综合另类视频| 天天爱天天日| www.97视频| 婷婷六月伊人| 丁香五月婷婷婷桃花影院| 五月丁香婷婷爱| √天堂资源在线人妻熟女| 欧美性爱五月天| 天天爱天天日| 超PEN精品在线| 日韩五月丁香| 97婷婷狠狠| 日日夜夜狠狠| 婷婷五月天亚洲精品| 91碰操| 五月丁香好婷婷A片网| 久久婷婷五月综合97色一本| 国产SUV精品一区二区6| 欧州色色| 亚韩在线视频| 五月综合激情婷婷六月色窝| 五月香六月婷| 婷婷五月天丁香激情| 丁香五月香蕉| 婷婷五月激情四月综合| 九九九九九999999| 99re思思久久| 在线中文av| 久久九九99| 99热99热99热99热| 日本久久9| 色五月大| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 久久婷婷色| 色丁香久久久| 欧美99视频| 99热国产| 五月婷六月| 91蜜桃婷婷狠狠久久综合9色| 五月丁香偷拍| 五月综合缴情网| 九九热99视频在线| WWW.桔色成人.COM| 五月婷婷天天| 天天综合亚洲综合网天天αⅴ| 欧美成人精品三区综合A片 | 六月婷婷毛片| 久久人人九九| 思思热这里只有精品视频666| 色五月综合激情网| 色婷婷免费观看| 五月婷婷婷婷婷婷艺术| 91色噜噜狠狠狠狠色综合| 亚洲精品一区中文字幕乱码| 这里只有精品无码| 丁香婷婷色五月| 91国产精品视频播放| 精品久热69| 狠狠色狠狠| 国产露脸150部国语对白| 色五月五月天色婷婷色五月| 丁香 婷婷 激情 综合 五月| 2050人人操免费工开爱 | 无码人妻丰满熟妇奶水区码| 99九九在线视频| 丁香六月高清视频| 综合激情在线观看| 嫩草AV久久伊人妇女超级A| 精品99在线观看| 久久精品小视频| 久婷久婷| AA片在线观看视频在线播放| 狠狠干综合网| 天天日日爽| 色五月激情视频在线综合| 99热www| 中文字幕日产A片在线看| 91碰碰视频| 久久66成人网站| 丁香五月婷婷无码AV| 亚洲视频在线观看区| 色久综合| 五夜婷婷| 婷婷五月天美女21p| 高清激情av在线观看| 婷婷五月天综合AV| 亚洲精品久久久无码| 色婷久久| 九九热99热| 欧美综合丁香网| 99热爱爱干干日| 超级碰碰视频无码| 婷婷导航| 免费亚洲婷婷| 夜夜撸日日骑| 狠狠另类视频| 九九Av| aaaa.黄| 色五月丁香A欧美com| 激情小说婷婷| 国产操碰| 99久久免费精品| 激情伍月 欧美| 国产人妻操逼| 天天操中文字幕| 五月婷中文娱乐综合| 日韩av变天就操逼不卡区| 激情开心五月天| 手机旧版看人妻1025| 丁香五月激情婷婷| 九九视频精品在线免费| 91viP在线看| 殴美97色| 久久精品熟女亚洲AV麻豆| 丁香六月婷婷久久综合| 中文无码婷婷| 综合网啪| 另类图片五月天| 五月丁香婷婷成人综合网| 东北婷婷五月天| 婷婷激情伍月网| 丁香六月色婷婷| 色天使色婷婷| 小泽玛利亚视频一区二区| www91色网站| 丁香六月在线综合| 五月婷婷色播| 久久久久这里只有精品| 五月丁香成人小说| 天天干夜晚夜操| 26uuu国产精品| ...婷婷国产成人亚洲日韩| 久久激情五月| 亚洲AV免费在线| 伊人久久99| 另类精品视频在线观看| 欧美色图天堂网色| 久久sp免费视频| 91操女| 婷婷五月丁香激情图片| 丁香五月婷婷天激情| 天天色综网| 欧美日韩91| 久久伊人五月天| 天天爽天天日| 丁香色五月 97干| 大香蕉五月天| 亚洲男女激情| 97色碰| 婷婷综合在线| 亚洲五月天激情| 青草青草视频2免费观看| 欧美69久成人做爰视频| 在线中文AV| 人人肏逼视频在线一区二区| 亲子乱AV-区二区三区| 一区=区操屄高清大全av| 五月天婷婷丁香人人操91| 婷婷色色丁香| 综久久久| 久久婷综合网| 久热 91| 午夜大香蕉| 夜夜人妻五月天| 性色欲情 网站| 亚洲久久视频| 五月综合激情视频| 五月丁香在线婷婷美女| 六月丁香六月婷婷欧美| 婷婷五月天视频亚洲| 婷婷综合成人| 日本色婷婷| 五月天精品| 变态另类9| 天天肏夜夜肏| 综合色色五月| 99伊人婷婷在线| 人妻久久婷婷| 五月婷婷与六月丁香图片激情| 成人五月天在线视频在线观看 | 人人干av| 精品9197碰| 五月天婷婷激情四射综合| 婷婷五月中文字幕| 91九色国产| 亚州精品色情在线观看| 五月婷婷丁香大陆免费| 99色视频| 天天插,天天射| enecarbon-materials.com污K127封锁请涟系@wip1688 | 婷婷五月激情视频| 婷婷综合成人| 伊人在线视频| 97色片| 欧美日韩成人在线网| 少妇激情五月天| 日本精品人妻无码77777| 色婷婷五月综合色婷婷| √天堂资源在线人妻熟女| 超碰成人免费| 五月天婷婷久久综合| 五月婷婷激情五月| 97碰| 97精品人人A片免费看| 玖色色综合| 色婷婷www| 五月丁香婷婷六月天| 色停停五月,在线观看| 999热在线视频| 国产伦亲子伦亲子视频观看 | 五月天综合婷婷| 色婷婷8| 色九亚洲| 热的国产,热的综合,热的有码| 五月天激情久色| 99男人的天堂| 色婷婷成人做爰A片免费看网站| 97干在线免费| 丁香五月婷婷亚洲色图| peg 2区三区四区的| 五月婷视屏在线观看| 亚洲中文字幕AV| 成人 在线观看国产| 欧美月久久| 九九婷婷综合| 深夜婷婷五月丁香| 精品人妻伦一二三区久久| 免费黄色视频网址| 任你干线上免费视频有3吗| 久热视频97AV在线观看| 在线另类| 久久久久久久合一狠狠做深爱 | 久久久久久综合88| 五月色 亚洲| 99性爱视频| 偷偷与邻居做爰完整视频| 五月丁香色婷基地综合久久| 婷婷五月天视| 六月婷婷综合| 亚洲无AV在线中文字幕| 久99热在线观看| 亚洲色婷婷网站| 婷婷五月丁香综合激情| 久久六月婷婷| 天天爽人人综合免费7799| 人妻自慰高清合集| 激情丁香五月婷婷| 激情五月婷婷色综合| 人妻射精AV| 五月婷婷亚洲色视频| 可以免费观看的AV| 九九婷婷综合| 亚洲激情区| 五月丁香天堂网| 亭亭玉月丁香| 日韩精品色| www.日日夜夜.com| 大香蕉久久综合网| 色亚洲无码| 丁香五月五月婷婷| 中文字幕丰满孑伦无码专区| 五月狠狠| 五月丁香婷庭在线| 丁香六月啪啪| 99爱在线| 色。 日日日| 久热九九| 狠狠爱婷婷丁香| 色五月丁香激情| 五月丁香综合在线| 成人综合视频在线| 丁香五月欧美色综合| 天天天天天天操| 天天肏高清在线| 996热re视频精品视频这里| 激情婷婷丁香| 婷婷色在线播放| 亚洲综合在线丁香五月| 精品久久人妻| 久久综合丁香| 91成人性爱视频| www.色色色com| 五月激情综合婷婷| 99热精品无码| 狼友视频在线观看18| 九六五月天婷婷| 99精品在线观看视频| 久综合| 免费播放99性爱视频| 亚洲V国产V欧美V久久久久久| 午夜丁香婷婷| 96精品久久久久久久久| 91亚洲免费片| 99热骚货| www99热| 91日韩美女被插视频| www夜夜操com| 久久婷婷五月综合色欧美| 都市激情五月婷婷综合| 色99色| 久操干| 人人爱人人草| 十二区无码| 免费试看小视频 99| 丁香五月综合婷婷| 国产免费一区二区三区三州老师F1F1.CC | 人人摸人人摸| 91好好热日本在线| 开心激情综合| 丁香五月婷婷五月基地| 五月激情丁香| 97干干干丁香| 天天添天天摸天天天天做| 五月婷婷啪啪| 婷婷激情五月| 99热精品中文字幕| 玖玖爱资源站| 91无码高清| 九九热精品99| 91精品综合久久婷婷九色| JlZZJlZZ8JlZZ亚洲熟女| 婷婷五月丁香久久| 久cao香蕉影院| 天堂五月婷婷| 九九热精品在线| 久色成人| 国产XXXX搡XXXXX搡麻豆| 热99久久这里只有精品| 五月婷婷色| 99 热国产在| 国产9色在线/日韩| 超碰成人电影| 色综合色色| 久久婷五月| 成人电影在线免费试看| 婷久久| 99精品在线观看| 超碰三级秋霞| 欧美肉大捧一进一出免费视频| 天天日日天天| 欧美成人一区二区三区在线视频| 婷婷色五月情| 超碰只有精品在线| 激情六月一二| 日韩激情网站| 5月婷婷激情在线| 色综合香蕉| 人妻精品在线| ay2区| 思思热在线视频精品| 亚洲婷婷月丁香五月| 久色精品| 五月丁香中文字幕| 日本精品干| 婷婷四色五月| 超碰人人干| 色色五月丁香| 欧美婷婷五月天综合| 丁香五月婷婷综合激情啪啪啪啪啪啪啪 | 婷婷区日本| 乱精品一区字幕二区| 天天做 天天爱| 亚洲三A| 99无吗| 色九亚洲| 欧美25p| 人妻久热| 丁香色五月 97干| 操操天堂| 97五月天| 色九区| 极品人妻VIDEOSSS人妻| 五月综合777| 97综合视频在线| 日日日影院| 五月天婷婷免费| 狠狠操狠狠插| 婷婷激情五月天天天开心| 激情5月婷婷| 激情婷婷五月天| 色久影院| 日本三级日本三级99| 热99re| 久久 无毛。| 综合久久影院| 婷婷丁香六月五月天| 91九色PORNY肉丝在线| 欧美日韩成人高清在线| 婷婷激情丁香五月天综合| 狠狠综合网| 狠狠干伊人| 四色五月视频| 天天干天天色综合| 日日懆天天懆| 天堂中文国产| 99ER热精品视频| 日日操夜夜爽| 丁香五月自拍| 亚洲啪| 激情综合网五月婷婷| 天天干,天天舔| 丝雨一区二区| 亚州色婷婷| 精品一区二区三区木瓜| 欧美色图天堂网色| 成人综合网站| 美女五月狠狠| 97丁香花五月天激情小说| 色九九一二| 激情丁香五月婷婷| 吉澤明步Av一區二區| 任你艹| 牛牛澡牛牛爽| 色综合婷婷| 这里只有精品视频在线看| 大伊香蕉玖玖爱| 97精品人人A片免费看| 99在线免费观看| 六月丁香射婷婷欧美色图片 | 十二区无码| 婷婷五月天.com| 日本99婷婷| 五月丁香综合激情| 人人色婷婷| 亚洲色婷婷网站| 日本在线观看aaa 99| 婷婷丁香在线| 99热碰碰| 激情综合婷婷| 婷婷丁香色情| 欧美成人精品A片免费一区99| 五月丁香中文字幕| 丁香五月婷婷动漫| 伊人婷婷大香蕉| 天天日天天久久青青| 久99热| 啪啪小说五月天| 亚洲激情高潮| 婷婷五月天Av| 国产真实乱对白精彩| 超碰亚洲天堂| 五月在线| 99久久国产宗和精品1上映| 97色色婷婷五月天| 亚洲精品白浆高清久久久久久| 9l视频自拍9l视频自拍九色学生| 开心五月综合| AV九九| 久久免费干| 俺也去色| 婷婷色色网| www.夜夜| 色五婷婷| 色五月天天在线观看资源站| 五月花激情网| 九九XX视频| CHINESE熟女老女人HD视频| 97九色视频| 丁香五月区| 伊人干练久| 激情四射五月天偷偷看婷婷| 色黄啪啪| AA片在线观看视频在线播放| 五月丁香婷婷基地| 五月丁香六月合| 大香蕉九操| 丁香五月婷婷亚洲另类| 九九热青草| 久久久久久久人妻| 99爱视频| 色五月天天| 九九综合视频在线观看| 9久久久久久久久久久| 无码人妻一区二区一牛影视| 三级黄色大片视频| 五月天婷婷激情| 99热国产免费| 日本久久性| 色情婷婷五月天| 99亚洲综合| www.91九色| 黄久久久| 成人丁香五月婷| 少妇高潮呻吟A片免费看软件| 91婷色| 天堂综合久久 | 国产乱轮一区二区三区| 亚洲精品无码一区二区| 久久九九爽| 激情五月天视频| 欧美黄色AA片哗啦啦啦| 人人摸人人干人人做| 日本婷婷综合精品| 天天狠天天狠| 久久99热这里只有精品首|