欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

從fork地址相同到寫時(shí)拷貝:吃透進(jìn)程地址空間與頁表機(jī)制

從fork地址相同到寫時(shí)拷貝:吃透進(jìn)程地址空間與頁表機(jī)制 在調(diào)試一個(gè)多進(jìn)程程序的時(shí)候我碰到過一個(gè)讓新手極其困惑的現(xiàn)象父進(jìn)程里打印某個(gè)全局變量的地址是0x601040fork 出來的子進(jìn)程里打印同一個(gè)變量地址還是0x601040。兩個(gè)進(jìn)程明明是兩個(gè)獨(dú)立的執(zhí)行體為什么變量地址會(huì)一模一樣更讓人想不通的是子進(jìn)程改了這個(gè)變量的值父進(jìn)程那邊紋絲不動(dòng)既然地址一樣改的不應(yīng)該是同一塊內(nèi)存嗎這兩個(gè)問題指向的都是進(jìn)程地址空間這套機(jī)制。它解決了操作系統(tǒng)里最核心的矛盾之一多個(gè)進(jìn)程如何在一個(gè)物理內(nèi)存有限的機(jī)器上互不干擾地運(yùn)行。理解進(jìn)程地址空間、頁表、寫時(shí)拷貝和虛擬地址這幾件事你才能真正看懂 fork 的代價(jià)、內(nèi)存映射文件的共享語義、以及為什么一個(gè)野指針有時(shí)候崩有時(shí)候不崩。這篇內(nèi)容偏向操作系統(tǒng)底層與系統(tǒng)編程適合寫過一點(diǎn) C、用過 fork 和 malloc但對(duì)背后機(jī)制還停留在“知道有這么回事”階段的讀者。我會(huì)從“為什么要設(shè)計(jì)它”講起一路拆到頁表項(xiàng)里的每一個(gè)標(biāo)志位和寫時(shí)拷貝觸發(fā)的那一刻中間配上可以直接跑起來的驗(yàn)證代碼。1. 從一次段錯(cuò)誤說起進(jìn)程地址空間到底解決了什么問題1.1 虛擬地址不是障眼法是精心設(shè)計(jì)的隔離層很多人第一次接觸虛擬地址會(huì)覺得這就是操作系統(tǒng)玩的障眼法應(yīng)用程序看到的是假的地址硬件在背后偷偷換算成真的。這個(gè)理解沒錯(cuò)但只說對(duì)了表象真正值得琢磨的是為什么非要做這層換算。設(shè)想一個(gè)沒有虛擬地址的世界程序編譯出來直接操作物理地址。那么你在寫代碼時(shí)就得操心我這次 malloc 拿到的地址會(huì)不會(huì)和隔壁進(jìn)程要用的地址撞上操作系統(tǒng)加載第二個(gè)程序時(shí)得先掃描物理內(nèi)存找到一塊足夠大且連續(xù)的空洞把程序搬進(jìn)去還要把程序里所有寫死的地址重新改一遍才能跑。物理內(nèi)存一旦碎片化一個(gè)需要 100MB 連續(xù)空間的程序哪怕總空閑有 200MB 也起不來。更要命的是任何一個(gè)進(jìn)程的野指針都可以直接踩到別的進(jìn)程的數(shù)據(jù)一個(gè) bug 能連帶毀掉整臺(tái)機(jī)器上所有在跑的東西。虛擬地址機(jī)制把“程序看到的地址”和“內(nèi)存條上的實(shí)際位置”徹底解耦。每個(gè)進(jìn)程拿到一張獨(dú)立的映射表表里寫著“我的 0x601040 對(duì)應(yīng)物理內(nèi)存的某一塊”。編譯器生成的地址是虛擬地址鏈接器算的也是虛擬地址CPU 執(zhí)行時(shí)先查表再訪存。物理內(nèi)存怎么擺放是內(nèi)核的事程序完全不用管。這就是解耦帶來的最直接的價(jià)值程序不再需要關(guān)心自己被加載到哪也不需要關(guān)心別人在哪。1.2 為什么每個(gè)進(jìn)程都以為自己獨(dú)占整臺(tái)機(jī)器的內(nèi)存虛擬地址帶來的第二個(gè)紅利是“獨(dú)占”的錯(cuò)覺。在 64 位系統(tǒng)上每個(gè)用戶進(jìn)程都擁有一套從 0 到某個(gè)上限的地址范圍看起來整臺(tái)機(jī)器的地址空間都是它的。所有進(jìn)程的地址空間布局幾乎是相同的代碼段在上方數(shù)據(jù)段、堆、共享庫(kù)、棧按固定的相對(duì)位置排布。這種一致性有個(gè)巨大的好處就是可預(yù)測(cè)性。棧地址的起始位置、堆的起始位置、共享庫(kù)的加載區(qū)域內(nèi)核會(huì)做一定的隨機(jī)化處理但整體格局不變。調(diào)試器看到某個(gè)地址立刻能判斷它大概率落在哪個(gè)區(qū)程序里errno或者線程局部存儲(chǔ)的偏移也是基于這套布局設(shè)計(jì)的。如果地址空間不統(tǒng)一每次加載都要重新規(guī)劃調(diào)試信息和 core dump 的分析會(huì)變得極其痛苦。注意所謂“進(jìn)程看到的是連續(xù)地址空間”指的是虛擬地址連續(xù)背后的物理頁幾乎一定不連續(xù)。一個(gè) 10MB 的數(shù)組映射到物理內(nèi)存上可能是散落在幾十個(gè)頁里。把虛擬地址連續(xù)等同于物理連續(xù)是初學(xué)階段最容易帶偏后續(xù)理解的誤區(qū)。1.3 地址空間的布局不是隨機(jī)排的每一塊都有講究拿一個(gè)典型的 64 位 Linux 進(jìn)程來說用戶空間布局大致是這樣的最低地址往后是代碼段text只讀可執(zhí)行接著是已經(jīng)初始化的數(shù)據(jù)段和未初始化的 BSS 段可讀寫再往上是堆用 brk 或 mmap 向上生長(zhǎng)中間一大片留空然后是動(dòng)態(tài)鏈接庫(kù)的映射區(qū)mmap 出來的匿名頁和文件映射也落在這一帶棧從高地址往低地址生長(zhǎng)環(huán)境變量和命令行參數(shù)就在棧頂。內(nèi)核空間和用戶空間之間有一道分界線x86-64 上這條線大約在地址的高半部分用戶空間占低 128TB內(nèi)核空間占高半部分。每個(gè)進(jìn)程的頁表里都包含內(nèi)核空間的映射但頁表項(xiàng)上標(biāo)記了只有特權(quán)級(jí) 0 才能訪問所以用戶代碼跑過去立刻觸發(fā)保護(hù)異常。這種設(shè)計(jì)的巧思在于發(fā)生系統(tǒng)調(diào)用或者進(jìn)程從用戶態(tài)切換到內(nèi)核態(tài)時(shí)不需要切換頁表基址寄存器內(nèi)核代碼可以直接沿用當(dāng)前進(jìn)程的頁表訪問內(nèi)核空間省掉一次代價(jià)很高的地址空間切換。2. 地址空間存在的深層原因隔離、共享與按需分配2.1 進(jìn)程隔離是底線但不能只靠邊界檢查有人會(huì)問操作系統(tǒng)不是有特權(quán)級(jí)嗎為什么不能讓用戶進(jìn)程直接用物理地址靠硬件在每個(gè)訪存指令上做邊界檢查來隔離答案在于性能和靈活性邊界檢查只能保證不越界保證不了兩個(gè)進(jìn)程不重疊。每個(gè)進(jìn)程的合法區(qū)間是動(dòng)態(tài)變化的堆會(huì)漲棧會(huì)擴(kuò)mmap 會(huì)新增映射。如果靠“給每個(gè)進(jìn)程登記一個(gè)物理區(qū)間”來管理一旦堆和棧之間的空檔被別的進(jìn)程占了這個(gè)進(jìn)程就再也長(zhǎng)不大了。物理內(nèi)存的連續(xù)性和進(jìn)程需求的不連續(xù)性天然沖突。虛擬地址把“需求”和“供給”拆開。進(jìn)程要向內(nèi)核申請(qǐng)內(nèi)存內(nèi)核只需要在它的地址空間里找一段空閑的虛擬區(qū)間分配幾個(gè)物理頁掛上去就行物理頁在哪完全無所謂。進(jìn)程之間的虛擬區(qū)間可以重疊只要映射到不同的物理頁即可。隔離從“物理上不碰撞”變成了“映射表上不指向同一塊”這個(gè)轉(zhuǎn)換是整套機(jī)制能成立的關(guān)鍵。2.2 共享內(nèi)存和寫時(shí)拷貝都建立在地址空間之上隔離不是目的可控的共享才是。兩個(gè)進(jìn)程想共享一塊數(shù)據(jù)有了地址空間之后變得很自然把各自的虛擬區(qū)間映射到相同的物理頁就行。共享庫(kù)的代碼段就是這么處理的同一個(gè)libc.so的代碼頁在物理內(nèi)存里只有一份幾百個(gè)進(jìn)程都映射到它只讀不寫內(nèi)存利用率直線上升。寫時(shí)拷貝也建立在同一套機(jī)制上。fork 的時(shí)候子進(jìn)程的地址空間和父進(jìn)程的地址空間內(nèi)容完全一樣但并不是把物理頁復(fù)制一遍。內(nèi)核把父子進(jìn)程的頁表都指向同一批物理頁然后把這些頁在雙方的頁表項(xiàng)里都標(biāo)記成只讀。任何一方要寫觸發(fā)頁保護(hù)異常內(nèi)核才真正復(fù)制出一份新的頁給寫入方。這套機(jī)制把 fork 的代價(jià)從“復(fù)制整個(gè)地址空間”降低到了“復(fù)制頁表”進(jìn)程創(chuàng)建的語義沒變開銷卻小了一個(gè)數(shù)量級(jí)。沒有虛擬地址這套間接層寫時(shí)拷貝根本無從談起。2.3 按需分配與缺頁異常內(nèi)存可以“看著有實(shí)際沒有”地址空間還有一個(gè)容易被低估的作用它讓內(nèi)存分配可以做到承諾與兌現(xiàn)分離。malloc 申請(qǐng) 1GB 內(nèi)存內(nèi)核可以立刻返回一個(gè)虛擬地址但一個(gè)物理頁都不給只在這段虛擬區(qū)間上做標(biāo)記。等你真正去讀或者寫某個(gè)地址時(shí)MMU 查表發(fā)現(xiàn)頁表項(xiàng)是空的觸發(fā)缺頁異常內(nèi)核這時(shí)候才分配物理頁、建立映射。這個(gè)動(dòng)作叫按需調(diào)頁。這個(gè)設(shè)計(jì)在現(xiàn)實(shí)里的價(jià)值極高。程序習(xí)慣性地預(yù)留大塊地址空間但只用其中很小一部分或者進(jìn)程啟動(dòng)時(shí)先 mmap 一大塊當(dāng)內(nèi)存池這些場(chǎng)景下按需分配能省下大量物理內(nèi)存。也正因?yàn)槿绱四悴艜?huì)看到進(jìn)程的虛擬內(nèi)存大小VSZ可能有幾個(gè) G而實(shí)際駐留內(nèi)存RSS只有幾十兆。這兩者的差距不是虛胖是地址空間機(jī)制允許的“延遲兌現(xiàn)”。2.4 地址空間與安全頁表項(xiàng)上的權(quán)限位是最后一道閘門頁表項(xiàng)里除了物理頁號(hào)還有一組權(quán)限標(biāo)志位它們才是運(yùn)行時(shí)安全真正落地的地方。常見的標(biāo)志包括存在位頁面是否在物理內(nèi)存里、讀寫位、用戶/超級(jí)用戶位、可執(zhí)行位、臟位、訪問位。代碼段被標(biāo)記為只讀且可執(zhí)行你往函數(shù)體里寫數(shù)據(jù)會(huì)直接觸發(fā)段錯(cuò)誤棧和堆標(biāo)記為不可執(zhí)行這是緩解緩沖區(qū)溢出攻擊的常規(guī)手段。這些標(biāo)志不是建議性的是 MMU 在每次地址轉(zhuǎn)換時(shí)強(qiáng)制性檢查的。用戶態(tài)代碼試圖訪問標(biāo)記為超級(jí)用戶的頁MMU 直接拒絕連內(nèi)核代碼路徑都不會(huì)走到。理解這一點(diǎn)之后你就能明白為什么緩沖區(qū)溢出攻擊過去那么容易得手而現(xiàn)在要先想方設(shè)法繞過不可執(zhí)行棧也能明白為什么某些嵌入式和實(shí)時(shí)系統(tǒng)為了性能會(huì)放松這些保護(hù)代價(jià)是什么。3. 頁表虛擬地址到物理地址的翻譯官3.1 頁表的最基本形態(tài)與地址拆分方式頁表的核心作用只有一個(gè)給定虛擬地址查出對(duì)應(yīng)的物理頁號(hào)然后拼上頁內(nèi)偏移得到物理地址。這個(gè)過程由 MMU 硬件完成內(nèi)核負(fù)責(zé)維護(hù)頁表內(nèi)容。地址被拆成“頁號(hào)”和“頁內(nèi)偏移”兩部分拆分位置由頁大小決定。假設(shè)頁大小是 4KB也就是 2 的 12 次方那么虛擬地址的低 12 位就是頁內(nèi)偏移高位是虛擬頁號(hào)。32 位地址下虛擬頁號(hào)有 20 位能索引 100 萬個(gè)頁面64 位地址下虛擬頁號(hào)有 52 位理論上有 400 多萬億個(gè)頁。如果直接用一張單級(jí)大表每個(gè)進(jìn)程一張每個(gè)條目哪怕只占 8 字節(jié)64 位下一個(gè)進(jìn)程的頁表本身就要占用幾十 TB 的空間顯然不現(xiàn)實(shí)。所以現(xiàn)實(shí)中的頁表都是多級(jí)的。32 位系統(tǒng)常用兩級(jí)頁表把 20 位虛擬頁號(hào)再拆成 10 位 10 位第一級(jí) 1024 個(gè)條目每個(gè)條目指向一張第二級(jí)頁表第二級(jí) 1024 個(gè)條目。64 位系統(tǒng)常用四級(jí)把 52 位拆成 9999剩下 16 位留給高半部分的內(nèi)核空間劃分每一級(jí)指向下一級(jí)的表。這套結(jié)構(gòu)本質(zhì)上是一棵多叉樹只有實(shí)際用到的分支才會(huì)被分配內(nèi)存。3.2 多級(jí)頁表省內(nèi)存的原理只分配用到的分支多級(jí)頁表省內(nèi)存的關(guān)鍵在于稀疏分配的天然適配。一個(gè)進(jìn)程真正用到的地址空間往往只占理論范圍的極小一部分代碼幾兆、數(shù)據(jù)幾兆、棧幾兆、堆看需求共享庫(kù)幾十兆。這些區(qū)域在 64 位地址空間里是極其稀疏地散落的。用一棵四級(jí)樹去索引大部分分支根本不存在對(duì)應(yīng)的中間層頁表壓根不用創(chuàng)建。算一筆賬就清楚了。假設(shè)一個(gè)進(jìn)程實(shí)際占用了 100MB 內(nèi)存按 4KB 一頁算有 25600 個(gè)頁。這些頁如果分布在一個(gè)完全不連續(xù)的區(qū)域里最壞情況下需要 25600 個(gè)葉子頁表?xiàng)l目分散在若干個(gè)葉子頁表里。每個(gè)葉子頁表能裝 512 個(gè)條目最壞需要 50 個(gè)葉子頁表。每一層向上需要的表數(shù)量繼續(xù)收縮。整個(gè)頁表占用的內(nèi)存大概是葉子層 50 張、中間層可能十幾張、再上層幾張每張 4KB總共不到 1MB。如果換成單級(jí)表64 位下要占幾十 TB差了七個(gè)數(shù)量級(jí)。這就是“用層級(jí)換空間”的經(jīng)典權(quán)衡。維度單級(jí)頁表四級(jí)頁表頁表體積與地址空間總大小成正比64 位下不可接受與實(shí)際使用量成正比稀疏場(chǎng)景下極小查表次數(shù)1 次訪存4 次訪存未命中緩存時(shí)分配粒度全有或全無按需逐層分配缺頁處理簡(jiǎn)單需要逐層檢查路徑3.3 頁表項(xiàng)里的標(biāo)志位與訪存過程的完整鏈條一個(gè)頁表項(xiàng)不是只有物理頁號(hào)它是一堆字段的集合。存在位告訴你這個(gè)頁當(dāng)前是否在內(nèi)存里如果不在訪問時(shí)會(huì)觸發(fā)缺頁異常讀寫位決定這個(gè)頁是可寫還是只讀用戶位決定用戶態(tài)能不能訪問可執(zhí)行位配合硬件提供的執(zhí)行保護(hù)決定這個(gè)頁能不能當(dāng)指令執(zhí)行訪問位和臟位由 MMU 自動(dòng)維護(hù)供頁面置換算法參考此外還有緩存控制位、全局位等等。一次完整的訪存長(zhǎng)這樣CPU 發(fā)出虛擬地址MMU 先查 TLB轉(zhuǎn)換后備緩沖區(qū)本質(zhì)是頁表項(xiàng)的緩存命中就直接拿到物理地址沒命中就按頁表基址寄存器指向的根表逐級(jí)往下查。每一級(jí)查表都是一次內(nèi)存訪問四級(jí)頁表意味著最多四次訪存才能完成一次地址轉(zhuǎn)換。查完之后把結(jié)果塞回 TLB后續(xù)再訪問同一頁就能直接命中。這也是為什么頁表結(jié)構(gòu)的變化對(duì)性能影響很大多一級(jí)就多一次可能的訪存。提示TLB 的存在使得頁表查詢的開銷在大多數(shù)情況下被隱藏。但進(jìn)程切換時(shí) TLB 需要刷新或者打上地址空間標(biāo)識(shí)來區(qū)分這是上下文切換成本的重要來源之一。理解這一點(diǎn)才能理解為什么大量的線程同進(jìn)程運(yùn)行比大量獨(dú)立進(jìn)程切換要便宜。3.4 頁表基址寄存器與進(jìn)程切換時(shí)發(fā)生了什么每個(gè)進(jìn)程都有自己的頁表樹根表的物理地址存在一個(gè)專門的寄存器里。x86-64 上是 CR3ARM64 上是 TTBR0/TTBR1。進(jìn)程切換時(shí)內(nèi)核要做的關(guān)鍵動(dòng)作之一就是把這個(gè)寄存器換成新進(jìn)程的根表地址。這個(gè)動(dòng)作叫切換地址空間。換完之后TLB 里緩存的老進(jìn)程的頁表項(xiàng)就全部失效了如果不做處理新的地址會(huì)被錯(cuò)誤翻譯。所以切換時(shí)要清 TLB或者用地址空間標(biāo)識(shí)ASID給 TLB 條目打標(biāo)簽讓不同進(jìn)程的條目可以共存而不互相污染?,F(xiàn)代處理器一般支持 ASID這樣切換進(jìn)程時(shí)不必整體刷 TLB只需要切換當(dāng)前的 ASID開銷小很多。這也解釋了為什么在支持 ASID 的平臺(tái)上進(jìn)程創(chuàng)建和切換的實(shí)測(cè)性能會(huì)更好。4. 寫時(shí)拷貝fork 之后到底發(fā)生了幾次內(nèi)存復(fù)制4.1 fork 的直覺實(shí)現(xiàn)與它不可接受的開銷教科書上講 fork 會(huì)創(chuàng)建一個(gè)和父進(jìn)程幾乎一模一樣的子進(jìn)程包括地址空間內(nèi)容的完整副本。如果嚴(yán)格按字面實(shí)現(xiàn)fork 的代價(jià)就是復(fù)制整個(gè)地址空間代碼段不用復(fù)制只讀可以共享但數(shù)據(jù)段、堆、棧全都要復(fù)制一份。一個(gè)占用了 500MB 內(nèi)存的進(jìn)程 fork 一次就要再消耗 500MB 物理內(nèi)存還要花時(shí)間做復(fù)制?,F(xiàn)實(shí)中的使用模式卻往往是 fork 之后立刻 exec 別的程序。也就是說剛復(fù)制完的 500MB 馬上就會(huì)被 exec 整個(gè)丟掉這次復(fù)制純屬浪費(fèi)。即使不 exec子進(jìn)程往往也只改動(dòng)其中很小一部分?jǐn)?shù)據(jù)其余部分父子完全一致。這兩種場(chǎng)景都說明全量復(fù)制是極其低效的。寫時(shí)拷貝就是為了消掉這筆開銷而設(shè)計(jì)的。4.2 寫時(shí)拷貝的完整實(shí)現(xiàn)思路fork 時(shí)內(nèi)核做的是這樣幾件事子進(jìn)程獲得一份父進(jìn)程頁表的副本注意是頁表副本不是物理頁副本頁表項(xiàng)里指向的物理頁還是父進(jìn)程原來那些同時(shí)內(nèi)核把所有可寫的頁表項(xiàng)在父子雙方的頁表里都改成只讀并在頁表項(xiàng)里打上一個(gè)“寫時(shí)拷貝”的內(nèi)部標(biāo)記頁面本身的引用計(jì)數(shù)加一。接下來任何一方對(duì)這些頁發(fā)起寫操作MMU 會(huì)先檢查讀寫位發(fā)現(xiàn)是只讀頁觸發(fā)頁保護(hù)異常。內(nèi)核進(jìn)入缺頁處理路徑發(fā)現(xiàn)地址所在的頁帶著寫時(shí)拷貝標(biāo)記就明白這不是真的非法訪問而是需要兌現(xiàn)復(fù)制。此時(shí)內(nèi)核分配一個(gè)新的物理頁把老頁的內(nèi)容復(fù)制過去更新觸發(fā)寫入那一方的頁表項(xiàng)指向新頁并恢復(fù)可寫減少老頁的引用計(jì)數(shù)。如果老頁的引用計(jì)數(shù)已經(jīng)降到只剩另一方在用那也可以直接把老頁的只讀屬性改回可寫省掉一次復(fù)制。這套機(jī)制的妙處在于它讓“復(fù)制整個(gè)地址空間”這個(gè)語義保持不變但實(shí)際搬運(yùn)只發(fā)生在真正被寫到的頁上。父子進(jìn)程共享不變的部分只在分歧處各自持有副本。從程序員的視角看fork 之后兩個(gè)進(jìn)程的內(nèi)存是完全隔離的改誰都不影響誰這個(gè)保證一點(diǎn)沒丟。4.3 一次寫操作觸發(fā)寫時(shí)拷貝的微觀過程把觸發(fā)過程走一遍會(huì)理解得更扎實(shí)。假設(shè)父進(jìn)程有一個(gè)全局?jǐn)?shù)組arrfork 之前它是可寫的對(duì)應(yīng)某個(gè)物理頁 P。fork 之后這個(gè)頁在父和子雙方的頁表項(xiàng)里都變成只讀標(biāo)記寫時(shí)拷貝P 的引用計(jì)數(shù)變成 2。子進(jìn)程執(zhí)行arr[0] 1。CPU 發(fā)出寫請(qǐng)求MMU 查頁表發(fā)現(xiàn)頁是只讀的硬件拋出一個(gè)頁錯(cuò)誤異常把出錯(cuò)的虛擬地址和錯(cuò)誤碼塞進(jìn)特定寄存器跳到內(nèi)核的缺頁處理函數(shù)。內(nèi)核根據(jù)錯(cuò)誤碼判斷這是一次寫保護(hù)錯(cuò)誤而不是頁不存在錯(cuò)誤。接著它去找對(duì)應(yīng)的虛擬內(nèi)存區(qū)域描述符確認(rèn)這個(gè)地址本來應(yīng)該是可寫的再檢查頁表項(xiàng)上的寫時(shí)拷貝標(biāo)記。確認(rèn)無誤后內(nèi)核分配新頁 Q把 P 的內(nèi)容復(fù)制到 Q更新子進(jìn)程的頁表項(xiàng)讓它指向 Q 并設(shè)為可寫P 的引用計(jì)數(shù)減到 1。對(duì)于父進(jìn)程既然現(xiàn)在只有它自己在用 P把 P 的頁表項(xiàng)改回可寫寫時(shí)拷貝標(biāo)記清掉。整個(gè)處理結(jié)束重新執(zhí)行剛才那條寫指令這次 MMU 看到的是可寫頁寫入成功。這一整套下來只有真正被寫的那一頁被復(fù)制了其他頁原封不動(dòng)依然共享。4.4 寫時(shí)拷貝的幾個(gè)實(shí)戰(zhàn)陷阱寫時(shí)拷貝聽起來很美用的時(shí)候有幾個(gè)坑很容易踩。第一個(gè)是引用計(jì)數(shù)的維護(hù)成本。每一頁的引用計(jì)數(shù)都要在 fork 時(shí)增加、寫時(shí)拷貝時(shí)減少、進(jìn)程退出時(shí)清理內(nèi)核在頁結(jié)構(gòu)上維護(hù)這個(gè)計(jì)數(shù)鎖競(jìng)爭(zhēng)在高并發(fā) fork 場(chǎng)景下會(huì)成為瓶頸。有些老版本的內(nèi)核在這方面有過比較明顯的性能問題。第二個(gè)是寫時(shí)拷貝會(huì)放大內(nèi)存峰值。fork 一個(gè)占內(nèi)存很大的進(jìn)程如果父子都開始大量寫物理內(nèi)存可能瞬間翻倍觸發(fā)內(nèi)存回收甚至 OOM。容器場(chǎng)景下內(nèi)存限額卡得緊這種突發(fā)很容易被誤判為內(nèi)存泄漏。第三個(gè)是大頁與寫時(shí)拷貝的互動(dòng)。透明大頁讓一次寫時(shí)拷貝的復(fù)制粒度從 4KB 變成 2MB單次復(fù)制的開銷明顯變大延遲毛刺更容易出現(xiàn)。注意不要假設(shè) fork 之后子進(jìn)程立刻擁有獨(dú)立內(nèi)存。如果你的邏輯依賴“fork 后父子內(nèi)存已經(jīng)隔離”這個(gè)事實(shí)那是對(duì)的但如果你的邏輯依賴“fork 后內(nèi)存已經(jīng)復(fù)制完成”那就是錯(cuò)的。物理復(fù)制是延遲到寫入那一刻的。這個(gè)區(qū)別在分析內(nèi)存占用和性能曲線時(shí)非常關(guān)鍵。5. 動(dòng)手驗(yàn)證親手看清虛擬地址、頁表與寫時(shí)拷貝5.1 打印變量地址看清虛擬地址的一致性與獨(dú)立性先寫一段最直接的代碼驗(yàn)證“父子進(jìn)程同一變量地址相同但值互不影響”。#include stdio.h #include unistd.h #include sys/wait.h int shared_var 100; int main(void) { printf(before fork: shared_var %p, value %d\n, (void*)shared_var, shared_var); pid_t pid fork(); if (pid 0) { printf(child : shared_var %p, value %d\n, (void*)shared_var, shared_var); shared_var 200; printf(child after write: shared_var %p, value %d\n, (void*)shared_var, shared_var); _exit(0); } waitpid(pid, NULL, 0); printf(parent: shared_var %p, value %d\n, (void*)shared_var, shared_var); return 0; }編譯運(yùn)行之后你會(huì)看到子進(jìn)程打印的地址和父進(jìn)程完全一致都是同一個(gè)虛擬地址子進(jìn)程把它改成 200 之后父進(jìn)程讀到的仍然是 100。這正是寫時(shí)拷貝在起作用。地址一致是因?yàn)樽舆M(jìn)程復(fù)制了父進(jìn)程的頁表虛擬地址到物理頁的映射關(guān)系被復(fù)制了值隔離是因?yàn)閷懭胗|發(fā)了復(fù)制子進(jìn)程寫到一張新頁上父進(jìn)程那張頁仍保持原值。值得多說一句的是地址為什么能一致。因?yàn)?fork 復(fù)制的是地址空間的結(jié)構(gòu)子進(jìn)程的地址空間布局和父進(jìn)程一模一樣同一變量自然占據(jù)同一個(gè)虛擬地址。如果這里看到的地址不一樣那才是出了問題。5.2 用引用計(jì)數(shù)和內(nèi)存統(tǒng)計(jì)觀察寫時(shí)拷貝的實(shí)際開銷光看值變化還不夠我們想量化寫時(shí)拷貝。可以在 fork 前后讀取/proc/self/status里的 VmRSS駐留物理內(nèi)存和/proc/self/smaps里的共享內(nèi)存字段。寫一段對(duì)照實(shí)驗(yàn)先 fork 一個(gè)吃掉幾百兆內(nèi)存的子進(jìn)程讓父子都只讀觀察 RSS再讓父子都大量寫觀察 RSS 變化。# 簡(jiǎn)化示意查看當(dāng)前進(jìn)程的駐留內(nèi)存與共享內(nèi)存 grep -E VmRSS|VmSize|RssAnon|RssFile|RssShmem /proc/self/status實(shí)測(cè)下來會(huì)發(fā)現(xiàn)一個(gè)典型現(xiàn)象fork 之后、寫入之前父子的 {RssShmem} 都會(huì)包含同一批頁總和并不等于兩者之和因?yàn)槲锢眄撝挥幸环菀坏╇p方開始寫同一批頁RSS 總量會(huì)上升上升的幅度大致等于被寫的頁數(shù)乘以頁大小。這個(gè)測(cè)量方法是判斷“寫時(shí)拷貝有沒有真正生效”最直接的手段比看代碼推測(cè)靠譜得多。提示觀察時(shí)要注意頁緩存和匿名頁的區(qū)別。文件映射的頁在寫時(shí)拷貝里走的是另一條路徑復(fù)制到匿名頁只盯著 VmRSS 會(huì)漏掉部分信息把 RssAnon 和 RssShmem 一起看才完整。5.3 用頁錯(cuò)誤計(jì)數(shù)器確認(rèn)寫時(shí)拷貝的觸發(fā)時(shí)機(jī)如果內(nèi)核支持 perf可以直接統(tǒng)計(jì)缺頁事件把寫時(shí)拷貝的觸發(fā)點(diǎn)抓出來。perf stat -e page-faults,minor-faults,major-faults ./cow_demominor fault 是頁已經(jīng)在內(nèi)存里但頁表項(xiàng)需要更新的情況寫時(shí)拷貝觸發(fā)的正是這一類。跑一個(gè)只讀子進(jìn)程minor fault 數(shù)量很低跑一個(gè)寫完整個(gè)數(shù)據(jù)區(qū)的子進(jìn)程minor fault 數(shù)量會(huì)明顯上升大約和寫入的頁數(shù)同量級(jí)。這個(gè)對(duì)應(yīng)關(guān)系非常直觀是做性能分析時(shí)的常用佐證。另一個(gè)手段是/proc/pid/pagemap和/proc/pid/smaps能拿到每個(gè)虛擬頁對(duì)應(yīng)的物理頁幀號(hào)需要相應(yīng)權(quán)限把父子進(jìn)程同一虛擬地址的物理幀號(hào)對(duì)比就能看到寫入前相同、寫入后不同。這個(gè)驗(yàn)證比任何文字說明都有說服力強(qiáng)烈建議自己動(dòng)手做一遍做過之后對(duì)寫時(shí)拷貝的理解會(huì)從“背下來的概念”變成“親眼見過的事實(shí)”。5.4 觀察棧、堆、共享庫(kù)的地址分布理解地址空間布局最后再補(bǔ)一個(gè)小實(shí)驗(yàn)把各區(qū)域的地址打印出來驗(yàn)證地址空間的布局。#include stdio.h #include stdlib.h int g_init 1; int g_bss; int main(void) { int local 2; int *heap malloc(sizeof(int)); printf(text approx : %p\n, (void*)main); printf(data : %p\n, (void*)g_init); printf(bss : %p\n, (void*)g_bss); printf(heap : %p\n, (void*)heap); printf(stack : %p\n, (void*)local); printf(libc printf : %p\n, (void*)printf); free(heap); return 0; }跑出來通常是代碼段地址最低數(shù)據(jù)段緊隨其后堆在數(shù)據(jù)段上方并且向上增長(zhǎng)棧地址明顯偏高共享庫(kù)落在中間偏上的映射區(qū)。每次運(yùn)行的具體數(shù)值因?yàn)殡S機(jī)化會(huì)略有差異但相對(duì)次序穩(wěn)定。把這個(gè)次序和前面講的布局對(duì)上地址空間就不再是一個(gè)抽象名詞而是一張你能畫出來的圖。6. 常見問題與踩坑記錄6.1 寫時(shí)拷貝與虛擬地址相關(guān)問題速查現(xiàn)象可能原因排查與處理思路fork 后子進(jìn)程改數(shù)據(jù)父進(jìn)程也變了誤用了共享內(nèi)存映射或全局可變狀態(tài)被其他路徑影響確認(rèn)是否用了 MAP_SHARED 的 mmap檢查是否有信號(hào)處理函數(shù)或其他線程在改數(shù)據(jù)父子進(jìn)程變量地址相同但值不同懷疑程序有 bug其實(shí)是寫時(shí)拷貝的正常表現(xiàn)這是預(yù)期行為虛擬地址相同不代表物理頁相同內(nèi)存占用統(tǒng)計(jì)出現(xiàn)雙份懷疑泄漏寫時(shí)拷貝被大量觸發(fā)物理頁真的復(fù)制了關(guān)注 RssAnon 與 minor fault 數(shù)量確認(rèn)是否大量寫入共享頁程序訪問某地址崩潰換一次運(yùn)行卻不崩訪問落在未映射區(qū)間或落在依賴環(huán)境的內(nèi)存布局上別依賴未定義行為用調(diào)試器看崩潰地址落在哪個(gè)區(qū)域頁表分析工具讀不到物理幀號(hào)權(quán)限不足或內(nèi)核配置限制了 pagemap 訪問檢查權(quán)限容器環(huán)境里這類信息通常被屏蔽大頁開啟后延遲毛刺變多寫時(shí)拷貝按大頁粒度復(fù)制單次開銷變大對(duì)延遲敏感的進(jìn)程可考慮關(guān)閉透明大頁或調(diào)整策略6.2 幾個(gè)我在實(shí)際排查中踩過的坑第一個(gè)坑是把虛擬地址當(dāng)成唯一標(biāo)識(shí)。做進(jìn)程間通信時(shí)曾經(jīng)想用變量地址當(dāng) key 去共享數(shù)據(jù)結(jié)果兩個(gè)進(jìn)程地址一樣但根本指向不同的物理頁數(shù)據(jù)完全對(duì)不上。正確做法是用文件映射或者顯式的共享內(nèi)存區(qū)并約定偏移量而不是拿虛擬地址當(dāng)索引。第二個(gè)坑是忽略寫時(shí)拷貝導(dǎo)致的延遲抖動(dòng)。某個(gè)服務(wù) fork 出工作進(jìn)程后工作進(jìn)程第一筆請(qǐng)求的延遲總是偏高一開始以為是冷啟動(dòng)。后來用 perf 看 minor fault發(fā)現(xiàn)是寫時(shí)拷貝在第一次寫大量頁時(shí)集中觸發(fā)復(fù)制開銷堆在了請(qǐng)求路徑上。處理方式是在 fork 之后、開始服務(wù)之前先主動(dòng)預(yù)熱一遍要寫的數(shù)據(jù)區(qū)把復(fù)制成本前移。第三個(gè)坑是誤判內(nèi)存泄漏。容器里看著內(nèi)存一直在漲實(shí)際上是因?yàn)?fork 出來的子進(jìn)程和父進(jìn)程都在寫同一批頁寫時(shí)拷貝復(fù)制了物理頁父進(jìn)程的 RSS 沒降子進(jìn)程的 RSS 又漲上來總和翻倍。這不是泄漏是寫時(shí)拷貝的正常開銷進(jìn)程退出后會(huì)釋放。區(qū)分這兩種情況的關(guān)鍵是看增長(zhǎng)曲線是否收斂以及是否與 fork 事件強(qiáng)相關(guān)。第四個(gè)坑是頁表項(xiàng)的權(quán)限位理解不到位導(dǎo)致誤判。有同學(xué)寫了一段往只讀段寫數(shù)據(jù)的代碼看到崩潰就以為是段錯(cuò)誤機(jī)制沒生效實(shí)際上是編譯器把那個(gè)“變量”優(yōu)化進(jìn)了寄存器壓根沒發(fā)生內(nèi)存寫。這類問題最好在編譯時(shí)關(guān)掉優(yōu)化-O0再觀察或者把變量聲明成volatile并實(shí)際取地址避免被優(yōu)化掉。6.3 關(guān)于頁表與地址空間幾個(gè)值得記住的經(jīng)驗(yàn)判斷遇到與內(nèi)存相關(guān)的詭異問題時(shí)我一般按這個(gè)順序排查先確認(rèn)崩潰地址落在哪個(gè)區(qū)域是代碼段、堆、棧還是未映射區(qū)再看/proc/pid/maps確認(rèn)這個(gè)區(qū)域的權(quán)限是否符合預(yù)期接著看/proc/pid/smaps里的詳細(xì)字段確認(rèn)是共享頁還是私有頁最后用 perf 或 strace 看系統(tǒng)調(diào)用路徑。這個(gè)順序能把大部分問題定位在一兩分鐘內(nèi)。關(guān)于頁表有個(gè)判斷標(biāo)準(zhǔn)值得分享如果一個(gè)進(jìn)程的 VSZ 很大但 RSS 很小別急著喊內(nèi)存泄漏先看是不是按需分配的正常表現(xiàn)如果 RSS 持續(xù)增長(zhǎng)且不收斂再看是不是寫時(shí)拷貝復(fù)制了物理頁。這兩個(gè)統(tǒng)計(jì)量配合 minor fault 計(jì)數(shù)一起看基本能覆蓋 90% 的內(nèi)存困惑。最后一個(gè)經(jīng)驗(yàn)是關(guān)于寫時(shí)拷貝的使用邊界。它在“fork 后 exec”和“fork 后少量寫”這兩種模式下收益最大在“fork 后大量寫”的模式下反而會(huì)把開銷堆到后面甚至比直接復(fù)制更差。如果你的程序?qū)儆诘谌N模式不要指望寫時(shí)拷貝來救場(chǎng)直接改成線程模型或者在 fork 前把共享數(shù)據(jù)整理成只讀可能才是更合適的做法。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷丁香在线播放| 婷婷五月电影院| 噜噜噜色噜噜| 婷婷五月欧美AA片免费| 婷婷六月激情| 久久婷婷综| 狠狠插狠狠操| 日本五月天一页| 天天舔天天| 国产精品大香蕉| 视频1区2区| 色婷婷狠狠禁久久| 久久婷婷六月综合国际| 久久9热| 人人操Av| 亚洲五月丁香综合网| 香蕉婷婷色五月| bukadeavzaixian| 香蕉久日夜| 国产精品VIDEOSSEX久久发布| 婷婷午夜| 激情五月综合网最新 | 激情深爱婷婷网| 婷婷久久五月天丁香| 新男人天堂人妻| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 五月婷婷综合视频| 狠狠操综合| 五月天成人在线播放丁香| 五月丁香综合伦理片| 一起草无码视频| 97啪啪| 久久9999| 欧美日韩成人在线网站| 伊人网啪啪| 五月丁香六月婷婷综合| www.久9| 操逼视频网址| 97超碰9久热婷婷热| 黄色录像网点| 婷婷五月花.97| 国产精品人成A片一区二区| 色五月婷婷五月| 精品久久99| 激情床戏| 91性高潮久久久久久久久| 91色色色18| 色欲久久久久久综合网综合网| 噜噜吧天天爱| 日本狠狠干| 天天天久久人人人合| 天天橾夜夜爽| 激情五月婷婷网| 婷婷丁香激情综合色情| 日本色视| 亚洲色夜| 色色色婷婷五月天| AV人人操| 五月丁香| 熟惀91九色在线| 国产精产国品一二三在观看| 超91热| www久久久久久久久久久久久久久久久| 天天射天天插天天干| 成人做爰高潮A片免费视频| 欧美性生交XXXXX无码小说| 北京熟妇搡BBBB搡BBBB| 影音先锋自拍网| 五月天婷婷婷| 亚洲精品444久久久久久| 色约约视频一区二区三区四区五区| 久久婷婷艹| 最新国产AV| 国产AV网页| 五月深情久久| 五月久久网| www.婷婷.com| 天天色播| 五月婷婷视频啪啪美女| 五月色婷婷激情| 久久这里有精品99| 久久久久久人妻久久久久久久久久人妻久久久 | 日韩欧美不卡| 狠狠色丁香久久综合婷婷亚洲成人福利 | 狠狠干综合网| 亚洲色图五月丁香| 色五月天在线观看| 激情又色又爽又黄的A片 | 99资源在线视频| 伊人久久大香网| 九九99久久| 五月天色播网| 丁香六月天婷婷开心综合| 丁香五月开心婷婷| 天天爽天天操| 丁香五月香蕉| 麻豆AV一区二区三区| 婷婷五月激情黄色| 操人视频91| 五月玖玖| 色。 婷婷婷| 婷婷丁香人妻久久在线观看| 开心婷婷丁香五月| 狠狠色婷婷| 婷婷精品视频| 亚洲成人av中文| 欧美久久久久久久久中文字幕| 午夜丁香综合婷婷| 性爱AV天堂| 99re这里只有精品免费| 五月婷色激情五月| 碰超99| 激情www| 亚洲乱码日产精品BD在线观看| 婷婷五月天国产传媒| 98热精品| 色婷视频| 久久婷婷婷婷伊人| 色色色色色综合| 色5月婷婷色| 99色| 超碰啪啪网| 婷婷伊人75| 久久久久这里都是精品| 天天天天天天天操| 五月色丁香| 五月婷激情| 97精品人人A片免费看| av在线免费播放观看| 色综合香蕉| 久久综合婷婷| www夜夜操wwwcon| 美国十月色婷婷在线观看| 激情五月婷婷综合| 丁香六月婷婷基地| 五月婷婷天堂| 森林影视大全,最好看的2019年视频| 天天色综合图片| 色三级色三级| 中文字幕无码AV| 婷婷激情四射五月天| 久久久久婷婷| 九九热这里只有精品一| 久久99久久99精品免观看粉嫩| 99热免费| 色站9/| 亚洲中文字幕av| 深爱开心激情网| 国产婷婷五月色情综合| 久久免费精彩视频| 激情婷婷黄色五月| 成人操呦av| 五月丁香花婷婷玉莉AV| 超碰碰碰碰| 9久热精品在线视频| 六月丁香天堂| WWW丁香五月| 五月开心深爱激情网| 操碰99| 最新高清无码专区| 99啪99| 99er免费在线观看| 天天爽夜夜操| 三十熟女| 久久婷婷网站| 噜噜噜噜噜色| 丁香五月六月| 91日精品| 6080av| 超碰a女人的天堂| 亚洲妇女熟BBW| 91pornav在线| 求可以看的AV网址| 欧美日本黄色| 久久婷婷九月国产精品| 欧美 日韩 成人在线| 综合性视频99| 大香蕉久久久久| 亚洲最大成人综合网720P| 99啪在线| 91热er| 5月婷婷6月六月丁香| 激情五月天婷婷丁香| 99操九九网| 婷婷欧美综合| 五月久久丁香| 婷婷综合激情| wuyuedingxiang| 非洲一级AV| 伊人超碰| 色一情一乱一乱一区91| 亚洲AV日韩在线观看| 激情婷婷丁香五月天| 婷婷五月开心中文字幕在线| 亚洲不卡| 97操碰日本女人| 2015好吊操| 亚洲色模骚货| 丁香六月婷婷| www.91在线观看| 九九操综合网| 99热网站| 97自拍99| 激情五月天色爱| 91热在线| 97操在线资源| 五月天全国最大成人网| 99热9| 六月色 亚洲| 五月花婷婷在线精品视频| 这里只有精品免费视频| 欧美成人AAA片一区国产精品| 天天综合网~91综合网| 色婷婷五月天不卡| 成人无码髙潮喷水A片| 婷婷激情五月视频| 男女久久婷婷五月天| 婷婷五月天av| 99精品偷拍视频| 亚洲综合网激情五月天| 五月婷精品| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 色五月婷婷成人视频| 女人被男人吃奶到高潮| 丁香五月激情图片婷婷| 亚洲综合激| 婷婷色啪| 综合久久首页| www.五月天婷婷姐姐| 亚洲精品亚洲人成人网| 久久婷中文字幕| www,欧美干干干干干干| 激情五月天色播| 国产九九一区二区三区| 玖玖资源站蜜臀| 久久婷婷伊人| 婷婷激情综合网| 妻久久人久久| 亚洲操女| 五月婷婷天天色| 天堂A∨在线| 亚洲另类AV| er99免费视频在线| 丁香啪啪| 丁香六月综合激情| 日韩av在线免费观看| 九九精品丁香花| 天天做天天爱天天爽在| 天天玩夜夜操| 色综合久久88色综合天天99| 色噜噜狠狠色综合日日| 67久久| 欧美激情五月天在线观看| 亚洲无码成人| 99re免费在线视频| 丁香五月成人av| 日韩在线看AV| 婷婷激情五月天网站| 丁香五月首页| 久婷久婷激情肉| 天天日夜夜爽。| 欧美人与性动交CCOO| 日韩人妻无码专区| 久久激情五月天| 影院久久久| 五月丁香色狠狠干大屄| 久久精品99国产精品日本| 超碰久热| 玖玖在线视频| 啪啪激情网| 能看的av| AV在线收看| 丁香六月婷婷综合在线| 色吧网91| 高清无码中文字幕aVDV| 国产精品第一国产精品| 婷婷五月综合欧美在线播放| 色婷婷电影网| 夜夜涩涩涩| 婷婷天天色| 天天射天天干天插色综合| 亚洲欧美一区二区三区爱爱动图| 97色 五月天丁香| 五月婷婷久久网| 被强行糟蹋的女人A片| 色色色777| 婷婷五月av| 久久婷婷五月丁香网| www.婷婷| 色吊丝永久访问网址| 日韩啊啊啊| 手机在线视频观看9| 激情婷婷五月天日本系列 | 丁香五月在线播放| 伊人网欧美在线男人天堂五月丁香| 秋霞A V毛片| 五月久久婷婷天堂视频| 五月婷婷激情| 一本色道久久88加勒比—| 日韩三级高清无码| 亚洲AV另类| 天天干天天干天天干天天干天| 午夜微拍福利| 99热这里只有免费精品| 九九综合88| 婷婷激情社区| 最新AV在线观看| 婷婷五月天狠狠| 五月婷视频在线观看| 在线可以看的av网址| 激情五月成年| 丁香五月婷婷手机| 青青操日本摸摸看看| 六月婷婷激情小说网| 成人αV视频免费观看| 激情校园 亚洲| 色伦专区97中文字幕| 97干在线免费| 久久杏爱视频| 久久精品国产精品| 久久久五月婷婷| 欧美熟女视频 色婷婷| 欧美激情-区二区三区| 2018夜夜草| 日本va视频| 春色激情| 色丁香影院| 亚洲精品另类| 五月天婷久精视频| 久操操| 99精品久久久久久久婷婷| 超碰人人艹| 中文字幕黄色片| 久久九九99| 天天噜天天插| 无码少妇高潮喷水A片免费| 五月花婷婷最新| 亞洲自怕| 99综合视频| 丁香五婷婷| 色欲丁香| aaaaaa片| www.97视频| 天天色天天色天天色天天色天天色| www.色欲丁香婷婷| 婷婷综合五月| 精品激情| 国精产品一区一区三区免费视频| 蜜臀嫩草| 天天色99| 久久综合99| 色婷婷久久综合久色| 国产日韩精品SUV| 婷婷亚洲五月色综合| 五月丁香A片| 五月天伊人久久久久| 亚洲国产成人在线| 狠狠干综合| 草婷婷在线| 91在线资源| 色播五月婷婷| 六月色色| 国产精产国品一二三在观看 | 国产亚洲精品久久一区二区三区| 99综合| 天天弄天天操| 精品久久久久久久人妻| 开心五月婷婷婷美女| 五月天激情小说| 婷婷久久国产视频| 五月天激情亚洲| 五月丁香成年黄色| 综合欧美五月婷婷| 久久ri精品| 丁香婷婷九月| 色久播播| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 9l视频自拍九色9l黑人| 色婷久九| 国产裸舞福利资源在线视频| 69热91天堂| 人妻啪啪啪| 婷婷射丁香| 亚洲妇女熟BBW| 丁香五月婷婷激情中文| 久久婷婷五月综合色奶水99啪| 六月丁香网| 丁香六月爱综合| 丁香五月WWW| 97色片| 激情精品久久| 99re在线免费视频| 99热6精品| 99色播| 天堂久久大香蕉| 91久久婷婷| 婷婷六月激情丁香| 欧美性爱中文字幕| 99精品视频在线观看| 久热只有这里精品| 99在线视频播放| 亚洲丁香花色| 欧美丁香婷婷五月| 国产精品久久99| 99热传媒| 黄网免费看| 五月 丁香 欧美| 久热9热| 天天婷婷综合亚洲亚洲| 狠狠操狠狠干综合| 色婷网| 久热一区| 影音先锋四区| 99aese| 二级黄色毛片| 天天色粽合合合合合合合| 天天插综合| 中文字幕成人| 99热九九九九| 日韩aaa| www.26uuu.com亚洲电影| 99视频网址| 国产亚洲精品久久久久久郑州| 婷婷开心激情| 日韩草草草草草草草草草草草草| 狠狠久久婷| 天天操天天干天天日| 九九热短视频在线观看| 色综合久久88色综合天天99| 久综合4| 九九综合九九| 欧美日韩AAA| 九九热AV| 亚洲视频久久| 超碰免费人人| 99操免费视频| 色婷婷五月婷婷五月婷婷五月| 丁香五月AV| 99精品偷自拍| 99久在线精品| 丁香五月天精品| 亚洲99在线| 精品无码久久久久久久久| 婷婷在线视频| 99精品爱| 九九热在线观看6| 99色嘟嘟精品网站| 久色激情| 色色色色网| 色综合天天网| 97人人做| 熟妇天天综合| 久久五月婷| 99热成人| 亚洲人妻一区二区| 在线99热| 青青日韩| 午夜不卡久久精品无码免费| 亚洲色久| 色色色com| 青青草蜜臀| 99久在线视频| 天色色综合网| 人妻丰满精品一区二区A片| 9热视频在线观看| 激情小说之五月| 99色激| 久久大香免费| 五月婷婷丁香日韩在线| 亚洲激情av| 天天肏高清在线| 色综合日日| 超碰人人操人人干| 色婷婷综合电影| 色狠狠色噜噜AV天堂五区| 日韩成人电影在线播放| 久久一热| www.狠狠色.com| 亚洲不卡| 1024你懂的欧美曰韩| A片试看120分钟做受视频红杏 | 久久婷婷五月综合| 日本婷色| 欧美狠狠地| 九九免费视频在线| 91久操| 99热热热国产超碰| 色www99| www九九热| 97干免费视频| 婷婷性爱五月天| 国产美女最新VA在线免费观看| 五月天激情综合在线| 夫妻超碰在线| 综合狠久久| 婷婷香蕉| 色情五月婷婷| 婷婷丁香激情综合色情| 五月婷婷综合丁香视频| 日夜夜久久| 日韩五月天婷婷| 丁香五月,开心五月,成人婷婷| 《久久综合九色综合97婷婷| 丁香五月伊人| 国产99久久久国产精品免费看 | 色色五月婷婷久久| 日本色色影院| 五月天婷婷Av| 天天干人人奸97| 丁香五月天视频| 色色色欧美| 色婷婷激情四射视频| 国产三级秋霞| 五月丁香另类网| 五月婷高清视频| 国产人妻操逼| 色五月琪琪| 91精产品自偷自偷综合| 九九九九无码| 99久久高清视频| 久热精品免费视频4| 中文人妻AV久久人妻18| 九九久久精品| 色五月成人| 精品婷婷| 超碰精品在线| 香蕉综合在线| 在线中文字幕视频| 欧美精品99| 色色色色色色色色色色色色色97| 九九视频在线| 五月天婷久精视频| 99A片| 99热这里只要精品免费| 久热播这里只有精品| 99亚洲大片精品永久在线观看 | 国外亚洲成AV人片在线观看| 色噜噜狠狠色综无码久久合欧美| 激情第四色| 婷婷五月天亚洲| AV九九| 日本91在线| 久久婷婷色综合| 色婷久| 婷婷成人视频| 婷婷五月天久久| 六月丁香VA| 色婷婷婷婷五月天| 五月天啪啪| 五月天色丁香| 九九热在线精品视频| 婷婷开心激情| 丁香五月婷婷网| 人人操av| 97婷婷丁香| 4399人妻无码久久久| 超碰国产在线观看| 天天操中文字幕| 91精品久久久久久久久| 无码区婷婷五月花开| 婷婷五月激情欧美| 久久五月婷| 色综合99| 丁香啪啪| 五月花婷婷| 中文字幕日产A片在线看| 中文字幕无码人妻少妇免费视频| 欧美性猛交AAAA片黑人 | 国产精品18久久久| 国产看真人毛片爱做A片| 国产偷人爽久久久久久老妇APP| AA片在线观看视频在线播放| 婷婷丁香无码专区| 99爱操| 久热视频97AV在线观看| 天啪色| 韩国97天堂| 欧美超碰亚洲| 色欲婷婷五月天丁香| 毛片新网地| 99视频久久| 九九人人操| 五月天丁香六月综合| 欧美丁香婷婷天天操| 激情欧美婷五月| 人人干人人操人人摸人人做| 久久久久思思热| www.五月丁香| 九九99九九99偷拍视频免费看| 91久热| 人人摸人人干| 国产乱子轮XXX农村| 五月丁香亭亭激情操逼网| 成人AV片播放| 中文字幕网站在线观看| 操操人人| 99热 免费| 天天 青草 丝袜制服 在线| 激情五月天www| 五月叮香啪| 99热官网| 99久久性爱| 五月天激情网站| 日韩青青| 色婷婷文字幕| 亚洲精品成人| 亚洲综合网激情五月天| 婷婷五月天香蕉| 五月婷婷激情综合| 26UUU欧美激情一区二区| 丁香五月六月综合激情| 99热热热99精品婷婷| 久久91久久精品久久| jiuse91在线| 超碰色婷婷| 亚洲成人综合在线| 青草久久五月婷伊人| 99久久久国产精品免费蜜乳tv| 思思久日精品视频| 五月天激情小说网| 婷婷久久五月天| 亚洲综合网在线| 色99视| 国产67194| 婷婷五六日| 亚洲色激情| 五月丁香亭亭操逼| 99激情视频| 色婷婷在线电影| 激情丁香五月AV| 亚洲超碰在线| 思思热在线精品视频网站| 欧美VA在线| 在线婷婷| 九九九九精品精| 成人 AV播放| 丁香五月日韩| 婷婷丁香五月激情图片| 婷婷五月六月丁香| 丁香六月婷婷色XXXXX| 七七婷婷综合| 大香蕉久久草| 欧美精品久久久久久视频观看| 色婷婷丁香五月综合| 在线网黄| 免费观看全黄做爰的视频| 亚洲蜜乳AV| 99er日韩| 这里只有精彩视| 九热视频在线精品15| 午夜一区| 999九九九久久久99HD| www.zbzhongsen.com| 操日本人妻视频| 这里有精品| 能看的av| 色色婷婷色色| 无码一区二区三区四区五区| 洗浴中心操B视频| 久久激情网| 婷婷的五月天另类视频| 激情五月天啪啪| 狠狠操天天操综合| 五月天综合视频| 激情五月综合| 中文字幕不卡视频| 影音先锋xfplay资源男人网| se影音资源在线观看| 丁香五月天激情视频| 91呦呦呦| 成人短视频在线观看| 婷婷五月天性| 精品久热| 热婷婷av| 色婷婷婷av| 天天综合亚洲| 337p大胆噜噜噜噜噜91Av| 97人妻人人| 六月亚洲婷婷6月中文字幕| 老司机日日夜夜青草| 丁香五月天婷婷激情| 五月黄色婷婷| 开心丁五月| 亚洲VA口| 做爰丰满少妇1313| 中美日韩成人在线| 久久久久人妻精选| 深爱五月婷婷| 国产小网站| 开心久久爱五月天| 日韩av在线电影| 99热香港| AV伊人青草丁香六月| 亚洲色网络| 蜜桃五月天| 97影院一级片| 色色免费网战视频| 久久丁香五月婷婷| 啪啪操超碰| 久久在线人妻| 久久免片| 91综合在线视频| 狠狠狠狠狠操| 99热国产免费| 激情五月色综合网| 日日操人人操| 国产激情综合| 91.com男女操| 免费视频这里只有精品| 97在线精品| 26.uuu丁香五月婷婷| 五月综合精品| 亚洲va综合va国产va中文| 五月天婷婷激情在线色图| 99在线视频精品| a网站免费观看| 亚洲四色五月| 色五月天激情| 天天干天天干天天干天天干天| 色五月色情| 五月天婷婷青青| 操骚货在线| 射区导航| 天天色天天色天天色天天色天天色| 久久婷婷五月综合| 五月丁香好婷婷A片网| 五月天激情子轮| 人妻久久久久久| 九九碰九九爱97超| 999久久久国产精品| 九九九九热99超碰| ww亚洲ww在线观看| 综合性爱网| 亚洲色图五月丁香五月婷婷| 五月色丁香综合| 丁香五月欧美成人| 日韩一级网站| 色婷五月天综合网| 99色爱| 天天 青草 制服丝袜 在线 | 丁香六月激情| 亚洲精品视频在线播放| 99综合网| 熟女国产在线一区二区三区四区| 超碰精品手机在线| 久久99久久99久久99人受| 超碰人人操人人干| 狠狠色成人影片| 婷婷五月精品| 99视频地址| 九九热99热| 欧美色色干| 99免费热视频在线| 无码视频国内精品久久久| 99爱在线| 五月丁香网站| 99热18| 婷婷激情在线| 91se在线观看| 丁香六月在线| 色婷婷五月综合激情中文字幕| 五月六月丁香婷婷在线观看| 色五月播五月| 久久99综合| 九热免费视频| 亚洲99在线| 桔色成人在线| 1024AV视频| 天天操天天谢| 亚洲天堂婷婷丁香| 69五月天视频| 五月天综合视频| 婷婷伊人久久| 五月丁香成人| 色情五月天丁香社区| 一级黄色尤物综合视频手机在线观看| 五月天婷婷基地| 六月婷婷九月丁香亚洲综合| 色婷婷综合网站| 色婷婷六月| 色情性爱视频网址| 99在线免费视频| 亚洲色色图片| www.开心激情| 五月天色综合| 五月天激情影院| 五月丁香啪啪啪| www.99在线| 激情婷婷五月天。| 97在线视频观看| 啊V视频在线观看| 五月婷啪啪| 久久丝袜婷婷| XX久久| 久久最新色| 久青操| 婷婷六月视频| 色玖玖综合网| 91操熟女| 久久99操| 综合五月婷婷| 婷婷五月激情丁香| 久久xxxx| 这里只有精品免费| 激情五月综合色| 人妻精品一区二区三区| 天天骑日日爽| 99超级碰免费视频| 久久6这里只有精品| 99热自拍| 678五月丁香亚洲综合| 国产3p露脸普通话对白| 五月天色官网| 操日本99| 丁香六月婷婷综合啪啪| 婷婷五月天天激情| 五月丁香婷婷成人综合网| 天天视频精品9| 日韩五月丁香| 97碰碰碰| 色五月婷婷综合在线| 婷婷丁香激情综合色情| 婷婷在线视频| 第2色五月婷| 亚洲V国产V欧美V久久久久久| 久久婷婷五月综合激情国产| 婷婷五月天天| SESE无码AV| 激情综合婷婷久久| 99热99美国在线观看| 色色激情网| 色五月婷婷五月| 79亚洲精品少妇| 天天色天天操天天射| 激情综合六月| 五月丁香趴趴| 婷婷操久久| 91一起操| 六月激情网| 去干网最新版本亚洲版| 开心五月婷婷伊人| 99精品在线观看视频| 婷婷久久综| 99热在线播放| 色色婷五月天| 综合色七七| 五月色影院| 日韩精品成人在线| 亚洲精品视频在线| 久久99热这里只有精品23| 成人 在线观看国产| 婷婷精品性性性性性性性| 99啪在线| 色久九| 狠狠人人| 狠狠干狠狠色| www久久五月com| 热91久| 九九99精品视频在线观看| 狠狠色97| 六月激情综合| 99热这里只有精品33| JlZZJlZZ8JlZZ亚洲熟女| 欧美性丁香色色五月天干干| 久久久91| 五月天激情小说网| 99热亚洲精品66| 香蕉视频91| 亚洲色五月| 激情五月丁香激情综合网| 色激情网| 自拍偷窥99热| 天天日天天摸天天| 欧美,日韩成人在线| 九九精品亚洲| 五月天久久久| 成人无码髙潮喷水A片| 六月丁香激情网| 日本啪啪天堂| 三男玩一女三A片| 天天日天天爱天天噪| 97日在线视频| 国产精品一区在线观看你懂的| 五月婷婷六月基地| 九九九九大香蕉| 色狠狠综合| 婷婷丁香综合成人| 五月婷婷六月丁香首页| 操一区| 99热中文字幕久久| 五月丁香婷婷久久| 国产精品久久久久久妇女6080| 99综合色| 久久三级视频| 免费黄色视频网址| 久久五月丁香激情综合| 欧美偷偷操| 丁香六月久久| 国内裸舞二区| www.1024久久| 色色丁香| WWW.99热| 五月婷婷三级| 综合色、色综合| 婷婷久久综合| 婷婷激情综合无月| 操婷婷基地| 欧美日韩aaa| 丁香婷婷视频一区二区| 91干| www.色色色com| 婷婷丁香宗合888| 色综合播放| 色月丁| 天天做天天爱| 99这里都是精品6| 99热永久在线观看| 久久婷婷五月综合色和| 色一情一乱一乱一区91Av| 亚洲99视频| 精品亚洲国产成AV人片传媒| 强壮的公次次弄得我高潮A片日本 | 天天做夜夜爽| 人人操Av| 91pornav在线| 狠狠干综合| 狠狠狠色激情综合适合| 26uuu色噜噜精品一区| 欧美六月婷婷| 亚洲九区| 亚洲丁香五月天视频| 五月丁香激情片| 五月婷婷之综合激情在线| 激情九月婷婷| 五月激情站| 操操操www.com| 99ri国产精品| 丁香五月色情| 五月天综合网| 激情五月亚洲综合网| 婷婷激情人妻| 亚洲综合网在线| 97精品欧美91久久久久久久| 色婷婷丁香中文在线播放| 成人短视频在线| 有码一区二区三区| 96丁香六月婷婷蜜桃综合久久| 日本五月婷婷| 久一这里有精品国产| 激情 婷婷| 日本少妇裸体做爰高潮片| 久久人人九| 成人欧美Va| 91久久| 丁香操逼| 亚洲精品99| AV性爱在线| 色婷婷五月天天天天天天天天天| 久久伊人9| 亚洲AV无码电影| 婷婷五月天成人网| www.99热| 婷婷五月天com| 欧美人人操| 五月色婷丁香| 色婷婷成人做爰A片免费看网站| 26uuu欧美| 久久九九99亚洲国产久精综合| 亚洲中文字幕av| 激情丁香五月综合| 少妇AB又爽又紧无码网站| 久久丁香五月| 婷婷视频在线| 九九九九九无码| 婷婷五月综激情| 欧美婷婷色五月网| 国产婷婷色综合AV蜜臀AV| 99自拍网| 五月婷婷,六月丁香| 五月夜丁香| 操99| 97伊人综合婷婷| 超碰人妻公开在线| 丁香五月婷婷激情网| 天天做好综合色| 一二三区视频韩国| 97碰碰人人| 亚洲无码你懂的| 色.五月综合网| 99色| 激情婷婷丁香五月天| 99九九精品视频| 色婷婷成人影片| 丁香六月久久| 9 99免费视频| 色婷婷播放| 精品夜夜澡人妻无码AV| 99国产在线| 97色操| 婷婷五月天男人影院色色网| 亚洲九九免费| 久久9精品| 久婷久婷| 狠狠色噜噜色狠狠狠综合色 | 婷婷伊人75| 一级内射毛片| av亚洲国产小电影| 五月丁香婷婷色| 色五月欧美| 人妻无码精品一区| 激情五月五月五月婷婷| 日日天天天| 久婷婷| 啪啪黄页网| 久热天堂| 人人人操 超碰| 99熟女| 五月综合久久| 影音先锋噜一噜| 成人丁香五月| 高清无码中文字幕aVDV| 思思热99er在线视频| 另类在线| 色九网| 99精品人人| 久久综合五月婷婷| 99热99精品在线观看| 青青草免费公开视频| 天天草天天爽| 97人妻碰碰中文无码久热丝袜| 久久久无码精品成人A片小说| 亚洲欧美一区二区三区爱爱动图| 开心日韩丁香婷婷五月| 久久久久久久久久久久久久人妻视频| 婷婷久久五月| 六月撸婷婷| 影音先锋91| 五月天婷婷激情网| 久9热在线免费观看| 熟女色色一区二区| 香蕉人妻AV久久久久天天| 国产做爰视频免费播放| 丁香五月天激情综合| www.91久久| 日韩精品一品二区三区的使用体验| 婷婷丁香五月亚洲免费| 人人人人人人人草| 九九在线免费观看| 99精品视频在线6| 国产日批视频免费播放| 色婷婷丁香综合中文字幕| 色综合久久88| 人妻中文字幕精品| 婷婷九九色| 好叼操在线观看| 欧美S码亚洲码精品M码| 五月天激情网站| 亚洲天堂久久| 色五月婷婷中文字幕| 婷婷五月天伊人| 激情图片五月天| 亚洲操b| 婷婷中文字幕| 人人爽天天爽| 婷婷六月综合激情| 五月丁香777| 俺去也五月天婷婷| 亚洲综合激情五月久久| 丁香五月婷婷啪啪啪| 站长推荐无码播放| 91久久久久久久久18| 五月婷婷六月丁香玖玖玫瑰91| 五月天综合在线观看视频| 色五月激情网| 天天爽夜夜操| 成人网在线视频| 激情亭亭五月| 99热99美国在线观看| 日韩另类在线观看| 91九色熟女| 9色在线视频| 欧美色99| 久操人妻| 婷婷伊人綜合中文字幕| 久久久这里有精品| 久久婷婷五月综合| 婷婷五月成人| 4399无码视频| 天天干人人奸97| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 热久久这里只有精品| 欧美久久网| 久热中文字幕| 婷婷五月天久久久| 丁香婷婷基地| 日韩九九| 天天干天天做| 欧美丰满熟妇BBB久久久| 99久久99综合| 91黄色五月天视频| 黄色短视频在线观看| 九月大香蕉| 秋霞网在线免费基地五月婷婷丁香| 怡红院91a√| 99熟女啪啪视频| 综合激情在线视频| 狠狠爱综合网| 五月丁香六月婷婷,婷| 丁香五月婷婷姐| 午夜爱爱爱成人| 五月丁香婷庭在线| 青草青青草| 六月丁香网| 欧美六月| 日日干夜夜干| 日日鲁鲁鲁夜夜爽爽狠狠视频97 | www.久久久久久| 99久在线视频| 天天爽夜夜爽夜夜爽精品| 五月天激情网图片 - 百度| 99热这里有精品24| 五月天五月天激情网| 精品久热69| 色一情一乱一乱一区91Av| 久久婷五月| 九色99视频| 婷婷色网址| 99热久97| 91九九| 日韩 欧美 国产 一区 二区| 狠狠干在线视频| 婷婷五月图片小说视频| 久久人妻人人| 丁香五月婷婷超碰在线| 中文激情网| 五月天婷婷丁香成人网| 婷婷丁香综合在线| 99re在线视频| 久久婷婷激情五月天一区二区| 亚洲国产精品成人免费一区久久久在线观看AAAA | 色啪影院| 婷婷 久综合| 99热这里只是精品| 噜噜狠狠色| 色五月综合网| 大地资源色婷婷视频在线| AV网在线观看| av在线激情| 色五月久久成人婷婷| 婷婷成人五月天成人文学小说| 午夜九九九九九九九九九九九九九| www激情| 字幕网AV中文字幕| 综合久久伊人| 五月丁香啪啪啪综合网| 欧洲亚洲免费视频区| 五月开行婷婷色五月| 99这里有精品视频| 99久久网站| Blackedraw视频一区二区| 亚洲热久| 九九AV| 99re这里有精品手机在线| 色五月婷婷九月| 中文字幕视频在线播放| 色五月大香蕉| 五月婷视频在线观看| 色五月婷婷色| 夜夜www| 欧美激情综合五月色丁香| 婷婷五月天色| 精品久久久中文字幕大豆网推荐理由| 99热超| 丁香五月色色色色| 婷婷五亚洲| 丁香五月婷婷亚洲综合精品| 99噜噜噜在线播放| 久久sp免费视频| 日韩欧美性爱| 丁香五月网| 婷婷激情五月天在线视频| 性色99| 欧美色99| 搡BBBB搡BBB搡五十| 五月天婷婷AV| 激情五月黄色小说| 久久婷婷六月综合| 91狠狠色丁香婷婷综合久久| 不卡在线视频| 一本久道综合99| 国产又黄又爽又激情不遮挡视频在线观看| 五月 成人 婷婷| 色99在线视频| www.狠狠色.com| 色欲婷婷五月天丁香| 欧美色五月| 六月丁香成人| 97色色色色| 开心色五月天久久久久久久| 91久热| 操B无码视频国语| AV在线大香蕉| 国产精品A片| 九九操操| 亚洲综合色成丁香五月色| 成人中文字幕在线| 丁香五月骚喷水视频| 成人在线视频一区| 国产做爰视频免费播放| www91在线| 天天撸夜夜爽| 久久色亭亭五月天| 另类少妇人与禽zOZZ0性伦| av最新在线| 丁香五月网络网络| 色99网站| 99国产精品久久久久久久久久久| 久热视频97AV在线观看| 久久这里只有精品久久| 五月精品免费XXX| 婷婷五月天亚洲综合| 大地资源色婷婷视频在线 | 日韩艹比| 超碰在线综合| 婷婷六月色情| 91婷色| 色婷婷很很十八禁| 丁香五月香蕉在线| 亚洲五月花| 五月丁香啪啪啪| 91热视频色网站| 丁香五月天五码婷婷| 另类图片色五月| 97操碰在线97| 午夜婷婷丁香| 99色热| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 97操操网| 伦乱天堂| 丁香 婷婷 亚洲 熟女| 99精品在线| 婷婷五月天亚洲综合网| 色五月婷婷狠狠撸| 五月天丁香久久| 色欲一区二区三区精品A片| 99视频在线播放大全| 五月天成人在线| 欧美色图天堂网| 婷婷综合干| 欧美99热| 97人凄人人操人人爽| 国产免费一区二区三州老师F1……| 91狠狠综合久久| 婷婷性色| 日本欧美成人片AAAA| 大香蕉婷婷五月天| 色女伊人| 国自产拍偷拍精品啪啪一区二区| 成人av中文字幕| 99热这里只有精品搜| 亚洲无码99| 日韩人妻在线观看| 五月天婷婷激情综合| 三级片AAA久久久AAA久久久AAA | a片在线免费观看一区| tingting五月天亚洲|