欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Linux內(nèi)核的四大思維支柱與設(shè)計(jì)哲學(xué)

Linux內(nèi)核的四大思維支柱與設(shè)計(jì)哲學(xué) 1. 這不是“講內(nèi)核”的課是帶你拆解Linux內(nèi)核的“操作系統(tǒng)思維”你點(diǎn)開這個(gè)標(biāo)題大概率不是想背誦《Linux內(nèi)核設(shè)計(jì)與實(shí)現(xiàn)》第3章的頁碼也不是為了應(yīng)付某次面試?yán)铩斑M(jìn)程調(diào)度算法有幾種”這種標(biāo)準(zhǔn)答案題。你真正想搞懂的是為什么一個(gè)運(yùn)行在你筆記本上、手機(jī)里、服務(wù)器集群中、甚至航天器嵌入式模塊里的系統(tǒng)能用一套代碼邏輯既讓微信秒開又讓數(shù)據(jù)庫扛住百萬并發(fā)還能在斷電瞬間把未保存的文檔安全刷進(jìn)磁盤——它底層到底靠什么“想事情”這個(gè)“想事情”的方式就是我今天要說的Linux內(nèi)核的智模型與設(shè)計(jì)哲學(xué)。這個(gè)詞組里“智模型”不是指AI大模型而是指內(nèi)核面對(duì)海量異構(gòu)硬件、千變?nèi)f化負(fù)載、永不停歇中斷時(shí)所建立的一套可預(yù)測(cè)、可組合、可退化、可驗(yàn)證的決策模型“設(shè)計(jì)哲學(xué)”也不是空泛的格言而是Linus當(dāng)年在宿舍敲下第一行代碼時(shí)就埋下的幾條鐵律比如“機(jī)制與策略分離”——內(nèi)核只提供公平的賽跑跑道機(jī)制誰起跑、何時(shí)加速、要不要搶道策略交給用戶空間去吵再比如“簡(jiǎn)單即正確”——一個(gè)函數(shù)超過200行基本會(huì)被打回重寫還有“拒絕抽象泄漏”——如果你調(diào)用open()打開一個(gè)設(shè)備它就應(yīng)該像打開文件一樣簡(jiǎn)單背后是PCIe總線、DMA引擎還是FPGA協(xié)處理器你不該知道也不該被它搞崩。我?guī)н^不少剛從學(xué)校出來的開發(fā)者他們能熟練寫Python爬蟲、用React搭管理后臺(tái)但一看到strace輸出里一堆mmap、epoll_wait、futex就本能地覺得“這是內(nèi)核的事離我太遠(yuǎn)”。其實(shí)恰恰相反你寫的每一行業(yè)務(wù)代碼都在和這套智模型持續(xù)對(duì)話。你調(diào)用一次malloc內(nèi)核就在頁表里悄悄劃出一塊虛擬地址你發(fā)一個(gè)HTTP請(qǐng)求內(nèi)核就在socket緩沖區(qū)里完成三次握手的狀態(tài)機(jī)流轉(zhuǎn)你按CtrlC終止進(jìn)程內(nèi)核就在毫秒級(jí)完成信號(hào)投遞、資源回收、狀態(tài)清理。它不聲不響卻決定了你程序的生死快慢。這篇內(nèi)容就是幫你把這套“沉默的對(duì)話”聽清楚、看明白、用得穩(wěn)。無論你是后端工程師、嵌入式開發(fā)者、云平臺(tái)運(yùn)維還是正在啃操作系統(tǒng)的計(jì)算機(jī)專業(yè)學(xué)生只要你希望自己的代碼不再“憑感覺跑”而是“按規(guī)則贏”那它就是為你寫的。2. 內(nèi)核智模型的四大支柱不是技術(shù)堆砌而是思維框架很多人一提Linux內(nèi)核腦子里立刻蹦出“進(jìn)程管理”“內(nèi)存管理”“文件系統(tǒng)”“設(shè)備驅(qū)動(dòng)”這四大模塊。這沒錯(cuò)但這是功能切片不是思維模型。真正的智模型是這四大模塊背后共用的、一以貫之的四根思維支柱。它們像建筑的地基看不見但決定整棟樓能不能抗八級(jí)地震。2.1 支柱一分層抽象——用“看不見的墻”隔離復(fù)雜性內(nèi)核最反直覺的設(shè)計(jì)是它主動(dòng)給自己砌墻。比如你調(diào)用read(fd, buf, len)看起來只是從文件讀數(shù)據(jù)但背后至少橫跨三層抽象VFS層虛擬文件系統(tǒng)它不認(rèn)識(shí)ext4、XFS、Btrfs只認(rèn)“打開”“讀取”“寫入”“關(guān)閉”這四個(gè)動(dòng)作。所有具體文件系統(tǒng)都必須向VFS提交一份“動(dòng)作說明書”即file_operations結(jié)構(gòu)體。你換掉硬盤上的文件系統(tǒng)只要說明書格式不變上層應(yīng)用完全無感。頁緩存層Page Cache它不管數(shù)據(jù)來自磁盤、網(wǎng)絡(luò)還是內(nèi)存映射統(tǒng)一按4KB一頁來管理。讀文件時(shí)先查頁緩存有沒有現(xiàn)成的頁沒有就觸發(fā)底層I/O寫文件時(shí)先寫進(jìn)頁緩存再由后臺(tái)線程擇機(jī)刷盤。這層抽象讓“讀寫速度”和“數(shù)據(jù)一致性”這對(duì)死敵第一次有了協(xié)商空間。塊設(shè)備層Block Layer它把SSD、HDD、NVMe甚至RAM Disk統(tǒng)統(tǒng)看作“能按扇區(qū)讀寫的塊設(shè)備”。上層只管發(fā)“讀第1000個(gè)扇區(qū)”底層驅(qū)動(dòng)負(fù)責(zé)把這條指令翻譯成PCIe TLP包、SATA命令或自定義DMA描述符。沒有這層每加一種新硬盤就得重寫一遍文件系統(tǒng)。提示這種分層不是為了炫技而是為了“故障域隔離”。某天你發(fā)現(xiàn)ext4文件系統(tǒng)有個(gè)bug導(dǎo)致目錄遍歷卡死只要VFS層沒崩其他文件系統(tǒng)如XFS照樣正常工作同理NVMe驅(qū)動(dòng)出問題只影響NVMe設(shè)備SATA硬盤照常運(yùn)轉(zhuǎn)。這就是分層抽象帶來的“局部失敗全局可控”。我曾在一個(gè)存儲(chǔ)項(xiàng)目里實(shí)測(cè)過當(dāng)把頁緩存大小從默認(rèn)的50%內(nèi)存強(qiáng)制設(shè)為10%隨機(jī)小文件讀性能下降63%但數(shù)據(jù)庫事務(wù)日志的fsync延遲反而降低了22%。為什么因?yàn)轫摼彺孀冃∨K頁更早被刷出減少了fsync時(shí)的阻塞等待。這個(gè)結(jié)果只有當(dāng)你把“頁緩存”看作一個(gè)獨(dú)立可調(diào)的抽象層而不是“文件讀寫的附屬品”才能預(yù)判和利用。2.2 支柱二事件驅(qū)動(dòng)——內(nèi)核從不“輪詢”只等“敲門”Windows早期版本里鼠標(biāo)移動(dòng)要靠CPU不斷查詢“鼠標(biāo)X坐標(biāo)變了沒”這叫輪詢Polling效率極低。Linux內(nèi)核徹底拋棄了這條路它信奉一條鐵律一切皆事件內(nèi)核只響應(yīng)不等待。中斷Interrupt網(wǎng)卡收到一個(gè)數(shù)據(jù)包會(huì)直接拉高CPU一根物理引腳CPU立刻暫停當(dāng)前任務(wù)跳轉(zhuǎn)到網(wǎng)卡中斷處理函數(shù)。這個(gè)過程耗時(shí)在納秒級(jí)比任何軟件輪詢都快幾個(gè)數(shù)量級(jí)。軟中斷Softirq與Tasklet硬中斷處理必須極短通常100微秒否則會(huì)屏蔽其他中斷。所以網(wǎng)卡中斷只做最緊急的事比如把數(shù)據(jù)包從網(wǎng)卡DMA緩沖區(qū)拷貝到內(nèi)核內(nèi)存剩下的事如IP協(xié)議棧解析、TCP狀態(tài)機(jī)更新交給軟中斷在稍后一個(gè)安全時(shí)機(jī)批量處理。工作隊(duì)列Workqueue有些事不能在中斷上下文做比如申請(qǐng)內(nèi)存、睡眠、訪問用戶空間就扔進(jìn)工作隊(duì)列由專門的內(nèi)核線程在進(jìn)程上下文中慢慢干。這三層事件處理機(jī)制構(gòu)成了內(nèi)核的“神經(jīng)反射弧”。它讓內(nèi)核能同時(shí)應(yīng)對(duì)鍵盤敲擊、磁盤IO完成、定時(shí)器超時(shí)、網(wǎng)絡(luò)包到達(dá)等完全異步的刺激且響應(yīng)時(shí)間高度可預(yù)測(cè)。你寫的應(yīng)用程序之所以能“同時(shí)”處理多個(gè)連接底層正是epoll_wait()在監(jiān)聽這些事件隊(duì)列的“有新事件”信號(hào)。注意很多新手誤以為epoll是“輪詢優(yōu)化”其實(shí)完全相反。epoll是事件注冊(cè)回調(diào)通知。你調(diào)用epoll_ctl()告訴內(nèi)核“這個(gè)socket有數(shù)據(jù)來了請(qǐng)通知我”內(nèi)核就把你的進(jìn)程掛到該socket的等待隊(duì)列上當(dāng)網(wǎng)卡中斷處理完TCP協(xié)議棧發(fā)現(xiàn)socket接收緩沖區(qū)有新數(shù)據(jù)就立刻喚醒所有掛在上面的進(jìn)程。整個(gè)過程沒有一次無謂的CPU空轉(zhuǎn)。2.3 支柱三資源契約——每個(gè)對(duì)象都有明確的“所有權(quán)”和“生命周期”內(nèi)核里沒有“全局變量”這種危險(xiǎn)玩意兒。每一個(gè)內(nèi)存頁、每一個(gè)文件描述符、每一個(gè)進(jìn)程控制塊task_struct都嚴(yán)格遵循“創(chuàng)建→使用→釋放”的契約。這個(gè)契約不是靠程序員自覺而是由內(nèi)核的引用計(jì)數(shù)refcount和RCURead-Copy-Update等機(jī)制硬性保障。引用計(jì)數(shù)refcount_t這是內(nèi)核最常用的“所有權(quán)憑證”。比如一個(gè)page結(jié)構(gòu)體可能同時(shí)被頁緩存、mmap映射、DMA引擎三處引用。每多一處使用引用計(jì)數(shù)1每少一處-1。只有當(dāng)計(jì)數(shù)歸零內(nèi)核才敢把它釋放回伙伴系統(tǒng)buddy system。這保證了“你正在用的內(nèi)存絕不會(huì)被別人偷偷free掉”。RCURead-Copy-Update這是為讀多寫少場(chǎng)景定制的“無鎖同步”。比如路由表99%的操作是查表讀1%是添加新路由寫。RCU允許讀者在沒有任何鎖的情況下遍歷鏈表寫者則先復(fù)制一份新表修改完再原子切換指針。舊表會(huì)在所有CPU都完成一次“靜默期”grace period后才被安全回收。這避免了讀操作被寫鎖阻塞極大提升了并發(fā)讀性能。cgroupControl Group這是用戶空間可見的資源契約接口。你用docker run -m 2g啟動(dòng)一個(gè)容器本質(zhì)是給這個(gè)進(jìn)程組在內(nèi)核的memory cgroup里劃了一塊2GB的“信用額度”。當(dāng)它申請(qǐng)內(nèi)存超過額度內(nèi)核會(huì)直接OOM Kill它而不是讓它拖垮整臺(tái)機(jī)器。這個(gè)契約讓資源隔離從“盡力而為”變成了“白紙黑字”。我在調(diào)試一個(gè)內(nèi)存泄漏問題時(shí)就是靠/proc/PID/status里的Refs:字段顯示該進(jìn)程對(duì)各內(nèi)核對(duì)象的引用計(jì)數(shù)和/sys/fs/cgroup/memory/下的usage值精準(zhǔn)定位到是某個(gè)驅(qū)動(dòng)模塊在卸載時(shí)忘了調(diào)用put_device()導(dǎo)致設(shè)備對(duì)象引用計(jì)數(shù)永遠(yuǎn)不為0內(nèi)存無法釋放。沒有這套契約機(jī)制這種問題根本無從下手。2.4 支柱四可組合性——內(nèi)核模塊不是“插件”是“樂高積木”Linux內(nèi)核支持動(dòng)態(tài)加載模塊insmod但這絕不意味著你可以隨意拼湊。真正的可組合性體現(xiàn)在接口契約的嚴(yán)絲合縫上。模塊間通信靠“注冊(cè)表”比如你想寫一個(gè)新文件系統(tǒng)不能直接調(diào)用ext4的內(nèi)部函數(shù)。你必須向VFS注冊(cè)一組符合規(guī)范的函數(shù)指針如ext4_read_inode、ext4_write_superVFS再通過統(tǒng)一接口調(diào)用你。模塊之間只認(rèn)“合同”不認(rèn)“人”。符號(hào)導(dǎo)出EXPORT_SYMBOL內(nèi)核核心代碼如mm/memory.c會(huì)顯式導(dǎo)出少數(shù)關(guān)鍵函數(shù)如alloc_pages()供模塊調(diào)用。但絕大多數(shù)內(nèi)部函數(shù)都是static的模塊根本看不到。這強(qiáng)迫模塊作者必須走正路而不是鉆空子。KABIKernel Application Binary Interface穩(wěn)定性內(nèi)核主版本升級(jí)如5.x→6.x時(shí)會(huì)盡量保證導(dǎo)出符號(hào)的參數(shù)、返回值、行為不變。這意味著一個(gè)為5.10編譯的驅(qū)動(dòng)模塊大概率能在6.1上直接運(yùn)行。這種穩(wěn)定性是十年如一日?qǐng)?jiān)持接口契約的結(jié)果。這就像樂高積木每一塊的凸點(diǎn)接口和凹槽實(shí)現(xiàn)尺寸都嚴(yán)格標(biāo)準(zhǔn)化。你可以用紅磚搭城堡用藍(lán)磚搭飛船但絕不會(huì)出現(xiàn)“這塊磚的凸點(diǎn)太大把另一塊磚的凹槽撐裂了”的情況。內(nèi)核的可組合性正是建立在這種毫米級(jí)的接口精度之上。3. 設(shè)計(jì)哲學(xué)的落地從一句代碼看Linus的“偏執(zhí)”設(shè)計(jì)哲學(xué)聽起來很虛但它會(huì)直接決定你寫一行代碼時(shí)是輕松愜意還是戰(zhàn)戰(zhàn)兢兢。我們來看一個(gè)真實(shí)案例copy_to_user()函數(shù)。3.1 為什么需要copy_to_user()——“用戶空間不可信”是第一條戒律你在用戶空間malloc(1024)得到一個(gè)指針buf然后調(diào)用write(fd, buf, 1024)。內(nèi)核拿到這個(gè)buf地址第一反應(yīng)不是去讀而是先檢查這個(gè)地址是否真的屬于當(dāng)前進(jìn)程、是否在合法的用戶空間地址范圍內(nèi)、是否有讀權(quán)限。因?yàn)橛脩艨臻g的指針可能是一個(gè)野指針比如malloc失敗返回NULL你沒檢查就傳進(jìn)來一個(gè)內(nèi)核地址比如你誤用了kmalloc的返回值一個(gè)只讀內(nèi)存頁比如代碼段的地址。如果內(nèi)核傻乎乎地直接memcpy(buf, kernel_data, 1024)輕則觸發(fā)頁錯(cuò)誤Page Fault讓進(jìn)程崩潰重則把內(nèi)核數(shù)據(jù)泄露給用戶空間——這可是嚴(yán)重的安全漏洞。所以copy_to_user()干了三件事地址合法性檢查調(diào)用access_ok(VERIFY_WRITE, buf, 1024)確認(rèn)buf在當(dāng)前進(jìn)程的用戶空間地址范圍內(nèi)頁表遍歷與權(quán)限檢查確保buf指向的每個(gè)內(nèi)存頁都已映射且有寫權(quán)限安全拷貝在檢查通過后才執(zhí)行實(shí)際的內(nèi)存拷貝并在拷貝過程中捕獲任何異常如缺頁返回實(shí)際成功拷貝的字節(jié)數(shù)。實(shí)操心得我見過太多驅(qū)動(dòng)開發(fā)者為了“省事”在ioctl里直接用memcpy()操作用戶指針結(jié)果在某些特定內(nèi)存壓力下偶發(fā)崩潰debug三天找不到原因。記住任何從內(nèi)核到用戶空間的數(shù)據(jù)傳遞必須用copy_to_user()任何從用戶空間到內(nèi)核的數(shù)據(jù)傳遞必須用copy_from_user()。這是鐵律沒有例外。3.2 為什么copy_to_user()返回“未拷貝字節(jié)數(shù)”而不是0/-EFAULT——“失敗也是信息”copy_to_user()的返回值是“未能拷貝的字節(jié)數(shù)”。比如你要拷1024字節(jié)它返回8說明前1016字節(jié)成功了最后8字節(jié)失敗。這個(gè)設(shè)計(jì)體現(xiàn)了內(nèi)核哲學(xué)中的“最小驚訝原則”Principle of Least Astonishment。如果返回0你得額外調(diào)用get_user()逐字節(jié)檢查效率極低如果返回-EFAULT你只知道“失敗了”但不知道失敗在哪無法做精細(xì)化錯(cuò)誤處理比如前端UI可以提示“文件前1016字節(jié)已保存最后8字節(jié)因磁盤滿無法寫入”。這個(gè)看似微小的API設(shè)計(jì)背后是Linus對(duì)“用戶意圖的尊重”用戶調(diào)用write()本意是“盡可能多地寫入”而不是“要么全寫要么全不寫”。內(nèi)核應(yīng)該盡力完成再把剩余工作量如實(shí)匯報(bào)。3.3 為什么內(nèi)核不幫你自動(dòng)處理缺頁——“責(zé)任邊界必須清晰”當(dāng)copy_to_user()遇到缺頁即用戶buf指向的頁還沒分配物理內(nèi)存它不會(huì)像用戶空間的malloc那樣自動(dòng)觸發(fā)缺頁異常、分配頁、再繼續(xù)拷貝。它會(huì)立刻返回失敗。為什么因?yàn)槿表撎幚砩婕皬?fù)雜的內(nèi)存管理決策該分配哪類內(nèi)存普通頁高端內(nèi)存CMA內(nèi)存是否要觸發(fā)OOM Killer是否要swap out其他頁這些決策必須由用戶空間的內(nèi)存管理器如glibc的malloc來做內(nèi)核絕不越界。這再次印證了“機(jī)制與策略分離”哲學(xué)內(nèi)核提供缺頁異常這個(gè)“機(jī)制”但“如何應(yīng)對(duì)缺頁”這個(gè)“策略”交還給更了解應(yīng)用語義的用戶空間。內(nèi)核只做自己最擅長(zhǎng)的事快速、確定、可預(yù)測(cè)地執(zhí)行。4. 智模型與哲學(xué)的實(shí)戰(zhàn)用strace和eBPF看透一次系統(tǒng)調(diào)用光說理論不過癮。我們用一個(gè)最日常的操作——ls -l來完整走一遍內(nèi)核智模型的運(yùn)作流程。這次不用猜用工具親眼看見。4.1 第一步用strace抓取系統(tǒng)調(diào)用序列在終端執(zhí)行strace -e traceopenat,close,read,write,getdents64,statx,brk,mmap -o ls_trace.log ls -l /tmp你會(huì)得到類似這樣的輸出openat(AT_FDCWD, /tmp, O_RDONLY|O_NONBLOCK|O_CLOEXEC|O_DIRECTORY) 3 getdents64(3, /* 12 entries */, 32768) 320 getdents64(3, /* 0 entries */, 32768) 0 close(3) 0 ...這里的關(guān)鍵不是ls做了什么而是內(nèi)核為它準(zhǔn)備了什么openat()返回fd3內(nèi)核在進(jìn)程的文件描述符表struct files_struct里為這個(gè)目錄分配了一個(gè)索引為3的槽位并關(guān)聯(lián)上對(duì)應(yīng)的dentry目錄項(xiàng)和inode索引節(jié)點(diǎn)。getdents64()讀取目錄內(nèi)核沒有真的去磁盤讀而是先查dentry緩存dcache和inode緩存icache。如果緩存命中直接從內(nèi)存返回不命中才觸發(fā)底層塊設(shè)備I/O。getdents64()返回0表示目錄流已結(jié)束。這個(gè)“0”不是錯(cuò)誤而是內(nèi)核用返回值表達(dá)“無更多數(shù)據(jù)”的契約。注意getdents64這個(gè)系統(tǒng)調(diào)用名本身就暴露了設(shè)計(jì)哲學(xué)。“64”后綴是因?yàn)槔习姹緂etdents用32位計(jì)數(shù)無法處理超大目錄。內(nèi)核選擇新增一個(gè)兼容的64位版本而不是破壞原有接口——這就是對(duì)KABI穩(wěn)定的堅(jiān)守。4.2 第二步用eBPF實(shí)時(shí)觀測(cè)內(nèi)核內(nèi)部狀態(tài)strace只能看到系統(tǒng)調(diào)用進(jìn)出看不到內(nèi)核內(nèi)部。這時(shí)eBPF就是你的透視眼。我們用一個(gè)簡(jiǎn)單的BCC工具biolatency看看ls讀取/tmp目錄時(shí)塊設(shè)備I/O的延遲分布# 在另一個(gè)終端執(zhí)行 sudo /usr/share/bcc/tools/biolatency -m 1 # 然后在原終端快速執(zhí)行 ls -l /tmp /dev/null你會(huì)看到類似輸出usecs : count distribution 0 - 1 : 0 | | 2 - 3 : 0 | | 4 - 7 : 0 | | 8 - 15 : 0 | | 16 - 31 : 0 | | 32 - 63 : 1 |****************************************| 64 - 127 : 0 | |這說明ls讀取/tmp目錄的I/O絕大部分在32~63微秒內(nèi)完成。為什么這么快因?yàn)?tmp通常在內(nèi)存文件系統(tǒng)tmpfs上I/O根本不經(jīng)過磁盤而是直接在RAM里完成。eBPF讓我們第一次把“文件系統(tǒng)類型”和“I/O延遲”這兩個(gè)原本割裂的概念實(shí)時(shí)關(guān)聯(lián)起來。4.3 第三步深入dentry緩存看“路徑查找”如何飛起來ls /tmp的核心是把字符串/tmp轉(zhuǎn)換成內(nèi)存里的dentry結(jié)構(gòu)。這個(gè)過程叫“路徑查找”path lookup。我們用/proc/sys/vm/stat和/sys/kernel/debug/dentries來觀測(cè)# 查看dentry緩存統(tǒng)計(jì) cat /proc/sys/vm/stat | grep -i dentry # 查看當(dāng)前dentry緩存占用 cat /sys/kernel/debug/dentries你會(huì)發(fā)現(xiàn)nr_dentrydentry總數(shù)和nr_dentry_unused未使用dentry通常很大但nr_dentry_unused占比很高。這是因?yàn)閐entry緩存是LRU最近最少使用管理的常用路徑如/tmp,/home會(huì)長(zhǎng)期駐留冷門路徑如/proc/12345/fd/6很快被回收。ls /tmp之所以快90%的功勞在dentry緩存命中。實(shí)操心得如果你的業(yè)務(wù)大量訪問動(dòng)態(tài)生成的路徑比如Web服務(wù)按用戶ID生成/var/www/user_12345/dentry緩存會(huì)成為瓶頸。這時(shí)與其優(yōu)化代碼不如調(diào)整內(nèi)核參數(shù)echo 1 /proc/sys/vm/vfs_cache_pressure降低緩存壓力讓dentry更久駐留。這是用設(shè)計(jì)哲學(xué)指導(dǎo)調(diào)優(yōu)的典型例子——你理解了“緩存是分層抽象的一部分”就知道該去哪個(gè)層面動(dòng)刀。5. 常見問題與避坑指南那些沒人告訴你的“內(nèi)核潛規(guī)則”在真實(shí)項(xiàng)目里踩坑是常態(tài)。下面這些是我和團(tuán)隊(duì)在過去五年里從生產(chǎn)環(huán)境血淚中總結(jié)出的“潛規(guī)則”它們不寫在任何官方文檔里但每一條都價(jià)值千金。5.1 問題為什么我的內(nèi)核模塊加載后系統(tǒng)偶爾會(huì)卡死10秒現(xiàn)象insmod一個(gè)自定義驅(qū)動(dòng)系統(tǒng)無響應(yīng)約10秒然后恢復(fù)。dmesg里沒有明顯報(bào)錯(cuò)。排查思路首先懷疑是模塊初始化函數(shù)init_module里做了耗時(shí)操作比如在init里調(diào)用msleep(5000)更隱蔽的是模塊在init里調(diào)用了request_irq()注冊(cè)中斷但中斷處理函數(shù)IRQ handler里寫了printk()——而printk在某些日志級(jí)別下會(huì)獲取console_lock如果此時(shí)有其他CPU正在打印長(zhǎng)日志就會(huì)死鎖。根本原因違反了“硬中斷處理必須極簡(jiǎn)”的哲學(xué)。中斷處理函數(shù)里禁止調(diào)用可能導(dǎo)致睡眠的函數(shù)msleep, mutex_lock, kmalloc(GFP_KERNEL)執(zhí)行耗時(shí)計(jì)算如CRC校驗(yàn)、字符串解析調(diào)用printk應(yīng)改用pr_debug或log_buf直接寫。解決方案把重活移到tasklet或workqueue里。例如// 錯(cuò)誤在中斷處理函數(shù)里做重活 static irqreturn_t my_irq_handler(int irq, void *dev_id) { // ... 讀取硬件寄存器 ... do_heavy_work(); // 危險(xiǎn) return IRQ_HANDLED; } // 正確只做必要?jiǎng)幼髦鼗罱唤otasklet static struct tasklet_struct my_tasklet; static irqreturn_t my_irq_handler(int irq, void *dev_id) { // ... 讀取硬件寄存器 ... tasklet_schedule(my_tasklet); // 安全 return IRQ_HANDLED; }5.2 問題為什么用mmap映射的內(nèi)存有時(shí)會(huì)莫名其妙變成只讀現(xiàn)象用戶空間用mmap(NULL, size, PROT_READ|PROT_WRITE, ...)映射一段內(nèi)存寫入時(shí)觸發(fā)SIGSEGV。排查思路檢查是否在映射后調(diào)用了mprotect()修改了保護(hù)屬性更常見的是內(nèi)核的vm_area_structVMA被其他操作意外覆蓋。比如你的驅(qū)動(dòng)在mmap()實(shí)現(xiàn)里沒有正確設(shè)置vma-vm_flags | VM_DONTEXPAND | VM_DONTDUMP導(dǎo)致內(nèi)核的內(nèi)存管理器誤以為這片區(qū)域可以被mremap()擴(kuò)展從而在內(nèi)存緊張時(shí)錯(cuò)誤地將其標(biāo)記為只讀以保護(hù)。根本原因違反了“資源契約必須顯式聲明”的哲學(xué)。內(nèi)核不會(huì)猜你的意圖你必須用vm_flags明確告訴它“這片內(nèi)存不要?jiǎng)铀灰猟ump它不要expand它”。解決方案在驅(qū)動(dòng)的mmap函數(shù)里務(wù)必設(shè)置正確的flagstatic int my_mmap(struct file *filp, struct vm_area_struct *vma) { unsigned long size vma-vm_end - vma-vm_start; // ... 分配物理頁 ... vma-vm_ops my_vm_ops; vma-vm_flags | VM_DONTEXPAND | VM_DONTDUMP | VM_IO; // 關(guān)鍵 return 0; }5.3 問題為什么在容器里用top看CPU使用率加起來超過100%現(xiàn)象一個(gè)4核CPU的宿主機(jī)運(yùn)行一個(gè)限制為2核的容器--cpus2容器內(nèi)top顯示%CPU總和為200%。真相這不是bug是設(shè)計(jì)。top顯示的%CPU是相對(duì)于單個(gè)邏輯CPU核心的百分比。在4核機(jī)器上100%代表一個(gè)核滿載200%代表兩個(gè)核滿載。容器的--cpus2限制是限制它最多使用2個(gè)核的計(jì)算時(shí)間而不是限制它“只能看到2個(gè)核”。所以當(dāng)容器內(nèi)有4個(gè)線程每個(gè)線程在各自的核上跑top就會(huì)顯示每個(gè)線程100%總和400%——但實(shí)際CPU時(shí)間被cgroup的cpu controller嚴(yán)格限制在200%以內(nèi)即2個(gè)核的全部時(shí)間。避坑技巧要看容器真實(shí)的CPU使用率應(yīng)該看cgroup指標(biāo)# 宿主機(jī)上執(zhí)行查看該容器的CPU使用微秒數(shù) cat /sys/fs/cgroup/cpu/docker/container_id/cpuacct.usage # 或用docker stats命令它會(huì)自動(dòng)換算成百分比 docker stats container_name這個(gè)例子完美詮釋了“機(jī)制與策略分離”內(nèi)核的cgroup提供了精確的CPU時(shí)間計(jì)量機(jī)制而top這個(gè)用戶空間工具選擇了對(duì)單核的相對(duì)顯示策略。兩者都沒錯(cuò)只是視角不同。5.4 問題速查表高頻內(nèi)核問題與定位命令問題現(xiàn)象可能原因快速定位命令根本解決方向進(jìn)程D狀態(tài)Uninterruptible Sleep長(zhǎng)時(shí)間不退出等待不可中斷的I/O如壞盤、NFS服務(wù)器宕機(jī)ps auxgrep D cat /proc/PID/stack內(nèi)存吃緊但free -h顯示cached很大page cache未及時(shí)回收或有大量tmpfs內(nèi)存cat /proc/meminfo | grep -E (CachedSReclaimable網(wǎng)絡(luò)連接建立慢SYN_RECV堆積SYN隊(duì)列syn queue溢出或accept隊(duì)列accept queue溢出ss -lnt看Recv-Q/Send-Qnetstat -s | grep -i listen增大net.core.somaxconn優(yōu)化應(yīng)用accept速度定時(shí)器不準(zhǔn)如sleep(1)實(shí)際耗時(shí)1.5秒系統(tǒng)負(fù)載過高或啟用了NO_HZ_IDLEtickless模式cat /proc/timer_list | head -20cat /proc/sys/kernel/timer_migration檢查CPU親和性調(diào)整timer_migration避免在高負(fù)載時(shí)依賴精確sleep6. 我的體會(huì)內(nèi)核不是用來“征服”的是用來“對(duì)話”的寫完這篇我關(guān)掉編輯器泡了杯茶?;叵胱约旱谝淮巫x懂fork()系統(tǒng)調(diào)用源碼時(shí)的震撼——原來一個(gè)進(jìn)程的誕生不是魔法而是一次精妙的內(nèi)存頁表克隆copy-on-write、一次task_struct的深度拷貝、一次文件描述符表的引用計(jì)數(shù)增加。那一刻我突然明白了Linus說的“Talk is cheap. Show me the code.”但后來在無數(shù)個(gè)深夜的線上故障里我又漸漸體會(huì)到比讀懂代碼更重要的是讀懂代碼背后的意圖。為什么fork()要設(shè)計(jì)成寫時(shí)復(fù)制因?yàn)椤傲⒓磸?fù)制所有內(nèi)存頁”太慢而“等子進(jìn)程真要改的時(shí)候再分”才是符合大多數(shù)場(chǎng)景的策略。為什么epoll要引入eventpoll結(jié)構(gòu)體因?yàn)閟elect的fd_set位圖在1024個(gè)fd時(shí)就效率驟降而eventpoll用紅黑樹就緒鏈表讓復(fù)雜度從O(n)降到O(1)平均。這些設(shè)計(jì)不是天才靈光一閃而是在數(shù)十年、數(shù)百萬行代碼、數(shù)十億次生產(chǎn)環(huán)境錘煉中用血淚換來的工程直覺。它告訴你當(dāng)性能和簡(jiǎn)潔沖突時(shí)選簡(jiǎn)潔當(dāng)通用和高效沖突時(shí)選高效當(dāng)安全和便利沖突時(shí)選安全。所以別把內(nèi)核當(dāng)一座需要攀頂?shù)纳?。它更像一位沉默寡言的老匠人他的工具箱里每一件工具都刻著使用條件和禁忌。你不需要學(xué)會(huì)他所有的手藝但只要你拿起錘子就得知道它該敲在哪用多大力。這篇文章就是幫你讀懂那些刻在工具手柄上的字。最后分享一個(gè)小技巧下次你遇到一個(gè)奇怪的系統(tǒng)行為別急著Google錯(cuò)誤碼。先打開/proc/sys/挨個(gè)看那些以vm.、net.、fs.開頭的文件。它們是內(nèi)核向你敞開的“哲學(xué)說明書”。讀完很多問題的答案就藏在那些參數(shù)名里——比如vm.swappiness名字本身就在告訴你“我有多愿意去swap”。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九久久腿| 色综合久久88色综合中文字幕| 婷婷丁香小说| 被强行糟蹋的女人A片| 婷婷五月色色| 五月丁香六月婷综合成人综合| 色热久| 婷婷六月激情综合| 久久婷婷五月国产色综合激情| 开心激情五月天网| 熟女强人妻一区二区三区四区无| 五月亭亭六月色| 婷婷色激情五月天| caop视频| 丁香五月日啪| 天天干天干| 丝袜熟女一区二区三区| 丁香伊人综合| 青草视频在线观看视频| 五月婷婷天天色| 五月丁香六月婷| 色五月婷婷伊人| 色综合久久天天综合网 | www色五月| 激情综合网色五月| 99热99美国在线观看| 丁香婷婷久久综合在线| 999热在线视频| 激情涩播| 99re思思精品在线观看| 成人草榴视频| 第四色婷婷五月| 99热综合| 久久与婷婷| 日韩啊啊啊| 日本色99| www久久99| 色哟哟性爱av| 色五月婷婷影院| 五月婷丁香久久综合| 99热这里只有的精品视 | 天天插天天插天天插天天插| 色播综合| 色综合色五月| 婷婷综合在线| 一级黄色影片| 婷婷五月天基地| 亚洲美女高潮久久久久久69| 99热激情| 久1色色| 婷婷性爱| 激情婷婷五月女| 日韩色色视频| 操操操av| 国产亚洲精品久久久久久郑州| 婷婷综合激情五月中文字幕| 99在线精品免费视频| 五月香蕉综合| 免费观看全黄做爰的视频 | 电影91久久久| 99热精品免费在线观看| 九九精品碰| 丁香婷婷色情社区成人小说| 殴美日韩成人| 亚洲99综合| 啪啪丁香五月| 五月婷六月| 五月丁香香蕉| www.夜夜操| 成人五月天色天堂| 婷婷五月丁香图片人人操| 五月丁香啪啪啪啪| 亚洲超碰中文字幕| 99视频这里有精品| 国産精品| 久久婷色| 日韩按摩二区| 色97啪啪| 超碰色综合| www.五月婷婷久久.com| 五月天婷婷在线视频| www久久99com| 熟女人妻视频| 婷婷日日夜夜| 99riAV国产精品视频| 欧洲亚洲免费视频9| 色播婷婷大香蕉| 色九九综合| 久久人妻久久久久| 久久综合久色欧美综合狠狠| 五月婷婷香| 夜色综合网| 亚洲五月天婷婷| 99色色网| 最近中文字幕2019视频1| 婷婷五月天激情AV影院| 五月婷婷黄| 91丨九色丨白浆秘| 久久亚洲网| 少妇人妻丰满做爰XXX| 丁香五月婷婷天| 九九综合五月欧美| 99热欧美| 久久婷婷婷婷伊人| 日韩精品超碰在线观看| www.yw尤物| 色情激情五月| 99热天堂| 丁香激情网| 99久久精品网| 色婷婷五月在线| 99热这里只有精品99| 六月丁香婷啪射| 超碰在线免费观看3 9| 日本成人噜噜噜| www.色婷婷.com| 精品久热| 亚洲婷婷成人五月天| 久99精品视频| 丁香五月偷拍| 操逼棍操逼| 九九热在线99| 夜夜操狠狠操| 激情小说在线视频| 中文字幕丰满乱孑伦无码专区| 欧美69久成人做爰视频| 伊人玖玖网| 欧美天天草人人草| 色色色色色九九九九九| 婷婷伊人久久| 99久久成人| 狠狠色九月| 色综合综合色| 丁香五月婷婷乱| 九九激情视频| 亚洲综合五月天| 色色色.COM| 亚洲AV日韩无码| 婷婷成人五月天| 色99热| 天堂中文国产| 无码一区精品一区视频| 玖玖在线| 天天综合亚洲综合| 精品人人操| 色欲一区二区三区精品A片| 六月婷婷在线| 精品久久人妻热| 久久五月热| 97AV在线视频| 天天色官网| 激情综合在线观看| 91聚色综合网| 精品人妻一区| 天天色视频| 亚洲夜五月| 天天操天天插天天射| 亚洲激情综合| 日韩1区2区| 激情五月丁香婷婷夜夜操| 噢美99| 色五月超碰| 99综合婷婷五月| 亚洲午夜一区二区| 免费黄网不卡AV| 色婷婷69| 五月丁香龟婷婷| 六月激情婷婷| 卡视频1区2区| 99噜噜噜在线播放| 欧美久热| 五月丁香六月色| 婷婷五月丁香六月伊人网| 综合色婷婷| 最近中文字幕在线中文视频| 九九久久五月天| 久久这里有精品在线观看| 丁香激情网| 成人国产网| 丁香五月电影| 五月天综合色| 五月天狠狠干| 丁香五月激情天AV无码| 大香蕉伊人爱在线| 婷婷黄色网| 婷婷成人视频| 五月天色色婷婷| 超碰狠狠色| 色播五月丁香| 激情爱爱网站超大免费| 狠狠爱丁香婷| 99婷婷精品推荐在线视频| 久久婷婷网| 五月婷导航| 日韩色色小视频| 久久91久久91色欲精品| 玖玖@三月天天丁香婷婷| 婷婷激情图片| 色婷婷成人网| 激情婷婷六月天| 丁香五月网| www.久久| 五月丁香啪啪婷婷| 97操碰在线视频| 狠狠爱成人综合网| 最新高清无码专区| 五月丁香综合啪啪| 天天爽人人综合免费7799| 亚洲热视频在线| 婷婷激情五月天激情小说| 久操热线| 久久久18| 99热亚洲| 婷婷激情六月视频| 吉澤明步Av一區二區| 情五月亚洲婷婷| 99热综合网| 九九九九九九九九九九九九九国产精品| 国产精产国品一二三在观看| 人人操av| 日本色色网| 99热8| 天天天天天天天操| 99惹精品视频| 夜夜天天久久婷婷| 亚洲99激情| 超碰激情网| 97碰成超视频免费视频| 中文字幕在线人妻| 99丁香五月| 亚洲无码99| 在线观看中文字幕| 97精品综合| 99热日| 日本五月婷| 青草热视频这里只有精品| 青青草a在线| 九九久久五月天综合伊人| 久久日九九| 欲色人妻| 精品无码片| 色色色色色色综合网| 少妇性按摩无码中文A片| 久机视频这只有精品| 日本婷久久| 婷婷淫淫狠狠六月| 五月叮香啪| 99免费视频网| 天天天操天天天日| 婷婷激情中文综合| 丁香六月婷婷开心| 亚洲在线操| 亚洲视频国产一区| 黄色精品五月婷婷| 国产日韩av片| 99啪99| 色99免费视频中文| 色九月综合网| 亚洲AV永久无码影院黑人| 精品自拍97| 婷婷大香焦| 国产成人精品亚洲线观看| 97色色色| 日韩色色视频| 开心激情站| 色婷婷五月天在线观看| 在线播放中文字幕| 另类图片五月天| 五月色丁香| 狠狠综合网| 丁香五月六月综合激情| 久久综合五月天| 丁香五月人妻| 91玖玖| 4399在线日本A片| 亚洲色图五月丁香| 国产精品久久..4399| 激情AV| 五月丁香综合| 五月婷婷新网站| 99热这里只有精品268| www.久久99| 丁香婷婷基地| 天天五月香欧美| 99se丁香| 91精品91久久久久77777| 五月丁香婷婷五月色| AV在线不卡播放| 亚洲成人无码专区| 另类婷婷五月天啪帕帕| 日本在线wwww| 婷婷综合日本| 超碰在线9| 欧美97色| 色五月婷婷五月丁香五月激情五月视频 | 久久九九99| 丁香五月婷婷啪啪| 婷婷综合网站| 成人做爰黄A片免费看直播室男男| 99视频内射三四| 婷婷色影院| av中文在线| 搡BBBB搡BBB搡五十| 五月婷婷综合激情小说| 婷婷激情五月天激情小说| 久久久精品99| 五月天开心色情网| 五月色婷婷综合色| 国产成人va在线| 日日操日日爽| 婷婷五月色天| 日韩啪啪视频| 99国产精品久久久久久久久久久| 欧美综合五月天婷婷tin| avh片在线观看| 91久草五月天婷婷| 婷婷五月丁香久久| 婷婷五月丁香狠狠| 伊人色综在线| 国产三级片91| 婷婷久久综合| 色天堂婷婷| 91超碰人人操| 99热91| 99精品偷自拍| 午夜福利8055| 亚州色婷婷| 狠狠色婷婷7| 国产美女精品| 婷婷五月激情六月| 亚洲中文乱字字幕在线永久| 黄网在线免费观| 国产超碰av| 激情久久久久久久久久| 高潮毛片遮挡费高一百度| 精品综合久久久久久五月天| 成人免费va| 99精品在线观看视频| 99热9| 国产又黄又爽又色的免费| 色欲AVV| 97香蕉人人在线观看| 亚洲国产成人在线| 天天射综合网天天插| 99热综合网| 九九色精品| 欧美大肥婆大肥BBBBB| 精品九九九久| 激情综合九月| 欧美噜一噜| 婷婷六月丁香欧美视频在线| 久久怕怕视频| 骚逼视频一区2区| 婷婷五月综合色拍| 五月情婷婷五月| www.亭亭五月天| 91狠狠色丁香| 成人做爰高潮A片免费视频| 92久久久| 无码四色色色| 欧美成人A片AAA片在线播放| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 97干在线| 青草激情在线| 热九九精品| 日本乱子人伦在线视频| 超碰高清在线| 亚洲性爱99| 成人丁香婷婷| 综合网激情| 成人AV片播放| 欧美97色| 深爱激情六月| 日韩无码色色| AV变态另类一区二区| 亚洲视频二区| 5月丁香六月情| 思思99久久| 五月激情小说| 熟女91九色| 丁香五月婷婷呀| 色色色综合色| 可以免费观看的AV| 欧美超级视频97| 色播五月丁香婷婷| 丁香婷婷五月色成人网站| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 欧美成人无码一区二区三区| 99视频| 激情五月天丁香| 第1影院之五月婷婷| 久久婷婷五月国产色综合激情| 亚洲成人人人操| 99热这里有精品| 91成人品| 67194中文在线| 五月天婷婷色色| 久久视频在线| 色色色综合网| 亚欧州精品视频| 婷婷激情网五月天| 五月婷在线| 五月婷婷成人| 日本成人小说婷婷六月| 高清无码入口| www.婷婷,com| 丁香五月天在线| 亚洲精品视频在线播放| 99综合熟女| 亚洲综合丁香婷婷六月天| 伊人五月婷婷| Av免费网站在线| 日韩狠狠色婷婷| 9热精品| 激情5月婷婷| 久久之人妻| 五月天婷久精视频| 国产性av| 激情美女五月天| 天天肏高清在线| www.金莲av| 婷婷第六色| 免费看欧美成人A片无码| 爱超碰性| 久热人妻| 激情开心五月天| 狠狠色噜噜狠| 久色成人| 操一操干一干| 激情六月天婷婷| 人人摸人人干人人做| 香蕉综合网| 六月婷婷av| 久久少妇视频| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 亚洲综合无码| 色婷婷影音| 色婷婷九月综合| 日韩999| 99在线视频播放| 嫩草乱码一区三区四区| 五月天激情网图片| 色五月成人| 丁香五月激情五月| 大香人妻| AV79| 国产黄色在线观看| 色月视频| 一起草av| 色婷婷91激情小说| 九九99精品视频在线观看| 成人在线综合| 综合婷婷五月天| 五月丁香婷婷狠狠操| 久久精品小视频| 久久曰曰| 国产精品久久99| 久色网址| 亚洲网站999| 五月天啪啪啪| 色综合久久无码| 五月花亭亭| 亚洲经典三级| 丁香五月六月久久综合| 六月丁香五月天| 伊人色综合影院视频| 丁香五月天电影| 92久久久| 五月丁六月香| 亚洲殴洲精品Av在线| 五月丁香婷婷啪啪综合网| 99色| 久久亚洲色导航| 欧美久热| 久久与婷婷| 性爱久久| 丁香五月婷婷五月天在线| 色爱亚洲| 丁香丁婷五月激情| 激情婷婷六月天| 91久久久久久久久18| 五月婷六月| 婷婷丁香亚洲色综合91| 九九人人精品| 久久久99视频| 丁香五月久久| 精品九九久久| 蜜桃五月天| 丁香花综合永久入口| 99久久九九| 97人人妻人人艹| 六月丁香激情婷婷| 婷婷激情六月中文| 九九九九这里只有精品| 日韩久久欧亚| 99综合网| 久久性刺激| 涩综合网| 欧美婷婷| 啪啪一区| 婷婷亚洲丁香五月| 九九操屄| 九九精品在线观看视频6| 97久久香草精品视频| 天天色天天干天天插| 久久久com| 日本va欧美va精品发布视频| www.色五月| 99精品7| 婷婷丁香九色| 丁香六月婷婷一区二区三区| 2015WWW永久免费观看播放| 五月婷婷激情日本| 97色婷婷成人综合在线观看| 色婷婷五月天在线观看| 色播五月丁香婷婷| 色日本颜射| 99re这里有精品手机在线| 在线五月婷| 激情五月天激情五月天| 色天堂A| 久久久久久欧美精品se一二三四| sS丁香五月婷婷| 久草热8精品视频在线观看| 影音先锋 91工厂| 91日在线视频| 色香欲综合| 91色涩| 依人大香蕉| www色婷婷久久综合久色 | 五月激情偷拍婷婷| 色五月在线综合| 天天色噜| 99熟女视频| 久久综合九九| 97韩国久久电影院| 天天干天天操天天射| 中文无码婷婷| 亚洲色五月天是什么| 五月婷视频| 色综合色综合色综合色综合| 日韩美女羞羞网站在线观看| 色婷婷电影| 成人欧美一区二区三区在线观看| 丁香婷婷综合影院| 丁香六月激情| 五月天亚洲最大成人| 5月丁香美女影院| 色欲一二三| 色色色色色色色色五月先| 天天日夜夜爽| 久久精品视频在这里有| caop在线视频| 国产欧美精品AAAAAA片| 综合激情视频| 丁香五月天在线观看视频| 日韩黄色影院| 色激情五月| 成人五月天在线观看| 天天色粽合合合合合合合| 色狠狠色综合| 1024国产| 成人国产欧美大片一区| 99热思思| 五月婷婷六月丁| 日本久久九| 91干在线| 狠狠狠人妻| 色婷婷丁香社综合| 99操碰| 天天做天天爱天天玩夜夜爽 | 久久看婷婷| 亚洲综合激情五月久久| 玖玖热视频| 久久丁香| 五月婷婷精品视频| 九九99久久| 五月花丁香婷婷| 五月丁香六月婷婷啪啪| 一二线视频 另类| 天天插天天插| 99噜噜噜在线播放| 东京热人妻一区二区三区在线| 五月天综合在线| 西瓜美女a片| 2016日日夜夜操| 97五月天| 狠狠干,狠狠操| 噜一噜免费视频| 亚洲激情Av| 成人短视频在线| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 激情综合无码| 精品热九九| 超碰人人色| 日日夜夜小色哥| 337p大胆噜噜噜噜噜91Av| 人人操9| www激情| 五月草影视| 五月丁香啪啪网| 久久婷婷艹| 开心激情五月天网| 九九色热| 婷婷五日b| 99在线视频资源| 综合久久丁丁香婷| 五月激情六月综合| 综合网天天| 六月亚洲| 秋霞日本免费毛片A片| 国产69久久久欧美黑人A片| 婷婷五月天网址| 婷婷五月丁香成人| 五月丁香综合啪啪| 亚洲第二AV| 五月综合激情| 婷婷四色五月| 狠狠色综合网站久久久久| 国产色色网站网址| 五月婷婷激情性爱| 日日噜噜久久婷婷五月天| 亚洲超碰在线| 色五月五月婷婷| 日本在线噜噜| 激情网五夜婷婷| 99干99| www婷婷色| 色综合激情| www.色五月.com| 丁香综合伊人| 大香蕉九操| 五月天婷婷激情四射综合| 欧美成人精品A片免费一区99| 99啪99| 五月婷婷激情综合视频| 婷婷五月天成人| 婷婷色偷拍| 九月丁香很很色| 91色久| 激情亭亭五月| 欧美xx激情视频在线观看| 五月色欧洲| 伊人婷婷青青cao| 九九综舍久久| 五月婷婷之综合激情在线| 99热这里只有精品8| 伊人久久五月天| 26uuu日韩| 99成人免费视频| 激情综合网,婷婷| 婷婷性爱| 成人一级片| 日韩精品99久久| 五月婷婷香蕉| 97久久视频| 五月丁香香蕉| 日本五月天网站| 婷婷五月天香蕉| 五月激情婷婷六月丁香| 五月婷婷六月丁香激情深爱| 丁香五月91| 国产综合81p| 91av色色乱视频| 超碰在线免费观看日韩| 影音先锋女人AA鲁色资源| 丁香色色网| 五月丁香激情综合网| 丁香五月婷在线| 激情五月无码| 思思热99er在线视频| 另类天堂| 久久久com| 久热 91| 超碰免费大香蕉| 老妇操B| 丁香六月婷婷社区| 久99精品视频| 久草五月婷| 1024在线视频| 色五月色综合| 色色网站毛片| 亚洲 在线 另类| 天天综合精品| 五月天婷婷成人网| 五月丁香综合激情| 婷婷久月| 91丨九色丨43老版熟女| 五月丁香av中文| 欧美日韩成人一区二区| 激情综合国产| 久久色五月天| www.五月婷婷.com| 九色自拍| 亚洲婷婷91丁香| 98永久精品| 国产激情在线| 97婷婷狠狠| 曰曰久久| 色9999日韩国产| 少妇高潮一区二区三区99欧美| 超碰成人电影| 色综合99| 97色色网| 99原创自拍视频在线观看| 色青青电影色五月| 亚洲成人日韩无码精品| 久9热插入| 97婷婷久久丁香| 99热一本久道| 成人免费在线电影| 爱久综合| 97色色色色色色色| 欧美日韓成人亚洲精品另类| 日韩av大全| 99色在线观看| 婷婷五月天综合小说网| 99热精品在这里| 五月激情站| 99久久这里只有精品| www.色九月| 亚州色婷婷| 五月婷av| 亚洲综合激情五月久久| 高潮毛片又色又爽免费| 免費观看aV在线网址| 丁香六月欧美| 99re热在线视频观看| 日本婷久久| 爱性综合网| 男人天堂亚洲综合| 天天摸天天高潮天天爽| 欧美婷婷五月天| 欧美日韩成人在线网| 99久久99九九九99九他书对| 激情五月婷| 色婷婷网大全在线| 91日综合欧美| 超碰色色综合| 五月天天丁香婷婷在线中| 天天色,天天操,天天射| 99热这里只有精品国产首页| 婷婷丁香六月| 婷婷伊人网| http:色情日本com| AV中文字幕夜夜操b天天摸bb | 丁香婷婷六月在线资源观看| 色噜噜五月天| 久热黄色| www.激情| 91丨九色丨国产| 9在线9在线婷婷在线国产| 久99热在线观看| 亚洲人妻av| 深爱婷婷色| 五月天黄色激情小说| 色五月天婷婷| 97久久久久| 狠狠色婷婷7777久| 亚洲AV久久久久久久久久久久久久久久 | 狠狠操狠狠操| 亚洲欧洲另类图片| 亚洲成人日韩无码精品| 另类综合激情| 中文字幕丁香五月| 欧美婷婷五月天综合| 来吧亚洲综合网| 色色色综合色| 色色五月天 亚洲| 婷婷五月丁香香蕉| 亚洲精品色色| 色色免费网战视频| 黄色AV日韩| 嫩草AV久久伊人妇女超级A| 丁香五月综合激情久久潮喷| 噜噜噜噜婷婷五月天| 精品人妻久久久久久久| www.五月丁香| 免费看欧美成人A片无码| 六月婷婷AV| 欧美日韩成人在线| 思思国产99| 色综合婷婷| 国产又色又爽又黄又免费| 久久婷婷六月综合综合| 丁香五月婷婷激情小说| 狠狠五月激情婷婷直播片| 婷婷激情在线| 99ER热精品视频| 操碰久| 色网站99| 五月婷婷天天| 色一情一乱一乱一区91Av| 久久99网| 91精品久久久久久综合五月天| 久99久热只有精品国产99| 五月婷婷九| 色五月激情综合网| 欧美日韩国产成人在线| 激情婷婷五月天| 丁香五月无码| 91中文在线| 婷婷影视久久| 在线播放中文字幕| 日日插日日干| 五月丁香| 日本丰满久久| 欧美五月丁香在线| 色五月天成人| 香蕉综合网| 青青久久大香蕉| 五月天天天开心激情网| 色婷婷激情四射视频| 日本熟妇乱妇熟色A片蜜桃| 99久久99久久| 五月开心激情网| 日本三级大片| 婷婷色色丁香| 一本久久亚洲五月婷婷| 五月婷婷丁香综合| 中文字幕人妻一区二区| 精品人妻在线免费观看| 五月花综合| 五月丁香婷婷AV| 120分钟婬片免费看| 五月天婷婷色情| 五月婷婷网久久| 丁香 亚洲 久久| 欧美日韩中文国产一区发布| 六月色播| 天天色综合网1| 丁香五月伊人| 日本精品九九九| 99色1| 91欧美| 九九超日本| 六月综和久久| 成人在线不卡| 99在线视频。| 国产免费一区二区在线A片视频| 亚洲成人人人操| 国产日韩欧美| 五月婷婷与六月丁香图片激情| 色五月综合激情| 色九月| 天天操B| 婷婷久久草| 日产精品久久久久久久蜜臀| 中文字幕综合| 色噜噜狠狠插综合| 欧美成人猛片AAAAAAA| 日本久久网| 久久色五月天| 熟女强人妻一区二区三区四区无| 天天干,天天舔| 五月丁香综合影院| 精品九九九久| va婷婷在线| 中文字幕在线日亚州9| 久久99看免费| 婷婷色色播五月天| 99热这里只有精品在线| 综合色影院| 99热在线观看精品| 免费无码毛片一区二区A片| 婷婷精品免费久久| 欧美丁香五月| 亚洲天堂制| 玖玖资源网站最新站| 婷婷五月天成人网| 久久久27操| 蜜桃五月天| 日韩国产在线精品| 久久五月天合网| 亚洲中文字幕av| 97操| 天天色激情| 久久综合久色欧美综合狠狠 | 五月激情影院| 玖玖在线视频| 日本久久高清| 蜜桃婷婷狠狠久久| 婷婷五月综合网| 婷色综合| 婷婷色色网| 婷婷91| 97香蕉碰碰人妻国产欧美| 欧美成人va| 五月婷婷日| 丁婷婷五月天在线播放| 五月九九综合| 婷婷五月婷婷五月| 久久人妻熟女一区二区| www.狠狠狠.com| 色噜噜狠狠色综无码久久合欧美| 免费播放片大片| 天天激情欧美美女| 久久五月天丁香| www.99热. com这里只有精品| 大香蕉综合视频在线| 天天天操天天天爰| 欧美色色色| 日本熟女视频一区二区| 色色色色色色网站| 亚洲成人免费电影| 婷婷五月色情天| 91碰| 久久九九@| 在线不卡中文字幕| 五月激情在线| 久久婷婷草| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 中文成人在线| 成人丁香婷婷| 婷婷久久色| 日日夜夜久| 五月丁香花激情啪啪网| 婷婷五月天成人小说| 九九久久免费视频44| 激情綜合W W W,激情五月天| 九九色插| 丁香六月亭亭久久综合| www.cao.com久久| 婷婷五月天电影区小说区| 操B无码视频国语| 久久人妻在线| 热99.com婷婷| 日韩在线婷婷五月天综合| 教师性爱毛片| 这里只精品热在线18| 综合欧美五月婷婷| 伊人9999| 五六月婷婷久久| 久久人妻视步| 丁香伊人五月色婷婷五十路| 五月婷婷六月丁香色| 91九色无码内射| 99精品在线观看视频| 色五月偷偷| 五月丁香色色| 超碰97干| 婷婷视频网| 久久精品色| 91精品久久久久久77777| 性爱在线播放av| 色5月婷婷| 开心五激情网| 日本不卡高字幕在线2019| 激情综合网 激情五月天| 色五月综合网站| 婷婷五月天久久久| 4399在线观看免费毛片| 五月婷亚洲精品AV天堂| 天天狠狠婷婷在线| 婷婷在线精品| 99热思思在线观看| 黄色热99| 婷婷激情五月色综合| 停停五月色宗合| 中文字幕视频在线播放| 色五月丁香六月资源站| 三男玩一女三A片| 色狠狠色狠狠| 成人短视频免费观看| 色久影院| 五月婷五月婷伊人伊人五月婷| www.色五月| 亚洲色婷婷网站| 丁香五月色情av| 天天爽夜夜操| 激情六月丁香| 六月丁香啪啪| 婷婷激情五月综合基地| 欧美一级毛卡片无码| 欧美激情VA永久在线播放| www.91操| 激情五月婷| www.色色色色| 久久综合无| www.久热| 激情婷婷另类| 91操在线| 色久天| 99热这里只有精品13| 美国不卡视频| 99热爱爱干干日| 激情五月黄色小说| 九九九九九九九九九九九九九九九九九九九在线视频 | 天天干天天日天天插| 色玖玖网| 亚洲综合网 665566| 五月婷婷激情四季| 99天天操夜夜操| 天天干天天操天天射| 色八月婷婷| 丁香五月花影院| 操九色| www.xtbsty.cn.com蜜乳AV| 成人美女网| 五月在线| 久久综合性| 屁股翘好撅高迎合跪趴| av操一操| 丁香五月综合| 日本不卡高字幕在线2019| 夜夜夜夜撸夜夜操| 婷婷丁香在线| 婷婷丁香日韩五月| 九色无码| 久热这里这里有精品| 香蕉99网| 色婷婷基地| 99.色| 色婷婷久久综| 青草视频在线观看视频| 天天操屄网| 色色吧综合| 国内精品免费一区二区2009| 亚洲另类婷婷综合| 日本a片网址| 9l视频自拍九色9l黑人| 综合色情网| 开心五月激情五月丁香五月婷婷| 超碰国产AV| 97色色色| 婷婷久久丁香| 综合玖玖性爱免费视频| 色吧网综合| 99热这里有精品| www.深爱激情| 最新日本A片| 一区=区操屄高清大全av| 九九99在线免费在线观看视频| 五月婷综合性中心| 日韩色久| 亚洲宗合激情| 97在线精品| 五月丁香六月婷婷综合伊人| 色V狠狠的干| 亚洲丁香花五月丁香花| 成人 在线 日韩| www.亚洲激情| 欧美成性色| 亚洲色图啪啪| 无码免费人妻A片AAA毛片西瓜| 国产亚洲色婷婷久久99精品91| 色五月久久成人婷婷| www,com,五月色色| 99久在线精品99re8热| 五月婷婷婷| 婷婷另类开心| 久久九九中文字幕| 激情人妻蜜夜系列区| 久久综合性| 久久思思精品| 就要去操亚洲成人精品五月天丁香婷婷| 97丁香视频| 99激情| 五月丁香激情婷婷| 五月婷AV| 婷婷综合网站| 91久久九九| 国产亚洲精品久久久久久郑州| 五月天激情网图片| 亚洲天堂亚洲色色色| 大香AV| 亚洲欧洲中文日韩久久AV乱码| 婷婷丁香激情综合色情| 五月天婷婷导航| 成人在线日韩| 婷婷久久精品| 碰碰人人人| 五月婷婷丁香| 色欲午夜无码久久久久久张津瑜| 人妻久久久久久久久| 91九色网| 先锋资源91| 天天肏在线视频| 在线观看国产高清视频免费网站 | 啊v视频在线观看| 五月天天综合| 伊人深爱综合| 99久久99热| 色伊人婷婷| 成片免费观看大全| 亚洲va综合va国产va中文| 97视频91| 深爱激情六月天| 婷婷一本和五月丁香| 婷婷色导航| av在线免费网站| 国产av网| 亚洲精品V天堂中文字幕| 色综合久久天天综合网| 99视频这里只有精品10| 激情五月综合色婷婷| 久热大香蕉| 婷婷五月中文字幕| 影音先锋男士资源网一区| 最近中文字幕大全免费版在线| 亚洲午夜视频| AV操操操| 就去涩涩丁香五月天| 九九视频免费| 九色91国产| 九伊人网| 91久久国产综合久久| 五月天福利影院导航| 大地资源色婷婷视频在线 | 亚洲AV成人在线| 五月婷婷啪啪| 亚洲色 视频| 深爱开心激情网| 色婷婷手机在线| 九九亚洲综合| 五月丁香综合中文| 久久婷五月影院| 一本色道久久88加勒比| 青青草免费公开视频| 99热这里只有精品8| 欧美日韩成人在线| 涩综合网| 深爱五月激情| 欧美啄木乌丝袜人妻系列| 色五月婷婷久久大| 管管補管管紱| sS丁香五月婷婷| 人人爱操| 超碰99久久| 久久色五月天| 久久五月天丁香| 人妻有码乱操| 色婷青青| 性做爰A片免费视频A片直播| 97色色色| 99激情视频| 日本一级黄色电影| 色情五月天丁香社区| 天天射影院| 久久久天天啊| 思思热精品在线视频| 天天爽日日爽夜夜爽| 九九久久视频| 色五月丁香激情视频| 久久人妻乱子伦| 五月丁香六月婷婷,婷| 99亚色色色| 超碰人人超碰| 黄色五月婷婷| 亚洲成人综合在线| 一本久道综合色婷婷五月| 色婷婷久久| 99热九九这里只有精品| 五月丁婷香| 色婷婷欧美| 色欲久久综合| 久久欧洲久久| 婷婷八月激情| 色色永久| 天天网站天天爽| 成人婷婷五月天| 天天草天天舔| 五月丁香成人| 狠狠婷婷爱| 激情五月天无码| 六月婷婷国产| 欧美激情-区二区三区| 亚洲综合色棒| 成年人99热| 久久婷婷激情视频| 五月好婷婷| 婷婷五月天电影区小说区| 国产无套精品一区二区| 26uuu亚洲| 婷婷五月免费视频| 五月婷婷免费在线视频| 亚洲综合色色色| 五月天六月色| 色色色在线观看| 夜夜资源站| 综合99久久| 淫视馆aV二区一区| 五月丁香在线观看| 色婷五月天| 日本精品久久久久中文字幕| 中文字幕精品无码一区二区| 在线不卡AC| 色色色色丁香| 丁香五月玖玖| 丁香六月激情国产| 91岛国片| 九九色综合网| 色优久久| 天天操天天操| 另类小说婷婷色| 色综合色综合网| 五月婷丁香| 婷婷精品在线| 亚洲操B| 国产成人一区二区三区在线观看| 超碰色碰碰| 色五月婷婷1| 日韩不卡DvD| 热的国产,热的综合,热的有码 | 精品自拍99| 99碰| 日本色图综合| 天天狠狠婷婷在线| 五月天婷a在线| 五月天全国最大成人网| 99日这里只有精品| 婷婷五月天六月丁香| 玖玖爱综合网| 另类小说五月天| 免费看欧美成人A片无码| 婷婷五月丁香五月| 婷婷丁香成人色综合| 久久婷婷五月天大香蕉| 久久婷婷五月综合色丁香| 99热主页日本| 思思视频精品| 五月花亭亭| 九九热最新| 99这里有精品视频| 五月婷婷五月天| 91热视频| 久久久久激情网| 婷婷五月色播网| 婷婷激情五月综合在线视频| 婷婷色丁香六月| 九九热re99re6在线精品| 亚洲激情五月天| 亚洲乱码精品久久久久..| 亚洲亚洲人成综合网络| 大鸡巴伊人网| 五月丁香啪啪激情| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 亚洲色色色色| 婷婷五月天激情开心网| www.99热| 欧美丰满熟妇BBB久久久| 色综合婷婷99| 人人性久久| www.av视频xx999.com| 色区域网站视频| 一起草无码| 婷婷五月天成人| 大香蕉婷婷婷| 九九偷拍网| 亚洲综合99| 激情婷婷综合| 很很干夜夜干| 色五月综合激情| 久久久久9999| 欧美在线ee日韩| 综合久久五月天| 婷婷丁香色五月天久久88| 丁香色五月天| av大香蕉| 2050人人操免费工开爱 | 思思9久久| av无码电影| 91精品电影18T| 国产性爱亚洲是图| 色色色com| 久久久久九九九九视屏小说88|