欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Linux客戶端開發(fā)核心:信號量、epoll與穩(wěn)定性實戰(zhàn)

Linux客戶端開發(fā)核心:信號量、epoll與穩(wěn)定性實戰(zhàn) 許多做客戶端開發(fā)的朋友一聽到Linux方向第一反應(yīng)是“這崗位是不是主要在寫驅(qū)動、搞內(nèi)核”實際上以奇安信2020年這次客戶端開發(fā)工程師Linux開發(fā)的崗位要求來看方向非常明確面向Linux平臺的安全類客戶端產(chǎn)品核心是用C/C寫出穩(wěn)定、高效、能扛住惡劣環(huán)境的終端程序。我當(dāng)時看到這個崗位的時候第一感覺是它跟傳統(tǒng)Windows客戶端開發(fā)差異很大但底層邏輯又極其相似——消息循環(huán)、模塊拆分、崩潰排查、安裝部署這些客戶端開發(fā)的通用套路全都成立只是換了一套系統(tǒng)接口和調(diào)試思維。這篇文章我打算結(jié)合這次崗位背后考察的技術(shù)點把Linux客戶端開發(fā)真正需要的那些東西串起來講一遍。不只是列知識點還會帶上我實際調(diào)試過的場景、踩過的坑、以及面試時高頻出現(xiàn)的考察角度。不管是準備安全方向客戶端崗位還是單純想往Linux平臺上做C/C應(yīng)用開發(fā)的朋友這份內(nèi)容應(yīng)該都對你有用。1. 崗位與技能畫像奇安信Linux客戶端開發(fā)在考什么1.1 核心職責(zé)與能力模型先說崗位本身。客戶端開發(fā)工程師在安全公司的定位通常是做終端檢測與響應(yīng)、主機安全Agent、零信任客戶端這一類產(chǎn)品。這些產(chǎn)品不是跑在服務(wù)器上的高并發(fā)后端而是要裝到海量終端上、7×24小時常駐運行、占用資源必須小、穩(wěn)定性要求極高的程序。這決定了它對開發(fā)者的要求跟“能調(diào)通接口”完全不是一個量級。奇安信這類公司招Linux客戶端開發(fā)核心盯的能力我總結(jié)下來有四塊C/C功底不是會寫類、會用STL就行。考察點是內(nèi)存管理、指針安全、對象的生命周期能不能寫出長時間運行不泄漏、不越界的代碼。系統(tǒng)編程能力進程間通信共享內(nèi)存、信號量、消息隊列、多線程同步、文件系統(tǒng)監(jiān)控、網(wǎng)絡(luò)編程socket、epoll。這些都是終端Agent最常打交道的系統(tǒng)機制。穩(wěn)定性工程能力客戶端和服務(wù)器程序最大的不同是它無法在真機上隨時重啟而且面臨的環(huán)境千奇百怪。所以日志系統(tǒng)、崩潰處理signal handling、core dump分析、自我恢復(fù)機制都是面試重點。安全產(chǎn)品敏感度做安全客戶端你得知道惡意代碼大概是怎么隱藏、怎么持久化的你的程序得能對抗這些行為。這不算硬性要求但在面試中很加分。我見過不少候選人上來就背Concurrency、Memory Model但問他“客戶端跑3天后內(nèi)存漲了30%你怎么定位”整個人就懵了。這其實才是Linux客戶端開發(fā)每天要面對的真問題。1.2 為什么安全公司偏愛Linux原生技術(shù)棧你可能好奇現(xiàn)在跨平臺框架那么多為什么安全客戶端還在堅持用Linux原生的C/C技術(shù)棧原因不復(fù)雜安全產(chǎn)品的核心訴求是可控性、性能和對系統(tǒng)底層資源的訪問能力。用Java或者Electron寫一套運行環(huán)境依賴重、內(nèi)存占用高、對系統(tǒng)調(diào)用的細節(jié)把控弱這在服務(wù)器端或許不是大問題但在需要“偷偷保護你”的終端Agent場景里就是致命傷。再有一點安全客戶端經(jīng)常需要處理加密流量檢測、進程行為采集這類工作。這類工作繞不開對系統(tǒng)調(diào)用、網(wǎng)絡(luò)協(xié)議棧底層行為做觀測標準庫封裝得很高層的語言反而不方便。C/C看起來開發(fā)效率低但它的優(yōu)勢是當(dāng)你需要摳到某一個bit、攔截某一次系統(tǒng)調(diào)用時沒有被框架擋住的感覺。這一點在過去、現(xiàn)在甚至未來三五年內(nèi)都是安全終端產(chǎn)品的剛需。1.3 崗位適配度自檢清單我建議你在投這類崗位之前先拿下面這份清單給自己打個分每項按0~2分打低于7分就先補基礎(chǔ)再投自檢項考察方向高頻場景C指針與內(nèi)存管理指針算術(shù)、智能指針、內(nèi)存池長時間運行的內(nèi)存增長定位多線程與同步互斥鎖、條件變量、信號量生產(chǎn)者消費者采集模型網(wǎng)絡(luò)編程socket、epoll、超時重連與云端心跳通信文件與目錄監(jiān)控inotify、fanotify敏感目錄變化感知系統(tǒng)穩(wěn)定調(diào)試gdb、core dump、strace崩潰現(xiàn)場還原常用命令熟練度top、free、netstat、find線上問題第一輪排查腳本輔助能力shell/python自動化測試與打包題目問得特別細。比如信號量有幾種實現(xiàn)、在哪些場景選哪種比如epoll的ET和LT有什么區(qū)別、實際項目里選哪個多。這些都不是背一道題就能過關(guān)的必須真的在項目里用過、掉過坑才能答得有說服力。2. 核心知識點拆解從理論到實戰(zhàn)的那些硬骨頭2.1 進程、線程與同步Client程序的生命線做Linux客戶端第一個繞不開的就是進程和線程模型。界面、業(yè)務(wù)邏輯、網(wǎng)絡(luò)、采集、上報各模塊之間天然并發(fā)。但并發(fā)一多死鎖、競態(tài)、優(yōu)先級反轉(zhuǎn)這些問題就全來了。我強烈建議你把POSIX線程接口和同步原語徹底搞透。不少人在Windows上用得熟的是臨界區(qū)CriticalSection、事件Event到了Linux就慌了。其實對應(yīng)關(guān)系非常直接場景定位WindowsLinux/POSIX線程互斥CRITICAL_SECTIONpthread_mutex普通鎖進程互斥Mutex命名信號量、文件鎖事件通知Eventpthread_cond條件變量讀寫鎖SRWLockpthread_rwlock跨進程數(shù)據(jù)共享共享內(nèi)存 文件映射shmget / shm_open mmap這里我不建議上來就研究自旋鎖、無鎖隊列之類的進階話題??蛻舳碎_發(fā)大多數(shù)場景用條件變量和互斥鎖就夠了關(guān)鍵是設(shè)計好鎖的粒度。我有一次排查一個數(shù)據(jù)采集模塊CPU飆高的問題發(fā)現(xiàn)是多線程頻繁競爭一個全局隊列的鎖。線程一多鎖競爭導(dǎo)致上下文切換開銷巨大CPU白白燒掉。后來改成每個線程獨立隊列、按批次合并上報CPU直接降了40%。另外特別提一下信號量。它是這波熱搜里跟崗位最直接相關(guān)的關(guān)鍵詞之一。信號量分為有名信號量和無名信號量無名信號量一般用于線程間同步或父子進程間有名信號量用于無親緣關(guān)系的進程間同步??蛻舳碎_發(fā)里最常見的是用它控制并發(fā)上限比如同時最多允許幾個上報任務(wù)在跑。它的核心操作只有三個sem_init/sem_open、sem_wait、sem_post。理解這三個接口再理解一下它和互斥鎖的本質(zhì)區(qū)別——互斥鎖是“誰拿到誰用”信號量是“計數(shù)控制多個線程可以同時過”——基本就能應(yīng)付絕大多數(shù)面試題。2.2 網(wǎng)絡(luò)通信設(shè)計客戶端與云端的心跳哲學(xué)客戶端開發(fā)里有一個后端同學(xué)不太會特別在意、但我們天天磨的問題弱網(wǎng)下的通信設(shè)計。終端設(shè)備可能處于斷網(wǎng)、弱網(wǎng)、代理受限、NAT后等各種亂七八糟的環(huán)境中。設(shè)計一套穩(wěn)定的心跳和上報機制是Linux客戶端開發(fā)的必修課。最基礎(chǔ)也最實用的方案是TCP長連接 應(yīng)用層心跳 指數(shù)退避重連。心跳不能只依賴TCP的keepalive因為那玩意默認2小時才探測一次而且中間鏈路設(shè)備可能靜默丟包。應(yīng)用層心跳一般30~60秒一次超過3~5次沒收到回復(fù)就判定連接失效觸發(fā)重連。重連不能瘋狂重試要用指數(shù)退避比如第一次等1秒、第二次2秒、第三次4秒……最大間隔60秒封頂避免終端在弱網(wǎng)下瘋狂建立連接造成資源浪費。代碼層面我建議用epoll來管理所有socket事件而不是每來一個連接就開一個線程。epoll有三個關(guān)鍵點epoll_create創(chuàng)建句柄epoll_ctl注冊/修改/刪除事件注意區(qū)分EPOLLIN、EPOLLOUT、EPOLLERRepoll_wait等待事件返回就緒列表。在處理多路IO時ET邊緣觸發(fā)和LT水平觸發(fā)的選擇也經(jīng)常被問到。簡單說LT模式下只要緩沖區(qū)還有數(shù)據(jù)沒讀完每次epoll_wait都會提醒你ET模式只在狀態(tài)變化那一刻提醒一次。ET模式下你得一次把數(shù)據(jù)全讀干凈循環(huán)read到返回EAGAIN否則會丟事件。我的經(jīng)驗是客戶端這種場景用LT就好代碼簡單不容易漏性能瓶頸根本不在這兒。2.3 Linux常用命令不是背參數(shù)是形成排查套路熱搜詞里出現(xiàn)了一堆linux命令關(guān)鍵詞比如linux find用法、scp命令、linux刪除文件夾。這些東西單獨看都不難但面試真正考察的是你在問題現(xiàn)場能不能組合使用它們。我先列一套客戶端問題排查的命令組合拳場景一懷疑客戶端內(nèi)存泄漏# 按內(nèi)存排序看看進程狀態(tài) top -p $(pgrep -f your_client) # 查看進程詳細內(nèi)存映射 cat /proc/$(pgrep -f your_client)/smaps | grep -E Pss|Rss # 連續(xù)采集兩次對比內(nèi)存增長 watch -n 30 ps -p $(pgrep -f your_client) -o pid,rss,vsz --no-headers場景二卡死、CPU占用高懷疑死循環(huán)# 看線程列表 top -H -p $(pgrep -f your_client) # 抓線程棧驚魂三分鐘 gdb -p $(pgrep -f your_client) -batch -ex thread apply all bt # 或直接用pstack pstack $(pgrep -f your_client)場景三找不到配置或日志文件# 最基礎(chǔ)也最常用按文件名找 find / -name your_client.conf 2/dev/null # 按修改時間找最近24小時改過的 find /var/log -type f -mtime -1 # 按大小找排掉日志存儲異常的 find / -size 500M -exec ls -lh {} \; 2/dev/null場景四跨機器傳調(diào)試包# 基本用法傳整個目錄 scp -r ./debug_package usertarget_host:/opt/debug # 端口不是默認22時 scp -P 2222 ./debug_package usertarget_host:/opt/這套組合拳的價值在于你不需要把幾百個命令參數(shù)全背下來但你需要知道“遇到這種癥狀下一步該敲什么”。這恰恰是面試官在代碼題之外最想看到的——一個候選人有沒有真正在Linux環(huán)境下解決過問題。另外一個容易被忽略的高頻題目是“l(fā)inux新建用戶”和“權(quán)限管理”??蛻舳税惭b后需要一個專用運行賬號不跑root這是安全基線。那就要用到useradd -r -s /sbin/nologin your_client_user-r表示創(chuàng)建系統(tǒng)賬號-s /sbin/nologin表示禁止登錄用來運行服務(wù)再合適不過。面試里如果聊到安裝部署、服務(wù)化改造這一條基本必考。2.4 崩潰分析與穩(wěn)定性保障客戶端人的職業(yè)病服務(wù)器程序崩了可以快速重啟客戶端程序崩了用戶感知極其直接。所以在安全客戶端這種“不能崩”的品種里崩潰分析能力是個硬通貨。Linux下程序崩潰最常見的信號是SIGSEGV段錯誤和SIGABRT斷言失敗主動中止。我非常建議在客戶端里注冊自己的signal handler捕獲崩潰信號后立即生成帶堆棧的日志再恢復(fù)默認處理讓內(nèi)核產(chǎn)生core dump。這比干等系統(tǒng)的core dump靠譜——生產(chǎn)環(huán)境里很多終端不開core就算開了core文件也可能因為權(quán)限問題寫不進去。捕獲信號的關(guān)鍵代碼片段大概是這樣的#include signal.h #include execinfo.h void crash_handler(int sig) { void* frames[128]; int n backtrace(frames, sizeof(frames)/sizeof(frames[0])); backtrace_symbols_fd(frames, n, STDERR_FILENO); signal(sig, SIG_DFL); raise(sig); } void setup_crash_handler() { signal(SIGSEGV, crash_handler); signal(SIGABRT, crash_handler); signal(SIGBUS, crash_handler); }這段代碼的意圖很簡單崩潰時先打印堆棧然后恢復(fù)默認處理并重新觸發(fā)信號生成core。注意不能直接在handler里做復(fù)雜操作因為崩潰現(xiàn)場可能本身就不再安全。printf、malloc這些都不建議在signal handler里用。最穩(wěn)的就是用write/backtrace_symbols_fd這類異步信號安全函數(shù)直接寫到文件描述符。拿到core文件之后排查的命令也要熟練gdb ./your_client /var/crash/core.12345 (gdb) bt (gdb) info threads (gdb) thread apply all btbt看調(diào)用?;灸芏ㄎ坏侥囊恍斜赖摹H缓筮€要結(jié)合info registers看寄存器里的現(xiàn)場數(shù)據(jù)有時候棧被破壞嚴重就需要去翻內(nèi)存地址處的數(shù)據(jù)。我自己的經(jīng)驗是崩潰處理機制一定要上線前就寫好。別等出了事再補。用戶側(cè)崩潰的復(fù)現(xiàn)條件非常苛刻日志和堆棧就是你唯一的救命稻草。沒有這套機制出了問題就只能對著用戶的截圖瞎猜效率極低。3. 實操從零手寫一個Linux客戶端基礎(chǔ)骨架3.1 環(huán)境準備與工具鏈選型理論講了這么多我們直接動手做一個實際的Linux客戶端骨架。不需要UI就是個常駐后臺的守護進程包含事件循環(huán)、配置加載、日志上報、心跳通信這幾個模塊。這是安全客戶端最通用的雛形。開發(fā)機建議用CentOS 7/8或者Ubuntu 18.04以上的系統(tǒng)。編譯工具鏈三條gcc/g版本不要太老至少支持C14最好C17cmake3.10以上gdb、strace、valgrind調(diào)試三件套安裝命令就不啰嗦了各發(fā)行版源里都有。編譯參數(shù)上我強烈建議從一開始就打開所有警告set(CMAKE_CXX_FLAGS -Wall -Wextra -Werror -O2 -g)-Werror把警告當(dāng)錯誤雖然有時候很煩但它能在編譯期攔住大量低級問題。-g保留調(diào)試信息-O2開優(yōu)化。線上發(fā)布版本可以把-g換成-g -rdynamic這個組合能讓backtrace打出函數(shù)名而不是赤裸裸的地址。3.2 主事件循環(huán)設(shè)計別開一堆線程空轉(zhuǎn)客戶端主循環(huán)我推薦用epoll實現(xiàn)而不是簡單whilesleep。原因有二第一epoll能在socket事件、定時器事件、信號事件之間統(tǒng)一調(diào)度結(jié)構(gòu)干凈第二能夠精確控制喚醒時機不會為了等待某個事件而空耗CPU。事件循環(huán)的核心思路是這樣的創(chuàng)建一個epoll_fd注冊一個timerfd用于周期性任務(wù)心跳、日志落盤注冊一個signalfd用于安全地接收SIGTERM/SIGINT等信號如果需要注冊socket fd用于網(wǎng)絡(luò)收發(fā)進入循環(huán)調(diào)用epoll_wait誰就緒處理誰。signalfd是個好東西。傳統(tǒng)的signal handler方式在異步安全方面坑很多而signalfd把信號變成文件描述符上的可讀事件可以統(tǒng)一交給epoll管理完全繞開異步信號處理的所有麻煩。int epfd epoll_create1(0); // 定時心跳每30秒觸發(fā) int tfd timerfd_create(CLOCK_MONOTONIC, TFD_NONBLOCK); struct itimerspec its; its.it_interval.tv_sec 30; its.it_interval.tv_nsec 0; its.it_value its.it_interval; timerfd_settime(tfd, 0, its, NULL); // 注冊到epoll struct epoll_event ev; ev.events EPOLLIN; ev.data.fd tfd; epoll_ctl(epfd, EPOLL_CTL_ADD, tfd, ev); while (running) { struct epoll_event events[16]; int n epoll_wait(epfd, events, 16, -1); for (int i 0; i n; i) { if (events[i].data.fd tfd) { uint64_t expirations; read(tfd, expirations, sizeof(expirations)); do_heartbeat(); } } }這里有個小細節(jié)timerfd觸發(fā)后必須讀取它的計數(shù)器8字節(jié)無符號整數(shù)否則事件會一直處于可讀狀態(tài)導(dǎo)致epoll_wait忙觸發(fā)。這是新手最容易犯的錯網(wǎng)上大量示例代碼也都漏了這一步我在這里特別強調(diào)一下。3.3 模塊劃分怎么拆才不至于三個月后重構(gòu)客戶端程序雖然不像后端微服務(wù)那樣需要大規(guī)模拆分但模塊邊界劃不好改起需求來同樣想哭。我自己的經(jīng)驗是按照“能力縱向切分、依賴單向流動”的原則至少分成這幾層模塊職責(zé)關(guān)鍵依賴main啟動參數(shù)解析、加載配置、拉起各模塊無config讀配置文件、統(tǒng)一提供配置項無logger落盤日志、日志輪轉(zhuǎn)、日志級別控制無heartbeat與服務(wù)器心跳通信、狀態(tài)機管理logger、configcollector采集本機信息進程列表、網(wǎng)絡(luò)連接等logger、configreporter把采集結(jié)果上報服務(wù)器heartbeat、collector模塊間通信不要走全局變量更不要互相直接調(diào)用內(nèi)部函數(shù)。我建議每個模塊對外只暴露一個brief接口比如heartbeat_start()、collector_snapshot()內(nèi)部狀態(tài)自己維護。跨模塊傳數(shù)據(jù)用結(jié)構(gòu)體不要用裸指針。這個設(shè)計的好處是任何一個模塊出問題可以單獨替換不會牽一發(fā)動全身。比如你要把采集模塊從“遍歷/proc目錄”改成“基于netlink訂閱事件”只需要改collector內(nèi)部實現(xiàn)其他模塊完全無感。3.4 內(nèi)存與資源管理C用戶也該像C程序員一樣謹慎雖然我們可以用C和STL但在客戶端這種7×24小時運行的程序里資源管理仍然要像寫C一樣嚴謹。我的原則有三條第一保證每個資源都有明確的owner。誰創(chuàng)建誰釋放??缇€程傳遞的指針要特別警惕建議用shared_ptr傳值而不是傳裸指針。第二啟動時分配、運行中復(fù)用。高頻調(diào)用的函數(shù)里不要反復(fù)new/delete。比如采集數(shù)據(jù)時每條記錄都要構(gòu)造一個string這種高頻小對象分配是性能殺手。改用預(yù)分配緩沖區(qū)和對象池性能能提升一個檔次。第三所有阻塞調(diào)用都要考慮超時。socket收發(fā)要設(shè)置SO_RCVTIMEO/SO_SNDTIMEO互斥鎖加鎖考慮用trylock配合超時重試避免因為某個模塊卡死拖垮整個進程。另外日志模塊必須自帶容錯。比如磁盤滿了、日志文件被用戶誤刪不能因此讓主進程崩潰。我見過一個產(chǎn)品因為日志寫不進去直接進程退出這太冤了。日志模塊要在寫失敗時降級——先嘗試輪轉(zhuǎn)輪轉(zhuǎn)不了就丟日志但進程必須活。4. 高頻面試題與排查實錄這些坑我替你踩過了4.1 面試中被反復(fù)追問的10個Linux客戶端問題我把歷次面試中出現(xiàn)的、我認為最有代表性的問題整理成一張速查表。注意答案不是重點重點是你能不能在追問下還原出思考過程問題核心考點參考思路進程和線程的區(qū)別什么時候用進程、什么時候用線程基礎(chǔ)概念講清楚隔離性、共享成本、崩潰影響范圍即可select/poll/epoll的區(qū)別IO多路復(fù)用從FD遍歷次數(shù)、事件觸發(fā)機制兩個維度對比什么是信號量和互斥鎖的區(qū)別同步原語信號量是計數(shù)器互斥鎖是所有權(quán)結(jié)合停車位類比哪些場景會引起內(nèi)存泄漏怎么排查資源管理分類講堆泄漏、句柄泄漏、全局容器無限增長客戶端崩潰了第一步做什么穩(wěn)定性思維撈日志、撈core、看最近的變更、回放現(xiàn)場如何設(shè)計一個可靠的心跳機制網(wǎng)絡(luò)容錯應(yīng)用層心跳 超時判斷 指數(shù)退避 狀態(tài)機多線程死鎖怎么產(chǎn)生如何避免并發(fā)鎖順序一致、避免嵌套鎖、用trylock超時Linux下查看一個端口被誰占了命令實戰(zhàn)lsof -i:9090 或者 netstat -tlnp/proc文件系統(tǒng)有什么用系統(tǒng)機制進程運行時狀態(tài)全在這里講幾個常用文件守護進程怎么實現(xiàn)服務(wù)化forksetsidumask重定向標準IO或直接用systemd其中“客戶端崩潰了第一步做什么”這個題我覺得最有價值。很多候選人會直接說“看core dump”但正確的第一步是先確認現(xiàn)場有沒有被破壞然后有層次的搜索信息。實際處理中順序應(yīng)該是查看崩潰時間點的日志 → 確認是否有core文件 → 用gdb加載core和帶調(diào)試符號的二進制 → 獲取完整堆棧 → 結(jié)合代碼審查和線上變更記錄定位根因。直接跳到最后一步往往會被現(xiàn)場信息帶偏。4.2 線上問題排查實錄內(nèi)存居高不下的一場戰(zhàn)斗分享一次真實的排查經(jīng)歷。一個運行在Linux服務(wù)器上的客戶端Agent上線一周后rss從200MB漲到1.2GB系統(tǒng)頻繁告警。第一步先用ps確認進程狀態(tài)正常排除僵尸化問題ps -ef | grep agent確認進程還活著CPU也不高初步判斷是內(nèi)存增長而非死循環(huán)。第二步看內(nèi)存增長趨勢ps -p 1234 -o pid,rss,vsz --no-headers采集兩小時發(fā)現(xiàn)rss大概每5分鐘增長8MB。這已經(jīng)排除一次性緩存基本鎖定是持續(xù)泄漏。第三步上valgrind太重生產(chǎn)環(huán)境跑不起改用gdb動態(tài)抓取gdb -p 1234 -batch -ex info proc mappings -ex thread apply all bt沒有發(fā)現(xiàn)明顯異常的一、兩處大分配。后來懷疑是容器類悄悄變大在代碼里加了關(guān)鍵容器的大小打印部署后觀察終于發(fā)現(xiàn)是某個全局map在沒有做清理每收到一條服務(wù)器指令就插入一條記錄一小時后定位到具體函數(shù)。這次教訓(xùn)給我的收獲是內(nèi)存問題定位靠的是分層而不是一步到位。先用系統(tǒng)工具縮小范圍再用動態(tài)調(diào)試抓現(xiàn)場最后用代碼插樁確認根因。把排查過程講清楚在面試里非常加分。4.3 面試中關(guān)于命令的追問套路千萬別以為命令題就是簡單的“會不會用”。面試官通常會從一條命令往深挖三層。比如他問“怎么找文件”你答find / -name *.log他會繼續(xù)問find和locate有什么區(qū)別locate走數(shù)據(jù)庫速度快但不實時find里-exec和| xargs有什么區(qū)別前者每條結(jié)果起一次命令后者分批傳入?yún)?shù)過長時行為有差異如果文件名帶空格怎么辦find -print0 xargs -0這是經(jīng)典陷阱再比如他問linux刪除文件夾你答rm -rf dir他會接著問如果目錄超大rm會卡很久嗎會因為要逐一unlink有沒有更快的方案直接rename目錄再后臺刪或使用nice降低優(yōu)先級后臺執(zhí)行如果不小心刪了重要文件怎么辦ext4的debugfs不一定能救所以重要事情先備份這些追問背后的邏輯是不是考你會不會敲命令而是考你在真實環(huán)境里有沒有遇到過這些邊界問題。我的建議是每學(xué)一條命令都順手把它在高并發(fā)、超大文件、特殊字符文件名這幾個場景下的行為試一遍。你踩過的那些坑面試時就是最生動的素材。4.4 踩坑記錄新手寫Linux客戶端最容易犯的錯很多從Windows轉(zhuǎn)過來的同事剛開始寫Linux客戶端會犯一些共性的錯誤。我列幾個印象最深的SIGPIPE直接殺死程序。向一個已經(jīng)關(guān)閉的socket寫數(shù)據(jù)默認行為是觸發(fā)SIGPIPE并終止進程。服務(wù)端程序最常見。解決辦法是在程序初始化時調(diào)用signal(SIGPIPE, SIG_IGN)忽略它然后通過write的返回值判斷錯誤。fork之后在子進程調(diào)用非異步安全函數(shù)。比如malloc、printf在fork出的子進程里直接調(diào)用有鎖就可能導(dǎo)致死鎖。正確做法是fork后用exec族函數(shù)直接替換進程映像。誤以為system()很方便。在客戶端代碼里調(diào)system執(zhí)行shell命令創(chuàng)建子進程開銷大、返回值不好判斷、還可能被注入。能不用盡量不用用posix_spawn或者雙forkexec替代。忽略文件描述符上限。默認進程fd上限往往只有1024如果你做文件監(jiān)控或者網(wǎng)絡(luò)連接管理很容易打滿。要么在systemd service里配置LimitNOFILE要么代碼里用setrlimit提前調(diào)整。這些坑在教科書里都只是一句話但你真實踩過一遍才會懂那種想把電腦砸了的沖動。我把它們寫出來就是希望你能提前繞過。5. 學(xué)習(xí)路徑建議三個月能補到什么程度5.1 參考學(xué)習(xí)路線如果距離面試還有三個月我建議按下面的路線推進。這是一個被很多新人驗證過的路徑節(jié)奏相對舒適且貼近實戰(zhàn)第1~2周補牢基礎(chǔ)。主攻C語言指針與內(nèi)存、C核心語法、常見數(shù)據(jù)結(jié)構(gòu)。目標是能不看參考寫一個單鏈表和二叉樹。第3~4周系統(tǒng)編程入門。主攻文件IO、進程控制、線程同步。做一個簡單多線程日志系統(tǒng)練手要求支持多線程并發(fā)寫日志、日志輪轉(zhuǎn)。注意這個練習(xí)能覆蓋大量知識點性價比極高。第5~6周網(wǎng)絡(luò)編程。主攻socket、epoll、TCP狀態(tài)機。寫一個回聲服務(wù)器測試連接再用客戶端連接測試。重點體會上面的心跳設(shè)計和斷線重連。第7~8周穩(wěn)定性工具。主攻gdb、strace、valgrind并嘗試用前幾周寫的程序制造崩潰和內(nèi)存泄漏用這三件套定位修復(fù)。第9~10周綜合實戰(zhàn)。從零寫一個帶配置、日志、心跳采集、斷線重連的完整客戶端骨架推倒重來看結(jié)構(gòu)設(shè)計是否合理。第11~12周刷題面試模擬。針對高頻Linux命令、系統(tǒng)編程題目做專項訓(xùn)練并整理自己做過的項目細節(jié)為面試追問做準備。這套路線最大的特點是每個階段都有產(chǎn)出不是純看書。面試官問“你做過什么”你直接拋這個骨架項目再結(jié)合調(diào)試過程中遇到的真實問題可信度遠高于背幾道八股。5.2 好用的調(diào)試與開發(fā)工具清單推薦幾款實測好用的工具不冷門但都是干貨gdb gef插件gdb本身夠用裝上gef之后堆棧、寄存器、內(nèi)存的展示直觀得多調(diào)試體驗提升一個檔次。strace跟蹤系統(tǒng)調(diào)用。遇到“程序沒反應(yīng)”、“文件明明在卻打不開”這類問題strace基本是秒級定位。valgrind memcheck內(nèi)存泄漏檢測神器。雖然是慢但能在開發(fā)階段提前攔截80%的內(nèi)存問題跑測試用例時一定要開。systemtap / bpf進階動態(tài)追蹤工具。用來看函數(shù)耗時、內(nèi)核態(tài)行為屬于進階中的進階有余力再學(xué)。clang-tidy / cppcheck靜態(tài)代碼分析。CI里加上能揪出一堆隱藏bug。這些工具不需要全精通但gdb和strace一定要熟。我面試時遇到候選人說“用過valgrind”都會追問細節(jié)因為用過和用過、調(diào)通過完全是兩個級別。5.3 給你的一些經(jīng)驗話做了這么多年Linux客戶端我自己最大的體會是這塊領(lǐng)域的難點不在于某個算法有多復(fù)雜而在于你要對一個持續(xù)運轉(zhuǎn)的系統(tǒng)負責(zé)到底。上線前考慮不到的邊界條件上線后都會以奇怪的方式找你算賬。所以學(xué)習(xí)時建立的工程意識比背多少個API都珍貴。有個習(xí)慣我很推薦保持一個“崩潰復(fù)盤”筆記。每次線上出問題都記錄一下背景、現(xiàn)象、定位過程、根因、修復(fù)方案。積累幾十條之后你會發(fā)現(xiàn)自己對系統(tǒng)穩(wěn)定性的直覺會變得極其敏銳。面試的時候這個筆記本身就是你最好、最真實、最打動人心的項目展示。再就是多折騰、多動手。虛擬機裝Linux也好、云主機也好把開發(fā)環(huán)境搭起來然后玩壞它、修好它、再玩壞它。命令敲錯了、系統(tǒng)崩了、網(wǎng)絡(luò)不通了每一次修復(fù)都是一次實戰(zhàn)訓(xùn)練。比任何課程都管用。最后說個實在的寫簡歷時一定要體現(xiàn)“我真正解決過什么問題”。比如你學(xué)過epoll寫“熟悉epoll”不如寫“用epoll實現(xiàn)過千萬級長連接的心跳服務(wù)器優(yōu)化后內(nèi)存占用降低20%”。你對具體問題的量化描述才是面試官在幾句話之內(nèi)判斷你是否靠譜的依據(jù)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
玖玖99婷婷| 亚洲电影在线观看| 免费视频在线观看的网站| 狠狠ri| 黄色av网站在线免费播放| 日本在线wwww| 秋霞AV淫| 五月婷伊人| 激情婷婷五月色| 五月丁香六月激情欧美综合| 26uuu成人网| 99噜噜噜在线播放| 久久99精品久久久久久三级| 亭亭丁香久久五月| 欧美五月婷婷| 一本道在线电影| 九九在线91| 538任你爽视频不一样的| 国产激情综合五月久久| 深爱婷婷丁香五月激情| 伊人色综合网| 青青日韩| 婷婷激情小说网| 狠狠操.COM| 综合五月婷婷| 国产肥白大熟妇BBBB视频| 高清免费在线视频| 久久久色婷婷五月天| 五月天色导航| 六月丁香啪啪| 国产三级在线播放| 久久五月天激情婷婷| 丁香婷婷在线| 丁香婷婷激情| 第四色网婷婷| 欧美性猛交AAAA片黑人 | 狠狠狠狠狠狠| 成人综合视频在线| 男女久久婷婷五月天| 人妻无码精品一区| 欧美色片中文字幕久久久久| 五月丁香激情四射| 影音先锋777xfplay色资源网站| 丁香六月婷婷开心| 婷婷性爱综合| 99热在线这里只有精品| 二色av| 亚洲精品国产熟女久久久| 综合日本婷婷| 狠狠操在线视频| 欧美 日韩 成人 在线| 欧美婷婷色| 99久扒热| 狠狠高潮精品亚洲1| 思思热在线观看| 五月丁香激情综合啪啪| 天天日日夜夜爽。| http:色情日本com| 色婷婷黄色网络| 五月草视频| 涩五月婷婷| 国产黄色一级片| 天天更新天天亚洲| 丁香激情五月天| 婷婷综合国产| 天天操天天谢| 婷婷五月在线视频| 大香蕉婷婷色| www.射伊蕉婷婷| 色偷偷AV亚洲男人的天堂| 99久久97久久欧美综合网| 欧美噜一噜| 99人人干| 亚洲国产精品SUV| 97色色色| 激情五月色在线播放| 99re热在线视频| 天天综合网~91| 久久婷婷热| 丁香五月五婷| A久久| 99精品视频网| 五月六月伦理| 天天综合亚洲综合网天天αⅴ| 色99久草在线| 欧美丰满熟妇BBB久久久| 亚洲色情网站| 婷婷五月丁香色情| 婷婷丁香77777| 九97免费视频| 成人午夜视频精品一区| 丁香六月婷| www久久久| 精品AV无码超碰| 91超碰人人操| 久9热在线视频| 久狠日av| 狠狠xx| 色婷婷五月天激情综合 | 亚洲一色色色色色色色色| 國語久久婷| 免费色婷婷| 色色色综合| 日本一毛片| 色小说五月天| 五月婷亚洲精品| 婷婷舔| 婷婷综合网站| 77777亚洲午夜久久| 依人大香蕉在钱1| 亚洲精品视频在线| 亚洲超碰在线| 香蕉综合网| 东京热伊人| 五月婷婷色播| 欧美日韩成人在线网站| 久久精品系列| 男人天堂99| 青草五月天| 国产精品蜜臀99| 丁香婷婷偷拍| 伊人丁香五月| 天天看夜夜看| 另类激情五月| 五月婷婷久久网| 97福利视频| 大香蕉五月天| 久久久18| 来吧亚洲综合网| 婷婷久久综合| 色色色网站| 精品人妻一区二区三区四区不卡在| 婷婷激情在线| 思思久久精品| 色色国产| 日韩在线视频9色| 无码少妇高潮喷水A片免费| 丁香五月天色婷婷| 欧美交换配乱吟粗大25P| 色五月婷婷在线| 五月天激情小说网| 99在线精品免费视频| 欧美经典片免费观看大全| 91超碰人人操| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 激情五月天福利| 色情婷婷久久五月天| 亚洲美女裸体被操在线观看| 激情丁香五月AV| 日熟女| 综合久久97| 大香蕉五月婷婷| 操人91| 99热r| 欧美日韓成人亚洲精品另类| 影音先锋人妻出差| 超碰国产AV| 中文字幕成人影视| 激情综合一| 综合久久婷婷| 超碰色热| 99在线视频播放| 日韩久热| 在线五月色播| 激情深爱五月天| 91九色熟女| 激情五月综合网| 大香蕉久久| 最近中文字幕2019视频1| 97视频久久| 五月天丁香婷| 99色在线观看| 久久99热这里只频精品6学生| 激情AV| 人人摸人人| 97精品人人A片免费看| 人人操婷婷| 日韩精品一区二区亚洲AV观看| 色碰碰| 激情五婷精品网在线观看网址| 无码毛片992367| 丁香婷婷色五月| 超碰色色综合| 影音先锋日本三级资源| 超碰91人人操| 五月激情基地| 色五月综合网| 色五月婷婷丁香凹凸| 五月天丁香成人社| 99热只有精品在线观看| 99资源在线视频| 开心五月激情网| 超碰97在线观看免费| 丁香五月天.com| 九九99视频精品| http://www.sd-xiangsu.com/| 射久久丁香五月| 丁香六月狠狠| 97性视频| 性欧美大战久久久久久久83| 亚洲啪视频| 丁香五月天婷婷中文| 丁香五月婷婷视频| 国产SUV精品一区二区883| 婷婷五月六月丁香| 五月丁香综合久久| 无套内射极品大美女| 久久五月婷| 开心五月婷婷激情网| 久99久视频精品| 色五月婷婷网| 极品少妇高潮啪啪AV无码| 久久久久丁香婷婷五月天| 内射综合网| 激情内射人妻1区2区3区| 99精品视频推荐| site:minyis.com| 人人妻久久妻| 99精品国产热久久91色欲| 琪琪色综合网站| 色综合综合色| 婷婷丁香五月天激情| 中文字幕在线日亚州9| 久热天堂| 五月婷婷乱| 91久久久久久| 一级二级色大片| 极品人妻videosss人妻| 99综合| 欧美操我| 天天干com| 99久视频| 99热在线观看亚洲区| 91丨九色丨国产在线| 色五月成人婷婷| 色色色综合色| 另类视频一区| 婷婷色正月| 大香蕉av在线| 丁香婷婷综合激情五月色| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 激情五月天网站| 先锋资源91| 日韩十国产极品久久| 日本3级片一区2区| 国产女生爱爱AA| 欧美婷婷五月无砖| 99久re热视频精品98| 97热这里精品在线视频| 2020日日干| www.9色色色| 99久久思思| 婷婷六月丁| 九九色大香蕉| 亚洲AV网址| 狠狠狠人妻| 少妇性BBB搡BBB爽爽爽视頻| 激情综合5| 亚洲成人网站在线播放| 中文av网| 色很久综合| 丁香五月天婷婷中文| 一级性爱视频| 五月丁香激情综合| 伊人久久婷婷| 色色色综合网| 欧美操人| 婷婷五月丁香在线观看| 天天天操天天天日| 久草婷婷| 婷婷五月开心中文字幕色| 中文字幕 码精品视频网站| 大香蕉人人网| 99这里只有精品| 日韩三级视频一区二区| 激情综合激情五月一起草| 天天综合网~91| 亚洲性爱日韩无码| 丁香九色不卡aaa| 五月丁香婷婷激情视频| 色婷婷AⅤ| 五月天婷婷社区| 777久久久| 五月综合激情网| 九九视屏| 天天操中文字幕| 天天综合 99久久婷婷| 99亚洲视频| 色天堂97| 日本熟妇精品99| 色婷婷99| 色黑鬼导航| 日韩一级片| 国产中文亚洲欧美日韩性交| AA片在线观看视频在线播放| 色婷婷五月天不卡| 久久伦乱| 久久久97| 丁香五月开心五月激情| 玖玖爱资源站| 91精品91久久久中77777| 丁香五月天在线观看视频| AV大香蕉| 五月丁香久久丝袜啪啪| 偷拍91九色| 99色婷婷视频| 色高清无码视频| 在线成人国产| 激情小说视频图片| 婷婷五月天第四色| 久久综合首页| 亚洲精品一区无码A片| 五月丁香在线婷婷美女| 99热1| 激情五月天 婷婷| 色播五月丁香婷婷| 色婷婷最新域名| Av九九| a69在线视频| 99精品丁香五月| 亚洲丁香婷婷丁香五月天激情| 超碰免费99| 人人草人人舔| 婷婷五月花丁香| AV在线观看网站| 成人做爰A片免费看视频| 五月婷婷婷婷婷| 五月丁香婷婷激情爱爱| 色香欲综合| 日本激情五月| 久久久999精品| 超碰日韩成人| 大香蕉久| 99精品大片| 婷婷六月啪啪| 婷婷日本在线| 五月婷婷综合在线| 激情五月综合婷婷| 伊人在线婷婷草| 人妻激情视频| 91九色最新视频| 天天肏高清在线| 国产亚洲色婷婷99精品| 97se视频在线| 久久久久久久久久久久久9| 九九亚洲| 天天操天天日天天爽| www,com,五月色色| 精品人妻一区二区三区在| 婷婷五月在线视频| 色五月婷婷啪啪五月| 第四色网婷婷| 中文字幕成人版| 五月丁香人妻| 色情五月综合婷婷| 色五月av伊人| 狠狠色噜噜狠狠亚洲A∨| 大香蕉啪啪啪| 婷婷五月天视频免费在线观看| 丁香五月婷婷呀| www一起操| 国产毛片精品一区二区色欲黄A片| 激情综合一| 亚洲 在线 性爱| 婷婷免费无马| 91在线观看www| 九九99精品视频在线观看| 五月天开心激情综合网| 丁香五月天人体| 五月婷婷丁香大陆免费| 色色网91| 九月激情婷婷丁香| 色欲一区二区三区精品A片| 97在线/亚洲| 国产另类综合| 丁香婷婷五月天色播| 九九九色综合| 六月丁香六月婷婷欧美| 婷婷五月精品中文| 四月婷婷五月丁香| 天天天天天天噜| 人妻系列久久久久久久久久久| 五月综合丁香婷婷| 99碰视频| 丁香五月天婷婷91| 精品动漫 无码av| 久久综合久色欧美综合狠狠| 五月婷婷综合网| 粉嫩av懂色av蜜臀av熟妇| 直接看的AV| 日本性激情色播| 蜜臀av无码久久久久久久久| 国产操B视频| 免费观看2018www黄色操逼网站| 亚洲欧洲中文日韩久久AV乱码| 精品丁香五月天在线播放| 激情五月天免费视频| 99热 在线观看| 婷婷五月丁香久久| 五月天激情四射| 五月天婷婷涩涩| 色九月综合| 97超碰,人人舔,人人操,人人摸 | 亚洲综合成人网| 99热99干| 五月婷婷六月丁香综合| 人人爱人人草| www热久久yy9| 亚洲无码成人| www.丁香五月| 另类图片五月天| 激情伊人五月天| 午夜五月天| www.久久99| 玖玖婷婷五月天| 色综合久久天天综合网| 狠狠色综合网站久久久久| 91色色色| 在线只有精品| 色婷婷综合久久| 丁香五月婷婷色综合| 色婷婷综合网站| 天天天添天天操| WWW.桔色成人.COM| 五月婷婷六月丁香在线视频| 综合网亚洲| 夜丁香五月婷婷| 99色色色色| 婷婷五月天电影网| 婷婷五月花| 婷婷午夜| 国自产拍偷拍精品啪啪一区二区| 婷婷日韩| 人妻久久婷婷| 五月色情婷婷开心五月天| 66久久视频在线| 婷婷五月天深爱| 六月婷婷国产| 丁香五月伊人| 色吧五月婷婷| 亚洲精品国产A久久久久久| 人与禽A片啪啪| 91免费试看| 色九综合| 丁香五月婷婷深五月| 777.色色| 五月 婷婷 成人| 久久婷婷视频| 欧美这里只有精品| 97五月婷| 中文精品在| 亚洲欧洲99| 激情二色月| 亚洲天天| 26uuu精品一区二区| 国产肥白大熟妇BBBB视频| 九九色插| www久久久| 天天综合干| 五月天狠狠网| 91碰碰| AV在线不卡播放| 九九偷拍网| 最新色色五月天| 色婷婷激情小说网| 色五月婷婷小说亚洲中文字幕组| 成人在线99| 伊人爱爱日本| 丁香婷婷久久| 色色丁香激情五月| 91狠狠色丁香婷婷综合久久| 涩综合网| 天天揷综合网| 亚洲婷婷91丁香| 无码四色色色| 狠狠做婷婷| 婷婷丁香五月激情| 色色婷婷丁香五月天| 天天做天天爱天天日| 综合伊人狠狠| 激情综合五月丁香| 9l视频自拍九色9l视频在线观看| 色狠狠综合网| 99久久久久| 色综合综合综合| 99操中文视频| 可以看的AV网站| 久久狠狠干| AV变态另类一区二区| 91碰碰碰| 色色色com| 色色色色色网| av激情在线| 另类激情五月| 99久久网站| 9婷婷内射| 欧美性爱特黄一级aaaassss| 日日夜夜天天综合| 婷婷中文网站| sewuyuejiqingwang| 97香蕉久久超级碰碰高清版 | 14色综合婷婷| 五月色激情综合网| www.日日夜夜| 三级三久久线久久99久目本WW| 亚州激情九月| 婷婷五月天另类网站| 超碰99热| 色婷婷狠狠久久YY| 曰日爽日日操| 色五月激情五月| 草综合网| 日韩久久视频| 婷婷五月综激情| 伊久大香蕉| 五月婷六月综合在线观看| 久9热视频| 日噜噜色| 精品无码99| 五月婷婷影| 日本97在线视频| 婷婷五月丁香手机在线视频| 色综色网| 九九热手机在线视频| 五月丁香久久| 狠狠做五月| 五月婷网| 久99久精品视频| 五月婷婷综合潮喷| 丁香六月天婷婷色| 婷婷四色五月| www,五月天com| 丁香五月瑟瑟| 九九综合| 天天爽日日搞| 久久九九99| 中文在线视频久9| 亚洲AV成人无码久久精品老人法拉利| 国产精品人成A片一区二区| 天天色综和网| 天天日日夜夜| 久久久久妻| 亚洲精品视频在线播放| 91热99| 色5月婷婷色| 九九综合网色全集| AV在线免费播放| 99亚洲精美视频在线观看| 天天精品视频免费观看| 五月天激情图片网| 色五月成人| 婷婷色色欧美| 国产白丝在线一区| 人人操99| 99九色视频在线观看| 色色色色区| 天天摸天天透天天舔| 日本97久久久精品| 精品成人在线观看| 婷婷性爱| 99热成人| 四色 爱 婷婷 精品 亚洲 五月天| 丁香五月综合| 成人欧美Va| 国产精品成人网址| 久久久久人妻网址| 丁香久久五月婷综合| 97干视频| 俺来也综合网精品一区| 色色99| 亚洲 小说 欧美 激情 另类| 97操碰日本女人| 思思热99热| 超碰人人91| 午夜成人AV在线| 大香蕉婷婷色| 国内外色色色色色成人视频| 色综合日日| 五月天激情日色在线| 丁香六月激情国产| AV在线大香蕉| 日日夜夜天天| 婷婷射丁香| 色婷婷88| 亚洲精品V天堂中文字幕 | 99无码视频| 丁香五月,激情五月,深爱五月| 黄色短视频在线观看| 99在线视频播放| www.激情五月| 亚洲精品性色| 99热 日韩| 激情五月久久| 99色色热| 国产精品24r| 亚洲婷婷丁香| WWW五月天| 丁香社92视频| 综合激情视频| 日日艹思思热| 色婷另类| 亚洲亚洲人成综合网络| 天天爱天天做天天操| 久99热| 超碰狠狠操| 五月天亚洲色| 欧美va精品va老师va| 99久久喉9| 国产精品视频免费看| 99精品在线播放| 日夜夜久久| 亚洲综合五月天| 国产亚洲成AV人片在线观黄桃| 狠狠撸激情综合丁香五月天俺来啦| 色色九九五月天 | 狠狠色性| 五月丁香激情综合啪啪| 国产精品久久久久久久久久免费| 天天综合色| 操操操av| 97干在线观看| 在线看的免费网站| 99re热在线视频| 热久久视频99| 国产伦理精品高清在线观看网站一区二区| 91操女| 五月婷视频| 亚洲精品午夜国产va久久成人| 国产精品成人在线| 艹B高清无码| www99精品| 26uuuuuuuu国产| 极品色丁香| 久久99jiu9| 97在线精品| 五月婷婷啪啪| 五月丁香色狠狠干大屄| 精品久久99| 超级碰人人操人人干| 天天干天天插| 91干| 五月久视频| 丁香五月天在线视频| 欧美精品A片一区在线观看| 人妻丰满精品一区二区A片| 色99自拍| 亚洲看av的网站| 丁香五月激情婷婷视频| 五月天综合久久丁香91| WWW色色色COM| 国产毛片精品一区二区色欲黄A片| 91偷拍视频| ji'qi'luan'ren'lun| www,婷婷五月天777me,com| 99色色爰| 天天玩夜夜操| 97色天堂| 色色亚洲视频| 99成人精品| 成人色五月天婷婷| 五月婷婷影| 色婷婷aV四虎| 九九色网专区| 丰满少妇猛烈A片免费看观看 | 久久欧洲综合网| 天天干天天日天天插| 思思99热这里只有精品| 久久9999| 婷婷99狠| 五月婷三级片| 超碰免费成人网站| 精品人妻午夜一区二区三区四区| 人人摸人人干| 99热官网| 狠狠色婷婷7777久| 久99久视频| 五月色丁香| 婷婷娌伦网| 五月天婷婷无码| 亚洲色色色色| 国产26uuu视频| 99色在线观看免费| 俺来也综合网精品一区| 99er日韩| 五月婷婷六月丁香激情深爱| 天天舔天天插天天爱| 97色干| 色五月婷婷大| 五月天久久久| 五月丁香啪啪啪综合网| 久久99久久99精品免观看粉嫩| 99精品在这里| 成人短视频免费| 天天做天天爽| 色婷婷五月天| 天天爽天天干| 亚洲V国产V欧美V久久久久久| 高清无码网址| 噼里啪啦在线观看免费完整版视频| 久久久免费精彩视频| 婷婷午夜天| 99欧美| 亭亭五月丁香五月天激情| 五月婷视频在线| 狠狠色噜噜狠狠| 婷婷五月天网址| 97视频91| 色激情五月天| 五月天激情婷婷| 99精品国产在热久久| 色婷婷激情四射视频| 青青草原亚洲天堂| 国产成人AV| 色色五月激情| 色播五月| 久久一热| 色爱终和网| 欧美激情五月天在线观看| 婷婷五月天激情电影| 亚洲av| 九九色影院| 婷婷综合色五月天| 五月丁香激情啪啪| 超碰人人操| 丁香九月色| 青青久在线视频免费观看| 另类小说色婷婷| 激情视频婷婷五月花| 玖玖九九超碰| 亚洲AV日韩在线观看| 免费精品99| 五月天婷婷久久视频| 91无码视频| 激情综合五月婷婷六月丁香| 五月丁激情| 五月丁香亭亭成人电影| 99热99色| 欧美日韩一a.无| 色五月激情| 日本久久性| 亚洲碰碰碰| 成人在线综合| 伊人久久大香线蕉亚洲五月天,| 日本久久网| 欧美色五月| 亚洲操逼网| www.激情五月天。com| 九九熱最新視頻| 婷婷五月天综合AV| 丁香五月婷婷啪| www.99久| 日本3级片偷拍网站| 香蕉操亚洲| 五月婷婷在线丁香| 色五月婷婷激情五月| 九九九成人在线视频| 婷婷五月丁香综合激情| 婷婷色在线| 日韩性视频| 色综合久久天天综合网| yazhou seshipin| 99热这里只有是亚洲国产| 99热国产这里只有精品| 久久免片| 1024人妻| 婷婷丁香社区| www.久操| 天天骑日日爽| 一起草无码视频| 干婷婷五月天| 噜噜久| 亚洲婷婷91丁香| 国产又爽又猛又粗的视频A片| 90色免费视频| AV操逼网| 亚洲中字AV电影在线网站| 校花娇喘呻吟校长陈若雪视频| 亚洲黄色操逼| 丁香五月婷婷六月婷婷| 丁香色综合| 久久久人妻| 日韩成人综合网| 婷婷五月天99综合网站| 色情五月天。| AV天堂婷婷五月天| 99色在线视频| 亚洲综合碰| 精热在线综合网| 婷婷性爱无码视频| 人妻激情在线| 五月婷无码| 亚洲色五月天是什么| 色五月婷婷大香蕉| 丁香五月婷婷色| 亚洲情欲久久| 免費亭亭成人| 日本九九网| 亚洲av电影网站| 婷婷五月综合欧美在线播放| 丁香五月欧美午夜视频| 色综色网| 欧美色六月婷婷| 中文AV网站| 99热国产在线| 五月天小说激情| 91丨九色丨东北熟女| 成人丁香色| 婷婷五月综合啪| 综合99久久天天综合| 亚洲综合久| 婷婷久久五月丁香| 五月丁香婷婷爱| 国产SUV精品一区二区6| 丁香五月综合婷婷| 天天色噜| 综合久久婷婷99| 99热在线观看这里只有精品| 亚洲妇女熟BBW| 九月婷婷久久久| 国产97色在线| www.久久久久久| 国产精品热搜丁香五月婷婷| 97日本操| 丁香五月六月欧美| 色.五月综合网| 精a品a视a频| 97干免费视频| 日韩成人免费电影| 99热在线播放| 俺五月| 51精品国自产在线| 密黄站| 色综合久| 99免费视频精品| 丁香五月婷婷影视先锋| 天天情色五月天| 久久色大香蕉| 婷婷五月天激情视频| 久久婷鲁| 色综合丁香婷婷| 综合大香蕉| 国产精品色| 国产亚洲色婷婷99精品| 五月丁香六月天| 五月综合六月婷婷| 9久9久| www.久久99| 人妻系列久久久久久久久久久| 婷婷五月激情丁香| 六月丁香婷婷网| 久久五月婷婷丁香| 99热综合| 色中色综合| 六月丁香啪啪| 亚洲三A| 少妇达人正片在线播放_ikun_福利吧| www.超碰在线| 97很鲁在线视频| 五月成人综合| 97在线精品| 情色五月天 网站| 色色丁香五月天| 性婷婷| AV六月丁香| 另类图片激情五月| 五月丁香婷婷激激激综合网色播| 国产精品岛国片在线观看免费| 色婷久久| 五月婷婷综合久久| 站长推荐无码播放| 成 人片 黄 色 大 片| aa久久| www.99成人视频| 5月色亭亭视频| 大香蕉久久婷婷| 婷婷导航| 午夜天堂啪啪| 五月婷婷九| 日日想日日夜日日操| 精品综合爱| 香蕉AV777XXX色综合一区| 色欲一区二区三区精品A片| 色五月久久成人婷婷| 色色免费网站| WWW、99热| 激情婷婷五月| 91色在线 | 日韩| 五月婷婷视频28| 五月丁香网av| 亚洲综合婷婷| 婷婷久久18| 亚洲国产精品SUV| 另类视频五月天| 新激情五月天天在线网| 色吧五月婷婷| 九月丁香亭亭| 热中文字幕| 91精品久久久久久综合五月天| 超碰无码老师| 91精品91久久久久77777| 九九99九九精品免费 | 日韩成人中文字幕| 伊人玖玖婷婷| 79精品视频在线观看,| 丁香美女主播视频在线观看| 久久婷婷五月国产激情综合片| 五月婷五月婷伊人伊人五月婷| 色综合激情| 99久久精| 五月婷婷综合网在线播放| 婷婷五月天激情网| 色九月婷婷| 婷婷六月丁香开心深深爱| 五月丁香激情片| 久久网站免费亚洲| 色色色精品无码区| 先锋资源 996| 人人视频人人干人人做| 亚洲五月天另类小说图片| 九九爱激情| 国产性爱一级| 综合色播| 另类少妇人与禽zOZZ0性伦| 91久久久久久| 无码人妻丰满熟妇奶水区码| 99日热在线视频| 婷婷五月丁香香蕉| 五月婷丁香花| 久久A热| 五月天色裸体视频| 亚洲99在线| 五月天婷婷基地| 婷婷亚洲在线| 综合色吧| www.狠狠色.com| 色五月激情婷婷| 日韩操人| 国产婷婷色综合AV蜜臀AV | 九九精品丁香花| 国产成人网址| 久久这里只有精品视频1| 9月色婷婷| 欧美成人精品三区综合A片| AV中文字幕夜夜操b天天摸bb| 少妇激情基地| 99视频在线精品免费观看2| 97人人搞| 中文字幕丰满乱孑伦无码专区| 日韩成人电影在线播放| 日韩六六久久电影| 五月激情啪啪啪| 国产,欧美,学生妹,视频| 91久久久久久| 夜夜夜夜夜骑撸| 激情五月丁香五月| 激情综合网站| 99色色网站| 玖玖视频福利| 五月丁香六月| 五月激情四射网站| 99久久66| 久久婷丁香五月| 老司机视频lsj爱就色| 色九月婷婷丁香| 六月婷色六月| 婷婷在线视频| 色丁香五月天射婷婷爱婷婷| 新伍月婷婷| 亚洲熟妇AV乱码在线观看| 欧日韩成人| 五月婷婷六月色| 欧美综合五月天婷婷tin| 人妻久热| 一级黄色尤物综合视频手机在线观看| 免费精品99| 五月丁香久久色| 五月丁香龟婷婷| 人人摸人人干| 青青操绿aaa一区日v| 五月天天综合| 五月婷婷|欧美| 婷婷五月天电影区小说区| 亚洲视频在线网站| http://www.lingjunshare.com/ | 拳交大逼| 变态另类色图| 五月婷婷说| 日本综合九九| 99在这里有精品| 五月 婷 久| 五月婷婷在线免费| 91九色精品| 亚洲 视频 导航 一区| 人伦30P| 夜夜夜夜夜操| 中文字幕在线免费观看视频| 色色婷婷丁香| 97激情五月天| 激情图片亚洲| 丁香五月23111| HD久久精品视频| 亚洲性爱电影| 99r这里只有精品哦| 99热热热99精品婷婷| 99热这里只有精品50| 男人的天堂av俄罗斯热| 91九色欧美| 久久五月婷| 超碰成人公开| 五月丁香影视| 亚洲中文丁香| 成人免费超碰| 色激情综合| 久久99婷婷| 久久激情综合| 婷婷五月无码| 色丁香久久| 伊人久久丁香五月91| 五月婷婷六月丁香综合| 亚洲操操| 婷婷五月色综合香五月| 开心五月网| 九九家庭影院| 1024成人在线观看| 天堂成人A片永久免费网站| 天天爽天天| 五月色亭丁香| 色色色五月| 人妻丰满精品一区二区A片| 丁香婷婷影院| 久热只有这里有精品| 奇米四色五月天| 色五月婷婷久久| 中文字幕久久一区二区三区| 日亚二欧美| 婷婷丁香无码专区| 婷婷六月丁香五月| 99re6久热只有精品6在线直播| 天天免费成年人视频| 久热婷婷在线视频| 狼人伊人天堂| 丁香五月婷婷基地| 99男人的天堂| 色吧综合网| 91精品无码| 5五月综合网亚洲| 激情综合网激情五月丁香| 五月婷婷在线视频免费观看| 五月婷婷九九热| 99欧美热| 久草热8精品视频在线观看| 欧美日韩123| 九九机热| 激情五月综合色婷婷| 97综合在线| 成人av观看| 欧美操综合| 91人人爽人人操| 青吴乐视频| 亚洲激情综合| 啊v视频在线观看| 99色在线观看视频| 九九视频热| 色色婷五月天| 婷婷五月丁香六月伊人网| 激情五月天在线观看婷婷| 久久免费试看120秒| 91九九九九| 五月综合久久| 久久久网站| 激情亚洲网| 亚洲另类在线观看| 亚洲妇女熟BBW| 熟女人妻视频| 亚洲最大成人综合网720P| 五月综合激情久久| 丁香五月激情啪啪综合| 日本色超碰| www一起操| 亚洲欧美婷婷五月色综合| 91婷婷色五月| 玖玖国产视频一区| 欧美群妇大交乱婬网| 人妻videos人妻高清| 深爱丁香激情| 婷婷色正月| 亚洲色色色| 99ri视频| 五月天激情小说| 五月天久久婷| 五月开心啪啪| 色色色婷婷五月天| 五月婷婷亚洲天堂激情在线| 草婷婷在线| 免费观看的av| 九九热在线精品视频| 久久婷婷五月综合色丁香花| 五月丁香婷婷五月色| 色级婷婷| 夜色综合网| 色色啊| 亚洲婷婷开心五月| 俺去也五月| 色情五月婷婷| 欧美婷婷丁香五月| 五月丁香婷婷婷激情爱爱| 色婷婷狠狠干| 久久婷婷成人综合色怡春院| 久久激情视频| 日本精品。999| 热五月婷婷| 婷婷色中文字幕| 开心五月婷婷婷美女| 国产乱码久久| 人人爱国产| 538在线精品| 7超碰自拍| 色色色色色色色色色999| 五月天激情四射| 婷婷综合在线网| 十月丁香婷婷| 开心激情网在线| 超碰色女| 五月丁香婷在线| 婷婷色中文字幕| 婷婷五月丁香花综合| 亚洲狠狠狠| 国产熟女一区二区三区五月婷| 婷婷色五月综合| 久青操| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | 国产精品岛国片在线观看免费| 天天摸天天爽| 成人短视频在线观看| 五月天激情四射| 可以免费观看的AV| 亚洲综合五月天婷婷| 激情五月激情综合俺也去婷婷小说| 国产密乳av一区二区三区四区| 九九热精品| 丁香色五月婷婷17C| 日本色色网站| 另类国产区| 天天爽天天摸人妻综合网| 人妻熟人中文字幕一区二区| 深爱五月月天| 五月色婷婷综合| 色欲五月婷婷| 91九色熟女| 成人 在线 日韩| 亚洲成人在线免费| 久久只有这里精品免费| 欧美色五月| 激情综合婷婷| 欧美午夜乱妇午夜福利| 99福利视频| 五月天开心色色网| 五月丁香久久丝袜啪啪| 一二线视频 另类| 五月天激情网页| 丁香五月婷中字在线| 丁香网五月天激情| 四月婷婷五月丁香| 精品人人操| 婷婷爱综合| 丁香婷婷综合影院| 97碰碰视频| www,久久久| 久久久99精品免费观看| 五月婷婷在线观看| 婷婷丁香五月天影院| 六月婷婷激情| 青青五月天婷婷| 草了bav视频在线观看| 操逼棍操逼| 婷婷丁香社区| 性爱综合网| 五月丁香网中文字幕| 五月综合激情网| 狠狠爱激情网| 婷婷五月天在线观看| 99热国内| 五月狠狠| 五月天综合在线| 亚洲性色XXXXX| 麻豆雪千夏| 日韩精品无码一区二区| 五月天丁香成人社| 九九色99| 婷婷成人av| 五月丁香啪啪| 久热超碰91| WWW.开心五月天.COM| 97在线精品| 激情五月综合免费| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 中文字幕第四色.999| 99色在线视频| 色欲一区二区三区精品A片| 久久婷婷视频| 五月婷婷丁香五月| 丁香成人五月天| 另类激情五月在线视频欧美| 国产99视频永久免费| 色碰干| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 色色国产| 婷婷五月色网| 婷婷久久国产视频| 丁香丁婷五月激情| 婷婷色啪| 2022人人操人人看| 天天做天天爱| 丁香五月色情| 亚洲蜜乳AV| 狠狠干最新地址| 欧美激情性做爰免费视频| 热久国产| 网站免费一站二站| 深爱激情69热| 丁香婷在线| 婷婷激情网五月天| 五月天自拍视频| 777精品成人a v久久| 五月婷婷在线短视频| 五月婷婷啪啪啪| 激情丁香九九五月综合网| 丁香五月777| 操逼视频一区| 91九色视频| 五月丁香综合| 人人澡天天色天天做| 激情五月天婷婷图| 五月天狠狠网站| 丁香香五月激情免费视频| 99色视频| 久久婷婷六月综合资源| 日韩AV在线免费观看| 夜夜资源站| 人妻性操逼中文字幕 国产| 久久激情综合| 66精品国产成人| 婷婷丁香五月天欧美| tingting五月天亚洲| 丁香五月综合在线| 激情五月天伊人影院| 激情综合网色播五月| 日本超碰在线| 天天日天天舔| 激情色五月天| 亚洲视频国产一区| 色五月婷色彩免播放器| 婷婷五月激情基地| 这里只有精品视频在线看| 九九热在线观看视频| 亚洲天堂热| 亚洲五月天婷婷| 五月综合激情啪啪啪啪啪| 日本人人草草| 日韩另类| 99亚洲色| 色婷婷www| 美日韩成人| 色色五月天com| 玖热精品综合视频| 亚洲最大五月六月丁香婷婷|