欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Linux下C/C++運(yùn)行時(shí)調(diào)用?;厮荩簭腷acktrace到符號解析的工程實(shí)踐

Linux下C/C++運(yùn)行時(shí)調(diào)用?;厮荩簭腷acktrace到符號解析的工程實(shí)踐 程序跑著跑著突然崩了日志里只有一句“Segmentation fault”連是哪個(gè)函數(shù)、哪一行出的問題都不給這種場景但凡在Linux下寫過C/C的人應(yīng)該都遇到過。尤其是線上服務(wù)core文件不一定開、gdb不一定裝、復(fù)現(xiàn)還不一定穩(wěn)最后只能靠加打印一行行猜。其實(shí)Linux本身提供了一套相當(dāng)成熟的運(yùn)行時(shí)調(diào)用?;厮輽C(jī)制能在程序活著的時(shí)候把當(dāng)前函數(shù)調(diào)用鏈、返回地址、甚至對應(yīng)的源文件和行號直接打出來不需要掛調(diào)試器也不需要等崩潰。這篇就圍繞“程序運(yùn)行時(shí)打印調(diào)用棧信息”這件事把backtrace、符號解析、行號還原、編譯選項(xiàng)配合、以及實(shí)際落地時(shí)那些文檔里不會(huì)寫的坑完整拆一遍。適合已經(jīng)能寫C程序、但被線上問題折磨過、想把自診斷能力做進(jìn)代碼里的開發(fā)者參考也適合剛接觸Linux調(diào)試體系、想搞明白“?;厮莸降自趺垂ぷ鳌钡呐笥选?. 先搞清楚運(yùn)行時(shí)?;厮莸降自诮鉀Q什么問題很多人第一反應(yīng)是“崩潰了用gdb看不就行了”。這話在本地開發(fā)階段沒錯(cuò)但放到真實(shí)場景里就站不住了。我先把運(yùn)行時(shí)打印調(diào)用棧和傳統(tǒng)調(diào)試手段的差異擺出來你就明白為什么值得單獨(dú)做一套機(jī)制。1.1 調(diào)試器依賴與線上環(huán)境的現(xiàn)實(shí)矛盾gdb這類工具的工作前提是你能在出問題的機(jī)器上啟動(dòng)它、能拿到可執(zhí)行文件、能拿到符號信息、最好還能復(fù)現(xiàn)。這四條在線上環(huán)境里經(jīng)常同時(shí)不成立。生產(chǎn)機(jī)器為了精簡和安全通常不會(huì)裝完整的調(diào)試工具鏈可執(zhí)行文件可能被strip過core dump策略出于磁盤考慮往往是關(guān)閉的偶發(fā)問題更是難以穩(wěn)定復(fù)現(xiàn)。這時(shí)候你手里剩下的唯一線索就是程序自己愿意吐出來的日志。運(yùn)行時(shí)?;厮莸暮诵膬r(jià)值就在這它把“事后調(diào)試”變成了“事中自證”。程序在關(guān)鍵路徑上主動(dòng)調(diào)用一次回溯把當(dāng)前調(diào)用鏈寫進(jìn)日志問題發(fā)生時(shí)你直接翻日志就能看到調(diào)用路徑不需要任何外部工具介入。這相當(dāng)于給程序內(nèi)置了一個(gè)輕量級的現(xiàn)場記錄儀。1.2 調(diào)用棧在內(nèi)存里長什么樣要理解怎么打印得先知道棧上有什么。x86-64架構(gòu)下函數(shù)調(diào)用靠的是棧幀stack frame鏈。每次調(diào)用被調(diào)函數(shù)會(huì)在棧上保存調(diào)用者的棧基址rbp形成一個(gè)鏈表結(jié)構(gòu)當(dāng)前rbp指向的棧單元里存著上一層rbp再上一層又存著更上一層的rbp。順著這條鏈一路往上走就能把每一層的返回地址return address收集起來。返回地址是關(guān)鍵它指向“調(diào)用指令的下一條指令”也就是函數(shù)執(zhí)行完要回到的位置。把這個(gè)地址映射回符號表就能知道它屬于哪個(gè)函數(shù)再結(jié)合調(diào)試信息就能還原出源文件和行號。所以整個(gè)回溯過程本質(zhì)上是三步沿棧幀鏈?zhǔn)占祷氐刂?→ 地址轉(zhuǎn)符號 → 符號轉(zhuǎn)行號。后面所有工具和接口都是圍繞這三步做封裝。注意編譯器優(yōu)化會(huì)破壞棧幀鏈。開啟幀指針省略-fomit-frame-pointer后rbp被挪作通用寄存器鏈就斷了。這是后面要專門處理的一個(gè)大坑。1.3 三種主流實(shí)現(xiàn)路徑的取舍Linux下做運(yùn)行時(shí)回溯常見的有三條路各有適用邊界方案依賴優(yōu)點(diǎn)局限glibc backtraceexecinfo.h零額外依賴接口極簡依賴幀指針優(yōu)化后可能不全libunwind獨(dú)立庫支持DWARF展開優(yōu)化代碼也能回溯需引入第三方庫接口略重編譯器內(nèi)建__builtin_return_address無依賴只能逐層取層數(shù)需手動(dòng)控制大多數(shù)項(xiàng)目我會(huì)優(yōu)先用glibc的backtrace因?yàn)樗銐蚝唵?、夠用配合正確的編譯選項(xiàng)能覆蓋九成場景。只有在高度優(yōu)化、幀指針被徹底省略且無法改編譯選項(xiàng)的情況下才考慮libunwind。這個(gè)取舍邏輯后面會(huì)展開講。2. glibc backtrace接口的用法與符號解析鏈路選定方案后真正動(dòng)手時(shí)你會(huì)發(fā)現(xiàn)backtrace本身只有兩個(gè)函數(shù)但“打印出人能看懂的信息”這件事難點(diǎn)全在符號解析上。這一章把接口用法和解析鏈路講透。2.1 backtrace與backtrace_symbols的分工glibc提供的核心接口就兩個(gè)#include execinfo.h int backtrace(void **buffer, int size); char **backtrace_symbols(void *const *buffer, int size);backtrace負(fù)責(zé)填充地址數(shù)組返回實(shí)際抓到的層數(shù)backtrace_symbols負(fù)責(zé)把地址數(shù)組翻譯成字符串?dāng)?shù)組。這里有個(gè)容易忽略的點(diǎn)backtrace_symbols內(nèi)部會(huì)malloc一塊內(nèi)存來存放所有字符串用完必須手動(dòng)free否則每次調(diào)用都漏一塊。而backtrace_symbols_fd是它的兄弟接口直接把結(jié)果寫到文件描述符不經(jīng)過malloc在信號處理函數(shù)里更安全。一個(gè)最小可用的封裝大概長這樣#include execinfo.h #include stdio.h #include stdlib.h void print_stack(void) { void *buffer[64]; int nptrs backtrace(buffer, 64); char **strings backtrace_symbols(buffer, nptrs); if (strings NULL) { perror(backtrace_symbols); return; } for (int i 0; i nptrs; i) { printf(%s\n, strings[i]); } free(strings); }跑起來輸出大概是這樣一行行的./demo(0x11a9) [0x55f...] ./demo(0x1256) [0x55f...] /lib/x86_64-linux-gnu/libc.so.6(0x29d90) [0x7f...]看到問題了嗎只有偏移地址沒有函數(shù)名沒有文件名行號。這就是很多人第一次用backtrace后覺得“沒啥用”的原因——接口給了但符號沒解析出來。2.2 為什么默認(rèn)輸出只有偏移地址backtrace_symbols的輸出質(zhì)量取決于可執(zhí)行文件里有沒有動(dòng)態(tài)符號表。默認(rèn)編譯出來的程序符號表里只有動(dòng)態(tài)鏈接需要的少量符號函數(shù)名大多不在其中所以只能顯示“模塊名偏移”。要讓它顯示函數(shù)名編譯時(shí)必須加-rdynamic等價(jià)于鏈接時(shí)加--export-dynamic把所有符號導(dǎo)出到動(dòng)態(tài)符號表。gcc -g -rdynamic demo.c -o demo加上之后輸出會(huì)變成./demo(print_stack0x1a) [0x55f...] ./demo(main0x2c) [0x55f...]函數(shù)名有了但文件名和行號還是沒有。因?yàn)閎acktrace_symbols只查符號表不查調(diào)試信息。行號還原是另一套機(jī)制得靠addr2line或者dladdr配合調(diào)試段來完成。2.3 用addr2line把地址還原成文件行號拿到偏移地址后最直接的行號還原方式是調(diào)用addr2line。但注意backtrace_symbols給的是“模塊內(nèi)偏移”而addr2line需要的是“虛擬地址減去模塊加載基址”后的偏移兩者在非PIE程序里恰好一致在PIE程序里需要做減法。這就是為什么很多人直接拿輸出地址喂給addr2line結(jié)果得到??:0。正確做法是先用dladdr拿到模塊基址算出真實(shí)偏移再交給addr2line。或者更省事——直接在程序里用backtrace_symbols拿到帶偏移的字符串解析出偏移值再拼成addr2line -e 模塊名 偏移去執(zhí)行。不過運(yùn)行時(shí)fork子進(jìn)程執(zhí)行外部命令有性能和安全性顧慮更優(yōu)雅的方案是鏈接libbfd或libdw在進(jìn)程內(nèi)解析但那就重了。我的經(jīng)驗(yàn)是開發(fā)調(diào)試階段用addr2line腳本后處理日志完全夠用線上環(huán)境如果確實(shí)需要行號優(yōu)先在編譯時(shí)保留調(diào)試信息并用libdw做進(jìn)程內(nèi)解析或者干脆接受“函數(shù)名偏移”這個(gè)粒度。因?yàn)榻^大多數(shù)線上問題定位到函數(shù)名就已經(jīng)能圈定范圍了行號屬于錦上添花。2.4 一個(gè)可直接復(fù)用的解析腳本把日志里的地址批量還原成行號我常用這么一段shell#!/bin/bash # 用法: ./resolve.sh 可執(zhí)行文件 日志文件 BIN$1 LOG$2 grep -oP 0x[0-9a-f] $LOG | while read addr; do echo -n $addr - addr2line -e $BIN -f -C $addr done-f輸出函數(shù)名-C做C符號demangle。這個(gè)腳本在排查偶發(fā)崩潰時(shí)救過我很多次——日志里存著原始地址事后拿對應(yīng)版本的可執(zhí)行文件一跑調(diào)用鏈清清楚楚。前提是可執(zhí)行文件版本必須和產(chǎn)生日志的版本完全一致否則地址對不上這是硬約束。3. 編譯選項(xiàng)決定回溯質(zhì)量-g、-rdynamic與幀指針的三角關(guān)系上一章反復(fù)提到編譯選項(xiàng)這一章專門把它們之間的關(guān)系理清楚。因?yàn)檫\(yùn)行時(shí)回溯能不能用、好不好用八成取決于編譯時(shí)怎么配。3.1 -g與調(diào)試信息的取舍-g生成DWARF調(diào)試信息是行號還原的前提。沒有它addr2line只能給出函數(shù)名還得有符號表給不出文件和行號。但-g會(huì)讓可執(zhí)行文件顯著變大線上發(fā)布時(shí)很多人會(huì)strip掉。這里有個(gè)折中技巧用-g編譯但發(fā)布時(shí)用objcopy --only-keep-debug把調(diào)試信息單獨(dú)抽成一個(gè).debug文件存起來主程序strip掉調(diào)試段但保留符號表。這樣線上程序體積可控出問題時(shí)拿.debug文件配合addr2line照樣能還原行號。gcc -g -rdynamic demo.c -o demo objcopy --only-keep-debug demo demo.debug strip --strip-debug demo # 事后解析 addr2line -e demo.debug -f -C 0x11a9這套流程我在多個(gè)項(xiàng)目里用過兼顧了體積和可診斷性值得固化進(jìn)構(gòu)建腳本。3.2 -rdynamic到底改了什么前面說過-rdynamic讓函數(shù)名出現(xiàn)在輸出里但它的實(shí)際作用是把所有符號加入動(dòng)態(tài)符號表.dynsym而不只是鏈接需要的那些。副作用是可執(zhí)行文件的動(dòng)態(tài)符號表變大加載時(shí)符號解析稍慢一點(diǎn)點(diǎn)但通??梢院雎?。需要提醒的是-rdynamic只影響“能不能看到函數(shù)名”不影響行號。有人加了-rdynamic發(fā)現(xiàn)還是沒有行號就以為選項(xiàng)沒用其實(shí)是把兩件事混為一談了。函數(shù)名靠符號表行號靠調(diào)試信息兩條獨(dú)立的鏈路。3.3 幀指針省略最隱蔽的回溯殺手這是最容易踩的坑?,F(xiàn)代編譯器在-O2及以上默認(rèn)開啟-fomit-frame-pointer把rbp省出來當(dāng)通用寄存器用。結(jié)果就是棧幀鏈斷裂backtrace只能抓到當(dāng)前函數(shù)和少數(shù)幾層再往上就亂了或者提前終止。解決辦法有兩個(gè)編譯時(shí)顯式加-fno-omit-frame-pointer強(qiáng)制保留幀指針。代價(jià)是少一個(gè)通用寄存器性能有輕微損失通常1%以內(nèi)絕大多數(shù)場景可接受。改用libunwind它基于DWARF的CFI信息做棧展開不依賴幀指針。代價(jià)是引入依賴、接口更復(fù)雜。我的建議是如果項(xiàng)目能控制編譯選項(xiàng)優(yōu)先-fno-omit-frame-pointer glibc backtrace簡單可靠如果是接手的遺留系統(tǒng)、編譯選項(xiàng)動(dòng)不了再上libunwind。這個(gè)決策順序能省掉大量折騰。3.4 一組推薦的編譯配置綜合下來需要運(yùn)行時(shí)回溯的模塊我一般用這套CFLAGS -g -O2 -fno-omit-frame-pointer -rdynamic-g保行號-O2保性能-fno-omit-frame-pointer保棧幀鏈-rdynamic保函數(shù)名。四個(gè)選項(xiàng)各司其職缺一個(gè)回溯質(zhì)量就掉一檔。如果對體積敏感再疊加前面說的debug文件分離方案。提示-O2配合-fno-omit-frame-pointer時(shí)某些內(nèi)聯(lián)函數(shù)仍然不會(huì)出現(xiàn)在棧里因?yàn)閮?nèi)聯(lián)本質(zhì)上是把函數(shù)體展開沒有獨(dú)立棧幀。看到調(diào)用鏈“缺層”先別懷疑工具想想是不是被內(nèi)聯(lián)了。4. 把回溯嵌進(jìn)真實(shí)代碼信號處理與日志落地的工程細(xì)節(jié)接口會(huì)用了、編譯選項(xiàng)配好了接下來是把它嵌進(jìn)真實(shí)項(xiàng)目。這一步的坑不在API而在“什么時(shí)候調(diào)、在什么上下文調(diào)、結(jié)果往哪寫”。4.1 在信號處理函數(shù)里打印崩潰棧最常見的落地場景是捕獲崩潰信號SIGSEGV、SIGABRT等在信號處理函數(shù)里打印調(diào)用棧。但信號處理函數(shù)有嚴(yán)格的異步信號安全約束只能調(diào)用可重入函數(shù)不能malloc不能用printf。而backtrace_symbols內(nèi)部會(huì)mallocprintf也不是異步信號安全的。所以信號處理里應(yīng)該用backtracebacktrace_symbols_fd的組合直接寫文件描述符#include signal.h #include execinfo.h #include unistd.h #include fcntl.h static void crash_handler(int sig) { void *buffer[64]; int nptrs backtrace(buffer, 64); int fd open(/tmp/crash.log, O_WRONLY | O_CREAT | O_APPEND, 0644); if (fd 0) { backtrace_symbols_fd(buffer, nptrs, fd); close(fd); } signal(sig, SIG_DFL); raise(sig); }注意最后兩行恢復(fù)默認(rèn)處理并重新raise讓程序按正常流程終止該產(chǎn)生core還是產(chǎn)生core而不是被我們的handler吞掉。這個(gè)細(xì)節(jié)很多人漏掉導(dǎo)致崩潰被“吃掉”、進(jìn)程狀態(tài)異常。4.2 主動(dòng)埋點(diǎn)在關(guān)鍵路徑而非只等崩潰信號處理只能抓崩潰但很多問題不崩潰——比如邏輯卡死、返回了錯(cuò)誤結(jié)果、性能突然劣化。這類場景更適合在關(guān)鍵路徑上主動(dòng)埋點(diǎn)條件觸發(fā)時(shí)打印當(dāng)前棧。比如一個(gè)請求處理函數(shù)檢測到耗時(shí)超過閾值就把當(dāng)前調(diào)用棧打出來if (elapsed_ms 500) { log_warn(slow path detected, dumping stack:); print_stack_to_log(); }這種“條件回溯”比無差別打印有用得多日志量可控信噪比高。我在一個(gè)服務(wù)里給慢查詢加了這套很快就定位到某個(gè)鎖競爭導(dǎo)致的偶發(fā)卡頓比翻監(jiān)控指標(biāo)快多了。4.3 日志落地的幾個(gè)實(shí)操約束回溯信息寫日志時(shí)有幾個(gè)細(xì)節(jié)值得注意加時(shí)間戳和線程ID。多線程程序里光有調(diào)用棧不知道是哪個(gè)線程打的等于白打。用syscall(SYS_gettid)拿內(nèi)核線程ID和日志框架的線程標(biāo)識(shí)對齊。限制層數(shù)。64層通常夠用太深既拖慢速度又刷屏。遞歸調(diào)用特別深的場景可以適當(dāng)調(diào)大但要評估開銷。控制頻率。高頻路徑上無條件打印會(huì)拖垮性能務(wù)必加條件或采樣。注意日志切割。崩潰棧往往一次寫一大段如果日志框架有單條長度限制可能被截?cái)嘁崆按_認(rèn)。4.4 多線程環(huán)境下的一個(gè)隱蔽問題backtrace本身是線程安全的但如果你在信號處理里打印而信號可能打斷任意線程就要小心信號處理函數(shù)運(yùn)行在被打斷線程的棧上此時(shí)backtrace抓到的棧是“信號處理函數(shù) 被打斷位置”的混合棧前幾層是信號框架真正的崩潰點(diǎn)要往下找。這個(gè)特性不是bug但解讀日志時(shí)要知道別被前幾層__restore_rt之類的框架函數(shù)迷惑。5. 踩過的坑與排查鏈路實(shí)錄這一章不講新接口專門復(fù)盤幾個(gè)真實(shí)踩過的坑把排查過程完整走一遍因?yàn)檫@些東西文檔里基本不會(huì)寫。5.1 加了-rdynamic還是只有地址一次完整的定位過程現(xiàn)象按文檔加了-rdynamicbacktrace_symbols輸出依然是./demo(0x11a9)沒有函數(shù)名。排查鏈路先確認(rèn)選項(xiàng)真的生效了。用readelf -s demo | grep FUNC看動(dòng)態(tài)符號表里有沒有目標(biāo)函數(shù)。結(jié)果發(fā)現(xiàn)目標(biāo)函數(shù)不在.dynsym里。懷疑是靜態(tài)函數(shù)。檢查代碼果然是static void helper()。靜態(tài)函數(shù)不導(dǎo)出到動(dòng)態(tài)符號表-rdynamic也救不了。驗(yàn)證把static去掉重新編譯函數(shù)名出現(xiàn)了。結(jié)論-rdynamic只導(dǎo)出有外部鏈接屬性的符號static函數(shù)天然不可見。如果確實(shí)需要回溯靜態(tài)函數(shù)只能靠調(diào)試信息addr2line而不是符號表。這個(gè)區(qū)分很關(guān)鍵很多人卡在這里以為是選項(xiàng)沒生效。5.2 回溯只有兩層就斷了幀指針被優(yōu)化掉現(xiàn)象backtrace返回的層數(shù)明顯偏少調(diào)用鏈在中間某處就斷了。排查鏈路用objdump -d demo | grep -A2 func:看函數(shù)序言發(fā)現(xiàn)沒有push %rbp; mov %rsp,%rbp說明幀指針被省略了。確認(rèn)編譯選項(xiàng)果然帶了-O2且沒加-fno-omit-frame-pointer。加上該選項(xiàng)重編層數(shù)恢復(fù)正常。這個(gè)坑的隱蔽之處在于程序功能完全正常只有回溯不全不專門驗(yàn)證根本發(fā)現(xiàn)不了。所以我的習(xí)慣是凡是依賴回溯的模塊構(gòu)建后跑一個(gè)自檢用例斷言回溯層數(shù)達(dá)到預(yù)期把這個(gè)問題擋在發(fā)布前。5.3 addr2line返回??:0的三種原因拿到地址喂給addr2line卻得到??:0原因通常有三類現(xiàn)象原因解決全部??:0可執(zhí)行文件沒帶-g重新用-g編譯或用對應(yīng)debug文件部分??:0地址是PIE偏移未減基址用dladdr算基址后相減特定函數(shù)??:0該地址落在庫函數(shù)內(nèi)換對應(yīng)庫的debug符號文件第三類最容易被忽略調(diào)用棧里混著libc的函數(shù)拿主程序的debug文件去解析libc地址當(dāng)然解不出。要針對每個(gè)模塊用各自的符號文件。5.4 信號處理里用printf導(dǎo)致的二次崩潰現(xiàn)象崩潰時(shí)打印棧結(jié)果程序直接卡死或又崩一次日志沒寫出來。原因信號處理函數(shù)里調(diào)了printf而printf內(nèi)部有鎖和緩沖區(qū)操作不是異步信號安全的。如果信號恰好打斷了printf自身就會(huì)死鎖。修復(fù)改用write或backtrace_symbols_fd直接寫fd全程不碰stdio。這個(gè)坑的教訓(xùn)是信號處理函數(shù)里能用什么、不能用什么必須嚴(yán)格對照異步信號安全函數(shù)列表憑直覺寫遲早出事。6. 性能開銷評估與生產(chǎn)環(huán)境的啟用策略最后聊聊大家最關(guān)心的這玩意兒到底多慢線上能不能常開。6.1 單次回溯的耗時(shí)構(gòu)成一次完整回溯的耗時(shí)主要在三塊抓地址backtrace本身微秒級、符號解析backtrace_symbols涉及內(nèi)存分配和符號查找?guī)资綆装傥⒚搿懭罩救Q于IO。實(shí)測在普通x86機(jī)器上抓64層地址加符號解析單次大約在幾十微秒量級具體隨層數(shù)和符號數(shù)量浮動(dòng)。這個(gè)開銷放在低頻路徑崩潰處理、慢請求告警完全無感放在每秒幾十萬次的高頻路徑上就是災(zāi)難。所以啟用策略的核心是按場景分級而不是一刀切。6.2 分級啟用策略我一般這么分崩潰信號處理無條件啟用反正進(jìn)程要掛了開銷無所謂。錯(cuò)誤返回路徑條件啟用比如連續(xù)失敗N次才打一次避免刷屏。性能告警路徑采樣啟用比如每100次超閾值只打1次兼顧可觀測性和開銷。正常高頻路徑默認(rèn)關(guān)閉需要時(shí)通過配置或信號動(dòng)態(tài)打開。這種分級讓回溯能力“隨時(shí)可用但不常開”是生產(chǎn)環(huán)境的穩(wěn)妥做法。6.3 用信號動(dòng)態(tài)開關(guān)回溯一個(gè)實(shí)用技巧注冊一個(gè)用戶信號比如SIGUSR1收到時(shí)把全局的回溯開關(guān)翻轉(zhuǎn)。線上排查時(shí)給進(jìn)程發(fā)個(gè)信號就能臨時(shí)打開詳細(xì)回溯排查完再發(fā)一次關(guān)掉不用重啟、不用改配置。static volatile sig_atomic_t g_trace_on 0; static void toggle_handler(int sig) { (void)sig; g_trace_on !g_trace_on; }注意開關(guān)變量要用sig_atomic_t保證讀寫原子性。這個(gè)機(jī)制在定位偶發(fā)問題時(shí)特別好用相當(dāng)于給線上進(jìn)程裝了個(gè)可遠(yuǎn)程觸發(fā)的“探針”。6.4 別忘了驗(yàn)證回溯本身是否可靠最后強(qiáng)調(diào)一個(gè)容易被忽視的點(diǎn)回溯機(jī)制自己也可能出問題幀指針被優(yōu)化、符號被strip、地址算錯(cuò)。所以要有自檢手段——在啟動(dòng)時(shí)或測試用例里主動(dòng)打一次已知調(diào)用鏈的棧斷言層數(shù)和函數(shù)名符合預(yù)期。把回溯當(dāng)成一個(gè)需要測試的功能而不是“配了就一定對”的黑盒這個(gè)意識(shí)能幫你避免在真正出事時(shí)才發(fā)現(xiàn)回溯是壞的。我個(gè)人在實(shí)際項(xiàng)目里的體會(huì)是運(yùn)行時(shí)調(diào)用棧這套東西配起來不復(fù)雜難的是把編譯選項(xiàng)、符號解析、信號安全、性能開銷這幾件事同時(shí)照顧到。一開始圖省事只調(diào)backtrace結(jié)果線上真出事時(shí)發(fā)現(xiàn)只有地址沒有函數(shù)名那種感覺比沒有日志還難受。后來把-g -fno-omit-frame-pointer -rdynamic固化成模板、把debug文件分離寫進(jìn)構(gòu)建腳本、把信號處理和條件埋點(diǎn)做成通用組件才算真正把這套能力用起來。如果你現(xiàn)在正準(zhǔn)備給項(xiàng)目加這個(gè)能力建議先從崩潰信號處理這一條鏈路做通跑穩(wěn)了再往主動(dòng)埋點(diǎn)擴(kuò)展步子別邁太大。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
人人看人人草人人摸| 五月丁香婷婷激情视频| 99∨VTV| 五月婷婷六月激情| 国产美女无遮挡裸体毛片A片| 亚洲乱码日产精品BD| 二区成人视频| 婷婷丁香视频在线观看免费| 色五月丁香婷婷| www.色五月| 国产乱子轮XXX农村| 久久天堂色| 丁香五月香蕉| 婷婷五月视频| AV九九| 99操网站| 秋霞三级影视资源| 超碰资源在线| 琪琪布丁香社区激情五月天| 丁香婷婷色五月| 亚洲综合婷婷五月天| 婷婷五月天亚洲综合| 国产一级片| 九97免费视频| 五月婷成人网| 日韩av在线电影| 激情婷婷狠狠干综合| 欧美操我| 这里只有精品99www| 五月婷婷六月丁香综合在线| 国产日产亚洲系列最新| 婷婷丁香五月亚洲欧美| 五月天丁香婷婷社区| 日本99视频| 9999综合99综合人| 亚洲男人的天堂婷婷色五月| 夜夜爱网站| 婷婷激情97| 五月婷婷六月丁香免费| 日本爆乳片手机在线播放| 国产成人网址| 五月天丁香网| 天天干天天干天天干| 人妻熟女一区二区AV| 婷婷六月视频| 日本VA视频| 亚洲妇女熟BBW| 色欲五月婷婷| 婷婷五月六月丁香| 久久九九激情五月天| 任你爽精品免费视频6| 六月婷婷国产| 69精品人人人人| 97色片| 99性爱视频网站| 激情五月丁香五月| 五月丁香美女视频| 91天天操天天干天天射| 91九色欧美| 人妻操操色| 人妻人人操| Caoub青青超碰| 操操操av| 久久性爱视频| 性爱AV天堂| 免费视频无码| 国产免费一区二区三州老师F1F1……| 另类综合婷婷五月天欧美视频| 久久久久久欧美精品se一二三四| 欧美日韩999| 亚洲精品婷婷| 久久资源综合| 怡红院一二三| 久久六月综合| 可以看的AV网站| 在线视频婷婷| 久色网五月| 欧美日韩99| 婷婷五月天Av| 97色天堂| 成人电影在线免费试看| 色呦呦美女| 色婷婷色和| 五月丁香婷婷伊人| 91色综合久久| 五月天综合婷婷| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 五月婷婷干| 开心五月婷婷激情| 丁香婷婷五月天色综合| 色情综合| 色五月激情问网站| 国产欧美精品AAAAAA片| 五月天婷婷色播在线网| 激情五月成年| www.ppypp| 日韩AV在线影片| 亚洲五月天综合| 国产99久久久国产精品免费看| 婷婷八月激情| 国外亚洲成AV人片在线观看| 亚洲婷婷丁香五月视频| 日本性视频| 色操b| 操操操B| www天天干| 亚洲情综合五月天| 色五月大香蕉婷婷| 成人视频在线免费播放| 人人操AV| 97色婷| 久这里只有精品| 99久久这里只有精品| 欧美婷婷六月丁香综合色| 色五月激情网| 2025中文在线视频字幕免费观看| 激情综合网激情五月婷婷| 97色伦另类图片小说视频 | 99视频精品全部观看10| 五月激情网站| 夜夜躁爽日日| 午夜爱爱爱成人| 中国女人内射6XXXXX| 插少妇综合网| 激情五月天开心总和网| 激情综合国产| 99在线免费观看| 色八月婷婷| 裸体做A爰片毛片A片免费| 九九热在线视频,| 激情综合视频| 亚洲va综合va国产va中文| 婷婷五月综合色拍| 91九色首页| 乱抡小BB| 美国不卡视频| 欧美人妻一区二区| 久久视频九九视频| 九色无码| 五月综合激情网| 婷婷丁香五月天小说| 亚洲AV成人在线观看| 五月天婷久精视频| 天天艹天天综合网| 亚洲欧洲美女在线观| 五月丁香六月婷婷网| 插逼综合网| 婷婷久久网| 99极品视频| 五月丁香婷婷伊人日韩| 色丁香婷婷| 玖玖资源站国产| 成人无码精品1区2区3区免费看 | 欧美性二区| 极品人妻VIDEOSSS人妻| 激情五月天com| 亚洲婷婷91丁香| 日日干日日| 久久久精品人妻录| 欧美激情综合| 在线亚洲综合网| 操久久网| 99热这里只有精品最新网址| 五月天综合在线| 日韩丰满少妇无码内射| 婷婷欧美激情综合| 99精品在| 99欧州偷拍视频| 色色婷| 天天做天天爱天天玩夜夜爽| 九九99九九99偷拍视频免费看| 99成人| 婷婷五月天啪啪| 久久久大香蕉| 色婷婷色丁香色欲av| 久操福利| 色婷婷五月天不卡| 亚洲性天天| 色噜噜狠狠狠狠色综合久欧美| 五月丁香成年黄色| 丁香激情婷婷网| 4438激情网| 欧美成人精品A片免费一区99| 综合五月天完整| 成人在线视频网| 婷婷五月色播天| 婷婷无码视频| 丁香五月婷婷在线观看| 狠狠色激情在线| 精品久久婷婷| 以及AA大片看看| 色五月综合激情| 久xxxx| 激情五月天影院| 99av视频| 色月视频| 91综合国免费久入| 亚洲AVwwwwwww| 婷婷午夜| 色欲av伊人久久大香线蕉影院| 丁香婷五月| www.久久久久| 超碰国产在线观看| 丁香五月色激情| 成人丁香五月| 棕合影院色色| 激情丁香五月天图片| 五月婷婷在线视频免费观看| 五月丁香 啪啪| 五月婷无码| 婷婷五月激情综合| 久操大香蕉| 天天干天天色综合| 五月婷婷欧美激情| 国产美女精品| 成人必爱视| 97欧美在线| 婷婷五月丁香激情| 极品人妻VIDEOSSS人妻| 9|无码久久久久久| 婷婷五月天激情网| 色五月婷婷久久| 丁香成人综合| 99热精品10| 丁香六月啪啪啪| 狠狠色丁香久久综合婷婷亚洲成人福利 | 五月天婷婷操逼视频| www.五月天社区| 婷婷六月综合在线| 蜜臀av无码久久久久久久久 | 99热日韩这里只有精品| 国产69久久久欧美黑人A片| 超碰在线人人| 激情丁香九九五月综合网| 99热在线免费| 婷婷情色激情| 操射国产日本| 成人九九视频| 婷婷五月天男人影院色色网| 婷婷深爱五月丁香网| 五月丁香在线视频观看| 五月花综合网| 六月婷婷网| 久久久97| 99精品久久| 久久大香蕉同僚| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 97久久久| 色香欲综合| 91婷婷色五月| 97碰久久| 天天干天天干天天干天天干天天干| 日韩av在线免费观看| 五月天激情久久| 色色网五月激情| 国模淫穴色图| 六月激情久久| 国产VA播放| 久久女婷| 久久综合丁香五月| 丁香花社区av| 操91综合网| 成人丁香婷婷| 色爱爱综合网| 九九色院| 99人妻碰碰碰久久久久禁片| 天天色天天搡| 成人婷婷深爱综合网| 激情五月图| 青青操avbb| 五月丁香六月日逼| 亚洲精品久久久久久久久久吃药| 九九在线这里只有精品视频| 天天操天天干天天日| 色婷婷日本| 玖玖五月丁香| 五月丁香六月婷婷久久| 色婷婷五月天| 七月丁香婷婷 色色| 曰韩五月丁香色婷婷无码| 国产99久久久国产精品免费看| 人妻丰满精品一区二区A片 | 九九干视频| 五夜丁香| 色久综合| 五六月婷婷久久| 婷五月天| 亚洲成人综合在线| 五月综合777| 欧美激情2025| a久久| 国产午夜精品一区二区| 婷婷黄色五月天在线视频| 天天爽日日搞| 亚洲这里只有精品| 91精品久久久久久| 中文字幕丰满孑伦无码专区| 激情文学 综合 九月| 极品九九九九九九| 婷婷八月激情| 丁香五月婷婷在线视频| 91色综合网| 五月综合色| 欧美成人AAA片一区国产精品| 色五月丁香五| 久久人人九九| www,婷婷五月天777me,com| 韩国天天婷婷| 五月丁香狠狠爱| 96精品成人无码A片观看金桔| 久久受www免费人成| 成人丁香五月婷| 久色网| 婷婷六月天精品| 亚洲第一第二网站| 国产无套精品一区二区| 久久九九激情五月天 | 最新久久网址| 国产黄色在线观看| 在线观看av网站| 久思思久视频| 天天草比天天爽| 久色网址| 日韩不卡123| 婷婷久久五月| 99caobi| www色婷婷| 天天拍久久| 综合五月丁香六月婷婷| 亚洲亚洲人成综合网络| 日韩超碰在线| www,婷婷五月天,com| 天天爽天天| 久热这里只有精品6| 伊人香大香蕉视频| 色色色色色热| 婷婷天天婷婷天天澡| www.激情| 激情丁香五月天图片| 五月五婷婷网| 婷婷成人视频| 91九九九九| 久热99热| 色综合色综合色综合| AV在线观看网站| ..真实国产乱子伦对白在线_欧 | 一起草AV入口| 9+1视频网址| 五月开心深深爱激情综合| 另类天堂| 五月激情综合性爱| 99精品爱| 91丨九色丨大屁股| 色情久久久| 精品久久久久久久久久久久人妻| 色婷婷www| 日韩激情网站| 只有久久精品免费| 五月婷婷综合网| 色99视频| 久青草大香蕉| 婷婷五月天免费| 热99在线| 性生活视频98791| 亚洲色色精品| 202丰满熟女妇大| 狠狠狠狠狠狠色| 色婷婷先锋| 五月丁香六月婷| www.99日本| 日本不卡五月婷婷丁香| www.天天干| 91超级碰在线视频| 俺去也综合| 青青草青青草五月天| 91精品久久久久久综合五月天| 久久婷婷六月综合综合色| 夫妇交换刺激做爰| 亚洲欧洲色色| 五月婷婷啪啪| 五月丁香婷婷基地| 色婷婷9| 狠狠干狠狠操狠狠爱| 五月丁香天堂网婷婷| 99色亚洲| 五月婷婷五月天| 热99这就是精品视频| 五月婷婷色在线| 草操网| 六月激情婷婷| 99久久9| 久久久久亚洲AV无码网影音先锋| 色狠狠综合入口| 日日狠狠久久偷偷四色综合免费| 大香蕉久久青青| 伊人大香五月天| 亚洲综合五月天综合| www色五月| 五月天婷婷操逼视频| 久久丁香五月| 婷婷黄色五月| www.久热| 丁香五月电影院在线观看| 国产精品热搜丁香五月婷婷| 在线不卡的视频| 三级大香蕉网| 欧美精品狠狠色丁香婷婷| 五月婷色丁香| 丁香婷婷九月在线| 亚州性爱99| 操逼五月婷婷| WWW,婷婷,COM| 色婷婷五月综合色婷婷| 激情小说婷婷五月| 国产婷婷五月| 五月色综合| 爆乳熟女一区二区三区爆乳| 婷婷五月丁香啪啪| 黄网网站在线播放| 亚洲久久激情| 欧洲亚洲免费视频9| 五月天激情国产综合婷婷婷| 色五月丁香总合网| 午夜69成人做爰视频| 国产阿姨日皮艹逼内射视频| 亚洲亚洲人成综合网络| 五月天另类小说久久小说网| 狠狠色噜噜狠狠亚洲A∨| 九九热只有精品| 五月丁香亭亭AV女优| 天天天干夜夜夜操| 99九九精品视频| 超碰激情网| 久操人妻| 公的粗大挺进了我的密道 | 91丨九色丨国产在线| 激情网婷婷五月天| 丁香五月激情棕合| 大香蕉人妻| 日日爽日日操| 97久久精品视频| 99热综合在线| 久久这里只有精品99| 激情五月激情综合网一级丸片| 全部老头和老太XXXXX| 婷婷中文字幕版| 久久婷婷五月综合色丁香花| 激情六月色| www.henhenl| 99热激情| 国产色五月婷婷| 久久九九一區| 丁香色色色| 午夜色色色极品视频| 亚洲无AV在线中文字幕| 天天综合亚洲| 97资源碰碰| 色999亚洲人成色| 日韩精品色| 久久久噜噜噜www成人| 亚洲免费观看高清完整版AV线| 五月婷婷久久久| 久热婷婷| av中文网站| 婷婷五月天情色| 欧美25p| 伊人六月丁香婷婷| Caop在线| 99色色网| 玖玖婷婷五月天| 久/久精品99看9| 亚洲精品一区中文字幕乱码| 五月婷婷六月丁香综合在线| 久操操| 婷婷最新地址| 九九九九综合| 亭亭社区五月天| 婷婷玖玖五月天| 天天干天天拍| 亚洲婷婷五月天激情| 丁香五月激情综合| 大香蕉视频婷| 人妻久久久久久| 亚洲人妻五月丁香婷婷| 五月婷婷xxx| 伊人99久久| 97人人操在线| 精品少妇蜜臀91| 久9精品视频| 日韩精品无码一区二区| 久久99久久99精品免观看粉嫩| 伦乱美欧| 五月天啪啪啪| 久久激情五月天| 亚洲激情在线| 中文成人在线| 1000部毛片A片免费观看| 色五月在线观看| 丁香无月在线观看| 怡红院91a√| 99这里都是精品| 开心深爱激情网| 99热成人永久免费| 丁香五月天狠狠操| 深夜婷婷 丁香| 久久网日本| 性生活久久人妻| 婷婷大香蕉| 亚洲国产另类av| 五月香婷婷| 99热都是精品| 五月天堂在线| 五月天激情偷拍| 大香蕉久久婷婷精品综合| 久久精品A片777777| 丁香激情久久| 五月丁香五月综合欧美| 亚洲人妻一区二区 | 亚洲精品久久久久AV无码| 99热成人精品网站| 丁香五月亚洲天堂| 久久激情综合| 啪啪综合网| 丁香六月欧美| 成人五月天综合网| 亚洲五月天激情| 大香蕉天堂| 五月婷婷啪啪啪啪| 五月天色婷婷图片| WWW.天天日| 六月大香蕉| 一级片无码| 97天堂| 超碰在线国产| 亚洲性爱电影| 26uuu在线观看| 国产片色| 日日婷婷不卡| 激情综合综合综合| av中文在线| 久久久久久99精品无码| 毛v一区二区视频| 亚洲综合五月天婷婷| 99啪啪| 欧美一级色| 男女免费视频999| 天天高潮夜夜爽| 六月色色婷婷| 天天艹夜夜爽| 久色视频首页| 99视频久久免费视频| 久热久| 久综合| 亚洲秘 无码一区二区三区妃光/1| 人人肏逼视频在线一区二区| 日韩无码AV电影网站| 99热这里| 免费看欧美成人A片无码| 五月婷婷中文字幕| 亚洲色网址| 在线中文字幕视频| AAA久久| 激情床戏| 99自拍网| 激情综合色网| 日韩无码专区| 五月丁香色| 欧美精品999| 亚洲av成人在线| 亚洲成人AV在线播放| 噜噜在线| 任你爽精品免费视频6| 色婷婷激情四射视频| 久热免费| 狠狠爱五月婷婷| 丁香婷婷色情| 久久久久久久97| 五月婷婷色情| 婷婷五月丁香基地| 婷婷色婷婷| 伊人五月天| 国产激情综合五月久久| 成人无码髙潮喷水A片| 中文字幕人成乱码在线观看| 三年高清大片免费观看国语| www.金莲av| 香蕉久久五月| 久热精品在看| 午夜爱插插| 色色色色综合网| 色婷婷狠狠| 五月天激情综合首页| 午夜理论片最新午夜理论剧| 五月婷婷丁香五月亚洲色| 婷婷色香六月综合激情| 亚洲色综合性| 久草热在线视频| 久久99精品久久久久久噜噜| 久久ww| 五月丁香色综合| 91九九九九| 97操女视频| 色9月| 色色丁香五月天| 噜噜噜噜噜久| 思思热热久久| 丁香五月成人网| 丁香色五月 97干| 中文字幕在线日亚洲9| 香蕉人妻AV久久久久天天| 色婷婷激情视频| 久久婷婷五月综合啪| 久9热| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 九九99精品视频在线观看| 五月综合激情| 无码人妻一区二区一牛影视| 97人人做| 插插插色综合网| 婷婷王月天影院| 第四色五月婷婷| 五月天色不卡| 亚洲AV成人一区二区在线观看| 国产一区18| 热九九精品| 欧美婷| 夜夜骑天天操| 欧美性丁香色色五月天干干| 日韩丁香涩| 国产精品人妻在线网址| 久久丁香婷婷五月天| 婷婷伊人五月| 婷婷综合精品| 亚洲第一成人无码A片| 久久精品五月| 开心久久五月天| 天天搞天天色综合| 另类天堂| 婷婷五月综合中文字幕| 久操热线| 五月婷婷六月基地| 人妻22p| 久久五月婷综合| 色色色在线| 天天综合图片| 久热黄色| 4399无码视频二区| 中文字幕成人| 激情丁香六月| 97人人射| 天天干天天操天天射| 这里只有精品99视频| 5月丁香啪啪啪| 色爱亚洲| 中文字幕性爱视频| 五月激情另类| 婷婷综合色图| 亚洲欧美成人在线观看| 色婷婷丁香五月| 天天操综合网站| 色色国产| 99热网址| 99热久草| 99热色精品| 亚洲熟女乱色综合亚洲网站| 激情丁香网| 翔田千里 50岁 无码| 99人人爽| 九九热这里有精品23| 婷婷成人AV| 日韩色色色色| 五月六月婷婷激情网| 日韩AAAAA| 欧美性生交XXXXX无码小说| 91九色 婷婷| 艾小青av| 五月婷色| 色婷视频| 最新va在线播放| 日韩av一区二区在线/日产精品久久久| 欧洲亚洲免费视频9| 新伍月婷婷| 成人做爰高潮A片免费视频| 丁香色成人| 丁香五月天在线| 嫩草AV久久伊人妇女超级A| 色色丁香五月天| 亚亚州久久高潮| 国产又色又爽又黄又免费| 超碰AV在线| 这里只有精品视频在线| 色99xx| 五月婷婷五月天天| 五月丁香色综合| 亚洲不卡| 97干视频在线| 狠狠久久婷| 五月天电影网| 国产99久久久国产精品免费看| 欧美激情丁香五月| 狠狠久久婷五月| 亭亭玉月丁香| 深爱激清网| 日韩AV免费电影在线播放| 五月婷六月综合在线观看| 啊V视频在线观看| 国产激情在线观看| 综合网亚洲| 五月色亭丁香| 99热精地址| 婷婷色情 | 婷婷五月丁香狠狠| 婷婷色婷婷| 婷婷五月天改成什么了| 天天色视频| 九九99在线免费在线观看视频| 色婷婷AV在线| 97干视频在线| 一级二级色大片| 久久婷婷资源| 播播网色播播| 97五月婷婷| 丁香五月综合| 婷婷色在线视频| 天天操夜夜操| 97色97干| 欧洲亚洲免费视频9 | 激情久久五月网| 国精产品一区一区三区免费视频| 亚洲亚洲激情| 欧美大片| 婷婷五月天亚洲图片| 牛牛澡牛牛爽| 激情五月婷婷老师| 99热很操老逼| 激情五月五月婷婷| 欧美色色色色色色色色色色| 亚洲AV网站在线观看| 婷婷射图五月天| ww久久| 成人看片网站| www99热| hd五月婷婷在线| 久久se 综合网 | 26UUU欧美激情一区二区| 99网址在线看| 99色性爰网络| 狠狠人人| 婷婷欠久少妇| 99精品免费欧美小视频| 久久九九婷婷| 九色91视频| 欧美精品99久久久| 亚洲亚洲人成综合网络 | 久久婷婷综| 激情综合网激情五月天| 婷婷五月天xxx| 丁香五月天堂婷婷| 五月天激情国产综合婷婷| 午夜婷婷久久| 亚洲精品国产成人AV在线| 天天狠天天狠| 大香蕉久久视频久久视频| 天天爽天天做| 成人丁香色| 五月婷婷六月激情| 五月婷婷婷婷婷婷艺术| 五月开心啪啪| 丁香六月激情综合| 丁香五月婷婷丫| WWW色色色COM| 99热久草| 99在线观看视频蜜臀| 天天肏在线视频| 97操在线视频| 欧美内射AAAAAAXXXXX| 丁香五月婷婷手机| www.maotanji.com| 97福利视频| 婷婷色网站| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 天天干com| 日本一级特黄大片AAAAA级| 五月丁香六月| 深爱激情网五月天| 久草 天堂| 风流少妇A片一区二区蜜桃 | 色色色五月婷婷| 婷婷六月色播| 91色在线/日韩| 日日躁夜夜躁狠狠久久AV| 99爱视频在线观看这里只有精品| 超碰人人草| 三级毛片视频| 综合激情在线视频| 婷婷激情六月中文| 久久色五月天| 亚洲精品V天堂中文字幕| 色婷婷亚洲五月天| WWW色综合| 五月激情久久| 激情五月天视频| 婷婷 月 丁香| 久久五月天激情美女| 26uuu色五月| 九九综合久久| 79色色色色| 91日韩在线| 99精品久久久久久久久| 丁香五月婷久久| 久久人妻在线| 久久久久久欧美精品se一二三四| 人妻免费网站| 99热亚洲精品| 久久精热| 热久久99视频| 九色七七| 好吊兆人妻| 欧美黄色AA片哗啦啦啦| 五月色天情| 色婷婷成人丁香| 综合色色综合| 日韩国产在线精品| 日本久久99| 五月婷婷激情综合网 | 天天色视频| 天天在线久久综合| 玖玖在线视| 丁香婷婷五月色综合| 直接看的av| 五月天com| 色婷婷丁香特级性爱视频| 久久久激情视频| 亚洲视频在线网| 九九无码| 午夜成人AV在线| 人人噜天天上| 婷婷在线操| 日韩成人av在线| 激情国产五月| 色色激情五月天| 亚洲av日韩无码| 99热中国| 天天色综合色色色色色。| 国产免费一区二区三区三州老师F1F1.CC | 欧美三级巜人妻互换| 久久久www| 色欧洲| 色情一区二区播放| 激情五月伊人婷婷| 玖玖爱资源站| 2022人人操人人看| 久久婷婷一级片| 婷婷97狠狠成人网站| 香蕉久久国产AV一区二区| 色五月色五天免费视频| 婷婷六月天激情影院| 九九精品片一| 久久伊人大香蕉| 亚洲性视频| 久久九九囯产| 九九热狼人| 国产69久久久欧美黑人A片| 五月婷婷六月丁香综合在线| 狠狠爱婷婷丁香| 玖玖资源站中文| 色色色色色色色色色999| 色黑鬼导航| www.激情.com.| 97碰碰视频在线观看| 六月婷婷视频| 99资源在线| 3DAV亚洲香蕉久久 一区二区| 少妇高潮呻吟A片免费看软件| 亚洲中文字幕av| 久操人妻| 在线色色| 亚洲无码成人| 激情亚洲婷婷| 五月丁香影院| 性爱视频久久| 色噜噜狠噜噜视频| 五月天婷婷影院影院观看| 五月成人网天天| 色婷婷AV五月天| 五月天婷婷色播| 天天做天天爱天天爽在| 天天色天天爽| 五月婷婷丁香深深爱| 激情婷婷丁香五月天小说| 九九综合| 99热精品在线播放| 久久99久久99久久99人受| 97九色| 婷婷色五月激情| 日本综合久久| 九九精品在线视频观看| 热99国产精品| 婷婷五月中文在线| 久久五月六月| 色婷婷婷婷成人网| 六月五月久久丁香| 青青草日本亚洲| 天天日婷婷| 亚洲激情网站| 欧美黄色AA片哗啦啦啦| 婷婷激情六月| 欧洲亚洲午夜| 久99久视频| 99热精品在线播放| 六月激情网| 九九视频在线观看视频6 | 色欲一区二区三区精品A片| 免看黄大片AA | 五月丁香久久综合91| 五月色情精品| 婷婷久久五月天中文字幕在线观看| 九9九9无码| 国产五月天婷婷| 99综合| 天天色天天爽| 色五月婷婷视频| 色人妻五月| 婷婷五月天亚洲| 99干日本| 九九这里有精品| 白人荫道BBWBBB大荫道| 最新无码专区| 日韩无码人妻一区二区| 色99在线观看| 六月婷婷深深爱| 日韩六十路91性交电影| 婷婷色爱| 日本婷久久| 九九亚洲| 久久婷婷七月丁香| 69精品无码一区二区三区| 欧美色九| 国产xxxxx在线观看| 思思热性操 | 五月天婷婷三级黄| 天天成人综合视频| 五月天天视频| 九九热精品| 男女啪啪做爰高潮无遮挡| 影音先锋男人av资源站| 九九热在线99| 五月天狠狠网站| 丁香五月天婷婷中文| 色婷婷视频在线| 丁香五月欧美成人| 亚洲精品一区中文字幕乱码| 大香蕉视频99| 99热新网址| 第二色AⅤ| 色色网五月激情| 日本啪啪天堂| 国产无遮挡又黄又爽免费网站| 久久五月天丁香花| 狠狠色综合网| 亚洲激情色色| 色综合天堂| 蜜臀AV在线观看| 亚洲综合成人网站| 久久亚洲A| 婷婷丁香五月综合激情小说| 任你爽精品免费视频6| www.狠狠操| 色色丁香色五月| 亚洲精品va| 国产成人99久久亚洲综合精品| 色婷婷在线播放| 精品久久久久成人码免费动漫| 狠狠干在线| 亚洲俩性性爱图片久久第六页| 天天综合社区| 五月丁香婷婷综合网| 丁香狠狠色婷婷久久无码视频| 狠狠爱婷婷爱| 深爱激情网噜噜色| 1024国产| 婷婷丁香91综合| 五月丁香性爱| 丁香六月激情蜜桃| 色婷婷综合网站| 无码字幕中文| 99 热国产在| 99热精品在线免费观看| 能看的av网站| 九月大香蕉| 五月丁香六月日逼| 五月天婷综合| 成人免费黄色短视频| 九九精品自拍| 人人摸人人干人人做| 亚洲色网址| 日本欧美啪啪| 另类图片激情五月天| 久久五月天网| 色情终和网| 欧美色色色| 婷婷va| 大战熟女丰满人妻AV| 五月丁香激情婷婷| 丁香五月婷婷激情中文| 激情五月天色色网| 九九色院| 玖玖资源天天无码| 九九综合| 日本欧美国产| 开心五月激情婷婷| 色五月激情网| 亚洲成人AV在线播放| Www.激情| 成人做爰高潮A片免费视频| 久久精品4| 久久综合首页| 婷婷五月18永久免费视频| 97干在线| 欧美精品99| 色视频五月天| 日韩黄色影院| 天天草人人摸| 五月婷婷丁香大陆免费| 91干99| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 操逼亚洲天堂| 亚洲成人色五月天| 九月丁香亭亭| 日韩五月婷婷| 色婷婷视频综合| 天天日夜夜爽| 99色在线| 久久综合影院 | 热九九精品| 丁香五月777| 色色色免费视频| 欧美色图片88| 丁香五月自拍| 丁香色婷婷| 97色欧美| 色五月婷婷亚洲最大| 熟妇国产| 亚洲九九在线| 夜精品无码A片一区二区蜜桃| 亭亭五月丁香综合欧美| 亚洲AV综合网| 婷婷婷久久久| 99热在线观看免费精品| 99热99精品在线观看| 深爱激情AV| 99热99网| 丁香婷婷久久 | 美妞av| 能直接看的av网站| av色婷婷| 五月婷婷亚洲| 欧美色图天堂网色| 五月天综合视频网| 婷婷丁香www视频日本韩国| 另类图片激情五月| 婷婷丁香五月天综合AV| 777米奇影视第四色| 深爱激情网五月天| 九九综舍久久| 色色a| 五月天色综合服务平台| 最熟少妇乱码| 亚洲成人AV在线观看| 激情文学天天| 91碰免费视频| 操九色| 五月综合视频在线| 久综合4| 婷婷综合一二三| 久热只有这里有精品| 不卡在线中文字幕无| 婷婷五月激情视频在线| 91婷婷在线| 极品少妇高潮啪啪AV无码| 这里只有精品网| 碰超99| 欧美日韩中文国产一区发布| 开心激情网五月| 丁香婷婷六月天| 极品人妻VIDEOSSS人妻| 色五月中文网| 97色在线| 日韩在线视频9色| 色色热| 激情婷婷内射| 色婷婷第四色| 色欲婷婷五月天| WwW天天干| www综合久久| 五月综合视频| 欧美色五月天| 99久久99九九99九九九| AV在线不卡播放| 久9久成人精品视频| 国内裸舞二区| 久久久色情| 天天日天天干天天操| 五月丁香六月婷婷的女人| 99热老司机| 婷婷色五月91啪啪| 色情五月丁香婷婷网| OYIWbGcPu8H| 99久在线精品99re8热| 思思热99在线| 激情黄色小说色五月| 黄桃AV无码免费一区二区三区 | 97操碰| 天天干天天爽天天操| 操操人人| 亚洲操女| 综合色播| 亚洲五月天婷婷在线| 婷婷五月天黄色| 久久性综合| 99ri在线| 天天综合影院| 天天操天天日天天爱| 激情五月九九九| 97人人干| 成人免费在线电影| 天天cha成人综合网| 91色综合网| 成人久碰| 99热这里是精品| 色色色色色色网| 婷婷色五月亚洲| 久大香蕉| 天堂久热| 五月天激情综合网| 99精品视频在线观看| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 伊人五月天| 99九九视频| 狠狠操狠狠狠| 人妻久久久久| 色婷亚洲| 欧美黄色一级录像| 婷婷丁香五月激情| 丁香六月欧美| 色五月婷婷视频| 狠狠操狠狠爱| 综合网啪| 久久看九九90| 久久婷婷色| 日本激情91| 丁香五月a| 五丁香激情综合| 婷婷五月天色色| 成人在线高清| 字幕网AV中文字幕| 亚洲综合婷婷| 国产免费一区二区三区三州老师F1F1.CC | 五月丁香婷婷综合视频| 久久九久久| 五月天综合| WWW.99热| 亚洲成人在线五月天| 亚洲狠狠婷婷综合久久久| 亚洲激情四射| 久9无码视频| av不卡网站| 国产真实乱了老女人视频| 欧美日韩999| 超碰高清在线| 婷婷丁香五月天在线| 五月激情精品视频| 99re66热这里只有精品| 色在线99| 日本97在线观看| 国产欧美日韩综合精品一区二区| 久久99激情| 国产看真人毛片爱做A片| 香蕉久久国产AV一区二区| 狠狠综合网| 天天做天天爱天天做| 色久婷婷网| 九九成人精品免费视频| a在线免费v| 毛片蕉地一二| 激情性爱五月天网页| 国产毛片欧美毛片久久久| 俺去也婷婷| 日韩性视频| 五月丁香六月综合激情| 五月五婷婷| 天天色天天爱天天爽| 五月色婷婷综合丁香精品无遮挡| 思思99热这里只有精品| 国产 亚洲 在线| 人人性久久| 成年视频免费观看| 嫩草免费视频| www,黄色在线,con| 久久AV无码精品人妻系列试探| 99视频内射三四| 久久婷婷影院| www.久久久久久久| 五月丁香婷草| 狠狠色97| 色欲一区二区三区精品A片| 亚洲天堂aaa| 色五月婷婷激情| 综合色激情| 丁香五月天成人| 天天操天天日天天操| 婷婷五月色亚洲| 小视频一区| 九九爱看亚洲| 婷婷五月免费在线| 六月丁香综合网| 六月婷婷私欲| 五月丁色AV| 思思热天天看| 天天舔天天插天天爱| 99色在线观看免费| 五月婷丁香花| 7月婷婷六月丁香| 欧美五月丁香在线| 丁香五月AV综合| 五月天激情综合网站| 人妻操逼视频。| 婷婷色播色五月五色五月天色妇| 激情五月丁香婷婷夜夜操| 看婷婷五月天网| 久久久性爱视频| 亚洲网视屏| 婷婷丁香五月天综合AV| 综合五月草| 色综合播放| 六月婷伊人| 五月婷丁香久久久| 人人舔天天| 婷婷五月色網站| 区区欧美你爱| 婷婷五月18永久免费视频| 可以免费看的AV网站| 99热这里只有精品9| 玖玖五月| 丁香五月综合激情性爱| 99ri国产在线| 99热在线看| 午夜少妇在线观看视频| 天天干天天插| 尤物一区二区| 久久久久久9热不雅视频| 欧美日韩日韩成人| 激情亚洲婷婷| 97人人操人人| 婷婷色五月婷婷姐妹| 五月天色综合服务平台| 丁香五月激情无码视频| 91黄操| 久久激情五月婷婷| 五月总合激情网| 精品综合久久久久久五月天| 97五月天婷婷| 欧洲色色| 色五月婷婷色| 激情婷婷五月天| 99久操视频|