欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Linux域名解析故障排查:從resolv.conf到systemd-resolved的七層鏈路

Linux域名解析故障排查:從resolv.conf到systemd-resolved的七層鏈路 1. 項(xiàng)目概述為什么域名解析是Linux網(wǎng)絡(luò)里最常被忽略、卻最不能出錯的一環(huán)“Linux網(wǎng)絡(luò)基礎(chǔ)3域名解析服務(wù)”這個標(biāo)題看起來平平無奇像是教科書目錄里一個不起眼的章節(jié)編號。但如果你在某次深夜排查線上服務(wù)連不上API、某臺新部署的服務(wù)器死活ping不通內(nèi)網(wǎng)域名、或者CI/CD流水線突然卡在apt update那一步——十有八九問題就藏在這“第三講”里。我?guī)н^不少剛從學(xué)校出來的新人他們能手寫iptables規(guī)則、能調(diào)通Docker網(wǎng)絡(luò)、甚至能搭起K8s集群可一遇到curl: (6) Could not resolve host: api.internal這種報錯第一反應(yīng)還是去查防火墻、看端口、翻日志最后折騰兩小時才發(fā)現(xiàn)/etc/resolv.conf里寫的DNS服務(wù)器早就宕了或者systemd-resolved和dnsmasq在后臺偷偷打架。域名解析服務(wù)說白了就是把“www.example.com”翻譯成“192.0.2.42”的翻譯官。它不直接處理業(yè)務(wù)邏輯不承載流量不參與加密握手但它一旦失職整個網(wǎng)絡(luò)通信就卡在起點(diǎn)——就像你拿著一張寫滿地址的快遞單卻找不到郵局在哪。Linux系統(tǒng)里這層翻譯機(jī)制遠(yuǎn)比Windows“自動獲取DNS”復(fù)雜得多它不是單一配置文件的事而是/etc/hosts、/etc/resolv.conf、systemd-resolved、nsswitch.conf、dnsmasq、甚至容器運(yùn)行時自帶的DNS代理多層疊加、相互覆蓋、優(yōu)先級隱晦。更麻煩的是不同發(fā)行版默認(rèn)策略差異極大Ubuntu 22.04默認(rèn)啟用systemd-resolved并接管53端口CentOS 7則長期依賴NetworkManager生成resolv.conf而Alpine鏡像里壓根沒裝systemd全靠BusyBox的nslookup硬扛。這些細(xì)節(jié)不會寫在面試題里但會真實(shí)出現(xiàn)在你凌晨三點(diǎn)收到的告警頁面上。這篇文章不講RFC 1034那種理論推導(dǎo)也不堆砌dig trace的冗長輸出。我會以一個真實(shí)運(yùn)維現(xiàn)場的視角帶你一層層剝開Linux域名解析的洋蔥結(jié)構(gòu)從最底層的/etc/hosts靜態(tài)映射如何被繞過到resolv.conf里options timeout:1 attempts:2這些參數(shù)怎么決定你的服務(wù)啟動慢3秒還是快3秒從systemd-resolved的StubListener模式為何讓nslookup和dig結(jié)果不一致到容器內(nèi)/etc/resolv.conf為何總是指向127.0.0.11——以及你該不該改它。所有內(nèi)容都基于我過去三年在多個生產(chǎn)環(huán)境踩坑、復(fù)現(xiàn)、抓包、源碼翻查的真實(shí)記錄每一步操作都有明確意圖每個參數(shù)都有實(shí)測依據(jù)。適合正在搭建跳板機(jī)的運(yùn)維、調(diào)試K8s CoreDNS的SRE、寫自動化腳本總被DNS超時打斷的DevOps或者只是想搞懂“為什么我的Linux機(jī)器有時能上網(wǎng)有時不能”的技術(shù)愛好者。你不需要背命令只需要理解數(shù)據(jù)包從getaddrinfo()調(diào)用開始到底經(jīng)過了幾道門、被誰改寫了、又在哪個環(huán)節(jié)悄悄失敗了。2. 域名解析的完整鏈路拆解從應(yīng)用調(diào)用到網(wǎng)絡(luò)響應(yīng)的七層穿透要真正掌控Linux的DNS行為必須跳出“改個resolv.conf就完事”的思維定式。整個解析過程是一條貫穿用戶空間到內(nèi)核空間、橫跨多個子系統(tǒng)的數(shù)據(jù)流任何一環(huán)出問題都會導(dǎo)致看似相同的命令產(chǎn)生截然不同的結(jié)果。我把它拆解為七個關(guān)鍵階段每個階段都對應(yīng)一個可驗(yàn)證、可干預(yù)的控制點(diǎn)。2.1 階段一應(yīng)用層發(fā)起解析請求glibc的getaddrinfo幾乎所有Linux應(yīng)用curl、wget、python requests、nodejs http模塊都不直接調(diào)用gethostbyname這種老接口而是走POSIX標(biāo)準(zhǔn)的getaddrinfo()。這個函數(shù)本身不發(fā)網(wǎng)絡(luò)包它只做一件事根據(jù)/etc/nsswitch.conf的配置決定接下來該找誰要IP地址。比如你執(zhí)行curl https://github.comglibc會先讀nsswitch.conf里hosts:這一行看到files dns就明白先查/etc/hosts查不到再走DNS協(xié)議。這里有個極易被忽視的細(xì)節(jié)getaddrinfo默認(rèn)會同時查詢A記錄IPv4和AAAA記錄IPv6如果DNS服務(wù)器對AAAA響應(yīng)慢或超時整個解析就會被拖慢——哪怕你根本不需要IPv6。實(shí)測中某云廠商的公共DNS對AAAA查詢平均耗時800ms而A記錄只要20ms這就導(dǎo)致curl啟動延遲明顯。解決方案不是禁用IPv6那會引發(fā)更多兼容性問題而是在/etc/gai.conf里添加precedence ::ffff:0:0/96 100強(qiáng)制IPv4優(yōu)先或者用curl --ipv4顯式指定。2.2 階段二名稱服務(wù)切換器nsswitch.conf的決策中樞/etc/nsswitch.conf是整個解析鏈路的“交通指揮中心”。它的hosts:行決定了查詢順序和來源。常見配置有三種典型組合hosts: files dns最經(jīng)典先查/etc/hosts失敗后走DNS。安全團(tuán)隊(duì)常在此處加mdns4_minimal支持mDNS如.local域名但要注意mdns4_minimal會攔截所有.local查詢導(dǎo)致無法解析真正的公網(wǎng)xxx.local域名。hosts: files resolve [!UNAVAILreturn] dnssystemd-resolved場景resolve代表調(diào)用systemd-resolved的D-Bus接口[!UNAVAILreturn]是關(guān)鍵——如果systemd-resolved服務(wù)未運(yùn)行立即返回失敗不再嘗試后面的dns。這意味著你systemctl stop systemd-resolved后ping可能直接報Unknown host而不是fallback到resolv.conf。hosts: dns [NOTFOUNDreturn] files反向順序先DNS查不到才查/etc/hosts。這在某些需要動態(tài)域名管理的場景有用但會完全繞過/etc/hosts的本地調(diào)試能力不推薦日常使用。提示修改nsswitch.conf后無需重啟服務(wù)glibc在每次getaddrinfo調(diào)用時實(shí)時讀取。但務(wù)必用getent hosts github.com驗(yàn)證效果ping或curl可能因緩存掩蓋問題。2.3 階段三本地靜態(tài)映射/etc/hosts的精確制導(dǎo)/etc/hosts是解析鏈路上唯一不發(fā)網(wǎng)絡(luò)包的環(huán)節(jié)也是最可靠的調(diào)試工具。它的格式極其簡單IP地址 主機(jī)名 別名但有三個魔鬼細(xì)節(jié)注釋與空行#開頭的行和純空行會被忽略但127.0.0.1 example.com #comment這種寫法#后面的內(nèi)容會被當(dāng)作文本而非注釋可能導(dǎo)致解析失敗IPv6地址格式::1必須寫全不能簡寫為127.0.0.1否則IPv6應(yīng)用如某些Go程序會忽略主機(jī)名匹配邏輯192.168.1.100 server1 server1.internal中server1和server1.internal是兩個獨(dú)立條目ping server1.internal不會自動fallback到server1。我曾在一個K8s集群調(diào)試中發(fā)現(xiàn)coredns的Pod IP被錯誤寫入/etc/hosts導(dǎo)致所有節(jié)點(diǎn)上的kubectl get nodes都返回Connection refused——因?yàn)閗ubectl默認(rèn)連接https://kubernetes.default.svc.cluster.local而/etc/hosts里這條記錄把域名指向了已銷毀的舊Pod IP。解決方法不是刪掉/etc/hosts而是用sed -i /kubernetes\.default\.svc\.cluster\.local/d /etc/hosts精準(zhǔn)刪除避免誤傷其他條目。2.4 階段四DNS客戶端配置resolv.conf的明面戰(zhàn)場/etc/resolv.conf是大家最熟悉的配置文件但它早已不是“最終判決書”?,F(xiàn)代Linux中它常是其他服務(wù)NetworkManager、systemd-resolved、dhclient的輸出產(chǎn)物。其核心指令只有三條nameserver 1.1.1.1最多允許3個按順序使用前一個超時才試下一個search example.com internal.net當(dāng)解析db時自動嘗試db.example.com、db.internal.netoptions timeout:2 attempts:3 rotatetimeout是單次查詢等待秒數(shù)attempts是重試次數(shù)rotate開啟輪詢避免單點(diǎn)DNS壓力過大。關(guān)鍵陷阱在于timeout和attempts的乘積。默認(rèn)timeout:5 attempts:2意味著單域名最大阻塞10秒。在微服務(wù)架構(gòu)中一個服務(wù)啟動要解析10個依賴域名最壞情況就是100秒啟動延遲。我們線上將timeout壓到1attempts設(shè)為2配合rotate實(shí)測平均解析時間從3.2秒降至0.8秒且失敗率未上升——因?yàn)楝F(xiàn)代DNS服務(wù)器基本能在1秒內(nèi)響應(yīng)超時更多是網(wǎng)絡(luò)抖動或中間設(shè)備丟包所致。2.5 階段五本地DNS代理systemd-resolved的雙面性systemd-resolved是systemd生態(tài)的DNS管家它監(jiān)聽127.0.0.53:53Stub Listener對外提供DNS服務(wù)對內(nèi)聚合多種上游。它的存在讓resolv.conf變得“不可信”當(dāng)你看到nameserver 127.0.0.53實(shí)際流量并未發(fā)往53端口而是被resolved進(jìn)程截獲再根據(jù)/run/systemd/resolve/resolv.conf它的上游配置轉(zhuǎn)發(fā)。resolved的強(qiáng)項(xiàng)在于緩存TTL內(nèi)零延遲、DNSSEC驗(yàn)證、LLMNR/mDNS支持弱點(diǎn)在于調(diào)試?yán)щy——dig 127.0.0.53 github.com能通但nslookup github.com卻失敗因?yàn)閚slookup默認(rèn)用/etc/resolv.conf而dig可以指定服務(wù)器。要徹底掌控resolved必須理解它的三層配置/etc/systemd/resolved.conf主配置DNS定義全局上游Domains~.表示對所有域名走此DNS禁用search域/run/systemd/resolve/resolv.confresolved實(shí)際使用的上游列表由NetworkManager等服務(wù)動態(tài)更新/etc/resolv.conf通常軟鏈接到/run/systemd/resolve/stub-resolv.conf指向127.0.0.53。注意systemctl restart systemd-resolved不會重新加載/etc/systemd/resolved.conf必須systemctl daemon-reload后再重啟否則配置無效。2.6 階段六網(wǎng)絡(luò)管理器介入NetworkManager的自動覆蓋NetworkManager是桌面版Linux的DNS事實(shí)標(biāo)準(zhǔn)。它會在/etc/resolv.conf上打上# Generated by NetworkManager標(biāo)記并根據(jù)當(dāng)前連接Wi-Fi/以太網(wǎng)的DHCP選項(xiàng)或手動設(shè)置動態(tài)生成DNS服務(wù)器。問題在于它默認(rèn)不讀取/etc/systemd/resolved.conf而是把自己的配置硬寫進(jìn)/run/systemd/resolve/resolv.conf導(dǎo)致resolved的全局DNS被覆蓋。解決方案有兩個徹底禁用NM的DNS管理在/etc/NetworkManager/NetworkManager.conf中添加[main] dnsnone然后nmcli dev set eth0 managed no讓NM配合resolved在/etc/NetworkManager/conf.d/99-resolved.conf中寫[main] dnssystemd-resolved這樣NM會把DHCP獲取的DNS寫入resolved的上游而非直接覆蓋resolv.conf。我在線上服務(wù)器一律采用第一種方案因?yàn)榉?wù)器網(wǎng)絡(luò)配置穩(wěn)定不需要NM的動態(tài)能力反而要杜絕它對DNS的“好心辦壞事”。2.7 階段七容器與虛擬化環(huán)境隔離網(wǎng)絡(luò)下的DNS迷宮容器是DNS問題的高發(fā)區(qū)。Docker默認(rèn)將宿主機(jī)的/etc/resolv.conf復(fù)制進(jìn)容器但如果宿主機(jī)用systemd-resolved容器內(nèi)nameserver 127.0.0.53就完全失效容器網(wǎng)絡(luò)命名空間里沒有resolved服務(wù)。Kubernetes更進(jìn)一步kubelet會為每個Pod生成/etc/resolv.confnameserver指向CoreDNS Service IP如10.96.0.10并注入search域。但若CoreDNS異常Pod內(nèi)所有域名解析即刻癱瘓且nslookup會顯示connection timed out而非server failed讓人誤以為是網(wǎng)絡(luò)連通性問題。實(shí)操中我堅(jiān)持兩條鐵律絕不信任容器內(nèi)的resolv.conf自動生成Docker啟動時用--dns1.1.1.1 --dns-searchinternal.net顯式指定K8s中為關(guān)鍵Pod添加dnsPolicy: Default繼承Node DNS或dnsPolicy: None完全自定義避免被集群DNS故障波及。曾有一個支付服務(wù)因CoreDNS滾動升級失敗所有Pod解析超時而dnsPolicy: Default的監(jiān)控Agent Pod仍能正常上報幫我們快速定位到CoreDNS而非業(yè)務(wù)代碼。3. 核心實(shí)操五類高頻場景的逐行診斷與修復(fù)方案光知道鏈路不夠得有能立刻上手的診斷武器庫。下面五個場景全部來自我處理過的生產(chǎn)事故每個都附帶3步定位法和1行修復(fù)命令確保你下次遇到同類問題5分鐘內(nèi)解決。3.1 場景一ping通但curl失敗——glibc與DNS協(xié)議的隱性沖突現(xiàn)象ping github.com返回IP并通但curl https://github.com報Could not resolve host。根因分析ping用gethostbyname僅查A記錄curl用getaddrinfo查AAAAA。若DNS服務(wù)器對AAAA記錄響應(yīng)異常如返回SERVFAIL或超時getaddrinfo會整體失敗而ping不受影響。3步定位法dig github.com A和dig github.com AAAA對比響應(yīng)時間與狀態(tài)碼getent ahosts github.comahosts強(qiáng)制走getaddrinfo路徑驗(yàn)證是否真失敗strace -e traceconnect,sendto,recvfrom curl -v https://github.com 21 | grep -A5 -B5 getaddrinfo看系統(tǒng)調(diào)用級失敗點(diǎn)。1行修復(fù)命令echo options single-request-reopen | sudo tee -a /etc/resolv.confsingle-request-reopen讓glibc對A和AAAA查詢使用獨(dú)立socket避免AAAA阻塞A。實(shí)測后curl成功率從42%升至99.8%且無需重啟任何服務(wù)。3.2 場景二systemd-resolved與dnsmasq端口沖突——53端口的爭奪戰(zhàn)現(xiàn)象systemctl status systemd-resolved顯示active但sudo ss -tuln | grep :53看不到監(jiān)聽dig 127.0.0.53超時。根因分析dnsmasq常被用作本地DNS緩存默認(rèn)監(jiān)聽0.0.0.0:53搶占了systemd-resolved的127.0.0.53:53。resolved檢測到53端口被占自動降級為127.0.0.54但resolv.conf仍指向127.0.0.53導(dǎo)致斷連。3步定位法sudo ss -tuln | grep :53查看哪個進(jìn)程占著53sudo systemctl list-units | grep dns檢查dnsmasq是否啟用journalctl -u systemd-resolved -n 50 --no-pager | grep -i port.*53看resolved日志中的端口警告。1行修復(fù)命令sudo sed -i s/bind-interfaces/#bind-interfaces/ /etc/dnsmasq.conf sudo systemctl restart dnsmasq注釋bind-interfaces后dnsmasq只監(jiān)聽127.0.0.1:53resolved可安全使用127.0.0.53。若需dnsmasq監(jiān)聽所有接口則改resolved端口sudo mkdir -p /etc/systemd/resolved.conf.d echo -e [Resolve]\nDNSStubListenerno | sudo tee /etc/systemd/resolved.conf.d/no-stub.conf再sudo systemctl restart systemd-resolved。3.3 場景三容器內(nèi)/etc/resolv.conf被覆蓋——Docker的靜默篡改現(xiàn)象Docker容器內(nèi)cat /etc/resolv.conf顯示nameserver 127.0.0.11但dig 127.0.0.11 google.com超時宿主機(jī)DNS正常。根因分析Docker守護(hù)進(jìn)程內(nèi)置DNS服務(wù)器dockerd的embedded DNS監(jiān)聽127.0.0.11負(fù)責(zé)解析容器間服務(wù)名如redis。但它不處理外部域名需轉(zhuǎn)發(fā)給上游DNS。若宿主機(jī)/etc/resolv.conf為空或無效dockerd無法獲取上游導(dǎo)致外部解析失敗。3步定位法docker info | grep -i name resolution確認(rèn)Docker DNS狀態(tài)cat /etc/resolv.conf宿主機(jī)檢查是否有有效nameserverdocker run --rm alpine nslookup google.com 127.0.0.11測試Docker DNS轉(zhuǎn)發(fā)能力。1行修復(fù)命令echo nameserver 1.1.1.1 | sudo tee /etc/resolv.conf sudo systemctl restart docker強(qiáng)制宿主機(jī)resolv.conf有可用DNSDocker啟動時會自動讀取并設(shè)為上游。注意不要在容器內(nèi)改resolv.confDocker會覆蓋。3.4 場景四search域?qū)е陆馕霰ā蛎唇拥碾[形炸彈現(xiàn)象curl http://api失敗但curl http://api.internal.net成功nslookup api返回api.internal.net的IP而nslookup api.internal.net卻失敗。根因分析/etc/resolv.conf中search internal.netnslookup api實(shí)際查詢api.internal.net但api.internal.net在DNS中不存在nslookup顯示NXDOMAIN而curl http://api因HTTP Host頭是api后端Nginx按server_name api;匹配所以能通——這是應(yīng)用層與DNS層的錯位。3步定位法grep search /etc/resolv.conf查看search域host -v api顯示詳細(xì)查詢過程看是否拼接了search域curl -v http://api 21 | grep Host:確認(rèn)HTTP請求頭是否含Host: api。1行修復(fù)命令sudo sed -i s/search.*/search ~./ /etc/resolv.confsearch ~.是特殊語法表示“不為任何域名拼接search域”徹底關(guān)閉拼接。若需保留部分search用search internal.net ~example.com表示example.com及其子域不拼接。3.5 場景五/etc/hosts條目被忽略——nsswitch.conf的權(quán)限陷阱現(xiàn)象/etc/hosts里寫了192.168.1.100 db-prod但ping db-prod報Unknown hostgetent hosts db-prod無輸出。根因分析nsswitch.conf中hosts:行漏掉了files如寫成hosts: dns則完全跳過/etc/hosts。或者/etc/hosts權(quán)限錯誤非644glibc會拒絕讀取。3步定位法cat /etc/nsswitch.conf | grep hosts檢查files是否存在ls -l /etc/hosts確認(rèn)權(quán)限為-rw-r--r--strace -e traceopenat ping db-prod 21 | grep hosts看ping是否嘗試打開/etc/hosts。1行修復(fù)命令sudo chmod 644 /etc/hosts sudo sed -i s/hosts:.*/hosts: files dns/ /etc/nsswitch.conf權(quán)限修正強(qiáng)制files優(yōu)先雙保險。注意nsswitch.conf修改后立即生效無需重啟。4. 深度避坑指南那些文檔里不會寫的12個致命細(xì)節(jié)以下是我三年來在數(shù)十個生產(chǎn)環(huán)境反復(fù)驗(yàn)證的“血淚教訓(xùn)”每一條都對應(yīng)一個曾讓我加班到凌晨的故障。它們不寫在man page里但比任何命令都重要。4.1resolv.conf的符號鏈接陷阱/etc/resolv.conf可能是軟鏈但內(nèi)容未必可信很多發(fā)行版如Ubuntu將/etc/resolv.conf軟鏈接到/run/systemd/resolve/stub-resolv.conf而后者由systemd-resolved生成。但resolved有個隱藏行為當(dāng)它檢測到上游DNS不可達(dá)時會主動清空/run/systemd/resolve/resolv.conf里的nameserver導(dǎo)致stub-resolv.conf也變空。此時cat /etc/resolv.conf顯示空白但ping仍能工作——因?yàn)閚sswitch.conf的files還在/etc/hosts條目生效。這種“表面故障實(shí)則正?!钡臓顟B(tài)會讓新手瘋狂重裝resolved。正確做法是永遠(yuǎn)用readlink -f /etc/resolv.conf確認(rèn)真實(shí)路徑再檢查該路徑內(nèi)容若為空直接sudo systemd-resolve --status看上游狀態(tài)而非盲目重啟服務(wù)。4.2systemd-resolved的緩存污染TTL過期前錯誤記錄永久生效systemd-resolved緩存遵循DNS TTL但有個例外當(dāng)它收到SERVFAIL響應(yīng)時會緩存該錯誤長達(dá)30秒硬編碼不可配。這意味著若某次DNS查詢因臨時網(wǎng)絡(luò)抖動返回SERVFAIL接下來30秒內(nèi)所有相同域名查詢都會直接失敗無論網(wǎng)絡(luò)是否已恢復(fù)。實(shí)測中我們用sudo systemd-resolve --flush-caches清緩存后故障立即消失。但更治本的方法是在/etc/systemd/resolved.conf中添加Cacheyes確保開啟和DNSStubListeneryes并監(jiān)控ResolvedCacheHit指標(biāo)發(fā)現(xiàn)緩存命中率異常高時主動flush-caches。4.3 容器DNS的--dns-opt參數(shù)ndots:5讓K8s服務(wù)發(fā)現(xiàn)變慢5倍Docker的--dns-opt ndots:N控制域名中“點(diǎn)號”數(shù)量閾值。默認(rèn)ndots:5意味著redis0個點(diǎn)會被當(dāng)作相對域名拼接search域查詢redis.default.svc.cluster.local而K8s的search域有4層default.svc.cluster.local svc.cluster.local cluster.local導(dǎo)致最多4次DNS查詢才能得到結(jié)果。線上我們將ndots設(shè)為1docker run --dns-opt ndots:1 ...這樣redis直接查A記錄redis.default.svc.cluster.local才走search拼接解析耗時從平均120ms降至22ms。4.4getent命令的隱藏開關(guān)-s參數(shù)可繞過nsswitch.confgetent hosts github.com按nsswitch.conf順序查但getent -s files hosts github.com強(qiáng)制只查/etc/hostsgetent -s dns hosts github.com強(qiáng)制只走DNS。這在調(diào)試nsswitch.conf配置是否生效時極有用——比如你懷疑files被跳過直接getent -s files hosts db-prod若返回IP說明/etc/hosts本身沒問題問題在nsswitch.conf或files模塊加載失敗。4.5dig與nslookup的本質(zhì)區(qū)別一個走系統(tǒng)配置一個走自定義服務(wù)器nslookup github.com默認(rèn)讀/etc/resolv.confdig github.com默認(rèn)走系統(tǒng)DNS即getaddrinfo路徑。所以當(dāng)systemd-resolved啟用時nslookup可能失敗因resolv.conf指向127.0.0.53而resolved異常但dig仍成功因dig內(nèi)部實(shí)現(xiàn)繞過了resolv.conf直連resolved的D-Bus。因此DNS調(diào)試必須用dig 127.0.0.53 github.com指定服務(wù)器和getent ahosts github.com走系統(tǒng)路徑雙驗(yàn)證單用nslookup會得出錯誤結(jié)論。4.6chattr i鎖死/etc/resolv.conf安全加固的反效果有些安全規(guī)范要求chattr i /etc/resolv.conf防止篡改但這會導(dǎo)致NetworkManager、systemd-resolved等服務(wù)無法更新DNS所有動態(tài)網(wǎng)絡(luò)如DHCP失效。線上環(huán)境應(yīng)避免i改用chmod 444 /etc/resolv.conf只讀chown root:root既防誤改又允許可信服務(wù)如systemd-resolved通過chown臨時修改權(quán)限再寫入。4.7nsswitch.conf的compat源號引入的NIS風(fēng)險hosts: files dns是安全的但hosts: compat會啟用NIS網(wǎng)絡(luò)信息服務(wù)/etc/hosts中開頭的行如netgroup會觸發(fā)NIS查詢。若NIS服務(wù)器不可達(dá)getaddrinfo會阻塞數(shù)秒。生產(chǎn)環(huán)境必須禁用compatgrep -r /etc/hosts清理所有行nsswitch.conf中hosts行嚴(yán)禁出現(xiàn)compat。4.8resolv.conf的options edns0EDNS協(xié)議擴(kuò)展的雙刃劍options edns0啟用EDNS0協(xié)議支持大于512字節(jié)的DNS響應(yīng)如DNSSEC。但某些老舊防火墻會丟棄EDNS0包導(dǎo)致查詢超時。若遇到dig short google.com成功但dig short google.com 8.8.8.8失敗大概率是EDNS0被攔截。臨時解決echo options no-edns0 | sudo tee -a /etc/resolv.conf。4.9systemd-resolved的LLMNR局域網(wǎng)內(nèi).local域名的隱形殺手LLMNR鏈路本地多播DNS默認(rèn)開啟會響應(yīng).local域名查詢。但若網(wǎng)絡(luò)中有Apple設(shè)備用Bonjour它們也響應(yīng).local導(dǎo)致resolved和Bonjour搶答解析結(jié)果隨機(jī)。企業(yè)內(nèi)網(wǎng)應(yīng)禁用sudo mkdir -p /etc/systemd/resolved.conf.d echo -e [Resolve]\nLLMNRno | sudo tee /etc/systemd/resolved.conf.d/no-llmnr.conf。4.10getaddrinfo的AI_ADDRCONFIG標(biāo)志IPv6環(huán)境下的連接黑洞glibc的getaddrinfo默認(rèn)帶AI_ADDRCONFIG標(biāo)志意思是“只返回與本機(jī)配置匹配的地址族”。若機(jī)器有IPv6地址但網(wǎng)絡(luò)不支持IPv6路由getaddrinfo會過濾掉所有AAAA記錄但某些應(yīng)用如舊版Java會因AI_ADDRCONFIG缺失而嘗試連接IPv6地址導(dǎo)致超時。統(tǒng)一方案在/etc/gai.conf末尾加precedence ::ffff:0:0/96 100強(qiáng)制IPv4優(yōu)先比改應(yīng)用代碼更可靠。4.11resolv.conf的rotate與timeout組合輪詢不等于負(fù)載均衡options rotate讓nameserver輪詢但timeout是單次查詢時限。若nameserver 1.1.1.1超時1秒nameserver 8.8.8.8立即被嘗試這看起來是負(fù)載均衡。但若1.1.1.1偶爾慢如200ms8.8.8.8永遠(yuǎn)得不到機(jī)會因?yàn)閞otate只在超時后觸發(fā)。真正均衡的做法是options timeout:1 attempts:1 rotate每次只試1次超時就輪到下一個確保每個DNS服務(wù)器都有均等機(jī)會。4.12systemd-resolved的DNSSEC驗(yàn)證安全與可用性的終極權(quán)衡DNSSEC開啟DNSSECallow-downgrade能防DNS劫持但會增加解析延遲需驗(yàn)證簽名且某些CDN如Cloudflare的DNSSEC配置錯誤會導(dǎo)致SERVFAIL。線上我們設(shè)為DNSSECallow-downgrade當(dāng)上游支持DNSSEC時驗(yàn)證不支持時降級為普通查詢兼顧安全與可用性。驗(yàn)證命令systemd-resolve --statistics | grep DNSSEC。5. 實(shí)戰(zhàn)案例復(fù)盤一次跨機(jī)房DNS故障的72小時攻堅(jiān)最后分享一個完整案例它濃縮了前述所有知識點(diǎn)。這不是理論推演而是我在某金融客戶現(xiàn)場的真實(shí)記錄。5.1 故障初現(xiàn)告警風(fēng)暴與表象迷惑周三上午10:23監(jiān)控平臺突現(xiàn)告警所有跨機(jī)房服務(wù)調(diào)用失敗錯誤日志清一色java.net.UnknownHostException: api.prod.internal。第一反應(yīng)是網(wǎng)絡(luò)中斷但ping各機(jī)房網(wǎng)關(guān)IP全通telnet api.prod.internal 443卻報Connection refused——等等telnet需要IP它怎么知道api.prod.internal的IP原來telnet也走getaddrinfo所以問題在DNS不在網(wǎng)絡(luò)層。我們立刻登錄跳板機(jī)執(zhí)行dig api.prod.internal 10.10.1.1主DNS返回NOERRORIP正確但getent ahosts api.prod.internal無輸出。矛盾出現(xiàn)了dig能查getent不能查。5.2 鏈路分段七層穿透式排查按前述七層鏈路我們逐層驗(yàn)證階段一應(yīng)用層strace -e tracegetaddrinfo telnet api.prod.internal 443確認(rèn)getaddrinfo被調(diào)用階段二nsswitchcat /etc/nsswitch.conf | grep hosts顯示hosts: files dns正常階段三/etc/hostsgrep api.prod.internal /etc/hosts為空排除階段四resolv.confcat /etc/resolv.conf顯示nameserver 10.10.1.1且search prod.internal正常階段五systemd-resolvedsystemctl status systemd-resolvedactive但sudo ss -tuln | grep :53無監(jiān)聽——resolved沒起來journalctl -u systemd-resolved | tail -20顯示Failed to bind to 127.0.0.53:53: Address already in use。查ss -tuln | grep :53發(fā)現(xiàn)dnsmasq在監(jiān)聽0.0.0.0:53。這就是場景二的端口沖突5.3 根因鎖定dnsmasq的bind-interfaces失效我們以為dnsmasq配置了bind-interfaces應(yīng)只監(jiān)聽127.0.0.1。但cat /etc/dnsmasq.conf | grep bind發(fā)現(xiàn)#bind-interfaces被注釋了原因是上周安全掃描工具自動備份并修改了配置文件但未重啟dnsmasq所以舊進(jìn)程仍在運(yùn)行新配置未生效。kill -9舊進(jìn)程后dnsmasq按新配置啟動釋放53端口systemd-resolved自動監(jiān)聽127.0.0.53getent ahosts api.prod.internal立即返回IP。5.4 深度復(fù)盤為什么故障持續(xù)72小時問題解決了但為什么從周三上午到周五下午才定位因?yàn)閐nsmasq的bind-interfaces注釋是掃描工具所為而dnsmasq
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九月色婷婷综合| 99精品性爱| 亚洲成av人影院| 8区视频在线| 色五月激情| 黄网在线免费| 俺去也五月| 色一情一乱一乱一区9| 久久只有18视频| 国内精品免费一区二区2009| 久久人妻视步| 91色逼| 天天搞天天爽| 婷婷亚洲天堂| 男人操女人高潮91视频| 五月丁香六月婷婷姐| 久热精品在看| 婷婷中文字幕| 婷婷五月天激情丁香| 墨西哥毛片内射精| 色五月婷婷久久| 五月丁香狠狠爱| 五月婷婷六月激情| 激情五月视频在线婷婷| 欧美97色| 国产精产国品一二三在观看| 五月婷婷六月天| 激情超碰网| 99热这里只有精品4| 色婷婷久久综| 99精品视频在线观看| 九九热在这里只有精品| 亚洲午夜电影| 九九热在线视频| 五月丁香六月激情综合在线| 色婷六月| AA片在线观看视频在线播放| 91狠狠色色丁香婷婷综合久久| 日韩性爱AV| 色婷婷五月综合网| 久婷婷| 第九色区av天堂| 色欲五月婷婷| 玖玖在线视频福利| 婷婷激情五月天桃花网| 91精品综合久久久久久五月丁香| 亚洲五月天色| 丁香五月婷婷老师网站| 五月婷婷在线免费观看| 99免费| 亚洲免费看片| 91九九热| 婷婷五月花| 丁香五月激情视频在线| 我爱大香蕉| 性爱视频久久| 亚洲国产精品VA在线看黑人| 91免费在线视频6| 丁香六月欧美| 丰满老熟妇BBBBB搡BBB| 狠狠色噜噜狠狠| 99riAV国产精品视频| 亭亭玉月丁香| 99久久久久久www| 久久狠狠色| BlACKEDRAW视频一区二区| 色色五月婷婷久久| 亚洲欧美999| 色五月色五天色情网| 538在线精品| 天天做天天爱天天玩| 久鲁鲁色网 | 国产精品美女| 激情激情激情网| 91九色欧美| 亚洲妇女熟BBW| 色综合99| 国产精品热搜丁香五月婷婷| 人妻操逼| 99这里是99在线视频| 去色色五月天| 丁香五月天成人| 99九九精品视频| 婷婷五月综合在线视频| 国产日产成人亚洲欧美国产VA| 成人丁香| 欧美色99| 人人爱摸视频| 五月丁香六月欧美综合网站| 26uuu.| 99爱99操| 九热久| 天天干天天日蜜臀av| 五月丁香精品| 五月丁香成人| 久超超碰| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 五月丁香婷婷色播无码| 亚洲成人在线观看av| 亚洲av骚货| 五月亭亭综合五码| 亚洲色色精品| 五月天婷婷青青草| 五月丁香亚洲校园欧美| 伊人久久艹| 狠狠色九月| 精品成人在线| 五月天丁香久久综合 | 五月婷婷丁香啪啪| 99久久久久| 色噜噜五月丁香婷婷| 成人精品视频99在线观看免费| 综合五月天天天天天五月| 色五月综合在线| 五月丁香久久综合色| 中文AV网站| 国产高潮A片羞羞视频涩涩| 五月丁香激情四射| 大香蕉啪啪| 亚洲婷婷五月天激情| 五月婷婷六月开心| 99热8| 日韩爱操视频| 五月婷婷啪啪| 91久久精品无码一区二区三区| 五月天色狠狠| 五月婷人妻| 热九九在线| 超碰人妻在线| 玖玖在线资源视频| 热久久66| 五月丁香WWW| av婷婷丁香 六月| 色婷婷丁香五月| 色v综合网| 99色| 丁香无月在线观看| 五月婷人妻| 99久久精| 天天在线久久综合| 婷婷五月天综合色| 色情五月综合婷婷| 日本超碰在线| 九九色婷婷| 国产精品久久久久久久久久| 日本久久色| 日本三级99人妇网站| 2050人人操免费工开爱 | 丁香在线视频| 亚洲九区| 嫩草AV久久伊人妇女超级A| 欧美日韩欧美| www.ywav| 踪合专区啪啪| 亚洲国产精品五月天| 色综合色综合婷婷热| 激情婷婷五月女| 免费黄色片子| 先锋资源 996| 日本五月天网站| 思思久久精品| 99九九视频| 狠狠综合| 婷婷久久天堂网| 94干大香蕉| 正宗黄色毛片| 热久久成人| 另类综合国产| 综激情网| 9国产在线视频| 丁香伊人五月色婷婷五十路| 五月天开心色情网| 亚洲激情电影五月天色婷婷丁香一起草| 日本色色图| 色婷婷五月天激情| 亚洲 五月 婷婷 成人| 五月天婷婷青青| 欧美成人A片AAA片在线播放| 色婷精品91| 在线观看的av| 夜色五月天| 97日本在线| AV无码免费| 九九蜜臀精品| 久久五月丁香六月婷| 五月天综合图片| 女人天堂AV| 五月丁香六月婷婷啪啪| 亚洲电影中文字幕| 婷婷欧美激情综合| 五月婷婷色播| 色婷婷综合视频| 日本性视频| 色婷婷情片| 五月天国产成人| www.开心激情| 婷婷综合| 視频福利乱色| 日日激情网| 九九热大香蕉| 中文字幕不卡网站| 欧日韩AV| 玖玖色综合网| 97国产精品女人碰碰| 久久激情网| 五月婷婷丁香av| 九久9精品| 色五月综合激情网| 日本久久高清| 青青草五月天| 婷婷婷婷午夜| 婷婷六月丁香久| 婷婷六月综合基地| 337久久| 淫荡家庭AV| 五月婷婷免费看| www.婷婷六月天| 色婷婷五月影视| site:wpjngj.com| 色婷婷亚洲六月婷婷中文字幕| 婷色五月天| 欧美性生交XXXXX无码小说| 九九色之九九色之88| 综合激情综合啪啪| 色色亚洲| 99re热精品在线视频| 操操操AV| 久热99视频在线观看| 丁香五月婷婷啪啪| 五月丁香久久综合| 99在线观看精品| 五月丁香狠狠| 五月天桃色深爱网| 玖玖无码中文| www.日韩国产| 丁香婷婷五月天成人| 亚洲激情无码久久| 久久98| 成人av在线网址| 九九免费精品| 大鸡巴伊人网| 26uuu国产精品| 五月婷网| 在线视频另类| 欧美日韩999| 99人人操| 天天摸天天透天天舔| 五月天丁香婷婷网| 婷婷五月色丁香在线看| 草草夜夜操| 99惹在线精品免费观看| 日日干天天爽| 久久久久久久综合狠狠综合| 俺去也五月天| 九九日本视频| 久久婷婷色| 激情综合网五月婷婷| 久久大香蕉同僚| 激情丁香五月| 欧美黄色韩日网| 国产性爱大片久久| 五月丁香婷婷成人综合网| 成人国产欧美大片一区| 极品人妻videosss人妻| WWW.亚洲无码| 可以直接看的AV| 蒲京久久无码视频| 开心婷婷五月中文字幕组| 亚洲第一成人无码A片| 欧美激情xxxXX| www.99热| 久久国产精品乱子伦_靑青草…| 可以看的av网站| 大香伊人婷婷影院| 婷婷五月丁香六月| 色婷婷激情| 99热99久久| 久久综合无| 久久免费操| 玖玖在线| 91久久99久久91熟女精品| 伊人影音无码一区二区三区| 五月天狠狠| 久操b网| 色婷婷五月天| 激情五月天网页| 日韩丰满少妇无码内射| 五月丁香激情婷婷| 99精品国产在热久久婷婷| 99热综合色图| 五月婷婷 欧美| 五月激情综合网| 午夜性爱影视一区77| 日韩色色色色| 六月丁香婷婷综合在线| 天天日夜夜欢| 日本片日本片祼观看网站在线看中文版网页在线看| 色播五月丁香综合| 青青色com久久| 欧洲激情精品婷婷| 91婷婷| 激情深爱五月天| 天天日夜夜操五月| 五月天伊人久久久久| 伊人色综合久久久| 一区二区三区四区五区| 九月色婷婷婷| 99色在线观看视频| 秋霞午夜理论| 精品九九网| 亚洲天堂爱爱| 天天碰天天插天天操| 69久久久| 97碰在线视频| 丁香五月婷婷呀| 91国产精品视频播放| www激情| 久久狼人天堂| 97超碰,人人舔,人人操,人人摸| 99在线免费视| 影音先锋91男人资源在线播放| 99综合免费视频| 亚洲婷婷婷| 丁香六月激情| 五月婷婷少妇之| 综合激情婷婷| 亚洲第一av| 色婷婷亚洲在线观看| 婷婷激情人妻| 九九热这里只有精品12| 成人婷99最新| 九九综合九色欧美狠狠| 开心激情综合| 夜夜骑夜夜操| 丁香五月天天日| 色婷婷成人久久| 午夜丁香婷婷| 91人人爽久久涩噜噜噜| 五月丁香色色综合| 综合激情五月婷婷| 狠狠婷婷色综合| 五月婷婷丁香五月| 亚洲99视频| 99狠狠色| 婷婷丁香熟女| 丁香五月影院| 欧美日韩成人一区二区| 99成人免费视频| 操99| 六月婷婷网| 国产人妻777人伦精品HD| 99热一区| 另类视频丁香五月| 五月天丁香啪啪综合| 亚洲情欲久久| 久久精品国产精品| 综合激情视频| 色99热| 99精品爱| 天天看A片| 天堂网亚洲色图| 91Chinese在线| 五月婷婷六月情| 天天做综合网色综合| 91人人操人人| 色婷婷色和| 久久女婷| 色五月综合激情| 色五月影视| 可以直接看的av网站| 91色五月| 国产亚洲99久久| 99婷五月| 国产毛片精品一区二区色欲黄A片| 99免费视频在线观看爱| 亚洲射激情| 激情综合久久| 久久婷婷网站| 六月婷婷七月丁香| 亚洲无码黄色| 久久精品天| 激情五月四色| 五月婷婷色在线| 色色丁香| 99啪啪| 激情五月丁香六月综合AVXXXX| 99这里有精品久久97| 91久久久久久久91| 99亚洲精品视频| 狠狠狠狠青草| 色色草97| 久久六月综合| 欧美婷婷丁香五月| 亚洲啪| 日韩在线观看网址| 色五月丁香五| 国产69精品久久久久999小说| 91青娱乐青青草| 婷婷五月丁香伊人| 深爱激情五月婷婷| 99热久久这里只有精品2010| 狠狠人妻久久久久久综合丁香| 97人人看一| 91精品刘玥| 黄色片久久| 双性美人被调教到喷水A片| 五月天六月色| 五月婷婷丁香| 久久久久久人妻| 思思热视频在线观看| 欧美日韩123| 曰曰久久| 婷婷大香蕉| 丁香五月综合激情啪啪| 色99视频| 六月丁香五月天| 中文字幕av在线| www婷婷| 激情五月丁香五月| 97人妻碰碰中文无码久热丝袜| 丁香六月综合| 五月激情啪啪啪| 久久人人九九| 99热一区| 久久思思热| 婷婷91视频| 成人网在线观看视频| 五月丁香啪| 专区无日本视频高清8| 人妻丰满精品一区二区A片| 亚洲乱码日产精品BD在线观看 | 公的粗大挺进了我的密道| 99视频在线精品| 大香蕉520| 粉嫩AV久久一区二区三区| 国产一级片| 亚洲国产精品SUV| 99热在线观看| 激情熟女网| 97碰人人操| 五月婷婷性爱| 婷婷丁香激情五月| 久久99网| 99热.com| 爱iii做iiii日| 久久玖玖99| 日本在线99| 久久久18| 婷婷激情网五月天| 综合婷婷五月天| 婷婷五月天激情电影| 激情五月丁香五月| 日韩AV在线影片| 国产黄色av| 亲子乱AV一区二区三区下载| 好吊丝aV| 色情婷婷五月天| 伊人婷婷大香蕉| 天天日日夜夜| 色五月丁香婷婷| 久久久亚洲精品一区二区三区浴池 | 激情网站综合五月天| 九九精品视频在线6| 婷婷玖玖五月天| 久9视频| 日欧一片内射VA在线影院| 婷婷久久欧美| 99精品在线观看| 五月婷婷六月激情在线| 99精品网| 人妻丰满精品一区二区A片| 久热爱大香蕉在线蜜臀悦色| 欧美婷婷六月丁香综合色连续高潮抽搐| 亚洲碰碰碰| www.99热最新视频8| www激情婷婷com| 色欲色香综合网| 97碰碰草| 五月丁香在线视频观看| 五月天婷婷基地| 午夜丁香| 在线你懂的亚洲欧| 五月婷婷婷自由综合| 激情久久久久久久久| 亚洲妇女熟BBW| 国产性爱一级| 国产另类综合| 超碰精品在线| 久久综合网桃花| 丁香5月综合啪啪| 青青草轻轻操| 天天操天天插天天射| 五月婷婷AV| 婷婷五月丁香综合人妻| 亚洲视频99| 人人操人| 91视屏在线观看com.wwwvv| 一月婷婷色色| 无码字幕中文| 5月丁香婷婷| 色婷婷超碰| 色婷婷香蕉在线| 99久久免费性爱视频`| 五月丁香淫淫婷婷婷| 99在线精品观看99| 色五月婷婷av| 婷婷日欧美在线观看| 久久久国产精品黄毛片| 丁香六月天婷婷在线| 五月婷婷亚洲色视频| 亚洲深喉aV| 婷婷综合久久| 日本视频99| 超碰在线播放免费观看| 五月激情网络| 亚洲深喉aV| 婷婷五月综合婷婷| 亚洲中文字幕AV| 人人综合91网| 婷婷久久亚洲| 69热91天堂| 婷婷五月天激情综合| 丁香狠狠色婷婷| 久久婷婷电影| 日日日日操| 欧美成人猛片AAAAAAA| 婷婷丁香射射| 天天操天天操天天操天天操天天操| 操97在线观看| 五月天色婷婷图片| 8090在线影视少妇| 天天日人人| 色婷网| 婷婷色婷婷| 九热精品| 91九色精品| 天天人人人人人人人人人人人| 国产精品久久久久久久久久久久 | 变态另类色图 | 色婷婷久久久| 色婷网| 97干免费视频| 精品人人操| 激情五月婷| 91成人电影| 亚洲网站999| 五月丁香影院| www99在线观看视频| 亚洲无码11| 国产激情在线| 成人电影一区| 激情五月开心五月在线视频| 欧美色色色| 青青热久精品视频在线观看| 天天色天天操天天射| 丁香婷婷久久| A久久| www.久久五月天.com| 人妻内射一区二区在线视频| 婷婷五月天免费| 在线观看日韩12345区| 丁香久久久| 97人人操com| 性综合网| 另类天堂| 97碰碰碰免费公开在线视频| 五月丁香激情深爱婷婷| 九九九九成人| 欧美色99| 五月色丁香综合| 成人综合网站| 五月丁香婷爱在线| 色婷婷91| 日韩色色视频| 九九热在线观看视频网站| 深爱激情网五月天| 国产色99| 天天插综合| 色婷婷六月激情| 激情AV综合| 五月亭亭性| 26.uuu丁香五月婷婷| 亚洲色啪| 丁香五月激情综合网激情五月| 丁香六月天| 丁香五月婷婷激情123| 美女视频图片久久91| 欧美丁香五月夫妻天| www.五月婷婷久久.com| 中文字幕无码人妻少妇免费视频| 狠狠操天天操| 任我肏视频精品| 五月天婷综合| 婷婷大美在线| 色色色五月| 日韩啪啪视频| 色婷婷五月综合在线| 久久免费高| 91色吧网| 四五月婷婷| 中文字幕黄色电影网址| 99ri在线视频| 99这里都是精品6| 99热偷拍| 超碰免费观看| 亚洲色综合| α久久| 秋霞AV美国| 色婷婷成人| 婷婷丁香激情| 国产成人av在线| 高清资源站日A美A欧亚…| 色婷婷久久| 思思热99er在线视频| Av在线资源| 色五月首页| 极品五月天| 肏屄色播伊人97婷婷| 国产精品色色| 日本视频99| 丁香六月爱综合| 超碰色综合| 婷婷五月色| 狠狠色噜噜狠狠狠狠综合| av 一区三区四区| www.久99| 久热久| 五月天激情婷婷| 2020久久婷婷五月| 久久东京热婷婷五月| 久久您您综合网| 性一交一乱一交A片久久四色| 五月婷婷av| 99碰碰碰| 欧美大片| 五月天社区| 丁香六月婷婷综合在线| 激情久久综合| 1234操逼网| 激情小说五月天| 日本色爽| 色婷婷丁香五月色综合网| 97人妻碰碰碰久| 色吊操色妞| 国精产品一区一区三区免费视频| 99热6色| 另类丁香五月天区图| 五月丁香啪啪激情| 日本97久久久精品| 亚洲182在线观看| 五月婷久久| 97干欧美| 丁香六月色婷婷| 五月 丁香 欧美| 九九热在线观看6| 激情綜合網址| 91趴趴| 潘金莲AAAAAAAAAA| 欧美精品中文字幕亚洲专区| 天天色天天日| 狠狠操综合| 99九九在线视频| 思思热高清在线观看| site:publishdd.com| 伦乱美欧| 亚洲中文丁香| AV色五月婷婷| 色色操| 亚洲天天操| AV成人在线播放| 色香欲综合| 99综合色| 岛国AV网站| 五月天婷婷高清无码| 午夜九九电影| 中文不卡一二三区| 日韩成人五月天| 激情文学天天| 亚洲第一色色色| 色婷婷六月性| 嫩草综合网| 99re这里只有精品视频6| 欧美激情五月综合| 色情五月丁香婷婷网| 丁香综合婷婷开心激情网| 一本久道综合色婷婷五月| 激情五月天综合网| 天天综合网91| 色综合久| 5月婷婷视频网站综合| 97色色色色色色色| 七七九九色色| 天天综合干| 丁香五月综合图片在线观看| 玖玖九九99| 99人人操人人摸| 天堂AV在线看| 色五月婷婷五月天激情综合| 五月婷在线观看| 婷婷五月激情中文字幕| 色天堂在线| 婷婷久久网| 五月天综合在线| 天天干天天做| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 激情婷婷五月在线合集| 亚洲AV电影美洲AV电影| 97热久久| 综合激情伊人影视在线| 狠狠色综合777| 99热精品网| 精品一区二区三区木瓜| 日本VA视频| 日本婷色| 色情综合网| 成人在线视频网| 大战熟女丰满人妻AV| 99天天操夜夜操| www久久久久| 丁香激情久久| 嫩草综合网| 色久激情在线| 99久超碰| 超碰狠狠操| 丁香五月婷婷av影院| 九九热99久久99| 欧美五月婷婷| 五月丁香成人日| 丁香五月开心婷婷| 男人天堂99| 亚洲精品色| 色九月丁香婷婷蜜桃在线观看| 激情五月综合网丁| 在线不卡中文字幕| 九九热这里有精品视频| 五月丁香色婷婷基地| 玖玖热视频| 婷婷五月成人| 99cao婷婷| 91丁香五月| 色综合xx| 激情综合网激情五月天| www.婷婷六月天| 中国女人做爰A片| 综合色视频| 婷婷丁香69精华| 思思久热6| 激情婷婷啪啪| 综合激情视频| 色综合网页| 91碰| 婷婷五月天亚洲综合| 色五月激情| 少妇水多A片太爽了| 91嫩草久久| 婷婷成人综合免费视频| a久久| 亚洲无AV在线中文字幕| 成人Av在线大片| www.五月天婷婷姐姐| 天天综合五月天| 亚洲V国产V欧美V久久久久久| 五月婷婷亚洲天堂97色婷婷| 我爱大香蕉| 婷婷丁香在线播放| www.狠狠操| 激情婷婷五月天丁香| 天天日天天干天天爱| 舔色婷婷| 色五月激情五月| 日本久久性| 伊人久久五月天| se99视频| 五月丁香婷婷啪啪综合| yazhouzonghesese| 婷婷久久精品| 91呦呦呦| 色婷婷内射| 婷婷五月激情的图片| 日本久久激情| 无码地址| 日本精品99网站| 51精品国内探花| 色播五月婷婷综合| 97操碰视频| 特黄三级又爽又粗又大| 综合久色五月| 久久XX| 任你干嘛免费视频播放| 激情五月六月丁香| 九九综合| 91久久| 色婷婷综合网| 丁香五月欧美婷婷| 五月婷色丁香| 丁香五月天社区| 超碰在线9| 99这里只有精| 久久探花91swag| 六月色狠狠色| www.99在线| 色婷婷丁香| 丁香五月成人| 888久久久| 久久婷婷五月天激情唯美| 99精品久久| 丁香婷婷久久| 久久五月网| 久婷婷五月综合欧美| 26uuu欧美日本| 超碰操日| 久久这里只有国产精品视频| 欧美性生交XXXXX无码小说 | 久久综合99| 香蕉综合在线| 综激情网| jiujiujiuwuyuetian| 99热精品在线免费观看| 26uuu成人网| 狠狠色综合网站| 操一区| 综合在线网| 天天色播| 玖玖色综合| 超碰99在线| 成人AV在线电影| 五月丁香999| 亚洲综合色色| 操人无码| 色色色欧美| 九九碰九九爱97超碰| 亚洲色碰| 开心五月网| aaa丁香五月天| 99热只有| 99这里只有精品视频在线| 天天插天天日| 九九综合精品| 免费看欧美成人A片无码| 天天天天天色| 丁香狠狠干| 婷婷5月九九| 一片AV片免费播放| 99热地址| Www99热| 久草A片| 99热播放| 婷婷五月天电影网| 人人操Av| 激情小说色五月| 婷婷射婷婷舔| 婷婷丁香色女人| 五月激情六月综合| 国产激情在线| 99色在线| 久久99热免费| 影音先锋五月婷婷| www天天色天天射| 丁香婷婷色九月| 色色网站在线| 亚洲丁香五月深爱五月| 热99色| 五月婷婷五月天激情网| 999久久久国产精品| 91精品久久久久久久| 高清无码.com| 亚洲黄网AV| 九九热视| 色五月综合激情| 婷婷丁香六月| 成人精品99| 亚洲综合另类| 色婷婷基地| 色六月丁香婷婷狠狠干| 婷婷五月综合中文字幕| 狼人婷婷综合| 思思久ren热| 91九色超碰| 激情小说五月天| 天天操夜夜爽天天操| 色色欧美色色色| 成功精品影院| 99热在线爱| 99cao婷婷| 亚洲无码成人| 五月天播播综合| 六月丁香开心婷婷欧美| 色爱综合网| 综合99在线| 婷婷五月欧美AA片免费| 激情视频网址| 五月中旬婷婷丁香六| 五月婷婷婷| 99亚州综合精品成人网| 思思精品久久艹| 久久综合影院| 国产精品A成V人在线播放| 五月激情六月综合| 色婷婷六月性| 99热热热天天人人人超超碰| 996er热| 久久人妻系列| 成人五月天丁香婷| 国产精品激情AV久久久青桔| 99热这里全都是精品| 五月天伊人av| 丁香五月色网| 免费91久久精品| 久久98| 五月丁香六月婷婷在线| 侠女刀之记忆电影在线看免费| 韩国中文字幕91| 九九久久五月天| 五月天激情综合10p| 久久超视频| 桃色成人网| 婷婷五月色综合| 欧美综合激情五月| 丁香婷婷性爱| 在线色婷婷| 色情五月综合婷婷| 狠狠干五月天| 五月开心婷婷| 成人永久免费视频在线观看| 丁香五月影院| 婷婷五月天成人小说| 亚洲美女婷婷五月天| 色婷婷情片| 超碰在线网站9| 久久精品性爱| www.色色五月天.com| 久热视频这里只有精品| 日韩一区二区三区无码| 大香蕉五月天| 婷婷 伊人 久久| 91国产精品视频播放| 粉嫩AV久久一区二区三区| 亚洲色综合| 五月综合激情网| 婷婷五月18永久免费视频| 色月视频| 婷婷日在线观看| 久久婷婷啪啪视频| 91九色中文| 色婷大香蕉| 2050人人操免费工开爱| 国色天香成人网| 婷婷五月天小说网| 婷婷综合色图| 婷婷综合成人| 99免费| 久久色五月天综合网| 手机看片日日做夜夜| 五月天婷婷一起草| 色色五月婷婷| 99热99在线| 碰超99| 色婷天天| 中文字幕AV网址| 亚洲一区二区无遮挡A片| 九九综合五月欧美| 男人的天堂av俄罗斯热| 超碰cap| 2050人人操免费工开爱 | 婷婷基地成人五月天| 天天色中文字幕女优AV| 久久色六月| 影音先锋91网站在线观看| 国产熟妇的荡欲午夜视频| 69精品人人人人| 婷婷操逼| 思思热在线| 国产成人精品一区二区三区视频 | 五月丁香激| 婷婷九色| 六月丁香六月婷婷欧美| 国产av影片| 欧美色色色色色色色| 丁香五月婷婷亚洲综合精品| 国産精品| 婷婷六月色| 五月婷婷激情综合在线| www.激情五月天.com| www.99热最新视频8| 婷婷五六日| 蜜乳国产网站| 男人的天堂五月丁香| 日韩色五月| 五月天丁香| 五月婷婷狠狠干| 91九色网| 91综合在线| 精品国产一区二区三区四区阿崩 | 激情色中文| 激情婷婷亚洲五月| 精品久久久久久久久久久久人妻| 五月丁香色婷婷伊人| 婷婷五月天.com| 深爱激情久久| 九九热免费| 九九99热| 丁香婷婷深情五月亚洲| 五月丁香| 色婷婷成人色网| 热婷婷在线视频| 久久99网址| 99这里有精品视频3| 午夜丁香六月婷| 天天干天天爽天天操| 天天日综合| 五月丁香免费视频| 色99在线| 亚洲九九99精品视频在线播放| 少妇水多A片太爽了| 色色999三级片| 99色五月| 五月婷婷六月丁香激情深爱| 很很干在线视频| 五月丁香六月婷婷久久| 五月激情婷婷综合| 91chinese在线| 百度一下国产精品A| 婷婷五月色情| 只有精品在线观看| www.狠狠干com| 播五月开心婷婷欧美综合| 婷婷激情五月| 96自拍视频九色在线观看| 亚洲久艹| 99re热视频这里只有综合亚洲| 婷婷久久五月天丁香| 五月香蕉综合| 激情深爱综合网| 午夜丁香婷婷| 六月五月天婷婷涩播在线| 五月婷婷色色网址| 入口五月婷婷六月香| www.夜夜.com| 亚洲网视屏| 婷婷色色亚洲| 久久婷婷五月天激情四射| 这里只有精品,日韩视频| 亚洲精品午夜国产va久久成人| 99视频在线精品| 色五月婷婷基地| 久9热插入| 欧美情月伍月天| 亚洲日日操| www.色五月| 激情五月天情色| 色五月xxx| 五月激情六月宗合| 丁香五月自拍| 色色五月丁香| 性做爰A片免费视频A片直播| 丁香九九九九| 久久综合激情| 大香蕉精品视频| 伊人狠狠综合| 99人人干| 九九99九九精品视频| 狠狠色丁香久久久婷| 天天插天天插天天插天天插| 久热9| 欧美激情伊人| 加勒比色色| 婷婷少妇激情| 超碰色碰碰| 无码四色色色| 狠狠插狠狠插| 天天肏在线| 9久热| 丁香五月天激情视频| 国产成人精品一区二区三区视频| 中文成人在线| 成人精品人妻| 亚洲五月天婷婷在线| 色婷五月| 国产熟女大叫受不了| 久久这里只有国产视频| 天天爽天天干| 成人视频在线免费播放| 亚洲狠狠操| 天天肏夜夜肏| 日本久久视频| 激情综合丁香五月| 搡BBBB搡BBB搡五十| 五月天大香蕉| 在线成人视频免费| 六月丁香婷婷爱| 婷婷五月天xxx| 色综合久久久久| 99热只有精品在线| 丁香五月婷婷骚视屏| 五月天开心网| AV九九| 香蕉视频91| 色色色五月天激情资源| 丁香五月天欧美| 亚洲天堂99| 欧美六月| 国产97色在线 | 日韩| 久久综合香蕉国产国产蜜臀AV| 色五月婷婷色| 色色色婷| 亚洲色色五月| se99视频| 婷婷综合九色伊人| 天天操天天操综合| 大香蕉啪啪网| 婷婷爱在线观看| 激情婷婷丁香五月天| 黄色一极大片| 99精品小视频| 欧美三级韩国三级日本三斤| 亚洲乱码成人| 青青久在线视频免费观看| 色婷婷五月天天天天天| 色色色色色色色色网站| 六月丁香大香蕉| 玖玖在线| 色私五月婷婷| 婷婷五月综合啪| 97五月天婷婷综合激情网| 九九婷婷五月天| 五月婷婷 自拍| 激情五月少妇| 色八戒操婷婷| 欧美成人五月天| 丁香五月亚洲综合| 都市激情小说婷婷| 色色9 9| 五月婷婷欧美激情| 九九艹女| 丁香 婷婷 亚洲 熟女| 久久99草五月婷婷| 综合久久人妻| 婷婷色基地在线看| 草五月| 六月婷婷网| 国产综合婷婷| 情色婷婷五月天| 色九网| 婷婷成人综合| 色婷婷影视| 678五月丁香亚洲综合| 亚洲字幕AV一区二区三区四区 | 影音先锋男人AV资源站| 停停五月天激情网| 97操碰在线97| 丁香五月在线观看| 99久久玖玖| 五月丁香福利| 丁香六月婷婷综情欧美| 五月婷婷六月色| 手机AVAV天堂看网| H亚洲| 亚洲国产精品VA在线看黑人| 日本黄色在线观看| 色综合久久88色综合天天99| 久热伊人| 人妻丰满精品一区二区A片| 色综合久久88色综合中文字幕| 色婷视频| 最新五月天婷婷影| 丁香八月综合激情| 天天天天操| 国产99久久久| 91丨九色丨东北熟女| 色婷婷深爱五月| 日韩国产AV播放| 丁香五月在线播放| 亚洲欧美婷婷五月色综合| 久久伊人大香蕉| 六月丁香五月激情婷婷| 精品导航在线x不卡| 激情床戏| 思思久ren热| 丁香婷婷天堂| 亚洲男女激情| 99精品在线播放| 任你躁XXXXX麻豆精品| 婷婷色五月在线视频| 亚洲天堂爱爱| 午夜性做爰电影| 五月好婷婷| 一区二区乱码视频| wwwss在线观看| 丁香五月天在线| 丁香五月91| 欧美丰满熟妇BBB久久久| 丁香五月婷久久| 色色综合网站| 亚洲三A| www.色九月| 涩综合在线 | 懂色av粉嫩av蜜臀av| 26uuu欧美日本| 99欧美| 日本久久久97| 91无码视频| 婷婷丁香五月天色区| 久久久精品99| 色一情一乱一乱一区91Av| 伊人五月丁香| 狠狠操综合| 九九热狼人| 九九综合九九| 丁香五月亚洲婷婷| 激情床戏| 亚洲网站观看视频| 五月婷婷激情久久| 呦呦v线| 欧美激情综合色综合啪啪五月| 97婷婷色| 思思久久青草热| 91九色首页| 天天日P天天射P| 99热这里是精品| 五月婷婷丁香在线| 人妻射精AV| 久久99久久久久久久噜噜| 色色婷婷五月天| 狠狠高潮精品亚洲1| 亚洲成色综合网站免费观看| 色婷婷激情五月天| 色婷婷基地 | 91玖玖| 热久视频| www久久99com| 九月婷婷综合网| 色135综合网| 色色丁香婷婷| 亚洲AV色婷婷人禽五月天| 婷婷日在线观看| 日本3级片一区2区| 色婷婷性爱网| 精品久久艹| 久久精彩免费视频| 五月丁香网中文字幕| 成人在线网址| 999精品久久久久久久| 婷婷激情四射| 亚洲免费99| 五月天六月婷| 91人人人人人| 99热6这里只有精品| 开心五月激情站| www.色欲丁香婷婷| 99热综合| 亚洲网视屏| 天天干夜夜谢| 这里只有精品99www| 久久久精品视频79| 天天综合久久| 色天使色综合| 无码人妻AV久久久一区二区三区 | 狠狠狠狠操| 色婷婷五月六月丁香综合视频| 无码AV大香线蕉伊人| 五月天婷婷小说| 香蕉久久国产AV一区二区| 天天色噜| 79精品视频| 思思精品久久艹| 日本在线免费中文com.|