欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Linux本地NTP時(shí)間服務(wù)器搭建與高可用運(yùn)維實(shí)踐

Linux本地NTP時(shí)間服務(wù)器搭建與高可用運(yùn)維實(shí)踐 1. 項(xiàng)目概述為什么你需要一個(gè)本地時(shí)間服務(wù)器而不是直接靠公網(wǎng)NTP“ntpd建立本地時(shí)間服務(wù)器供所有本地linux服務(wù)器使用”——這句話背后藏著一個(gè)被很多運(yùn)維新人忽略的硬傷時(shí)間不同步不是小問題而是系統(tǒng)性風(fēng)險(xiǎn)的導(dǎo)火索。我最早在某高校實(shí)驗(yàn)室維護(hù)一批用于教學(xué)實(shí)驗(yàn)的Linux服務(wù)器時(shí)就踩過這個(gè)坑三臺(tái)虛擬機(jī)跑同一個(gè)分布式日志分析腳本結(jié)果因?yàn)闀r(shí)間差了47秒Kafka消費(fèi)者組反復(fù)重平衡、ELK里的時(shí)間戳亂序、甚至Ansible批量部署時(shí)因證書有效期校驗(yàn)失敗而中斷。最后排查了兩天發(fā)現(xiàn)根源只是其中一臺(tái)主機(jī)沒配NTP靠系統(tǒng)默認(rèn)的硬件時(shí)鐘漂移一天就快了近3分鐘。你可能覺得“我服務(wù)器都開著chrony或者systemd-timesyncd不就自動(dòng)同步了嗎”——沒錯(cuò)但這是把命交到公網(wǎng)NTP服務(wù)器手上。你有沒有想過當(dāng)你的IDC網(wǎng)絡(luò)策略突然收緊、防火墻規(guī)則臨時(shí)調(diào)整、或者上游NTP服務(wù)比如pool.ntp.org某個(gè)節(jié)點(diǎn)出現(xiàn)毫秒級(jí)抖動(dòng)時(shí)你的幾十臺(tái)服務(wù)器會(huì)不會(huì)在同一秒內(nèi)集體“跳時(shí)間”ntpd的平滑調(diào)整機(jī)制slew mode能避免突變但前提是它有穩(wěn)定、低延遲、高可信的上游源。而本地時(shí)間服務(wù)器就是把這個(gè)“上游源”從不可控的互聯(lián)網(wǎng)變成你機(jī)柜里那臺(tái)你親手調(diào)校過的物理服務(wù)器。更關(guān)鍵的是ntpd本身不是簡(jiǎn)單的“客戶端-服務(wù)器”模型。它是一套基于時(shí)鐘偏移offset、頻率偏差drift、網(wǎng)絡(luò)延遲jitter三參數(shù)動(dòng)態(tài)建模的時(shí)間同步協(xié)議。它會(huì)持續(xù)觀測(cè)本地晶振的漂移率用一個(gè).drift文件長(zhǎng)期記錄并據(jù)此預(yù)測(cè)下一秒該快還是該慢。這種能力只有作為stratum 1或stratum 2的本地權(quán)威時(shí)間源才能充分發(fā)揮。而公網(wǎng)NTP服務(wù)器哪怕標(biāo)稱stratum 1對(duì)你而言實(shí)際是stratum 3甚至更高中間隔著至少兩跳網(wǎng)絡(luò)延遲和抖動(dòng)被層層放大。所以這不是“能不能用”的問題而是“值不值得花半天時(shí)間搭一個(gè)”的問題。實(shí)測(cè)下來一套配置得當(dāng)?shù)谋镜豱tpd服務(wù)器能把整個(gè)局域網(wǎng)內(nèi)所有Linux服務(wù)器的時(shí)間偏差穩(wěn)定控制在±5ms以內(nèi)千兆內(nèi)網(wǎng)環(huán)境且完全不受外網(wǎng)波動(dòng)影響。它不炫技、不燒錢、不占資源但一旦出問題它就是你整個(gè)基礎(chǔ)設(shè)施最沉默也最可靠的守門人。2. 整體架構(gòu)設(shè)計(jì)與核心選型邏輯為什么是ntpd而不是chrony或systemd-timesyncd2.1 為什么堅(jiān)持用ntpd而不是擁抱“新潮”的chrony現(xiàn)在網(wǎng)上90%的教程都在推chrony理由很充分啟動(dòng)快、對(duì)虛擬機(jī)友好、網(wǎng)絡(luò)斷連后恢復(fù)能力強(qiáng)。但如果你要建的是面向生產(chǎn)環(huán)境、多服務(wù)器集群、要求長(zhǎng)期穩(wěn)定授時(shí)的本地時(shí)間服務(wù)器ntpd依然是更優(yōu)解。這不是守舊而是由它的底層設(shè)計(jì)決定的。ntpd的核心優(yōu)勢(shì)在于其成熟的相位鎖定環(huán)路PLL與頻率鎖定環(huán)路FLL雙模自適應(yīng)機(jī)制。簡(jiǎn)單說它像一個(gè)老練的鐘表匠短期靠PLL微調(diào)相位就像輕輕撥動(dòng)秒針長(zhǎng)期靠FLL校準(zhǔn)頻率就像調(diào)整游絲松緊。而chrony的默認(rèn)行為更像一個(gè)“激進(jìn)派”——它優(yōu)先追求快速收斂會(huì)在檢測(cè)到較大偏移時(shí)主動(dòng)step跳變時(shí)間這對(duì)桌面用戶無感但在數(shù)據(jù)庫(kù)主從切換、金融交易日志打點(diǎn)這類場(chǎng)景下一次毫秒級(jí)的step都可能觸發(fā)業(yè)務(wù)層的異常告警甚至數(shù)據(jù)校驗(yàn)失敗。更重要的是ntpd的統(tǒng)計(jì)模型更透明、可審計(jì)。它的ntpq -p輸出里reach字段告訴你上次成功通信是幾秒前八進(jìn)制掩碼delay是網(wǎng)絡(luò)往返延遲offset是當(dāng)前偏移量jitter是偏移量的均方根誤差——這四個(gè)數(shù)字構(gòu)成了一個(gè)完整的質(zhì)量評(píng)估閉環(huán)。而chrony的chronyc tracking輸出雖然也有類似字段但其內(nèi)部狀態(tài)機(jī)更復(fù)雜調(diào)試門檻更高。在你第一次搭建時(shí)ntpd那套“所見即所得”的反饋能讓你在10分鐘內(nèi)判斷出是網(wǎng)絡(luò)問題是上游源質(zhì)量差還是本機(jī)晶振老化提示我們不是拒絕chrony而是明確分工——本地時(shí)間服務(wù)器用ntpd做stratum 2權(quán)威源下游客戶端可以用chrony做輕量級(jí)同步器。這樣既保證了源頭的穩(wěn)定性又兼顧了終端的靈活性。2.2 為什么必須是物理機(jī)或?qū)S锰摂M機(jī)而非混跑在業(yè)務(wù)VM上時(shí)間服務(wù)對(duì)系統(tǒng)資源的要求極低CPU常年1%內(nèi)存10MB但它對(duì)時(shí)鐘源的純凈度和調(diào)度確定性要求極高。我曾在一個(gè)KVM宿主機(jī)上把ntpd和MySQL跑在同一臺(tái)虛擬機(jī)里結(jié)果發(fā)現(xiàn)MySQL的慢查詢?nèi)罩纠锎罅縎QL執(zhí)行耗時(shí)被記錄為負(fù)數(shù)。深挖后發(fā)現(xiàn)KVM的時(shí)鐘虛擬化kvm-clock在宿主機(jī)負(fù)載高時(shí)會(huì)向客戶機(jī)注入不連續(xù)的時(shí)間戳而ntpd為了“修正”這個(gè)錯(cuò)誤反而加劇了本地時(shí)鐘的抖動(dòng)。因此我們的本地時(shí)間服務(wù)器必須滿足獨(dú)占CPU核心通過taskset -c 0 /usr/sbin/ntpd -n -g -u ntp:ntp綁定到特定核心避免被其他進(jìn)程搶占禁用CPU頻率調(diào)節(jié)echo performance | sudo tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor防止動(dòng)態(tài)降頻導(dǎo)致時(shí)鐘基準(zhǔn)漂移使用硬件時(shí)鐘RTC而非TSC在BIOS中啟用HPETHigh Precision Event Timer并在內(nèi)核啟動(dòng)參數(shù)中加入tscreliable hpetforce確保底層計(jì)時(shí)器不隨CPU頻率變化。這些操作在通用云主機(jī)或共享宿主機(jī)上根本無法完成。所以哪怕只有一臺(tái)老舊的i3物理服務(wù)器也比十臺(tái)頂級(jí)云虛擬機(jī)更適合作為時(shí)間源。2.3 上游時(shí)間源怎么選pool.ntp.org真的可靠嗎很多人直接寫server 0.pool.ntp.org iburst就完事了。但pool.ntp.org本質(zhì)是一個(gè)DNS輪詢池你每次解析到的IP可能來自全球不同國(guó)家、不同運(yùn)營(yíng)商、不同硬件設(shè)備的NTP服務(wù)器。我做過一個(gè)月的實(shí)測(cè)同一臺(tái)服務(wù)器每天凌晨3點(diǎn)自動(dòng)更新DNS緩存后ntpq -p顯示的delay從8ms跳到42msjitter從0.5ms飆升至3.2ms直接觸發(fā)ntpd降權(quán)轉(zhuǎn)而依賴本地晶振——而這恰恰是你最不想看到的。更穩(wěn)妥的做法是分層選擇、固定IP、交叉驗(yàn)證第一層stratum 1選用國(guó)內(nèi)公開的、有明確運(yùn)維主體的stratum 1服務(wù)器如cn.pool.ntp.org下的部分節(jié)點(diǎn)需自行dig cn.pool.ntp.org A解析并篩選延遲15ms的IP第二層stratum 2搭配1-2個(gè)國(guó)際知名stratum 2源如time.nist.gov美國(guó)NIST、ptbtime1.ptb.de德國(guó)PTB它們的硬件和運(yùn)維水準(zhǔn)有保障關(guān)鍵技巧永遠(yuǎn)不要只配一個(gè)上游。ntpd的算法會(huì)自動(dòng)給每個(gè)源打分分?jǐn)?shù)最低即質(zhì)量最好的那個(gè)成為主參考其余作為備份。配置4個(gè)上游ntpd就能在其中一個(gè)失效時(shí)無縫切換且通過多數(shù)表決機(jī)制intersection algorithm過濾掉異常源。3. 核心配置與實(shí)操細(xì)節(jié)從零開始搭建高可用本地NTP服務(wù)器3.1 環(huán)境準(zhǔn)備與基礎(chǔ)加固我們以CentOS 7.9內(nèi)核3.10.0-1160為基準(zhǔn)環(huán)境所有操作均在root權(quán)限下執(zhí)行。注意不要用Ubuntu等默認(rèn)啟用systemd-timesyncd的發(fā)行版做時(shí)間服務(wù)器它會(huì)與ntpd沖突。第一步停用并禁用所有現(xiàn)有時(shí)間同步服務(wù)systemctl stop chronyd systemd-timesyncd systemctl disable chronyd systemd-timesyncd # 徹底卸載chrony避免殘留配置干擾 yum remove chrony -y第二步安裝ntpd并確認(rèn)版本yum install ntp -y ntpd -v # 輸出應(yīng)為ntpd 4.2.6p51.2348-o (1) # 注意4.2.6p5是目前最穩(wěn)定的LTS版本4.3.x系列存在已知的閏秒處理缺陷第三步進(jìn)行基礎(chǔ)系統(tǒng)調(diào)優(yōu)關(guān)鍵# 關(guān)閉NTP的SELinux策略否則/var/log/ntp.log無法寫入 setsebool -P ntpd_disable_trans on # 配置內(nèi)核參數(shù)提升時(shí)鐘精度 echo kernel.timer_migration 0 /etc/sysctl.conf echo vm.swappiness 1 /etc/sysctl.conf sysctl -p # 禁用所有非必要服務(wù)減少中斷干擾 systemctl stop postfix atd auditd rsyslog systemctl disable postfix atd auditd rsyslog注意這里禁用rsyslog不是不要日志而是改用更輕量的logger命令自定義日志輪轉(zhuǎn)。因?yàn)閞syslog的高頻率日志刷盤會(huì)引入IO延遲干擾ntpd的精確計(jì)時(shí)。3.2 主配置文件詳解/etc/ntp.conf的每一行都是經(jīng)驗(yàn)之談這是整個(gè)項(xiàng)目的靈魂文件。下面逐行解析所有注釋都來自我在線上環(huán)境踩坑后的總結(jié)# 1. 基礎(chǔ)安全策略只允許本地網(wǎng)絡(luò)訪問禁止公網(wǎng)查詢 restrict default kod nomodify notrap nopeer noquery restrict -6 default kod nomodify notrap nopeer noquery # 2. 開放本地回環(huán)127.0.0.1和::1這是ntpd自檢必需的 restrict 127.0.0.1 restrict ::1 # 3. 關(guān)鍵開放你的內(nèi)網(wǎng)網(wǎng)段假設(shè)是192.168.10.0/24 # 注意這里必須用具體的子網(wǎng)不能用0.0.0.0/0否則暴露風(fēng)險(xiǎn)極大 restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap # 4. 上游時(shí)間源配置按質(zhì)量分層共4個(gè) # stratum 1國(guó)內(nèi)優(yōu)質(zhì)節(jié)點(diǎn)已實(shí)測(cè)延遲10ms server 114.114.114.114 iburst minpoll 4 maxpoll 6 server 202.120.2.101 iburst minpoll 4 maxpoll 6 # stratum 2國(guó)際權(quán)威節(jié)點(diǎn)作為兜底 server time.nist.gov iburst minpoll 4 maxpoll 6 server ptbtime1.ptb.de iburst minpoll 4 maxpoll 6 # 5. 本地時(shí)鐘作為最后保障fudge指令是精髓 # 當(dāng)所有上游都不可達(dá)時(shí)啟用本地CMOS時(shí)鐘但將其stratum設(shè)為10低優(yōu)先級(jí) server 127.127.1.0 fudge 127.127.1.0 stratum 10 # 6. 日志配置不寫入系統(tǒng)日志單獨(dú)管理避免干擾 logfile /var/log/ntp.log driftfile /var/lib/ntp/drift pidfile /var/run/ntpd.pid # 7. 關(guān)鍵性能參數(shù)讓ntpd更“沉穩(wěn)” # stepout 300如果偏移超過300秒才允許step跳變否則強(qiáng)制slew平滑 # tos minclock 3至少需要3個(gè)上游源才進(jìn)入正常同步狀態(tài)防止單點(diǎn)故障誤判 # tos minsane 2至少2個(gè)源達(dá)成共識(shí)才認(rèn)為時(shí)間可信 tos minclock 3 minsane 2 stepout 300逐項(xiàng)解釋背后的原理iburst首次連接時(shí)發(fā)送8個(gè)包而非1個(gè)大幅縮短初始同步時(shí)間從分鐘級(jí)降到秒級(jí)minpoll 4 maxpoll 6將輪詢間隔從默認(rèn)的64秒2^6到1024秒2^10壓縮到16秒2^4到64秒2^6。因?yàn)閮?nèi)網(wǎng)延遲極低沒必要等那么久fudge 127.127.1.0 stratum 10這是ntpd的“保底機(jī)制”。127.127.1.0是本地硬件時(shí)鐘驅(qū)動(dòng)stratum 10表示它是最末等的參考源只有當(dāng)所有網(wǎng)絡(luò)源都失效時(shí)ntpd才會(huì)啟用它且會(huì)持續(xù)告警tos minclock 3 minsane 2ntpd的“投票算法”。它會(huì)持續(xù)監(jiān)控所有上游源的offset和jitter只有當(dāng)至少3個(gè)源在線且其中2個(gè)給出相近結(jié)果時(shí)才認(rèn)定時(shí)間可信。這比單純看reach字段可靠得多。3.3 啟動(dòng)服務(wù)與首次同步如何判斷它真的“活”了配置完成后啟動(dòng)服務(wù)systemctl start ntpd systemctl enable ntpd但此時(shí)千萬別以為萬事大吉。ntpd啟動(dòng)后需要至少15分鐘的觀測(cè)期才能進(jìn)入“同步態(tài)”sync state。判斷標(biāo)準(zhǔn)不是systemctl status ntpd顯示active而是以下三個(gè)命令的輸出第一關(guān)檢查ntpd是否在運(yùn)行且無報(bào)錯(cuò)# 查看進(jìn)程和端口 ps aux | grep ntpd netstat -tuln | grep :123 # 檢查日志是否有致命錯(cuò)誤 tail -f /var/log/ntp.log | grep -E (error|refuse|panic) # 正常情況下啟動(dòng)初期會(huì)有frequency file /var/lib/ntp/drift read等INFO日志第二關(guān)用ntpq命令看上游源狀態(tài)ntpq -p一個(gè)健康的輸出應(yīng)該長(zhǎng)這樣remote refid st t when poll reach delay offset jitter *114.114.114.114 127.127.1.0 2 u 42 64 377 4.212 -0.123 0.045 202.120.2.101 127.127.1.0 2 u 51 64 377 5.678 0.089 0.067 time.nist.gov .ACTS. 1 u 23 64 377 12.345 -0.234 0.123 # 注意第一列的*號(hào)表示當(dāng)前主參考源號(hào)表示合格的備用源空格表示被剔除的源 # reach值為377八進(jìn)制 255十進(jìn)制表示最近8次查詢?nèi)砍晒Φ谌P(guān)終極驗(yàn)證——用ntpdate手動(dòng)測(cè)試下游客戶端在另一臺(tái)Linux服務(wù)器上執(zhí)行# 先停止其ntpd服務(wù)避免沖突 systemctl stop ntpd # 手動(dòng)強(qiáng)制同步一次僅用于驗(yàn)證生產(chǎn)環(huán)境禁用 ntpdate -q 192.168.10.100 # 輸出應(yīng)為server 192.168.10.100, stratum 3, offset -0.000123, delay 0.004567 # offset絕對(duì)值1msdelay10ms說明鏈路健康實(shí)操心得我見過太多人卡在reach值一直是0。最常見的原因是防火墻沒開UDP 123端口。CentOS 7默認(rèn)firewalld會(huì)攔截必須執(zhí)行firewall-cmd --permanent --add-servicentp firewall-cmd --reload3.4 下游客戶端配置讓所有Linux服務(wù)器乖乖聽話上游服務(wù)器搭好了下游怎么配記住一個(gè)鐵律客戶端永遠(yuǎn)不要直連公網(wǎng)NTP只認(rèn)你的本地服務(wù)器IP。在每臺(tái)需要同步的Linux服務(wù)器上編輯/etc/ntp.conf# 清空所有默認(rèn)server行只留這一行 server 192.168.10.100 iburst minpoll 4 maxpoll 6 # 安全限制只允許向這臺(tái)服務(wù)器查詢禁止它反向查詢你 restrict 192.168.10.100 mask 255.255.255.255 nomodify notrap noquery # 其他保持默認(rèn)即可 driftfile /var/lib/ntp/drift logfile /var/log/ntp.log然后重啟服務(wù)systemctl restart ntpd # 等待5-10分鐘再執(zhí)行ntpq -p確認(rèn)remote列顯示你的服務(wù)器IP且有*號(hào)高級(jí)技巧批量部署腳本如果你有50臺(tái)服務(wù)器手動(dòng)改配置太傻。用Ansible寫個(gè)playbook- name: Configure NTP client hosts: all_servers become: yes vars: ntp_server: 192.168.10.100 tasks: - name: Stop and disable existing time services systemd: name: {{ item }} state: stopped enabled: no loop: - chronyd - systemd-timesyncd - name: Install ntp package yum: name: ntp state: present - name: Write ntp.conf template: src: ntp.conf.j2 dest: /etc/ntp.conf - name: Start ntpd systemd: name: ntpd state: started enabled: yes模板ntp.conf.j2內(nèi)容就是上面精簡(jiǎn)后的客戶端配置。這樣50臺(tái)服務(wù)器的NTP配置一條命令全部搞定。4. 運(yùn)維監(jiān)控與故障排查那些教科書不會(huì)寫的實(shí)戰(zhàn)經(jīng)驗(yàn)4.1 日常監(jiān)控三張表看懂時(shí)間健康度別指望天天手動(dòng)敲ntpq -p。我把最關(guān)鍵的指標(biāo)做成三張監(jiān)控表每天晨會(huì)掃一眼5秒內(nèi)定位問題。表1上游源質(zhì)量實(shí)時(shí)表每5分鐘采集一次源IPstratumdelay(ms)offset(ms)jitter(ms)reach狀態(tài)114.114.114.11424.2-0.120.045377? 主源202.120.2.10125.70.090.067377? 備源time.nist.gov112.3-0.230.123377? 備源127.127.1.0100.00.000.0000? 未啟用判斷邏輯reach非377、jitter1ms、offset絕對(duì)值5ms任一成立即標(biāo)黃預(yù)警兩項(xiàng)成立標(biāo)紅告警。表2本地服務(wù)器自身穩(wěn)定性表每小時(shí)采集時(shí)間戳系統(tǒng)時(shí)間UTC時(shí)間本地時(shí)鐘偏移drift值狀態(tài)2023-10-01 08:002023-10-01 08:00:00.1232023-10-01 00:00:00.123-0.00012312.345?2023-10-01 09:002023-10-01 09:00:00.4562023-10-01 01:00:00.456-0.00045612.348?drift值是關(guān)鍵它代表本地晶振每秒快/慢多少PPM百萬分之一。一個(gè)健康的服務(wù)器drift值24小時(shí)內(nèi)波動(dòng)應(yīng)0.01。如果某天drift從12.345跳到15.678說明硬件時(shí)鐘開始老化該考慮更換主板電池了。表3下游客戶端同步達(dá)標(biāo)率每日統(tǒng)計(jì)客戶端IP同步成功率平均offset(ms)最大offset(ms)是否達(dá)標(biāo)192.168.10.101100%0.0230.156?192.168.10.10299.8%0.0340.212?192.168.10.10387.2%1.23415.678?達(dá)標(biāo)標(biāo)準(zhǔn)同步成功率99.5%最大offset5ms。低于此值立即登錄該客戶端執(zhí)行ntpq -p看是否指向了錯(cuò)誤的NTP源。4.2 典型故障速查手冊(cè)從現(xiàn)象到根因的完整路徑我整理了過去三年線上遇到的12類NTP故障按發(fā)生頻率排序每類都附帶現(xiàn)場(chǎng)診斷命令根因修復(fù)方案。故障1ntpq -p顯示所有源reach為0現(xiàn)場(chǎng)診斷# 檢查網(wǎng)絡(luò)連通性 ping -c 4 114.114.114.114 # 檢查UDP端口是否可達(dá) nc -uz 114.114.114.114 123 echo OK || echo FAIL # 檢查ntpd是否監(jiān)聽 ss -tuln | grep :123根因90%是防火墻攔截10%是上游服務(wù)器宕機(jī)。修復(fù)firewall-cmd --add-servicentp --permanent firewall-cmd --reload或臨時(shí)換一個(gè)上游源。故障2offset持續(xù)增大且jitter5ms現(xiàn)場(chǎng)診斷# 檢查本機(jī)CPU負(fù)載 top -b -n1 | head -20 # 檢查是否有進(jìn)程在瘋狂刷磁盤 iostat -x 1 3根因高IO或高CPU負(fù)載導(dǎo)致ntpd進(jìn)程被調(diào)度延遲無法及時(shí)處理時(shí)間包。修復(fù)按2.2節(jié)方法綁定CPU核心并降低maxpoll值到532秒輪詢減輕單次處理壓力。故障3ntpq -p顯示*號(hào)在本地時(shí)鐘127.127.1.0上現(xiàn)場(chǎng)診斷# 查看日志中的上游連接嘗試 grep 114.114.114.114 /var/log/ntp.log | tail -10 # 檢查DNS解析是否正常 dig 114.114.114.114 short根因所有上游源都不可達(dá)ntpd被迫啟用本地時(shí)鐘。此時(shí)/var/lib/ntp/drift文件會(huì)停止更新。修復(fù)立即檢查網(wǎng)絡(luò)路由、DNS配置并在/etc/ntp.conf中臨時(shí)增加一個(gè)更可靠的上游如server time1.aliyun.com。故障4下游客戶端ntpq -p顯示refid為.INIT.或.STEP.現(xiàn)場(chǎng)診斷# 在客戶端執(zhí)行 ntpdate -d 192.168.10.100 # 觀察輸出中的Server dropped: strata too high根因上游服務(wù)器尚未完成同步stratum仍為16客戶端拒絕同步。修復(fù)在上游服務(wù)器上等待ntpq -p顯示st列2且有*號(hào)后再啟動(dòng)客戶端服務(wù)。故障5時(shí)間同步后系統(tǒng)日志時(shí)間戳依然錯(cuò)亂現(xiàn)場(chǎng)診斷# 檢查rsyslog是否使用了本地時(shí)鐘 grep -r imjournal\|imuxsock /etc/rsyslog.conf # 檢查內(nèi)核日志時(shí)間 dmesg | head -10根因rsyslog默認(rèn)使用系統(tǒng)啟動(dòng)時(shí)的本地時(shí)間不隨NTP同步更新。修復(fù)在/etc/rsyslog.conf中添加$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat并重啟rsyslog。4.3 長(zhǎng)期維護(hù)如何讓這套系統(tǒng)“自我進(jìn)化”一個(gè)優(yōu)秀的時(shí)間服務(wù)器不應(yīng)該需要你每周登錄查看。我的做法是第一自動(dòng)化漂移學(xué)習(xí)ntpd的/var/lib/ntp/drift文件記錄了晶振漂移率但它是靜態(tài)的。我寫了一個(gè)腳本每天凌晨2點(diǎn)讀取該值結(jié)合過去7天的offset趨勢(shì)用線性回歸預(yù)測(cè)未來24小時(shí)的漂移并生成新的drift文件#!/bin/bash # /usr/local/bin/update-drift.sh LOG/var/log/ntp.log DRIFT/var/lib/ntp/drift # 提取最近1000行offset數(shù)據(jù) grep offset $LOG | tail -1000 | awk {print $(NF-1)} /tmp/offsets.txt # 用Python做簡(jiǎn)單線性擬合此處省略具體代碼 python3 /usr/local/bin/fit_drift.py /tmp/offsets.txt $DRIFT.new mv $DRIFT.new $DRIFT第二上游源健康度月度報(bào)告每月1號(hào)腳本自動(dòng)匯總上個(gè)月所有上游源的delay、jitter、offset均值和標(biāo)準(zhǔn)差生成PDF報(bào)告郵件發(fā)送給運(yùn)維組。連續(xù)兩個(gè)月jitter標(biāo)準(zhǔn)差1ms的源自動(dòng)從配置中剔除。第三硬件時(shí)鐘電池預(yù)警主板CMOS電池壽命約3-5年。我通過監(jiān)控/proc/sys/dev/cmos需內(nèi)核支持或定期讀取hwclock --show的誤差累積值當(dāng)24小時(shí)誤差1秒時(shí)自動(dòng)創(chuàng)建Jira工單提醒更換。5. 擴(kuò)展思考當(dāng)ntpd遇上容器化與云原生你可能會(huì)問“現(xiàn)在都上K8s了還要搞ntpd嗎”答案是越云原生越需要一個(gè)堅(jiān)實(shí)的本地時(shí)間基座。在Kubernetes集群里每個(gè)Pod的時(shí)鐘都繼承自宿主機(jī)。如果宿主機(jī)時(shí)間漂移所有Pod的日志、metrics、trace都會(huì)錯(cuò)亂。而K8s的Node節(jié)點(diǎn)往往就是你之前配置的那些Linux服務(wù)器。所以ntpd不是過時(shí)了而是下沉到了更底層——它成了整個(gè)云平臺(tái)的時(shí)間地基。我們現(xiàn)在的實(shí)踐是控制平面Master節(jié)點(diǎn)運(yùn)行ntpd作為集群唯一權(quán)威時(shí)間源數(shù)據(jù)平面Worker節(jié)點(diǎn)禁用所有時(shí)間同步只信任Master的NTP服務(wù)特殊工作負(fù)載對(duì)時(shí)間精度要求極高的StatefulSet如時(shí)序數(shù)據(jù)庫(kù)通過hostPath掛載宿主機(jī)的/var/lib/ntp/drift并設(shè)置securityContext.privileged: true直接訪問硬件時(shí)鐘。另外對(duì)于Serverless函數(shù)如AWS Lambda雖然你無法控制底層OS但可以在函數(shù)初始化階段調(diào)用一次你的本地NTP服務(wù)器獲取精準(zhǔn)UTC時(shí)間作為所有后續(xù)計(jì)算的基準(zhǔn)。這比依賴Lambda運(yùn)行時(shí)的系統(tǒng)時(shí)間可靠得多。最后分享一個(gè)小技巧在Prometheus監(jiān)控體系中我專門部署了一個(gè)ntp_exporter它把ntpq -p的輸出轉(zhuǎn)化為Metrics接入Grafana后可以直觀看到所有上游源的offset_seconds、jitter_seconds、delay_seconds曲線。當(dāng)某條曲線突然上揚(yáng)告警立刻觸發(fā)——這才是現(xiàn)代運(yùn)維該有的樣子。我在實(shí)際運(yùn)維中發(fā)現(xiàn)真正讓時(shí)間服務(wù)器“堅(jiān)如磐石”的從來不是多復(fù)雜的配置而是對(duì)每一個(gè)參數(shù)背后物理意義的理解以及對(duì)每一次微小偏移背后硬件狀態(tài)的敬畏。它不聲不響卻支撐著你所有業(yè)務(wù)日志的時(shí)序、所有數(shù)據(jù)庫(kù)事務(wù)的隔離、所有分布式鎖的公平。當(dāng)你某天深夜收到一條“時(shí)間同步異?!钡母婢瘎e急著重啟服務(wù)——先泡杯茶打開ntpq -p看看那個(gè)小小的offset數(shù)字它正默默告訴你這臺(tái)服務(wù)器的心跳是否依然穩(wěn)健。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲五月天天| 伊人狠狠狠综合| 99国产小视频2013| 五月天激情网页| 婷婷五月综合激情免费视频| 婷婷内射视频在线| 天天日天天色| 色婷婷综合在线| 色婷六月| 色婷婷色久综| 丁香久久五月婷综合| 久9久9久9久9久9久9| 另类图片五月天| 精品一二三区久久AAA片| 久久综合55| 99热999| 九色无码| 五月丁香在线精品| 玖玖婷婷色五月| 超碰99热| 婷婷五月另类网站| 第四色激情网| 婷婷色欧美激情| 久久综合婷婷五月| A片试看120分钟做受图片| 日本97人人| 婷婷午夜综合| 99re这里只有精品首页| 无码激情| 亚洲婷婷综合视频| 色之综合网| 天天檫天天爽| 久久这里有精品| caop视频| 欧美日韩99| 性小说五月天| 日本天天操| 97在线精品| 丁香五月 性爱| 亚洲99综合| 五月丁香综合伦理片| 丁香五月六月综合欧美| 婷婷99狠狠躁天天久久久九九九| 996er热| 婷婷色色播五月天| 91综合在线| 伊人在线另类| 丁香综合伊人| 激情综合色图| 色色97丁香婷婷五月天| 五月丁香拍拍激情综合| av九九| 亚洲最大视频网站| 六月天六月婷| 超碰91在线| 五月丁香毛片| 99爱在线精品视频免费观看| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品| 九色激情网| 高清激情av在线观看| 色五月涩涩婷婷| 亚洲电影在线观看| 婷婷丁香人妻天久久| 五月丁香六月成人| 欧美天堂婷婷日韩| 日本www五月婷婷| 婷香五月激情视频| 激情五月最新网址| 色天天久婷婷| 99亚洲视频| 日韩啪图| 国色天香伊人狠狠色| 99色热| 激情av网| 五月涩涩网| 日本一级一片免费视频| 九九久久精品國產| 丁香五月电影| 婷婷丁香18| 欧美色色色色色色色色色色影视| 五月丁香综合网| 99在线视频精品| 99热这里只有精品青草| 亚洲视频无| 婷婷激情五月综合丁| 开心五月深爱五月| 永久思思热在线| 色婷| 中文无码婷婷| 九九精品热| 97极品在线| 夜丁香综合| 免费看欧美成人A片无码| 26uuu国自产精品| 色婷婷久久综合| 婷婷丁香五月91| 综合激情视频| 99人人操人人操人人精| 久久婷色| 色热久资源| 色久九| 成人色图情色成人网 www.5b5b5bcom 五月天 | 九九热超碰| 婷婷丁香激情综合色情| 婷婷五月天久久久| 五月天婷婷久久日| 日本狠狠干| 激情婷婷五六月天| ..真实国产乱子伦毛片| 欧美激情综合色丁香婷婷五月天| 久久婷婷色综合老司机| 欧美性爱一区| 色色五月婷婷| 被强行糟蹋的女人A片| 夜夜骑操AV| 久久婷婷六月综合综合| 久久人妻情侣| 五月丁香婷婷综合网色欲| 久久五月综合| www.jiujiujiu| 影音先锋四区| 无码网| 日韩丰满少妇无码内射| 五月丁香亚洲婷婷| 九九热99视频在线| 99视频这里有精品| 国产精品久久久久久五月天加勒比| 嫩草免费视频| 激情五月天综合网| 九九人妻福利| 热热色色五月天婷婷| 亚洲性色XXXXX| 日韩av免费版| 99自拍视频网站| 97操在线视频| 高潮毛片又色又爽免费| 亚洲色优| 久久久婷婷| 激情久久久| 五月婷色丁香| 久久99久久久| 亚洲AV成人在线| 欧美色六月婷婷| 婷婷丁香成人色综合| 精品久久66| 久久99综合网| 国产亚洲成AV人片在线观黄桃| 丁香网五月网| 五月天婷婷綜合院| 日本欧美成人片AAAA| 婷婷.com| 亚洲思思热久| 99热在这里只有精品| 69精品无码一区二区三区| WWW.99视频| 天天做天天爱天天搞| 国产在线aaa片一区二区99| 五月天激情婷婷小说| 人人操人人看97干| 五月综合激情网| 日韩在线五月天婷婷| 免费97碰碰| 120分钟婬片免费看| 五月天婷网| 亚洲午夜Av| 欧洲色色| 免费视频无码| 色丁香婷婷美女视频网站| av免费在线网站| 99无码视频| 日日插日日干| 激情婷婷五月女| 伊人在线大香蕉网| 99操碰| 婷婷六月久久综合导航| 思恩热国产视频右线观看| 色色欧美色色| 丁香五月婷久久| 婷婷激情啪啪| 丁香五月天欧洲在线| 色五月丁香91| 五月丁香六月婷综合成人综合| 天天xxxxxx天天日| 密黄站| 国产操逼网站| 久热在线中文字幕色999舞| 99久久精品国产色欲| www.25五月婷婷| 国产第99页| 五月天综合在线| 26uuu欧美日本| 六月丁香视频网站| 中美日韩成人在线| 97操在线资源| 日本黄色一级| 大香蕉AV在线| 东京热免费视频| 天天爽综合网| 六月香五月婷| 国产精品久久99| 亚洲色基地| 中字幕视频在线永久在线观看免费| 久色大| 天天摸夜夜爽天天做| 一区视频网站| 六月丁香激情| 91操黄| 99精品综合视频| 51国精产品自偷自偷综合| 五月天激情在线视频| 久久精品99久久| 99久久国产综合精品五月天喷水\| 激情www| 婷婷五月激情图片| 五月丁香六月婷婷视频| 天天cha成人综合网| 色九九综合| 97五月天婷婷综合激情网| 色情终和网| 天天插综合| 日本九婷婷| 激情五月天色婷婷| 五月丁香六月合| 久久99热只有精品| 激情五月天久久丁香| 97操碰在线视频| 婷婷的五月天另类视频| 日韩免费视频| 亚洲妇女熟BBW| 五月丁香香蕉| 亚洲啪视频| 婷婷五月天激情小说| 国产另类综合| 九九精品在线网| 99热视| 入口五月婷婷六月香| www.五月天婷婷| 久热伊人在91| 五月色婷丁香| 97操| 婷婷伊人75| 丁香五月激情综合久久| 国内9l视频自拍老熟女九色| 丁香五月 性爱| 又大又粗九一在线| 热99色| 日本精品人妻无码77777| 99色综合| 色综合色综合网| 人妻无码精品一区| 91色婷婷综合久久中文字幕二区| 99热精品在线在线| 精品国产AV色一区二区深夜久久| 日本猛少妇色XXXXX猛叫| 六月色婷婷| 五月天激情亚洲| 久色网址| 996er热| 色色国产| 99国产精品白浆在线观看免费| 99热综合| 影音先锋美国A| 日韩黄色影院| 亚洲视频在线网| 五月 婷 久| 中文字幕操比影片| 吾爱AV导航| 五月情涩综合婷婷| 日韩超碰在线| 五月丁香久久精品在线观看| 2025最新亚洲激情在线| 人人看人人要| 免费在线观看欧美激情xx小视频| 成人五月天丁香婷| 丁香六月婷婷| 天天激情站| 欧美久久久中文字幕| 草久私拍| 九九热自拍| 99九九在线精品热动漫| 一起草无码视频| 激情婷婷内射| 日日做夜夜爱| www.夜夜操| 97碰久久| 日日夜夜干| 四川BBB搡BBB爽爽视频| 操婷婷久久| 五月婷婷婷| 九九这里是免费的视频5| 人人操99| 思思综合热| 亚洲激情97五月天| 亚洲午夜视频| 欧美槡BBBB槡BBB少妇| 精品成人无码A片观看香草视频| 成人免费黄色短视频| 在线不卡AC| 黄色91在线观看| 激情视频91| 一级片sese片.COM| 欧美激情-区二区三区| 99久在线精品99re8| 婷婷五月天网址| 夜夜操天天干| 91精品刘玥| 九九热99熟女| 色五月天综合| 丁香五月av| 99性色| 97亚洲视频在线| 91丨人妻丨国产丨丝袜| 就是色婷婷五月亚洲色| 深爱激情69热| 亚洲综合五月天婷婷| 欧美性猛交99久久久久99按摩| 伊人久久大香线蕉亚洲五月天,| 91凹凸在线| 久久99热这里| 五月天激情网图片| 国产AV国片偷人妻麻豆| 免费人人操| 亚洲va欧美| 婷婷综合六| 狠狠色噜噜狠狠| 五月婷婷啪啪| 538任你爽视频不一样的| 欧美黑人大吊| 丁香婷婷五月| 成人精品视频99在线观看免费 | 激情综合区| 熟女人妻一区二区三区免费看| 日噜噜色| 五月天激情偷拍| 激情综合色播| 成人国产欧美大片一区| 久久久99免费视频| 狠狠操狠狠做| 亚洲免费看片| 色综合中文色综合网| 六月丁香婷婷网| 激情网五月天| 日韩AV无码影片| 亚洲在线综合| 久久五月天色| 亚洲最大成人综合网720P| 激情五月综合久久| 99热这里只有的精品视 | 人人操人人爱丁香五月| 伊人婷婷五月天| 人人叉久| 中文字幕性爱丰满| 久热久| 超碰人人操| 色情播放| 婷婷色婷婷| 久久婷婷激情四射五月天| 亚色网站小视频| 国产激情在线| 特黄三级又爽又粗又大| 四季日韩AV无码综合| 五月丁香美女视频| 国产avapp 网| 99热九九在线| 综合激情五月天六月婷免费视频| 亚洲字幕AV一区二区三区四区| 色玖玖综合网| 九九在线视频| 国产第99页| 狠狠999| 综合色99| 九艹在线| 99视频在线精品| 影音先锋日本三级资源| 亚洲激情免费久久| 99热精品免费| 日本三级中国三级99人妇网站| 99色网站| av超碰在线| 九九草热在线观看| 99免费视频| 久久色情| 亚洲五月婷| 天天肏高清在线| 国产精品日韩十五区| 中文字幕乱码亚洲精品一区| 日本婷婷网| 97精品综合久久| 99在线视频免费| 五月天激情网页| 色婷婷六月| √天堂资源在线人妻熟女| 丁香狠狠色婷婷久久无码视频| 无码少妇高潮喷水A片免费| 超碰在线国产9| 色五月激情五月| 曰本久久女| 激情婷婷五月天网址| 亚洲国产成人在线| 超碰com| 另类综合色| 91九九九色在| 99热精品综合| 男人大jjc女人免费视频| 狠狠草天天草| 天天做天天爱天天高潮| 99免费热视频在线| 久草大| 久久色五月天| 国产精品国产| 久久在这里99| 色色色色综合网| 99五月婷| 亚洲激情久久| 伊人久久大香线蕉av最新| 激情综合五月开心狠狠| 精品九九网| 五月天精品视频| www99精品亚| 思思久日精品视频| 99热色综合| 五月丁香色婷婷综合| 国产美女无遮挡裸体毛片A片| 色婷五月婷婷| 国产成人网| 亚洲天天免费| AA片在线观看视频在线播放| 天天开心AV色综合婷婷五月天| 久久精品一区二区三区四区| 激情五月视频| 第四色色六月色综合| 色色色色色爱| www网站在线观看| 91婷婷五月天嫩女| 五月丁香婷婷成人版| 天天日 天天草| 婷婷久久伊人| 影音先锋一区二区三区| 99re思思| 青草视频在线播放| 色色 亚洲| 欧美色偷偷大香| 嫩草乱码一区三区四区| 99热99操| 亚洲中文乱字字幕在线永久| 伊人久久婷婷五月天激情四射| 荫道BBWBBB高潮潮喷| 久久这里有精品在线观看| 99在线看视频| 欧洲色色| 久久精彩综合视频| 91919191919久久成人视频| 天天天天做夜夜夜夜做| 日韩精品无码AV| 五月天丁香婷| 色情·com| 女人被躁到高潮嗷嗷叫小| www.婷婷,com| 综合网啪| 色播五月婷婷| 天天综合天天玩夜夜玩天天玩夜夜玩 | 无码人妻精品一区二区蜜桃色欲| 怡红院精品视频久久久久久久久| 亚洲天堂无码| 激情综合网五月激情| 综合五月天亚洲婷婷| 亚洲经典三级| 能看的AV| 久久久久婷婷五月热综合| 国产精品日本一区二区在线播放| 99亚洲视频| 超碰99久久| 99九九精品| 99精品无码网站| 亚洲AV无码成人精品区电影网| 色综合综合色| 五月丁香综合啪啪対白| 极品另类| 91操人| 五月丁香青草综合啪啪| 97色啪| 99网| 五月婷婷五月天| 任你爽视频| 色婷婷很很丝袜| 婷婷五月天伊人| 伊人网欧美在线男人天堂五月丁香 | 69婷婷丁香午夜| 99re8这里只有精品99re8热视频| 99re免费精品视频| 婷婷六月激情啪啪| 久久丁香五月婷婷| 久久9热| 丁香伍月婷电影全集| 涩丁香| 刘玥精品一区| 日韩成人综合| 色五月婷婷综合| 亚洲精品国产setv| 天天搞夜夜叫| 99热这里精| 欧美VA在线观看| 色婷婷久综合久久一本国产AV| 婷婷五月激情视频| 久久92| 五月丁香婷婷在线| 97色干| 丁香婷婷AV| 7777久久亚洲中文字幕| 日本视频欧美观看免费| 91婷色| 色五月天天在线观看资源站| 玖玖精品资源| 五月天精品视频| 色欲五月婷婷| 五月丁香网站| 2050人人操免费工开爱 | XX色综合| 激情综合另类| 99乱视频| 啪啪婷婷五月天激情| 色情一区二区播放| 五月丁香六月色| 五月丁香亚洲综合| 久久色大香蕉| 懂色av蜜臀av粉嫩av永陈冠希| 婷婷爱五月| 影音先锋按摩| 婷婷综合五月色播| 九九无码| 无码人妻少妇色欲AV一区二区| 丁香五月天大香蕉啪啪| 久操干| 丁香香五月激情免费视频| 开心五月丁香啪| 九九在线精点品| 五月丁香六月激情综合| 精品人妻伦九区久久AAA片| 大香蕉福利导航| 激情久久久久久久久| 操人妻90p| 久热播这里只有精品| 夜色综合网| 丁香激情五月天| 日本久碰| 婷婷香蕉| 色综合色综合色综合| 人妻内射麻豆视频| 亚洲丁香五月| 日本高清久| 99re6在线视频精品免费| 91综合色噜噜| 五月欧美色播| 色丁香五月| 欧美色色色色色| 久久九九热re6这里有精品| 五月婷婷|欧美| 婷婷区日本| 亚洲成人五月| 国内外色色色色色成人视频| www91精品| 99re思思精品视频在线观看| 思思热视频在线| 久草热久草在线视频| 五月五月婷婷| 99综合婷婷五月| 亚洲秘 无码一区二区三区妃光/1| 色色99| 中文字幕+中文在线| 成人婷婷桔色| 五月婷婷九| 丰满少妇猛烈A片免费看观看| 激情综合网色五月| 五月天欧美 另类小说| 超碰97干| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 国产偷人爽久久久久久老妇APP| 国产1区2区3区| 亚洲女婷婷五月基地综合久久久| 99色色| 婷婷天堂综合网| 久久精彩免费视频精彩免费视频| 五月丁查人人| 国产熟妇乱子伦hd| 1024人妻| 五月婷婷五月天在线| 国产成人精品一区二三区熟女在线 | 最近中文字幕2019视频1| 9色在线视频| 久久视频这里99| 久99久视频| 91精品国产99久久久久久天美| 小视频一区| 99色免费观看全部| 亚洲人妻Av| 天天干、天天日日| 超碰成人免费| 成片免费观看视频大全| 色婷婷的五月天| 91精品久久久久久久久久| 永久无码色| 久久人人妻| 九九色网专区| 日日婷婷不卡| 婷婷五月天社区| 9 99免费视频| 天天婷婷| 九九九九九九热| 免費观看aV在线网址| 久热只有这里有精品| 思思热在线| 丁香六月婷婷基地| 综合热无码| www激情| caop在线视频| 91黄址| 丁香久久九九99| 天天热夜夜操| 中日韩美欧成人一区二区精品在线| 久久这里精彩免费在线观看| 超碰com| 1区2区视频| 五月婷婷六月丁香在线视频| 激情综合丁香六| www.婷婷五月天啪啪| 综合网五月| 丁香激情网| 日本一级特黄大片AAAAA级| 亚洲激情六月丁香| 婷婷视频在线| 婷婷六久久| 能看的AV网站| 亚洲人妻av伦理| 五月天天丁香婷婷在线中| 久久久久久久久久8888| 亚洲免费99| 久久99久久99精品免观看粉嫩| 六月激情丁香一道本7777| 久久看婷婷| 五月婷婷九九热| 婷婷激情啪啪| 久久久精品色色色| 1级欧美日韩| 新激情五月开心五月婷婷五月丁香五月| 激情五月婷婷网| 亚洲啪啪啪啪| 久9热| 天天射天天干天插色综合| 亚洲五月天激情| 丁香五月婷婷激情完整版| 激情五月天开心总和网| 久久久久久久,99精品视频| 六月丁香激情婷婷| 婷婷五月综合丁香久久| 婷婷丁香色情| 国产探花一片区| 久久婷婷五月综合激情国产| 五月综合激情| 丁香六月色婷婷| 丁香婷婷色五月| 激情五月天婷婷图| 国产精产国品一二三在观看| 欧美色骚婷婷五月天| 婷婷五月天色色| 色天天久婷婷| www.99热国产| 五月婷婷福利| 五月婷婷www| 99热免费观看| 强伦轩人妻一区二区电影| 婷婷色五月激情| 91狠狠综合久久久| 婷婷成人五月天| 色月视频| 综合久久十三| 五月婷婷,六月丁香| 九九99男女视频在线观看| 丁香五月六月婷婷综合| 丁香花色色网| 色一情一乱一乱一区91Av| 天天日日天天| www.婷婷五月天,com| 婷婷五月视屏| 婷婷色五月天色| 操九色| 久久这里只有国产| 无遮羞AV| 午夜丁香五月天综合| 激情五月份婷婷| 亚洲av网站在线观看| 99久热这里只有精品视频删减版| 99热在线观看| 26uuu国产激情视频| 激情图片久久| 激情五月综合婷婷| 99热这里只有精品2016| 新激情综合| 超碰在线人妻| 九九热这里有精品视频| 伊人99久久| 综合婷婷五月天| 色色丁香| 五月天大香蕉av| 婷婷五月六月| 亚洲视频a| 婷婷中文字幕网站| 91日日日| 亚洲激情无码久久| 丁香花大香蕉婷婷综合| 五月丁香婷婷AV| 综合色99| 91在线就要啪| 91凹凸在线| 久鲁鲁色网| 亚洲欧洲美女在线观| 99热新网址| 99热思思在线观看| 激情丁香久久| www.狠狠操| 伊人深爱综合| 日本综合久久| 香蕉网婷婷| 99热免费精品| 欧美综合丁香网| 蜜臀99久久精品久久久久| 丁香六月婷| 五月丁香无码视频| 久久女婷| 五月丁香 狠狠爱| 日本三级黄色大片| 婷婷五月图片小说视频| 丁香九月婷| 综合五月激情| 九九这里都是精品| 天天色域综合网| 综合97五月| 九月婷婷人人操人人舔人人爱| 91成人电影| 天天舔天天| 夜夜大香蕉婷婷丁香| A片试看120分钟做受图片| 久久99激情| 丁香五月激情月| 夜夜资源站| 久久五月天激情| 激情综合无码| 人人视频色| 黄色AV日韩| 丁香六月欧美| 色综合色色| 激情丁香五月| 2w在线视频| 五月天色色网站| 婷婷五月超碰| 欧洲第一无人区观看| 丁香婷婷色九月| 久热视频这里只有精品68| 91久久| 久久五月天 91| 五月天婷婷色色| 色五月激情| 五月婷婷激清网| 日韩婷婷五月| 97欧美在线| 射婷婷中文字幕| 日日懆天天懆| 国产成人网址| 丁香五月黄色| 午夜微拍福利| 亚洲色综合| 色婷精品91| 国产VA亚洲VA96| 婷婷在线观看五月天在线视频| 人人操人人爽成人AV| 色婷婷丁香女女| 亚洲成人免费在线| 26UUU欧美激情一区二区| 拳交大逼| 天天综合图片| wwwss在线观看| 台湾无码A片一区二区| 九月停停| 亚洲第一成人无码A片| 日本色色色| 99爱视频| 综合激情视频| 一级二级香港秋霞欧美欧美秋霞| 五月丁香综合久久| 99re66热这里只有精品| 五月丁香激情综合六月涩涩爱| 97在线天堂| 97精品人人A片免费看| 99综合| 婷婷综合五月天| 久久天天| 99re鈥哸鈥唙| 热99热9| 婷婷丁香亚洲五月天| 婷五月丁香俺| 久碰视频| 婷婷中文无码| 狠狠色丁香久久婷婷综合五月| 色婷插| 国外亚洲成AV人片在线观看| a网站免费观看| 久久综合丁香激情五月| www,久久久| 色色无码| 激情五月五月婷婷| 99爱视频在线观看这里只有精品| 色综色五月天婷婷| 天天夜天天色天天| 天天爽曰日爽| 婷婷夜夜夜夜| 天天舔天天| tingting五月天亚洲| 五月丁香六月色婷婷综合五月天| 91热在线| 新97人人上人人| 亚欧州精品视频| 99热e| 操人久久| Av九九| 九九亚洲综合| 玖玖婷婷综合| 在线视频另类| 色碰碰| 丁香婷婷五月六月久久| 超碰国产av| 久久99精品久久久久子伦| 金品在线视频99| 超碰无码318604| 婷婷五月网图片区| 五月天婷综合| 色色色婷| 综合大香蕉| 国产精品大香蕉| 99亚洲天堂| 日日夜夜狠狠婷婷色| 99热欧美在线观看| 天天骑日日爽| 97人人操人人插| 国产在线网址1| 丁香婷婷综合影院| 丁香五月天亚洲综合| 欧美婷婷九月| 五月婷婷激情日本| 亚洲婷婷91丁香| 国产免费AV网站| 亚洲色综合| 婷婷丁香五月天综合AV| 久久婷婷五月国产色综合激情| 安息电影在线观看完整版| 99r久久这里只有精品| 色视五月天婷婷| 丁香涩涩五月天| 丁香六月无码播放| 婷婷六月天激情| 欧美大香蕉视频| 91超级碰碰| 五月天激情综合| 麻豆AV一区二区三区| 99热8在线| 五月综合丁| 99热免费精品| 亚洲无码成人网| 五月色欧洲| 俺也去在线视频| 99综合网| 亚洲激情综| 亚洲欧美婷婷五月色综合| 亚洲中文字幕在线观看| 夜色.cnm| 色色五月婷婷久久| 中文精品久久久久人妻不| 丁香五月天人体| 丁香五月综合在线观看| 国产精品国产| 97五月天| 色五月婷婷在线观看第一页舔| 視频福利乱色| 中文字幕在线播放视频| 91精品电影18T| 亚洲小视频| 天天干一干| 大香蕉五月天| www.丁香黄色五月天人与| 久久亚洲天堂| 久久之人妻| 婷婷五月天激情影片| 五月丁香六月玩女人| 99综合视频一体| 国产精品99久久久久久久女警| 中文字幕av久久爽| 日本色99| 色五月丁香总合网| 怡红院一二三| 丁香六月久久| 久久A极片| 加勒比日本一区二区三区| 精a品a视a频| 九九热这里只有精品12| 婷婷九月在线| 综合色99| 秋霞av不能| 少妇高潮一区二区三区99欧美| 色色五月激情| 超碰99热| 久久 视频这里只有精总| 亚州操操| 日本色色色色色色色色一色二色| 中文字幕网站在线观看| 小视频aaa久久久| 婷婷五月综合激情免费| 能看的AV| 久久天堂女人| 久久五月天激情美女| 五月婷婷婷婷婷| 五月婷中文字幕| 琪琪布丁香社区激情五月天| 性热视频99精品| 色亚洲色宗合| 九九色图| 亚洲精品一区中文字幕乱码| 日本精品九九九| 丁香五月天在线直播观看| 激情都市丁香婷婷| 亚洲V国产V欧美V久久久久久| 碰碰碰97免费精彩视频| 夜夜爽天天| 久久人妻久久| 大香蕉啪啪啪| 99啪在线| 麻豆123区| 五月丁香成人| 97人人操人人拍| 丁香五月香蕉在线| 99热这里只有精品免费| 超碰国产在线| 亚洲性爱电影| 色狠狠综合| 99色色网| 色婷婷文字幕| 五月丁香 啪啪啪| 五月婷亚洲精品AV天堂| 国产婷伊人| 九九99免费理论| 五月丁香在线看| 99久久久99久久91熟女| 久久新| 九九热这里只有精品一| 天堂中文国产| 亚洲精品另类| 五月天婷a在线| 天堂久久婷婷| 五月婷护士| 亚洲日本激情| 久久五月天色婷婷| 日本综合99| 婷婷丁香五月亚洲欧美| 五月激情偷拍| 丁香六月激情综合| 人人性久久| 艾小青av| 日日干天天| 亚洲天堂啪啪| 九九精品网| http://www.com久久久精品一区| 五月天婷婷色色| 久久99大全| www超碰com| a v色婷婷| 五月天激情四射| 91疯狂操操操操| 国产日日操夜夜操的肉棒视频| 国产 码在线成人网站| WWW.99视频| 日本操B视频| 成人国产欧美大片一区| 丁香五月香蕉在线| 五月婷婷激情久久| 婷婷久久18| 色综合久久久久久久久五月| 另类少妇人与禽zOZZ0性伦| 成人AV免费观看| 毛片新网地| 久艹久| www.亚洲激情| 久久99国产综合精品免费| 久九男女天堂| 月月AV| 婷婷综合网| 97婷婷狠狠| 婷婷丁香五月激情密臀av| 在线亚洲综合网| 国产精品久久久久久五月天加勒比| 六月色色| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 人妻操日日| 五月婷天天搞视频| 色综合综合综合| 99久久思思| 免费黄色片子| 激情五月开心五月在线视频| 六月激情婷婷| 中文精品在| 女人天堂久久| 欧美伊人9| 婷婷伊人五月天| 超碰永久在线| www.五月天社区| 99在线视频。| 亭亭五月天黑人2014| 综合天堂AV久久久久久久| 欧洲激情五月天| 欧美性生交XXXXX无码小说| 玖玖在线资源视频| 色情五月综合婷婷| 人妻爽爽爽久久久久久久久| 色九九综合| 丝袜大香蕉| 国产激情久久久| 欧美日韩99| 亚洲综合婷婷| 激情AV| 色婷婷成人| 色很很96| 99热国内精品| 97久久久| 色99色| 五月天婷婷六月激情网| 思思热在线视频精品| 五月丁香色色综合| 丁香五月天视频| 亚色网站小视频| 国产日产亚系列精品版优势| 天天操九九插| 九热网站| 天天撸天天干天天插| 婷婷天天五月天| 综合久久99| 97成人在线视频精品| 日韩人妻无码精品| 51XX午夜影福利| 五月激情站| 五月天婷基地| AA片在线观看视频在线播放| 久色中文| 91高潮喷水久久久久久久久| 美女五月狠狠| 丝袜激情网| 99性色| 99成人网站| 97色精品视频| 天天爽天天摸人妻综合网| 婷婷五月天毛片| 91凹凸在线| 色婷婷影院| 中文字幕日产A片在线看| 开心五月婷婷激情网| 久久久久97| 欧美激情VA永久在线播放| 激情五婷网| 久青草影院| 婷婷五月天免费| 婷婷桃色网| 精品人妻久久久久久| 精品色色| 亚洲性图一区二区| 97艹| 婷婷射丁香| 丁香五月天天| 荫道BBWBBB高潮潮喷| www.成人婷婷综合| 中文精品在| 91精品久久久久久77777| 五月天婷婷丁香视频| 欧美高潮9| 97精品欧美91久久久久久久| 大香蕉婷婷丁香视频在线| 久热无码| 丁香五月综合在线视频| 超碰在线观看成人视| 久热这里只有精品99re| 综合xx网| 九一牛视频探花| 97操碰碰无码视频| 狠狠88综合久久久久噜噜噜| 狠狠色噜噜狠狠狠777奇米| 爽天天天天天天天| 久思思久视频| 婷婷综合性爱网| 丁香五月欧美| 91超碰九色| 亚洲字幕AV一区二区三区四区| 99热这里只有精品1| AV在线免费播放| 久久久99精品免费观看| 天天婷婷色六月| 99黄色性生活| 91久久久久久久久久18| 五月色婷婷综合| 日本老女人黄页在线播放| 艹B高清无码| 五月天婷婷伊人| 深爱婷婷基地| 99操网站| 日狠狠| 五月丁香六月婷综合成人综合| 五月天综合激情网| 国产毛多水多女人A片| 国产va视频| 丁香六月 婷婷六月| 91五月花丁香| 丁香五月激情啪啪| 伦99热| 九九综合色综合| 中文字幕网伦射乱中文| 天天爱天天秀天天做| www.狠狠狠.com| 欧美亚洲成人在线| 婷婷五月花| 色五月大| 五月婷婷丁香五月亚洲色| 99热超| 日韩成人电影AV| 99热97| 婷婷色播综合五月| 人人搡人人| 99热久久这里只有精品| 能看的av| http://www.lingjunshare.com/| 色婷婷先锋| 国产精产国品一二三在观看| 色婷婷19| 综合六月激情婷婷| 好好干Av| CAOBIBI| 无码99| 日韩av在线免费观看| tingting五月天亚洲| 午夜成人综合| 久久人人添人人爽添人人片αV | 欧美成人色婷婷| 青青草性爱视频| 91人人爽人人操| 欧美黑人巨大性生话| 丁香五月婷婷偷拍| 五月停停丁香| 亚洲五月天第一综合干| 久久丁香社| 4438亚洲欧美| 婷婷九月色| 26uuu亚洲| 国产热精品| 99热偷拍| 六月激情网| 五月婷视频| 久久性爱视频| 丁香久月婷| 国产无套精品一区二区| 亚洲操b| 婷婷丁香五月激情密臀av| 五月丁香 啪啪啪| 免费国产VA国产免费| 久久五月天丁香| 熟女少妇内射日韩亚洲| 亚洲操b| 欧美日本另类| 97五月天婷婷| 婷婷热婷婷色| 色狠狠色| 丁香六月| 丁香五月 无码| 欧美性生交XXXXX无码小说| 人妻内射视频| 色五月成人| 婷婷激情社区| 婷婷激情五月综合丁| 久久久色婷婷五月天| 亚洲一级色电影| 成人短视频在线免费观看| 狠狠色丁香乆乆| 欧美交换配乱吟粗大25P| 91爱啪啪| 婷婷婷婷婷婷婷婷| 丁香五月激情鲁| 高清无码 一区 二区 三区| 天天色色婷婷| 人人干女人| 99玖玖精品| 五月天小说激情| 国产精品扒开腿做爽爽爽A片唱戏| 色婷婷av在线观看| 99九九玖玖| ji'qi'luan'ren'lun| 战争与艾拉电影免费观看| 玖玖在线视频| 丁香激情网| 国产成人在线不卡AV| 亚洲人成网站999综合| 天天干人人奸97| 亚洲精品又粗又大又爽A片 | 狠狠狠狠狠狠| 五月婷婷六月丁香在线| 丁香六月婷婷综合激情欧美| 人人色婷婷| 夜夜骑天天操| 久久久久丁香婷婷五月天| 日日操人人操| 婷婷娱乐丁香综合网| 九九视频精品在线免费| ss五月天激情| 久热这里只有精品性色AV| 综合99视频| 香蕉久久国产av一区二区| 婷婷五月综合啪| 激情文学 综合 九月| 草久私拍| AV中文字幕夜夜操b天天摸bb | 五月天激情综合首页| 天天色月| 91色五月| 久久久com| 婷婷五月激情四月综合| 丁香六月婷| 色私五月婷婷| 夜夜资源站| 偷拍91九色| 五月激情网站| 亚洲第一成人无码A片| 久久婷婷夜| 欧美日韩国产一区二区| 五月天基地| 激情骚五月| 色欧美日| 久久98热re| 婷婷中文字幕网| 91激情五月开心| 狠狠久久婷五月| 四月婷婷五月色综合| 亚洲婷婷在线播放十月| 99久久66| 丁香五月视频在线观看| 无码中文一区二区三区| 五月天婷婷色小说| 蜜臀嫩草| www.五月天社区| 天天爱天天吃狠天天透| 99热99美国在线观看| 91婷婷搞| 九九这里有精品| 午夜少妇在线观看视频| 成熟妇人A片免费看网站| 五月婷婷综合激情小说| 精品五月花| 天天艹| 91人人超碰在线| 色色色欧美| 人妻人人操| 天天日综合网射| 九九九成人在线视频| 免费观看欧美成人AA片爱我多深| 婷婷五月天激情五月天深爱五月天| 噜噜在线| 五月婷婷激情网|