欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Linux私有化部署IP歸屬地查詢服務(wù):MMDB與高性能實(shí)踐

Linux私有化部署IP歸屬地查詢服務(wù):MMDB與高性能實(shí)踐 1. 為什么要把IP查詢能力攥在自己手里做后端開發(fā)或者運(yùn)維的朋友大概率都遇到過這樣的場(chǎng)景用戶登錄日志里需要記錄歸屬地、風(fēng)控系統(tǒng)要判斷異地登錄、CDN調(diào)度要按地域做分流、甚至運(yùn)營(yíng)后臺(tái)想看看用戶都從哪些城市來。這些需求背后都指向同一個(gè)基礎(chǔ)能力——IP地址查詢。早期圖省事很多人直接調(diào)第三方公開接口傳個(gè)IP過去返回省市區(qū)。但用著用著問題就來了免費(fèi)接口有頻率限制QPS一上來就給你返回429商業(yè)接口按調(diào)用量計(jì)費(fèi)日活稍微漲一漲賬單就跟著漲更麻煩的是數(shù)據(jù)出境合規(guī)問題用戶IP屬于個(gè)人信息每次查詢都往外部服務(wù)發(fā)審計(jì)的時(shí)候說不清楚。還有一個(gè)容易被忽略的點(diǎn)——延遲。第三方接口再快也要走公網(wǎng)一次查詢幾十毫秒高并發(fā)場(chǎng)景下這就是實(shí)打?qū)嵉男阅軗p耗。所以這兩年我經(jīng)手的項(xiàng)目里只要涉及IP歸屬地查詢基本都走私有化部署這條路。所謂私有化部署說白了就是把IP庫(kù)和查詢服務(wù)裝在自己的Linux服務(wù)器上數(shù)據(jù)不出內(nèi)網(wǎng)查詢走本地回環(huán)QPS想拉多高拉多高成本就是一臺(tái)機(jī)器的錢。這篇文章就把我踩過坑、調(diào)過優(yōu)的一套完整方案拆開來講從選庫(kù)、裝環(huán)境、寫服務(wù)到壓測(cè)調(diào)優(yōu)盡量讓不同基礎(chǔ)的朋友都能照著復(fù)現(xiàn)。適合誰看如果你是后端開發(fā)、運(yùn)維工程師、SRE或者正在做風(fēng)控、日志分析、用戶畫像相關(guān)的系統(tǒng)這套方案可以直接抄作業(yè)。如果你只是偶爾查幾個(gè)IP那用在線工具就夠了沒必要折騰。但只要你面對(duì)的是日均百萬級(jí)以上的查詢量或者對(duì)數(shù)據(jù)合規(guī)有硬性要求私有化部署就是繞不開的選擇。2. 方案整體設(shè)計(jì)與選型思路2.1 私有化部署到底解決了哪些痛點(diǎn)先把賬算清楚。假設(shè)你的系統(tǒng)日均查詢量是500萬次用某商業(yè)API按每萬次幾毛錢算一個(gè)月下來也是幾百到上千塊一年就是大幾千。而私有化部署呢一臺(tái)2核4G的云服務(wù)器一年成本也就幾百塊IP庫(kù)用開源的查詢服務(wù)自己寫邊際成本幾乎為零。查詢量越大私有化的優(yōu)勢(shì)越明顯。除了成本還有三個(gè)硬指標(biāo)是第三方接口給不了的。第一是延遲可控本地查詢走內(nèi)存或本地文件單次查詢可以壓到微秒級(jí)而公網(wǎng)接口再優(yōu)化也難低于10毫秒。第二是穩(wěn)定性自主不用擔(dān)心對(duì)方接口掛了、限流了、或者突然改計(jì)費(fèi)規(guī)則。第三是數(shù)據(jù)合規(guī)用戶IP不離開自己的服務(wù)器審計(jì)的時(shí)候底氣足。提示私有化部署不是沒有代價(jià)的。你需要自己維護(hù)IP庫(kù)的更新自己處理服務(wù)的高可用自己扛住查詢壓力。如果團(tuán)隊(duì)沒有運(yùn)維能力或者查詢量很小老老實(shí)實(shí)用第三方接口反而更省心。2.2 IP庫(kù)格式怎么選MMDB還是CSVIP庫(kù)的原始數(shù)據(jù)通常有兩種形態(tài)一種是純文本的CSV一行一個(gè)網(wǎng)段加歸屬地信息另一種是二進(jìn)制格式最典型的就是MMDBMaxMind DB格式。這兩種格式的選擇直接決定了你后面查詢服務(wù)的實(shí)現(xiàn)方式。CSV的好處是直觀用文本編輯器就能看方便做數(shù)據(jù)清洗和二次加工。但缺點(diǎn)也很明顯文件體積大全量加載到內(nèi)存占空間查詢的時(shí)候要么全表掃描要么自己建索引性能很難做上去。我試過用CSV加二分查找單次查詢大概在幾十微秒但內(nèi)存占用是MMDB的好幾倍。MMDB是專門為IP查詢?cè)O(shè)計(jì)的二進(jìn)制格式內(nèi)部用了一種叫二叉搜索樹的結(jié)構(gòu)查詢的時(shí)候按IP的二進(jìn)制位逐位比較時(shí)間復(fù)雜度是O(32)或者O(128)跟數(shù)據(jù)量無關(guān)。文件體積小加載快查詢穩(wěn)定在微秒級(jí)。缺點(diǎn)是格式不透明想改數(shù)據(jù)得用專門的工具。所以我的建議很明確生產(chǎn)環(huán)境用MMDB數(shù)據(jù)加工階段用CSV。具體做法是拿CSV做清洗和合并然后用官方工具轉(zhuǎn)成MMDB部署的時(shí)候只帶MMDB文件。2.3 查詢服務(wù)的三種實(shí)現(xiàn)路線庫(kù)選好了接下來是怎么對(duì)外提供服務(wù)。我總結(jié)下來有三條路線各有適用場(chǎng)景。第一條是嵌入式直接把MMDB解析庫(kù)編譯進(jìn)你的業(yè)務(wù)代碼里。比如Go語言用oschwald/maxminddb-golangPython用maxminddbJava用com.maxmind.db。這種方式?jīng)]有網(wǎng)絡(luò)開銷性能最好但缺點(diǎn)是每個(gè)業(yè)務(wù)服務(wù)都要帶一份庫(kù)文件更新的時(shí)候得挨個(gè)重啟。第二條是本地HTTP服務(wù)單獨(dú)起一個(gè)進(jìn)程加載MMDB對(duì)外暴露REST接口業(yè)務(wù)方通過127.0.0.1調(diào)用。這種方式解耦做得好庫(kù)更新只需要重啟這一個(gè)服務(wù)業(yè)務(wù)方無感知。代價(jià)是多了一次本地網(wǎng)絡(luò)往返大概增加幾十微秒。第三條是Unix Domain Socket比HTTP更輕量省掉了TCP握手和HTTP頭解析的開銷。適合對(duì)延遲極度敏感的場(chǎng)景但調(diào)試起來沒有HTTP方便curl都不好直接用。我個(gè)人的選擇是中小規(guī)模用嵌入式大規(guī)模用本地HTTP服務(wù)。嵌入式適合查詢量不大、服務(wù)數(shù)量少的場(chǎng)景本地HTTP服務(wù)適合微服務(wù)架構(gòu)一個(gè)查詢服務(wù)給幾十個(gè)業(yè)務(wù)方用維護(hù)成本最低。2.4 為什么是Linux這個(gè)標(biāo)題里專門點(diǎn)了Linux不是沒有道理的。IP查詢服務(wù)對(duì)系統(tǒng)資源的要求很特殊內(nèi)存要夠大MMDB全量加載CPU不用太強(qiáng)查詢是輕量計(jì)算網(wǎng)絡(luò)IO要低延遲本地調(diào)用。Linux在這三點(diǎn)上都有天然優(yōu)勢(shì)。具體來說Linux的mmap系統(tǒng)調(diào)用可以把MMDB文件直接映射到內(nèi)存多個(gè)進(jìn)程共享同一份物理內(nèi)存不用每個(gè)進(jìn)程都拷貝一份。文件更新的時(shí)候只要原子替換文件再重新mmap就能做到熱更新。這些特性在Windows上要么沒有要么用起來很別扭。另外Linux的systemd管理服務(wù)、cgroup限制資源、perf做性能分析這一整套工具鏈對(duì)運(yùn)維非常友好。我試過在Windows Server上部署類似的服務(wù)光是處理文件鎖和內(nèi)存映射就折騰了半天最后還是換回Linux。3. 環(huán)境準(zhǔn)備與IP庫(kù)處理實(shí)操3.1 服務(wù)器配置與系統(tǒng)調(diào)優(yōu)先說說機(jī)器怎么選。MMDB文件的大小取決于IP庫(kù)的精細(xì)程度城市級(jí)庫(kù)大概幾十MB如果帶經(jīng)緯度、ISP、ASN信息可能到一百多MB。全量加載到內(nèi)存加上服務(wù)本身的開銷2GB內(nèi)存是起步4GB比較從容。CPU方面查詢是純計(jì)算2核足夠撐起每秒幾萬次的查詢。磁盤用普通的SSD就行因?yàn)椴樵冏邇?nèi)存磁盤只在加載和更新的時(shí)候用。系統(tǒng)層面有幾個(gè)參數(shù)建議調(diào)一下。首先是文件描述符限制HTTP服務(wù)并發(fā)高的時(shí)候默認(rèn)的1024可能不夠# 查看當(dāng)前限制 ulimit -n # 臨時(shí)調(diào)整 ulimit -n 65535 # 永久調(diào)整編輯 /etc/security/limits.conf * soft nofile 65535 * hard nofile 65535然后是vm.swappiness這個(gè)參數(shù)控制內(nèi)存換出到磁盤的傾向。IP查詢服務(wù)希望MMDB常駐內(nèi)存所以建議調(diào)低# 查看當(dāng)前值 cat /proc/sys/vm/swappiness # 臨時(shí)設(shè)為10 sysctl vm.swappiness10 # 永久生效寫入 /etc/sysctl.conf vm.swappiness10注意不要設(shè)成0。設(shè)成0在內(nèi)存緊張的時(shí)候可能觸發(fā)OOM Killer把服務(wù)殺掉。設(shè)成10是個(gè)比較穩(wěn)妥的折中。3.2 IP庫(kù)的獲取與格式轉(zhuǎn)換IP庫(kù)的數(shù)據(jù)來源開源社區(qū)有幾個(gè)選擇。最常用的是MaxMind的GeoLite2免費(fèi)版提供國(guó)家、城市、ASN三個(gè)維度的數(shù)據(jù)精度對(duì)大部分場(chǎng)景夠用。下載下來是.mmdb格式可以直接用。如果你需要更細(xì)的街道級(jí)數(shù)據(jù)那就得考慮商業(yè)庫(kù)了這里不展開。拿到MMDB之后建議先做個(gè)校驗(yàn)確認(rèn)文件完整、能正常解析。用官方提供的mmdblookup工具# 安裝工具 apt-get install mmdb-bin # 查詢一個(gè)IP試試 mmdblookup --file GeoLite2-City.mmdb --ip 8.8.8.8如果輸出了一堆嵌套的JSON結(jié)構(gòu)說明文件沒問題。接下來是數(shù)據(jù)加工。開源庫(kù)有時(shí)候會(huì)有網(wǎng)段重疊或者缺失的情況如果你對(duì)精度要求高可以拿CSV版本做一次合并清洗。思路是把所有網(wǎng)段按起始IP排序然后逐個(gè)合并相鄰或重疊的段最后用mmdbwriter工具重新生成MMDB。# 偽代碼示意實(shí)際用Python或Go寫 # 1. 讀取CSV解析成 (start_ip, end_ip, country, city) 的列表 # 2. 按start_ip排序 # 3. 遍歷合并如果當(dāng)前段的start 上一段的end 1就合并 # 4. 輸出清洗后的CSV # 5. 用mmdbwriter轉(zhuǎn)成MMDB這一步不是必須的但做過之后查詢準(zhǔn)確率會(huì)有肉眼可見的提升尤其是那些跨國(guó)企業(yè)內(nèi)網(wǎng)或者云服務(wù)商的IP段。3.3 目錄規(guī)劃與文件權(quán)限部署之前先把目錄結(jié)構(gòu)定好后面維護(hù)起來省心。我習(xí)慣這樣規(guī)劃/opt/ipdb/ ├── bin/ # 可執(zhí)行文件 ├── data/ # MMDB文件 │ ├── current/ # 當(dāng)前使用的庫(kù) │ └── backup/ # 歷史版本備份 ├── conf/ # 配置文件 ├── logs/ # 日志 └── scripts/ # 更新腳本權(quán)限方面MMDB文件建議設(shè)為640屬主是服務(wù)運(yùn)行用戶屬組是運(yùn)維組。這樣既能保證服務(wù)讀取又不會(huì)讓其他用戶隨便看到數(shù)據(jù)。服務(wù)進(jìn)程用獨(dú)立的低權(quán)限用戶跑別用root# 創(chuàng)建專用用戶 useradd -r -s /sbin/nologin ipdb # 設(shè)置目錄權(quán)限 chown -R ipdb:ipdb /opt/ipdb chmod 750 /opt/ipdb chmod 640 /opt/ipdb/data/current/*.mmdb提示如果你的服務(wù)器上有多個(gè)業(yè)務(wù)方需要查詢不要給他們直接讀MMDB的權(quán)限而是通過HTTP服務(wù)統(tǒng)一出口。這樣既能控制訪問又方便做審計(jì)。4. 查詢服務(wù)的實(shí)現(xiàn)與部署4.1 用Go寫一個(gè)高性能查詢服務(wù)Go語言是我做這類服務(wù)的首選編譯出來是靜態(tài)二進(jìn)制部署的時(shí)候拷貝一個(gè)文件就行沒有依賴問題。下面是一個(gè)完整的HTTP查詢服務(wù)示例核心邏輯就是加載MMDB然后對(duì)外提供/lookup接口。package main import ( encoding/json flag log net net/http github.com/oschwald/maxminddb-golang ) var db *maxminddb.Reader type Record struct { Country struct { ISOCode string maxminddb:iso_code } maxminddb:country City struct { Names map[string]string maxminddb:names } maxminddb:city } func lookupHandler(w http.ResponseWriter, r *http.Request) { ipStr : r.URL.Query().Get(ip) if ipStr { http.Error(w, missing ip, http.StatusBadRequest) return } ip : net.ParseIP(ipStr) if ip nil { http.Error(w, invalid ip, http.StatusBadRequest) return } var rec Record err : db.Lookup(ip, rec) if err ! nil { http.Error(w, lookup failed, http.StatusInternalServerError) return } w.Header().Set(Content-Type, application/json) json.NewEncoder(w).Encode(rec) } func main() { dbPath : flag.String(db, /opt/ipdb/data/current/GeoLite2-City.mmdb, path to mmdb) addr : flag.String(addr, 127.0.0.1:8080, listen address) flag.Parse() var err error db, err maxminddb.Open(*dbPath) if err ! nil { log.Fatalf(open db failed: %v, err) } defer db.Close() http.HandleFunc(/lookup, lookupHandler) log.Printf(listening on %s, *addr) log.Fatal(http.ListenAndServe(*addr, nil)) }編譯命令很簡(jiǎn)單go mod init ipdb-service go get github.com/oschwald/maxminddb-golang go build -o /opt/ipdb/bin/ipdb-service main.go這個(gè)服務(wù)監(jiān)聽在127.0.0.1:8080只允許本機(jī)訪問。業(yè)務(wù)方通過http://127.0.0.1:8080/lookup?ip8.8.8.8就能拿到歸屬地。實(shí)測(cè)下來單次查詢?cè)?0微秒左右QPS輕松過萬。4.2 用systemd托管服務(wù)手動(dòng)跑進(jìn)程不是長(zhǎng)久之計(jì)用systemd托管才能做到開機(jī)自啟、崩潰重啟、日志歸集。寫一個(gè)unit文件[Unit] DescriptionIP Lookup Service Afternetwork.target [Service] Typesimple Useripdb Groupipdb ExecStart/opt/ipdb/bin/ipdb-service -db /opt/ipdb/data/current/GeoLite2-City.mmdb -addr 127.0.0.1:8080 Restartalways RestartSec3 LimitNOFILE65535 # 安全加固 NoNewPrivilegestrue PrivateTmptrue ProtectSystemstrict ReadOnlyPaths/opt/ipdb/data [Install] WantedBymulti-user.target保存到/etc/systemd/system/ipdb.service然后systemctl daemon-reload systemctl enable ipdb systemctl start ipdb systemctl status ipdbRestartalways保證進(jìn)程掛了自動(dòng)拉起來ProtectSystemstrict把文件系統(tǒng)設(shè)為只讀只有/opt/ipdb/data可讀這樣即使服務(wù)被攻破攻擊者也改不了系統(tǒng)文件。4.3 庫(kù)更新的熱加載方案IP庫(kù)不是一成不變的每個(gè)月都有新的網(wǎng)段分配和變更。更新的時(shí)候不能停服務(wù)得做熱加載。思路是新庫(kù)下載到臨時(shí)目錄校驗(yàn)通過后原子替換current目錄下的文件然后給服務(wù)發(fā)個(gè)信號(hào)讓它重新打開文件。Go服務(wù)這邊加一個(gè)信號(hào)處理import ( os os/signal syscall ) func main() { // ... 前面的代碼 sigCh : make(chan os.Signal, 1) signal.Notify(sigCh, syscall.SIGHUP) go func() { for range sigCh { newDB, err : maxminddb.Open(*dbPath) if err ! nil { log.Printf(reload failed: %v, err) continue } oldDB : db db newDB oldDB.Close() log.Println(db reloaded) } }() // ... 啟動(dòng)HTTP服務(wù) }更新腳本大概長(zhǎng)這樣#!/bin/bash set -e NEW_DB/tmp/GeoLite2-City.mmdb CURRENT/opt/ipdb/data/current/GeoLite2-City.mmdb BACKUP/opt/ipdb/data/backup/GeoLite2-City-$(date %Y%m%d).mmdb # 下載新庫(kù)這里用wget示意實(shí)際按你的源來 wget -O $NEW_DB https://example.com/GeoLite2-City.mmdb # 校驗(yàn) mmdblookup --file $NEW_DB --ip 8.8.8.8 /dev/null # 備份舊庫(kù) cp $CURRENT $BACKUP # 原子替換 mv $NEW_DB $CURRENT chown ipdb:ipdb $CURRENT chmod 640 $CURRENT # 通知服務(wù)重載 systemctl reload ipdb注意mv在同一文件系統(tǒng)內(nèi)是原子操作所以/tmp和/opt如果在不同分區(qū)要先cp再mv否則替換過程中可能出現(xiàn)文件不完整的情況。5. 性能壓測(cè)與調(diào)優(yōu)實(shí)錄5.1 壓測(cè)工具與基準(zhǔn)數(shù)據(jù)服務(wù)跑起來之后得知道它能扛多少。壓測(cè)工具我用wrk比ab更輕量支持多線程。先裝一下apt-get install wrk然后寫個(gè)壓測(cè)腳本隨機(jī)生成IP去查# 生成測(cè)試IP列表 for i in $(seq 1 10000); do echo 8.8.$((RANDOM % 256)).$((RANDOM % 256)) done /tmp/ips.txt # 用wrk壓測(cè)需要配合lua腳本讀取IP wrk -t4 -c100 -d30s --latency -s lookup.lua http://127.0.0.1:8080lookup.lua的內(nèi)容local ips {} for line in io.lines(/tmp/ips.txt) do table.insert(ips, line) end request function() local ip ips[math.random(#ips)] return wrk.format(GET, /lookup?ip .. ip) end我實(shí)測(cè)的數(shù)據(jù)2核4G的機(jī)器100并發(fā)下QPS穩(wěn)定在35000左右P99延遲不到1毫秒。這個(gè)性能對(duì)絕大多數(shù)業(yè)務(wù)來說都綽綽有余了。5.2 瓶頸定位與優(yōu)化手段如果壓測(cè)數(shù)據(jù)不理想先別急著加機(jī)器按下面的順序排查。第一看CPU。用top -H看是不是某個(gè)核跑滿了。如果是說明查詢邏輯本身有優(yōu)化空間。MMDB查詢是純內(nèi)存操作理論上不應(yīng)該成為瓶頸。檢查一下是不是每次查詢都重新解析了IP字符串這個(gè)可以提前緩存。第二看內(nèi)存。用free -h看MMDB有沒有被換出。如果swap使用量在漲說明vm.swappiness沒調(diào)好或者內(nèi)存真的不夠。MMDB文件多大常駐內(nèi)存就至少多大。第三看網(wǎng)絡(luò)。雖然走的是回環(huán)但HTTP協(xié)議本身有開銷。如果QPS上不去可以試試換成Unix Domain Socket能省掉TCP握手和HTTP頭解析大概能提升20%到30%的吞吐。第四看文件描述符。ss -s看連接數(shù)如果接近ulimit -n就得往上調(diào)。提示壓測(cè)的時(shí)候別用127.0.0.1以外的地址否則測(cè)出來的是網(wǎng)卡性能不是服務(wù)性能。另外壓測(cè)機(jī)和被測(cè)服務(wù)別放同一臺(tái)機(jī)器會(huì)互相搶CPU。5.3 高可用與橫向擴(kuò)展單機(jī)服務(wù)總有掛的時(shí)候生產(chǎn)環(huán)境得考慮高可用。最簡(jiǎn)單的方案是雙機(jī)熱備兩臺(tái)機(jī)器都跑查詢服務(wù)前面掛一個(gè)本地的負(fù)載均衡比如nginx或者h(yuǎn)aproxy。業(yè)務(wù)方調(diào)127.0.0.1:80由負(fù)載均衡轉(zhuǎn)發(fā)到兩個(gè)后端。upstream ipdb { server 127.0.0.1:8080; server 127.0.0.1:8081; keepalive 64; } server { listen 127.0.0.1:80; location /lookup { proxy_pass http://ipdb; proxy_http_version 1.1; proxy_set_header Connection ; } }如果查詢量特別大單機(jī)扛不住那就得分片。按IP的第一段做哈希比如1.x.x.x走機(jī)器A2.x.x.x走機(jī)器B業(yè)務(wù)方根據(jù)IP自己路由。這種方式?jīng)]有中心節(jié)點(diǎn)擴(kuò)展性最好但業(yè)務(wù)方要改代碼。還有一種偷懶的做法是多進(jìn)程。Go服務(wù)本身是單進(jìn)程的但你可以起多個(gè)實(shí)例監(jiān)聽不同端口然后用SO_REUSEPORT讓內(nèi)核做負(fù)載均衡。Linux 3.9以上支持這個(gè)特性配置起來也簡(jiǎn)單import golang.org/x/sys/unix lc : net.ListenConfig{ Control: func(network, address string, c syscall.RawConn) error { return c.Control(func(fd uintptr) { unix.SetsockoptInt(int(fd), unix.SOL_SOCKET, unix.SO_REUSEPORT, 1) }) }, } ln, _ : lc.Listen(context.Background(), tcp, 127.0.0.1:8080)這樣起4個(gè)進(jìn)程監(jiān)聽同一個(gè)端口內(nèi)核會(huì)自動(dòng)把連接分給不同的進(jìn)程充分利用多核。6. 常見問題與排查技巧6.1 查詢結(jié)果不準(zhǔn)怎么辦這是被問得最多的問題。IP歸屬地查詢本身就不是100%準(zhǔn)確的原因有幾個(gè)一是IP庫(kù)更新有延遲新分配的網(wǎng)段可能還沒收錄二是運(yùn)營(yíng)商動(dòng)態(tài)分配IP同一個(gè)IP在不同時(shí)間可能屬于不同地區(qū)三是企業(yè)專線和云服務(wù)商的IP注冊(cè)地和實(shí)際使用地經(jīng)常對(duì)不上。排查思路是這樣的先確認(rèn)你用的庫(kù)是不是最新的mmdblookup查一下這個(gè)IP在庫(kù)里有沒有記錄。如果沒有記錄那就是庫(kù)沒覆蓋到等更新或者換更全的庫(kù)。如果有記錄但結(jié)果不對(duì)那就是數(shù)據(jù)源本身的問題換商業(yè)庫(kù)可能能解決但也不保證100%。提示對(duì)于風(fēng)控場(chǎng)景別把IP歸屬地當(dāng)成唯一判斷依據(jù)。它只是一個(gè)弱信號(hào)要結(jié)合設(shè)備指紋、行為特征一起看。我見過太多因?yàn)镮P庫(kù)不準(zhǔn)導(dǎo)致誤殺的案例了。6.2 服務(wù)啟動(dòng)報(bào)錯(cuò)排查表報(bào)錯(cuò)信息可能原因解決方法open db failed: no such file路徑寫錯(cuò)或文件不存在檢查-db參數(shù)確認(rèn)文件在/opt/ipdb/data/current/下permission denied服務(wù)用戶沒有讀權(quán)限chown ipdb:ipdb并chmod 640address already in use端口被占用ss -tlnptoo many open files文件描述符不夠調(diào)大LimitNOFILE重啟服務(wù)lookup failed: invalid databaseMMDB文件損壞重新下載用mmdblookup校驗(yàn)6.3 內(nèi)存占用異常增長(zhǎng)正常情況下MMDB加載后內(nèi)存占用是穩(wěn)定的不會(huì)持續(xù)增長(zhǎng)。如果發(fā)現(xiàn)內(nèi)存一直漲大概率是內(nèi)存泄漏。Go服務(wù)雖然自帶GC但如果代碼里不斷創(chuàng)建大對(duì)象又不釋放也會(huì)出問題。排查方法是用pprofimport _ net/http/pprof // 在main里加 go func() { log.Println(http.ListenAndServe(127.0.0.1:6060, nil)) }()然后go tool pprof http://127.0.0.1:6060/debug/pprof/heap進(jìn)去之后用top命令看哪個(gè)函數(shù)占內(nèi)存最多。我遇到過一種情況是每次查詢都json.Marshal一個(gè)大的結(jié)構(gòu)體導(dǎo)致大量臨時(shí)對(duì)象。解決辦法是復(fù)用bytes.Buffer或者直接用json.Encoder寫到ResponseWriter。6.4 更新庫(kù)之后服務(wù)沒生效這個(gè)坑我踩過。更新腳本里mv替換了文件systemctl reload也發(fā)了信號(hào)但查詢結(jié)果還是舊的。原因有兩個(gè)一是systemd的reload默認(rèn)發(fā)的是SIGTERM不是SIGHUP需要在unit文件里指定[Service] ExecReload/bin/kill -HUP $MAINPID二是Go服務(wù)里db變量是全局的信號(hào)處理協(xié)程里改了db但HTTP處理函數(shù)讀的可能是舊的引用。解決辦法是用atomic.Value包一層var db atomic.Value // 加載 db.Store(newDB) // 查詢 reader : db.Load().(*maxminddb.Reader) reader.Lookup(ip, rec)這樣就能保證讀寫安全更新立即生效。6.5 日志太多把磁盤寫滿查詢服務(wù)如果每個(gè)請(qǐng)求都打日志一天下來幾個(gè)GB就沒了。生產(chǎn)環(huán)境建議只記錄錯(cuò)誤日志正常查詢不打。如果確實(shí)需要審計(jì)可以采樣記錄比如每1000次記一條。用logrotate做日志切割/opt/ipdb/logs/*.log { daily rotate 7 compress missingok notifempty copytruncate }copytruncate很重要因?yàn)镚o服務(wù)可能一直持有文件句柄直接mv會(huì)導(dǎo)致日志寫到舊文件里。7. 幾個(gè)容易被忽略的細(xì)節(jié)7.1 IPv6的支持現(xiàn)在IPv6越來越普及查詢服務(wù)必須支持。MMDB格式本身是支持IPv6的maxminddb-golang也能直接查。但要注意IPv6的查詢樹深度是128比IPv4的32深單次查詢會(huì)稍微慢一點(diǎn)不過還是在微秒級(jí)。如果你的業(yè)務(wù)暫時(shí)只處理IPv4可以在入口處把IPv6地址轉(zhuǎn)成IPv4映射地址但這不是長(zhǎng)久之計(jì)。建議直接支持反正代碼上沒什么額外成本。7.2 內(nèi)網(wǎng)IP的處理MMDB庫(kù)里通常不包含內(nèi)網(wǎng)網(wǎng)段10.0.0.0/8、172.16.0.0/12、192.168.0.0/16查詢這些IP會(huì)返回空。業(yè)務(wù)方拿到空結(jié)果可能會(huì)報(bào)錯(cuò)。解決辦法是在查詢服務(wù)里加一層判斷遇到內(nèi)網(wǎng)IP直接返回一個(gè)固定的標(biāo)記if ip.IsPrivate() { json.NewEncoder(w).Encode(map[string]string{type: private}) return }這樣業(yè)務(wù)方就能區(qū)分“查不到”和“內(nèi)網(wǎng)IP”兩種情況。7.3 時(shí)區(qū)與編碼問題城市名稱在MMDB里是多語言的names字段是個(gè)map鍵是語言代碼。默認(rèn)可能返回英文如果你需要中文得在查詢的時(shí)候指定type Record struct { City struct { Names map[string]string maxminddb:names } maxminddb:city } // 取中文 cityName : rec.City.Names[zh-CN] if cityName { cityName rec.City.Names[en] }注意不是所有城市都有中文翻譯取不到的時(shí)候要有個(gè)兜底。7.4 監(jiān)控指標(biāo)怎么埋生產(chǎn)服務(wù)沒有監(jiān)控就是裸奔。至少埋這幾個(gè)指標(biāo)QPS、P99延遲、錯(cuò)誤率、MMDB加載時(shí)間。用Prometheus的話加一個(gè)/metrics接口import github.com/prometheus/client_golang/prometheus/promhttp http.Handle(/metrics, promhttp.Handler())然后在查詢函數(shù)里打點(diǎn)var ( queryCount prometheus.NewCounter(prometheus.CounterOpts{ Name: ipdb_query_total, Help: Total queries, }) queryDuration prometheus.NewHistogram(prometheus.HistogramOpts{ Name: ipdb_query_duration_seconds, Buckets: []float64{0.0001, 0.0005, 0.001, 0.005, 0.01}, }) ) func init() { prometheus.MustRegister(queryCount, queryDuration) }這樣在Grafana上就能看到實(shí)時(shí)的查詢量和延遲分布出問題的時(shí)候一眼就能定位。7.5 庫(kù)更新的自動(dòng)化手動(dòng)更新庫(kù)容易忘建議做成定時(shí)任務(wù)。用cron每天凌晨跑一次更新腳本# 編輯 crontab crontab -e # 每天凌晨3點(diǎn)更新 0 3 * * * /opt/ipdb/scripts/update.sh /opt/ipdb/logs/update.log 21更新腳本里加上失敗重試和告警。如果連續(xù)三天更新失敗發(fā)個(gè)郵件或者釘釘通知。別等到庫(kù)過期半年了才發(fā)現(xiàn)。8. 寫在最后的一些個(gè)人體會(huì)這套方案我在三個(gè)項(xiàng)目里落地過最大的感受是私有化部署的門檻比想象中低但維護(hù)的細(xì)節(jié)比想象中多。裝個(gè)服務(wù)、跑個(gè)查詢半天就能搞定但要讓它穩(wěn)定跑一年不出問題得在監(jiān)控、更新、容災(zāi)上花不少心思。如果讓我給剛上手的朋友一個(gè)建議那就是先把單機(jī)跑通再考慮高可用。很多人一上來就搞集群、搞分片結(jié)果基礎(chǔ)服務(wù)都沒調(diào)穩(wěn)出了問題排查半天。先用一臺(tái)機(jī)器把查詢服務(wù)跑起來壓測(cè)看看性能確認(rèn)能滿足業(yè)務(wù)需求然后再逐步加監(jiān)控、加備份、加負(fù)載均衡。還有一個(gè)心得是別過度設(shè)計(jì)。IP查詢本身是個(gè)很簡(jiǎn)單的需求MMDB加一個(gè)HTTP服務(wù)就夠了。我見過有人用Elasticsearch存IP段做范圍查詢性能差不說維護(hù)成本還高。工具選型要匹配需求殺雞別用牛刀。最后說個(gè)實(shí)際的數(shù)據(jù)我這套方案在2核4G的機(jī)器上支撐了日均800萬次查詢P99延遲0.8毫秒運(yùn)行半年零故障。成本是一年幾百塊的服務(wù)器費(fèi)用相比商業(yè)API省了90%以上。如果你也在為IP查詢的成本和合規(guī)發(fā)愁不妨試試這條路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香五月综合AV在线| 丁香色婷婷五月天| 日本色婷婷综合| 色婷婷五月天偷拍| 婷婷色五月天色色| 99精品丁香五月| 九九无码| 色色激情| 97干网站| 九九热99熟女| 丁香五月婷婷在线| 色激情五月| 五月天a婷婷伊人| 久久婷婷热| 丁香六月婷婷开心婷婷网| 激婷网| 天天操婷婷| 色色com| 婷婷香五月综合激情| 婷婷五月丁香六月伊人网| 丁香婷婷五月色成人网站| 狠狠色噜噜色狠狠狠综合色| 伊人大综合| 久久人妻精品| 色色无码| 9久久精品| 超碰av在线| 五月天婷婷基地| 激情网综合| 欧美99热| 婷婷五月综合欧美在线播放| 五月天婷亚洲天综合网综合| Xx色综合| 热九九精品| 任你躁XXXXX麻豆精品| 91操碰| 五月丁香六月色| 五月的色婷婷高潮| 久久久久丁香婷婷五月天| 日日懆天天懆| 日日懆天天懆| 超碰狠狠色| 丁香婷婷六月天| 色婷婷丁香六月| 淫视馆aV二区一区| 天天爽在线视频| 99自拍视频网站| 亚洲xx网| 狼人婷婷综合| 99超级碰碰| 月色色综合婷婷网| 久激情| 欧美偷偷操| 色婷婷丁香女女| 午夜天堂一区人妻| 综合欧美五月婷婷| 九色综合五月天婷五月| 涩婷婷视频快播人妻| 久热99狠| 久久久噜噜噜www成人| 97操碰日本女人| 99热传媒| 久久99精品久| www.99久久久久99| 99伊人性爱在线影院| 无语停婷丁香网| 亚洲成人日韩无码精品| 婷婷WWW久久| 超碰啪啪网| 色色色色色九九九九九| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 成人色图情色成人网 www.5b5b5bcom 五月天 | 婷婷丁香五月激情| 亚洲婷婷五月天| 99热都是精品| 色婷久| 狠狠色五月天| 亚洲六月婷婷| 五月丁香在线观看| 激情六月天| 99热9| 激情五月综合| 色情五月天丁香社区| 五月天激情小说网| 久激情网| 久操大香蕉| 婷婷五月天丁香| 99网| 五月刺激丁香月综合| 色九九九综合| 激情亭亭五月| 婷婷91| 日本不卡中文字幕| 97丁香花五月天激情小说| 五月天激日本色情在线| 九九热思思热| 九九这里都是精品| www999日韩精品| 超碰人人射| 五月亭亭六月天| 五月婷久久| 熟妇人妻中文字幕无码老熟妇| 屁股翘好撅高迎合跪趴| 最熟少妇乱码| 91精品综合久久婷婷九色| 色色色综合色| 狠狠香婷婷五月| 日本婷婷综合精品| 婷婷开心六月| 五月婷婷色播| 五月天激情综合| 狠狠操狠狠| 一级操逼大片| se.久久视频在线观看| 亚洲视频一区| 久草五月丁香婷婷综合| 婷婷内射视频在线| WWW·天天操·视频?| 色五月丁香一区在线| 婷激情五月| 综合色色色色色色| 五月婷婷六月天| 久久五月丁香| 日韩乱轮AV| 六月丁香开心婷婷欧美| 久99视频在线观看| 日 日干 日日做| 日韩色色视频www| 色99在线视频| 思思久久精品| AV在线免费观看不卡| 色婷婷影| 激情综合五月激情XXXX| 五月婷婷丁香狠狠撸久久| 99国产精品久久久久久久久久久| 特级西西4444www无码| 99热这里有精品| 91丨九色丨国产| 97超级碰碰碰| 久鲁鲁色网| 天天狠狠色噜噜| 五月丁香六月婷婷久久| 五夜婷婷| 婷婷综合性爱网| 91xxxx九色| 六月婷婷激情| 五月天狠狠干| 婷婷涩五月| 色五月首页| 亚洲AV成人一区二区在线观看| 天堂五月婷婷| 丁香六月av| 有哪些A片网站| 另类图片激情五月| 国产69久久久欧美黑人A片| 97久久精品视频| 无码AV免费精品一区二区三区 | 99精品爱| 五月婷婷色影院| 五月婷婷六月激情| 永久热91| 婷婷五月天直播| 夜夜干天天干| 天天干天天爽| 最新久久99视频网站| 超碰在线成人| 丁香5月婷婷| 开心五月综合激情网| 激情综合五月天| 丁香婷婷婷婷十二月在线观看视频| 色婷婷久久综合| 丁香五月天五码婷婷| 五月婷婷影院| 欧美成人一区二区三区在线视频| 午夜成人综合| 婷婷五月天激情视频| 99热免费| 成人做爰黄A片免费看直播室男男| 五月丁香婷婷激情四射迷人| 亚州激情在线视频| 五月丁香综合| 国产看真人毛片爱做A片| WWW99视频| 99精品色色| 99热99热在线| 六月婷婷综合| 婷婷情色开心五月天99| 一起草Av| 人人爱人人摸人人澡| 很很干天天干| 艹天天射| 热99久久这里只有精品| 综合色99| 日韩有码一区| 影音先锋色色色资源色资源色| 国产亚洲精久久久久| 五月丁香婷婷基地| 97人人看一| 天天日夜夜B久久| 综合激情视频| 欧美激情综合五月色丁香| 另类伊人婷婷| 欧美色色色色色色色| 天天干天天日天天操| 一区操| 综合五月草| 五月丁香在线观看| 成人无码免费一区二区中文| 色五月激情视频在线综合| 人人草人人视| 国产精产国品一二三在观看| 91丨九色丨白浆秘| 婷婷五月综合视频免费播放| 国产AV一区二区三区日韩| 九九色播五月丁香| 亚洲成人va| 久久丁香五月天| www久久久久久| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 精品九九视频| www.夜夜| 无码区婷婷五月花开| 99热在线观看这里只有精品| 色久综合| www.zbzhongsen.com| 26uuu欧美日本| 专区无日本视频高清8| 欧美色宗和激情| 97婷婷五月| 九九精品热| 日本九九视频| 这里只有精品1| 欧美性猛交99久久久久99按摩| 玖玖爱伊人| 色情五月停停丁香| www五月婷婷88导航| 亚洲激情av| 看久久性爱99视频| av在线婷婷| 丁香五月精品视频| 色情丁香五月婷婷精品| 六月婷在线| http://www.lingjunshare.com/ | 国产日日操夜夜操的肉棒视频| 五月婷婷五月| 色色色国产| 婷婷五月色情天| 丁香婷婷色情| 综合九色| 天天干天天叉| 99成人网站| 婷婷色香六月综合激情| 精品99爱免费视频在线观看| 久热这里只有| 97碰啪啪| 爆乳熟妇一区二区三区爆乳| 久久精品99久久久久久久久| 五月天婷婷丁香六月| 成人做爰A片免费看视频 | 欧洲亚洲免费视频区| www超碰| 久久天堂加勒比| 天天日天天做天天操| 亚洲综合激情五月久久| 五月丁香另类图片| 区美毛片子| 六月婷婷青青青视频| 久久深爱激情网| 亚洲精品久久久久AV无码| 91操人视频| 日韩在线观看亚洲| 99热久97| 久久99免费视频| 激情文学综合婷婷五月天丁香花| 六月五月丁香五月欧美| 五月婷婷色五月| 久久婷婷色情7777网站| 五月天天综合| 99综合熟女| 婷婷五月在线播放| AⅤ在线播放网| 亚洲六月婷| 99九九精品| 91婷婷| 婷婷五月色播| 亚洲操B视频| 91一起操| 粉嫩av懂色av蜜臀av熟妇| 97人操| 国产精品色婷婷AV综合色色| 亚洲天堂青草| 涩五月色婷婷| 久久婷婷网址| 婷婷草| 久久久久97| 亚洲第一视频 久久| 亚洲中文字幕在线观看| 五月丁激情| 五月婷婷影院| 激情五月综合六月丁香婷婷狠狠干| 六月激情婷婷| 久热这里这里有精品| 色综合天天| 99色视| 国产在线黄色| 色婷网| 五月丁香久久综合| 色色色综合网| 五月天六月色| 色五月成人婷婷| 丁香五月色| 人人干人人干骚美女| 五月激情婷婷在线| 大香蕉人妻| 亚欧州精品视频| 国产日韩av片| 婷婷中文在线| 五月丁香六月综合情在线观看 | 噼里啪啦在线观看免费完整版视频 | 成人AV在线电影| 九色视频91疯狂| 99ri精品视频在线观看| 人人操AV| 99爱视频免费| 99色看这里只有精品| 国产看真人毛片爱做A片| 一本久久亚洲五月婷婷| 狠狠干最新地址| 影音先锋人妻出差| 丁香五月婷婷少妇| 日本久久人| 五月婷婷婷综合网| 狠狠丁香| 婷婷,五月天,丁香,第一| 色婷网| 欧美日韩大黄| 亚洲无码 图片区| 久久人妻高清中文| 色综合香蕉视频| 五月丁香婷婷综合视频| 五月天色图| 啪啪91| 五月丁香六月综合情在线观看| 人妻AV在线| 色狠狠综合网| 色婷婷亚洲综合网站| 九九色热视频| 色婷婷影| 五月天婷婷在线AN| 日日干综合| 综合色图婷婷| 五月丁香婷爱在线| 九九99热久久精品66中文字幕| 在线观看av网站| 99久久久免费| 国外亚洲成AV人片在线观看| 久久人妻高清中文| 欧美丁香五月| 99久在线精品99re8热| 久久亚洲色导航| www.99热国产| 丁香桃色网| av中文网| 五月婷婷五月丁香| 女婷久久| 极品少妇XXXX精品少妇偷拍| 五月天社区狠狠| 久久婷婷五月综合一| 狠狠穞A片一區二區三區| WWW.久久久久久久| 色五月激情网| 色婷婷五月天激情综合| 日噜噜色| 免费亚洲婷婷中文字幕| 狠狠肏综合网| bukadeavzaixian| 91人人操人人爱| 丁香五月婷婷啪啪| 九九在线热九九在线热99热| 丁香六月久| 亚洲综合在线播放| 五月婷婷综合网| 婷激情五月| 国产黄色一级片| 色婷婷操逼| 成人五月天色天堂| 丁香深五月婷婷| 大香蕉久热| 日本在线wwww| 99热婷婷| 色婷婷九月综合| 丁香六月婷婷开心婷婷网| 爱射综合| 九九久久综合网站| 天天操中文字幕| 无码99| 激情五月丁香综合网站| 五月天久久婷婷| 嫩BBB搡BBBB榛BBBB| 色婷婷成人五月| 另类激情综合| 欧美情色一区| 九月综合| 五月色丁香成人| 丁香97综合| 91狠狠综合久久| 手机AVAV天堂看网| 天堂久久婷婷| 国产精品色情AAAAA片软件| 五月丁香在线观看| 丁香五月综合久久八| 欧美日韩成卜| 色玖玖综合网| 亚洲激情色色| 六月婷婷激情| 刘玥精品一区| 99精品在线播放| 激情五月天网页| 91九色欧美| 99热免费| 99狠狠操一| 欧美婷婷五月激情| 婷婷激情六月综合| 婷婷99视频在线| 激情综合国产| 人人色性网| 色婷婷丁香社综合| 202丰满熟女妇大| 五月丁香色六月激情干大屄| 99色啊| 五月天基地| 九九综合| 538在线精品| 夜夜骑操AV| 久久机热探花| 做爰丰满少妇1313| 日韩另类在线观看| 五月天中文网| 精品婷婷| 婷婷丁香五月天操逼| 成人丁香五月| 婷婷深爱五月| 五月天成人在线视频丁香| 中文字幕五月久久婷| 国产成人精品亚洲线观看| 亚洲综合五月| 久久性爱网站| 国产99久久久| 九九热99精品| 成人无码精品1区2区3区免费看| 五月婷婷,狠狠操| www.操逼comm| 97人人射| 狠狠色丁香久久综合婷婷亚洲成人福利| 婷婷激情综合| 久久精彩免费视频| 九九热视频免费观看| 五月丁香免费视频| 成人午夜在线视频| 中文字幕丰满孑伦无码专区| 操一区| 天天做天天爱综合| 开心激情色婷婷五月天| www.精品99| 91大操| 九九色色| 久久大香蕉同僚| 丁香五月天视频在线播放| 九九九精品视频免费观看| av线电影| 色99最新网址| 激情综合五| 五月丁香六月成人| 五月婷视屏在线观看| 色亚洲视频| 婷婷欧美综合| 国产探花一片区| 国产精产国品一二三在观看| 激情五月丁香五月| 激情五月综合婷婷| 色婷婷色五月综合| 久久这有这里精品| 色色免费网站| www久久久久| 色五月综合激情网| 欧美精品XXXXBBBB| 深爱激情丁香| 色综合中文| 99热中文字幕久久| 色情激情五月| 久热这里只有精品在线观看| 欧美精品999| 五月婷婷日本| 婷婷97C| 精品无码久久久久久久久| 久久婷婷综合基地| 人人摸人人摸| 五月婷婷我| 丁香五月婷婷色五月| 综合亚洲六月婷婷在线| 超碰免费大香蕉| 色婷婷玖玖影院| 91丁香色| 激情内射人妻1区2区3区| 九九视频在线观看| 91碰超| 婷婷五月天中文字幕| 九九免费视频在线| sesesesezonghe| 性视频久久| 日韩三级视频一区二区| 天天插操| 欧美亚洲色色色色| 无码AV免费精品一区二区三区 | 自拍盗摄 另类| 蜜乳国产网站| 五月丁香999| 久久久妻人人人| 欧美三日本三级少妇三99| 97在线日本| 182无码| 强辱丰满人妻HD中文字幕| 六月天婷婷| 99热啪啪| 九热...av| 六月婷婷视频| 五月天激情图片| 99亚洲色色| 丁香五月天BBw| 超碰精品手机在线| 久婷婷久草| 天天日狠狠| 再綫Av免费視品| 婷婷五月深情丁香深爱日韩| 激情五月婷婷| 午夜成人AV在线| 激情五月天综合网| 庭庭久久内射| 丁香久久综合| 99九九热在线观看| 九九热中文| 黄色五月婷婷| 五月丁香精品| 久热黄色| 五月天丁香综合| 96精品久久久久久久久| 91啪啪网| 久青操| 婷婷久久性爱| 色婷婷伊人| 五月丁香啪啪综合| 五月天婷婷影院| 九月丁香婷婷综合| 欧美一级色| 97碰免费视频在线| 色情综合| 99热在线观看免费中文| 色婷婷久久| 婷婷五月在线免费| 日韩色色小视频| Xx色综合| 色婷婷激情小说网| 狠狠干在线视频| 五月天伊人日日噜影片AV| 天天舔天天插天天干| 亚洲综合婷婷五月| 九色色| 丁香六月五月婷婷| www.99热视频| 狠狠爱五月婷婷| A在线观看| 五月丁香性爱| 九九综合伊人| 久久综合99| 五月婷婷啪啪| 激情又色又爽又黄的A片| 被强行糟蹋的女人A片| 做爰丰满少妇1313| 超碰在线观看三级片| 天天射天天操天天干| 大香蕉太香蕉视频97| 淫荡A片| 色婷婷色九月| 黄色成人网站在线播放| 超碰人人色| 激情五月开心五月在线视频| 婷婷五月天Av| 五月天中文字幕在线婷婷| 色婷婷丁香中文在线播放| 欧美成人五月天| 九九色热| 日本色99| 在线综合网| 99精品成人无码A片观看金桔| 91久久日日| chaopeng在线人人| 婷婷黄色五月| 色色爽爽天天| www.婷婷网| 无码激情精品色婷婷久久久久| 激情五月婷在线精品| www激情| 天堂久久婷婷| 色婷婷小说网| 无码成人播放器| 五月丁香色色色| 2015超碰| 婷婷丁香社区网| 四虎婷婷五月天| 五月丁香在线婷婷美女| 午夜婷婷久久 | 五月花婷婷| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 丁香花五月天激情| 激情五月激情综合网一级丸片| 开心五月深爱五月婷| 可以免费看的AV网站| 色婷婷88| 日本一级一级一级一级| 182无码| 九色无码| 天天草人人摸| 密桃激情五月天综合网| 色色五月天婷婷丁香| 色综合99| 成人中文网| 色婷婷啪啪| 激情五月天色网站| 夜夜操少妇| 亭亭五月色男人| 久久精品婷婷| 国产乱妇乱子在线播视频播放网站 | 五月天怕怕| 久热欧美| 五月婷婷久久网| 丁香五月社区| 天天爱天天爽| 婷婷丁香日韩五月| 91九色中文字幕女在线观看| 色网站99| 丁香六月情| 日韩999| 青青草国产亚洲精品久久| 成人va在线| 九九青青草成人| 婷婷激情五月天亚洲综合| 啄木鸟黑丝一区二区| 五月天五月天激情网| 亚洲网站999| 亚洲成人在线播放| 色yeye色综合| 天天爽爽日日做做| 97色色在线视频| 五月婷婷综合激情网| 天天射影院| 久久精品天| 六月丁香花婷婷| 热成人网| 丁香婷婷五月| 日本天堂网站99| 99热国产精品| 五月婷婷网久久| 日本狠狠色| 五月婷婷综合网| 日韩成人综合| 日操| 五月丁香啪啪网| 欧美日韩成人| 婷婷五月天午夜激情影院| www.激情五月天.com| 天天干狠狠| 久久精彩视频| 五月情涩综合婷婷| 激情五月图| 久久黄色片| 色婷婷五月天在线观看| 丁香五月成人自拍| www。狠狠干。com| 久热这里只有精品6| 99精品视频在线观看| 久久爱综合| 激情六月下句是什么| 欧美中文五月天| 婷婷色色五月| 91啪啪网| 亚洲麻豆乱码国产2028| 97超碰综合| 人妻在线观看视频| 九九热视频精品2| 人妻射精AV| 这里只有精品9| 婷婷丁香五月综合| 九九精品系列| 日日日日做夜夜夜夜无码 | 六月婷婷色色色| 99ER热精品视频| 六月婷久久| 性生活久久人妻| 夜夜撸日日操| 午夜婷婷久久| 五月色婷婷AV| 激情九月婷婷| 99在线视频喷水| 99色色网站| 久青操| 丁香五月婷婷av影院| 色五月婷婷中文字幕在线观看| 五月婷婷综合在线视频小说| 99热久久这里只有精品| 香蕉操亚洲| 丁香五月婷在线观看| 99热免费| 婷婷五月天激情电影| 五月婷婷欧美激情| 亚洲丁香花色| 丁香五月中文字幕| 直接看的AV| 欧美叉叉叉BBB网站| 成人在线精品| 色婷婷亚洲婷婷在线观看| 成人国产欧美大片一区| 九热视频| 五月婷婷激情| 欧美精品狠狠色丁香婷婷| 玖玖伦理电影| WWW.99热| 超碰9在| 5月丁香六月婷婷| 五月婷婷丁香| 丁香五月在线自慰| 五月婷婷丁香俺日污视频| 久久AV无码精品人妻系列试探| 深夜男女福利刺激影院一区| 五月天色不卡| 日韩中出视频| 五月丁香六月婷婷不卡免费无码| 成片免费观看视频大全| 影音先锋偷偷色男人站| 99r这里| 无遮挡国产高潮视频免费观看| 五月婷婷性爱| 狼人婷婷久久| 狠狠色九月| 婷婷之六月丁香| 五月天激情四射| 色色丁香婷婷| 色色99| 97亚洲精品| 丁香亚洲婷婷五月| 99久久久久| 亚洲天堂99| 人人操人人干AV| 综合久久综合五月天婷婷| 6080av| 九九热精品| 色性综合| 五月婷婷久久综合| 4399欧美另类视频| 色丁香影院| 五月婷婷黄色网址| www色婷婷久久综合久色| 激情五月婷婷综合| 综合网啪啪| 丁香五月天综合| 白度黄视频| 天天天天天天天操| 国产精品第一国产精品| 热99视频精品| 亚洲中文字幕网| 青草网在线观看| 激情六月丁香| 97热久久| 丁香五月天成人网站| 1级欧美日韩| 欧美熟女乱又伦| 青青青在线视频国产| 激情网战码亚洲A| 99九九久久| 色欲天天综合| 久久激情五月婷婷| 五月 激情视频| 国产这里只有精品| 99热全是精品| 日日噜狠狠色综合久| www狠狠爱com| 丁香社区婷婷五月| 激情五月天。| 狠狠狠狠狠操| 99婷五月| 天天舔天天摸天天透| 免费三级黄色| 开心五月丁香婷婷| 三级av在线| 日韩激情婷婷五月天| 99色色| 天天色爽| 97色婷婷| 欧美综合婷婷欧美综| 五月丁香六月| 六月丁香激情最新更新| 夜夜爽77777妓女免费下载 | 天天爽免费视频| 1024在线视频| 九九婷婷五月天| 丁香九色不卡aaa| 色XX综合网| 日韩性爱无码| 久久激情网| 综合色色综合| 色婷婷先锋| pom538精品视频| 久久婷网| 婷婷九九| 99热这里只| 97色色-99久久| 色婷婷视频| 色婷婷成人在线| 91打屁股免费看| 日日爽日日操| 蜜臀久久99精品久久久久久酒店| 六月婷婷亚洲| 久久久日韩特色特黄AAAA| 五月丁香淫淫婷婷婷| 成人VAV视频在线观看| 激情综合五| 97人操人免费视频| www狠狠| 轮奸综合网| 色激情五月天| 日本五月丁香| 久久44| 丁香婷婷成人网| 国产资源在线视频| 色丁香婷婷| 亚洲国产婷婷色五月| 久久婷婷伊人| 日批在线看| 激情影院69| 婷婷深爱五月| 丁香婷婷性久久| 激情婷婷丁香五月天| 亚洲无码另类| 婷婷五月激情中文字幕| 丁香激情合作五月| 99热每日| 婷婷久久色| 涩综合网| 五月天婷婷基地| 伊人五月久久| 丁香五月婷婷操逼| 天天在线XXX| 日本婷久久| 九九热最新地址| 激情五月天综合图片小说网站| 午夜精品人妻无码一区二区三区| 婷婷丁香五月天亚洲| 欧美123区免| 玖玖五月丁香| 欧美日朝成人| 国产亚洲精品久久久久久郑州 | 日本欧美成人片AAAA| 天天操狠狠操| 色欧美影院| 婷婷五月丁香六月| 色欲香综合网| 亚洲成人av在线观看| 性综合网| 婷婷五月天av| 亚洲亚洲人成综合网络| 欧美色爱五月天| 婷婷五月电影| 色久综合| 亚洲婷婷成人五月天| 欧美日韩成人在线免费| 五月丁香啪啪| 色综合爱综合| 婷婷九月丁香中文| 综合色色婷婷| 五月天另类小说亚洲| 日本黄 色 片| 99激情视频| 99男人天堂| 久久久com| wwwwww.色| 国内一级精品| 五月婷婷色| 久久这里有精品视频| www,超碰| 五月天综合色| 激情婷婷另类| 91久久色| 久久久激情| 99视频网| 丁香婷婷色| 免费做A爰片77777| 久久99激情丁香婷婷小说网| 91精品久久久久久久| 国产精品久久久久久久久久久久| 九九婷婷五月天| 久久激情综合| 97爱艹婷婷开心丁香激情综合| 婷婷婷婷婷婷婷婷| 99在线观看视频免费| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 五月婷婷五月天| 夜夜撸天天操| 久热这里只精品| 超碰国产在线播放| 操九色| 色亚洲视频| 欧美婷婷丁香五月| 婷婷五月激情中文字幕| 999影院成人在线影院| 色婷婷婷婷| 无遮羞AV| 超碰97干| 丁香六月色情| 超碰爱爱爱| 国产精品久久久久久久久久| 99爱视频在线| 色婷婷婷av| 伊人成综合五月婷婷| 色五月综合在线| 欧美va欧美va差| 99人人干| 久草免费福利视频| 九九热黄色| 婷婷五月天在婷| 97色啪| 八戒青柠影视剧在线观看| 激情小说婷婷| 天天草天天舔| 欧美性久| 中文字幕乱码亚洲精品一区| www.色婷婷| 亚洲成色综合网站免费观看| 色婷亚洲五月丁香| 日本天天色| 久久人人九| 色五月激情综合| 久久九九爽| 第四色色色色色丁香五月天| 激情第四色| 噜噜吧天天爱| 丁香五月婷婷成人色区| 影音先锋一区| 中文AV网站| 综合网亚洲| 婷婷五月另类网站| 影音先锋女人av鲁色资源网小说免费 | 国产亚洲色婷婷久久99精品91| 天天做天天爱天天玩夜夜爽| 激情综合啪啪啪| 丁香色色五月| 成人精品在线| 久久婷婷五月综合| 精品人妻久久久| 久久精品五月天| 潘金莲AAAAAAAAAA| 天天天天天天操| 天天干天天色综合| 激情五月综合六月丁香婷婷狠狠干| 亚洲综合一区二区| 天天草女人| 色五月激情| 色日本网| 天天干夜夜操A片| 五月婷婷深深爱| 99精品综合| 91啪啪视频| 综合性爱网| 色婷婷激情五月天| 丁香婷婷综合五月天| 影音先锋一区二区三区| 天堂网亚洲色图| 少妇熟女视频一区二区三区| 97超碰综合| 婷婷综合激情| 色情一区二区播放| 2014天天爽| 久久精品99久久| 日本97在线观看| 四LLL少妇BBBB槡BBBB| 五月婷婷综合激情网| 十一月婷婷激情四射| 亚洲99在线视频| 九九色99| 2015超碰| 亚洲一二三网| 亚洲视频在线观看| 五月天婷婷激情小说电影| 97干视频在线| 看国产探花操逼三级片| 婷婷五月丁香高清无码| 在线99热| 99玖玖在线视频| www久久久久久久| 色天堂婷婷| 深爱五月婷婷| 日本精品99| 五月婷婷激情五月| 丁香五月停停av| 色青青五月| AV伊人青草丁香六月| 日本欧美国产| 丁香五月婷婷少妇| 九九RE视频在线精品| 久久婷丁香五月| 久久99热这里只有精品| 狠狠五月天婷婷激情网。| 欧美天天干五月丁香| 思思热这里只有精品视频666| 99精品久久久久| 操操熟女| 色爱爱综合网| 亚洲三级无码| 三男玩一女三A片| 日韩无码色色| 五月丁香999| 亚洲成人网站在线播放| 99这里只有精品视频| 久久久久久丁香五月| 日本综合久久| 国产视频福利| 婷婷玖玖丁香| 日韩有码一区| 婷婷丁香五月社区亚洲| 激情婷婷丁香五月| 大战熟女丰满人妻AV| 91精品久久久久久77777| 日本高清久久| 色色五月天丁香| 99热碰碰| www.五月天婷婷| 婷婷六月丁香五月| 色爱终和网| 99精品在线下载| 另类婷婷丁香| 色婷婷成人在线| 天天日日人| 国产日批视频免费播放| 亚洲五月婷婷| 97人妻碰碰碰久| 婷婷爱爱蜜臀天天操| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 五月天a婷婷伊人| 青青操绿aaa一区日v| 丁香六月色婷婷欧美| 噜噜色天天开心| 激情五月婷婷| 97人人操人人爽| 狼人久草| 丁香五月手机在线| 色综合久久88色综合天天看| 亚洲成人在线综合| 狠狠爱婷婷丁香| 狠狠99| 99久久97久久欧美综合网| 六月激情婷婷综合| 日91高清无玛| 色老久久| 9月色婷婷| 日韩超碰在线| 色综合大香蕉| 亚洲不卡| 中美月韩免费A片| AV在线免费播放| 亚洲旡码| 九九热自拍| 另类图片色五月| 久久9久| 99久热| 久久婷婷五月综合97色一本| 丁香色情五月综合激情| 人妻性爱av网站| 影音先锋女人av鲁色资源网小说免费 | 性生活视频98791| 狠狠爱婷婷丁香| 九九99九九99| 五月丁香激情综合啪啪| 秋霞成人毛片一级A片| 91AV婷婷| 99啪啪视频| 激情综合网五月婷婷| 亚洲精品视频在线播放| 国产99久久久国产精品免费看| 成人免费120分钟啪啪| 91 影音先锋| 九九草草逼| 日本9区视频| 日本黄色精品| 182TV亚洲| 成人 在线 日韩| 99热这里只有精品268| 98毛片| 亚洲激情视频网| 色婷婷九月综合| 五月天天天色| 99这里有精品| 91干视频| 天天色天天日| 极品少妇XXXX精品少妇偷拍| 中文字幕成人网站| 色五月色开心开心五月| 99热久97| 99在线视频播放| 色五月婷色彩免播放器| wwxx日本| 天天摸天天高潮天天爽| 五月天色婷婷伊人网| 久久这里只精品| 丁香六月久久| 色婷婷激情| 欧美顶级少妇做爰HD| 99色在线观看视频者| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 人人爱干人人爱草| 免费试看小视频 99| 伊人五月丁香| 99操免费视频| www99热| 九九这里只有精品| 九九九九热99超碰| 丁香花操逼| 91精品久久久久久久| 欧美色狠婷久| 天天综合亚洲综合| 久久一热| 久久色天堂| 99热这里只有精品8| 免费无码毛片一区二区A片| 狠狠色噜噜狠狠狠狠狠色综合久久| 99九九热视频免费| 在线播放中文字幕| 开心亚洲久久开心| Www,五月天| 久艹大香蕉| 五月丁香啪啪啪| 91在线就要啪| www.爱婷婷.com| 九九99免费视频| 2025中文在线视频字幕免费观看| 操射国产日本| 激情第四色| 日韩aaa| 91丁香综合| 狠狠色婷婷7777久综合| 成人看片网站| 可以直接看的av网站| 五月婷婷色五月| 91超级碰| 色五月激情五月| 五月婷色丁香| 99视频自拍| 国产热精品| 激情五月天com| 色婷婷五月综合| 五月婷婷色在线| 大香蕉久久婷婷| 五月婷婷开心亚洲无| 成人精品99| 欧美在线操| 图片区 小说区 区 亚洲五月| 97偷拍对白视频| 激情综合网址| 五月综合777| 玖玖热视频| 91天天操天天干天天射| 操老逼综合网| WWW·色色色·COM| 激情综合五月激情| 婷婷六月五月天综合| 五月天啪啪视频| 懂色av粉嫩av蜜臀av| www91精品| 99热精在线九九久久保| 婷婷综合五月天亚洲综合| 97丁香婷婷| 99热| 综合超碰熟| AV色五月婷婷| 337午夜福利| 香蕉婷婷| 精品国产乱码久久久久久免费| 嫩草国产| 国产阿姨日皮艹逼内射视频| 99re热视频这里只精品5| 五月天激情亚洲| 婷婷五月,综合伊人| www999日韩精品| 九九热视频免费观看| 中文字幕成人影视| 成人精品视频99在线观看免费| 1024国产| 9超碰在线| 影音先锋色色色资源色资源色| 99爱视频免费看| 亚洲精品亚洲人成人网| 校花娇喘呻吟校长陈若雪视频| 亚洲婷婷激情综合激情999精品| www.99热最新视频8| 婷婷成年人免费视频| 成人短视频在线观看| 婷婷五月欧美| 丁香六月色婷婷欧美| 丁香五月五月婷婷| 思思热在线视频精品| 九九九九成人| 五月色婷婷亚洲| 五月丁香六月婷婷操操操| 99熟女| 欧美婷婷九月| 天天摸,天天爽| 丁香五月天在线观看| 开心五月深爱五月| www.9797国产| 人人干天天操五月丁香| 五月六月激情| 天天干 夜夜爽| 高清av在线国产| 美妞av| 色婷婷色99国产综合精品| 亚洲欧美在线观看| 99碰碰视频| 视色综合| 涩五月婷婷| 激情久久综合网| 狠狠 婷婷| 91大神操美女| 五月婷婷影视| 另类激情五月天。| 色亭亭五月天丁香综合AV - 百度 - 百度| 亚洲激情av| 97碰碰在线观看视频| 热99re| 涩五月婷婷| 99碰在线视频| 激情99热| 色婷婷伊人| WWW.五月com| 婷婷五月亚洲激情| 69色婷婷| 九九色网专区| 婷婷色中文字幕| 丁香五月成人av| 国产精品色情AAAAA片软件| 亚洲六月婷婷| 日日夜夜天天综合| 日本综合色图| 玖玖在线视| 噜噜精品| 欧美性做爰大片免费看办公室| 九九这里是免费的视频5| 5月婷婷五月天| www久久久| 婷婷99狠狠躁天天躁中| 丁香六月色婷婷| 午夜69成人做爰视频| 91九色视频| 99这里只有精品视频| 亚洲电影在线观看| 人人爱操| 一级性爱视频| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 九九精品网站| 丁香五月天啪啪|