欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Scrapy日志系統(tǒng)生產(chǎn)環(huán)境配置指南:從原理到落地

Scrapy日志系統(tǒng)生產(chǎn)環(huán)境配置指南:從原理到落地 干爬蟲這些年我接手過的項目少說也有十幾個其中九個的日志系統(tǒng)都是能跑就行的狀態(tài)。直到有一次凌晨兩點線上爬蟲突然停擺解析規(guī)則沒問題、數(shù)據(jù)庫連接正常、代理池也沒掛我硬是排查了三個小時才找到真兇——日志文件把磁盤寫滿了進程直接被系統(tǒng)干掉。從那之后我養(yǎng)成了一個習(xí)慣接到新項目第一件事就是把Scrapy日志系統(tǒng)和生產(chǎn)環(huán)境配置從頭到尾梳理一遍。這篇博文就把我積累的這些東西完整寫出來包括日志系統(tǒng)的工作原理、settings里的各種開關(guān)、擴展機制、生產(chǎn)環(huán)境落地配置還有我踩過的坑。不管你是剛把本地爬蟲腳本改成生產(chǎn)任務(wù)還是被日志問題搞得焦頭爛額這篇內(nèi)容應(yīng)該能幫你節(jié)省不少排查時間。1. 先從一次線上事故說起日志系統(tǒng)為什么值得認真對待1.1 那個把磁盤寫滿的日志文件那次事故的具體情況是這樣的項目大概每天爬取30萬條商品數(shù)據(jù)跑了一個多月沒出過問題。某個凌晨我的告警電話響了說爬蟲進程消失了systemd把它標記為failed。我登錄服務(wù)器一看磁盤使用率100%df -h顯示/目錄已經(jīng)被占滿再一看罪魁禍首是logs/scrapy.log大小已經(jīng)是18GB了。為什么會這樣因為當時圖省事直接在settings.py里配置了LOG_FILE logs/scrapy.log這是Scrapy官方提供的最簡單的文件日志方案。但這個方案的本質(zhì)就是用一個FileHandler往同一個文件里追加寫入既不切割、不壓縮、也不清理舊文件。一個每天寫入幾百MB的爬蟲項目跑一個月就是這個結(jié)果。這里需要特別說明一個新手容易忽略的點Scrapy默認是只在控制臺輸出日志的你配置了LOG_FILE之后控制臺就沒了全部寫進文件。但Scrapy不會幫你做任何輪轉(zhuǎn)log rotation。這不是Scrapy的疏漏因為日志輪轉(zhuǎn)這件事本身就是部署層該負責(zé)的但在實際項目中大多數(shù)人不會單獨給爬蟲配一個logrotate任務(wù)于是日志就成了定時炸彈。后面第4章我會給出完整的解決方案。1.2 Scrapy日志系統(tǒng)的基本工作原理要避開這些坑先得搞清楚Scrapy日志系統(tǒng)到底是怎么運轉(zhuǎn)的。簡單說Scrapy的日志建立在Python標準庫logging之上沒有自己另搞一套。它內(nèi)部維護了一組以scrapy開頭的logger實例比如scrapy.core.engine、scrapy.core.scraper、scrapy.core.downloader、scrapy.middleware、scrapy.extensions.logstats等等。爬蟲在運行過程中引擎、下載器、中間件、擴展這些組件都會往對應(yīng)的logger里寫日志事件。這些日志事件本身只是一條條帶級別和上下文的消息真正決定它們?nèi)ツ睦锏氖莚oot logger上的handler。Scrapy啟動時會調(diào)用configure_logging()做一次統(tǒng)一配置如果你設(shè)置了LOG_FILE就往root logger加一個FileHandler如果沒有就加一個StreamHandler輸出到控制臺。第三方庫比如requests、selenium、playwright打出來的日志只要是通過標準logging產(chǎn)生的也會被root logger一起捕獲。很多人在這個環(huán)節(jié)困惑的點是為什么我設(shè)置了LOG_FILE之后控制臺什么都沒有了因為默認的配置邏輯就是文件或控制臺二選一——設(shè)置了LOG_FILE就只寫文件。要讓兩者同時輸出就得自己配多個handler。這一點我在第4章的統(tǒng)一方案里會解決。理解了日志的三個關(guān)鍵角色logger誰產(chǎn)生消息、handler消息去哪里、formatter消息長什么樣子后面所有配置你都能自己推出來。Scrapy給的settings項本質(zhì)上都是對這些角色的操作LOG_LEVEL控制logger的過濾級別LOG_FILE決定handler是文件還是屏幕LOG_FORMAT和LOG_DATEFORMAT控制formatter的模板。搞懂這層對應(yīng)關(guān)系你就不會被各種配置項繞暈了。2. settings.py 里的日志開關(guān)最常用的配置方式2.1 核心配置項逐一拆解Scrapy的日志配置絕大部分都在settings.py里完成下面這幾個是必須掌握的。LOG_ENABLED默認True。這個開關(guān)控制是否啟用日志系統(tǒng)我建議永遠別關(guān)。有些人為了讓爬蟲跑得快一點會把它關(guān)掉一旦出問題連排查依據(jù)都沒有得不償失。LOG_LEVEL默認DEBUG。在生產(chǎn)環(huán)境我強烈建議改成INFO。別小看這個改動DEBUG級別的日志量通常是INFO的好幾倍具體來說scrapy.core.engine在DEBUG級別下幾乎每個請求的進出都會打兩條日志高并發(fā)爬蟲一天能多寫幾個GB。LOG_FILE默認None。不設(shè)置就是輸出到控制臺設(shè)置了就寫入文件。注意一點這個配置本身不做切割和LOG_LEVEL配合使用進生產(chǎn)環(huán)境前一定要先解決輪轉(zhuǎn)問題。LOG_FILE_MODE默認wb。這個很多人沒注意到它控制文件的寫入模式wb會覆蓋舊文件。也就是說每次啟動爬蟲同名日志文件會被清空重寫。如果你想保留歷史日志需要改成ab追加模式。但更推薦的做法還是用第4章的滾動handler。LOG_FORMAT默認字符串是%(asctime)s [%(name)s] %(levelname)s: %(message)s。這里可用的是Python logging標準字段比如%(filename)s、%(lineno)d需要時自己拼。LOG_DATEFORMAT默認%Y-%m-%d %H:%M:%S。按自己喜好調(diào)整我習(xí)慣加上毫秒%Y-%m-%d %H:%M:%S,%f排查對比兩個事件的先后順序時很有用。LOG_SHORT_NAMES默認False。如果設(shè)為True日志里的[scrapy.core.engine]會被簡寫成[engine]。我建議保持False生產(chǎn)環(huán)境日志就是要信息全多幾個字符不算什么。LOG_STDOUT默認False。如果設(shè)為TruePython的print輸出也會被重定向到日志系統(tǒng)里。這個選項適合那種代碼里殘留了很多print的老項目臨時救急很好用但新代碼還是老老實實用logger。下面用一個表格把這些匯總配置項默認值生產(chǎn)環(huán)境建議說明LOG_ENABLEDTrueTrue總開關(guān)LOG_LEVELDEBUGINFO控制日志量LOG_FILENone配合輪轉(zhuǎn)使用文件輸出LOG_FILE_MODEwbab覆蓋或追加LOG_FORMAT標準模板建議加時間毫秒日志格式LOG_DATEFORMAT日期默認建議加毫秒時間格式LOG_SHORT_NAMESFalseFalse保留完整logger名LOG_STDOUTFalse看需求print重定向2.2 命令行和代碼里的覆蓋配置配置日志不一定非要寫在settings.py里Scrapy支持多種覆蓋方式優(yōu)先級是命令行參數(shù) settings.py 代碼默認值。命令行方面scrapy crawl myspider -L WARNING可以直接覆蓋日志級別scrapy crawl myspider -s LOG_FILExxx.log可以動態(tài)指定日志文件。這個主要用于臨時排查問題比如線上日志量太大不想全量記錄可以先用-L WARNING看一下有沒有錯誤堆棧。代碼層面如果要在一個腳本里用CrawlerProcess跑多個爬蟲并分別控制日志可以通過get_project_settings()拿到settings對象后修改它的值再傳給CrawlerProcess。注意修改必須發(fā)生在CrawlerProcess實例化之前。如果是用CrawlerRunner在Twisted reactor里跑多個爬蟲同理必須在create_crawler之前改。我見過一些項目會在一個進程里連續(xù)跑多個爬蟲然后發(fā)現(xiàn)第二個爬蟲的日志級別不對就是因為settings對象在第一個爬蟲啟動時被改了沒有給第二個爬蟲恢復(fù)。這種場景建議不要再改全局settings而是每個爬蟲在自己的custom_settings里定義日志配置Scrapy會在創(chuàng)建該爬蟲實例時合并這些配置。2.3 日志級別選擇的實戰(zhàn)建議一條經(jīng)驗法則開發(fā)用DEBUG預(yù)發(fā)布用INFO核心鏈路用WARNING兜底。生產(chǎn)環(huán)境全量開DEBUG通常是不必要的。我們算一筆賬假設(shè)一個爬蟲每秒處理50個請求DEBUG級別下引擎日志和下載器日志加起來每個請求大概3~4條每秒就是200條日志。如果每條平均100字節(jié)一天就是1.7GB。而INFO級別下同樣的爬蟲一天的日志量通常在200MB以內(nèi)。差距是數(shù)量級的。但也不能只看數(shù)量。生產(chǎn)環(huán)境如果完全不開INFO很多關(guān)鍵信息會丟失。比如spider_opened和spider_closed是INFO級別item_scraped如果是通過LogStats輸出的也是INFO級別這些是你判斷爬蟲是否健康的核心依據(jù)。所以我的建議是生產(chǎn)環(huán)境默認INFO頻繁出錯的環(huán)節(jié)單獨用logger.warning或logger.error輸出既控制量又不丟關(guān)鍵信息。3. 理解Scrapy的擴展機制日志系統(tǒng)背后的推手3.1 Scrapy擴展是什么為什么日志要依賴擴展很多人在熱詞里搜scrapy中extensions是什么其實就是沒搞懂Scrapy里那套插件機制。Scrapy擴展Extension本質(zhì)上是普通的Python類通過from_crawler類方法獲得crawler實例然后借助crawler.signals.connect訂閱爬蟲生命周期中的各種信號比如spider_opened、spider_closed、item_scraped、response_received等在這些事件發(fā)生時執(zhí)行自己的邏輯。日志和統(tǒng)計數(shù)據(jù)強相關(guān)而Scrapy的統(tǒng)計數(shù)據(jù)Stats Collector本身就是一個跨組件的狀態(tài)容器所以日志功能天然適合用擴展來實現(xiàn)。最典型的例子是Scrapy內(nèi)置的LogStats擴展它會在爬蟲運行期間每隔一段時間輸出一條類似這樣的日志2024-06-18 10:30:00 [scrapy.extensions.logstats] INFO: Crawled 1200 pages (at 4 pages/min), scraped 850 items (at 3 items/min)這條日志不是引擎自動打的就是LogStats這個擴展在收到定時信號后從Stats Collector里取出數(shù)據(jù)通過logger輸出的一條INFO消息。理解這一點你在解決日志不輸出的問題時就會多一個排查方向是不是自定義擴展或默認擴展被禁用了Scrapy里有EXTENSIONS_BASE這個默認擴展集合里面包含了LogStats、CoreStats、Debugger等。你自己添加擴展可以通過EXTENSIONS配置項而禁用默認擴展也可以在這個配置里顯式設(shè)為None。3.2 手寫一個日志統(tǒng)計擴展按站點和狀態(tài)碼輸出理解了機制我們就直接實操。下面這個擴展解決的問題很典型大型爬蟲往往要跑多個站點你會非常需要知道每個站點的響應(yīng)狀態(tài)碼分布、Item產(chǎn)出速率。Scrapy標準LogStats只給總量不給細分維度所以我們自己寫一個擴展。import logging from collections import Counter, defaultdict from scrapy import signals logger logging.getLogger(crawler.site_health) class SiteStatsLogExtension: def __init__(self, crawler, log_every500): self.crawler crawler self.stats crawler.stats self.log_every log_every self.response_counter Counter() self.item_counter defaultdict(int) self.total_count 0 classmethod def from_crawler(cls, crawler): ext cls(crawler, crawler.settings.getint(SITE_STATS_LOG_EVERY, 500)) crawler.signals.connect(ext.spider_opened, signals.spider_opened) crawler.signals.connect(ext.response_received, signals.response_received) crawler.signals.connect(ext.item_scraped, signals.item_scraped) crawler.signals.connect(ext.spider_closed, signals.spider_closed) return ext def spider_opened(self, spider): logger.info(site stats module started, log every %d events, self.log_every) def response_received(self, response, **kwargs): site getattr(response, site_name, None) or response.url.split(/)[2] self.response_counter[(site, response.status)] 1 self.total_count 1 if self.total_count % self.log_every 0: self._emit_current_stats(spider_hint) def item_scraped(self, item, spider, **kwargs): site getattr(spider, site_name, None) or spider.name self.item_counter[site] 1 def _emit_current_stats(self, spider_hint): resp_summary { f{site}:{status}: cnt for (site, status), cnt in self.response_counter.items() } item_summary dict(self.item_counter) logger.info( site health snapshot responses%s items%s, resp_summary, item_summary, ) def spider_closed(self, spider, reason): self._emit_current_stats(spider_hintspider.name) logger.info(site stats module closed, total events %d, self.total_count)然后在settings.py里注冊這個擴展EXTENSIONS { myproject.extensions.SiteStatsLogExtension: 500, }數(shù)字500表示優(yōu)先級數(shù)字越小越早執(zhí)行。這樣在爬蟲跑起來后每處理500個響應(yīng)就會輸出一條包含狀態(tài)碼分布和item數(shù)量的JSON風(fēng)格日志配合第4章的結(jié)構(gòu)化輸出可以直接拿去喂給日志平臺做告警。注意事項有兩個。第一response_received信號攜帶的response在中間件里不一定有site_name屬性所以我在代碼里做了兜底——取URL的域名。這在實際運行中很關(guān)鍵不然擴展剛上線就會因為AttributeError導(dǎo)致整個爬蟲掛掉。第二擴展里的異常處理不能省略如果_emit_current_stats內(nèi)部出問題也不能讓它影響主流程可以在方法體外面套一層try/except生產(chǎn)環(huán)境的擴展代碼必須默認日志系統(tǒng)不能拖垮爬蟲主線。4. 生產(chǎn)環(huán)境日志配置結(jié)構(gòu)化、滾動與集中采集4.1 文件無限增長的坑滾動策略與handler替換回到第一章那個事故上根治辦法就是給日志加滾動。但Scrapy的LOG_FILE配置項只創(chuàng)建FileHandler并不提供滾動能力所以需要自定義handler。這里有一個關(guān)鍵的實現(xiàn)前提Scrapy的configure_logging()會在crawler創(chuàng)建時運行如果你只是在settings.py頂層直接往root logger加handler很可能被它清掉。我踩過這個坑最后采用的穩(wěn)妥方案是寫一個擴展監(jiān)聽engine_started信號在日志系統(tǒng)初始化完成后替換root logger的handlers。import logging import os from logging.handlers import TimedRotatingFileHandler from scrapy import signals class LogRotationExtension: def __init__(self, log_dir, backup_days): self.log_dir log_dir self.backup_days backup_days classmethod def from_crawler(cls, crawler): ext cls( log_dircrawler.settings.get(LOG_DIR, logs), backup_dayscrawler.settings.getint(LOG_BACKUP_DAYS, 7), ) crawler.signals.connect(ext.engine_started, signals.engine_started) return ext def engine_started(self): root logging.getLogger() # 移除Scrapy默認添加的handler避免重復(fù)輸出 for handler in root.handlers[:]: root.removeHandler(handler) os.makedirs(self.log_dir, exist_okTrue) formatter logging.Formatter( %(asctime)s [%(name)s] %(levelname)s: %(message)s, datefmt%Y-%m-%d %H:%M:%S,%f, ) file_handler TimedRotatingFileHandler( os.path.join(self.log_dir, scrapy.log), whenmidnight, backupCountself.backup_days, encodingutf-8, ) file_handler.setFormatter(formatter) root.addHandler(file_handler) console_handler logging.StreamHandler() console_handler.setFormatter(formatter) root.addHandler(console_handler)TimedRotatingFileHandler的whenmidnight表示每天零點切割backupCount7保留最近7個日志文件自動刪除更早的。如果一臺機器上日志寫入量很大也可以改用RotatingFileHandler按文件大小切割比如單文件超過500MB切一個。這兩種方案都能解決磁盤被寫滿的問題。替換handler時注意root.handlers[:]的切片復(fù)制是為了邊遍歷邊刪除直接遍歷原列表會出問題。另外因為擴展的from_crawler在日志配置之后執(zhí)行engine_started在爬蟲引擎啟動時才觸發(fā)所以這個替換是安全的不會與Scrapy默認handler的初始化邏輯產(chǎn)生競態(tài)沖突。4.2 結(jié)構(gòu)化日志輸出讓每一條日志都能被程序解析生產(chǎn)環(huán)境的日志不應(yīng)該只是給人看的還要能被采集、檢索、統(tǒng)計。最強的做法是把日志輸出成JSON格式。這樣后續(xù)接入ELK或Loki時不需要寫一堆grok解析規(guī)則直接按字段查就行。實現(xiàn)方式是用自定義Formatter。下面是我項目里在用的一個輕量實現(xiàn)不依賴第三方庫import json import logging class JsonFormatter(logging.Formatter): def format(self, record): data { timestamp: self.formatTime(record, self.datefmt), logger: record.name, level: record.levelname, message: record.getMessage(), } if record.exc_info: data[exc_info] self.formatException(record.exc_info) return json.dumps(data, ensure_asciiFalse)然后在上一節(jié)的擴展里把file_handler.setFormatter(JsonFormatter())替換掉普通Formatter??刂婆_仍然可以用人類可讀的Formatter文件用JSON這樣兼顧排查和機器采集。這里有一個細節(jié)message里如果包含對象json.dumps會被類型卡住。我在生產(chǎn)里只允許字符串、數(shù)字、字典和列表有一個簡單的兜底辦法對message做str()強制轉(zhuǎn)換但這樣嵌套結(jié)構(gòu)就不好看了。更干凈的做法是在寫入日志時統(tǒng)一用logger.info(xxx, extra{payload: {...}})然后在Formatter里拼裝??傊罩酒脚_字段越多后續(xù)監(jiān)控告警越靈活。ensure_asciiFalse必須加上不然中文全變成\u轉(zhuǎn)義序列看起來非常痛苦。這是一行必須記住的代碼。4.3 敏感信息脫敏與記錄邊界爬蟲日志經(jīng)常會把URL、Cookie、Token、請求參數(shù)一起打出來這在本地沒問題但生產(chǎn)環(huán)境的日志往往會被采集到統(tǒng)一的日志平臺這就有信息泄露風(fēng)險。我在日志系統(tǒng)中做了兩層防護。第一層在可能涉及敏感信息的日志位置不打印完整內(nèi)容。比如請求頭里的Cookie就用logger.debug(cookie: ***)或者只打前幾個字符。但代碼是很多人寫的靠自覺不可靠。第二層更穩(wěn)妥的辦法是加Filter。Filter可以在日志事件到達handler之前修改或丟棄消息。下面這個Filter會把常見敏感字段的值替換成掩碼import re class SensitiveDataFilter(logging.Filter): def __init__(self, patternsNone): super().__init__() self.patterns patterns or [ (r(cookie[:]\s*)[^;\s], r\1***), (r(token[:]\s*)[^\s], r\1***), (r(password[:]\s*)[^\s], r\1***), ] def filter(self, record): msg record.getMessage() for pattern, repl in self.patterns: msg re.sub(pattern, repl, msg, flagsre.IGNORECASE) record.msg msg record.args () return True這個Filter要添加到所有輸出到外部的handler上而不是只加在root logger上。如果你只加在一個handler上控制臺能看到原始信息、日志平臺只能看到脫敏信息這在某些場景下是有意為之的但要注意統(tǒng)一不然排查問題時會對著脫敏后的日志干瞪眼。4.4 日志分析工具選型日志采集和分析是生產(chǎn)環(huán)境繞不開的一環(huán)。如果項目規(guī)模不大單機幾臺服務(wù)器我推薦輕量方案Filebeat Loki Grafana。Filebeat負責(zé)讀日志文件Loki負責(zé)存儲和索引Grafana做可視化。這套方案比ELK輕得多對內(nèi)存的占用只有ELK的幾分之一尤其適合小團隊自己維護。如果公司已經(jīng)有ELKElasticsearch Logstash Kibana那就直接接入Filebeat把日志推到Logstash或者用Elastic Agent直接發(fā)到ES。因為日志已經(jīng)是JSON結(jié)構(gòu)化不需要再在Logstash里寫grok解析整個鏈路會很流暢。關(guān)于AI工具精準分析日志我的態(tài)度是AI適合做輔助排查、發(fā)現(xiàn)異常模式、解釋報錯堆棧但前提是日志必須結(jié)構(gòu)和采集做得好。如果日志是一堆無規(guī)則的文本任何AI工具也很難榨出有效信息。所以第一步永遠是先把日志結(jié)構(gòu)化和集中化然后再考慮讓AI幫你從海量日志里找線索。我自己用下來覺得AI在給出一段報錯、讓它猜測可能原因這個場景效率很高但在實時監(jiān)控告警上還是規(guī)則和指標更可靠。5. 生產(chǎn)環(huán)境實操一個可直接落地的完整配置5.1 完整配置包settings、擴展、啟動命令把前面幾章的東西串起來我現(xiàn)在給出一個可以直接抄的配置包。項目的目錄結(jié)構(gòu)大致是這樣myproject/ ├── scrapy.cfg ├── myproject/ │ ├── settings.py │ ├── extensions/ │ │ ├── __init__.py │ │ ├── log_rotation.py │ │ └── site_stats.py │ └── spiders/settings.py里這樣寫LOG_ENABLED True LOG_LEVEL INFO LOG_FILE_MODE ab LOG_ENCODING utf-8 LOG_SHORT_NAMES False # 自定義日志擴展 EXTENSIONS { myproject.extensions.log_rotation.LogRotationExtension: 100, myproject.extensions.site_stats.SiteStatsLogExtension: 500, } # 擴展用到的自定義配置 LOG_DIR logs LOG_BACKUP_DAYS 7 SITE_STATS_LOG_EVERY 500這里的優(yōu)先級數(shù)字要注意LogRotationExtension的優(yōu)先級是100SiteStatsLogExtension是500數(shù)字小先執(zhí)行。滾動日志的初始化在engine_started時執(zhí)行而SiteStats在spider_opened時才開始統(tǒng)計兩者不會沖突。如果你還用了playwright抓動態(tài)頁面尤其是帶iframe的復(fù)雜頁面記住一個經(jīng)驗給每次iframe上下文切換和頁面加載的關(guān)鍵節(jié)點打上spider.info級別的日志但別在請求循環(huán)里打印完整DOM。我處理過一個案例爬蟲在抓某個嵌套三層iframe的頁面時偶爾超時就是靠日志里記錄的iframe加載狀態(tài)才確認是某個廣告iframe一直在刷接口導(dǎo)致的這種問題靠肉眼是看不出來的。5.2 驗證與性能壓測日志系統(tǒng)的瓶頸在哪里配置完之后不要直接上生產(chǎn)先做兩件驗證日志是否按預(yù)期切分以及日志IO對爬蟲吞吐的影響。切分驗證很簡單手動改系統(tǒng)時間或者觸發(fā)一次midnight切割比較麻煩可以用whenS和interval3600臨時跑一小時驗證或者干脆把when設(shè)成H每小時一切在生產(chǎn)上也夠用我更喜歡按小時切割便于按小時粒度去回溯問題。驗證輸出觀察logs/scrapy.log.2024-06-18這類帶日期的歸檔文件是否生成以及scrapy.log本身是否被清空重建。性能方面我的實測經(jīng)驗是單進程500QPS以內(nèi)同步FileHandler沒有任何壓力超過1000QPS日志寫入會開始拖累主流程尤其是每個請求打多條DEBUG時更明顯。解決方案有兩個方向一是降低日志級別、減少日志事件數(shù)量二是用異步handler比如QueueHandler配合后臺線程消費。簡單可用的異步方案代碼import logging import queue from logging.handlers import QueueHandler, QueueListener log_queue queue.Queue(-1) queue_handler QueueHandler(log_queue) queue_listener QueueListener( queue_handler, file_handler, console_handler, respect_handler_levelTrue, ) queue_listener.start()把queue_listener.start()放在擴展的engine_started里然后把queue_handler作為root logger的唯一handler。這樣主線程把日志事件丟進隊列就立刻返回真正寫文件的IO在后臺線程做。壓測下來在1200QPS的場景下異步方案讓爬蟲吞吐幾乎沒有下降。但這個方案的代價是進程退出時可能丟日志所以要在爬蟲關(guān)閉時調(diào)用queue_listener.stop()確保隊列消費完。這里就不展開完整生命周期管理了生產(chǎn)使用務(wù)必在spider_closed或close_spider里處理。5.3 監(jiān)控告警日志不只是用來事后排查日志的最高級用法是變成實時監(jiān)控信號。我習(xí)慣在項目里實現(xiàn)一個爬蟲心跳日志每隔固定時間如果爬蟲還在正常產(chǎn)出item就輸出一條心跳日志如果連續(xù)多個心跳周期沒有產(chǎn)出監(jiān)控平臺就會告警。實現(xiàn)思路還是依賴Stats Collector。在上一節(jié)的SiteStats擴展基礎(chǔ)上增加一個計時邏輯import time class HeartbeatMixin: def __init__(self, crawler, heartbeat_interval300): self.crawler crawler self.heartbeat_interval heartbeat_interval self.last_item_time time.time() def item_scraped(self, item, spider, **kwargs): self.last_item_time time.time() # 原有統(tǒng)計邏輯... def _check_heartbeat(self, spider): idle_seconds time.time() - self.last_item_time if idle_seconds self.heartbeat_interval: logger.warning( heartbeat missing: spider%s idle_seconds%s, spider.name, idle_seconds, )然后在settings里用extension連接一個定時信號或者更簡單地在item_scraped里檢查時間差。因為爬蟲總是在處理item所以這個檢查不需要額外定時器。如果爬蟲卡死item_scraped本身就不會觸發(fā)但heartbeat missing日志也會消失所以需要外部監(jiān)控配合——監(jiān)控平臺如果沒有在5分鐘內(nèi)收到該爬蟲的任何日志就觸發(fā)告警。這套邏輯我在多個項目里都用屬于投資小、回報高的一類監(jiān)控。另一類告警是基于錯誤率。我會讓擴展維護一個錯誤狀態(tài)碼統(tǒng)計比如在一個窗口內(nèi)5xx比例超過20%就通過logger.error輸出一條特定前綴的告警日志由監(jiān)控平臺直接截獲轉(zhuǎn)發(fā)。這樣做的好處是業(yè)務(wù)告警邏輯完全收斂在爬蟲項目里運維側(cè)只需要配置一條匹配規(guī)則。6. 常見問題排查實錄8個真實Case速查日志系統(tǒng)出問題翻文檔往往沒用因為網(wǎng)上都是照抄配置不講為什么。下面這8個Case是我這幾年實際遇到過的整理成速查表。現(xiàn)象直接原因解決辦法設(shè)置了LOG_FILE但文件是空的LOG_ENABLED被改成False檢查settings和啟動參數(shù)控制臺突然沒有日志設(shè)置了LOG_FILE后默認只寫文件按第4章方式自定義雙handler日志隔一段時間翻倍增長自定義擴展重復(fù)添加handler先remove再add做冪等處理磁盤被日志撐爆使用了LOG_FILE沒有輪轉(zhuǎn)用TimedRotatingFileHandler日志中文亂碼FileHandler默認編碼不對LOG_ENCODINGutf-8 或創(chuàng)建handler時指定日志級別改了不生效命令行-L參數(shù)優(yōu)先級更高檢查crawl命令完整參數(shù)某些中間件的日志看不到該中間件用的是第三方logger確認root logger級別必要時單獨設(shè)level爬蟲崩了但日志里沒有堆棧異常發(fā)生在信號回調(diào)里被吞掉在擴展和信號處理里增加try/except并logger.exception逐條展開說一些寶貴經(jīng)驗。第一個設(shè)置LOG_FILE后文件為空我排查過好幾次最后發(fā)現(xiàn)是settings.py里某個環(huán)境判斷邏輯在這個環(huán)境下把LOG_ENABLED設(shè)成了False。不要覺得這個配置沒人動生產(chǎn)環(huán)境經(jīng)常有多套配置互相覆蓋。第二個控制臺沒日志很多人以為是代碼問題其實是Scrapy文件或控制臺二選一的默認邏輯。如果你既想保留控制臺輸出又想寫文件就別用LOG_FILE改用自定義handler。第三個日志翻倍增長。這個最有隱蔽性因為不是報錯只是日志從某次上線后突然暴增。最后查到是一個監(jiān)控擴展重復(fù)執(zhí)行了root.addHandler每注冊一次就多一個handler同一條日志被寫N遍。解決辦法是在addHandler之前先遍歷移除同類handler或者維護一個標志變量。第四個磁盤被日志撐爆就是第一章的場景。不重復(fù)了。第五個中文亂碼。Scrapy的LOG_FILE用的是系統(tǒng)默認編碼在有些服務(wù)器上是ASCII中文直接變成問號或拋異常。設(shè)置LOG_ENCODING utf-8即可。自定義handler時記得在FileHandler(..., encodingutf-8)里顯式指定。第六個日志級別不生效。有一回我一個爬蟲里設(shè)置custom_settings {LOG_LEVEL: DEBUG}但跑起來還是INFO。原因是我在命令行用了-L INFO命令行優(yōu)先級高于custom_settings。所以要檢查完整啟動命令別只盯著代碼。第七個第三方庫日志丟失。常見的比如selenium的webdriver_manager日志、requests的urllib3日志。Scrapy的root logger默認會捕獲它們但有些庫創(chuàng)建了獨立的logger并設(shè)置了propagate False導(dǎo)致日志不會冒泡到root。處理辦法是顯式設(shè)置該logger的級別和handler比如logging.getLogger(urllib3).setLevel(logging.WARNING)。第八個爬蟲崩了但沒堆棧。這個坑在自定義信號回調(diào)里最典型。信號回調(diào)如果拋出異常經(jīng)常會被Twisted的日志系統(tǒng)捕獲并打到一個獨立的logger里如果不仔細看你只會看到spider關(guān)閉不知道異常在哪。我在所有擴展的公共方法里都加了兜底def _safe_log(self, func, *args, **kwargs): try: func(*args, **kwargs) except Exception: logger.exception(extension method failed: %s, func.__name__)日志系統(tǒng)本身的故障不能影響爬蟲主流程這是生產(chǎn)環(huán)境的底線。最后再分享一個小技巧。排查日志問題時我通常會先在本地用scrapy crawl myspider -L DEBUG -s LOG_ENABLEDTrue跑一小段把全部日志落到一個臨時文件里然后對比生產(chǎn)環(huán)境的差異。這比直接改生產(chǎn)配置快很多。生產(chǎn)環(huán)境配置日志是個慢功夫一次配好、持續(xù)觀察、逐步優(yōu)化比出問題再救火舒服太多了。希望這篇內(nèi)容能讓你在配置Scrapy日志時少踩幾個坑。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
淑女丝袜bi操逼123| 久久久久亚洲AV成人无码电影| 五月婷婷六月激情| 91seAV| 中文字幕人妻一区二区| 国产ava| 大香蕉五月天婷婷| 六月丁香婷婷色69| 天天插天天日| 色综合久久综合| 人人草人人爱手机视频看看| 成人毛片在线免费观看| 97五月天| 26uuu国产激情视频| 久xxxx| 九九热精品视频在线观看| 激情六月天婷婷| 欧美色婷婷| 色五月激情五月丁香五月婷婷啪啪综合| 成人国产欧美大片一区| 五月丁香六月婷婷国产视频| 91欧美| 亚洲中文字幕在线观看| 天天舔天天爽| 99精品久久久久久久婷婷| 六月婷婷激情图片| 操久久网| 丁香婷婷婷五月| 色色色干| 男人的天堂av俄罗斯热| 九九精品网站| 五月丁香成人视频| 日本精品久久久久中文字幕| 婷婷五月久久| 超碰免费人妻| 丁香五月婷婷色偷偷| 丁香色情五月综合网站| 五月婷婷草| 996er热| 国产精品成人av在线观看春天| 秋霞AV美国| 51国精产品自偷自偷综合| 密乳视频| 99久久99九九九99九他书对| 九九热内射| 亚洲不卡| 久久99久久99精品免观看软件| 九九九九大香蕉| 激情综合网激情五月天| 激情五月com| 婷婷丁香综合| 激情98色婷婷五| 涩涩五| 丁香六月亚洲综合| 色噜噜婷婷| 99色嘟嘟精品网站| 天天搞夜夜叫| 秋霞性爱AV| 男人操女人高潮91视频| 五月婷婷综合网| 噜噜久| 色情五月丁香| 婷婷天堂综合| 69色婷婷| 一级性爱大片| 丁香五月天中文字幕| 无码橾| 被强行糟蹋的女人A片| 日狠狠| 安息电影在线观看完整版| 天久综合91综合首页| 久久五月人人摸| 久99久视频精选| 涩涩五月天| 丁香五月六月综合欧美| 天天操夜夜肏| 99热精在线九九久久保| 色色丁香婷婷综合| 另类国产区| 国产婷伊人| 九九re精品视频在线观看| 色九月综合| 九九九日本熟女| 婷婷伊人网| 五月丁香六月片| www.激情五月天。com| 天天在线XXX| 秋霞九九无码| 狠狠干青青草| 国产婷伊人| 丁香 婷婷 激情 综合 五月| 亚洲成人五月天| 香蕉久久国产AV一区二区| 五月天婷婷在线播放| 五月丁香久久久日婷婷久久婷婷日| 婷婷六月综合| 亚洲av成人电影在线观看| 欧美性生交XXXXX无码小说| 丁香九月婷| 色情综合网| 天天操天天操| 久青青久| 激情涩播| 欧美槡BBBB槡BBB少妇| www.国产色| 久久婷婷综合国产| 色欲久久久久| 激情婷婷网| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | Caop在线| 中文成人在线| 精品99在线观看| 四LLL少妇BBBB槡BBBB| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 色色五月婷婷狠狠| 99热这里只有在线| 丁香五月婷婷影视先锋| 99热在线免费| 97人妻碰碰碰久久久久-最近国语高清| 性生活久久人妻| 五月天伊人| av 一区三区四区| 91丨九色丨东北熟女| 任你擦免费视频| 欧美成人日韩| 激情九月综合| 日韩精品999| 99九九热视频免费| 国产在线黄色| A级毛片高清免费不卡播放谢谢谢谢| 日日夜夜小色哥| 亚洲午夜精品久久久久久人妖| 99热新网址| 4399在线观看免费高清黄色视频| 五月久久网| 五月丁香啪。| 啪啪婷婷五月天激情| 五月丁香人妻| 婷婷99中文字幕| 久久免费试看120秒| 国产人妻人伦精品一区二区| 大地资源色婷婷视频在线| 欧美经典片免费观看大全| 婷婷五月影院| 成人av播放| 九九99九九99九九99视频网| 人妻操逼视频| 亚洲婷婷五月天| 五月婷婷影院| 五月婷婷香蕉| 丁香婷婷性久久| 久久婷婷丁香视频网| 亚洲成Av人片乱码色第1集| 97干在线视频精品店| 热热色色五月天婷婷| 久久综合久色欧美综合狠狠| 色婷婷狠狠禁久久| 色婷亚洲五月丁香| 9久精品视频| 色欲天天综合| 丁香五月综合高清在线| 色婷婷深爱五月| 丁香五月婷婷六月婷| 日本精品。999| 99久久99视频只有精品| 天天干天天干天天干天天干天天干天天 | 国模九区| 射区导航| 天天激情5月天亚洲| 中文AV网| 激情五月天色婷婷综合| 91尤物九色在线| 99操碰| 婷婷四色五月| 粉嫩av蜜桃av蜜臀av| 婷婷综合久久| 日本色爽| aaaaaa片| 十区AV| WWW.婷婷| 五月婷婷免费在线观看视频| 天天爱天天日| 亚洲无码www| 久久9视频| 天天色,天天日,天天做| 综合五月草| 天天爱天天天射AV| 91精品综合久久久久久五月丁香| 五月丁香六月花| 日韩AV在线免费观看| AA丁香综合激情| 99热九九热| 国产精品电影| 电影91久久久| 六月 丁香 视频| 九九热手机在线视频| 久9热视频| 六月婷婷五月丁香| 五月色婷婷影院| 色婷婷欧美在线| 亚洲成人中文字幕| 久久人妻少妇嫩草AV| 第四色五月婷婷| 深爱激情九九五月天 | 热99只有里视频| 五月丁香久| 日韩AV免费看| 婷婷五月天精品| 激情五月丁香六月| 99热在线中文字幕| 丁香五月婷婷狠狠色| 久久久噜噜噜操操操| 成人欧美日韩| 国产裸舞表演WWWW| 91啪级电影| www.com任你艹| 五月婷婷激情| 婷婷五月色| 噜噜噜噜噜色| 五月天久久婷婷婷| 色婷婷久久综合久色| 99免费在线视频| 99超超碰| 丁香六月婷婷久久综合| 激情久久久| 婷婷激情社区| 婷婷丁香人妻久久在线观看| 全网最新网黄大秀直播高清,主播国产录屏在线 | 日本五月婷婷| 99热日| 六月色色婷婷| 亚洲色五月天在线| 丁香六月婷婷久久综合八月| 日韩成人AV在线| 激情五月天福利| 日韩成人精品中文字幕| 91精品久久久久| 久久婷婷成人综合色怡春院| 性小说五月天| 久久色五月天| 日日干五月天婷婷| 99热精品观看| 亚洲AV无码影院| 六月婷婷综合网2| 热九九精品| 天堂色婷婷| 国产精品色婷婷AV综合色色| 五月天婷婷五月| 99热这里只有精品国产免费| 久久亚洲A| 五月婷婷激情| 96精品久久久久久久久| 4399在线观看免费毛片| 大天天伊人| 色吊丝99| 激情 久久 婷婷| A片试看50分钟做受视频| 9久久精品| 99re思思久久| 99热这里只有精品最新地址获取| 色大综合| 可以直接看的AV网站| 丁香情色五月| 91天天操天天干天天射| 色婷婷免费观看| A久久| 久99热在线观看| 激情综合色五月丁香六月亚洲| 人妻久久久| 99综合免费视频| 亚洲艹网| 色五月色图| 2015超碰| 婷婷综合精品视频97| 婷婷五月丁香香蕉| 色婷婷777狠狠| www.婷婷.com| 久草视频大香蕉99| 天天夜夜六月丁香五月婷婷老师| 日本精品久久久久中文字幕| 色婷婷婷av| 日日日日日| 日日操日日撸| 嫩草AV久久伊人妇女超级A| 亚洲色激情| 欧美VA在线观看| 最近中文字幕大全免费版在线 | 五月丁香六月色婷婷综合五月天| 超碰久热| 69精品人人人人| 国产精品色婷婷99久久精品| 踪合专区啪啪| 色五月色图| 操b视频在线观看一区二区| 五月天久久www| 亚洲精品又粗又大又爽A片| 99在线精品视频免费| 99riAV国产精品视频| 精品一区二区三区三区| 天天爽免费视频| 婷婷六月天国产综合| 久久天天天| 婷婷刺激综合| 超碰资源在线| 99热播放| 丁香五月婷婷啪啪啪| 婷婷五月色| 丁香五月婷婷综合91| 五月丁香做爱视频| 99久久婷婷精品视频| 99色色热热| 日本欧美在线| 99热这里只有精品26| 天干夜夜操| 成片免费播放| 91色久| 99在线观看亚洲| 五月色色网| 91人操| 激情婷婷五月| 99热精品在线播放| 五月天大香蕉| 综合激情网五月激情| 色播播五月天| 天天操天天操| 五月婷视频| 婷婷五月天播| 日本一級黃色一級片| 婷婷激情综合| 精品无码久久久久久久久 | 天天肏高清在线| 天天综合在线网| 俺也去五月婷婷丁| 五月天激情无码高清| 色婷婷很很丝袜| 久久99免费视频| 影音先锋91资源站| 丁香色情五月天| 99视频在线| 五月婷丁香| 五月色综合网| 日韩色色视频www| 九九精品视频在线6| 九九热免费视频| 黄页免费一级视频懂色| 五月婷网| 99re热| 成人色图情色成人网 www.5b5b5bcom 五月天| 99欧美热| 婷婷瑟瑟五月天| 天天躁日日躁狠狠躁日日躁2022年5月9日 | 欧美日韩成人在线网| 天天色综网| 日本熟女啪啪| 国内外色色色色色成人视频| 91精品国产日韩91久久久久久国模| 在线1青婷| 91九色超碰| 情婷婷五月天| 日韩成人电影av| 免费观看的婷婷五月视频在线| 中文久久婷婷| 99热婷婷| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 婷婷五月天VI| 久热这里有精品视频| 亚洲激情av| 婷婷酒色网| 五月婷婷影视| www.minyis.com【JT】实力收量可预付QQ2101460746 | 色插综合网| www.五月丁香| 五月婷俺去也| 丁香六月久久| 九九人人精品| 婷婷六月激情| AV六月丁香| 97人妻碰碰碰久| 天天色天天射天天日| 黄色AAAAA| 九九碰九九爱97| www.久久婷婷| 色五月六月| 荫道BBWBBB高潮潮喷| 视频这里只有精品16| 男人的天堂99| 丁香六月啪啪啪| 亚洲射激情| 亚洲激情| 99综合网| 狠狠插日日干撸| 五月丁香精品| 五月丁香婷婷欧美色图视频五月丁香777电影 | 天天开心婷婷丁香五月| 亚洲正能量欧美| 丁香婷婷六月天| 开心久久xxx色| 九九色插| 99热这里有精品| 都市激情五月婷婷亚洲| 99热九九这里只有精品| 中文字幕人妻AV| 日本久久99| 婷婷五月色亚洲| 四虎成人精品永久免费AV九九| 免看黄大片AA | 久久人人妻| renrencaoni| 91啪啪啪啪| 国产毛片精品一区二区色欲黄A片| 亚洲视频99| 亚洲婷婷五月天综合| 欲求不满的人妻| 久久久精品人妻| 黄色激情五月天| 精品99久久久久成人网站免费| 色九九九综合| 国产成人片| 婷婷婷久久久| 狠狠撸激情综合丁香五月天俺来啦| 99视频35精品视频在线观看| 碰人人97| 国产精品久久久久久久久久| 久99热| 这里精品| 五月天综合区| 久久免费精品小视频| 久久99免费视频网站| 激情五月丁香五月| www.91在线观看| 快色t v在线入口| 丁香五月久久| 精品久久婷婷| 九九色中文| 丁香五月天视频| 久久电影4399| 婷婷五月天美女视频| 婷婷丁香社区网| 亚洲免费在线观看岛国| 国内精品99| 97精品综合久久| 色激情五月| 欧美精品熟女一区二区| 99热精品少| 99激情网| 久久最新色| www99精品亚| 97在线观视频免费观看| 99在线免费视频| 色99在线观看| 婷婷五月天av| 婷婷激情九月| 99九精品| 91日综合欧美| 中文AV网站| 亚洲亚洲人成综合网络| 五月丁香五月婷婷| 一本久道综合色婷婷五月| 五月丁香黄色视频| 五月婷婷六月婷| 婷久看人爽| 丁香五月综合高清在线| 超碰成人在线观看| 狠狠综合区| 五月婷婷婷色| 99久99久| 久久婷婷五月天丁香| 一本大道熟女人妻中文字幕在线| 久久婷婷五月| 婷婷五月六月丁香| 五月婷婷综合网| 五月丁香六月激情综合欧美| 亚洲国产精品成人va在线观看| 五月婷婷综合热| 色婷婷狠狠久久YY| 久热爱大香蕉在线蜜臀悦色 | 337p午夜影院| 婷婷深爱五月天在线| 5月婷婷综合| 欧美A级网站| 超碰免费人妻| 婷婷五月天色色| 黄色一级影片| 外国碰视频网站97| 日韩成人av在线| 日韩人妻无码精品| 91久久久久久久久18| 99热亚洲| www.99婷婷| 日本不卡中文字幕| 秋霞免费三级片| 久久9视频| 婷婷伊人| 久热这里这里有精品| 凹凸7777操操操| 婷婷丁香色五月天久久88| 国产日产成人亚洲欧美国产VA| 日本69日人视频| 欧美在线操| 亚洲综合色色| 婷婷第六色| 色色永久| 亚州视频九九99| 深爱激情久久| 亚洲欧美一区二区三区四区爱爱动图| 婷婷精品综合| 狠狠色噜噜狠狠狠888| 五月激情天| 狠狠99| 欧美激情综合色综合啪啪五月| 久久免费视频62| 99热国产这里只有精品| 丁香六月婷婷| 无码人妻电影| 婷婷五月天激情综合| 日韩成人精品一区久久久久| 色五婷婷| 五月天丁香成人社| 婷婷五月综合网| 亚洲亚洲人成综合网络| 婷婷激情五月呦呦| 亚洲成片在线观看| 91性高潮久久久久久久久| 日日噜人人人做人| 情欲综合网| 狠狠操狠狠做| 第四色大香蕉| 超碰人人草| 91综合在线| 激婷网| 激情色情五月天| 久艹伊| 黄色片区子| 大香蕉AV在线| www.五月婷婷久久.com| 日狠狠| 激情九月婷婷| 国产肥白大熟妇BBBB视频| 熟女人妻视频| 日韩有码久久| 99自拍网| 婷婷五月丁香五月天| 91精品综合久久久久久五月丁香 | 五月婷婷九| 婷婷五月天视频免费在线观看| 久久HD| 超碰91在线| 天堂久久久久天堂网| 六月婷婷视频| 五月丁香啪啪啪免费看| 曰日爽日日操| 五月花免费视频| 亚洲日韩一页精品发布| 日韩AV中文字幕在线| 久婷五月| 日日艹思思热| 亚洲综合视频天天精品| 九月婷婷丁香| 超碰免费大香蕉| 五月成人网站| 免费视频1区| 一月婷婷色色| 欧美va| 婷婷五月激情网| 99久久9| 激情综合网激情五月婷婷| 大香蕉人人人| 激情网狠狠干| 色五月婷婷基地| 五月开心网| 婷婷五月丁香性爱| 思思久久99热| 久久黄色片| 亚洲激情五月天| 92久久久| 无码一区二区日韩| 激情丁香五月婷婷啪啪| 99热99在线| H亚洲| 亚洲五月天,激情视频| 中文字幕 久久9999| 96精品久久久久久久久| 亚洲中字AV电影在线网站| 亚洲旡码| 99免费视频网| 99视频久久| 久久99激情五月天| 综合五月丁香久久| 精品爆操| 大香蕉久久视频久久视频| 色婷婷av在线| 精品A√| 啪啪啪大香蕉| 91婷婷伊人牛牛| 五月丁香六月情亚洲| 久久九九网| 色色色色色日韩午夜激情 | 婷婷五月视频| 激情小说五月天| 婷婷五月婷婷| 五月丁香久久婷| 五月天无码视屏播放| 久99视频在线观看| 九热视频免费观看| 在线A色| www.激情五月| 色九月欧美| 99九九精品视频| 五月丁香啪啪| 婷婷六月色开| 婷婷成人五月天成人文学| 婷婷香草网| 俺来也综合网精品一区| 69久久99精品久久久久婷婷| 99在线免费视频播放| 丁香五月自拍| 99在线精品观看99| 99视频久久久| 91成人性爱视频| 亚洲三级无码| 五月色婷婷影视在线电影| 九九色婷婷| 丁香五月婷婷亚洲另类| 五月婷婷激情四月| 天天揷综合网| site:picc-up.com| 色色色色网站| 欧美久久婷婷| 中文AV网| 激情婷婷五月综合| 丁香六月无码| 色婷青青| 婷婷激情蜜桃玖玖丁香| 91啪啪视频| 婷婷久久网| 91久久电影| 狠爱婷色| 五月天天爱| 天天碰夜夜操| 色婷婷在线视频久| 9999久久久久| 色综合爽| 色色色欧美| 热九九精品| 91九色精品熟女内射| 国产首页在线| 九九青草热| 五月天激情无码| 久久受www免费人成| 五月天全国最大成人网| 香蕉人妻AV久久久久天天| 再次出发二| 日日夜夜狠狠| 婷婷五月小说色综合| 激情视频网址| 婷婷六月色| 五月婷在线观看| www.91.com黄| 综合色播| 玖玖国产视频一区| 激情综合久久| 五月天开心色情网| 99色天堂| 在线观看熟女少妇| 国产成人+综合亚洲+天堂| 色色无码日韩| 天天综合网站| 五月婷婷综合色啪首页| 五月天婷婷色播综合在线| 天天久久综合| 国产免费一区二区三州老师F1……| 麻豆123区| 激情五月丁香五月综合| 这里只有精品视频在线看| 玖玖99婷婷| 99r这里只有精品在线观看| 97超级碰碰碰久久久| 亚美欧色影院| 色婷婷AⅤ| 色天堂A| 99热人人| 99在线小视频| 激情五月婷婷欧美极品| 久久综合99综合| 亚洲五月婷天天操| 亚洲超碰中文字幕| 婷婷五月天美女21p| 色色色区| 四虎成人精品永久免费AV九九| www激情网站| 五月激情婷婷综合| 五月丁香爱婷婷深深| 成人无码髙潮喷水A片| 99热骚货| 99在线播放| 色婷婷五月天成人网| 九色婷婷| 手机看片日日做夜夜| 99热 日韩| 综合成人小说婷婷| 99黄色性生活| 99精品偷自拍| 久久婷婷六月综合| 色99在线视频| 色五月激情五月| 激情六月一二| 超碰色婷婷| 综合久| 狠狠操.COM| 日韩婷久| 另类视频一区| 99热在线免费观看精品| 超碰自拍天堂| 91操网| www.激情在线| 丁香五月亚洲| 亚洲乱码日产精品BD| 丁香丝袜五月| 日韩在线视频网站| 99视频只有精品| 99视频这里有精品免费观看| 色五月五月婷婷| 丁香五月成人| 99精品爱| 另类视屏| 丁香桃色网| 97色色色色色色色色色色色色色| AⅤ在线播放网| 另类图片天天影视在线观看| 久久婷婷五月天激情| 日本偷拍九九九| 九九热欧美| 久热这里只有精品3| 亚洲AV久久久久久久久久久久久久久久 | 欧美色色色| 色婷婷丁香女女| 亚洲人妻Av| 99热99成人| 日本91在线播放| 亚洲色婷婷| 色久在| 欧美日本高清视频99| 国产精品色婷婷99久久精品| 婷婷五日b| 99热精品10| 极品人妻VIDEOSSS人妻| 99视频| 五婷婷六月合| 五月丁香激情综合啪啪| 色婷婷99| www.色婷婷.com| 色五月丁香五月激情五月激情| 99热免费18| 婷婷社区五月天| 亚洲色模骚货| 人妻爽爽爽久久久久久久久| 性色综合网| 香蕉综合网| 婷婷五月18永久免费视频| 激情久久久| 99热亚洲综合| 精品夜夜澡人妻无码AV| 国产精品成人AV在线| 深爱五月天 开心网| 久久伊人婷婷| 99色嘟嘟精品网站| 操操碰| 婷婷五月六月丁香| 婷色成人| 色综合色综合网| 五月婷丁香久久综合| 26uuu欧美| 午夜九九九九九九九九九九九九九| 激情网开心网| 一级片sese片.COM| 伦99热| 9精品久久999| 大香蕉啪啪啪| 天天色天天爱天天爱天天爱y| 性 色 婷婷| 综合久久97| 天堂网色婷婷| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 六月婷婷色宗合| 99热日本| 1999天天操夜夜操| 国产亚洲AV人片在线| 亭亭五月色男人| 99热这里只有精品免费| www·五月天| www.99热| 26uuu精品一区二区| 色婷婷精| 欧美性猛交99久久久久99按摩| 婷婷色在线观看| 丁香五月天电影| 色爱终和网| 五月六月激情婷婷| 天天干,天天舔| 国产激情在线| 日韩婷久| 丁香婷婷AV| 天天爽天天爽| 丁香五月电影| 婷婷五月综激情| 天天爽天天爽视频| 婷婷丁香人妻久久在线观看| 久久aaa| 99热婷婷| 8区视频在线| 久热丁香| 激情五月天福利| 成人在线观看精品| 色五月婷婷五月天| 亚洲天堂99| 欧美久久网| 丁香六月婷婷五月婷婷| 都市激情小说婷婷| 亚洲99在线| 婷婷五月丁香基| 综合激情网五月激情 | 欧美偷偷操| 日本精品人妻无码77777| 五月婷婷激情综合| 色九月| www.五月天。com| 99 频99热国里只有精品| 九九色中文| www.超碰在线| 激情另类综合| 丁香六月综合激情| 欧美日韩999| 综合一区二区三区| 99精品97| 一区二区三区XXXXXX| 欧美激情 日韩无码 婷婷 五月天| 丁香亭亭激情四射| 黄色国久久| 精品人妻午夜一区二区三区四区| 无码AV久久久久久久久| 成人精品一区日本无码网| 激情综合五月| 午夜69成人做爰视频| 成人片在线播放| 丁香六月婷婷久久综合| 色婷婷五月天在线观看| 亚洲午夜av| 91精品久久久久久综合五月天| 五月天激情小说网| 天天爽天天| 大香蕉手机视频| 久久婷婷五月天| 国产精品国产成人国产三级| 午夜精品人妻无码一区二区三区| 免费视频WWW在线观看网站| 国产露脸150部国语对白| 国产亚洲精品久久久久苍井松 | 色色色.COM| 五月丁香婷婷激情| 天天综合永久| 五月丁香激情婷婷综合| 久久婷婷五月综合色丁香| 婷婷五月天综合色| 五月婷在线播放| 丁香五月偷拍| 婷婷五月综合网| 色99在线| 嫩草AV久久伊人妇女超级A| 熟女人妻一区二区三区免费看| 日本少妇裸体做爰高潮片| 久久小说网| 丁香花社区av| Av免费网站在线| 欧美天天搞| 成人五月丁香社区| 丁香五月天激情网址| 天天做天天双| 久久九九大香蕉电院| 日本五月婷婷| 91人人操.COM| 夜夜谢天天干| 人妻熟女一区二区AV| 五月丁香久久激情综合| 亚洲成Av人片乱码色第1集| 99色久| 久久视频婷婷视频| 开心婷婷五月激情网小说| 米奇激情婷婷| 欧洲综合视频| 色综天天综合| 婷婷六月中文字幕| 六月激情婷婷| 激情AV| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 秋霞av吧| www,色综合| 韩日AV片| 中文字幕精品在线观看| aaa丁香五月天| 久久这里99| 天天日天天草| 综合另类视频| 色九月| 欧美色图片88| 中文字幕第四色.999| 97久久人人操| caopeng97日韩| 丁香五月天成人网站| 在线99热| 大地资源色婷婷视频在线| 99干在线| 日本人妻A片成人免费看片| 97色色色色色色色色色色色色色| 人妻久久久久久久| 婷婷基地爱| 99re欧美精品| 婷婷五月18永久免费网站| 天天日天天干天天爱| 四月婷婷丁香| 国产 码在线成人网站| 五月婷在线| 五月婷婷色白丝| 免费的日逼视频| 熟女激情五月天| 久综合网| 婷婷丁香婷婷97| 成人va在线观看视频| 婷婷综合爱| 激情影院丁香五月| 人人操人| www.av视频xx999.com| 色婷婷www| 久久九九99| 欧美熟妇一区二区三区| 婷婷五月 丁香六月| 五月天综合在线观看视频| AV大香蕉| 91好好热日本在线| 亚洲综合干| 九九色综合网| 丁香五月婷婷色综合| 婷婷九月色| cc精品国产性传播| 丁香五月激情啪啪| 狠狠爱夜夜| 五月婷婷干| 激情五月天色网站| 色婷婷丁香AV综合| 丁香色五月婷婷17C| 这里只有精品无码| 国产婷婷婷| 婷婷综合网| 色色射| 风流少妇A片一区二区蜜桃| 日本三久久| 中文字幕性爱丰满| SS丁香五月婷婷| 成人av免费观看| 久久久九九九 99| 亚洲性爱干干| 久久色五月| 丁香五月亚洲综合| aaaaaa片| 色综合综合色| 一本狠婷婷综合| 伊人综合网4| 91精品久久久久| 亚洲黄3级片网站欧美| 婷婷五月天亚洲天堂| 五月天婷婷操逼视频| 九九Y精品热播| 色婷婷六月激情| 97碰碰人人| 丁香五月色色婷| 亚州视频九九99| 久久综合激情| 国内久久久精品99| 婷婷五月丁香基| 97人人射| 99综合熟女| 婷婷丁香激情五月天色色| 99久久综合网| 久久婷婷啪啪视频| 99热国产免费| 亚洲一级 片内射网站在线观看| 草综合网| 在线观看av网站| 超碰99热在线观看| 久久在线人妻| 五月天开心网| 婷丁香久综合| 久99久在线| 黄网在线观看免费| 丁香婷五月| 五月丁香综合激情| 色婷婷av在线观看| 色五月婷婷综合在线| 超碰A V在线| av在线色五月丁香婷区久| 九九热视频在线观看| 超碰在线99| 色综合色综合网| 五月天丁香成人社| 天天插天天插天天插天天插| 丁香五月天大香蕉啪啪| 五月丁香啪啪拍| 日本高清久久| 日日日,com| 丁香五月色| 色婷婷丁香| 51XX午夜影福利| 97久久精品| 五月色丁香| 免费看无码视频A级| 五月天婷婷7米| 九九美女视频| 天堂草在线观看| 色五月,com| 六月丁香婷婷色69| 成人中文网| 婷婷五月天亚洲色| 风流少妇A片一区二区蜜桃| 九九九九九无码| 国产精品久久久久久久久久| 天天拍天天做视频| www.夜夜操| 色婷婷色五月丁香| 99精品偷自拍| 一个色的综合| 日逼影音先锋男人AV资源站| 天天操天天操综合| 在线观看免费视频| 色在线五月天免费| 大香蕉人妻| 无码色色色色色| 天天日天天色| 成人AV免费观看| 99视频精品| 狠狠搞五月天| 色99色| 六月婷婷无码| 少妇高潮呻吟A片免费看软件| 婷婷五月综合欧美在线播放| 精品一二三区久久AAA片| 婷婷深爱色五月| 午夜天天精品视频| 97碰碰在线观看视频| 九九久久99精品免费观看www| 一区二区三区四区五区| 伊人在线婷婷草| 99热这里只是精品| 欧美熟女视频 色婷婷| 五月婷六月婷婷| 亚洲久艹| 婷婷激情视频| 五月丁香精品| 996er热| 五月丁香六月婷婷免费| 中日韩美欧成人一区二区精品在线| 久久99久久99精品免观看软件| 麻豆忘忧草午夜| 欧美成人性爱网| 免费亚洲婷婷| 狼人婷婷综合| 涩五月丁香| 亚洲免费av在线| 激情综合网激情五月天| 艹| 亚洲啪啪网| 麻豆观看夏晴子| 婷婷伊人中文字幕| 五月综合色播播丁香婷婷| 91精品熟女| 欧美男女婷婷| 神马久久五月天| 九九热在线视频观看| 香蕉操亚洲| 性爱视频久久| 五月婷婷co.m| 色在线99| 噜噜操操| 色综合色综合婷婷热| 91精产品自偷自偷综合| 91久久网站| 亚洲中文乱字字幕线在永久| 日本三级日本黄色| 碰97久久| 婷五月天天| 五月婷婷香蕉| 狠狠色五月| 色婷婷黄色网络| 夜夜操加勒比| 这里只有精彩视频| 五月丁香六月激情综合网| 99热国品| 亚洲综合五月| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 五月丁香六月激情| 精品思思久久| 成人在线二区| 色播播五月天| 91pornav在线| www.五月天婷婷| 中文字幕久久一区二区三区 | 90色免费视频| 九色91国产| 久久99热 这里有精品| 亚州色综合| 超碰av在线| 九九热只有精品| 91精品久久久久久77777| 91 欧美| 亚洲第一综合| 99re热精品在线视频| www.91五月| 激情婷婷久久| 日日射天天射| 九九热精品99| 丰满人妻一区二区三区| 99热6这里只有精品| 亚洲成人免费在线| 亚洲无码影片| 欧美99热| www.sezonghe| 色色激情网| 9 7总站超级碰免费视频| 婷婷五月天亚洲色| 国产69久久久欧美黑人A片| 激情99在线视频| 99久热在线精品| 七月丁香婷婷 色色| 99ri国产在线| A网在线欧洲| 五月婷婷之婷婷| 99视频这里只有免费精品| 中文字幕av网站| 9+1视频网址| 五月开行婷婷色五月| 久久97| 9久热视频| 99热国产免费| 日韩三级高清无码| 色欲婷婷夜夜| 色婷婷AV在线| 日韩国产在线精品| 色五月综合激情| 99久久玖玖| 高清无码.com| 久久精品99久久久久久久久| 99精品偷自拍| 五月丁香六月激情| 99视频在线观看视频| 色色婷婷五月天| 亚洲综合碰| 99精彩视频| 人人操插| 婷婷五月色综合| 丁香五月六月久久综合| 日本人妻操| 国产偷人爽久久久久久老妇APP| 综合久久9| 色五月第四色| 婷婷久久久久久久| 欧美色99| 久久精品噜噜噜成人A∨色欲| 男女啪啪做爰高潮无遮挡| 日本精品99| 人妻久久人妻久久第一区| 激情婷婷五月天伊人在线观看| 久久99久久99精品免观看粉嫩| 超碰无码老师| 亚洲精品字幕在线观看| 精品久久9| 色婷婷久久综合中文久久一本| 五月天小说激情| 婷婷五月丁香av网站| 丁香久久久| 99九九这里有免费视频| 人人操av| AV在线观看网站| 99热在线这里| 婷婷激情五月天亚洲综合| 久热视频A.| 成人电影AV在线观看| 日本少妇AA一级特黄大片| 色婷插| 天天日天天舔| 日韩啪啪网| 成人版视频在线观看| 这里只有精品视频99| 激情五月com| 乱女乱妇熟女熟妇综合网站| 日本啪啪天堂| 99热欧美精品| 丁香九月激情在线视频| 国产精品A成V人在线播放| 玖玖热视频| 在线视频99| 婷婷激情五月天小说| 丁香五月婷婷丫| 色五月xxx| 99色综合网| 色六月婷婷| 久re热视频| 大香蕉伊在| www.久久99精品| 成人无码精品1区2区3区免费看| 99亚洲视频| 日本91在线| 五月久久婷婷| 色五月激情综合| 五月丁香婷婷爱| 色五月天综合网| 开心色五月天久久久久久久| 热久久视频99| 国熟女视频| 亚洲色情激情丁香五月| 婷婷五月天激情综合婷婷五月天激情综合| 婷婷五月色| 丁香五月婷婷啪啪| 久/久精品99看9| 国产五月天婷婷| 91打屁股视频网站| 天天肏高清在线| 色女人久久| 色在线99| 久操干| 9999三级片| 涩综合网| 99热都是精品| 色99热| 91干在线| 久久香蕉福利| 影音先锋色婷婷| 97色色婷婷| 日本一级一级一级一级| 99热精品在线观看| 九九热这里只有精品556| 婷婷六月丁香在线| 激情五月黄色小说| 激情丁香淫荡婷婷| 五月天性色| 日在线V视频在线播放| 欧美综合丁香网| 五月婷婷六月丁香玖玖玫瑰91| 丁香激情五月| 色激情五月| 亚州操操| 中文字幕成人| WWW,色五月| 狠狠做五月婷婷| 五月丁香六月婷婷综合伊人| 另类小说五月天激情| 亚洲综合在线丁香五月| 亚洲aV写真天天综合网久久| 五月丁香性| 91九色欧美| 色婷婷亚洲婷婷| 超碰免费人人| 丁香五月激动深爱欧美| 天天插操| 国产高清视频91九九九久久久| 色婷婷五月天无码视频| 中文字幕日韩成人| 成人在线不卡| 久久网站免费亚洲|