欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

從Scrapy到Playwright:異步爬蟲架構(gòu)演進與學(xué)術(shù)論文采集實踐

從Scrapy到Playwright:異步爬蟲架構(gòu)演進與學(xué)術(shù)論文采集實踐 1. 為什么要離開Scrapy舒適圈學(xué)術(shù)論文采集的三個死穴先說結(jié)論這年頭如果還要從零搭建一個學(xué)術(shù)論文摘要采集系統(tǒng)閉眼選Scrapy 同步下載中間件的方案已經(jīng)不是最優(yōu)解了。我這次做某學(xué)術(shù)檢索平臺的論文摘要爬取項目從最初的全Scrapy架構(gòu)一路演進到Playwright asyncio aiohttp為主體的異步采集鏈路中間踩了不少坑。把這段演進過程完整整理出來希望對正在做學(xué)術(shù)數(shù)據(jù)采集、知識庫建設(shè)、論文元數(shù)據(jù)沉淀的團隊有參考價值。學(xué)術(shù)論文摘要抓取和一般網(wǎng)站爬蟲有本質(zhì)區(qū)別。它不是一個能抓到內(nèi)容就行的活兒而是要長期、穩(wěn)定、低封禁率地運行。痛點集中在三個地方渲染鏈路深現(xiàn)代學(xué)術(shù)站點幾乎全面轉(zhuǎn)向JavaScript渲染早期純requests時代的靜態(tài)HTML接口大量被廢棄或加密摘要正文、作者機構(gòu)、基金信息經(jīng)常要觸發(fā)多個異步請求之后才會出現(xiàn)在DOM里。Scrapy默認架構(gòu)對這個場景是無能為力的因為你拿到的Response里根本沒有渲染后的內(nèi)容。反爬策略復(fù)雜學(xué)術(shù)平臺普遍有指紋檢測、行為風(fēng)控、頻率限制。同一IP高頻訪問會導(dǎo)致整段網(wǎng)段被限制連正常的驗證碼都不給直接給你一個黑洞頁面或空白響應(yīng)。這是純Scrapy方案最難處理的。數(shù)據(jù)非結(jié)構(gòu)化程度高摘要本身是自由文本但它和標(biāo)題、作者、DOI、關(guān)鍵詞、引用次數(shù)是鑲嵌在多個組件里的。解析的準(zhǔn)確率直接取決于你拿到的DOM有多完整。沒渲染完的頁面XPATH路徑會跳躍今天能跑通的表達式明天頁面改版就全廢。所以在項目立項階段我就決定了要做一次徹底的架構(gòu)演進保留Scrapy在調(diào)度和去重上的成熟能力但在抓取端引入Playwright承擔(dān)瀏覽器渲染與動態(tài)內(nèi)容提取同時把整套網(wǎng)絡(luò)IO切換為異步模型。最終落地的是一個兩層結(jié)構(gòu)底層是異步抓取引擎負責(zé)并發(fā)調(diào)度、代理池切換、重試與結(jié)果歸一上層是瀏覽器自動化層負責(zé)登錄態(tài)維持、動態(tài)頁面渲染、關(guān)鍵字段抽取。接下來我會把這套系統(tǒng)的設(shè)計思路和踩坑過程逐步拆開講。2. 系統(tǒng)全景與訴求拆解第一版架構(gòu)為什么注定不合格2.1 項目目標(biāo)它要采集什么、存什么、提供給誰這個項目本身是做一個內(nèi)部知識庫的前置數(shù)據(jù)管道——需要持續(xù)從多個學(xué)術(shù)檢索入口采集論文的題錄信息和摘要正文存成統(tǒng)一格式的結(jié)構(gòu)化記錄供下游做檢索、分類、趨勢分析。核心采集字段包括論文標(biāo)題、作者列表、作者機構(gòu)、通訊作者郵箱、摘要原文、DOI、期刊/會議名稱、發(fā)表年份、關(guān)鍵詞、引用次數(shù)、下載鏈接。這里面最難啃的其實不是摘要原文而是作者機構(gòu)和通訊作者郵箱——這兩個字段在很多檢索頁不會直接展示需要逐條爬進詳情頁才能拿到等于把單論文的請求量翻了一倍。2.2 第一版技術(shù)路線傳統(tǒng)Scrapy同步中間件的組合第一版用的是典型的教科書式Scrapy組合scrapy.Spiderscrapy.RequestSelector配合自研的UA池和IP輪換Middleware。這套方案上線初期的表現(xiàn)勉強能用但隨著采集規(guī)模的提升和學(xué)術(shù)站點反爬的升級問題開始集中爆發(fā)。最直接的一個死穴是目標(biāo)站點把論文列表頁分成了輕量摘要版和完整詳情版。輕量摘要版首屏只渲染前20條滾動到頁面底部之后才會通過接口請求加載后續(xù)數(shù)據(jù)。Scrapy的Selector解析的是第一個Response的靜態(tài)內(nèi)容永遠拿不到滾動加載后的條目——可以這么說跑了一圈每一個列表頁都只采到了五分之一的論文。第二個死穴是登錄態(tài)過期。學(xué)術(shù)平臺普遍要求登錄后才展示完整摘要。Scrapy方案里我用FormRequest模擬登錄但登錄態(tài)的Token是綁定瀏覽器指紋的服務(wù)端很容易識別出你不是同一個瀏覽器在操作導(dǎo)致頻繁被踢下線。2.3 為什么不能只在Scrapy上打補丁我最初也想過曲線救國給Scrapy加Selenium中間件把渲染交給瀏覽器把解析交給Scrapy。這樣做確實能讓第一版跑起來更順但代價很大。Scrapy的并發(fā)模型是Twisted異步框架本身不支持在抓取回調(diào)里阻塞等待瀏覽器渲染。官方推薦的scrapy-selenium中間件本質(zhì)上是開一個Chrome窗口用WebDriverWait做同步等待這就把整個爬蟲的吞吐量鎖死在了瀏覽器的響應(yīng)速度上。原本同一時間能并發(fā)5到10個請求現(xiàn)在只能串行等頁面加載。更麻煩的是scrapy的項目結(jié)構(gòu)里Spider、Item Pipeline、Middleware各層耦合很強加入瀏覽器自動化的代碼往往會散落在各層調(diào)試成本陡增。我在第二版改造中途做過一次對比同一個列表頁ScrapySelenium方案平均耗時6到8秒而純Playwright異步方案只需要2到3秒——這不是調(diào)優(yōu)能補回來的差距是架構(gòu)思路的問題。所以在聽完三方意見后我下定決心只保留Scrapy的調(diào)度和導(dǎo)出邏輯抓取端整體重寫。3. 從Scrapy到Playwright的遷移路線三個關(guān)鍵決策的過程與理由3.1 抓取引擎為什么選Playwright而不是Selenium或純requests選型這件事我其實糾結(jié)了將近一周。當(dāng)時候選方案有三個Playwright、Selenium、純requests 接口逆向。最終選了Playwright理由有三個。第一Playwright的async API是一等公民。它的async_playwright上下文可以直接嵌入asyncio的事件循環(huán)不需要額外的線程橋接。對后續(xù)做異步并發(fā)來說是天然友好的。Selenium的異步支持一直是半吊子官方推薦方案還是要靠線程池這在高并發(fā)下資源開銷很夸張。第二Playwright對動態(tài)渲染的處理更細。它自帶auto_wait機制元素定位時會自動等待元素出現(xiàn)不需要手動寫一堆time.sleep(5)。它還支持攔截網(wǎng)絡(luò)請求、修改響應(yīng)內(nèi)容這對處理學(xué)術(shù)站點常見的XHR接口返回來說非常有用。我可以直接在瀏覽器里攔下JSON數(shù)據(jù)用json.loads處理而不一定非要在DOM里摳文本。第三是維護成本。Playwright的瀏覽器驅(qū)動是自動下載、自動匹配版本的不用像Selenium那樣擔(dān)心Chrome升級之后chromedriver版本對不上。這一點在長期運行的系統(tǒng)里太重要了。3.2 異步技術(shù)棧怎么選asyncio為骨架aiohttp為傳輸Playwright為渲染確定Playwright之后我梳理了整套系統(tǒng)需要承載的并發(fā)需求每個檢索關(guān)鍵詞需要抓取分頁列表分頁數(shù)量平均20頁每個列表頁加載后需要進入5到15個詳情頁抽取完整通信信息全站需要支持不低于50個并發(fā)任務(wù)的穩(wěn)態(tài)運行。如果用同步HTTP請求線程池線程上下文切換的開銷會讓CPU一直在空轉(zhuǎn)。所以在網(wǎng)絡(luò)傳輸層引入了aiohttp。aiohttp負責(zé)所有不需要瀏覽器渲染的請求比如批量下載PDF、獲取純文本接口Playwright負責(zé)需要JS渲染的列表和詳情頁。實際運行時的流程是asyncio協(xié)程調(diào)度器發(fā)出抓取任務(wù)如果任務(wù)特征是URL已知、內(nèi)容為靜態(tài)JSON就交給aiohttp直接抓取如果是需要瀏覽器環(huán)境、需要登錄態(tài)、需要JS渲染就打進Playwright的異步上下文執(zhí)行。兩套傳輸層共用同一個代理池和重試隊列互不阻塞。3.3 改造大綱哪些保留、哪些刪除、哪些重寫改造之前有個很重要的工作把原有Scrapy項目里到底哪些代碼是真正有用的、哪些是牽一發(fā)動全身的依賴全部盤清楚。我最終保留的只有三塊items.py里定義的數(shù)據(jù)模型基本沒改字段結(jié)構(gòu)依然合理settings.py中DOWNLOAD_DELAY、并發(fā)數(shù)、日志等級等基礎(chǔ)配置自研的ProxyMiddleware的代理池對接邏輯后來改造成異步版本后保留。刪除和重寫的部分所有Spider類全部廢棄換成基于asyncio的采集任務(wù)函數(shù)scrapy.Request及其回調(diào)邏輯改成async函數(shù)見后文Selector解析邏輯改成基于Playwright的locator或封裝函數(shù)所有Downloader Middleware和Item Pipeline的同步實現(xiàn)改成管道式的async處理函數(shù)。一個常見的誤解是要從零推翻重來但我的經(jīng)驗是只要數(shù)據(jù)模型不變采集鏈路的改動其實可以控制在一個可控范圍內(nèi)。數(shù)據(jù)模型是你的接口層采集實現(xiàn)是你的內(nèi)部實現(xiàn)兩者分開設(shè)計改造起來才不痛苦。4. 核心實現(xiàn)異步抓取鏈路到底怎么落地4.1 任務(wù)流轉(zhuǎn)與調(diào)度器設(shè)計系統(tǒng)采用一個簡單的兩級任務(wù)隊列列表頁任務(wù)和詳情頁任務(wù)。列表頁任務(wù)由關(guān)鍵詞列表自動生成詳情頁任務(wù)由列表頁的解析結(jié)果動態(tài)產(chǎn)生。調(diào)度器用asyncio.Queue實現(xiàn)不需要引入Celery這樣重級別的分布式框架。原因有二單機并發(fā)50到100個任務(wù)時asyncio.Queue完全夠用調(diào)度基本沒有延遲引入外部消息隊列會多一層序列化和網(wǎng)絡(luò)開銷對這個場景來說是浪費。調(diào)度器核心代碼大致是這樣的# 簡化版任務(wù)調(diào)度核心 import asyncio from dataclasses import dataclass, field dataclass class FetchTask: task_type: str # list 或 detail url: str keyword: str retry_count: int 0 extra: dict field(default_factorydict) class TaskScheduler: def __init__(self, max_concurrency50): self.queue asyncio.Queue() self.max_concurrency max_concurrency self.sem asyncio.Semaphore(max_concurrency) async def put(self, task: FetchTask): await self.queue.put(task) async def get(self): return await self.queue.get() async def worker(self, fetcher): while True: task await self.get() async with self.sem: try: await fetcher.process(task) except Exception as exc: await self.handle_retry(task, exc)這里最關(guān)鍵的邏輯在handle_retry重試次數(shù)上限是3次超過3次就記錄到失敗日志并丟棄。需要注意的是重試時不能簡單地重新入隊——如果是因為代理IP被封導(dǎo)致的失敗必須輪換代理之后再重試否則只會重復(fù)踩同一個坑。4.2 Playwright的異步上下文與并發(fā)控制Playwright本身支持多頁面共享一個瀏覽器上下文但學(xué)術(shù)采集場景有個特殊要求不同關(guān)鍵詞最好用不同的瀏覽器上下文。主要原因是學(xué)術(shù)平臺的登錄態(tài)、Cookie、localStorage是按會話維度存儲的如果兩個關(guān)鍵詞共用同一個上下文一個頁面的行為異常容易污染另一個頁面的會話。異步上下文管理我這樣實現(xiàn)# Playwright 異步上下文封裝 import asyncio from playwright.async_api import async_playwright class PlaywrightFetcher: def __init__(self, proxy_urlNone): self.proxy_url proxy_url self.playwright None self.browser None self.contexts {} async def start(self): self.playwright await async_playwright().start() self.browser await self.playwright.chromium.launch( headlessTrue, args[ --disable-blink-featuresAutomationControlled, --disable-dev-shm-usage, ], ) async def new_context(self, keyword: str): context await self.browser.new_context( viewport{width: 1280, height: 800}, user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36, proxy{server: self.proxy_url} if self.proxy_url else None, ) self.contexts[keyword] context return context async def fetch(self, task: FetchTask): ctx self.contexts.get(task.keyword) if not ctx: ctx await self.new_context(task.keyword) page await ctx.new_page() try: if task.task_type list: return await self.fetch_list(page, task) else: return await self.fetch_detail(page, task) finally: await page.close() async def close(self): for ctx in self.contexts.values(): await ctx.close() await self.browser.close() await self.playwright.stop()這段代碼里有幾個容易踩的坑我先說明args[--disable-blink-featuresAutomationControlled]是必須加的它可以隱藏navigator.webdriver標(biāo)記顯著降低被學(xué)術(shù)平臺識別為爬蟲的概率。每一個page用完之后一定要close()不能復(fù)用。復(fù)用頁面會累積內(nèi)存和DOM事件監(jiān)聽器跑幾萬條任務(wù)后內(nèi)存會膨脹到系統(tǒng)OOM。瀏覽器上下文使用字典緩存而不是為每一個任務(wù)創(chuàng)建這樣能讓每個關(guān)鍵詞的登錄態(tài)復(fù)用不會動不動要求重新登錄。4.3 列表頁的滾動加載與字段抽取學(xué)術(shù)檢索平臺的一個典型交互是進入了檢索結(jié)果頁頁面上只有前20條結(jié)果向下滾動到一定高度后會觸發(fā)懶加載接口返回下20條。這個過程可能重復(fù)數(shù)次直到所有結(jié)果加載完畢。用Playwright處理這個場景的思路是先打開列表頁然后循環(huán)執(zhí)行滾動和等待直到檢測到底部元素不再出現(xiàn)或者翻頁接口調(diào)用結(jié)束。一個真實項目的核心邏輯async def fetch_list(self, page, task): await page.goto(task.url, wait_untildomcontentloaded, timeout30000) # 處理可能出現(xiàn)的登錄彈窗和Cookie橫幅 try: await page.click(text同意, timeout3000) except Exception: pass items [] # 預(yù)設(shè)的滾動距離和停頓時間需要根據(jù)目標(biāo)站點實際表現(xiàn)微調(diào) for scroll_round in range(20): # 獲取當(dāng)前頁面已加載的條目數(shù) current_count await page.locator( //div[contains(class, result-item)] ).count() # 判斷是否已經(jīng)加載到底 reach_end await page.locator( //div[contains(class, pagination-end)] ).count() if reach_end: break # 滾動到頁面底部觸發(fā)懶加載 await page.evaluate(window.scrollTo(0, document.body.scrollHeight)) # 等待新條目出現(xiàn)不能直接sleep要等待特定元素 await page.wait_for_function( (prevCount) { return document.querySelectorAll( .result-item ).length prevCount; }, argcurrent_count, timeout10000, ) # 所有條目加載完成后統(tǒng)一提取字段 for i in range(await page.locator(//div[contains(class, result-item)]).count()): item page.locator( //div[contains(class, result-item)] ).nth(i) title await item.locator(.title).inner_text() authors await item.locator(.authors).inner_text() abstract_preview await item.locator(.abstract-preview).inner_text() link await item.locator(a.detail-link).get_attribute(href) items.append({ title: title.strip(), authors: authors.strip(), abstract_preview: abstract_preview.strip(), detail_url: page.urljoin(link), }) return items滾動加載的“如何確定加載完”是整個列表頁抓取能否成功的關(guān)鍵。wait_for_function是Playwright里極好用的API它會在頁面上下文里執(zhí)行JavaScript并輪詢直到返回真值。這段代碼里我傳入了上一次的元素數(shù)量只有當(dāng)result-item的數(shù)量增加時才認為加載完成避免過早結(jié)束。如果你要處理的是一個類型不固定、沒有統(tǒng)一末尾標(biāo)記的頁面還有一個更穩(wěn)妥的方案記錄上一次的數(shù)量循環(huán)執(zhí)行滾動如果連續(xù)3次滾動后數(shù)量都沒有變化就判定加載完成。我建議把這個方案作為回退邏輯。4.4 詳情頁的深度信息補全摘要與機構(gòu)的提取策略詳情頁是摘錄完整信息的唯一來源。列表頁拿到的只是預(yù)覽片段經(jīng)常被截斷到一半。詳情頁字段抽取的難點在于作者機構(gòu)和通訊作者郵箱這些字段在頁面上不一定以標(biāo)準(zhǔn)格式出現(xiàn)。我采用了一個按優(yōu)先級遞減的提取策略優(yōu)先嘗試頁面上的結(jié)構(gòu)化JSON數(shù)據(jù)很多學(xué)術(shù)站會在script typeapplication/json里嵌入論文原始數(shù)據(jù)抽取精準(zhǔn)度最高其次用locator按已知的DIV/CSS類名抽取最后用正則或關(guān)鍵詞匹配從正文文本里找郵箱和機構(gòu)關(guān)鍵字。結(jié)構(gòu)化JSON數(shù)據(jù)這種形態(tài)在學(xué)術(shù)網(wǎng)站里非常常見。它藏在script標(biāo)簽里用Playwright拿起來很方便async def parse_structured_metadata(self, page): scripts await page.locator(script[typeapplication/json]).all() for script in scripts: raw await script.inner_text() if not raw: continue try: data json.loads(raw) if isinstance(data, list): data data[0] if data else {} if title in data and abstract in data: return data except json.JSONDecodeError: continue return {}這里的關(guān)鍵是絕對不要假設(shè)JSON一定存在。真實項目中我遇到過一個檢索平臺結(jié)構(gòu)化的JSON只覆蓋了60%的頁面剩下的40%只能靠DOM解析兜底。所以提取邏輯必須做多級回退不能一錘子買賣。如果看到只依賴單一數(shù)據(jù)源抽取就上線的代碼后續(xù)等待你的大概率是無窮無盡的“這條數(shù)據(jù)怎么字段是空的”維護工單。5. 爬蟲上線后的踩坑實錄四個意外與完整排查鏈路系統(tǒng)開發(fā)完成、進入真實學(xué)術(shù)站點試運行階段后各種問題才真正開始顯現(xiàn)。這部分我把過程中的典型坑完整記錄下來按“現(xiàn)象 - 排查 - 根因 - 解決”的結(jié)構(gòu)展開比直接給結(jié)論要更有參考價值。5.1 瀏覽器指紋被識別所有頁面正常返回空白現(xiàn)象在本地手動運行Playwright腳本時頁面渲染、字段抽取都正常但一旦打包上線跑大概200個關(guān)鍵詞之后所有頁面開始返回空白。不是報錯、不是驗證碼就是一個空白的body。排查鏈路第一步看日志發(fā)現(xiàn)沒有超時、沒有請求失敗所有請求都是200狀態(tài)。第二步直接連接同一代理IP用普通瀏覽器打開相同URL一切正常。第三步懷疑是代理IP池出了問題更換全新代理IP后問題依然存在。第四步開始懷疑瀏覽器指紋——在本地用headlessFalse跑正常換成headlessTrue跑問題復(fù)現(xiàn)。根因headlessTrue模式下瀏覽器會暴露不少自動化特征比如navigator.webdriver true、缺少chrome.window對象等。目標(biāo)站點檢測到了WebDriver標(biāo)記不是封禁IP而是直接返回空白頁面來消耗你的資源。解決在啟動參數(shù)中增加反自動化標(biāo)記同時用context.add_init_script注入一段JavaScript隱藏WebDriver特征。具體來說是在啟動時執(zhí)行如下初始化腳本# 通過 init_script 隱藏自動化檢測標(biāo)記 await context.add_init_script( Object.defineProperty(navigator, webdriver, { get: () undefined }); window.chrome window.chrome || { runtime: {} }; )這個改動之后空白頁面問題徹底消失。需要強調(diào)這絕不是為了非法繞過什么機制只是讓正常的瀏覽器自動化工具可以穩(wěn)定完成公開學(xué)術(shù)數(shù)據(jù)的采集工作。5.2 列表頁數(shù)據(jù)重復(fù)去重機制的三個漏洞現(xiàn)象采集中有接近30%的論文是重復(fù)的也就是同一篇論文被采集了多次導(dǎo)致下游入庫時產(chǎn)生大量重復(fù)記錄。排查鏈路首先檢查關(guān)鍵詞是否重疊發(fā)現(xiàn)兩個接近的關(guān)鍵詞比如reinforcement learning和deep reinforcement learning拉取的檢索結(jié)果確實有大量重疊。其次檢查分頁是否重復(fù)發(fā)現(xiàn)部分列表頁在滾動加載時會把前20條重復(fù)渲染一次。最后檢查詳情頁任務(wù)生成邏輯發(fā)現(xiàn)同一個詳情頁可能被多個不同的列表頁任務(wù)解析后重復(fù)入隊。根因重復(fù)不是單一原因造成的而是三層疊加關(guān)鍵詞重疊語義接近的關(guān)鍵詞產(chǎn)生相同論文命中分頁重疊懶加載接口在快速滾動時重復(fù)返回前20條數(shù)據(jù)任務(wù)重復(fù)同一詳情頁被不同列表頁解析、生成、入隊。解決在任務(wù)調(diào)度器入口處對所有詳情頁任務(wù)URL做一步基于規(guī)范化URL的BloomFilter去重class UrlDeduplicator: def __init__(self): self.visited set() def normalize(self, url: str) - str: # 去掉常見的追蹤參數(shù)只保留穩(wěn)定的標(biāo)識累加參數(shù) from urllib.parse import urlparse, parse_qsl, urlencode parsed urlparse(url) params [item for item in parse_qsl(parsed.query) if item[0] not in (utm_source, utm_medium, session_id)] return parsed._replace(queryurlencode(sorted(params))).geturl() def is_duplicate(self, url: str) - bool: norm self.normalize(url) if norm in self.visited: return True self.visited.add(norm) return False另一個細節(jié)是列表頁任務(wù)本身也需要去重因為滾動加載后當(dāng)前頁的URL可能會變化有些站點翻頁是改變hash而不是路徑忽略這一點的話同一個關(guān)鍵詞的20頁會被重復(fù)抓20次。5.3 登錄態(tài)自動失效瀏覽器上下文的Cookie隔離問題現(xiàn)象系統(tǒng)運行一段時間后進入詳情頁時偶爾彈出登錄框?qū)е伦ト〉降恼堑卿浨翱梢姷慕財喟姹?。排查鏈路在日志里找到彈出的登錄框時對應(yīng)的關(guān)鍵詞上下文應(yīng)該已經(jīng)有正常的登錄Cookie。但奇怪的是部分上下文可以用部分不行。進一步檢查發(fā)現(xiàn)共享的上下文里不同關(guān)鍵詞之間雖然沒有互相清理Cookie但有一個關(guān)鍵詞觸發(fā)了OAuth重定向這個重定向把整個共享上下文的存儲清洗了一遍。根因多個關(guān)鍵詞任務(wù)共用了同一個瀏覽器上下文。某一次詳情頁重定向到OAuth端點時服務(wù)端返回的Set-Cookie里帶了Domain屬性是根域的Cookie由于同一個上下文內(nèi)其他關(guān)鍵詞的域名也在同一Cookie域下導(dǎo)致所有會話被覆蓋。解決把每關(guān)鍵詞一個上下文改為每關(guān)鍵詞一個持久化上下文目錄使用Playwright的launch_persistent_context同時確保每個上下文的Cookie存儲隔離到獨立文件目錄# 每個關(guān)鍵詞都有獨立的持久化上下文目錄 context await playwright.chromium.launch_persistent_context( user_data_dirf/data/crawler/contexts/{sanitize(keyword)}, headlessTrue, viewport{width: 1280, height: 800}, )這樣做之后即使某個關(guān)鍵詞的登錄態(tài)被服務(wù)端強制失效也只影響單個目錄不需要重新登錄所有關(guān)鍵詞。提示帶持久化上下文的啟動速度比普通browser.new_context要慢一些冷啟動大概多1到2秒。為了穩(wěn)定性這個代價是值得的。5.4 代理池切換不及時連續(xù)重試導(dǎo)致的IP雪崩現(xiàn)象采集達到峰值狀態(tài)時代理池里的所有IP在幾分鐘內(nèi)全部被封。排查鏈路查看單條失敗重試鏈路發(fā)現(xiàn)首次失敗后進入重試隊列重試時沒有換代理IP而是用了原來的IP又一次請求導(dǎo)致同一IP連續(xù)被封。當(dāng)封禁IP比例達到一定閾值后代理池的可用IP迅速歸零全局任務(wù)全部陷入重試死循環(huán)。根因我把代理池的輪換邏輯放在了任務(wù)重試的外層以為每次重試入隊時都會重新挑選代理。但實際上依賴的是Playwright上下文創(chuàng)建時的proxy參數(shù)而上下文一旦創(chuàng)建代理就固定了。重試時如果上下文沒有銷毀重建代理IP就不會變化。解決在handle_retry里增加邏輯如果重試次數(shù)等于1則強制銷毀當(dāng)前上下文重新獲取代理IP后進入新的上下文。同時增加一個max_fail_lock機制當(dāng)某個頁面連續(xù)失敗超過3次時暫停該關(guān)鍵詞的任務(wù)進入冷卻期避免因為某一片段網(wǎng)絡(luò)問題拖垮整個代理池。6. 新老方案實測吞吐量、資源占用與穩(wěn)定性的量化對比在系統(tǒng)改造完成并穩(wěn)定運行2周后我做了一輪A/B測試目的是客觀評估這套新方案相對舊Scrapy方案到底帶來了多少收益。6.1 對比條件與指標(biāo)說明為了保證對比公平我控制了三個變量采集的目標(biāo)站點相同同一個學(xué)術(shù)檢索平臺同一批共100個關(guān)鍵詞數(shù)據(jù)規(guī)模相同每個關(guān)鍵詞拉取前200條共約2萬條記錄硬件環(huán)境相同一臺8核16G內(nèi)存的服務(wù)器同一網(wǎng)絡(luò)出口。實測指標(biāo)包括單條記錄平均耗時、成功率、IP封禁率、內(nèi)存峰值、CPU平均占用。6.2 實測數(shù)據(jù)總覽指標(biāo)舊方案Scrapy 同步下載器新方案Playwright asyncio aiohttp變化單條記錄平均耗時約2.8秒/條約0.6秒/條提升約78%整體采集成功率84.2%96.7%提升12.5個百分點代理IP封禁率約35%約8%降低77%內(nèi)存峰值約11GB約6.5GB降低41%CPU平均占用約70%約35%降低50%100個關(guān)鍵詞跑完總時長約5小時約1小時縮短4小時這個數(shù)據(jù)說明兩點異步 瀏覽器渲染的組合不是微調(diào)優(yōu)化而是數(shù)量級的差距。舊方案的大量時間耗在串行等待頁面加載和頻繁重試上新方案把閑置等待時間徹底折疊進了事件循環(huán)同時更精準(zhǔn)的渲染和更低的封禁率也降低了重試成本。6.3 為什么封禁率能降這么多新方案封禁率大幅下降并非單點突破而是多個因素的疊加瀏覽器指紋更真實反爬系統(tǒng)不容易把你識別成爬蟲并發(fā)模型從瞬時打爆連接變成穩(wěn)定流轉(zhuǎn)同一時刻的活躍請求被限制在一個合理水平帶重試的代理輪換策略不會讓同一個IP連續(xù)出問題auto_wait機制減少了因為頁面加載沒有完成而產(chǎn)生的超時重試——超時重試本身就是引發(fā)風(fēng)控的重要信號源。這也解釋了為什么很多人用Selenium做學(xué)術(shù)采集依然被封得很慘不是瀏覽器自動化不好而是并發(fā)調(diào)度策略沒有跟上。瀏覽器窗口開太多、太快、太無規(guī)律反爬系統(tǒng)通過行為建模很快就能鎖定你。7. 這套架構(gòu)的邊界與后續(xù)會怎么演進7.1 它不適合什么場景說清楚這套系統(tǒng)的邊界對想直接套用的讀者來說很重要。如果目標(biāo)只是采集靜態(tài)HTML頁面、沒有JavaScript渲染需求那么切到Playwright確實是一種用重武器打蚊子的行為。aiohttp 靜態(tài)解析可能是更輕、更快、更穩(wěn)定的選擇。Playwright的瀏覽器實例會帶來額外的啟動時間和內(nèi)存開銷為純靜態(tài)頁面用它是得不償失的。如果采集量極小比如每天幾百條那么Scrapy或者requests完全夠用。引入異步和瀏覽器渲染會讓調(diào)試變得復(fù)雜學(xué)習(xí)成本還不低。架構(gòu)的復(fù)雜度和業(yè)務(wù)的需求量必須匹配否則就是過度工程。如果目標(biāo)站點的反爬不是基于瀏覽器指紋和頻率控制而是基于賬號體系的風(fēng)控策略比如訂閱分數(shù)的權(quán)重、付費墻那這套方案也無能為力。你需要做的是賬號管理、行為模擬和用戶畫像層面的合規(guī)工作這和單純的技術(shù)采集是兩個維度。7.2 下一代架構(gòu)的演進方向瀏覽器池化與數(shù)據(jù)管道分離目前這套系統(tǒng)還有一個明顯的瓶頸PlaywrightFetcher的瀏覽器上下文是按關(guān)鍵詞維度維護的但Playwright實例本身依然是單點的。如果目標(biāo)站點數(shù)量翻倍或者將來引入多地域部署需求單機單瀏覽器會變成性能瓶頸。我規(guī)劃中的下一步是把Playwright做成獨立的瀏覽器池化服務(wù)通過無頭瀏覽器集群對外提供抓取能力采集引擎和服務(wù)之間用消息隊列解耦。具體的做法是啟動多個分布式Worker節(jié)點每個Worker承載若干個Playwright瀏覽器實例它們各自維護獨立的代理和上下文。調(diào)度器通過一個共享的任務(wù)隊列把任務(wù)分發(fā)給空閑的Worker。這個設(shè)計在現(xiàn)代遠程瀏覽器隔離、容器化部署的背景下難度不大但能有效突破單機瓶頸。數(shù)據(jù)管道層面也會繼續(xù)調(diào)整。目前摘要、作者、機構(gòu)等字段是在采集階段全部抽好的但其實可以拆成兩個階段先采集原始HTML或渲染后的DOM快照再通過解析管道統(tǒng)一抽取。這樣做的好處是頁面如果改了CSS類名不需要重新抓一遍網(wǎng)站只需要把之前的DOM快照重新跑一遍解析邏輯即可歷史數(shù)據(jù)也能重放和追溯。7.3 一個繞不開的合規(guī)提醒最后想認真說一點。做學(xué)術(shù)數(shù)據(jù)采集這個方向技術(shù)上的空間很大但合規(guī)邊界必須先想清楚。我做這個項目時嚴(yán)格限制在公開數(shù)據(jù)范圍內(nèi)對私有賬號數(shù)據(jù)不做采集更不去利用漏洞或破解付費墻。目標(biāo)平臺的服務(wù)條款和robots協(xié)議是我們判斷邊界的重要依據(jù)——只采集公開可訪問的論文元數(shù)據(jù)和摘要避免影響目標(biāo)平臺的正常服務(wù)。合規(guī)不是事后補丁而是在架構(gòu)設(shè)計時就應(yīng)該考慮進去的約束。比如設(shè)計合理的請求頻率不要把并發(fā)拉得太高對目標(biāo)站點的負載保持克制對用戶隱私數(shù)據(jù)不做永久存儲。如果你把爬取的論文數(shù)據(jù)用于商業(yè)目的務(wù)必先獲得相應(yīng)的授權(quán)或者確認目標(biāo)平臺的數(shù)據(jù)許可條款。這樣你的技術(shù)能力才不會用錯地方。總結(jié)一點個人體會整套從Scrapy到Playwright的演進做完之后我最大的感受是技術(shù)選型不是越新越好而是越貼合場景的越好。學(xué)術(shù)論文摘要抓取這個場景的核心矛盾在于動態(tài)渲染反爬高數(shù)據(jù)質(zhì)量三者之間的平衡。Scrapy解決不了動態(tài)渲染Selenium解決不了并發(fā)效率只有把瀏覽器自動化的可控性和異步模型的吞吐量合在一起才是真正能長期穩(wěn)定運行的方向。如果你正在做類似的爬蟲架構(gòu)升級我的建議是從最小可行改造開始先把一個列表頁用Playwright跑通再逐步替換任務(wù)調(diào)度不要試圖一次性把全鏈路推翻。這樣每一步都可以驗證效果出了問題也能快速定位。技術(shù)棧再漂亮也比不上能連續(xù)穩(wěn)定運行一個月不鬧脾氣的數(shù)據(jù)管道。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月深爱婷婷| 午夜电影网VA内射| 欧美婷婷综合网| 狠狠的日| 伍月婷婷六月丁香| 久草五月天电影网| 伊人婷婷青青cao| 狠狠色色色| 久久丁香五月| 日韩AAAAA| 九月丁香婷婷| 九九久久99精品免费观看www| 中文字幕乱码亚洲精品一区| 99精品在线| 九九视频在线观看| 综合五月天完整| 热中文字幕| 婷婷色资源| 色婷婷丁香五月| 婷婷五月丁香六月天亚洲综合| 色婷婷久久久| 玖玖爱综合网| 9l视频自拍9l视频自拍九色学生| 五月丁香婷婷啪啪综合| 九月av在线| 久久精品99国产精品日本| 熟女激情五月天| 很很操很很操| 色色色综合视频| 免费97碰碰| 五月婷av| 久9热视频| 亚洲综合婷婷五月| 五月丁香激情深爱婷婷| 亚洲综合色棒| 天天弄天天操| 天天日天天色| 99re6在线视频精品免费| 五月婷婷九九热| 激情五月天色婷婷综合| 丁香五月婷婷激情中文| 日韩无码色色| 2017人人操| 亚洲成人黄色网| 67194国产| 开心激情久久久久久久| w婷婷五月婷婷w| 色吧五月婷婷| 国产午夜成人免费看片无遮挡| 久久新| 日韩AC在线免费观看| 丁香五月花| 五月婷婷综合网| 久久这里只有精品99| 丁香婷婷六月天| 五月丁香婷婷视频| 色玖玖| 久婷婷婷| 久操热线| 国产成人综合电影| 丁香五月婷婷激情中文| 影音先锋91| 五月丁香自拍| 久久99热这里| 人人摸人人干人人做| 狠色狠色狠色狠色狠色网| 国产99美少妇| 性99网站| 婷婷精品在线| 九九视频在线观看视频6| 亚洲日本韩国| www.com色播五月天| 大香蕉娱乐| www色综合亚洲92| 五月丁香婷婷成人版| 天天插天天插天天插| 丁香五月天综合网| 超碰在线免费| 日日做A爰片久久毛片A片英语| 久久人妻熟女一区二区| 婷婷综合在线视频| 热的国产99热| 99热99热在线| 这里只有精品视频免费在线观看| 久婷狼色诱惑在线| 色婷婷导航| mmm1717.6dbm人人爱人人操| 综合在线色婷婷| 六月丁香啪啪啪| 六月丁香激情网| 丁香五月天激情综合| 成人五月丁香花| 美女xx不卡| 9有码中文| 丁香五月婷婷无码AV| 久久久婷丁香五月| 色色色地址| 色五月在线播放| 国内一级片| 伊人热婷婷| 99自拍视频在线| 伊人久久婷婷五月天激情四射| 欧美α√| 免费视频WWW在线观看网站| 最新无码专区| 99精品免费视频| 校花娇喘呻吟校长陈若雪视频| 香蕉99网| 5月婷婷6月丁香aV| 97干免费视频| tingtingseav| 成人色情五月天婷婷丁香| 亚洲视频99| 色五月婷婷综合| 无码字幕中文| 天天爱天天日| 91精品无码| 欧美成人AAA片一区国产精品| 5五月综合网亚洲| 九九九这里只有精品| 亚洲九九99精品视频在线播放| 色噜噜狠狠色综无码久久合欧美| 伊人爱爱日本| 五月婷婷色丁香| 99热精品在线在线| 日本一区二区三区精品视频| 五月色无码| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 婷婷五月噜噜| 女人高潮内射99精品| 婷婷久久婷婷| 涩 五月 婷婷 狠狠| 激情综合网五月在线播放| 婷婷色成人| 五月天婷婷激情在线色图| 亚洲区在线| 噜噜噜噜噜在线| 久久婷婷五月免费视频| 婷婷丁香久久网| WWW色五月天| 色久丁香五| 国精产品一区一区三区免费视频| 国庆精品久久| 激情五月婷婷| 丁香六月婷婷久久综合八月| 久久a热| 99ri精品在线| 六月激情综合| 九九超日本| 天天干肏夜夜| 久婷婷视平| 五月婷婷色综图片| 欧美在线视频99| 久久99婷婷| 色婷婷五月天视频网站| 激情文学 综合 九月| 伊人婷婷色激情丁香| 婷婷激情综合| 国产夫妻操逼内射视频| 久久久久9| 超碰成人电影| 丁香婷婷影院| 国产全是老熟女太爽了| 九九sese| 97在线观视频免费观看| 99热精这里只有精品| 亚洲欧美成人在线| 色国产五月| 免费黄色视频网址| 婷婷五月丁香激情色情| 亚洲无码性爱| 狠狠狠狠狠干| 色婷婷小说| 99性视频| 五月天婷婷在线啪啪视频| 亚洲色综合| 五月婷婷色播视频| 丁香,开心成人,久久| 影音先锋 91工厂| 亚洲V国产V欧美V久久久久久| 五月婷六月综合在线观看| 五月激情婷婷丁香| 激情婷婷狠狠干| 夜夜操加勒比| 丁香五月婷婷五月| jiqingtaose五月天| 99re6久热只有精品6在线直播| 丁香五月色情| 国产免费性爱| 久久六月天| 婷婷玖玖丁香| 久久a热| 99婷婷五月天| 五月色丁香视频精品| 黄桃AV无码免费一区二区三区| 色999五月色| 九月丁香婷婷基地| 少妇性按摩无码中文A片| 五月丁香久| 国产色色视频| 五月婷婷开心丁香| 亚洲综合婷婷五月| 成人做爰黄A片免费看直播室男男 久草热8精品视频在线观看 | 热99一二三| 午夜婷婷久久| 六月丁香深深爱| 91麻豆国产三级精品福利在线观看| 深爱五月日韩| 97干97色| 婷婷福利影院| 五月婷在线观看| 无码激情精品色婷婷久久久久| 北条麻妃伊人 | 午夜日日| AA片在线观看视频在线播放| 亚洲人成色A777777在线观看 | 色狠狠婷婷| 婷婷五月天AV| 九九视频精品这里只有| 丁香六月激情毛片| 国产毛片欧美毛片久久久| 思思久久99热只有频精品66| 性五月激情| 婷婷丁香六月天| 在线视频99| 亚洲激情久久| 久久免费精彩视频| 啪啪激情网站| 婷婷六月丁香激情| 99热国产婷婷| 99超超碰| 大香蕉五月天婷婷| 久久看婷婷| 天天在线天天综合网色| 丁香五月777| 欧美日韩91| 天天插天天日| www开心激情网| 91丨九色丨43老版熟女| 久久码久久无清| www.激情| 大香蕉九九| 国产另类综合| 婷婷黄色五月天在线视频| 日韩无码人妻一区二区| 超碰99热精品在线| 99热免费| www.狠狠| 激情爱爱网站| 夜夜干夜夜操| 久久婷婷激情视频| 六月婷婷网站| 99热 免费| 色色九九五月天 | 久久精品人妻| 99免费视频网| 玖玖爱伊人网| 天天干天天干天天| 99ri在线观看视频| 日本色色网站| 天天激情欧美美女| 欧美日本va| 深爱激情四射| 亚洲成色综合网站免费观看| 五月婷丁香| 丁香五月激情月| 婷婷情色开心五月天99| 开心五月婷婷| 激情五月天网站| 97碰免费视频在线| 成人国产综合| 91色色色18| 深爱激情综合网| 五月开心婷婷| 午夜无码精品色综合久久| 激情丁香婷婷六月天| 六月婷婷久久| 色婷婷丁香综合中文字幕| www.久久99精品| 国产精品久久久久久久久久久久 | 色色色五月婷| 99噜噜| 91人人爽人人操| 色婷婷8| 97精品人人A片免费看| 天天操人人干| 天天日天天舔| 日韩中文字幕| 日韩av免费版| 色欧洲| 狠狠色 综合色区| 99惹精品视频| 五月成人天| 亭亭五月色男人| 另类激情网| 色狠狠色噜噜AV天堂五区消防| 99久久婷婷五月天| 99九九精品| 色色综合网络| 丁香五月婷婷亚洲色图| 9久久精品| av在线激情| 五月婷啪| 大香网伊人久久综合| www.激情| 怡春院天天干| 亚洲无码成人| 五月激情丁香久久综合网| jiujiu热在线视频| 少妇口诉沐足视频播放器网址| 五月丁香六月婷婷免费| 色在线视频网2025| 五月色丁香| 久/久精品99看9| 噜噜视频| 婷婷中文字幕欧美| 久久激情天堂| 亚洲另类婷婷五月丁香在线播放| 丁香激情六月天婷婷| 99热视精品| 五月婷婷香| 97干综合网| 久热九九| 夜夜操天天爽| 久热99热| 国产美女无遮挡裸体毛片A片 | 色婷婷五月综合在线| 婷婷金品综合视频| 秋霞av吧| 综合久久综合久久| 天天综合天天玩夜夜玩天天玩夜夜玩 | 99视频在线精品| 五月天激情四射| 天天操天天插| 91丨九色|PRNY熟妇| 97人人草| 婷婷丁香五月综合网上| 色五月激情| 国产午夜伦鲁鲁| 手机在线视频观看9| 久久婷婷91| 日日日日做夜夜夜夜无码| 亚洲综合狠狠艹| 狼人婷婷综合| 极品人妻VIDEOSSS人妻| 久久9热| 激情99。| 无码色| 五月综合激情婷婷六月色窝| 亚洲xx网| 99视频精品全部免费观看| 狠狠操狠狠操AV| 色综合天天| 中文字幕丰满乱孑伦无码专区 | 久热婷婷| 综合爱久久| XXXX岛国| 久久久91| 久久日曰| WwW天天干| www,色婷婷| 中文字幕无码AV| AV操逼网| 天天干狠狠| 久色激情| 99热国内精品| 色婷婷婷婷| 色婷婷狠狠| 91 原创 在线 九色| 色播五月丁香婷婷| 色五月婷婷丁香五月| 激情五月天情色| www.夜夜操.con| 五月天婷婷免费视频| 国产AV一区二区三区日韩| 操日视频| 五月天婷婷成人| 五月丁香综合网| 免费看片在线观看| 9这里只有精品| 婷婷激情综合| 婷婷丁香五月激情密臀av| 五月丁香网中文字幕| 激情五月激情综合网| 六月婷婷五月丁香| 婷婷91| 另类激情首页| 97伦乱| 免费视频舔| 婷婷丁香五月综合| 噜啊噜在线| 亚洲人人操| 国产性爱一级| 激情五月天婷婷丁香 | 成人短视频在线观看| 99热碰碰| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 日本的α片xxxwww| 99热亚洲| 激情五月天情色| 色婷丨日丨天丨综合久久| 五月激情综合网| 久久青青日本视频| 五月丁香五月婷婷在线观看| 99综合网| 99热99热在线观看| 婷婷色播婷婷| 色愛综合网| 天天综合五月| 9有码中文| 色色色色色色色色网站| 色青青电影色五月| www.久久五月天.com| 99re热视频这里只精品| 久久综合九九| 99这里有精品| 成人久久天天x资源站| www.久久久久| 97精品综合| 五月天开心色情网| 五月天色色色| 色色色综合| 久久久久妻| 97影院一级片| www.五月婷婷久久.com| 激情五月天婷婷| 91九色中文字幕女在线观看| 99热国产| 九九热只有精品6| 五月丁香色色网| 五月丁香六月在线欧美| 第九色区av天堂| 亚洲 激情 中文| 中字幕视频在线永久在线观看免费 | 丁香五月婷婷综合激情哟哟哟| 99福利视频| tingtingcaobi| 五月中旬婷婷丁香六| 免费视频1区| 色操b| 婷婷九九色| 色99欧洲色19| 色婷久九| 超碰成人免费| 开心五月婷婷在线| 天天色99| 亚洲色热| 九色色| 五月婷婷 自拍| 99热一区| 九九热这里只有精品首页| 大香蕉九九| 日撸夜撸日操| www.sebowuyue| 久久久激情| 亚洲激情在线| 玖玖99婷婷| www.婷婷五月天| 色色色干| AV片在线观看| 91精品国产99久久久久久天美| 91精品久久久久久久久| 色色丁香五月天社区| 五月天久久网站| wuyuedingxiang99| 五月天偷拍| yellow视频在线观看91| 午夜爱爱网站| 激情亭亭五月| 日韩 欧美 国产 一区 二区| 大香蕉久| 深爱五月月天| 成人丁香| 91Chinese在线| 丁香五月婷婷色| 草综合网| 亚洲av骚货| 超碰在线观看9| 五月婷婷色影院| 熟女少妇内射日韩亚洲| 日本色天堂| 婷婷五月色综合香五月| 五月激情久久综合网| 五月丁香影院| 日日噜狠狠| 激情丁香五月天图片| 婷婷五月天激情文学| 蜜桃成语时李时珍 免费| a毛片二逼wwwwwwwwww| 久久这里只有精品1| 亚洲av成人在线| 亚洲av电影网站| 久热婷婷| 中文AV网| av免费在线网站| 久久久五月五丁香| 久re在线| 天天天天干| 99激情| 性爱网六月丁香| 99精在线| 五月四色激情| 丁香五月冃欧美| 欧类av怡春院| 丁香五月五婷| 超碰v| 色综合色欲综合天天免费| 六月婷婷综合| 久久精品63| 色五月激情| 91啦丨九色丨刺激中文| 橾逼网| 色色热日| 日韩在线视频中文字幕| 色情久久久| 婷婷午夜精品久久久| 亚洲婷婷久久综合| 欧美在线干| 欧美99视频| 色婷婷五月天成人网| 免费观看2018www黄色操逼网站| 天天 青草 丝袜制服 在线| 99色色| 五月天色婷婷伊人网| 色婷婷性爱网| 婷婷噜噜| 大香蕉婷婷丁香天堂AV| 久久这里只有精品久久| 婷婷六月天| 色婷婷五月天激情综合| 欧美伊人9| 国产精品美女| 欧美日韩成人高清在线| 99啪啪| 色综合色婷婷色伊人| 伊人久久艹| 亚洲九九在线| 国产精品视频免费看| 99综合| 99热网站在线观看| 六月激情网| aa久久| 丁香婷婷六月激情| 婷婷5月久久综合网站| www.狠狠操| 久久99成人性爱高清视频| 色综合中文色综合网| 影音先锋男人av资源站| 中国丰满熟女A片免费观| 成人在线日韩欧美| 五月综合婷婷五月| 久久99热只有精品| 激情五月综合网丁| 色色网站在线| 婷婷五月永远18免费久久久| www.色五月.com| 日本色色影片| 国产97色在线| 夜夜骑天天玩天天日| 激情五月综合网| 日本一区二区三区精品视频| 久久丁香五月| 五月天com| 伊人在线婷婷草| 国产日批视频免费播放| 久热中文字幕| 亚洲成人精品三区| www.9色色色| 成人在线99| 五月亭亭网成人在线视频| 激情丰满熟妇五月| 91视屏在线观看com.wwwvv| 日本在线99| 丁香五月婷婷天激情| 五月丁香六月激情综合| 五月丁香成人网| 啪啪婷婷五月天激情| 亚洲综合婷婷六月丁香五月| 五月丁花色综合网| 99欧美| 色婷婷AⅤ| 五月婷丁香久久综合| 99久久超级| 色色色综合网| 99色在线| 97人人草| 天天干一干| 狠狠色狠狠| 亚洲丁香五月在线观看| 丁香五月停停av| 中文字幕丰满乱孑伦无码专区| 深爱激情六月天| 色色a| 99re在线精品视频| 人人摸人人搞| 可以看的av网站| 天天日天天久久青青| 婷婷五月在线视频| 99九九久久| 97caop| 操操综合网婷婷| 91亚洲免费片| 东京热免费视频| 五月天婷五月天综合网在线观| 7月婷婷六月丁香| 色综合色综合婷婷热| 色婷婷视频| 综合激情网| 天天天天天日| 66成人网| 一级性爱视频| 久热伊人| 射婷婷中文字幕| www.五月婷婷.com| 五月婷婷中文| 伊人激情| 天天操天天插| 日日操夜夜操中国无码| 婷婷五月天六点丁香五月| 热九九在线| 99热无码| 丁香五月婷婷啪| 涩五月婷婷| 五月天丁香久久综合| 亚洲人人艹| 日韩在线成人电影| 精品99视频| 丁香狠狠干| 亚洲免费视频网站| 婷婷丁香视频在线观看免费 | 五月婷婷色综图片| 播五月丁香六月| 国产婷婷五月色情综合| 狠狠爱综合网| 久久丁香社| 啪啪激情网| 色婷婷久久综合久色| 开心日韩丁香婷婷五月| 啪啪五月天啪啪| 66成人网| 日本黄色一级| 日本久久人人| 五月婷婷六月丁香在线视频免费在线观看| 精品国产一区二区三区四区阿崩| 91精品婷婷国产综合久久| WWW、日本色丁香co m| 99热综合色图| 91在线观看九区| 久热这里只有精品3| 色五月第四色| 日韩精品AV一区二区三区| 久久五月婷婷丁香| 亚洲精品在线视频| Aaa久久| 人人操日| 四月婷婷五月丁香| 久艹伊| 99re这里有精品手机在线| 99热这里全都是精品| 手机在线视频观看9| 亚洲一区二区无码蜜乳av| 五月婷婷片| 婷婷丁香五月色偷偷| 亚洲一个色| 婷婷丁香五月高清| 屁股翘好撅高迎合跪趴| 大香蕉综合| cc精品国产性传播| 丁香五月天AV在线| 久久五月天影院| 六月色国内综合| 欧美色六月婷婷| 婷婷五月大香蕉| 色婷婷影| 婷婷五月天小说| 色噜噜狠狠色综合日日| 婷婷色色五月天| 丁香五月AV在线| 天天天天天色| 久久婷婷五月综合色丁香花| 五月激情网综合| 五月婷婷丁香日韩在线| 79亚洲精品少妇| 99色在线| 婷婷久久丁香五月| 亚洲欧洲国产精品| 开心五月婷婷六月丁香| 日本性视频| 亚洲六月色婷婷| 婷婷五月丁香91| 99操逼| 狠狠色官网| 99ER热精品视频| 色婷婷丁香AV综合| 在线色婷婷| 天天婷婷综合| 国产特级毛片AAAAAAA高清| 五月天色婷好好| 人妻久久久| 99热免费精品热久久66| 日韩在线看AV| 丁香六月久久| 国产精品电影| 五月婷婷碰碰| 99色| 婷婷精品在线| 99cao婷婷| 在线观看婷婷5月| 欧美日韩成人在线网| 婷婷色五月天在线| 这里只有精品视频222| 五月天开心色色网| 久久五月天婷婷| 激情五月婷婷综合网| 任你干aa| 五月婷婷激情五月| 综合久久五月天| 婷婷色日本| 在线另类视频| 九九日伊人| 99激情| 99超在线| 国产婷婷综合| 夜精品无码A片一区二区蜜桃| 99热这里只有精品2024| 天天久久狠狠色综合| 婷婷干六月综合旧址| 日日干天天爽| av操一操| 五月亭亭六月色| 色色婷婷婷丁香五月天| 八戒青柠影视剧在线观看| 天天操夜夜爽| 91九色精品熟女内射| 玖玖婷婷五月天| 亚洲 无码 中文字幕 中出| 大香蕉av在线| 日本黄色在线观看| 九九99九九精品视频| 97人人操人人干| 婷婷六月天| 中文字幕丰满乱孑伦无码专区| www.cao.com久久| 91精品久久久久久77777| 99综合一区| 婷婷第六色| 欧美日本韩国亚洲| 婷婷五月色| www.久久爱.com| 天天透天天爱| 丁香五月婷婷色偷偷| 天天做 天天爱| 超碰成人公开| 午夜天堂一区人妻| 伊人综合网站| 久久久久久久人妻| 亚洲人妻av| 丁香婷婷五月基地| 丁香五月六月激情| 丁香婷婷深情五月亚洲| 99精品视频网站| 色人妻五月| 亚洲色色色色色色色色色| 欧美乱码国产一级A片| 亚洲人操亚洲人| 五月婷综合| 婷婷伊人久久| 天天免费成年人视频| 99er日韩| 激情五月天激情网| 五月丁香啪啪激情| 丁香五月五月婷婷五月天激情四射| 俺去也在线视频| 色永久| 久婷婷色| 天天射美女| 婷婷五月天AV在线| 91干| 五月天成人综合| 日韩野外 无套| 996黄色片| 中文在线成人| 久久亚洲A| 丁香五月宝贝激情网| 五月激情综合激情五月| 天天插天天爱| 成人在线日韩| 好吊兆人妻| 日本婷久久| 激情久久综合网| 超碰chaompinm| 亚洲视频在线观看| 9999热在线| 99热在线精品播放| 夜夜操天天爽| 婷婷的99视频网站| 国产午夜精品AV一区二区麻豆| 五月婷婷香| 狠狠色综合网| 激情五月天婷婷色色色色色色色色色色色 | 天天激情站| 噜噜在线| 嫩草视频在线观看| 色婷婷在线综合色播网| 日韩欧美骚货| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 五月天.com| 国产色色网址网站| 深爱1激情网| 可以看的av| 丁香六月亭亭久久综合| 来吧亚洲综合网| 天天日色情| 91成人视频| 99热这里只有精品国产首页| 99aese| 日本啪啪天堂| av超碰在线| 五月天成人在线精品| 五月婷婷av| 九九偷拍网| 99热99免费| 亚洲无码99| 久久人人超| 任我干视频在线观看| 中文字幕在线不卡| 狠狠草狠狠草| 国产片XXXXA片国语对白| 婷婷丁香综合| 五月婷婷中文| 久久五月天激情| 最近中文字幕在线中文视频| 久久婷婷五月综合97色一本| 综合在线色婷婷| 婷婷婷婷婷开心无码播放| 五月天精品| 九月婷婷在线观看| 色五月婷婷天天干| 桃色五月天| 强奸幻女毛片| 日日综合网| 99精品偷自拍| 激情综合区| www婷婷| 婷婷玖玖五月天| 大学生高潮无套内谢视频| 在线99精品| 丁香五月天AV在线| 色综合九九| 九艹在线| 亚州精品成人片| 天天插天天插天天操| 婷婷 丁香 精品| 久久久性爱网| 亚洲AV成人在线| 日韩一区二区在线播放| 五月丁香六月婷| 亚洲无码成人性爰网| 婷婷五月天丁香综合网| 韩国婷婷丁香五月| 久热在线中文字幕色999舞| 婷婷色系婷色| 色婷婷亚洲精品天天综| 婷婷五月天大香蕉在线视频观看| 天天爽天天| 九九99在线视频| 丁香五月激情综合啪啪| 中文字幕在线视频播放| 69色婷婷| 91狠狠综合久久久| 精品日本视频444| 5月婷婷激情网| 996黄色片| 99热亚洲| 丁香六月亚洲| .青娱乐天天操B| 国产欧美日韩性爱| 91九色国产| 中文不卡一二区| 99噜噜| 开心激情婷婷| 日本色五月婷婷| 亚洲中文字幕在线电影| 色综合久久中文| 人人操AV| 手机在线视频观看9| 99在线精品观看99| 亚洲精品性色| 99激情在线| 丁香色婷婷五月天| 五月婷婷免费看| 国产成人+综合亚洲+天堂| 俺去也综合| 激情综合网激情五月网| WWW嗯嗯啊啊啊啊| 五月丁香免费看| 91丁香色| 色偷偷五月天| 91碰碰碰| 色色综合网。| 色五月婷婷久久| 无码人妻一区| 国产亚洲99| 国产精品视频免费看| 黑人糟蹋人妻HD中文字幕| 亚洲综合色网站| 婷婷久月| 婷婷精品在线| 精品无码久久久久久久久| 日日色综合| 99热精品无码| 综合五月天天天天天五月| 加勒比久热| 熟妇人妻中文字幕无码老熟妇| 婷婷六月天| 五月丁香六月色| 99色爱| 欧美综合丁香网| jiujiujiuwuyuetian| 99九九中文字幕视频| 无码碰碰| 91婷婷搞| www色婷婷| 天天噜| 婷婷成人网五月天| 99热在这里只有精品| 66久久视频在线| 国产ava| 亚洲V国产V欧美V久久久久久| 天天爽天天爽| 色色色五月婷婷| 91日本在线观看| 九久久精品视频99| 色爱99| 色婷九九九| 一本九九色| 性综合网| 亚州操人在线视频| 色伊人婷婷| 综合久久久| 色婷婷六月综合| 九九热这里只有国产精品| 丁香色综合| 日韩有码一区| 欧美在线视频免费播放| 99综合视频在线| 婷丁香久综合| 五月开心深爱激情网| 亚洲亚洲永久无码777777| 婷婷六月激情在线视频| 月婷婷婷婷五月| 成人超碰Av| 九九热精品| 五月婷婷五月| 97视频91| 久久久大香蕉| 99热这里是精品| 五月丁香啪啪综合网| 夜夜操天天干| 六月色婷婷综合影视| 91丨九色丨白浆秘| 色综合夜夜| 97爱综合| 久久激情视频| 国产xxxxx在线观看| 色婷婷4| 婷婷免费无视频| 亚洲成人va| 日本在线视频播放91| http://www.sd-xiangsu.com/| 五月婷婷 激情五月| 欧美色爱五月天| 婷婷丁香五月综合| 一二线视频 另类| 色五月天丁香婷婷| 天天肏夜夜肏| 五月激情偷拍| 五月丁香婷婷综合| 婷婷五月丁香综合激情| 97人人操人人| 激情色色| 丁香久月| 亚洲bt丁香五月天婷婷激情小说| 无码任你操| 亚洲黄色操逼| 99在线播放视频| 激情五月天婷婷五月天| 丁香综合婷婷五月天| 久久免费精彩视频| 五月天社区婷婷| 色五月激情五月丁香五月婷婷啪啪综合| 色色a| 综合久久六月| 激情网开心网| 另类小说五月天| 亚洲狠狠爱婷婷| 五月丁香五月丁香| 五月丁香激情四射| 日韩欧美成人片| 噜噜狠狠色综合久| 七七色综合| 丁香伊人综合| 色婷婷六月| 久久久9久| 成 久久| 天天爱天天操| 99视频在线看| 热热久久99| 午夜]香婷婷深深爱| 很很干五月天| 91女人18毛片水多国产| 久久成人精品视频| 99人人看| 久久精品视频在这里有| 99热老网站| 成片免费观看大全| 国产婷婷五月天| 九色PORNY自拍成人精彩视频| 婷婷九月激情| 五月婷婷六月激情在线| 无码少妇高潮喷水A片免费| 成人精品一区二区三区四区五区 | 再次出发二| 亚洲操人| VA国产在线综合网站| 思思99热| 婷婷开心激情综合五月天| 中国操逼99| oumeisesewang| 色五月综合网站| 五月婷婷我| 亚洲超级碰| 26uuu精品国产| 99亚洲综合| 九九伦子片| 久久综合五月天| 五月天丁香综合在线| 激情五月少妇| 色色五月天丁香| 五月亭亭直播| 五月婷婷视频啪啪美女| 一本婷婷丁香久久| 色婷婷欧美在线| 超碰日韩人妻在线| 天天狠狠干| 人妻22p| 538在线精品| 婷婷五月天偷拍| 国产欧美日韩性爱| 97精品人人A片免费看| 亚洲婷婷六月天| 97色图片中文字幕视频在线观看| 99热9999| 五月欧美色色五月| 亚洲无线视频| 婷婷字幕在线| 激情五月丁香五月| 操逼棍操逼| 亚洲人成网站999久久久综合| 丁香六月综合激情| 97人操| 九九精品免费| 久久久无码精品成人A片小说| 青青草原亚洲天堂| 日hao1区| 亚洲图色五月天| 午夜天堂一区人妻| 色婷婷五月天不卡| 久久久久久久久久8888| 97色婷婷在线观看| 国产女人十八水真多1| 久久在线视频免费观看| 婷婷五月丁香六月| 五月天艹天天| 亚洲色色图片| 五月天婷婷色综合| 久久婷婷原创视频| 四川BBB搡BBB搡多人乱亂| 国产精品久久在线观看技巧| 超碰人人99| 麻豆AV一区二区三区| 丁香五月婷婷视频| 五月天婷婷导航| 色综合久久天天综合网| 91久草五月天婷婷| 超极99精品| 五月激情婷婷综合| 日本一毛片| 成人五月天视频| 五月婷婷丁香六月在线| 99久久精彩视频。| 婷婷色色色| 少妇人妻丰满做爰XXX| 99热最新| 婷婷五月成人| 伊人丁香六月婷婷| 夜夜夜天天操| 97色色色| 激情五月婷婷啪啪| 五月婷六月| 伊人久久婷婷| 91互操| 久久九九经典| 99日视频在线| 99re欧美精品| 一起草日本| 婷婷丁香社区| 哇嘎成人久久| 亚洲sesesese| renrencaoni| 五月婷婷久久开心网| 99色婷婷| 9久精品| 野外99热| 久久久亚洲成人无码A片| PORNY九色9l自拍视频成人| 亚洲第一黄网| 99er6| 日韩色五月| 五月婷丁香| 亚洲精品V天堂中文字幕| 丁香五月偷拍| 丁香五月之久操视频| 色六月 婷婷| 亚洲图色五月天| 久久综合首页| 色色色综合色| 九九免费精品在线视频| 色五月婷婷亚洲| 色色五月婷| 丁香五月之久操视频| 91久久网站| 超碰人人摸人人操| 五月婷婷六月激情| 91色在线/日韩| 狠狠色狠狠色综合日日91| 五月天婷婷丁香社区| 99精彩视频| 久久久噜噜噜操操操| se.久久视频在线观看| 天天做天天要天天爱| 99热日本| WWW.激情| 国产色99| 高清无码入口| 成人国产欧美大片一区| 色婷婷激情五月天| 激情网战码亚洲A| 热这里| 久9无码视频| 五月天丁香看婷婷| 久久九九激情五月天 | 色五月丁香总合网| 狠狠干狠狠色| 天天摸夜夜爽天天做| 丁香九月婷婷综合| 九九色婷婷五月天| 99久久五月婷婷| 色婷婷五月天中文字幕| 亚美欧色影院| 亚洲欧美一区二区三区四区爱爱动图| www.射伊蕉婷婷| 亚洲中文字幕在线观看| 99热在线爱| 久色婷婷200| 欧美人人草草| 开心五月综合激情综合五月| 婷婷成人五月天成人文学| 亚洲欧美婷婷五月色综合| 人妻无码精品一区| 五月婷婷色播| 91视频综合网| 色五月色图| 天天色五月婷婷91久久久久久久| wWwCom夜操wwW| 免费亚洲婷婷| aaa丁香五月天| 亚洲综合婷婷| 超级碰碰碰碰视频| 五月丁香六月婷婷亚洲综合| 9色小视频在线观看| 婷婷五月天AV网| 三级三久久线久久99久目本WW| 久久草大香蕉| 涩涩五月天| 色婷婷综合成人| 色五月六月婷婷| 激情婷婷22月间| 伊人天天色| 超碰啪啪网| 91超碰在线观看| 亚洲欧洲另类| 深爱五月激情网| 97干视频| 强奸幻女毛片| 97成人操| 高清无码 一区 二区 三区| 久久92| 久久色情| 五月天狠狠| 大香蕉久久伊人婷婷五月丁香| 九月婷婷综合| 久久婷婷五月草视频在线播放| 免费视频WWW在线观看网站| 婷婷五月天亚洲图片| 久热丁香| 久久综合婷婷| 伊人色综合影院视频| 少妇达人正片在线播放_ikun_福利吧| 午夜天堂啪啪| 色99热| 婷婷丁香五月天操逼| 91操色| 婷婷五月色综合香五月| 婷婷丁香色无五月| 五月婷六月| 成人婷婷桔色| 人妻丰满精品一区二区A片| 人人草开心五月天| 日韩肏屄网| 五月丁香婷婷基地| 久婷婷五月综合欧美| 五月婷婷丁香五月| 丁香桃色网| 五夜丁香| 爱99干99| 久久久精品色色色| 亚洲小视频免费看| 国产探花一片区| 综合色五月天| 成人五月天在线视频在线观看 | 开心婷婷五月激情网小说 | 色吧五月| 色综合中文| 夜夜夜夜操| 国产老熟妇亲子乱对白| 欧美性生交xXxX久久久| 色婷婷丁香五月天| 五月亭亭网成人在线视频| 亚洲美女高潮久久久久久69| 色一色综合| 91超碰在线观看| 99精品视频播放| 成人做爰高潮A片免费视频| 开心五月婷婷在线| 色婷婷av在线| 婷香狠狠爱五月| 丁香狠狠色婷婷久久无码视频| 开心激情婷婷| 久久久久婷婷五月热综合| 亚洲av网站| 97涩婷婷| 97色婷婷| 国产一二三四五六七八视频| 五月丁香婷婷啪啪网| 美女久久婷婷| 99热免| 久久综合爱| 亚洲AV另类| 91男同视频| 120分钟婬片免费看| 日日干夜夜干| www.五月天色色.com| 另类 在线| 欧美日韩大黄| 五月婷婷天堂|