欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

pywebcopy離線歸檔與整站鏡像實(shí)戰(zhàn):參數(shù)、避坑與校驗(yàn)

pywebcopy離線歸檔與整站鏡像實(shí)戰(zhàn):參數(shù)、避坑與校驗(yàn) 簡介pywebcopy 是一個(gè)用 Python 編寫的網(wǎng)頁抓取與歸檔庫面向需要保存完整網(wǎng)頁或整站鏡像的開發(fā)者、爬蟲學(xué)習(xí)者和資料歸檔人員解決頁面樣式、腳本、圖片等靜態(tài)資產(chǎn)分散、離線閱讀不便的問題。壓縮包共 32 個(gè)文件約 65KB以 19 個(gè) py 源碼模塊為核心輔以 8 個(gè) md 說明文檔、2 個(gè) yml 配置文件及 requirements、許可證等輔助文件便于閱讀實(shí)現(xiàn)、運(yùn)行示例和二次開發(fā)。已有 570 人學(xué)習(xí)或下載。它支持一次調(diào)用保存包含 CSS、JS 和圖像的網(wǎng)頁也可克隆完整網(wǎng)站并重新映射資產(chǎn)與鏈接代碼中涵蓋爬蟲、解析、API、頁面結(jié)構(gòu)與配置等模塊并強(qiáng)調(diào)遵循 robots.txt提供直接 API 與子類擴(kuò)展方式。對(duì)鏡像過程中的資源下載、鏈接重寫和配置管理有較清晰的組織適合用來理解站點(diǎn)鏡像流程、搭建離線歸檔腳本或進(jìn)行定制化抓取實(shí)踐。1. 一個(gè)離線歸檔需求把 pywebcopy 推到了臺(tái)前上周有位做前端的朋友找我一套已經(jīng)下線的活動(dòng)頁要原樣搬到內(nèi)網(wǎng)讓審核同事在沒網(wǎng)的環(huán)境里點(diǎn)開就能看。瀏覽器右鍵「另存為」最省事但一個(gè)頁面三十多張圖存下來的 HTML 里引用全被改成了本地絕對(duì)路徑換個(gè)目錄就裂碰上帶查詢串的 CDN 圖片文件名還會(huì)互相覆蓋最后只剩一張。這類活兒的正解是寫幾行 Python而 pywebcopy 就是專門干這個(gè)的庫——它把鏡像網(wǎng)頁和網(wǎng)站拆成「抓 HTML、找依賴、下載資源、改寫引用」四步最后落盤成一個(gè)雙擊就能打開的目錄。它適合做內(nèi)容歸檔、離線演示、設(shè)計(jì)參考站快照的從業(yè)者不適合直接拿來對(duì)付需要登錄態(tài)或者純 JS 渲染的站點(diǎn)這條邊界后面會(huì)反復(fù)提到。2. 最小閉環(huán)從 pip 到一份能雙擊打開的離線頁面先把單頁跑通再談?wù)尽:芏嗳松蟻砭蛃ave_website一個(gè)域名結(jié)果跑了兩小時(shí)抓回來一堆日歷頁和搜索結(jié)果頁磁盤漲了十幾個(gè) G真正想要的正文目錄反而沒抓全。單頁驗(yàn)證能讓你在十分鐘內(nèi)看清產(chǎn)物結(jié)構(gòu)知道資源落在哪、引用被改成什么樣后面出問題才有對(duì)照。2.1 它憑什么能把頁面拆開再裝回去pywebcopy 的內(nèi)部流程大致分三層。第一層是請(qǐng)求層用一個(gè)會(huì)話對(duì)象去拿 HTML帶上常規(guī)的 User-Agent 和超時(shí)第二層是解析層把 HTML 丟給解析器遍歷link[relstylesheet]、script[src]、img[src]、source[srcset]這些節(jié)點(diǎn)把所有外部引用收集成一張資源清單CSS 文件還會(huì)再進(jìn)去掃一遍url(...)和import第三層是改寫層資源逐個(gè)下載到本地同時(shí)把 HTML 里的絕對(duì) URL 替換成相對(duì)路徑。理解這個(gè)三層結(jié)構(gòu)很關(guān)鍵因?yàn)樗鼪Q定了失敗長什么樣。如果是請(qǐng)求層掛了你會(huì)看到ConnectionError或者 403如果是解析層漏了表現(xiàn)是「頁面能打開但某類資源沒有」比如字體文件全丟如果是改寫層出錯(cuò)表現(xiàn)是文件明明下載下來了但 HTML 里指向的還是外網(wǎng)地址離線打開一片空白。排查時(shí)先定位在哪一層比盲目加參數(shù)有用得多。還有一個(gè)容易忽略的點(diǎn)它改寫的是「引用」不是「內(nèi)容」。CSS 文件里如果嵌套了三層import或者 JS 里動(dòng)態(tài)拼了一個(gè)圖片路徑這些都不在靜態(tài)解析的射程內(nèi)。這不是缺陷是靜態(tài)抓取的天然邊界后面第 4 章會(huì)給出補(bǔ)刀方案。2.2 裝好環(huán)境跑通第一次 save_webpage建議單獨(dú)開一個(gè)虛擬環(huán)境因?yàn)?pywebcopy 會(huì)拉進(jìn) requests、beautifulsoup4、lxml 這一串依賴混在系統(tǒng)環(huán)境里容易和別的項(xiàng)目打架。python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate pip install pywebcopy python -c import pywebcopy; print(pywebcopy.__file__)最后一行能打印出安裝路徑說明導(dǎo)入沒問題。接下來是最小調(diào)用把目標(biāo)地址、產(chǎn)物根目錄、任務(wù)名三個(gè)東西給齊就行from pywebcopy import save_webpage # 單頁歸檔抓目標(biāo)頁本身和它引用的 css / js / 圖片 save_webpage( urlhttps://demo-site.test/blog/2024/activity.html, project_folder./mirror, # 產(chǎn)物根目錄不存在會(huì)自動(dòng)創(chuàng)建 project_nameactivity_2024, # 本次任務(wù)的子目錄名相當(dāng)于任務(wù) ID overwriteTrue, # 同名任務(wù)目錄已存在時(shí)整個(gè)覆蓋 delay0.3, # 每次請(qǐng)求之間的間隔單位秒 )這段代碼里url必須帶完整 scheme只寫域名會(huì)直接拋異常project_folder和project_name拼起來才是最終落在磁盤上的任務(wù)目錄所以project_name別隨便起建議用「日期 頁面 slug」方便日后回溯overwriteTrue在調(diào)試期很省心但它會(huì)刪掉整個(gè)舊目錄重來一旦你把它設(shè)成某個(gè)已經(jīng)歸檔好的歷史任務(wù)名之前的產(chǎn)物就沒了。歸檔場景下我一般設(shè)成False看到目錄已存在的報(bào)錯(cuò)反而說明沒誤傷。跑完之后先別急著驗(yàn)收用tree看一眼結(jié)構(gòu)比任何文檔都直觀tree -L 3 ./mirror/activity_2024 | head -402.3 產(chǎn)物目錄里到底落了什么不同版本在子目錄命名上會(huì)有些差異但骨架是一致的HTML 按 URL 的 path 映射成目錄層級(jí)資源集中落在頁面同級(jí)或子級(jí)的資源目錄里。第一次跑完建議對(duì)照下面這張表逐個(gè)確認(rèn)缺哪一類就說明哪一層的解析漏了。路徑 / 文件內(nèi)容驗(yàn)收要點(diǎn)project_folder/project_name/任務(wù)根目錄每次調(diào)用生成一個(gè)命名要可回溯與 URL path 對(duì)應(yīng)的.html頁面主體打開后正文應(yīng)完整不依賴網(wǎng)絡(luò)資源子目錄css / js / 字體 / 圖片目錄名隨版本略有差異以實(shí)際產(chǎn)物為準(zhǔn)HTML 內(nèi)的引用屬性已改寫成相對(duì)路徑用編輯器搜索https://應(yīng)基本清空原始 HTML 備份部分版本改寫前的副本有的話留著出問題能對(duì)比驗(yàn)收動(dòng)作可以很簡單把網(wǎng)線拔了雙擊那個(gè) HTML看三件事——正文在不在、樣式對(duì)不對(duì)、圖片裂沒裂。三樣都過單頁這條鏈路就算通了。有一樣不過回到 2.1 的三層模型去定位。2.4 三個(gè)必須先定下來的參數(shù)單頁場景真正需要調(diào)的參數(shù)不多但下面這幾個(gè)一旦定錯(cuò)后面整站鏡像會(huì)放大成災(zāi)難。參數(shù)默認(rèn)值作用我一般怎么定project_folder當(dāng)前目錄產(chǎn)物根目錄掛到獨(dú)立數(shù)據(jù)盤別放代碼倉庫里project_name按 URL 生成本次任務(wù)子目錄日期_slug歸檔場景絕不復(fù)用overwriteFalse同名任務(wù)是否覆蓋調(diào)試True正式歸檔Falsedelay0請(qǐng)求間隔秒目標(biāo)站有頻控就調(diào)到 0.51.0threadedFalse是否多線程下載單頁無所謂整站建議關(guān)zip_projectFalse抓完是否打包成 zip需要交付單個(gè)文件時(shí)開delay這個(gè)參數(shù)值得單獨(dú)說一句。它控制的是每次請(qǐng)求之間的等待看起來不起眼但在整站鏡像里是決定你會(huì)不會(huì)被目標(biāo)站限流的關(guān)鍵。很多人第一次跑整站就把delay設(shè)成 0、threaded開成 True結(jié)果前兩百個(gè)請(qǐng)求很順第三百個(gè)開始全變 429后面抓回來的全是錯(cuò)誤頁還得清空重來。3. 整站鏡像max_depth 與域名邊界決定你抓到的是站點(diǎn)還是垃圾場單頁跑通之后save_website的誘惑很大——一行調(diào)用抓一整個(gè)站。但整站鏡像的本質(zhì)是「從一個(gè)入口出發(fā)做廣度優(yōu)先遍歷」你不畫邊界它就會(huì)順著分頁、日歷、標(biāo)簽、搜索參數(shù)一路爬下去最后抓回來的東西和你想歸檔的內(nèi)容可能只重合三成。這一章講的就是怎么畫這個(gè)邊界。3.1 save_website 和 save_webpage 的差別不在抓多抓少兩者真正的差別在于「有沒有 URL 隊(duì)列」。save_webpage是一次性的解析當(dāng)前頁、下載依賴、改寫、結(jié)束不關(guān)心頁面里指向的其他 HTML。save_website維護(hù)一個(gè)待抓隊(duì)列每抓到一個(gè) HTML 就從中提取站內(nèi)鏈接判斷是否在白名單內(nèi)、是否超過深度、是否命中黑名單通過了才入隊(duì)。這個(gè)機(jī)制帶來兩個(gè)直接后果。第一深度是相對(duì)入口頁計(jì)算的入口頁算第 0 層它鏈出去的算第 1 層max_depth3意味著最多跟三層再深的頁面不會(huì)被抓。第二去重完全依賴 URL 字符串同一個(gè)頁面如果有?fromhome和?fromlist兩個(gè)入口會(huì)被當(dāng)成兩個(gè)不同頁面各抓一遍產(chǎn)物里出現(xiàn)兩份內(nèi)容相同、路徑不同的 HTML。這一點(diǎn)在 CMS 站點(diǎn)上特別常見。所以整站鏡像的第一件事不是調(diào)深度而是想清楚「哪些 URL 形態(tài)是同一個(gè)頁面的不同馬甲」把它們?nèi)M(jìn)黑名單。3.2 用 allowed_domains 和 blacklist_urls 畫一個(gè)抓取圍欄下面這份調(diào)用是我在歸檔一個(gè)內(nèi)容站時(shí)的常用配置注釋寫得比較細(xì)可以直接照著改from pywebcopy import save_website save_website( urlhttps://demo-site.test/, project_folder./mirror, project_namedemo_site_full, # 從入口算起最多跟三層再深基本是分頁和日歷價(jià)值低且量大 max_depth3, # 域名白名單寫域名不寫 URL子域要單獨(dú)列出來 allowed_domains[demo-site.test, static.demo-site.test], # 正則黑名單注意把點(diǎn)號(hào)轉(zhuǎn)義否則 . 會(huì)匹配任意字符 blacklist_urls[ rdemo-site\.test/logout, rdemo-site\.test/search\?, rdemo-site\.test/calendar/, rdemo-site\.test/tag/, r\.(zip|pdf|mp4|iso)$, # 大文件先排除避免把磁盤打滿 ], delay1.0, # 一秒一個(gè)請(qǐng)求禮貌且不容易被限流 threadedFalse, # 大站關(guān)掉多線程隊(duì)列順序更可控 overwriteFalse, )allowed_domains是一個(gè)常見翻車點(diǎn)。它的語義是「允許抓取的域名」不包含主域之外的 CDN 域名時(shí)頁面里那些托管在 CDN 上的圖片可能抓不到。穩(wěn)妥做法是先把頁面里的資源域名掃一遍把靜態(tài)資源域也加進(jìn)去。至于資源抓取是否嚴(yán)格受這個(gè)白名單約束不同版本行為有差異所以最終還是要靠產(chǎn)物驗(yàn)收來判斷別把它當(dāng)成鐵律。blacklist_urls用的是正則匹配匹配對(duì)象是完整 URL。寫的時(shí)候把/logout、/search?、/calendar/這幾類先排掉能省掉一大半無效請(qǐng)求。帶查詢串的 URL 記得把?也轉(zhuǎn)義進(jìn)去否則只匹配到路徑部分。3.3 delay 和 threaded 的取舍限速比并發(fā)重要整站鏡像最常見的誤區(qū)是把「抓得快」當(dāng)成目標(biāo)。實(shí)際上你真正要的是「抓得全且不重來」而重來的成本遠(yuǎn)高于慢一點(diǎn)的成本。配置組合適用場景風(fēng)險(xiǎn)threadedFalse, delay0.5~1.0絕大多數(shù)整站歸檔慢但產(chǎn)物完整、可復(fù)現(xiàn)threadedFalse, delay0本地起服務(wù)測試對(duì)真實(shí)站點(diǎn)不要這么干threadedTrue, delay1.0大型靜態(tài)站、內(nèi)網(wǎng)環(huán)境隊(duì)列順序亂日志難對(duì)賬threadedTrue, delay0不推薦極易觸發(fā)限流抓到大量錯(cuò)誤頁我自己的習(xí)慣是第一次跑永遠(yuǎn)用單線程加 1 秒間隔先抓個(gè)二三十頁看看產(chǎn)物質(zhì)量和日志確認(rèn)沒問題再?zèng)Q定要不要提速。提速的方式我傾向于「分批跑」而不是「調(diào)高并發(fā)」——把站點(diǎn)按欄目拆成多個(gè)任務(wù)每個(gè)任務(wù)用不同的project_name跑完再合并。這樣任何一個(gè)批次失敗損失都是局部可重跑的。還有一點(diǎn)容易被忽略delay作用的是請(qǐng)求之間的間隔但整站鏡像里有一部分耗時(shí)是資源下載那部分如果不走同一個(gè)限速器實(shí)際壓力可能比你預(yù)期的大。所以跑的時(shí)候盯著目標(biāo)站的響應(yīng)碼看一旦出現(xiàn) 429 或 503 的批量出現(xiàn)立刻停把delay翻倍再繼續(xù)。3.4 robots 與 bypass_robots 的邊界pywebcopy 有一個(gè)bypass_robots參數(shù)含義是抓取時(shí)是否忽略目標(biāo)站的 robots.txt 限制。這個(gè)參數(shù)的默認(rèn)值是False也就是默認(rèn)遵守。我的建議很明確除了你自己擁有或者明確獲得授權(quán)的站點(diǎn)其他場景一律保持默認(rèn)。robots.txt 表達(dá)的是站點(diǎn)運(yùn)營方對(duì)爬蟲的意愿繞過它既可能違反站點(diǎn)條款也會(huì)讓你在對(duì)方日志里變成明顯的異常流量。歸檔公開內(nèi)容時(shí)正確的做法是先看一眼目標(biāo)站的 robots.txt瀏覽器直接訪問/robots.txt就能看確認(rèn)你要抓的路徑不在禁止列表里再按delay限速慢跑。還有一層現(xiàn)實(shí)考慮即便技術(shù)上繞過了對(duì)方一旦識(shí)別出高頻訪問封的是 IP 段你的整個(gè)抓取任務(wù)會(huì)從某一刻起全部返回 403而你已經(jīng)抓下來的半成品還得手工清理。這筆賬怎么算都不劃算。4. 避坑與排查五條用真實(shí)故障換來的記錄這一章里的每一條都是我在不同項(xiàng)目里實(shí)實(shí)在在撞過的。按「現(xiàn)象 → 原因 → 解決」寫方便你對(duì)照自己的報(bào)錯(cuò)直接定位。4.1 頁面能打開但樣式全丟、圖片全裂現(xiàn)象HTML 雙擊能打開正文文字也在但整頁沒有排版控制臺(tái)里一堆 404指向的路徑形如./_internal/xxx/default.css實(shí)際磁盤上沒有這個(gè)文件。原因CSS 文件內(nèi)部的url(...)引用是相對(duì)于 CSS 文件自身位置的不是相對(duì)于 HTML。pywebcopy 在改寫 CSS 內(nèi)容時(shí)如果import形成了多層嵌套或者 CSS 里用了url(../fonts/a.woff2)這種跨級(jí)相對(duì)路徑改寫結(jié)果可能算錯(cuò)基準(zhǔn)目錄導(dǎo)致資源被下載到了另一個(gè)位置而引用路徑指向空處。解決先手工確認(rèn)基準(zhǔn)。打開產(chǎn)物里的 CSS 文件搜索url(看改寫后的路徑再對(duì)照磁盤上資源實(shí)際所在目錄兩者一比對(duì)就知道偏移在哪。如果只是少量文件對(duì)不上寫個(gè)腳本按「CSS 文件所在目錄 引用路徑」把文件挪到正確位置或者反向改寫 CSS 里的路徑import re from pathlib import Path def fix_css_urls(css_file: Path, assets_dir: Path): 把 CSS 里指向不存在文件的 url() 改成指向 assets_dir 下的同名文件 text css_file.read_text(encodingutf-8, errorsignore) def repl(m): ref m.group(1).strip(\) if ref.startswith((data:, http://, https://)): return m.group(0) name Path(ref).name candidate assets_dir / name if candidate.exists(): rel candidate.relative_to(css_file.parent) return furl({rel.as_posix()}) return m.group(0) css_file.write_text(re.sub(rurl\(([^)])\), repl, text), encodingutf-8)這段邏輯的關(guān)鍵是relative_to它算出的是從 CSS 文件所在目錄到資源文件的真實(shí)相對(duì)路徑比手工拼字符串可靠。參數(shù)assets_dir要指向你實(shí)際發(fā)現(xiàn)資源所在的目錄跑之前先find一遍確認(rèn)。4.2 抓回來一片空白HTML 里只有一個(gè)空的掛載點(diǎn)現(xiàn)象產(chǎn)物 HTML 打開是白屏查看源碼只有div idapp/div和幾個(gè) script 標(biāo)簽正文一個(gè)字都沒有。原因目標(biāo)是單頁應(yīng)用正文由 JS 在瀏覽器里渲染出來服務(wù)器返回的原始 HTML 本身就是空的。pywebcopy 拿到的是服務(wù)器響應(yīng)不是渲染后的 DOM所以它抓到的就是那個(gè)空殼。解決在 pywebcopy 之前插一步預(yù)渲染用無頭瀏覽器把頁面跑一遍、拿到渲染后的 HTML再喂給后續(xù)流程。常見做法是from playwright.sync_api import sync_playwright def render_html(url: str, timeout: int 30000) - str: 用無頭瀏覽器拿到 JS 執(zhí)行完之后的 DOM 快照 with sync_playwright() as p: browser p.chromium.launch(headlessTrue) page browser.new_page() # networkidle 表示等網(wǎng)絡(luò)靜默比 load 更適合異步渲染的頁面 page.goto(url, wait_untilnetworkidle, timeouttimeout) html page.content() browser.close() return html拿到html之后有兩條路一是寫入本地臨時(shí)文件起一個(gè)python -m http.server讓 pywebcopy 從這個(gè)本地地址抓這樣資源引用還能正常解析二是自己解析這份 HTML 把資源抓全完全繞開 pywebcopy 的抓取層。前者改動(dòng)小后者可控性強(qiáng)我一般先用前者快速驗(yàn)證。4.3 一批圖片落地后只剩一張文件名互相覆蓋現(xiàn)象頁面引用了logo.png?v1、logo.png?v2、logo.png?v3三個(gè)版本產(chǎn)物目錄里只有一張logo.png頁面上三個(gè)位置顯示的是同一張圖。原因落盤時(shí)文件名通常取自 URL 的 path 部分查詢串被丟掉了。三個(gè) URL 的 path 完全相同自然寫到同一個(gè)文件后寫的覆蓋先寫的。解決抓取前先自己把資源本地化用「path 查詢串哈?!股晌ㄒ晃募膶?HTML 里的引用為相對(duì)路徑然后再讓 pywebcopy 處理頁面。這樣 pywebcopy 看到的已經(jīng)是本地相對(duì)引用不會(huì)再重復(fù)下載也不會(huì)撞名import hashlib, os from urllib.parse import urljoin, urlsplit import requests from bs4 import BeautifulSoup ASSET_ATTRS {img: src, script: src, link: href} def localize_assets(page_url: str, html: str, out_dir: str ./assets) - str: os.makedirs(out_dir, exist_okTrue) soup BeautifulSoup(html, html.parser) for tag, attr in ASSET_ATTRS.items(): for node in soup.find_all(tag): raw node.get(attr) if not raw or raw.startswith(data:): continue abs_url urljoin(page_url, raw) parts urlsplit(abs_url) # 用查詢串的短哈希做文件名后綴保證同 path 不同 query 不撞 digest hashlib.md5(parts.query.encode()).hexdigest()[:8] if parts.query else base os.path.basename(parts.path) or index if digest: stem, dot, ext base.rpartition(.) base f{stem}.{digest}.{ext} if dot else f{base}.{digest} target os.path.join(out_dir, base) if not os.path.exists(target): resp requests.get(abs_url, timeout15) resp.raise_for_status() with open(target, wb) as f: f.write(resp.content) node[attr] os.path.relpath(target, .).replace(os.sep, /) return str(soup)digest只取 8 位沖突概率在單站規(guī)模下可以忽略os.path.relpath算出相對(duì)當(dāng)前工作目錄的路徑所以調(diào)用這個(gè)函數(shù)時(shí)的工作目錄要和后續(xù) pywebcopy 的project_folder保持同一基準(zhǔn)否則改寫出來的相對(duì)路徑會(huì)偏。4.4 中文全是亂碼英文正?,F(xiàn)象抓下來的頁面中文變成???–?這種字符英文和數(shù)字完全正常。原因目標(biāo)站響應(yīng)頭里沒給charset或者給了一個(gè)錯(cuò)誤的默認(rèn)值比如ISO-8859-1而頁面實(shí)際是 GBK 或 UTF-8 編碼。requests 在沒有明確聲明時(shí)會(huì)按 HTTP 規(guī)范回退到 ISO-8859-1解出來就是亂碼。解決抓之前先探一次編碼再?zèng)Q定怎么傳。探測代碼如下import requests resp requests.get(https://demo-site.test/news/legacy.html, timeout10) # 先看響應(yīng)頭聲明再看內(nèi)容推測兩者不一致時(shí)以推測為準(zhǔn) print(declared:, resp.encoding) print(detected:, resp.apparent_encoding)較新版本的 pywebcopy 支持傳入編碼相關(guān)的關(guān)鍵字參數(shù)把探測到的值傳進(jìn)去即可。如果你的版本不認(rèn)這個(gè)參數(shù)退路是先按正確編碼把內(nèi)容寫成臨時(shí) HTML 文件本地起一個(gè) http 服務(wù)讓 pywebcopy 從本地地址抓——本地服務(wù)的響應(yīng)頭你可以完全控制編碼問題就繞過去了。4.5 整站跑到一半卡住內(nèi)存持續(xù)上漲現(xiàn)象任務(wù)跑到幾百個(gè)頁面之后速度明顯變慢進(jìn)程內(nèi)存一路漲到幾個(gè) G最后要么被系統(tǒng)殺掉要么一直掛在那里不動(dòng)。原因遞歸隊(duì)列沒有做上限控制加上threadedTrue時(shí)多個(gè)線程同時(shí)往隊(duì)列里塞 URL去重表膨脹再加上每個(gè)頁面的 DOM 對(duì)象沒有被及時(shí)釋放累積起來就是內(nèi)存雪崩。站點(diǎn)越大、重復(fù)入口越多這個(gè)問題越明顯。解決三個(gè)動(dòng)作一起做。第一關(guān)掉多線程threadedFalse把并發(fā)壓力換成可預(yù)測的順序執(zhí)行。第二把blacklist_urls補(bǔ)齊尤其是帶分頁參數(shù)的?page、帶排序參數(shù)的?sort這些是隊(duì)列膨脹的主要來源。第三分批跑按欄目或按字母區(qū)間拆成多個(gè)任務(wù)每個(gè)任務(wù)用獨(dú)立的project_name跑完再合并目錄。批量跑的時(shí)候在外面套一層循環(huán)單任務(wù)失敗不影響后續(xù)日志里記清楚哪一批失敗了好補(bǔ)跑。注意整站鏡像前先估算體量。用max_depth1試跑一次看單頁平均產(chǎn)物大小和頁面數(shù)乘以預(yù)估總頁數(shù)得出來的數(shù)字如果超過磁盤剩余空間的七成就先拆批次。5. 封裝成能反復(fù)用的鏡像工具批處理、增量與產(chǎn)物校驗(yàn)單次調(diào)用解決不了「每周歸檔一次」這種需求。真正要長期用得往上包一層命令行入口負(fù)責(zé)批量調(diào)度狀態(tài)庫負(fù)責(zé)跳過沒變的頁面校驗(yàn)?zāi)_本負(fù)責(zé)在交付前兜底。這三塊加起來不到兩百行但能把返工率壓下去一大截。5.1 用 argparse 包一層命令行一次傳多個(gè)入口核心訴求是「一條命令跑完一批 URL單個(gè)失敗不中斷」。下面這版實(shí)現(xiàn)故意做得樸素沒有引入額外依賴import argparse import time from pathlib import Path from urllib.parse import urlsplit from pywebcopy import save_webpage, save_website def build_parser(): p argparse.ArgumentParser(description批量鏡像網(wǎng)頁或站點(diǎn)) p.add_argument(urls, nargs, help入口 URL可以傳多個(gè)) p.add_argument(-o, --out, default./mirror, help產(chǎn)物根目錄) p.add_argument(-n, --name, defaultNone, help任務(wù)名默認(rèn)按時(shí)間戳生成) p.add_argument(-d, --depth, typeint, default1, help1 表示只抓單頁大于 1 表示按深度遞歸) p.add_argument(--delay, typefloat, default0.8, help請(qǐng)求間隔秒) p.add_argument(--overwrite, actionstore_true) return p def main(): args build_parser().parse_args() stamp time.strftime(%Y%m%d_%H%M%S) for idx, url in enumerate(args.urls): name args.name or fjob_{stamp}_{idx} common dict( project_folderargs.out, project_namename, overwriteargs.overwrite, delayargs.delay, threadedFalse, ) try: if args.depth 1: save_webpage(urlurl, **common) else: # netloc 作為域名白名單生產(chǎn)環(huán)境建議顯式傳入配置 domain urlsplit(url).netloc save_website(urlurl, max_depthargs.depth, allowed_domains[domain], **common) print(f[ok] {url} - {Path(args.out) / name}) except Exception as exc: # 單個(gè)任務(wù)失敗只記錄不中斷整批 print(f[fail] {url}: {exc}) if __name__ __main__: main()幾個(gè)設(shè)計(jì)取舍值得說明。depth1走單頁分支、大于 1 走整站分支是為了讓同一個(gè)命令既能做快速快照又能做深度歸檔不用記兩套參數(shù)。urlsplit(url).netloc直接把入口域名當(dāng)白名單省掉手填但如果目標(biāo)站的資源在獨(dú)立 CDN 域上這個(gè)默認(rèn)值會(huì)漏抓所以正式場景還是建議加一個(gè)--allow-domain參數(shù)手動(dòng)補(bǔ)。異常捕獲用寬泛的Exception在批處理場景里是對(duì)的——你寧可吞掉一條錯(cuò)誤日志也不愿意因?yàn)榈?3 個(gè) URL 掛了導(dǎo)致后面 50 個(gè)沒跑。5.2 用 SQLite 記狀態(tài)跳過沒變化的頁面每周歸檔一次同樣的站點(diǎn)如果每次都全量重抓時(shí)間和帶寬都浪費(fèi)在沒變的頁面上。判斷頁面變沒變最可靠的是服務(wù)端給的ETag和Last-Modified這兩個(gè)頭在 HEAD 請(qǐng)求里就能拿到成本極低。先建一張狀態(tài)表主鍵是 URL記錄兩個(gè)校驗(yàn)值和時(shí)間戳import sqlite3 DB mirror_state.db def init_db(): conn sqlite3.connect(DB) conn.execute( CREATE TABLE IF NOT EXISTS pages ( url TEXT PRIMARY KEY, etag TEXT, last_modified TEXT, fetched_at INTEGER, status INTEGER ) ) conn.commit() return conn def need_refetch(conn, url, etagNone, last_modifiedNone): row conn.execute( SELECT etag, last_modified FROM pages WHERE url ?, (url,) ).fetchone() if row is None: return True # 沒記錄過必須抓 if etag and etag ! row[0]: return True # ETag 變了內(nèi)容有更新 if last_modified and last_modified ! row[1]: return True return Falseneed_refetch的判斷順序有講究先看有沒有記錄再看 ETag最后看 Last-Modified。ETag 優(yōu)先級(jí)更高是因?yàn)樗ǔJ菍?duì)內(nèi)容做哈希算出來的比時(shí)間戳精確有些服務(wù)器只給其中一個(gè)所以兩個(gè)都要兼容。注意etag and ...這個(gè)寫法etag為空字符串時(shí)直接短路返回False避免把「服務(wù)端沒給 ETag」誤判成「內(nèi)容變了」而觸發(fā)全量重抓。配套的調(diào)度循環(huán)大致是先對(duì)每個(gè) URL 發(fā) HEAD 請(qǐng)求拿兩個(gè)頭查庫判斷要不要抓要抓才調(diào) pywebcopy抓完把新值寫回去。整站鏡像場景下這套邏輯要放在 URL 入隊(duì)的那一層而不是抓完再判斷否則省不下請(qǐng)求。5.3 交付前的三道校驗(yàn)別讓殘缺產(chǎn)物出門抓完之后最怕的是「看起來抓完了其實(shí)缺了一半」。寫一個(gè)校驗(yàn)函數(shù)把產(chǎn)物目錄里所有 HTML 的相對(duì)引用掃一遍檢查目標(biāo)文件是否存在import re from pathlib import Path from urllib.parse import unquote, urlsplit REF_RE re.compile(r(?:src|href)([^])) def find_missing_refs(root: str, limit: int 30): 掃描產(chǎn)物里所有本地引用返回指向不存在文件的條目 root_path Path(root) missing [] for html in root_path.rglob(*.html): text html.read_text(encodingutf-8, errorsignore) for ref in REF_RE.findall(text): if ref.startswith((http://, https://, data:, #, mailto:, javascript:)): continue # 去掉查詢串和錨點(diǎn)再解碼百分號(hào)編碼才是真實(shí)的文件路徑 target (html.parent / unquote(urlsplit(ref).path)).resolve() if not target.exists(): missing.append((str(html.relative_to(root_path)), ref)) if len(missing) limit: return missing return missing三個(gè)細(xì)節(jié)決定這個(gè)腳本準(zhǔn)不準(zhǔn)。第一過濾協(xié)議前綴時(shí)要帶上javascript:和mailto:否則一堆內(nèi)聯(lián)腳本會(huì)被誤報(bào)。第二必須unquote因?yàn)?HTML 里的中文路徑通常是百分號(hào)編碼的不還原就會(huì)算出不存在的路徑。第三用limit截?cái)嗾军c(diǎn)大的時(shí)候缺失項(xiàng)可能有幾千條全部打印出來反而看不到重點(diǎn)先看前三十條足夠判斷是系統(tǒng)性問題還是零星遺漏。校驗(yàn)結(jié)果怎么用如果缺失集中在某幾類資源上比如所有字體都缺說明是解析層的系統(tǒng)性問題回到第 4 章對(duì)應(yīng)條目排查如果缺失是零散的、每次跑的都不一樣多半是網(wǎng)絡(luò)超時(shí)導(dǎo)致的下載失敗把delay調(diào)大重跑一遍缺失的部分即可。6. 進(jìn)階把預(yù)渲染和特性補(bǔ)刀接進(jìn)同一條流水線走到這一步pywebcopy 能覆蓋的場景已經(jīng)比較清楚了靜態(tài)渲染的內(nèi)容站、文檔站、活動(dòng)頁歸檔幾行代碼就能出可用產(chǎn)物。剩下的短板集中在兩類一類是 JS 渲染一類是 HTML 特性覆蓋不全這兩塊都可以在調(diào)用它之前用幾十行代碼補(bǔ)上。先看一張對(duì)比表把不同頁面類型的推薦路徑列清楚省得每次都重新想頁面類型直接 save_webpage預(yù)渲染后再抓說明服務(wù)端渲染的內(nèi)容頁可用不必要首選方案成本最低靜態(tài)文檔 / 博客可用不必要注意 CSS 里的字體和 import單頁應(yīng)用產(chǎn)物為空殼必選先拿到渲染后 DOM 再抓重圖片的電商詳情頁部分可用建議srcset 多分辨率容易漏抓需要登錄的頁面不可用不可用會(huì)話態(tài)不在這個(gè)工具的射程內(nèi)預(yù)渲染那一步在第 4 章已經(jīng)給過代碼這里補(bǔ)一個(gè)把兩者串起來的做法先用無頭瀏覽器拿到渲染后的 HTML寫到一個(gè)臨時(shí)目錄起一個(gè)本地靜態(tài)服務(wù)再把本地地址交給 pywebcopy。這樣 pywebcopy 的解析和改寫能力仍然能用上同時(shí)它面對(duì)的不再是空殼。落地時(shí)注意本地服務(wù)的端口要固定別用隨機(jī)端口否則日志里的產(chǎn)物路徑每次都不一樣排查時(shí)對(duì)不上號(hào)。另一個(gè)高頻遺漏是srcset。響應(yīng)式圖片會(huì)給多個(gè)分辨率候選pywebcopy 對(duì)這類屬性的處理在不同版本上不一致穩(wěn)妥做法是在抓之前把srcset壓成一個(gè)src只保最大的一張import re def flatten_srcset(html: str) - str: 把 srcset 壓成單個(gè) src取候選列表里最后通常最大的一張 def repl(m): candidates [c.strip().split()[0] for c in m.group(1).split(,) if c.strip()] if not candidates: return m.group(0) return fsrc{candidates[-1]} return re.sub(rsrcset([^]), repl, html)這個(gè)替換是粗暴的它不管原來的img上有沒有src直接覆蓋。生產(chǎn)環(huán)境里要先判斷節(jié)點(diǎn)是否已有src有的話只在srcset存在時(shí)才改沒有的話補(bǔ)一個(gè)。取最后一張是因?yàn)榇蠖鄶?shù)站點(diǎn)的srcset按從小到大排列最后一張分辨率最高離線歸檔場景下清晰度比體積重要。最后說個(gè)我自己的習(xí)慣每次歸檔任務(wù)開始前先在紙上寫三行——這次要抓什么、抓到什么程度算完成、產(chǎn)物交給誰。這三行寫不出來說明需求還沒想清楚這時(shí)候調(diào)參數(shù)都是瞎調(diào)。鏡像網(wǎng)頁這件事工具只占三成剩下七成是想清楚邊界。前面那些踩坑記錄有一半是因?yàn)槲乙婚_始沒寫這三行。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
十区av| 91色碰| 波多野结衣不卡AV| 激情婷婷五月丁香啪啪啪| 亚洲乱码精品久久久久..| 丰满少妇乱A片无码| 超碰在线99| 五月婷婷色欲| 久热91精品| 庭庭久久内射| 秋霞电影理论| 日本狠狠干| 99人妻碰碰碰久久久久禁片| 日韩成人中文| 91精品婷婷国产综合| 俺也去婷婷五月天第五色| 丁香五月aV| 天天做天天爱天天摸| 开心 五月 综合| 五月天伊人日日噜影片AV| 26uuu亚洲精品国产| 综合久久影院| 丰滿爆乳一区二区三区| 五月天大香蕉| 丁香五月六月婷婷怡红院| 男人天堂99| 精品一二三区久久AAA片| 色五月婷婷777| 久久久婷婷色五月资源网| 九九热欧美| 九九免费在线视频| 丁香五月欧美成人| 丁香婷婷五月天成人| 久久激情五月婷婷| 婷婷五月天香蕉| 婷婷激情性爱| 婷婷激情97| 丁香五月手机在线| 韩国天天婷婷| 国产婷婷色综合AV蜜臀AV| 99热999| 激情深爱五月婷婷| 91婷婷色 | 99热99干| 久久六月天| 久久婷婷亚洲| 五月天色综合| 亚洲色99| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 久久婷婷亚洲| 天天综合五月| 五月丁香欧美在线| 国内外色色色色色成人视频| 欧美日本黄色| 79色色| 91狠狠色丁香婷婷综合久久| 日韩在线9| 99精品偷自拍| 婷婷久久五月丁香| 天天干夜夜谢| 丁香婷婷激情网站| 天天日日天天| 九月婷婷久久| 国产精品大香蕉| 色色色色色色色色综合网| 天天爱天天爽| 国内一级精品| 熟女激情五月天 | 啪啪操超碰| 色综合久久久无码中文字幕999| 亚洲第一成人无码A片| 日撸夜撸日操| 日日做A爰片久久毛片A片英语| 热久久色| 丁香六月婷婷一区二区三区| 亚洲春色奇米影视| 色婷婷丁香五月天在线视频| 色偷偷综合| 9色小视频在线观看| 亚洲色婷婷色| www.激情五月| 99小视频在线| 日韩久热| 五月激情网站| 婷婷五月色综合| 99视频在线观看网址| 色五月婷婷基地| 亚洲秘 无码一区二区三区妃光/1| www,婷婷五月天,com| 色五月av| 美女丁香五月天| 精品成人久久久久久久_一二三四视| 色婷婷aV四虎| 人草人人| 婷婷五月激情视频网| 婷婷五月丁香色情| 91精品久久久久久久久久| AA丁香综合激情| 玖玖五月丁香| 在线成人视频免费| 九九精品综合| 激情亭亭五月| 欧美久久网| 99热精品网| 九九综合久久| 婷婷丁香五月基地| 欧美成人色婷婷| 五月丁香婷婷五月色| 99rewww| 天天搞天天爽| 久久ER视频com| 婷婷天天色| 色v综合网| 五月婷在线观看| 色级婷婷| 九九九九大香蕉| 日韩色情亚洲五月天婷婷| 日日干日日| 婷婷五月天堂| 五月天伊人网| 婷婷五月天天天日日夜夜| 99久久婷婷国产综合| 九九综合色综合| 天天色噜| 在线观看中文字幕亚洲| 久久久这里有精品| www.97视频| 国产精品久久久久久久久久| 99热这只有| 婷婷丁香六月天| 秋霞学生妹一二级| 激情五月黄色| 国产性爱亚洲是图| 97人妻碰碰碰久久香蕉| 丁香五月婷婷网| 亚洲激情丁香五月天色| 99国产精品久久久久久久久久久| 天堂婷婷丁香六月网| 欧美交换配乱吟粗大25P| 日韩一66精品| 伊人婷婷99热精品| 婷婷丁香五月高清| 久久激情五月婷婷| 色五月激情网| 99视频热| 丁香视频| 天天操婷婷| 五月天色婷好好| 男男野外做爰全过程69| 亚洲成AV人片在线观看| 一本色道久久综合狠狠躁小说| 五月婷婷六月综合| 玖玖婷婷综合| 国产色色网站网址| 婷婷激情五月天激情小说| 99热97| 激情亚洲婷婷| 99精品偷自拍| 九九热在线观看视频| 大香蕉五月婷婷| 久久99精品视频| 另类色视频| 91肏肏肏| 99热综合网| 色色色777| 第九色区av天堂| 99精品久久久久久久婷婷久久| 人人操人| 成人丁香五月| 色五月综合激情| 任我鲁这里有精品视频| 99热精品在线在线| 99热免| WWW色色色COm| 中文字幕视频色婷婷| 婷婷色av| 狠狠操狠狠爱| 亚洲免费成人电影AV| 五月激情黄色小说| 色婷精品91| 激情综合五| 丁香五月婷婷六月| 色五月丁香五月激情五月激情| 婷婷五月天激情开心网| 狠狠狠婷婷五月综合| 天天干天天日蜜臀av| 日日操日日撸| 干婷婷五月天| 五月久久婷婷丁香| 丁香五月激情五月| 99re久久| pom538精品视频| www99热| 99精品偷自拍| 97色婷婷| 99热在线播放| 激情综合激情五月| 狠狠做五月| 综合另类激情| 六月丁香五月婷婷| 9久久婷婷国产综合精品性色| 天天色综合天天| 激情综合五月丁香六月婷婷| www.狠狠操| 99re最新地址| 色色激情网| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 综合精品啪啪| 欧美成人一区二区三区在线视频 | 日韩操人| 欧美25p| 婷婷五月天堂网| 韩国97天堂| 久久这里只有精品99| 五月婷婷国产| 久久人妻超碰一区| 五月天婷婷色色| 开心婷婷五月| 五月天激情无码高清| 97干网站| 91亚洲免费片| 亚洲va久久久噜噜噜久久天堂| 91精品综合久久久久久五月丁香| 99爱精品| 亚洲热久久| 六月丁婷婷| 色99在线看| 极骚大香蕉伊人| 狠狠色成人影片| 色综合色| 综合激情站| 天天插天天插天天操| 91精品啪| 99干在线| 五月停停99| 婷婷在线视频| 五月天激情婷婷| 97香蕉久久超级碰碰高清版| 天天激情欧美美女| 色色色综合色| 啄木鸟丝袜美女福利视频| ,99视频久久| 色~性~乱~伦~噜| 中文字幕网站在线观看| 99情色五月天| 操B视频在线播放| 欧美在线视频99| 色婷婷av在线观看| 三级三久久线久久99久目本WW| 深爱激情五月网| 五月天激情子轮| 婷婷五月激情丁香激情| 五月婷婷 欧美| 99精品激情| 色五月超碰| 九九av在线| AV六月丁香| 99视频在线精品| 五月天婷婷青青草| 亚艹艹| 色五月天综合| 婷婷丁香一月| 五月色丁香婷婷中文字幕| 99小视频在线| 蜜臀A∨在线水帘洞| 婷婷五月色| 超级碰碰视频无码| 国产伊人大香蕉| 波多婷婷久久| 日本玖玖在线| 五月丁香六月婷婷综合| 色吧网综合| 伊人久久婷婷五月综合97色| 超碰在线免费观看日韩| 亚洲国产99| 91丨九色丨东北熟女| 伊人五月婷婷| 91丨九色丨熟女| 婷婷综合色图| 天天日天天爽| 青柠影视免费高清电视剧 | 66精品国产成人| 国产性爱一级| 人人操99| 婷婷亚洲激情在线观看视频 | 丁香五月婷婷性爱| www.狠狠色.com| 狠狠狠人妻| 久热这里精品免费| 欧美激情综合色综合| 婷婷五月天另类网站| 噜噜噜噜噜色| 五月天婷婷色色网| 久99久视频| 99热这里是精品| 五月婷婷色播| 少妇AB又爽又紧无码网站| 欧美一级色| 九九热精品| www.超碰在线| 欧美黄色一级录像| 综合激情sV| 91人碰| 色色五月天网站| 91九色精品熟女内射| 婷五月天天| 亚洲综合网激情小说| 九九热视频免费观看| 狠狠色婷婷六月激情网| 日91高清无玛| 99色在线| 男女av免费看| 婷婷久久综| 97精品欧美91久久久久久久| 五月丁香综合久久| 色J香五月天| 97五月久久丁香婷婷| 五月婷丁香| 99re在线播放| 99热一本久道| 久思思热视频在线观看| 婷婷丁香色情| 婷婷五月天丁香花| 六月丁花香啪啪激情欧美| 成人免费网站免费看| 中文字幕视频在线播放| Jh7Uf088VHafNm| 久久五月天婷婷| 91久久久久久| 九九爱精品网站| 久色激情| 九色视频这里只有精品| aaa久久| 任你草| 嫩草哈哈操| 色色综合激情| 白天AV月月| 五月丁香六月激情视频| 久草热8精品视频在线观看| 久久月天堂| 丁香五月香蕉| 日韩av网址大全| 九九99九九99| 岛国AAAV| 91人妻色色网| 激情五月丁香亭亭 | 精品九九视频| 亲子乱AV一区二区三区下载| 9|人妻人人操| 99er这里只有精品| 精品无吗va视频免费观看| 色99在线观看| 欧美日本高清视频99| 五六月婷婷| 天天日夜夜爽。| 激情综合无码| 人人操人人添人人摸97| 丁香五月日啪| 色色吧综合| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 狠狠色丁香久久久婷| 婷婷五月天成人网站| 九九色精品| 日本44久久在线| 五月丁香影院| 色色色色网站| 成人做爰黄A片免费看直播室男男| 婷婷五月丁香花综合| 久久婷婷色丁香| 九九久久99精品免费观看www| 中文中文在线| 人人操91| 天天艹夜夜艹| 丁香伍月婷电影全集| 青青草色在线视频观看| 日本VA视频| 亚洲精品V天堂中文字幕| 国产五月天婷婷| 天天操,天天插| 丁香九月婷婷| 97人人做| www.狠狠操| 婷婷丁香综合网| 噜综合| 亭亭色网| 日本乱论99| 色色丁香激情五月| 1024操逼| 538久久| 激情AV| 美女伊人久久| 99精品视频网站| 强辱丰满人妻HD中文字幕| av国产精品偷| 天天舔天天爽| 日本人妻操| sewuyuejiqingwang| 五月天激情婷婷| 久99久在线观看| 99免费在线| 国产精品久久久爽爽爽麻豆色哟哟| 激情五月综合| 97久久久| 日本一道久久| 九色视频91疯狂| 婷婷色五月天色| 激情五月天色婷婷| 丁香五月瑟瑟| 色五月色综合| 国产日产亚洲系列最新| 婷婷久久免费看| 综合色播| 成人操呦av| 色婷婷丁香五月| 婷婷免费无马| 欧美内射AA| 亚洲色图五月丁香| 婷婷久久五月天| 丁香六月色| 久久亚洲激情五码| se色综合网| 亚艹艹| av一区二区电影免费在线观看| 五月婷婷精品视频| 久久久91精品| 人人草人人视| 激情六月综合| 99久久网站| 99热老网站| 色情丁香五月婷婷精品| 999久久久国产精品| 久久国产AV| 这里精品| 好色婷婷| 激情伊人| 激情综合4月| 日韩啪啪视频| 五月深爱婷婷| 五月婷婷久草| 26uuu精品国产| 色爱综合五月| 综合激情在线视频| 婷婷五月天AV网| 五月丁香激情综合网| 精品婷婷五| www.夜夜操| 少妇激情五月婷婷| 丁香六月成人| 婷婷五月激情图片| 六月丁香啪啪啪| 成人日韩欧美| 5月丁香婷婷| 丰满少妇猛烈A片免费看观看 | 久久综合影院| 婷婷五月天精品| www.五月天婷婷.com| 成人无码髙潮喷水A片| 97爱艹婷婷开心丁香激情综合| 免费播放99性爱视频| 狠狠色噜噜狠狠亚洲A∨| 性综合网| 人人澡天天色天天做| 国产精品扒开腿做爽爽爽A片唱戏| 东北婷婷五月天| 九九久久色| 五月天婷婷乱论小说| 色综合中文色综合网| 五月天成人小说| 天天爽—爽| www.丁香黄色五月天人与| 亚洲欧美一区二区三区爱爱动图| 丁香六月狠狠干| 久久久噜噜噜久久人妻| 无码人妻一区二区三区免费九色| 狠狠干综合网| 久久婷婷精品| 色吧五月婷婷| 91久久婷婷| 国产AV一区二区三区最新精品| 精品99爱免费视频在线观看| 日韩五月婷婷| 人妻少妇色综合| 亚洲色欲AAAAAA| 婷婷五月激情综合啪啪| 久久视频这里有精品99| 天天爽天天爽夜夜爽| 玖玖爱导航| 思思热视频| 欧洲综合色| 色私五月婷婷| 亚洲V国产V欧美V久久久久久| 五月婷婷影| 久久综合婷婷| 97成人在线视频| 激情丁香婷婷| 五月丁香六月色婷婷| 亚洲一区二区无遮挡A片| 99热在线播放| 亚洲视频色婷婷| 狠狠艹狠狠艹| 超碰成人AV| 婷色五月天| 天天色综网| 99小视频| 国产精品岛国片在线观看免费| 色色a| 国产午夜精品久久久观看| 夜夜 操无码| 国产黄大片在线观看画质优化| 五月天激情图片| 天天做天天爱天天日| 九九九九无码| 91九色首页| 婷婷丁香18| 日本va网站| 久久99综合| 思思热热久久| 青青.com| 五月婷婷婷| 天天天天干| 免费精品99| 婷婷五月激情片| 婷婷综合日本| 久久久全国免费视频| 丁香婷婷色五月| 激情九九综合网| 99成人网一区| 丁香婷婷综合激情五月色| 久久久天堂国产精品女人| 99激情网| 天天草天天摸| 思思久热6| 一本久久亚洲五月婷婷| 草综合网| 九九热av| 亚洲午夜电影| 婷婷久久婷婷色五月| 色婷婷电影网| 婷婷狠狠18禁久久| 天天干天天操天天拍| 极品 少妇 内射| 另类专区在线观看| 精品网站:999WWW| 九九精品丁香花| 亚洲五月婷婷| 婷婷色网站| 日日操日日撸| 另类激情五月天| 丁香六月婷婷开心| 99在线播放视频| 在线综合91| 91男同视频| 九九热精品在线| 亚洲色色色| 亚洲色婷婷婷婷人人爽| 人人操人人爱丁香五月| 久久99最新| 丝袜人妻| 精品久久9| 亚州色综合| 久99在线| 亚洲成人在线播放| nvrentiantang av| 色五月无码| 久久久99视频| 99.N在线视频| www一起操在线观看| 无码日本精品XXXXXXXXX| 亚洲情欲| 丁香色六月婷婷| 91蝌蚪窝视频在线| 八戒青柠影视剧在线观看| 丁香啪啪| 久久综合人妻| 色色日本欧美| 国产激情在线观看| 婷婷激情四射网| 色综合播放| 另类亚洲电影| 五月天婷婷成人网| 色婷婷狠狠色| 日韩无码人妻一区二区三区综合| 五月亭亭激情综合| 狠狠搞综合色| 99精品视频在线| 天天综合天天玩夜夜玩天天玩夜夜玩 | 99 频99热国里只有精品| 色五月婷婷五月丁香五月激情五月视频| 色综合区| 五月丁香激情啪啪| 五月天·www·com| 婷婷激情六月综合| 天天干夜夜b| 夜夜操狠狠操天天操| 五月综合六月丁| 五月丁香婷婷激激激综合网色播| 国产一二三四五六七八视频| 久久视频这里99| AV操操操| 成人AV在线电影| 五月丁香啪啪| 五月激情婷婷色| 亚洲色欲AAAAAA| 婷婷五月精品中文| 五月婷婷精品| 91婷婷色| 青青草a在线| 天天操天天操| 79色色| 五月天狠狠色| 伊人五月天在线| 欧美槡BBBB槡BBB少妇| 亚洲精品久久久久久久久久飞鱼 | 亚洲激情在线| 人色五月天婷婷| 五月天激情视频五月天| 色婷久| 丁香五月婷久久| 色色色综合网| 色五月美女| 熟女网站久久| 亚洲天堂亚洲色色色| 婷婷五月骚厕所| 人人爱摸视频| 99亚洲精品视频| 亚洲成人在线观看av| 99ri国产精品| 五月丁香黄色| 国产色婷婷亚洲| 丁香美女主播视频在线观看| 激情六月丁香| 99网| 日韩黄色AV无码| 精品乱码视频| 99视频这里只有久久精品| 五月精品| 色情五月综合婷婷| 国产精品成人网址| 九九RE视频在线精品| 激情丁香淫荡婷婷| 99在线精品视频| www.色婷婷.com| 天天插操| 操人无码| 六月狠狠综合| 久久婷五月| 欧美综合五月天婷婷tin| 五月婷婷六月丁香玖玖玫瑰91| 性色欲情 网站| 激情六月一二| www婷婷| 亚洲传媒在线观看| 九九热九九| 影音先锋人妻出差| 色综合色| 九九九九九九九九九九九九九国产精品| 五月丁香六月综合激情| 婷婷色色欧美综合网| 99九无网码| 色婷五月丁香久亚洲| 超碰国产在线观看| 国产精品第一国产精品| 99热综合色图| 国产精品激情五月天色婷婷| 中文字幕成人| 99小视频在线观看| 色婷婷五月天激情在线播放| 色婷婷久久综合中文久久一本| 色五月首页| 婷婷久久图片| 开心五月婷婷激情网| 色婷婷综合久久久久| 九九一区| 天天艹天天综合网| 开心深爱激情网| 99视频这里有精品| 超碰成人电影| 天天摸天天舔| 日本操天堂| 综合色色网| 丁香五月婷中字幕| 搡BBBB搡BBB搡18| 大香蕉五月丁香| 婷婷五月天黄色小说| 成人国产欧美大片一区| 丁香花五月天激情| 成人免费va| 在线中文AV| 99热福利| 91碰在线| 激情国产综合| 欧美综合丁香网| 可以看的av| 九九精彩久久| 免费观看的婷婷五月视频在线| 亚洲精品又粗又大又爽A片| 97九色| 亚洲男女激情| 99九九这里有免费视频| 色婷婷成人在线| 久久婷综合| 色欧美影院| 天天视频亚洲| 色九九综合色| 欧美色骚婷婷五月天| 久久九九爽| 三级毛片7979| 色婷婷综合视频| 丁香五月婷婷香| 色吧婷婷五月亚洲| 五月丁香久久综合精品| 婷婷伊人| 亚洲人成网亚洲欧洲无码久久| 超碰免费99| 日韩一级网站| 亚洲五月婷婷| 国产亚洲色婷婷久久99精品9j| 九九热精品视频九九| 粉嫩AV久久一区二区三区| 永久的网站AAAA | 激情综合无码| 丁香婷婷五月综合影院| 一区二区免费看| 91pornav在线| 婷婷五月天在线视频网站| 色碰97| 91色情播放| 91色性感五月婷婷丁香| 亚洲一区先锋影音| 无码激情AAAAA片-区区| 免费精品66| 天天爱天天操| 伊人天天色| 狼人狠狠操| 国产婷婷五月中文字幕高清| 激情丁香五月| 9精品国产在热久久| 成人无码精品1区2区3区免费看| 中文字幕在线免费观看视频| 婷婷永久在线| 丁香婷婷激情综合五月激情| 日本久久高清| 精品久色| 日产精品久久久久久久蜜臀| 综合在线丁香五月| 九月丁香很很色| 色人妻五月| 色婷婷成人久久| 婷婷六月综合激情| 色人久夂| 人妻22p| 亚洲色涩视频| 国产99久久久国产精品免费看| 国产Va视频| 日本一级淫| 激情五月婷婷色播网| 亲子乱av一区二区三区的| 五月婷婷六月丁香综合| 日韩在线99| 91久久1118| 久热这里只有精品性色AV| 99精品久久| 伦99热| 色五月天成人| 91se在线视频| 婷婷五月天网| 99久久国产成人精品| 亚洲精品国产A久久久久久| 婷婷五月天亚洲图片| OUMEIRIHANCHENGREN| 日本色色网站| 26UUU一区二区| 亚洲视频在线观看| 色五月丁香网| 日韩在线视频网站| 亚洲五月天激情| 操一操插一插| 丁香五月婷婷亚洲天堂| av在线免费播放| 五月亭亭六月色| 色五月,com| 国产偷人妻精品一区| 亚洲操操| 千人斩操逼| 丁香五月婷婷色综合| 第五色色色婷婷| 综合久久影院| 亚洲va综合va国产va中文| 五月丁香 啪啪啪| 性爱激情小说AV五月丁香花| 欧美精品啪啪| 色噜噜狠狠色综合日日免费| 日逼影音先锋AV男人资源站| 亚洲无码播放| 婷婷成人丁香色情基地30| 色涩影院六月丁香| 五月天色婷婷综合| 99日这里只有精品| 欧美激情综合色综合啪啪五月| 天天爽天天| 色色色成人网| 人妻AV在线观看| 精品香蕉99久久久久网站| 日日操日日撸| 午夜色色色极品视频| 51精品国自产在线| 婷婷五月天视频| 丁香五月婷婷婷婷欧美综合| 91九色PORNY中文啦| av九九| 欧美综合激情五月| 国产.亚洲.欧洲视频在线| 六月婷婷色综合| 婷婷五月激情视频在线| 久久久婷婷| 97男人天堂| 99久在线精品99re8| 婷婷五月天激情五月天深爱五月天| 久久久.COM| 婷婷五月色播天| 四虎成人精品永久免费AV九九| 丁香狠狠操| 综合激情五月丁香| 亚洲天码视频www蛋播视频| 久久婷婷五月综合| 991自拍视频| 久久久97| 麻豆雪千夏| 99热这里只有精品33| 久久久ww| 99久99久| 婷婷色导航| 亭亭玉月丁香| 天天综合天天玩夜夜玩天天玩夜夜玩 | 97色色综合| 丁香五月天堂婷婷| 三级三久久线久久99久目本WW| 婷婷五月天BBw| 色六月丁香婷婷啪啪啪| 成人在线观看一区| 老师的粉嫩小又紧水又多A片视频 欧美三级巜人妻互换 | aaa久久| 五月深爱激情网| 六月丁香婷婷综合色播| 五月婷婷深深爱| 99视频在线9| 亚洲黄色影视| 亚洲AV网站在线观看| 五月天激情社区| 涩涩五月天综合| 亚洲成人av在线| 九九视频在线观看视频在线播放69| www.狠狠| 99精品自拍视频| 五月天婷婷基地| 综合深爱五月| 思思久久99热| 操操自拍| 欧美激情伊人| 久久色六月| 色色色色色综合| 婷婷五月天影院| 99热6色| 久久人妻情侣| 99在线观看这里都是精品| www98日本小时间到了| www.com色播五月天| 久99婷婷色综合| 中国女人做爰A片| 丁香六月婷婷久久综合| 五月丁香久人妻中文| 五月天啪啪| 99久久久国产精品免费蜜乳tv| 五月天合网| 亚洲日韩国产黑丝黑丝AVAV一区二区三区| 五月天伊人久久久久| 丁香六月亚洲| 婷婷五月丁香激情| 成熟妇人A片免费看网站| 五月丁香六月综合激情| 久一这里有精品国产| 婷婷丁香花五月天| 伊人超碰在线| 3p九色在线| 婷婷丁香五月天综合在线日韩| 丁香六月婷婷久久综合| www超碰| 色色色色色色色色网站| 亚洲综合色婷婷| 久久WW| 五月婷婷在线免费| 午夜色丁香| 开心五月综合| 激情综合亚洲色婷婷五月| 26uuu亚洲欧美另类| 5月丁香婷婷| 激情婷婷丁香色五月综合| 蜜桃婷婷五月| 99re久热只有精品6在线直播| 色婷婷五月天激情| 激情五月天啪啪视频| 六月婷婷天天操夜夜爽视频| 激情五月综合色| 成人五月天婷婷| 《诡秘之主》在线观看| 99热免费网站| 国产五月丁香在线| 狠狠人人| 青草久久五月婷伊人| 激情黄色五月天| 丁香五月深爱五月婷婷| 甈你aaaaa| wwwC0maV五月花| 五月天综合图片| 久久少妇视频| 日日干日日| 亚洲欧洲午夜成人精品av| 伊人网碰碰| 久草A片| 五月天激情小说| 91精品91久久久中77777| 色欲一区二区三区精品A片| 国产在线网| 久久综合66| 色黄啪啪| 色婷婷天堂| 激情婷婷五月天| 国产色丁香| 丁香五月天婷婷久久综合| 777精品成人a v久久| 国产婷婷五月天| 99热精品中文字幕| 丁香五月手机在线| 大香蕉啪啪啪| 国产精品扒开腿做爽爽爽A片唱戏| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 亚洲婷婷五月天在线激情综合网| 婷婷欧美色| 五月综合激情综合久| 五月婷色激情五月| 欧美日韩成人一区二区| AV中文在线| 中文幕无线码中文字蜜桃| 五月婷婷碰碰| 91超碰在线观看| 涩涩五月天| 影音先锋高清无码资源网| 大香蕉伊然在亚洲90| 婷婷五月中文字幕| 五月婷婷色色| 五月亭亭激情综合| 色色色无码| 成人婷99最新| 国产婷婷色综合AV蜜臀AV| 久热伊人91| 日本九九网| 色五月婷婷激情综合网| 五月天婷婷久久综合| 99这里只有精品视频| 欧美人人操| 99国产精品久久久久久久久久久| 九色亚洲| 色婷婷五月在线| 激情无码五月天| 五月丁香在线综合| 婷婷激情五月| 超碰在线日夜| 九色无码| 袁子仪视频观看| 激情六月综合| 日韩婷婷| 久久婷婷青青| 大香蕉婷婷色| 丁香六月天色婷婷| 日本WWW九九九| 色吧五月| 婷婷99丁香| 影音先锋按摩| 岛国AV网| 五月丁香人妻| 婷婷九月丁香中文| 欧亚洲在线高清视频| 插插五月天| 日韩超碰在线| 无码激情AAAAA片-区区| 桃色激情五月天| 欧美激情xxxXX| 婷婷色综合| 天天日天天插| 亚州第一A片| 丁香五月综合色婷婷| 日韩五月丁香| 狠狠狠狠狠干| 五月婷婷九九久久| 日本五月丁香| 亚洲精品影视| 婷婷视频在线| av在线资源| 五月激情婷婷开心| 91精品综合久久久久久五月丁香| www五月婷婷88导航| 五月婷婷基地| 激情欧美五月丁香| 国产成人+综合亚洲+天堂| 久色88| 五月天开心色情网| 91九色精品女同系列| 色婷婷性爱网| 婷婷丁香五月天婷婷| 婷婷五月天久久| 最近中文字幕大全免费版在线| 五月天三级久久| 思思热再线视频| 深爱激情综合| 91视频人人做97| 久久在线人妻| 婷婷成人五月天成人文学| 久操人| 婷婷六月天激情影院| 丁香婷婷色五月| 久久久久久久久久久月丁| 青青操成人福利| 久久婷婷五月国产激情综合片| 99综合网| 日韩在线视频9色| 人人爱干人人爱草| 五月天婷婷激情| 三日本无码| 激情婷婷五月天伊人在线观看| 爆乳熟妇一区二区三区爆乳| 超碰成人在线免费观看| 五月六月激情婷婷| 久久久婷| 亚洲综合草草| 91婷婷五月天嫩女| 婷婷丁香五月天激情四射| 99热只有精品在线播放| 激情床戏| 婷婷五月天久久综合88| 色婷婷丁香五月综合| 免费看欧美成人A片无码| 五月天综合久久| 久久精彩视频| 96色婷婷| 五月天激情综合10p| 丁香五月成人| 成人日韩欧美| 婷婷综合色| 婷婷五月丁香香蕉| 成人五月天视频播放| 超碰在线观看三级片| 天天看片日日夜夜| 五月天婷婷色综合| 九九热黄色| 超碰爱爱爱| 久九九热| 亚洲视色| 3DAV亚洲香蕉久久 一区二区| 日日夜夜噜噜爽爽| 丁香婷婷综合激情五月色| 五月天国产成人| 九热视频| 久久九九综合| 9色在线| 丁香五月网址| 婷婷五月天激情综合| 97热久久| 91九色中文| 五月天激情网址| 五月婷综合| 2013AV天堂| 五月婷婷啪啪啪啪| 九色视频九色九色91jiuseshipin| 九色视频这里只有精品| 乱精品一区字幕二区| 精品九九在线观看| 92久久精品一区二区| 人妻乱码久久久| 五月天激情国产综合婷婷婷 | 久久大香蕉丁香| 2w在线视频| 国产精品天天狠天天看| 天天干天天操天天干天天操天天干天天操| 超pen个人视频97| 欧美激情xxxXX| 成人国产欧美大片一区| 五月丁香好婷婷姑娘综合网| 白人荫道BBWBBB大荫道| 国产又黄又爽又激情不遮挡视频在线观看| 欧美性爱五月天| 天天色伊人| 丁香五月激情久久麻豆| 99视频精品全部免费观看| www九九免费视频| 国产色五月| 亚洲欧洲小视频9| 色婷婷在线视频| 欧美伊人9| 五月丁香91| 婷婷五月天成人导航| 99精品福利视频| 人人操AV| 激情久久五月天| 丁香婷婷色五月| 六月色婷婷色| 五月综合色| 久久精品永久免费| 激情六月婷婷啪啪| 五月天伊人网| 97干欧美| 丁香五月激情综合| 色小说婷婷五月天天天| 免费视频WWW在线观看网站| 五月精品免费XXX| 97五月综合网| 五月婷婷综合久久| wWwCom夜操wwW| 一本色道久久88综合日韩精品| 丁香五月婷婷乱| 五月天色站| 天天弄天天操| 精品乱码视频| 欧美成人猛片AAAAAAA| 天天搞天天色综合| 成人永久免费视频在线观看| 思思热在线播放| 久久久久综合激动五月天| H亚洲| 99热99美国在线观看| 伦乱天堂| 图片区 小说区 区 亚洲五月| 午夜丁香五月天综合| 超碰99热精品| 可以看的av| 蜜桃婷婷丁香| 色婷婷91| 大香蕉综合在线| 狠狠人妻久久久久久综合丁香| 五月丁香婷婷色播无码| 午夜色婷婷| 色婷婷成人影片| 伊人热婷婷| 色色亚洲五月天| 日本成人噜噜噜噜噜| 午夜日日| www.激情| 久久A区B区| 色婷婷在线播放| 精品欧美性爱超级爽| 丁香五月在线观看| 久久中文人妻系列| 欧美久久久中文字幕| 91丨九色丨熟女丰满| 婷五月丁香| 色婷婷性爱| 婷婷五月情| 中文字幕乱轮| 久操操| 精品九九九久| 99热自拍| 五月丁香婷婷激激激综合网色播| 丁香久久久| 国产美女无遮挡裸体毛片A片| 97色色色| 丁香激情五月综合网| 久久aaaaa| 六月丁丁香| 四月丁香五月婷婷久久| www.天天干.com| 久人人操| 婷色五月天| 五月花免费视频| ,99视频久久| 99伊人婷婷在线| 深爱激情五月天| 丁香激情网| 婷婷黄色五月天在线视频| 人人操人人爽成人AV| 日本视频不卡123区| 九九re精品视频在线观看| 日日想日日夜日日操| 久久久久久久久久久44| 婷婷五月天AV| 丁香五月激情综合| 三十路磁力链接| 久久婷婷五月天蜜桃| 国产操B| 五月天精品| 夜夜干夜夜操| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 色婷婷在线视频观看| 99久久久99久久91熟女| 色五月婷婷五月天激情综合| 久久九九免费大视频| 亚洲成人九九九| 五月J香蕉婷婷| 精品人妻一区二区三区四区不卡在| 思思热AV| tingting五月天亚洲| 欧美精品啪啪| 伊人成综合五月婷婷| 五月丁香狠狠爱| 91碰在线| AAAA网站| 深爱激情小说五月婷婷| 亚洲啪视频| 九色在线观看91av| 欧美韩国日本| 色五月婷婷色| 色五月天电影| 互月天综合| 日本色噜| 久草五月婷婷| 黄色aa观看aaguochan| 开心激情站| 五月婷婷中文| 9l视频自拍9l视频自拍九色学生| 六月色狠狠色| 人妻久久久久| 中文字幕人妻在线| 激情久久综合网| 九九色婷婷五月天| 婷婷久久五月天| 91狠狠综合久久久久久| 五月婷婷啪啪| 五月花综合视频| 五月天艹天天| 婷婷五月天综合蜜桃| 激情综合五月丁香| 97色永久免费视频| 亚洲人妻电影| 抽插特写| 婷婷五月天VI| 99在线精品免费视频| 久久久久人妻网址| 美女精品一级不卡视频| 播五月丁香三月婷婷| 色婷婷婷婷五月天| 99热这里只有精品69| 婷婷色天香| 亚洲综合激| 做爱夜夜干天天操| 97综合在线| 婷婷综合色图| 强伦轩人妻一区二区电影| 五月婷婷亚洲色图| 国产伊人大香蕉| 91碰碰碰久久久久| 国产一级黄色影片,| 色一情一乱一伦一区二区三区| 色99在线| 色五月婷婷中文字幕| 99热久草| 婷婷九月亚洲| 91丨九色丨熟女| 综合网啪啪| 婷婷综合一二三| 99热碰碰| 97婷婷狠狠| 成人av在线电影| 97碰人人操| 97九色视频| 亚洲激情婷婷| 日韩无码专区| 99九九精品| 夜夜爽天天爽|