欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Java爬蟲實戰(zhàn):招聘網(wǎng)站數(shù)據(jù)采集與反爬應(yīng)對

Java爬蟲實戰(zhàn):招聘網(wǎng)站數(shù)據(jù)采集與反爬應(yīng)對 1. 為什么我選擇用Java啃下招聘網(wǎng)站這塊硬骨頭做數(shù)據(jù)分析和求職輔助工具的人繞不開的一個需求就是批量獲取招聘崗位信息。我最早用Python的requests加BeautifulSoup寫過一版跑得挺順但后來項目要集成到一個已有的Java后臺管理系統(tǒng)里團隊技術(shù)棧清一色Java再維護兩套語言成本太高索性把采集模塊整個用Java重寫了一遍。這篇文章就是那次重寫過程中沉淀下來的完整思路和踩坑記錄。招聘類網(wǎng)站的數(shù)據(jù)價值不用多說——崗位名稱、薪資范圍、學(xué)歷要求、經(jīng)驗門檻、技能標(biāo)簽、公司規(guī)模、融資階段這些字段組合起來能做很多事分析某個技術(shù)方向的市場需求走勢、對比不同城市的薪資差異、給求職者做崗位匹配推薦、甚至幫培訓(xùn)機構(gòu)判斷該開什么課。但這類網(wǎng)站的數(shù)據(jù)不是白給的它們有反爬機制、有登錄墻、有動態(tài)渲染直接硬來基本是碰一鼻子灰。Java做網(wǎng)絡(luò)爬蟲的優(yōu)勢在于生態(tài)成熟、并發(fā)能力強、和業(yè)務(wù)系統(tǒng)集成方便。HttpClient負(fù)責(zé)發(fā)請求Jsoup負(fù)責(zé)解析HTMLJackson或Fastjson負(fù)責(zé)處理JSON再加上線程池做并發(fā)控制一套組合拳下來能覆蓋絕大多數(shù)采集場景。這篇文章適合有Java基礎(chǔ)、想動手做數(shù)據(jù)采集的開發(fā)者也適合已經(jīng)寫過簡單爬蟲但遇到反爬就卡住的人。我會從目標(biāo)分析、請求構(gòu)造、頁面解析、反爬應(yīng)對、數(shù)據(jù)存儲這幾個維度把整個流程拆開講透代碼可以直接參考復(fù)現(xiàn)。需要提前說明的是本文討論的技術(shù)方案僅用于學(xué)習(xí)和技術(shù)研究目的實際使用時請遵守目標(biāo)網(wǎng)站的服務(wù)條款和相關(guān)法律法規(guī)控制采集頻率不要對目標(biāo)服務(wù)器造成壓力。技術(shù)本身是中性的怎么用取決于使用的人。2. 動手之前先把目標(biāo)網(wǎng)站的請求鏈路摸清楚2.1 從瀏覽器開發(fā)者工具里挖出真正的數(shù)據(jù)接口很多人寫爬蟲的第一步是直接拿URL去請求HTML然后發(fā)現(xiàn)返回的內(nèi)容里根本沒有崗位數(shù)據(jù)。這是因為現(xiàn)代招聘網(wǎng)站基本都是前后端分離架構(gòu)頁面骨架是靜態(tài)的崗位列表是JavaScript異步加載的。你右鍵查看網(wǎng)頁源代碼看到的可能只是一堆div容器真正的數(shù)據(jù)藏在XHR請求的響應(yīng)里。正確的做法是打開瀏覽器的開發(fā)者工具切到Network面板篩選XHR或Fetch請求然后刷新頁面或滾動加載更多崗位。你會看到一系列接口請求響應(yīng)格式通常是JSON。找到那個返回崗位列表的接口把它的請求URL、請求方法、請求頭、請求參數(shù)全部記錄下來。這一步是整個爬蟲的地基地基沒打?qū)竺嫒踪M。以我實際分析的某招聘平臺為例它的崗位搜索接口大致是這樣的結(jié)構(gòu)一個GET請求URL里帶了query參數(shù)搜索關(guān)鍵詞、city參數(shù)城市編碼、page參數(shù)頁碼請求頭里必須帶User-Agent、Referer、Cookie等字段。響應(yīng)是一個JSON對象里面有個data字段data里又有jobList數(shù)組每個元素包含jobName、salaryDesc、jobLabels、skills、experienceName等字段。這些字段名就是后面解析時的key。注意不同招聘平臺的接口結(jié)構(gòu)差異很大有的用POST有的參數(shù)做了加密簽名有的需要登錄態(tài)。不要照搬某個平臺的方案一定要自己動手分析目標(biāo)平臺的實際請求。2.2 請求頭里哪些字段是必須帶的分析接口的時候重點看請求頭。以下幾個字段通常缺一不可User-Agent標(biāo)識客戶端類型不帶的話服務(wù)器可能直接返回403。建議用真實瀏覽器的UA字符串不要用Java默認(rèn)的。Referer告訴服務(wù)器你是從哪個頁面發(fā)起的請求很多網(wǎng)站會校驗這個字段。Cookie維持會話狀態(tài)有些接口需要登錄后才能訪問Cookie里帶著身份憑證。Accept聲明期望的響應(yīng)格式一般設(shè)為application/json或text/html。X-Requested-With部分網(wǎng)站用它判斷是不是Ajax請求設(shè)為XMLHttpRequest。我習(xí)慣在代碼里把這些請求頭集中管理用一個Map或者配置類存起來方便統(tǒng)一修改。下面是一個典型的請求頭配置示例MapString, String headers new HashMap(); headers.put(User-Agent, Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36); headers.put(Referer, https://example.com/job/search); headers.put(Accept, application/json, text/plain, */*); headers.put(Accept-Language, zh-CN,zh;q0.9); headers.put(Cookie, 你的Cookie字符串);2.3 分頁參數(shù)與城市編碼的對應(yīng)關(guān)系招聘網(wǎng)站的搜索接口通常支持分頁page參數(shù)從1開始遞增。但要注意有些平臺對翻頁深度有限制比如只允許查看前30頁或前100條記錄。超過限制后要么返回空數(shù)據(jù)要么要求登錄。這個限制在做數(shù)據(jù)量評估時必須提前確認(rèn)否則你寫了個循環(huán)跑了幾百頁結(jié)果后面全是重復(fù)數(shù)據(jù)或空響應(yīng)。城市編碼是另一個容易踩坑的地方。招聘網(wǎng)站一般用內(nèi)部編碼表示城市比如北京可能是101010100上海是101020100這些編碼不會直接顯示在頁面上需要從接口請求參數(shù)里抓取或者從網(wǎng)站的城市列表接口獲取。我的做法是先手動搜索一次目標(biāo)城市在Network面板里找到實際發(fā)出的請求把city參數(shù)的值記下來硬編碼到一個枚舉或配置文件中。public enum CityEnum { BEIJING(101010100, 北京), SHANGHAI(101020100, 上海), GUANGZHOU(101280100, 廣州), SHENZHEN(101280600, 深圳); private final String code; private final String name; CityEnum(String code, String name) { this.code code; this.name name; } public String getCode() { return code; } public String getName() { return name; } }3. 用HttpClient構(gòu)建一個能扛住壓力的請求層3.1 連接池配置與超時設(shè)置的門道Java原生的HttpURLConnection用起來太原始Apache HttpClient是更成熟的選擇。但很多人直接new一個CloseableHttpClient就開跑沒配連接池沒設(shè)超時跑幾十個請求還行上千個請求就開始報連接超時或資源耗盡。正確的做法是用PoolingHttpClientConnectionManager管理連接池設(shè)置最大連接數(shù)和每個路由的最大連接數(shù)。超時方面要分三層設(shè)置connectTimeout建立TCP連接的超時、socketTimeout等待數(shù)據(jù)的超時、connectionRequestTimeout從連接池獲取連接的超時。這三個超時各有用途缺一不可。PoolingHttpClientConnectionManager connManager new PoolingHttpClientConnectionManager(); connManager.setMaxTotal(100); connManager.setDefaultMaxPerRoute(20); RequestConfig requestConfig RequestConfig.custom() .setConnectTimeout(5000) .setSocketTimeout(10000) .setConnectionRequestTimeout(3000) .build(); CloseableHttpClient httpClient HttpClients.custom() .setConnectionManager(connManager) .setDefaultRequestConfig(requestConfig) .build();實測下來connectTimeout設(shè)5秒、socketTimeout設(shè)10秒是比較穩(wěn)妥的區(qū)間。設(shè)太短容易誤殺正常請求設(shè)太長遇到死連接會拖慢整體進度。連接池的maxTotal根據(jù)你的并發(fā)線程數(shù)來定一般設(shè)成線程數(shù)的2到3倍就夠了。3.2 重試機制不是簡單加個循環(huán)網(wǎng)絡(luò)請求失敗是常態(tài)尤其是采集大量數(shù)據(jù)的時候。但重試不是無腦for循環(huán)重試三次就完事要區(qū)分哪些異常值得重試哪些重試也沒用。值得重試的情況連接超時、讀取超時、服務(wù)器返回502/503/504。不值得重試的情況403禁止訪問、404不存在、401未授權(quán)。前者是臨時性故障重試可能成功后者是權(quán)限或資源問題重試一百次結(jié)果一樣。HttpClient自帶了一個HttpRequestRetryHandler可以自定義重試邏輯HttpRequestRetryHandler retryHandler (exception, executionCount, context) - { if (executionCount 3) { return false; } if (exception instanceof ConnectTimeoutException) { return true; } if (exception instanceof SocketTimeoutException) { return true; } if (exception instanceof NoHttpResponseException) { return true; } return false; };把retryHandler設(shè)置到HttpClientBuilder上就能自動處理重試。但要注意重試之間最好加個短暫的等待避免瞬間密集重試觸發(fā)風(fēng)控。3.3 代理IP的合理使用方式采集量大了之后單IP請求頻率過高會被限制。這時候需要引入代理IP池。代理的來源可以是商業(yè)代理服務(wù)也可以自建。使用方式是在請求配置里設(shè)置代理HttpHost proxy new HttpHost(代理IP, 端口); RequestConfig config RequestConfig.custom() .setProxy(proxy) .build();代理池的管理是個獨立話題核心思路是維護一個可用代理列表每次請求隨機選一個請求失敗則標(biāo)記該代理不可用并剔除定期補充新代理。我一般會寫一個ProxyPool類內(nèi)部用一個阻塞隊列存代理后臺線程定期檢測代理可用性。提示代理IP的質(zhì)量參差不齊免費代理基本不能用商業(yè)代理也要先小批量測試。建議在正式采集前用一批代理跑一輪測試請求統(tǒng)計成功率和響應(yīng)時間篩選出可用的再投入生產(chǎn)。4. 解析JSON響應(yīng)與字段提取的實戰(zhàn)細(xì)節(jié)4.1 用Jackson做JSON反序列化的正確姿勢拿到接口返回的JSON字符串后下一步是解析出需要的字段。Jackson是Java生態(tài)里最常用的JSON庫性能好、功能全?;居梅ㄊ菢?gòu)建ObjectMapper然后readTree成JsonNode再按路徑逐層取值。ObjectMapper mapper new ObjectMapper(); JsonNode rootNode mapper.readTree(responseBody); JsonNode jobList rootNode.path(data).path(jobList); for (JsonNode job : jobList) { String jobName job.path(jobName).asText(); String salary job.path(salaryDesc).asText(); String experience job.path(experienceName).asText(); String degree job.path(degreeName).asText(); // 技能標(biāo)簽是一個數(shù)組 ListString skills new ArrayList(); JsonNode skillsNode job.path(skills); if (skillsNode.isArray()) { for (JsonNode skill : skillsNode) { skills.add(skill.asText()); } } }用path()而不是get()的好處是當(dāng)字段不存在時path()返回MissingNodeasText()返回空字符串不會拋NullPointerException。這在字段結(jié)構(gòu)不穩(wěn)定的接口里特別重要。4.2 薪資字段的清洗與結(jié)構(gòu)化招聘網(wǎng)站返回的薪資通常是一個字符串比如15-25K·13薪、20-40K、8-12K·14薪這種格式。直接存字符串沒法做數(shù)值分析需要拆解成最低薪資、最高薪資、薪資月數(shù)三個字段。public class SalaryParser { public static SalaryInfo parse(String salaryStr) { SalaryInfo info new SalaryInfo(); // 處理·13薪部分 int months 12; if (salaryStr.contains(·)) { String[] parts salaryStr.split(·); salaryStr parts[0]; String monthStr parts[1].replace(薪, ); months Integer.parseInt(monthStr); } // 處理15-25K部分 salaryStr salaryStr.replace(K, ).replace(k, ); if (salaryStr.contains(-)) { String[] range salaryStr.split(-); info.setMinSalary(Double.parseDouble(range[0])); info.setMaxSalary(Double.parseDouble(range[1])); } else { double single Double.parseDouble(salaryStr); info.setMinSalary(single); info.setMaxSalary(single); } info.setMonths(months); return info; } }實際數(shù)據(jù)里還會遇到面議、薪資面議這種非數(shù)值的情況解析時要單獨處理標(biāo)記為未知或跳過。另外有些崗位標(biāo)注的是日薪或時薪單位不是K這些都要在解析邏輯里做兼容。4.3 技能標(biāo)簽的歸一化處理崗位的技能標(biāo)簽是最有價值的數(shù)據(jù)之一但不同公司寫的標(biāo)簽五花八門。同樣是Java開發(fā)有的寫Java有的寫JAVA有的寫java開發(fā)有的寫Java工程師。如果不做歸一化后續(xù)統(tǒng)計出來的結(jié)果會很亂。我的做法是維護一個映射表把常見變體映射到標(biāo)準(zhǔn)名稱MapString, String skillNormalizeMap new HashMap(); skillNormalizeMap.put(java, Java); skillNormalizeMap.put(JAVA, Java); skillNormalizeMap.put(spring, Spring); skillNormalizeMap.put(springboot, Spring Boot); skillNormalizeMap.put(spring boot, Spring Boot); skillNormalizeMap.put(mysql, MySQL); skillNormalizeMap.put(redis, Redis);歸一化之后再做詞頻統(tǒng)計結(jié)果就干凈多了。這個映射表需要根據(jù)實際采集到的數(shù)據(jù)不斷補充完善一開始不用追求大而全先覆蓋高頻技能即可。5. 反爬機制識別與應(yīng)對策略的完整排查鏈路5.1 從403到驗證碼一次完整的踩坑記錄我第一次跑批量采集的時候前50個請求一切正常第51個開始全部返回403。當(dāng)時第一反應(yīng)是IP被封了換了代理繼續(xù)跑結(jié)果新IP跑了幾十個請求又被封。這說明不是IP的問題是請求特征被識別了。排查過程是這樣的先用單個請求手動測試確認(rèn)請求頭和參數(shù)沒問題能正常返回數(shù)據(jù)。然后逐步增加請求頻率發(fā)現(xiàn)當(dāng)QPS超過某個閾值時開始出現(xiàn)403。接著檢查響應(yīng)內(nèi)容發(fā)現(xiàn)403頁面里有一段JavaScript代碼是網(wǎng)站的反爬腳本在檢測瀏覽器環(huán)境。再進一步分析發(fā)現(xiàn)網(wǎng)站還校驗了Cookie中的某些字段這些字段是頁面加載時由JavaScript生成的。這個排查鏈路告訴我們反爬不是單一維度的而是多維度組合的。頻率限制、請求頭校驗、Cookie校驗、JavaScript挑戰(zhàn)可能同時存在。應(yīng)對策略也要分層頻率控制解決QPS問題請求頭偽裝解決特征識別問題Cookie維護解決會話校驗問題。5.2 請求頻率控制的工程化實現(xiàn)控制頻率最粗暴的方式是Thread.sleep()但這樣會阻塞線程浪費資源。更好的方式是用Guava的RateLimiter做令牌桶限流RateLimiter rateLimiter RateLimiter.create(2.0); // 每秒2個請求 public String fetchWithRateLimit(String url) { rateLimiter.acquire(); // 獲取令牌不夠就等待 return doFetch(url); }RateLimiter.create(2.0)表示每秒生成2個令牌acquire()會阻塞直到拿到令牌。這樣既能控制速率又不會像sleep那樣浪費固定時間。實際采集時建議把QPS控制在1到3之間具體看目標(biāo)網(wǎng)站的容忍度。我一般會先小批量測試從QPS1開始逐步提高觀察什么時候開始出現(xiàn)異常響應(yīng)然后把生產(chǎn)環(huán)境的QPS設(shè)成臨界值的一半。5.3 Cookie的獲取與維護策略需要登錄態(tài)的接口Cookie是繞不過去的。獲取Cookie有兩種方式一是手動登錄后從瀏覽器復(fù)制二是用程序模擬登錄流程自動獲取。手動方式簡單但Cookie會過期適合短期采集自動方式復(fù)雜但可持續(xù)適合長期運行。手動獲取的Cookie一般有效期幾小時到幾天過期后需要重新獲取。我的做法是把Cookie存在配置文件或數(shù)據(jù)庫里程序啟動時加載運行中檢測到401或403且確認(rèn)是Cookie過期導(dǎo)致的就發(fā)通知提醒更新。自動登錄涉及模擬表單提交、處理驗證碼等環(huán)節(jié)復(fù)雜度較高。如果目標(biāo)網(wǎng)站有驗證碼還需要接入打碼服務(wù)或做OCR識別。這部分展開講篇幅太大這里只提一個思路用Selenium或Playwright驅(qū)動真實瀏覽器完成登錄然后從瀏覽器上下文里提取Cookie再交給HttpClient使用。這樣既繞過了JavaScript加密的登錄參數(shù)又能拿到有效的會話憑證。5.4 遇到IP封禁時的應(yīng)急處理即使做了頻率控制長時間采集還是可能觸發(fā)IP封禁。封禁的表現(xiàn)通常是所有請求返回403或者返回一個特殊的驗證頁面。這時候需要切換到備用IP。代理池的切換邏輯要做得平滑主IP被封后自動從池中取下一個可用IP繼續(xù)未完成的任務(wù)。同時記錄被封的IP和封禁時間過一段時間后再檢測是否解封。如果所有IP都被封了程序應(yīng)該暫停并告警而不是繼續(xù)無效請求。public class ProxyManager { private BlockingQueueProxy availableProxies; private SetProxy bannedProxies; public Proxy getProxy() { Proxy proxy availableProxies.poll(); if (proxy null) { throw new RuntimeException(代理池已耗盡); } return proxy; } public void reportBanned(Proxy proxy) { bannedProxies.add(proxy); // 延遲后重新加入可用池 scheduledExecutor.schedule(() - { bannedProxies.remove(proxy); availableProxies.offer(proxy); }, 30, TimeUnit.MINUTES); } }6. 數(shù)據(jù)存儲方案選型與批量寫入優(yōu)化6.1 存文件還是存數(shù)據(jù)庫根據(jù)數(shù)據(jù)量做決定采集到的數(shù)據(jù)存哪里取決于數(shù)據(jù)量和使用場景。如果只是幾千條數(shù)據(jù)做一次性分析存CSV或JSON文件就夠了簡單直接。如果要持續(xù)采集、數(shù)據(jù)量到幾十萬上百萬條或者需要頻繁查詢和關(guān)聯(lián)分析那就得上數(shù)據(jù)庫。我的建議是采集階段先落地到文件JSON Lines格式每行一個JSON對象這樣即使程序崩潰也不會丟數(shù)據(jù)而且方便排查問題。采集完成后再批量導(dǎo)入數(shù)據(jù)庫做后續(xù)處理。JSON Lines的好處是追加寫入方便不需要讀取整個文件再修改。public void saveToFile(JobInfo job, String filePath) { try (BufferedWriter writer new BufferedWriter( new FileWriter(filePath, true))) { ObjectMapper mapper new ObjectMapper(); writer.write(mapper.writeValueAsString(job)); writer.newLine(); } catch (IOException e) { log.error(寫入文件失敗, e); } }6.2 MySQL表結(jié)構(gòu)設(shè)計與索引優(yōu)化如果選擇MySQL存儲表結(jié)構(gòu)設(shè)計要考慮查詢場景。崗位信息表的核心字段包括崗位ID唯一標(biāo)識、崗位名稱、公司名稱、薪資范圍、城市、經(jīng)驗要求、學(xué)歷要求、技能標(biāo)簽、采集時間。CREATE TABLE job_info ( id BIGINT AUTO_INCREMENT PRIMARY KEY, job_id VARCHAR(64) NOT NULL COMMENT 崗位唯一標(biāo)識, job_name VARCHAR(128) NOT NULL COMMENT 崗位名稱, company_name VARCHAR(128) COMMENT 公司名稱, salary_min DECIMAL(10,2) COMMENT 最低薪資(K), salary_max DECIMAL(10,2) COMMENT 最高薪資(K), salary_months INT DEFAULT 12 COMMENT 薪資月數(shù), city VARCHAR(32) COMMENT 城市, experience VARCHAR(32) COMMENT 經(jīng)驗要求, degree VARCHAR(32) COMMENT 學(xué)歷要求, skills VARCHAR(512) COMMENT 技能標(biāo)簽逗號分隔, crawl_time DATETIME DEFAULT CURRENT_TIMESTAMP COMMENT 采集時間, UNIQUE KEY uk_job_id (job_id), INDEX idx_city (city), INDEX idx_job_name (job_name), INDEX idx_crawl_time (crawl_time) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4;job_id上建唯一索引是為了去重重復(fù)采集時用INSERT IGNORE或ON DUPLICATE KEY UPDATE避免重復(fù)插入。city和job_name上建普通索引是為了加速按城市和崗位名稱的查詢。crawl_time索引用于按時間范圍篩選。6.3 批量插入的性能對比實測逐條INSERT在數(shù)據(jù)量大時性能很差每條都要走一次網(wǎng)絡(luò)往返和事務(wù)提交。批量插入能顯著提升吞吐量。我實測過三種方式的性能差異插入方式1萬條耗時說明逐條INSERT約45秒每條一個事務(wù)批量INSERT500條一批約3秒需設(shè)置rewriteBatchedStatementstrueLOAD DATA INFILE約1秒需要文件權(quán)限適合超大批量批量插入的關(guān)鍵是在JDBC URL里加上rewriteBatchedStatementstrue否則MySQL驅(qū)動不會真正合并SQL語句。代碼層面用addBatch()和executeBatch()String sql INSERT INTO job_info (job_id, job_name, company_name, salary_min, salary_max, city, experience, degree, skills) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?); try (PreparedStatement pstmt conn.prepareStatement(sql)) { conn.setAutoCommit(false); int count 0; for (JobInfo job : jobList) { pstmt.setString(1, job.getJobId()); pstmt.setString(2, job.getJobName()); // ... 設(shè)置其他參數(shù) pstmt.addBatch(); if (count % 500 0) { pstmt.executeBatch(); conn.commit(); } } pstmt.executeBatch(); conn.commit(); }注意批量插入時如果某條數(shù)據(jù)違反唯一約束整個批次可能失敗。用INSERT IGNORE可以跳過重復(fù)數(shù)據(jù)但會忽略其他錯誤。更穩(wěn)妥的做法是先用SELECT查出已存在的job_id過濾后再批量插入。7. 并發(fā)采集的線程模型與任務(wù)調(diào)度設(shè)計7.1 用線程池管理采集任務(wù)單線程采集太慢假設(shè)每個請求耗時500毫秒采集1萬條數(shù)據(jù)需要5000秒將近一個半小時。用10個線程并發(fā)理論上能壓縮到9分鐘左右。但線程不是越多越好太多線程會導(dǎo)致請求頻率過高觸發(fā)風(fēng)控也會增加上下文切換開銷。我的經(jīng)驗是線程數(shù)控制在5到10之間配合RateLimiter做全局限流。線程池用ThreadPoolExecutor手動創(chuàng)建不要用Executors.newFixedThreadPool()因為后者用的是無界隊列任務(wù)積壓時可能OOM。ThreadPoolExecutor executor new ThreadPoolExecutor( 5, // 核心線程數(shù) 10, // 最大線程數(shù) 60L, TimeUnit.SECONDS, // 空閑線程存活時間 new LinkedBlockingQueue(1000), // 有界隊列 new ThreadFactoryBuilder().setNameFormat(crawler-%d).build(), new ThreadPoolExecutor.CallerRunsPolicy() // 拒絕策略 );CallerRunsPolicy表示隊列滿了之后由提交任務(wù)的線程自己執(zhí)行這樣能起到背壓作用防止任務(wù)無限堆積。7.2 分頁任務(wù)的拆分與結(jié)果聚合采集任務(wù)可以按頁碼拆分每個線程負(fù)責(zé)若干頁。比如總共100頁10個線程每個線程負(fù)責(zé)10頁。但要注意頁碼的分配要考慮請求間隔不能讓所有線程同時請求相鄰頁那樣請求特征太明顯。更好的方式是用一個共享的AtomicInteger作為頁碼計數(shù)器每個線程從計數(shù)器里取下一頁的頁碼取完就加一。這樣線程之間自然錯開不會重復(fù)采集同一頁。AtomicInteger pageCounter new AtomicInteger(1); int totalPages 100; Runnable task () - { while (true) { int page pageCounter.getAndIncrement(); if (page totalPages) { break; } try { ListJobInfo jobs fetchPage(page); saveJobs(jobs); } catch (Exception e) { log.error(采集第{}頁失敗, page, e); } } };結(jié)果聚合方面每個線程采集到的數(shù)據(jù)先存到線程本地的List里最后統(tǒng)一匯總。或者直接用線程安全的ConcurrentLinkedQueue收集避免鎖競爭。7.3 采集進度的監(jiān)控與斷點續(xù)傳長時間運行的采集任務(wù)需要進度監(jiān)控否則你不知道跑到哪了、還剩多少、有沒有卡住。簡單的做法是每完成一頁就打印日志記錄當(dāng)前頁碼和已采集數(shù)量。更完善的做法是用AtomicLong統(tǒng)計成功和失敗的數(shù)量定期輸出統(tǒng)計信息。斷點續(xù)傳是另一個實用功能。程序意外中斷后重新啟動時能從上次中斷的頁碼繼續(xù)而不是從頭再來。實現(xiàn)方式是把已完成的頁碼記錄到文件或Redis里啟動時讀取并跳過這些頁碼。public class ProgressTracker { private SetInteger completedPages new HashSet(); private String progressFile progress.txt; public void load() { // 從文件加載已完成的頁碼 try (BufferedReader reader new BufferedReader(new FileReader(progressFile))) { String line; while ((line reader.readLine()) ! null) { completedPages.add(Integer.parseInt(line.trim())); } } catch (IOException e) { // 文件不存在則忽略 } } public void markCompleted(int page) { completedPages.add(page); // 追加寫入文件 try (BufferedWriter writer new BufferedWriter(new FileWriter(progressFile, true))) { writer.write(String.valueOf(page)); writer.newLine(); } catch (IOException e) { log.error(記錄進度失敗, e); } } public boolean isCompleted(int page) { return completedPages.contains(page); } }8. 采集過程中的幾個實用技巧與避坑經(jīng)驗8.1 請求間隔的隨機化處理固定間隔的請求模式很容易被識別。比如你每隔1秒發(fā)一個請求連續(xù)發(fā)100個這個模式太規(guī)律了風(fēng)控系統(tǒng)一眼就能看出來。解決辦法是在基礎(chǔ)間隔上疊加隨機抖動public void randomDelay() { // 基礎(chǔ)間隔1000ms隨機浮動500ms long delay 1000 (long)(Math.random() * 500); try { Thread.sleep(delay); } catch (InterruptedException e) { Thread.currentThread().interrupt(); } }這樣請求間隔在1000到1500毫秒之間隨機分布看起來更像人工操作。如果配合RateLimiter使用可以把RateLimiter的速率設(shè)得稍高一些然后用隨機延遲做二次控制。8.2 響應(yīng)內(nèi)容的編碼問題中文網(wǎng)站經(jīng)常遇到編碼問題返回的JSON里中文變成亂碼。原因是服務(wù)器返回的Content-Type里聲明的編碼和實際編碼不一致或者HttpClient沒有正確識別。解決辦法是手動指定編碼String responseBody EntityUtils.toString(entity, StandardCharsets.UTF_8);如果UTF-8還是亂碼試試GBK。有些老網(wǎng)站用的是GB2312或GBK編碼??梢栽陧憫?yīng)頭里看Content-Type字段的charset值按那個來設(shè)置。8.3 日志記錄的分級與脫敏采集程序的日志要分級記錄INFO級別記錄每頁的采集結(jié)果WARN級別記錄重試和異常ERROR級別記錄失敗和需要人工介入的問題。日志里不要打印完整的Cookie和請求頭這些包含敏感信息泄露出去有安全風(fēng)險。log.info(第{}頁采集完成獲取{}條數(shù)據(jù), page, jobs.size()); log.warn(第{}頁請求失敗準(zhǔn)備第{}次重試, page, retryCount); log.error(第{}頁采集失敗已重試{}次, page, maxRetry);8.4 數(shù)據(jù)去重的時機與策略去重可以在三個環(huán)節(jié)做采集時去重、入庫時去重、分析時去重。采集時去重最省資源但需要維護一個已采集ID的集合內(nèi)存占用隨數(shù)據(jù)量增長。入庫時去重用數(shù)據(jù)庫唯一索引簡單可靠但會增加數(shù)據(jù)庫壓力。分析時去重最靈活但每次分析都要處理重復(fù)數(shù)據(jù)。我的建議是入庫時去重為主采集時去重為輔。采集時用一個布隆過濾器或Redis Set記錄已采集的job_id快速判斷是否重復(fù)入庫時用唯一索引兜底確保最終數(shù)據(jù)不重復(fù)。// 用Redis Set做采集時去重 public boolean isDuplicate(String jobId) { Boolean added redisTemplate.opsForSet().add(crawled_job_ids, jobId); return added null || !added; }8.5 異常情況的兜底處理采集過程中會遇到各種異常網(wǎng)絡(luò)超時、JSON解析失敗、字段缺失、數(shù)據(jù)庫連接斷開。每個環(huán)節(jié)都要有兜底處理不能讓一個異常導(dǎo)致整個程序崩潰。網(wǎng)絡(luò)異常用重試機制處理重試多次仍失敗則記錄到失敗隊列后續(xù)單獨處理。JSON解析失敗通常是接口結(jié)構(gòu)變了這時候要記錄原始響應(yīng)內(nèi)容方便排查。字段缺失用默認(rèn)值填充不要拋異常。數(shù)據(jù)庫連接斷開用連接池自動重連或者捕獲異常后重新獲取連接。try { ListJobInfo jobs parseResponse(responseBody); saveToDatabase(jobs); } catch (JsonParseException e) { log.error(JSON解析失敗原始響應(yīng){}, responseBody, e); saveFailedRecord(responseBody); } catch (SQLException e) { log.error(數(shù)據(jù)庫寫入失敗, e); saveToFile(jobs); // 降級到文件存儲 }這套采集方案我在幾個內(nèi)部項目里跑過單機每天穩(wěn)定采集幾萬條數(shù)據(jù)沒有問題。核心不在于代碼寫得多復(fù)雜而在于對目標(biāo)網(wǎng)站的理解夠不夠深、對異常情況的考慮夠不夠全。先把請求鏈路摸清楚再把反爬策略研究透最后把工程細(xì)節(jié)做扎實剩下的就是耐心跑數(shù)據(jù)了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲、热| 国产一级片色色| 丁香丝袜五月| AV在线大香蕉| 婷婷五月综合网| 五月婷婷欧美激情| 丁香六月婷婷综合在线| 久久草婷婷丁香网站| 婷婷丁香色五月亚洲| 婷婷丁香五月麻豆| 91婷婷搞| 天天日天天添| 日逼免费视频| 91九色无码日韩| 97婷婷色| 亚洲成人日韩无码精品| 久久九九网| 天天综合色| 五月天婷婷视频| 五月婷婷成人| 大香蕉久久| 狠狠色综合网| 春色激情| 26uuu亚洲精品国产| 久久久婷| 久久资源网五月婷| 五月婷六月丁香| 日日夜夜狠狠干| 玖玖婷婷色五月| 日日爱激情| 五月婷婷丁香社区| 久久婷色| 99热99| 久久一伦| 夜夜噜夜夜奇| 甈吧vv| 成人电影AV在线观看| 青青草成人网| 婷婷伊人綜合中文| 久久久精品婷婷五月天| 超碰在线国产9| 色黑鬼导航| 激情五月婷婷中文字幕| 激情丁香五月天| www.夜夜爱.com| 五月丁香六月婷| 丁香五月手机在线| 性一交一乱一交A片久久四色| 激情五婷精品网在线观看网址| 内射激情在线| 秋霞AV吧| 婷婷亚洲五| 日韩免费乱轮网站| 久久久性爱视频| 五月丁香啪啪网| wwwss在线观看| 五月婷婷久久综合| av色婷婷| 国产ava| 激情综合网 激情五月天| 丁香五月天堂| 久久久久亚洲AV成人无码电影| 互月天综合| 婷婷在线网| av 一区三区四区| 操逼棍操逼| 久操大香蕉| 日韩情色在线观看| 天天草天天摸| 久久婷婷丁香五月宗合| 九九热视频在线观看| 久久九九经典| 99热这里只有精品99| 亚洲超级碰| 婷婷五月天资源| 亚洲国产精品VA在线看黑人| 99色热视频| 狠狠爱成人综合网| 这里只有精品免费视频在线观看| 九久久婷婷| 蜘蛛女免费观看完整版高清电影 | 五月天婷婷激情在线色图| 亚洲精品又粗又大又爽A片 | 五月激情偷拍婷婷| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | www,五月天激情| 91久久婷婷| 午夜美女人啪最红院| 99久久婷婷| 婷婷五月天亚洲图片| 六六久久黄色| 欧美性丁香色色五月天干干| 六月婷婷综合久久| 九九热精品99| 99热精品在线观看| 另类综合国产| 在线成人网站| 欧美在线视频99| 777.色色| 国产激情一区| 婷婷狠狠操| 五月丁香六月婷婷无码| 亚州激情在线视频| 婷婷久久欧美| 亚洲婷婷免费| 亚洲精品色| 五月丁香 久久久| 伊人五月婷婷国产视频| 国产精产国品一二三在观看 | 久久综合婷婷| 色婷婷狠狠| 99 频99热国里只有精品| 思思热在线| 久久五月丁香综合17C| 天堂综合久久| 啪啪黄页网| 人人插操| 九月婷婷久久久| 欧美天堂婷婷日韩| 色爱综合网| 99热8| 97操在线视频| 99国产这里只有精品| 婷婷五月天奸女| ..真实国产乱子伦对白在线_欧| 5月婷婷6月六月丁香| 婷婷5月色| 精品久久99| 色婷婷呢狠禁久禁| 午夜天堂一区人妻| 欧美久热| 久久精品A片777777| 99在线精品视频| 91chinese在线| 国产寻花在线| 天天狠狠干| 天天日天天插| 色综合天天| 久久免费干| 色婷婷瘦婷婷日韩| 9l视频自拍九色9l视频自拍九色9l社区 | 婷婷五月丁香基地在线视频官网| 色丁香婷婷| 丁香五月天无码AV| 婷婷亚洲综合| 97大香蕉五月天| 99玖玖人人| 99re思思在线视频| 天天久| 色五月婷婷一二| 久久人妻熟女一区二区| 99开心五月五月丁香激情| 亚洲五月花| 久久久精品人妻| 99精品综合在线| 日本美女天天日天天爽| 日韩色色视频| 综合99综合久久久久久久| 欧美激情五月天在线观看| 国产婷婷五月色情综合| 久久人人做人人妻人人玩精品va| www.天天干.com| 国产精品成人AV在线| 国产又色又爽又黄又免费| 亚洲综合在线伊人婷| 九色91国产| 碰碰操91| 久草婷妨| 2025中文在线视频字幕免费观看| 狠狠干五月天| 午夜大香蕉| 5五月综合网亚洲| 91丨人妻丨国产丨丝袜| 永久地址 色| 国产 亚洲 在线| 六月丁香深深爱| 久热91| 人妻视频在线| 欧美内射AA| 激情五月丁香社区| 丰满少妇猛烈A片免费看观看| 天天爱天天做天天舔| 丁香激情网| .comwww在线观看免费操| 人妻精品久久久久久久| 99在线视频喷水| 久色| 久久黄色免费视频| 丁香六月综合激情| 久久精品小视频| 1024AV视频| 天天狠狠夜夜狠狠2023| 色婷婷88| 99视频在线播放大全| 五月天婷婷AV| 丁香五月六月久久综合 | 久鲁鲁色网 | 青青日韩| 白人荫道BBWBBB大荫道| 亚洲色婷婷五月| 狠狠se| 五月婷婷草| 亚洲人人艹| 涩五月婷婷| 色五月激情视频在线综合| 天天操夜夜肏| 欧美日韩国产伦精品日韩人妻一| 婷婷五月天小说网| 99热在线免费观看精品| 婷婷五月花| 亚洲综合色丁香五月天| 夜夜爱影院| 亚洲精品又粗又大又爽A片| 日日爱699| 人伦30P| 天天草天天爽| 五月丁香福利| 欧美六月婷婷| 婷婷丁香社区网| 被强行糟蹋的女人A片| www国产亚洲色婷婷com| 91热er| 九九re视频在线视频| 婷婷五月大香蕉| 九九re精品视频在线观看| 国产偷人爽久久久久久老妇APP| 九九热思思| 亚洲婷婷月丁香五月| 97人人操人人操人人操人人| 九九精品热| 久鲁鲁色网| 99久久人妻精品无码二区| 97色啪| WWW.桔色成人.COM| 五月婷婷在线免费观看| 综合五月天亚洲婷婷| 日韩精品视频中文字幕| 99热这里只有精品在线观看| aa久久| 亚洲色五月婷婷| 国产精品色色色色| 狠狠色狠狠干| 五月丁香成人| 国产avapp 网| 9色视频在线| 成人在线综合| 婷婷欧美综合| 色哟哟精品| 69精品人人人人人人| 99在线免费观看| 五月天成人网在线观看| 婷婷六月激情丁香| 9这里只有精品| 午夜美女人啪最红院| 激情婷婷五月天网址| 五月天激情黄色小说在线观看| 高清国产AV| 丁香五月天堂网AV| 五月激情婷婷偷拍| 日本欧美成人片AAAA| 少妇水多A片太爽了| 丁香婷婷婷婷十二月在线观看视频| 67194成I人在线观看线路1| 日本一道久久| 欧美搡BBBBB摔BBBBB| 风流少妇A片一区二区蜜桃| 久热这里| 97五月天婷婷综合激情网| 国产精品成人网站| 色色丁香| 色婷婷精品小视频| 精品成人无码A片观看香草视频| 丁香五月激情天AV无码| 天天色综和网| 色五月xxx| 大香蕉手机视频| 亚洲激情99| 香蕉久久国产AV一区二区| 91大屁股精品| 婷婷五月 丁香六月| 成人天天爽| 色五月天在线| www激情| 久久曰曰| 91美女啪啪| 无码激情AAAAA片-区区| 日本视频不卡123区| 午夜激情四射影院| 久久色五月天| 久久这里只有精品无码| 色综合久久88色综合天天99| 亚洲精品久久久久AV无码| 秋霞丝袜啪啪啪| WWW丁香五月| 激情五月天婷婷丁香 | 开心五月婷婷激情| 思思久久精品| 伊人99热| 97干在线播放| 色青五月天| 五月天综合影院| 色色色成人网| 成人在线网站| 深爱婷婷丁香五月激情| 九九九九九999999| 欧美在线干| 五月天婷婷黄色| 色色色999| 99碰网站| 五月花激情| 91丨九色丨熟女高潮| 久久aaaaa| 婷婷五月天 偷拍| 美国十月色婷婷在线观看| 日韩无码AV电影网站| 丁香五月欧美成人| 五月天日日操夜夜操 | 色综合99色| 婷婷五月花西瓜| 热91久| 色综合天堂| 婷婷五月免费视频| 一二线视频 另类| 五月婷婷久久激情| 国产性爱大片久久| 五月亭亭直播| www,99热在线观看| 亚洲五月天伊人| 乱精品一区字幕二区| 淫视馆aV二区一区| 伊人久久艹| 五月丁香综合啪啪啪啪啪| 思思热在线视频精品| 综合激情专区| 久热中文字幕| 成人看片网站| 丁香六月激情| 久久五月天色| 五月天丁香综合| 色色婷婷五月| 色六月丁香婷婷狠狠干| 美国天天操无码| 婷婷五月天AV在线| www.sd-xiangsu.cpm| 国产精品国产成人国产三级| 丁香婷五月天| 亚洲天堂婷婷丁香| 91久久综合亚洲鲁鲁五月天| 五月色婷婷亚洲 | 五月久视频| 九九热色视频| 九九精品热播| 婷婷深爱五月| 五月天婷婷导航| 久久激情天堂| 开心 五月 综合| 久9精品| 狠狠干婷婷| 婷婷五月天干干| 久久久久激情| 色色亚洲| 亚洲超碰在线| 婷婷五月天小说| 婷婷,五月天,丁香,第一| 99热有精品在线观看| 青青草原伊人网| 91大屁股| 激情五月综合| 婷婷丁香五月久久| 成人五月天在线观看| 久久女人天堂| 丁香五月综合激情性爱| 99操碰| 天天干 夜夜爽| 不卡影院午夜理论片| 另类在线| 在线不卡中文字幕| 丁香五月婷婷香| 亚洲成av人影院| 99操逼| 欧美亚洲婷婷五月| 99热这里只有99| 一月婷婷色色| 99色免费| 色婷婷影| 天天综合五月天| 色狠狠综合入口| 人人操人人看97干| 五月丁香无码| 大香蕉五月天| 五月丁香网站| 欧美电影在线观看| 婷婷五月天综合久久日美女| www久久久| 五月激情天| 狠狠干综合| 丁香五月电影| 97天堂| 欧美成人猛片AAAAAAA| 日韩成人电影AV| 色婷婷香蕉| 日本无码专区| 欧美成人日韩| 久久98| 狠狠操之狠狠操| 五月丁香网中文字幕| 欧美va精品va老师va| www,婷婷五月天777me,com| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 亚洲综合五月天| 欧美日本一区二区三区| 五月天中文字幕在线婷婷| 六月婷五月丁香| 五月婷婷婷婷婷婷艺术| 日本婷婷五月天| 久热免费| 天天插天天插| 欧美超级视频97| 色色色视频| 日本色狠狠| 另类图片五月天| 精品久久久999| 天天日夜夜爽| 97艹| 色狠狠伊人久久五月丁香| 激情五月婷婷丁香| 国产乱妇无乱码大黄AA片| 亚洲AV电影美洲AV电影| 九九亚洲综合| 日日夜夜综合| 久久怡红院| AAA级久久久精品| WWW99热| 婷婷激情五月综合丁香社| 五月丁香综合激情网| 婷婷综合亚洲| 久久精品日| 激情综合五月天| 婷婷丁香五月久久| 五月天狠狠网| 综合欧美五月婷婷| 色呦呦美女| 综合欧美五月婷婷| 97视频久久| 亚洲精品国产A久久久久久| 国产婷婷色综合AV蜜臀AV | 99综合久久| 丁香五月AV| 懂色av粉嫩AV蜜臀AV| 日本久久婷| 五月婷婷深深的爱| 亚洲啪啪视频| 超碰色婷婷| 天天做天天爱天天高潮| 久久人妻精品| 波多野结衣成人作品在线| 五月婷婷综合色啪首页| 日本狠狠干| 五月天天天操天天爽夜夜操| 丁香五月婷婷在线观看| EEUSS鲁片一区二区三区| 91免费看片| 人人操超踫| 精品久久人妻| 成人av观看| 婷婷综合精品视频97| 九月色婷婷| 无码色综合| 这里只有精品69| 香蕉曰比| 丁香五月天在线直播观看| 婷婷99视频精品| 九热网站| 色婷婷综合影院| 久久艹99| 婷婷成人五月天| 欧美婷婷九月| 丁香五月aV| 大香蕉久久视频久久视频| 日韩综合大黄| 超碰av在线| 97影院一级片| 久久婷婷综合基地| 久久永久网址| 这里只有精品96| 丁香五月久久综合| 操操精品| 激情综合网五月| 色婷五月| 超碰在线成人| 婷婷另类开心| 伊人99久久| 午夜电影网VA内射| 九九九激情网| 人人人操97| 婷婷五月另类网站| 九九在线精点品| 亚洲xx网| 色五月天丁香婷婷| 国产26uuu视频| 久人操| 五月综合丁香婷婷| 色欲九区| 日韩在线视频9色| 97人人操| 天天草人人摸| 狠狠色色| 五月亭亭六月色| 亚洲日日操| 粉嫩AV久久一区二区三区| 亚洲午夜视频| 天天日中文| 九九色婷婷| 日日夜夜爽| 开心久久xxx色| 久久婷婷亚洲无码一起| 粉嫩AV久久一区二区三区| www.狠狠| 五月丁香另类网| 久久九九爽| 免费看欧美成人A片无码| 五月99久久| 日本五月视频| 999婷婷综合| 99综合视频| 天天色天天搡| 久热99久热| 操操啪| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 婷婷丁香久久| 99超超碰| AV在线免费网站| 99精品女人天堂| 欧洲亚洲午夜| 婷婷五月天 偷拍| 男人操女人高潮91视频| 色五月婷婷中文字幕| 噜噜视频| 九九九日本熟女| 亚洲一区二区无遮挡A片| 99久久网站| 99免费热视频| 婷婷五月色網站| 天天操天天爱天天日| 大香蕉婷婷色| 日本精品99网站| 色五月综合| 色一情一乱一乱一区91Av| 另类小说五月天综合网| 五月天色在线| 婷婷成人综合| 2015WWW永久免费观看播放| 国产69久久久欧美黑人A片| 婷婷五月天美女21p| 丁香五月激情欧欧美| 天堂伊人干| 婷婷无五月无码视频| 五月丁香啪啪| 久久久99免费视频| 九九色逼| 综合一区二区三区| 五月婷婷六月丁香五月| Av九九| 热久久这里只有精品| 日日激情网| 四月丁香五月婷婷久久| 超碰93在线观看| 五月婷丁香| 五月婷婷影院| 日本一级黄色电影| 激情AV综合| 久久久久久婷| 精品无码片| 一本到不卡高清DVD| 国产在线激情视频| 丁香五月婷婷激情四射| 大香蕉Av在线| 天天摸,天天爽| 五月婷婷六月丁香激情综合网| 九九蜜臀精品| 久久综合五月| 婷婷五月综合色拍| 天天干一干| 精品无码av丁香五月激情| 久操综合| 99精品在线| 色频玖玖五月天| 五月丁香激情五月天| 久久婷婷综合五月趴| 婷婷婷婷婷开心无码播放| 色色色综合色| www免费在线视频| 婷婷五月天亚洲综合网| 久久日曰| 色婷婷小说| 色五月婷婷 成人| 亚洲最大视频| 色婷婷88| 五月丁香婷婷激情图片| 久久激情网| 五月www| 超碰操网| 99热最新| 99色在线视频| 久久停停超碰| 婷婷激情五月天视频在线| 婷婷色六月| 国产精品色| 伊人网碰碰| 热热久久精品视频| 九九aV| 老师高潮流白浆喷水的A片| 丁香花成人区| 丁香六月久| 婷婷色影音天| 91大神操美女| 91精品婷婷国产综合久久| 丁香五月 综合| 亭亭五月激情亚洲在线| 99热久草| 激情四射亚洲| 九九热色视频| 五月丁香婷婷激激激综合网色播| 亚洲天堂热| 色五月婷婷影院| 91人妻人人操人人爽| 综合丁香婷婷五月天| 亚洲色婷婷激情| 婷婷六月丁| 婷婷五月天六点丁香五月| 久操无码| 久久婷婷网| 久久五月天视频| 色激情五月| 五月婷婷视频| 97碰在线免费观看| 婷婷五月另类网站| 九九综合图片网| 久久国产色| 91九色中文| 九九视频在线观看| 91九色在线观看免费| 天天日天天干天天爽| WWW色色色COM| 丁香花五月天| 大地9中文在线观看免费高清| 丁香五月情色| 九九视频在线| 五月激情另类| 超碰婷婷五月| 色五月丁香激情视频| 97碰碰碰免费公开在线视频| 婷婷五月天论坛| 69久热| 亚洲av网站| www。88热在线视频免费观看| 色五月婷婷五月天| 五月丁香天堂网婷婷| 五月天久久婷| 久久美女五月天| 色五月婷婷av| 粉嫩AV久久一区二区三区 | 成人做爰黄A片免费看直播室男男| 6月丁香婷婷激情| 99久久国产宗和精品1上映| 久久这里在精品视频| 99操九九网| 开心五月激情婷婷| 大香蕉九操| 99re在线播放| 婷婷五月婷婷| 综合激情五月综合激情五月激情1| 日韩在线视频9色| 久久大香蕉同僚| 2015好吊操| 中文字幕综合色| 久九色| 能看的AV网站| 久热中文字幕| 色欲五月丁香| 99热亚洲精品| 成人免费va| 日本精品在线噜噜噜| 七月丁香五月婷婷在线| 夜夜干天天操| sewuyuejiqingwang| 久婷| 任我肏视频精品| 婷婷五月色情天| 日本颜色视频人人爱| 操久久网| 色女人久久| 男女99免费视频| 99欧美三级视频| 婷婷爱五月天| 激情人妻综合| 婷婷综合激情| 欧洲亚洲激情五月天在线| 99热99在线| 性爱五月婷婷| 五月天婷婷青青草| 亚洲精品又粗又大又爽A片| 九九精品在线观看视频6| 天天干天天日天天插| 综合激情在线观看| 色综久久久| 欧美色色色色色| 五月婷婷丁香五月| 婷婷五月天激情影片| 中文字幕在线不卡| 色爱99| 一起草AV| 婷婷射丁香| 91人操| 免费成人中文字幕| 操比激情五月| 日逼影音先锋AV男人资源站| www.色多多婷| 久久久中文| 日韩超碰在线| 热五月婷婷| 五月丁香无码| 久婷婷色| 日日操天天操| 91无码视频| 五月丁香性| 国产三级片91| 热思思| 日本3级片一区2区| 久久激情五月婷婷| 五月婷婷色| 九九热免费视频| 五月婷婷狠天天色综合| 99热 这里只有精品 国产 日韩| 色五月激情综合| 日本色图综合| 啪啪综合网| 九九综舍久久| 91聚色综合网| 亚洲第一成人无码A片| 日日干天天| 开心婷婷五月中文字幕组| 婷婷五月骚厕所| 五月婷婷欧美激情| 婷婷成年人免费视频| a久久| 婷婷亚洲影院| 日韩中文欧美| 另类丁香五月天区图| 欧美婷婷丁香社区在线播放| 久久您您综合网| 色婷婷综合网| 婷婷丁香亚洲色综合91| 99热碰碰| 久久久久人妻网址| 天天日天天操天天干| 色色色99韩| 国产无套精品一区二区| 深爱激情五月网| 九九视频在线观看视频6 | 久久五月天激情婷婷| 色婷婷裸体色性在线| 91狠狠综合久久| 丁香婷婷影院| 五月婷婷开心亚洲无| 亚洲综合丁香五月天| 玖玖热视频| 六月婷婷操逼| 99久热| 怎么样可以看免费的一级av| 99爱爱网| 少妇激情五月天| 另类激情中文| 成人版视频在线观看| 五月天成人手机在线视频| 日本猛少妇色XXXXX猛叫| www.色欲丁香婷婷| AA久久| 婷婷丁香五月激情图片| 日本成人噜噜噜| 久久怡红院| 婷婷丁香六月| 久天综合| 色播激情五月天| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 无码激情AAAAA片-区区| AA片在线观看视频在线播放| 成人五月天丁香| 狠狠五月婷婷| 午夜丁香 婷婷| 蜜臀99久久精品久久久久| 亚洲欧洲自拍图片专区五月天| 丁香五月婷婷激情网| 人人干人人操人人摸| 日日爽日日| 欧美三级A做爰在线观看| 婷婷射综合| 狠狠操在线视频| 婷婷五月天国产| 人人人操 超碰| 就要去操亚洲成人精品五月天丁香婷婷| 亚洲美女网Va| 亚洲欧美在线观看| 五月色婷婷亚洲 | 色级婷婷| 我爱va亚洲va52| 五月天开心网| 久久久jd| 色色网站在线| 五月婷婷色在线| 狠狠久久婷五月| 99热国品免费| 99操碰| 国产激情在线| 天天草天天爽| WWW、99热| 狠狠五月天婷婷| 久青草影院| av九九| 激情av| 亚洲成人在线观看网址| 思思久热6| 99精品成人无码A片观看金桔| 婷婷色婷婷| 日韩成人网址| 中文字幕婷婷| 色婷婷88| 久久色五月| 丁香婷五月天开心六月| 五月丁香在线观看国产| 五月天开心色情网| 五月婷亚洲精品AV天堂| 婷婷99狠狠躁天天| 97色婷婷成人综合在线观看| 香焦网五月天| 丁香五月在线| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 裸体做A爰片毛片A片免费| 久久婷婷六月| 激情五月小说婷婷| 超碰免费在线| 亚洲色另类| 丁香五月婷婷激情四射| 激情五月六月丁香| 狠狠婷婷色综合| 久久九九在线视频| 亚洲成av人影院| 综合五月亭亭9| 91av传媒高清在线视频网| 影音先锋 91工厂| 婷婷99综合| 激情五月天色婷婷| 久久网址99热| 天天舔天天爽| 色五月中文字幕| 天天爽天天干| 秋霞成人毛片一级A片| 欧美性爱五月天| 五月婷婷新网站| 少妇性BBB搡BBB爽爽爽电影| 婷婷六月丁香综合| CHINESE熟女老女人HD视频| 色色丁香五月婷婷| 91av传媒高清在线视频网| 欧美激情-区二区三区| 天堂无码人妻精品AV一区| 五月天婷婷在看| 五月天婷婷丁香成人网| 色激情五月| 国产免费一区二区三区三州老师F1F1.CC| 99熟女视频| 人妻狠狠操| 狼人久草| 国色天香伊人狠狠色| 免费看欧美成人A片无码| 色五月婷婷五月丁香五月| 九九99在线| 久久综合五月天| 色色色色色色97| 99久久亚洲国产| 婷婷午夜激情| 婷婷久久国产视频| 丁香五月婷婷久久久| 99热主页日本| 欧美激情xxxXX| 亚洲成人综合网在线免费观看| 国产.亚洲.欧洲视频在线| PORNY九色9l自拍视频成人| 大香蕉久操| 激情五月天色婷婷| 人妻精品在线| 亚洲情综合五月天| 思思热这里只有精品| 99热 这里只有精品 国产 日韩| 久久久天堂国产精品女人| 停停五月天激情网| 丁香五月色网| 天天综合色| 九九免费视频| 丁香五月123| www.色五月| 操人妻视频91| www.1024久久| WWW.久久久久久久久久久久久| 丁香九月婷| 色五月婷婷啪啪五月| 月色色综合婷婷网| 久久五月天综合| 99国产这里只有精品| 男女99免费视频| 成人综合网站| 日本久久人| 久久九九99字幕| 婷婷色色欧美综合网| 五月婷啪啪| www婷婷亚洲| 91性人人| 激情久久久| 综合色色婷婷| 色婷婷AV五月天| 欧美久久婷婷| 激情婷婷五月社区| 九九碰九九爱97超碰| 五月婷婷成人| 亚洲丁香五月美女| www.五月婷婷久久.com| 疯狂做受XXXX高潮A片| 人妻久久久久久久 | 激情五月综合第一页| 99视频| av网址在线| 五月婷婷六月丁香色| 色情·com| 亚洲成人网站在线| 开心婷婷五月| 五月伊人网| 天天射色五月天| 久久婷婷五月国产激情综合片| 欧类av怡春院| 99色热| 天天日天天色| 成人狠狠成人狠狠成人狠狠成人狠狠| 婷婷色六月| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 91狠狠色| 天天爱天天操| 色婷婷婷av| 九热免费视频| 久久婷婷六月综合国际| 日本九九九九| 亚洲亚洲人成综合网络| 婷婷五月婷| 强伦轩人妻一区二区电影| 97亚洲视频在线| 91丨九色丨国产打屁股| 99爱视频| 激情婷婷五月社区| 伊人久久五月天| 性婷婷| 亚洲AV第二区国产精品| 五月婷狠狠| 免费看成人AA片无码视频吃奶| 五月丁香777| 91干视频| 久久综合影院| 丁香婷婷视频在线| 丁香六月亚洲综合| 九九無碼| 色99在线看| 日韩成人综合| 日本高清不卡免费一区二区三区| 色播五月婷婷| 九九色逼| 丁香六月婷婷综合| 日韩aaa| 99热这里全是精品| 六月激情婷婷色| 国产激情视频在线观看| 亚洲综合一区二区| 4438国产免费看| 99精品偷拍视频| 五月天综合网| 拍真实国产伦偷精品| 久久婷婷精品| 六月婷婷色综合| 色婷婷狠狠| 久久女婷| 五月丁香六月情| 色色色综合网| 五月天婷婷丁香| 99热首页| 成人亚洲精品| 久久久中文| 碰97久久| 日韩操人| 综合激情视频| 色偷偷综合| 色婷婷香蕉| 99热一区| 99热久久这里只有精品| 成人免费120分钟啪啪| 久久国产色| 婷婷五月天AV| 中文字幕日产A片在线看| 丰满少妇乱A片无码| 99国产精品白浆在线观看免费| 久久人妻熟女一区二区| 五月婷婷久久大片| 91九九热| 在线超碰91| www.综合久久.com| 日韩性视频| 五月天激情国产综合婷婷婷就去爱| 久久视这里只有精品| 久久激情综合| 狠狠擼综合| 久久久月丁香| 99这里只有精品在线| 婷婷五月天亚洲综合| 五月激情婷婷在线| 婷婷六月亚洲综合| 五月天婷婷综合免费| 天天操屄网| 日日夜夜干| www久久99| 色色99| 丁香五月玖玖| 色婷久| 久久婷婷影院| 丁香丁香激情网| 艾小青av| z色五月播播久久| 色色综合网站| 99久热| 色婷婷狠狠禁久久| 欧美在线视频免费播放| 伊人激情| 天天成人综合视频| 79精品视频在线观看,| 五月丁香操婷逼| 99精品成人无码A片观看金桔| 91大屁股在线| 色婷婷免费视频| 激情婷婷五六月天| 色五月婷婷五月天激情综合| 九九99九九99九九99视频网| 思思99热| 日本玖玖在线| 秋霞av不能| www.久久9| 99亚洲天堂| av人人操| 99热老网站| 日日操夜夜擼| 9热精品| 色五月丁香总合网| 人妻肉射免费观看| 色狠狠色噜噜AV天堂五区消防| 国产欧洲欧洲精品久久| 六月激情婷婷| 天天肏在线视频| 五月天综合激情网| 狠狠va| 久草狼人| 国产精品久久久久9999小说| 伊人三级激情| 五月天激情站| 99在线观看精品视频| 久久激情综合| aaa久久久| 日本三级日本三级99| 欧美婷婷五月激情| 超碰a女人的天堂| 国产偷人爽久久久久久老妇APP| 日本色色网站| 五月丁香婷婷激情在线| 婷婷色情网| 婷婷丁香成人色综合| 色v综合网| 五月丁香激情在线| 99爱在线视频| 丁香婷婷综合激情五月色| A级毛片高清免费不卡播放谢谢谢谢| 99热99热在线观看| 久久99精品久久久久久噜噜| 北条麻妃九九九国产精品视频| 999婷婷综合| 五月婷婷免费在线视频| 亚洲激情综合| 国产色99| 开心五月深爱五月婷| 久久xxxx| 久操人| 五月婷在线色视频| 狠狠综合网| 九九热最新地址| 久久婷婷夜| 色婷婷在线视频综合| 开心激情网五月天| 婷婷玖玖五月天| 久久久人妻门| 国产精品18久久久| 五月天激情图片| 成人丁香| 伊综合蕉| 操逼福利视频| 99ri在线视频| 99色免费| 激情五月,激情综合网| 丰满少妇猛烈A片免费看观看| 97中文在线| 婷婷亚洲欧美丁香五月| 中文字幕网伦射乱中文| 久久综合丁香五月| 五月天激情网图片| 久久婷婷五| 精品三区影院| 国产AV一区二区三区最新精品| 亚洲成人在线播放| 超碰色色综合| 不卡在线中文字幕无| 色综合色色| 99干日本| 狠狠爱夜夜| 伊人天天色| 婷婷色五月激情| 亚州精品色情无码A片| 996热re视频精品视频| 色婷婷色综合激情91| 曰日爽日日操| 噢美99| 五月色俺婷婷| 婷婷丁香五月天综合激情| 色五月婷婷久久爱| 激情久久丁香| 国产AV网页| 色色色色色色色色综合网| 丁香五月婷婷图片综合| 五月丁香色情| 97在线精品| www.日本久久videos| 色色婷婷丁香| 快乐激情五月色婷婷| 外国碰视频网站97| 久久五月婷婷丁香| 日本色五月婷婷| 中文字幕第四色.999| 五月天综合视频| 日韩三级视频一区二区| 狠狠五月天婷婷激情网。| 99视频这里有精品| 夜夜夜叫天天天做| 中文字幕免费高清电视剧| 婷婷六月色丁香视频在线观看| 五月天激情小说| 婷婷五月俺要去| 99久久9| 色狠狠五月天| 婷婷综合五月天| 热久久思思热思思| 九九综合| 久9无码视频| 婷婷五月综激情| 日本啪啪天堂| 亚洲色99| WWW五月天| 伊人丁香五月天丁香在线婷| 日日射天天射| 99久在线精品99re8热| 综合欧美五月婷婷| www.久久| 六月丁香婷婷尤物| 嫩草极品| 综合在线丁香五月| 久久九久久| 五月婷婷丁香俺日污视频| 色很久综合| 影音先锋四区| 操久久网| 五月激情婷婷在线| 九九無碼| 日韩少妇内射免费播放| 五月婷婷丁香瑟瑟视频| 激情婷婷五月| 六月婷婷综合网2| 亚洲日韩欧美综合VA| 丁香五月Av| 久久久人妻不卡| 天天干天天干天天干| 超碰日日操| 999热这里只有精品| 天天插天天狠| 图片区 小说区 区 亚洲五月 | 六月丁香综合| 操逼电影免费看| 五月在线| 色综合久| 激情小说色五月| 五月婷婷av| 91色吧网| 婷婷丁香五月综合| 五月花婷婷丁香| 丁香色色五月| 色婷婷五月在线| 激情婷婷五月女| 亚洲午夜成人av电影网| 91玖玖| 99热成人精品| 色婷综合| 五月色色色| 五月婷婷欧美激情| 99久久户外勾搭| 天天做天天爱| 色之综合网| 丁香六月婷| 9999热在线免费观看| 色yeye色综合| 丁香色成人| 五月天婷婷视频| 色婷婷九月综合| 婷婷玖玖五月天| 久久精品99国产精品日本| 99re这里| 久久久久久草黄色片AV在线观看| 中文AⅤ大全| 五月婷婷婷婷| 五月丁香婷成人网| 丁香五月天激情四射网| 九九在线视频| 这里只有精彩视频| 五月在线婷色| 欧美十二区| 91久久婷婷| 成人精品99| 亚洲小视频免费看| 综合 激情 婷婷| 色五月天激情| 丁香婷婷久久综合在线| 激情九色| 大香蕉 婷婷| 激情图片五月天| 亚洲婷婷婷| 久久性爱激情| 日日夜夜干| 久色| 白天AV月月| 成人午夜免费电影| 午夜精品久久久久久久爽| 婷婷综合精品| 99在这里有精品| 2050人人操免费工开爱| 九九色区| 国产在线aaa片一区二区99| 9热在线观看| 五月丁香六月激情啪| 色呦呦免费观看| 变天就操逼婷婷五月| 强辱丰满人妻HD中文字幕| 色色亚洲五月天| 成人婷婷深爱综合网| 婷婷爱爱蜜臀天天操| 级人人91| 久久香蕉网| 97九色视频| 丁香欧美| 怡红院99|