鍵安全修復(fù)、11 項(xiàng)新特性與升級遷移完全指南)
Crawl4AI v0.8.0 深度解析Docker API 關(guān)鍵安全修復(fù)、11 項(xiàng)新特性與升級遷移完全指南【免費(fèi)下載鏈接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN項(xiàng)目地址: https://gitcode.com/GitHub_Trending/craw/crawl4aiCrawl4AI v0.8.02026-01-12 發(fā)布前一版本 v0.7.6是一次以安全為核心主線的版本它修復(fù)了 Docker API 部署中的兩個(gè)高危漏洞Hook 遠(yuǎn)程代碼執(zhí)行 RCE 與file://本地文件包含 LFI同時(shí)引入了 11 項(xiàng)新特性覆蓋 init_scripts 隱身注入、CDP 連接增強(qiáng)、深度爬取崩潰恢復(fù)、兩階段預(yù)取爬取Prefetch、代理增強(qiáng)與 Sitemap 智能 TTL 緩存。讀完本文你將理解這兩項(xiàng)破壞性變更Breaking Changes的確切影響與遷移方法掌握全部新特性的可用參數(shù)與源碼實(shí)現(xiàn)位置并能按照官方升級清單安全地從 v0.7.x 遷移到 v0.8.0。版本概覽項(xiàng)目內(nèi)容發(fā)布日期2026 年 1 月CHANGELOG.md 記錄為 2026-01-12前一版本v0.7.6發(fā)布狀態(tài)Release Candidate核心主線Docker API 安全修復(fù)RCE / LFI 11 項(xiàng)新特性 2 項(xiàng)破壞性變更該版本的發(fā)布說明位于 docs/blog/release-v0.8.0.md配套變更記錄見 CHANGELOG.md安全漏洞報(bào)告草稿見 docs/security/GHSA-DRAFT-RCE-LFI.md。破壞性變更Breaking Changesv0.8.0 包含兩項(xiàng)必須知曉的破壞性變更兩者都直接服務(wù)于安全加固。變更 1Docker API 的 Hooks 默認(rèn)禁用變更內(nèi)容Docker API 上的hooks參數(shù)默認(rèn)被禁用。原因修復(fù)遠(yuǎn)程代碼執(zhí)行RCE漏洞。影響范圍在/crawl請求中使用hooks參數(shù)的 Docker API 用戶。遷移方式——如果你確認(rèn)信任所有 API 調(diào)用方可以顯式重新開啟# 重新啟用 hooks僅在你信任所有 API 用戶時(shí) export CRAWL4AI_HOOKS_ENABLEDtrue從源碼看該開關(guān)在 deploy/docker/server.py 中讀取環(huán)境變量并做嚴(yán)格布爾判定HOOKS_ENABLED os.environ.get(CRAWL4AI_HOOKS_ENABLED, false).lower() true當(dāng)請求攜帶 hooks 而開關(guān)未開啟時(shí)/crawl與/crawl/stream兩個(gè)端點(diǎn)都會直接返回 403見 server.py 的 403 攔截if crawl_request.hooks and not HOOKS_ENABLED: raise HTTPException(403, Hooks are disabled. Set CRAWL4AI_HOOKS_ENABLEDtrue to enable.)值得注意的是v0.8.0 對 Hook 體系的改造不止于默認(rèn)關(guān)閉。舊版 hook_manager 采用編譯 exec()用戶 Python 的方式其沙箱可被__subclasses__MRO 遍歷等手段逃逸v0.8.0 引入了聲明式 Hook 注冊表deploy/docker/hook_registry.py請求只能在固定的一組 action 中選擇如屏蔽資源、注入 cookie/請求頭、滾動加載、等待參數(shù)經(jīng)過 Pydantic schema 校驗(yàn)每個(gè) action 映射到服務(wù)端編寫的單一 Playwright 操作——用戶字符串不再進(jìn)入任何解釋器。API 側(cè)可通過/hooks/info端點(diǎn)server.py查詢可用 action 及參數(shù) schema。真正需要任意 hook 代碼的進(jìn)階用戶官方建議改用自托管、進(jìn)程內(nèi)in-process的方式調(diào)用crawler_strategy.set_hook(...)此時(shí)調(diào)用方是可信的。deploy/docker/config.yml中的注釋也明確了生產(chǎn)環(huán)境建議config.yml# - Set jwt_enabled: true for authentication # - Set CRAWL4AI_HOOKS_ENABLEDtrue only if you need hooks (RCE risk) security: jwt_enabled: false # 生產(chǎn)環(huán)境建議改為 true相關(guān)回歸測試位于 deploy/docker/tests/test_security_fixes.py驗(yàn)證了CRAWL4AI_HOOKS_ENABLED在 true/false/未設(shè)置三種取值下的行為。變更 2Docker API 攔截 file:// URL變更內(nèi)容/execute_js、/screenshot、/pdf、/html端點(diǎn)現(xiàn)在會拒絕file://URL。原因修復(fù)本地文件包含LFI漏洞。影響范圍此前通過 Docker API 讀取本地文件的用戶。遷移方式——本地文件處理請直接使用 Python 庫# 不再通過 API 傳 file:// URL而是直接使用庫 from crawl4ai import AsyncWebCrawler async with AsyncWebCrawler() as crawler: result await crawler.arun(urlfile:///path/to/file.html)從源碼看URL 白名單集中定義在 deploy/docker/server.pyALLOWED_URL_SCHEMES (http://, https://) ALLOWED_URL_SCHEMES_WITH_RAW (http://, https://, raw:, raw://) def validate_url_scheme(url: str, allow_raw: bool False) - None: Validate URL scheme (LFI) and destination (SSRF). allowed ALLOWED_URL_SCHEMES_WITH_RAW if allow_raw else ALLOWED_URL_SCHEMES if not url.startswith(allowed): schemes , .join(allowed) raise HTTPException(400, fURL must start with {schemes}) validate_url_destination(url)即普通端點(diǎn)只允許http:///https://需要接受本地 HTML 輸入的端點(diǎn)額外放行raw:前綴file://、javascript:、data:等 scheme 一律以 400 拒絕。validate_url_scheme同時(shí)串聯(lián)了目標(biāo)地址校驗(yàn)validate_url_destinationdeploy/docker/utils.py一并約束 SSRF 風(fēng)險(xiǎn)。/crawl端點(diǎn)對 URL 的 scheme 前置檢查見 server.py。安全修復(fù)細(xì)節(jié)Critical通過 Hooks 的遠(yuǎn)程代碼執(zhí)行RCE項(xiàng)目內(nèi)容嚴(yán)重等級CRITICALCVSS 10.0影響范圍v0.8.0 之前的所有 Docker API 部署攻擊向量攜帶惡意hooks參數(shù)的POST /crawl漏洞原理hook 代碼中__import__內(nèi)建函數(shù)可用攻擊者可借此導(dǎo)入os、subprocess等模塊執(zhí)行任意命令。修復(fù)措施兩道防線從允許的 builtins 中移除__import__阻斷任意模塊導(dǎo)入默認(rèn)禁用 hooksCRAWL4AI_HOOKS_ENABLEDfalse即使第一道防線被繞過攻擊面也已關(guān)閉。測試用例 test_security_fixes.py 中保留了典型攻擊載荷樣本如__import__(os).system(id)用于回歸驗(yàn)證修復(fù)有效性。High通過 file:// URL 的本地文件包含LFI項(xiàng)目內(nèi)容嚴(yán)重等級HIGHCVSS 8.6影響范圍v0.8.0 之前的所有 Docker API 部署攻擊向量攜帶file:///etc/passwd的POST /execute_js及其他端點(diǎn)漏洞原理API 端點(diǎn)接受file://URL攻擊者可讀取服務(wù)器上的任意文件。修復(fù)措施引入 URL scheme 校驗(yàn)僅允許http://、https://以及接受本地 HTML 的端點(diǎn)額外允許raw:。漏洞致謝由 ProjectDiscovery 的 Neo 于 2025 年 12 月負(fù)責(zé)任務(wù)披露Responsible Disclosure。11 項(xiàng)新特性1. BrowserConfig 支持 init_scripts頁面加載前注入 JavaScript用于隱身反檢測stealth evasionconfig BrowserConfig( init_scripts[ Object.defineProperty(navigator, webdriver, {get: () false}) ] )腳本在頁面文檔加載之前執(zhí)行因此能覆蓋如navigator.webdriver這類會在頁面加載后固化的檢測點(diǎn)。倉庫中init_scripts的處理鏈貫穿 crawl4ai/async_configs.py、crawl4ai/browser_manager.py 與 crawl4ai/browser_adapter.py配合 crawl4ai/js_snippet/ 目錄下的官方腳本如navigator_overrider.js、remove_consent_popups.js等可快速構(gòu)建隱身方案。2. CDP 連接增強(qiáng)支持 WebSocket URLws://、wss://直接連接cdp_cleanup_on_closeTrue實(shí)現(xiàn)正確的資源清理支持在多個(gè)連接間復(fù)用同一瀏覽器。從源碼看crawl4ai/browser_manager.py 對 CDP URL 做了識別支持ws://localhost:9222/devtools/browser/xxx形式關(guān)閉時(shí)依據(jù)cdp_cleanup_on_close決定是否斷開并清理瀏覽器進(jìn)程browser_manager.py。相關(guān)行為由 tests/browser/test_cdp_cleanup_reuse.py 與 tests/browser/test_cdp_strategy.py 覆蓋驗(yàn)證。3. 深度爬取策略的崩潰恢復(fù)Crash RecoveryBFS、DFS、Best-First 三種深度爬取策略全部支持?jǐn)帱c(diǎn)續(xù)爬from crawl4ai.deep_crawling import BFSDeepCrawlStrategy strategy BFSDeepCrawlStrategy( max_depth3, resume_statesaved_state, # 從檢查點(diǎn)恢復(fù) on_state_changesave_callback # 實(shí)時(shí)持久化狀態(tài) )從源碼實(shí)現(xiàn)看以 crawl4ai/deep_crawling/bfs_strategy.py 為例構(gòu)造函數(shù)接收resume_state恢復(fù)快照與on_state_change異步回調(diào)兩個(gè)可選參數(shù)爬取啟動時(shí)若存在resume_state會還原visited集合、待處理隊(duì)列pending、各 URL 深度depths與pages_crawled計(jì)數(shù)bfs_strategy.py實(shí)現(xiàn)從檢查點(diǎn)繼續(xù)每當(dāng)狀態(tài)推進(jìn)時(shí)調(diào)用on_state_change落盤bfs_strategy.py保證進(jìn)程隨時(shí)中斷都能保留最近的進(jìn)度Best-First 策略crawl4ai/deep_crawling/bff_strategy.py額外維護(hù)了一個(gè)隊(duì)列影子列表_queue_shadow僅在設(shè)置on_state_change時(shí)啟用用于把隊(duì)列內(nèi)容完整序列化進(jìn)快照。配套測試見 tests/deep_crawling/test_deep_crawl_resume.py 與 tests/deep_crawling/test_deep_crawl_resume_integration.py示例腳本見 docs/examples/deep_crawl_crash_recovery.py。4. 為 raw:/file:// URL 生成 PDF 和 MHTML可對已緩存的 HTML 內(nèi)容離線生成 PDF 與 MHTML 格式產(chǎn)物無需重新抓取頁面。5. 為 raw:/file:// URL 截圖渲染已緩存的 HTML 并捕獲截圖與第 4 項(xiàng)配合讓離線內(nèi)容獲得與在線 URL 一致的產(chǎn)物能力。6. CrawlerRunConfig 新增 base_url 參數(shù)為raw:HTML 處理提供正確的相對鏈接解析基準(zhǔn)config CrawlerRunConfig(base_urlhttps://example.com) result await crawler.arun(urlraw:{html}, configconfig)在 crawl4ai/async_configs.py 中base_url的文檔說明為用于 markdown 鏈接解析的基準(zhǔn) URL與 raw: HTML 配合使用即當(dāng)傳入的原始 HTML 里存在相對鏈接時(shí)Markdown 產(chǎn)物中的鏈接會以base_url為基準(zhǔn)補(bǔ)全為絕對 URL。7. 兩階段深度爬取的 Prefetch 模式快速提取鏈接而不做完整頁面處理適合先廣撒網(wǎng)、再精細(xì)處理的兩階段深度爬取config CrawlerRunConfig(prefetchTrue)從源碼定義看async_configs.py其語義為返回 HTML 鏈接列表跳過重處理skip heavy processing。配合深度爬取策略第一階段用 prefetch 快速建圖第二階段再對目標(biāo)頁面做完整提取。集成測試見 tests/test_prefetch_mode.py、tests/test_prefetch_integration.py示例見 docs/examples/prefetch_two_phase_crawl.py。8. 代理輪換與配置增強(qiáng)增強(qiáng)的代理輪換能力并支持粘性會話sticky sessions——同一目標(biāo)會話保持同一出口代理避免頻繁換 IP 觸發(fā)風(fēng)控。相關(guān)測試覆蓋在 tests/proxy/ 目錄test_sticky_sessions.py、test_proxy_config.py、test_proxy_rotation相關(guān)回歸示例腳本見 docs/examples/proxy_rotation_demo.py。9. HTTP 策略支持代理非瀏覽器爬蟲HTTP 直連策略現(xiàn)在也支持代理與瀏覽器策略的代理能力對齊輕量抓取場景同樣可以走代理池。10. 為 raw:/file:// URL 提供瀏覽器管線新增process_in_browser參數(shù)強(qiáng)制讓本地內(nèi)容走瀏覽器管線config CrawlerRunConfig( process_in_browserTrue, # 強(qiáng)制瀏覽器處理 screenshotTrue ) result await crawler.arun(urlraw:html.../html, configconfig)該參數(shù)定義于 async_configs.py文檔說明為If True, forces raw:/file:// URLs to be processed through the browser。默認(rèn)情況下raw:/file://內(nèi)容走輕量管線而本地內(nèi)容若需要 JS 渲染、截圖、PDF 等瀏覽器能力此前無法達(dá)成process_in_browserTrue打通了這條路。11. Sitemap URL Seeder 的智能 TTL 緩存Sitemap 抓取的智能緩存失效機(jī)制config SeedingConfig( cache_ttl_hours24, validate_sitemap_lastmodTrue )從源碼看async_configs.py兩個(gè)參數(shù)的默認(rèn)值即為cache_ttl_hours24、validate_sitemap_lastmodTruecache_ttl_hourssitemap 緩存過期時(shí)間小時(shí)設(shè)為 0 可禁用 TTLvalidate_sitemap_lastmod為 True 時(shí)將 sitemap 中的lastmod與緩存中記錄的版本對比若站點(diǎn)聲明內(nèi)容已更新則使緩存失效。實(shí)際校驗(yàn)邏輯在 crawl4ai/async_url_seeder.py 的_is_cache_valid()中先比 TTL再按需比對 lastmodasync_url_seeder.py。參數(shù)詳解文檔見 docs/md_v2/core/url-seeding.md示例見 docs/examples/url_seeder/url_seeder_demo.py。Bug 修復(fù)raw: URL 在 # 字符處被截?cái)鄦栴}CSS 顏色碼如#eee在解析raw:URL 時(shí)被當(dāng)作 URL 片段分隔符截?cái)唷Ｐ迯?fù)前raw:body{background:#eee}→body{background:修復(fù)后raw:body{background:#eee}→body{background:#eee}raw:URL 的識別與剝離邏輯位于 crawl4ai/async_webcrawler.py修復(fù)后不再以首個(gè)#作為 HTML 內(nèi)容的截止點(diǎn)。緩存系統(tǒng)改進(jìn)對緩存校驗(yàn)與持久化做了多項(xiàng)修復(fù)與上述 Sitemap 智能 TTL 緩存同屬緩存鏈路的質(zhì)量加固。文檔更新多樣本 Schema 生成Multi-sample schema generation文檔URL Seeder 智能 TTL 緩存參數(shù)說明安全文檔 SECURITY.md漏洞報(bào)告與披露流程。升級指南v0.7.x → v0.8.0分步操作升級包pip install --upgrade crawl4aiDocker API 用戶注意Hooks 默認(rèn)已禁用如確需 hooksexport CRAWL4AI_HOOKS_ENABLEDtruefile://URL 在 API 上不再可用請改用 Python 庫處理本地文件。審查安全配置生產(chǎn)環(huán)境推薦# config.yml - 生產(chǎn)環(huán)境推薦 security: enabled: true jwt_enabled: true部署到生產(chǎn)前完成集成測試。破壞性變更自查清單確認(rèn)你的 API 調(diào)用是否使用了hooks參數(shù)確認(rèn)你是否通過 API 使用file://URL必要時(shí)更新環(huán)境變量CRAWL4AI_HOOKS_ENABLED審查安全配置JWT 認(rèn)證、安全開關(guān)完整變更歷史完整版本歷史見 CHANGELOG.md其中 v0.8.0 條目同時(shí)收錄了本文覆蓋的安全修復(fù)、破壞性變更、11 項(xiàng)新增特性、Bug 修復(fù)與文檔更新。小結(jié)v0.8.0 的基調(diào)非常明確先把不可信邊界Docker API收緊再擴(kuò)充核心能力。兩項(xiàng)破壞性變更分別對應(yīng) RCE 與 LFI 兩個(gè)真實(shí)可利用的漏洞且都提供了清晰的遷移路徑11 項(xiàng)新特性則以raw:/file://內(nèi)容管線、兩階段深度爬取和代理增強(qiáng)為主線顯著提升了離線處理與大規(guī)模爬取的工程可用性。如果你正在運(yùn)行 v0.7.x 的 Docker API 部署建議按上文的破壞性變更自查清單逐項(xiàng)核對后升級。【免費(fèi)下載鏈接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN項(xiàng)目地址: https://gitcode.com/GitHub_Trending/craw/crawl4ai創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Crawl4AI v0.8.0 深度解析：Docker API 關(guān)鍵安全修復(fù)、11 項(xiàng)新特性與升級遷移完全指南
Crawl4AI v0.8.0 深度解析Docker API 關(guān)鍵安全修復(fù)、11 項(xiàng)新特性與升級遷移完全指南【免費(fèi)下載鏈接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN項(xiàng)目地址: https://gitcode.com/GitHub_Trending/craw/crawl4aiCrawl4AI v0.8.02026-01-12 發(fā)布前一版本 v0.7.6是一次以安全為核心主線的版本它修復(fù)了 Docker API 部署中的兩個(gè)高危漏洞Hook 遠(yuǎn)程代碼執(zhí)行 RCE 與file://本地文件包含 LFI同時(shí)引入了 11 項(xiàng)新特性覆蓋 init_scripts 隱身注入、CDP 連接增強(qiáng)、深度爬取崩潰恢復(fù)、兩階段預(yù)取爬取Prefetch、代理增強(qiáng)與 Sitemap 智能 TTL 緩存。讀完本文你將理解這兩項(xiàng)破壞性變更Breaking Changes的確切影響與遷移方法掌握全部新特性的可用參數(shù)與源碼實(shí)現(xiàn)位置并能按照官方升級清單安全地從 v0.7.x 遷移到 v0.8.0。版本概覽項(xiàng)目內(nèi)容發(fā)布日期2026 年 1 月CHANGELOG.md 記錄為 2026-01-12前一版本v0.7.6發(fā)布狀態(tài)Release Candidate核心主線Docker API 安全修復(fù)RCE / LFI 11 項(xiàng)新特性 2 項(xiàng)破壞性變更該版本的發(fā)布說明位于 docs/blog/release-v0.8.0.md配套變更記錄見 CHANGELOG.md安全漏洞報(bào)告草稿見 docs/security/GHSA-DRAFT-RCE-LFI.md。破壞性變更Breaking Changesv0.8.0 包含兩項(xiàng)必須知曉的破壞性變更兩者都直接服務(wù)于安全加固。變更 1Docker API 的 Hooks 默認(rèn)禁用變更內(nèi)容Docker API 上的hooks參數(shù)默認(rèn)被禁用。原因修復(fù)遠(yuǎn)程代碼執(zhí)行RCE漏洞。影響范圍在/crawl請求中使用hooks參數(shù)的 Docker API 用戶。遷移方式——如果你確認(rèn)信任所有 API 調(diào)用方可以顯式重新開啟# 重新啟用 hooks僅在你信任所有 API 用戶時(shí) export CRAWL4AI_HOOKS_ENABLEDtrue從源碼看該開關(guān)在 deploy/docker/server.py 中讀取環(huán)境變量并做嚴(yán)格布爾判定HOOKS_ENABLED os.environ.get(CRAWL4AI_HOOKS_ENABLED, false).lower() true當(dāng)請求攜帶 hooks 而開關(guān)未開啟時(shí)/crawl與/crawl/stream兩個(gè)端點(diǎn)都會直接返回 403見 server.py 的 403 攔截if crawl_request.hooks and not HOOKS_ENABLED: raise HTTPException(403, Hooks are disabled. Set CRAWL4AI_HOOKS_ENABLEDtrue to enable.)值得注意的是v0.8.0 對 Hook 體系的改造不止于默認(rèn)關(guān)閉。舊版 hook_manager 采用編譯 exec()用戶 Python 的方式其沙箱可被__subclasses__MRO 遍歷等手段逃逸v0.8.0 引入了聲明式 Hook 注冊表deploy/docker/hook_registry.py請求只能在固定的一組 action 中選擇如屏蔽資源、注入 cookie/請求頭、滾動加載、等待參數(shù)經(jīng)過 Pydantic schema 校驗(yàn)每個(gè) action 映射到服務(wù)端編寫的單一 Playwright 操作——用戶字符串不再進(jìn)入任何解釋器。API 側(cè)可通過/hooks/info端點(diǎn)server.py查詢可用 action 及參數(shù) schema。真正需要任意 hook 代碼的進(jìn)階用戶官方建議改用自托管、進(jìn)程內(nèi)in-process的方式調(diào)用crawler_strategy.set_hook(...)此時(shí)調(diào)用方是可信的。deploy/docker/config.yml中的注釋也明確了生產(chǎn)環(huán)境建議config.yml# - Set jwt_enabled: true for authentication # - Set CRAWL4AI_HOOKS_ENABLEDtrue only if you need hooks (RCE risk) security: jwt_enabled: false # 生產(chǎn)環(huán)境建議改為 true相關(guān)回歸測試位于 deploy/docker/tests/test_security_fixes.py驗(yàn)證了CRAWL4AI_HOOKS_ENABLED在 true/false/未設(shè)置三種取值下的行為。變更 2Docker API 攔截 file:// URL變更內(nèi)容/execute_js、/screenshot、/pdf、/html端點(diǎn)現(xiàn)在會拒絕file://URL。原因修復(fù)本地文件包含LFI漏洞。影響范圍此前通過 Docker API 讀取本地文件的用戶。遷移方式——本地文件處理請直接使用 Python 庫# 不再通過 API 傳 file:// URL而是直接使用庫 from crawl4ai import AsyncWebCrawler async with AsyncWebCrawler() as crawler: result await crawler.arun(urlfile:///path/to/file.html)從源碼看URL 白名單集中定義在 deploy/docker/server.pyALLOWED_URL_SCHEMES (http://, https://) ALLOWED_URL_SCHEMES_WITH_RAW (http://, https://, raw:, raw://) def validate_url_scheme(url: str, allow_raw: bool False) - None: Validate URL scheme (LFI) and destination (SSRF). allowed ALLOWED_URL_SCHEMES_WITH_RAW if allow_raw else ALLOWED_URL_SCHEMES if not url.startswith(allowed): schemes , .join(allowed) raise HTTPException(400, fURL must start with {schemes}) validate_url_destination(url)即普通端點(diǎn)只允許http:///https://需要接受本地 HTML 輸入的端點(diǎn)額外放行raw:前綴file://、javascript:、data:等 scheme 一律以 400 拒絕。validate_url_scheme同時(shí)串聯(lián)了目標(biāo)地址校驗(yàn)validate_url_destinationdeploy/docker/utils.py一并約束 SSRF 風(fēng)險(xiǎn)。/crawl端點(diǎn)對 URL 的 scheme 前置檢查見 server.py。安全修復(fù)細(xì)節(jié)Critical通過 Hooks 的遠(yuǎn)程代碼執(zhí)行RCE項(xiàng)目內(nèi)容嚴(yán)重等級CRITICALCVSS 10.0影響范圍v0.8.0 之前的所有 Docker API 部署攻擊向量攜帶惡意hooks參數(shù)的POST /crawl漏洞原理hook 代碼中__import__內(nèi)建函數(shù)可用攻擊者可借此導(dǎo)入os、subprocess等模塊執(zhí)行任意命令。修復(fù)措施兩道防線從允許的 builtins 中移除__import__阻斷任意模塊導(dǎo)入默認(rèn)禁用 hooksCRAWL4AI_HOOKS_ENABLEDfalse即使第一道防線被繞過攻擊面也已關(guān)閉。測試用例 test_security_fixes.py 中保留了典型攻擊載荷樣本如__import__(os).system(id)用于回歸驗(yàn)證修復(fù)有效性。High通過 file:// URL 的本地文件包含LFI項(xiàng)目內(nèi)容嚴(yán)重等級HIGHCVSS 8.6影響范圍v0.8.0 之前的所有 Docker API 部署攻擊向量攜帶file:///etc/passwd的POST /execute_js及其他端點(diǎn)漏洞原理API 端點(diǎn)接受file://URL攻擊者可讀取服務(wù)器上的任意文件。修復(fù)措施引入 URL scheme 校驗(yàn)僅允許http://、https://以及接受本地 HTML 的端點(diǎn)額外允許raw:。漏洞致謝由 ProjectDiscovery 的 Neo 于 2025 年 12 月負(fù)責(zé)任務(wù)披露Responsible Disclosure。11 項(xiàng)新特性1. BrowserConfig 支持 init_scripts頁面加載前注入 JavaScript用于隱身反檢測stealth evasionconfig BrowserConfig( init_scripts[ Object.defineProperty(navigator, webdriver, {get: () false}) ] )腳本在頁面文檔加載之前執(zhí)行因此能覆蓋如navigator.webdriver這類會在頁面加載后固化的檢測點(diǎn)。倉庫中init_scripts的處理鏈貫穿 crawl4ai/async_configs.py、crawl4ai/browser_manager.py 與 crawl4ai/browser_adapter.py配合 crawl4ai/js_snippet/ 目錄下的官方腳本如navigator_overrider.js、remove_consent_popups.js等可快速構(gòu)建隱身方案。2. CDP 連接增強(qiáng)支持 WebSocket URLws://、wss://直接連接cdp_cleanup_on_closeTrue實(shí)現(xiàn)正確的資源清理支持在多個(gè)連接間復(fù)用同一瀏覽器。從源碼看crawl4ai/browser_manager.py 對 CDP URL 做了識別支持ws://localhost:9222/devtools/browser/xxx形式關(guān)閉時(shí)依據(jù)cdp_cleanup_on_close決定是否斷開并清理瀏覽器進(jìn)程browser_manager.py。相關(guān)行為由 tests/browser/test_cdp_cleanup_reuse.py 與 tests/browser/test_cdp_strategy.py 覆蓋驗(yàn)證。3. 深度爬取策略的崩潰恢復(fù)Crash RecoveryBFS、DFS、Best-First 三種深度爬取策略全部支持?jǐn)帱c(diǎn)續(xù)爬from crawl4ai.deep_crawling import BFSDeepCrawlStrategy strategy BFSDeepCrawlStrategy( max_depth3, resume_statesaved_state, # 從檢查點(diǎn)恢復(fù) on_state_changesave_callback # 實(shí)時(shí)持久化狀態(tài) )從源碼實(shí)現(xiàn)看以 crawl4ai/deep_crawling/bfs_strategy.py 為例構(gòu)造函數(shù)接收resume_state恢復(fù)快照與on_state_change異步回調(diào)兩個(gè)可選參數(shù)爬取啟動時(shí)若存在resume_state會還原visited集合、待處理隊(duì)列pending、各 URL 深度depths與pages_crawled計(jì)數(shù)bfs_strategy.py實(shí)現(xiàn)從檢查點(diǎn)繼續(xù)每當(dāng)狀態(tài)推進(jìn)時(shí)調(diào)用on_state_change落盤bfs_strategy.py保證進(jìn)程隨時(shí)中斷都能保留最近的進(jìn)度Best-First 策略crawl4ai/deep_crawling/bff_strategy.py額外維護(hù)了一個(gè)隊(duì)列影子列表_queue_shadow僅在設(shè)置on_state_change時(shí)啟用用于把隊(duì)列內(nèi)容完整序列化進(jìn)快照。配套測試見 tests/deep_crawling/test_deep_crawl_resume.py 與 tests/deep_crawling/test_deep_crawl_resume_integration.py示例腳本見 docs/examples/deep_crawl_crash_recovery.py。4. 為 raw:/file:// URL 生成 PDF 和 MHTML可對已緩存的 HTML 內(nèi)容離線生成 PDF 與 MHTML 格式產(chǎn)物無需重新抓取頁面。5. 為 raw:/file:// URL 截圖渲染已緩存的 HTML 并捕獲截圖與第 4 項(xiàng)配合讓離線內(nèi)容獲得與在線 URL 一致的產(chǎn)物能力。6. CrawlerRunConfig 新增 base_url 參數(shù)為raw:HTML 處理提供正確的相對鏈接解析基準(zhǔn)config CrawlerRunConfig(base_urlhttps://example.com) result await crawler.arun(urlraw:{html}, configconfig)在 crawl4ai/async_configs.py 中base_url的文檔說明為用于 markdown 鏈接解析的基準(zhǔn) URL與 raw: HTML 配合使用即當(dāng)傳入的原始 HTML 里存在相對鏈接時(shí)Markdown 產(chǎn)物中的鏈接會以base_url為基準(zhǔn)補(bǔ)全為絕對 URL。7. 兩階段深度爬取的 Prefetch 模式快速提取鏈接而不做完整頁面處理適合先廣撒網(wǎng)、再精細(xì)處理的兩階段深度爬取config CrawlerRunConfig(prefetchTrue)從源碼定義看async_configs.py其語義為返回 HTML 鏈接列表跳過重處理skip heavy processing。配合深度爬取策略第一階段用 prefetch 快速建圖第二階段再對目標(biāo)頁面做完整提取。集成測試見 tests/test_prefetch_mode.py、tests/test_prefetch_integration.py示例見 docs/examples/prefetch_two_phase_crawl.py。8. 代理輪換與配置增強(qiáng)增強(qiáng)的代理輪換能力并支持粘性會話sticky sessions——同一目標(biāo)會話保持同一出口代理避免頻繁換 IP 觸發(fā)風(fēng)控。相關(guān)測試覆蓋在 tests/proxy/ 目錄test_sticky_sessions.py、test_proxy_config.py、test_proxy_rotation相關(guān)回歸示例腳本見 docs/examples/proxy_rotation_demo.py。9. HTTP 策略支持代理非瀏覽器爬蟲HTTP 直連策略現(xiàn)在也支持代理與瀏覽器策略的代理能力對齊輕量抓取場景同樣可以走代理池。10. 為 raw:/file:// URL 提供瀏覽器管線新增process_in_browser參數(shù)強(qiáng)制讓本地內(nèi)容走瀏覽器管線config CrawlerRunConfig( process_in_browserTrue, # 強(qiáng)制瀏覽器處理 screenshotTrue ) result await crawler.arun(urlraw:html.../html, configconfig)該參數(shù)定義于 async_configs.py文檔說明為If True, forces raw:/file:// URLs to be processed through the browser。默認(rèn)情況下raw:/file://內(nèi)容走輕量管線而本地內(nèi)容若需要 JS 渲染、截圖、PDF 等瀏覽器能力此前無法達(dá)成process_in_browserTrue打通了這條路。11. Sitemap URL Seeder 的智能 TTL 緩存Sitemap 抓取的智能緩存失效機(jī)制config SeedingConfig( cache_ttl_hours24, validate_sitemap_lastmodTrue )從源碼看async_configs.py兩個(gè)參數(shù)的默認(rèn)值即為cache_ttl_hours24、validate_sitemap_lastmodTruecache_ttl_hourssitemap 緩存過期時(shí)間小時(shí)設(shè)為 0 可禁用 TTLvalidate_sitemap_lastmod為 True 時(shí)將 sitemap 中的lastmod與緩存中記錄的版本對比若站點(diǎn)聲明內(nèi)容已更新則使緩存失效。實(shí)際校驗(yàn)邏輯在 crawl4ai/async_url_seeder.py 的_is_cache_valid()中先比 TTL再按需比對 lastmodasync_url_seeder.py。參數(shù)詳解文檔見 docs/md_v2/core/url-seeding.md示例見 docs/examples/url_seeder/url_seeder_demo.py。Bug 修復(fù)raw: URL 在 # 字符處被截?cái)鄦栴}CSS 顏色碼如#eee在解析raw:URL 時(shí)被當(dāng)作 URL 片段分隔符截?cái)唷Ｐ迯?fù)前raw:body{background:#eee}→body{background:修復(fù)后raw:body{background:#eee}→body{background:#eee}raw:URL 的識別與剝離邏輯位于 crawl4ai/async_webcrawler.py修復(fù)后不再以首個(gè)#作為 HTML 內(nèi)容的截止點(diǎn)。緩存系統(tǒng)改進(jìn)對緩存校驗(yàn)與持久化做了多項(xiàng)修復(fù)與上述 Sitemap 智能 TTL 緩存同屬緩存鏈路的質(zhì)量加固。文檔更新多樣本 Schema 生成Multi-sample schema generation文檔URL Seeder 智能 TTL 緩存參數(shù)說明安全文檔 SECURITY.md漏洞報(bào)告與披露流程。升級指南v0.7.x → v0.8.0分步操作升級包pip install --upgrade crawl4aiDocker API 用戶注意Hooks 默認(rèn)已禁用如確需 hooksexport CRAWL4AI_HOOKS_ENABLEDtruefile://URL 在 API 上不再可用請改用 Python 庫處理本地文件。審查安全配置生產(chǎn)環(huán)境推薦# config.yml - 生產(chǎn)環(huán)境推薦 security: enabled: true jwt_enabled: true部署到生產(chǎn)前完成集成測試。破壞性變更自查清單確認(rèn)你的 API 調(diào)用是否使用了hooks參數(shù)確認(rèn)你是否通過 API 使用file://URL必要時(shí)更新環(huán)境變量CRAWL4AI_HOOKS_ENABLED審查安全配置JWT 認(rèn)證、安全開關(guān)完整變更歷史完整版本歷史見 CHANGELOG.md其中 v0.8.0 條目同時(shí)收錄了本文覆蓋的安全修復(fù)、破壞性變更、11 項(xiàng)新增特性、Bug 修復(fù)與文檔更新。小結(jié)v0.8.0 的基調(diào)非常明確先把不可信邊界Docker API收緊再擴(kuò)充核心能力。兩項(xiàng)破壞性變更分別對應(yīng) RCE 與 LFI 兩個(gè)真實(shí)可利用的漏洞且都提供了清晰的遷移路徑11 項(xiàng)新特性則以raw:/file://內(nèi)容管線、兩階段深度爬取和代理增強(qiáng)為主線顯著提升了離線處理與大規(guī)模爬取的工程可用性。如果你正在運(yùn)行 v0.7.x 的 Docker API 部署建議按上文的破壞性變更自查清單逐項(xiàng)核對后升級。【免費(fèi)下載鏈接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN項(xiàng)目地址: https://gitcode.com/GitHub_Trending/craw/crawl4ai創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考