據(jù)：Scrapegraph-ai 自然語言爬蟲實(shí)操指南)
一句話需求整頁數(shù)據(jù)Scrapegraph-ai 自然語言爬蟲實(shí)操指南【免費(fèi)下載鏈接】Scrapegraph-aiPython scraper based on AI項(xiàng)目地址: https://gitcode.com/GitHub_Trending/sc/Scrapegraph-aiScrapegraph-ai 是一個(gè)基于大語言模型的 AI 爬蟲框架你只需用自然語言描述要什么數(shù)據(jù)它就能把網(wǎng)頁解析成結(jié)構(gòu)化 JSON省去手寫 CSS 選擇器和 XPath 的繁瑣。本文帶你走完從環(huán)境配置、寫出第一個(gè)爬蟲到擴(kuò)展到真實(shí)業(yè)務(wù)的完整路徑。? 它到底解決什么問題假設(shè)你有一篇新聞頁想拿到頁面上所有標(biāo)題和對(duì)應(yīng)的發(fā)布日期。傳統(tǒng)做法是 BeautifulSoup你得先打開瀏覽器、逐層定位到div.news h2、再挨個(gè)取值頁面稍微改版選擇器就全線失效。Selenium 更重還要操心驅(qū)動(dòng)、等待和渲染時(shí)機(jī)。Scrapegraph-ai 的思路完全不同。它基于 LangChain把抓取過程拆成一串可配置的節(jié)點(diǎn)fetch 網(wǎng)頁 → parse 解析 → rag 檢索 → generate 生成答案你只負(fù)責(zé)用自然語言說出想要什么剩下的頁面理解和結(jié)構(gòu)化交給 LLM 完成。它和傳統(tǒng)方案的本質(zhì)區(qū)別在于「你要精確告訴程序數(shù)據(jù)在哪」變成了「程序自己看懂頁面、按你的描述提取」。 環(huán)境與模型選擇如果你只想最快跑通用 Ollama 本地模型即可零費(fèi)用、不依賴任何 API 密鑰。云端模型OpenAI、Gemini、Anthropic 等能力更強(qiáng)、延遲更低但需要配置對(duì)應(yīng)密鑰兩者都通過同一個(gè)graph_config切換只是llm段不同。環(huán)境上唯一要記住的一點(diǎn)需要 Python 3.10 及以上版本建議用虛擬環(huán)境隔離避免依賴沖突。先在虛擬環(huán)境里安裝核心包再裝 Playwright 瀏覽器內(nèi)核抓取網(wǎng)頁內(nèi)容依賴它python3 -m venv sgai-env source sgai-env/bin/activate pip install scrapegraphai playwright install本地模型方案里先讓 Ollama 把模型拉到本地ollama pull llama3.2裝好后 Ollama 會(huì)默認(rèn)監(jiān)聽http://localhost:11434無需額外配置。 寫你的第一個(gè)爬蟲從 prompt 到 JSON第一個(gè)爬蟲按「寫配置 → 初始化 → 執(zhí)行」三步走。配置里llm指定本地模型prompt用自然語言寫清需求source是要抓的 URL最后調(diào)用run()拿到結(jié)果。from scrapegraphai.graphs import SmartScraperGraph import json graph_config { llm: { model: ollama/llama3.2, temperature: 0, model_tokens: 4096, }, verbose: True, headless: False, } smart_scraper_graph SmartScraperGraph( prompt提取頁面上所有新聞的標(biāo)題和發(fā)布日期, sourcehttps://example-news-site.com/latest, configgraph_config, ) result smart_scraper_graph.run() print(json.dumps(result, indent4))預(yù)期你會(huì)看到類似這樣的 JSON 輸出{ titles: [示例新聞標(biāo)題一, 示例新聞標(biāo)題二], dates: [2025-08-12, 2025-08-15] }整個(gè)過程 SmartScraperGraph 內(nèi)部把 URL 與你的 prompt 交給四個(gè)節(jié)點(diǎn)依次處理最終產(chǎn)出結(jié)構(gòu)化結(jié)果換一種任務(wù)換一種 Graph如果你的任務(wù)不是抓單個(gè)頁面而是跨頁搜索、批量處理或解析本地文件框架里每種任務(wù)都對(duì)應(yīng)一個(gè)專門的 Graph 類切換入口即可。搜索增強(qiáng)場景下SearchGraph會(huì)先查搜索引擎、再對(duì)前幾篇結(jié)果并行抓取用max_results控制篇數(shù)from scrapegraphai.graphs import SearchGraph search_graph SearchGraph( prompt列出近期低空經(jīng)濟(jì)的主流應(yīng)用場景, config{llm: {model: ollama/llama3.2}, max_results: 3}, ) result search_graph.run()本地文檔解析用DocumentScraperGraphsource可以直接傳一段文本或一個(gè) HTML/文本文件路徑from scrapegraphai.graphs import DocumentScraperGraph doc_graph DocumentScraperGraph( prompt總結(jié)這篇文檔的核心論點(diǎn), sourcereport.html, config{llm: {model: ollama/llama3.2}}, ) result doc_graph.run()常用 Graph 速查任務(wù)類型推薦 Graph關(guān)鍵參數(shù)單頁提取SmartScraperGraphprompt、source多頁批量SmartScraperMultiGraphsource列表、schema搜索增強(qiáng)SearchGraphmax_results本地文檔解析DocumentScraperGraphsource文本/文件深度多頁搜索DepthSearchGraphdepth生成抓取腳本ScriptCreatorGraphsource跑不通時(shí)先檢查這三處大多數(shù)報(bào)錯(cuò)集中在三類版本與依賴、模型加載、目標(biāo)站反爬。版本依賴這塊先確認(rèn) Python 是 3.10 及以上、且在干凈的虛擬環(huán)境里。如果你換了模型或升級(jí)過包后報(bào)ImportError、VersionConflict把虛擬環(huán)境刪掉重建、再pip install --upgrade scrapegraphai多數(shù)能解決。模型加載失敗通常是本地模型沒拉取或密鑰沒配。本地方案先跑ollama pull llama3.2云端方案檢查llm段里api_key是否填了、model是否帶上了廠商前綴比如openai/gpt-4o-mini而不是裸的gpt-4o-mini。如果你改了模型名還是報(bào)錯(cuò)打開verbose: True看具體節(jié)點(diǎn)拋在哪。目標(biāo)站反爬方面把headless設(shè)為False先肉眼觀察頁面是否真的加載出來了再考慮在loader_kwargs里掛代理、或換更輕量的 Lite 版本 Graph。?? 往生產(chǎn)走幾個(gè)值得知道的配置真正投產(chǎn)時(shí)有三個(gè)配置最常用。verbose: True會(huì)在控制臺(tái)打印各節(jié)點(diǎn)調(diào)試信息定位問題很快cache_path指向一個(gè)目錄后命中過的頁面會(huì)從緩存讀取避免重復(fù)抓取反爬壓力大的站點(diǎn)在loader_kwargs里掛代理最實(shí)際。graph_config { llm: {model: ollama/llama3.2}, verbose: True, headless: False, cache_path: ./cache, loader_kwargs: { proxy: {server: http://your_proxy:port} }, }批量抓多個(gè) URL 時(shí)換成SmartScraperMultiGraphsource傳一個(gè)列表即可并行處理from scrapegraphai.graphs import SmartScraperMultiGraph graph SmartScraperMultiGraph( prompt提取每篇文章的標(biāo)題與摘要, source[url1, url2, url3], configgraph_config, ) result graph.run()更多現(xiàn)成示例可以直接參考 官方 examples 目錄配置項(xiàng)含義詳見 Graph 配置說明 與 LLM 模型配置。Scrapegraph-ai 的思路是讓你專注描述需求、把解析交給模型想跟進(jìn)新 Graph 和能力變化可以定期查看 CHANGELOG。【免費(fèi)下載鏈接】Scrapegraph-aiPython scraper based on AI項(xiàng)目地址: https://gitcode.com/GitHub_Trending/sc/Scrapegraph-ai創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 一句話需求，整頁數(shù)據(jù)：Scrapegraph-ai 自然語言爬蟲實(shí)操指南
一句話需求整頁數(shù)據(jù)Scrapegraph-ai 自然語言爬蟲實(shí)操指南【免費(fèi)下載鏈接】Scrapegraph-aiPython scraper based on AI項(xiàng)目地址: https://gitcode.com/GitHub_Trending/sc/Scrapegraph-aiScrapegraph-ai 是一個(gè)基于大語言模型的 AI 爬蟲框架你只需用自然語言描述要什么數(shù)據(jù)它就能把網(wǎng)頁解析成結(jié)構(gòu)化 JSON省去手寫 CSS 選擇器和 XPath 的繁瑣。本文帶你走完從環(huán)境配置、寫出第一個(gè)爬蟲到擴(kuò)展到真實(shí)業(yè)務(wù)的完整路徑。? 它到底解決什么問題假設(shè)你有一篇新聞頁想拿到頁面上所有標(biāo)題和對(duì)應(yīng)的發(fā)布日期。傳統(tǒng)做法是 BeautifulSoup你得先打開瀏覽器、逐層定位到div.news h2、再挨個(gè)取值頁面稍微改版選擇器就全線失效。Selenium 更重還要操心驅(qū)動(dòng)、等待和渲染時(shí)機(jī)。Scrapegraph-ai 的思路完全不同。它基于 LangChain把抓取過程拆成一串可配置的節(jié)點(diǎn)fetch 網(wǎng)頁 → parse 解析 → rag 檢索 → generate 生成答案你只負(fù)責(zé)用自然語言說出想要什么剩下的頁面理解和結(jié)構(gòu)化交給 LLM 完成。它和傳統(tǒng)方案的本質(zhì)區(qū)別在于「你要精確告訴程序數(shù)據(jù)在哪」變成了「程序自己看懂頁面、按你的描述提取」。 環(huán)境與模型選擇如果你只想最快跑通用 Ollama 本地模型即可零費(fèi)用、不依賴任何 API 密鑰。云端模型OpenAI、Gemini、Anthropic 等能力更強(qiáng)、延遲更低但需要配置對(duì)應(yīng)密鑰兩者都通過同一個(gè)graph_config切換只是llm段不同。環(huán)境上唯一要記住的一點(diǎn)需要 Python 3.10 及以上版本建議用虛擬環(huán)境隔離避免依賴沖突。先在虛擬環(huán)境里安裝核心包再裝 Playwright 瀏覽器內(nèi)核抓取網(wǎng)頁內(nèi)容依賴它python3 -m venv sgai-env source sgai-env/bin/activate pip install scrapegraphai playwright install本地模型方案里先讓 Ollama 把模型拉到本地ollama pull llama3.2裝好后 Ollama 會(huì)默認(rèn)監(jiān)聽http://localhost:11434無需額外配置。 寫你的第一個(gè)爬蟲從 prompt 到 JSON第一個(gè)爬蟲按「寫配置 → 初始化 → 執(zhí)行」三步走。配置里llm指定本地模型prompt用自然語言寫清需求source是要抓的 URL最后調(diào)用run()拿到結(jié)果。from scrapegraphai.graphs import SmartScraperGraph import json graph_config { llm: { model: ollama/llama3.2, temperature: 0, model_tokens: 4096, }, verbose: True, headless: False, } smart_scraper_graph SmartScraperGraph( prompt提取頁面上所有新聞的標(biāo)題和發(fā)布日期, sourcehttps://example-news-site.com/latest, configgraph_config, ) result smart_scraper_graph.run() print(json.dumps(result, indent4))預(yù)期你會(huì)看到類似這樣的 JSON 輸出{ titles: [示例新聞標(biāo)題一, 示例新聞標(biāo)題二], dates: [2025-08-12, 2025-08-15] }整個(gè)過程 SmartScraperGraph 內(nèi)部把 URL 與你的 prompt 交給四個(gè)節(jié)點(diǎn)依次處理最終產(chǎn)出結(jié)構(gòu)化結(jié)果換一種任務(wù)換一種 Graph如果你的任務(wù)不是抓單個(gè)頁面而是跨頁搜索、批量處理或解析本地文件框架里每種任務(wù)都對(duì)應(yīng)一個(gè)專門的 Graph 類切換入口即可。搜索增強(qiáng)場景下SearchGraph會(huì)先查搜索引擎、再對(duì)前幾篇結(jié)果并行抓取用max_results控制篇數(shù)from scrapegraphai.graphs import SearchGraph search_graph SearchGraph( prompt列出近期低空經(jīng)濟(jì)的主流應(yīng)用場景, config{llm: {model: ollama/llama3.2}, max_results: 3}, ) result search_graph.run()本地文檔解析用DocumentScraperGraphsource可以直接傳一段文本或一個(gè) HTML/文本文件路徑from scrapegraphai.graphs import DocumentScraperGraph doc_graph DocumentScraperGraph( prompt總結(jié)這篇文檔的核心論點(diǎn), sourcereport.html, config{llm: {model: ollama/llama3.2}}, ) result doc_graph.run()常用 Graph 速查任務(wù)類型推薦 Graph關(guān)鍵參數(shù)單頁提取SmartScraperGraphprompt、source多頁批量SmartScraperMultiGraphsource列表、schema搜索增強(qiáng)SearchGraphmax_results本地文檔解析DocumentScraperGraphsource文本/文件深度多頁搜索DepthSearchGraphdepth生成抓取腳本ScriptCreatorGraphsource跑不通時(shí)先檢查這三處大多數(shù)報(bào)錯(cuò)集中在三類版本與依賴、模型加載、目標(biāo)站反爬。版本依賴這塊先確認(rèn) Python 是 3.10 及以上、且在干凈的虛擬環(huán)境里。如果你換了模型或升級(jí)過包后報(bào)ImportError、VersionConflict把虛擬環(huán)境刪掉重建、再pip install --upgrade scrapegraphai多數(shù)能解決。模型加載失敗通常是本地模型沒拉取或密鑰沒配。本地方案先跑ollama pull llama3.2云端方案檢查llm段里api_key是否填了、model是否帶上了廠商前綴比如openai/gpt-4o-mini而不是裸的gpt-4o-mini。如果你改了模型名還是報(bào)錯(cuò)打開verbose: True看具體節(jié)點(diǎn)拋在哪。目標(biāo)站反爬方面把headless設(shè)為False先肉眼觀察頁面是否真的加載出來了再考慮在loader_kwargs里掛代理、或換更輕量的 Lite 版本 Graph。?? 往生產(chǎn)走幾個(gè)值得知道的配置真正投產(chǎn)時(shí)有三個(gè)配置最常用。verbose: True會(huì)在控制臺(tái)打印各節(jié)點(diǎn)調(diào)試信息定位問題很快cache_path指向一個(gè)目錄后命中過的頁面會(huì)從緩存讀取避免重復(fù)抓取反爬壓力大的站點(diǎn)在loader_kwargs里掛代理最實(shí)際。graph_config { llm: {model: ollama/llama3.2}, verbose: True, headless: False, cache_path: ./cache, loader_kwargs: { proxy: {server: http://your_proxy:port} }, }批量抓多個(gè) URL 時(shí)換成SmartScraperMultiGraphsource傳一個(gè)列表即可并行處理from scrapegraphai.graphs import SmartScraperMultiGraph graph SmartScraperMultiGraph( prompt提取每篇文章的標(biāo)題與摘要, source[url1, url2, url3], configgraph_config, ) result graph.run()更多現(xiàn)成示例可以直接參考 官方 examples 目錄配置項(xiàng)含義詳見 Graph 配置說明 與 LLM 模型配置。Scrapegraph-ai 的思路是讓你專注描述需求、把解析交給模型想跟進(jìn)新 Graph 和能力變化可以定期查看 CHANGELOG。【免費(fèi)下載鏈接】Scrapegraph-aiPython scraper based on AI項(xiàng)目地址: https://gitcode.com/GitHub_Trending/sc/Scrapegraph-ai創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考