OpenCLI IMDb 適配器把電影搜索、Top 250 榜單與用戶(hù)評(píng)論變成可腳本化的 CLI 數(shù)據(jù)源【免費(fèi)下載鏈接】OpenCLIMake Any Website into CLI Use your logged-in browser by AI agent.項(xiàng)目地址: https://gitcode.com/gh_mirrors/ope/OpenCLIOpenCLI 的 IMDb 適配器基于公共頁(yè)面無(wú)需登錄實(shí)現(xiàn)通過(guò) Browser Bridge 瀏覽器擴(kuò)展在 Chrome 中打開(kāi)www.imdb.com頁(yè)面并解析其中的結(jié)構(gòu)化數(shù)據(jù)最終把搜索結(jié)果、影片/劇集詳情、Top 250 榜單、熱門(mén)榜、人物資料和用戶(hù)評(píng)論輸出為表格或 JSON。讀完本文你可以直接復(fù)用clis/imdb/下的完整命令用法并理解它JSON-LD 優(yōu)先、__NEXT_DATA__次之、DOM 兜底的三層解析策略以及 ID 歸一化、反爬檢測(cè)、防重定向校驗(yàn)等可靠性設(shè)計(jì)的源碼實(shí)現(xiàn)。適配范圍與運(yùn)行模式IMDb 適配器的全部命令均為只讀access: read以Strategy.PUBLIC公共策略運(yùn)行數(shù)據(jù)全部來(lái)自公開(kāi)頁(yè)面不需要 IMDb 賬號(hào)登錄命令功能數(shù)據(jù)頁(yè)opencli imdb search搜索電影、劇集與人物/find/?q...opencli imdb title影片/劇集詳情/title/tt.../opencli imdb topIMDb Top 250 電影榜/chart/top/opencli imdb trendingIMDb 最熱門(mén)電影MovieMeter/chart/moviemeter/opencli imdb person演員/導(dǎo)演資料與作品列表/name/nm.../opencli imdb reviews影片用戶(hù)評(píng)論/title/tt.../reviews/運(yùn)行前提Chrome 中已安裝并啟用 Browser Bridge 擴(kuò)展OpenCLI 通過(guò)它驅(qū)動(dòng)已登錄態(tài)瀏覽器會(huì)話(huà)無(wú)需登錄 IMDb所有數(shù)據(jù)均為公開(kāi)數(shù)據(jù)由于要真實(shí)渲染頁(yè)面并執(zhí)行腳本建議保持 Chrome 處于打開(kāi)狀態(tài)運(yùn)行。命令用法以下示例全部繼承自官方文檔可直接復(fù)制執(zhí)行# 搜索電影/劇集/人物 opencli imdb search inception --limit 10 # 電影詳情 opencli imdb title tt1375666 # 劇集詳情也接受完整 URL opencli imdb title https://www.imdb.com/title/tt0903747/ # Top 250 電影榜 opencli imdb top --limit 20 # 當(dāng)前熱門(mén)電影 opencli imdb trending --limit 10 # 演員/導(dǎo)演資料含作品列表 opencli imdb person nm0634240 --limit 5 # 用戶(hù)評(píng)論 opencli imdb reviews tt1375666 --limit 5 # JSON 輸出 opencli imdb top --limit 5 -f json-f json可作用于任意命令便于把結(jié)果管道給jq或喂給 Agent 二次處理。參數(shù)取值范圍以源碼為準(zhǔn)文檔中的--limit在源碼里都做了鉗位clamp超出范圍不會(huì)報(bào)錯(cuò)而是被收斂到合法邊界命令默認(rèn)值合法范圍實(shí)現(xiàn)位置search201–50clis/imdb/search.jstop201–250clis/imdb/top.jstrending201–100clis/imdb/trending.jsperson101–30clis/imdb/person.jsreviews101–25clis/imdb/reviews.jsID 輸入歸一化裸 ID 與 URL 通用title、person、reviews命令的第一個(gè)位置參數(shù)既可以是裸 ID如tt1375666、nm0634240也可以是完整 URL這一點(diǎn)由 clis/imdb/utils.js 中的normalizeImdbId()保證接受形如tt\d{7,8}/nm\d{7,8}的裸 ID接受桌面端 URLwww.imdb.com/title/tt1375666/、移動(dòng)端 URLm.imdb.com/...以及帶語(yǔ)言前綴/de/title/...、查詢(xún)參數(shù)?ref_...的變體提取失敗或前綴不匹配例如拿nm開(kāi)頭的 ID 去查title時(shí)拋出帶提示信息的ArgumentError而不是靜默出錯(cuò)。對(duì)應(yīng)單測(cè) clis/imdb/utils.test.js 覆蓋了裸 ID 透?jìng)?、多種 URL 形態(tài)的提取以及非法輸入的報(bào)錯(cuò)路徑expect(normalizeImdbId(https://www.imdb.com/de/title/tt1375666/?ref_nv_sr_srsg_0, tt)) .toBe(tt1375666); expect(() normalizeImdbId(nm0634240, tt)).toThrow(Invalid IMDb ID);三層數(shù)據(jù)解析策略JSON-LD 優(yōu)先、Next.js 載荷次之、DOM 兜底IMDb 頁(yè)面同時(shí)嵌入了多種機(jī)器可讀數(shù)據(jù)適配器的解析順序按穩(wěn)定性從高到低排列1. JSON-LD 結(jié)構(gòu)化數(shù)據(jù)top/trending/title的主力來(lái)源榜單頁(yè)與影片詳情頁(yè)在script typeapplication/ldjson中嵌入了 Schema.org 結(jié)構(gòu)化數(shù)據(jù)。clis/imdb/utils.js 的extractJsonLd()會(huì)遍歷頁(yè)面上所有 JSON-LD 腳本塊按type白名單精確匹配目標(biāo)對(duì)象并支持遞歸進(jìn)入graph數(shù)組查找。top/trending提取type: ItemList塊直接得到包含全部榜單條目的itemListElement數(shù)組。clis/imdb/top.js 與 clis/imdb/trending.js 的邏輯一致區(qū)別只在目標(biāo)頁(yè)面/chart/top/對(duì)比/chart/moviemeter/和輸出列top多一列votes評(píng)分人數(shù)。兩個(gè)命令都會(huì)把 JSON-LD 中的相對(duì) URL 補(bǔ)全為https://www.imdb.com絕對(duì)地址。title按類(lèi)型白名單[Movie, TVSeries, TVEpisode, TVMiniseries, TVMovie, TVSpecial, VideoGame, ShortFilm]取出影片對(duì)象clis/imdb/title.js。隨后映射為field/value兩行式輸出title、type、year、rating、votes、genre、director劇集則為creator主創(chuàng)、cast取前 5 位演員、duration、contentRating、plot、url劇集還會(huì)額外輸出seasons與episodes。這里有兩個(gè)值得注意的細(xì)節(jié)時(shí)長(zhǎng)格式化JSON-LD 的duration是 ISO 8601 格式如PT2H28MformatDuration()會(huì)把它轉(zhuǎn)成2h 28m的可讀形式非法輸入返回空字符串見(jiàn) clis/imdb/utils.test.js年份邏輯劇集取startDate/endDate在播劇集輸出為2024-無(wú)結(jié)束年份完結(jié)劇集輸出為2010-2015clis/imdb/title.js。2.__NEXT_DATA__search與person的主力來(lái)源IMDb 是 Next.js 應(yīng)用頁(yè)面內(nèi)嵌__NEXT_DATA__JSON 保存了完整的pageProps。search的解析分兩步clis/imdb/search.js先解析pageProps.titleResults.results影片與pageProps.nameResults.results人物IMDb 把每條結(jié)果包裝為{index: tt..., listItem: {...}}結(jié)構(gòu)其中index即 ID若該載荷缺失或?yàn)榭赵偻嘶癁?DOM 選擇器方案——抓取[class*find-title-result]、[class*find-name-result]等元素從a[href*/title/], a[href*/name/]鏈接中正則提取(tt|nm)\d{7,8}。人物條目的type列會(huì)填入其主要職業(yè)如Actor影片條目的type則經(jīng)normalizeImdbTitleType()統(tǒng)一為Movie、TV Series等可讀標(biāo)簽內(nèi)部 idtvSeries會(huì)被映射為T(mén)V Series見(jiàn) clis/imdb/utils.test.js。person同樣優(yōu)先讀__NEXT_DATA__從pageProps.aboveTheFold取姓名與出生日期birthDate.dateComponents會(huì)拼成年-月-日從mainColumnData的knownForFeatureV2.credits取代表作如果該區(qū)塊為空再回退到released.edges/groupings.edges兩條作品分組路徑內(nèi)部硬上限 30 條--limit最大也正是 30。最終作品列表以片名 (年份) [角色]的形式追加在field/value行之后clis/imdb/person.js。人物基礎(chǔ)信息姓名、簡(jiǎn)介則優(yōu)先來(lái)自type: Person的 JSON-LD 塊。3. DOM 兜底與評(píng)論專(zhuān)用選擇器reviews命令只解析首屏評(píng)論頁(yè)的 DOM 卡片clis/imdb/reviews.js容器選擇器同時(shí)兼容新舊兩套渲染結(jié)構(gòu)article.user-review-item、[data-testidreview-card-parent]、.imdb-user-review等提取標(biāo)題、評(píng)分、作者、日期與正文。兩個(gè)防御性細(xì)節(jié)去重IMDb 會(huì)把每條評(píng)論渲染成預(yù)覽 展開(kāi)兩份 DOM解析器按標(biāo)題比對(duì)跳過(guò)重復(fù)項(xiàng)截?cái)嗾膲嚎s空白后截取前 200 字符避免表格輸出被長(zhǎng)評(píng)刷屏?？煽啃栽O(shè)計(jì)等待、反爬檢測(cè)與重定向校驗(yàn)瀏覽器端頁(yè)面的不確定性由 clis/imdb/utils.js 中的四個(gè)輔助函數(shù)統(tǒng)一治理所有命令共享這套模式路徑輪詢(xún)waitForImdbPath()在頁(yè)面內(nèi)每 250ms 檢查一次location.pathname是否匹配預(yù)期路徑如^/title/tt1375666/默認(rèn)超時(shí) 15 秒。用于確認(rèn)導(dǎo)航確實(shí)落到了目標(biāo)實(shí)體頁(yè)內(nèi)容就緒等待waitForImdbSearchReady()等待搜索結(jié)果__NEXT_DATA__中有titleResults/nameResults或 DOM 出現(xiàn)/title/、/name/鏈接或頁(yè)面明確提示 No results foundwaitForImdbReviewsReady()等待評(píng)論卡片或 No user reviews 提示渲染完成機(jī)器人驗(yàn)證檢測(cè)isChallengePage()通過(guò)標(biāo)題Robot Check、Are you a robot、JavaScript is disabled與正文關(guān)鍵字captcha、verify that you are human識(shí)別 IMDb 的風(fēng)控?cái)r截頁(yè)一旦命中立即拋出CommandExecutionError提示改用常規(guī)瀏覽器會(huì)話(huà)重試而不是輸出半截臟數(shù)據(jù)重定向校驗(yàn)getCurrentImdbId()從 URL、link[relcanonical]與og:url三個(gè)候選源讀取當(dāng)前頁(yè)面真實(shí)實(shí)體 ID若與請(qǐng)求的 ID 不一致例如 IMDb 把舊 ID 重定向到了新實(shí)體直接報(bào)錯(cuò)說(shuō)明頁(yè)面重定向到了另一個(gè)實(shí)體見(jiàn) clis/imdb/title.js。另外所有命令在發(fā)起導(dǎo)航前都會(huì)經(jīng)過(guò)forceEnglishUrl()給 URL 強(qiáng)制加上languageen-US參數(shù)保留已有查詢(xún)參數(shù)把多語(yǔ)言本地化頁(yè)面拉回到統(tǒng)一的英文結(jié)構(gòu)上減少解析分支。故障排查速查現(xiàn)象原因源碼依據(jù)處理建議IMDb blocked this request命中isChallengePage()風(fēng)控檢測(cè)換用正常登錄態(tài)的瀏覽器會(huì)話(huà)或擴(kuò)展模式重試Title page did not finish loading/did not finish loadingwaitForImdbPath()15 秒內(nèi)未落到目標(biāo)路徑重試持續(xù)出現(xiàn)說(shuō)明頁(yè)面導(dǎo)航流程可能已變化Invalid IMDb IDnormalizeImdbId()校驗(yàn)失敗位數(shù)、前綴不匹配確認(rèn) ID 形如tt1375666/nm0634240IMDb redirected to a different title/person頁(yè)面 canonical 指向了不同實(shí)體以返回的新 ID 為準(zhǔn)重新查詢(xún)Could not find chart data on page榜單頁(yè)ItemListJSON-LD 缺失IMDb 頁(yè)面結(jié)構(gòu)可能變更重試或檢查站點(diǎn)小結(jié)IMDb 適配器是 OpenCLI 把公開(kāi)網(wǎng)站變成 CLI思路的一個(gè)典型樣本它不依賴(lài)任何私有 API而是系統(tǒng)性地利用頁(yè)面自帶的 JSON-LD、__NEXT_DATA__與 DOM 三層數(shù)據(jù)源疊加 ID 歸一化、英文強(qiáng)制、路徑輪詢(xún)、風(fēng)控識(shí)別與重定向校驗(yàn)把 IMDb 六個(gè)高頻只讀場(chǎng)景收斂成了參數(shù)鉗位明確、錯(cuò)誤信息可操作的一組成熟命令。適合作為研究如何為動(dòng)態(tài)渲染站點(diǎn)編寫(xiě)穩(wěn)健數(shù)據(jù)抓取適配器的參考實(shí)現(xiàn)。主要參考文件docs/adapters/browser/imdb.md、clis/imdb/utils.js、clis/imdb/search.js、clis/imdb/title.js、clis/imdb/top.js、clis/imdb/trending.js、clis/imdb/person.js、clis/imdb/reviews.js、clis/imdb/utils.test.js。【免費(fèi)下載鏈接】OpenCLIMake Any Website into CLI Use your logged-in browser by AI agent.項(xiàng)目地址: https://gitcode.com/gh_mirrors/ope/OpenCLI創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考