制詳解)
repo-supervisor支持掃描哪些文件JSON/JS/YAML分詞器機(jī)制詳解【免費下載鏈接】repo-supervisorScan your code for security misconfiguration, search for passwords and secrets. :mag:項目地址: https://gitcode.com/gh_mirrors/re/repo-supervisorrepo-supervisor 是一款專注于代碼安全掃描的開源工具核心能力是掃描代碼中的安全配置錯誤、搜索密碼和密鑰等敏感信息。本文圍繞repo-supervisor 支持掃描哪些文件這個核心問題詳解 JSON、JS、YAML 三類文件的掃描范圍以及背后分詞器Tokenizer的工作機(jī)制幫助新手快速理解敏感信息是如何被發(fā)現(xiàn)的。repo-supervisor能掃描哪些文件類型repo-supervisor 的掃描范圍非常明確在配置文件 config/main.json 的allowedExtensions中定義了 4 種受支持的文件擴(kuò)展名擴(kuò)展名用途分詞器.jsJavaScript 源碼tokenizer/js.json配置文件、數(shù)據(jù)文件tokenizer/json.yamlYAML 配置tokenizer/yaml.ymlYAML 配置別名tokenizer/yaml同時默認(rèn)會排除^test開頭的測試目錄CLI 模式下還會排除.git目錄避免對測試代碼產(chǎn)生誤報。文件類型與分詞器的映射關(guān)系定義在 config/filters.json 中每種擴(kuò)展名對應(yīng)唯一的 parser 模塊。JSON文件掃描原理鍵值對全面提取JSON 文件是密碼和密鑰的高發(fā)區(qū)比如aws_access_key、api_secret等字段。repo-supervisor 的 JSON 分詞器src/parser/tokenizer/json/index.js會先通過JSON.parse解析整個文件然后遞歸遍歷對象同時提取鍵名和鍵值供后續(xù)熵值檢測分析。默認(rèn)配置開啟了checkObjectKeys和checkObjectValues意味著字段名和字段值都會被檢查最大遞歸深度為 10 層。這意味著嵌套再深的敏感配置也逃不過掃描。JS文件掃描原理AST分詞提取字符串JavaScript 源碼的掃描要復(fù)雜得多因為代碼中充滿了變量名、注釋、字符串字面量。repo-supervisor 的 JS 分詞器src/parser/tokenizer/js/index.js借助acorn解析器對代碼做詞法分析只提取類型為string的字符串字面量即引號包裹的內(nèi)容并用uniq去重后再交給過濾器檢測。采用 AST抽象語法樹分詞的好處很明顯代碼中的硬編碼密碼、內(nèi)嵌的 access token、URL 中的認(rèn)證信息都能被精準(zhǔn)提取同時避免把變量名、關(guān)鍵字誤當(dāng)成敏感信息。YAML文件掃描原理遞歸遍歷所有值YAML 因其可讀性常被用作 Kubernetes 部署清單、CI/CD 配置和各類服務(wù)配置文件而這些文件中經(jīng)常藏著服務(wù)賬號密碼。YAML 分詞器src/parser/tokenizer/yaml/index.js使用js-yaml的safeLoad將內(nèi)容解析為對象再通過遞歸函數(shù)把所有葉子節(jié)點的值轉(zhuǎn)為字符串?dāng)?shù)組遞歸深度上限為 50 層足夠覆蓋絕大多數(shù)真實配置。分詞器機(jī)制如何配合熵值檢測發(fā)現(xiàn)密碼分詞器只是第一道工序它的任務(wù)是把文件內(nèi)容拆解成字符串列表真正的判斷邏輯由 src/filters/entropy.meter/index.js 完成——通過計算字符串的信息熵來判斷其是否像隨機(jī)生成的密碼或密鑰。在正式計算熵值前還有一組預(yù)處理過濾器負(fù)責(zé)去噪dictionary.words.js 過濾常見英文單詞、email.addresses.js 過濾郵箱地址、local.paths.js 過濾本地路徑、whitelist.js 過濾白名單內(nèi)容等從而大幅降低誤報率。如何配置掃描規(guī)則與排除路徑如果你想調(diào)整掃描范圍只需修改 config/main.json增加受支持的文件類型在allowedExtensions中加入新擴(kuò)展名排除敏感目錄修改excludedPaths數(shù)組例如把^test改為^(test|docs)$關(guān)閉 CI 狀態(tài)更新將updateGithubStatus設(shè)為false?？偨Y(jié)三種分詞器各司其職repo-supervisor 之所以能同時高效處理 JS、JSON、YAML 文件正是因為它為每種格式定制了專用的分詞器JS 用 AST 提取字符串、JSON 遞歸提取鍵值對、YAML 遞歸提取葉子值最終統(tǒng)一交給熵值檢測過濾器判斷。理解了這套分詞器 過濾器的流水線機(jī)制你就能清楚知道 repo-supervisor 支持掃描哪些文件以及敏感信息是如何被一步步揪出來的。如果你正準(zhǔn)備為項目引入密鑰掃描工具不妨直接 clone 倉庫https://gitcode.com/gh_mirrors/re/repo-supervisor體驗完整的掃描報告能力讓密碼和密鑰不再裸奔在代碼中?！久赓M下載鏈接】repo-supervisorScan your code for security misconfiguration, search for passwords and secrets. :mag:項目地址: https://gitcode.com/gh_mirrors/re/repo-supervisor創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 repo-supervisor支持掃描哪些文件？JSON/JS/YAML分詞器機(jī)制詳解
repo-supervisor支持掃描哪些文件JSON/JS/YAML分詞器機(jī)制詳解【免費下載鏈接】repo-supervisorScan your code for security misconfiguration, search for passwords and secrets. :mag:項目地址: https://gitcode.com/gh_mirrors/re/repo-supervisorrepo-supervisor 是一款專注于代碼安全掃描的開源工具核心能力是掃描代碼中的安全配置錯誤、搜索密碼和密鑰等敏感信息。本文圍繞repo-supervisor 支持掃描哪些文件這個核心問題詳解 JSON、JS、YAML 三類文件的掃描范圍以及背后分詞器Tokenizer的工作機(jī)制幫助新手快速理解敏感信息是如何被發(fā)現(xiàn)的。repo-supervisor能掃描哪些文件類型repo-supervisor 的掃描范圍非常明確在配置文件 config/main.json 的allowedExtensions中定義了 4 種受支持的文件擴(kuò)展名擴(kuò)展名用途分詞器.jsJavaScript 源碼tokenizer/js.json配置文件、數(shù)據(jù)文件tokenizer/json.yamlYAML 配置tokenizer/yaml.ymlYAML 配置別名tokenizer/yaml同時默認(rèn)會排除^test開頭的測試目錄CLI 模式下還會排除.git目錄避免對測試代碼產(chǎn)生誤報。文件類型與分詞器的映射關(guān)系定義在 config/filters.json 中每種擴(kuò)展名對應(yīng)唯一的 parser 模塊。JSON文件掃描原理鍵值對全面提取JSON 文件是密碼和密鑰的高發(fā)區(qū)比如aws_access_key、api_secret等字段。repo-supervisor 的 JSON 分詞器src/parser/tokenizer/json/index.js會先通過JSON.parse解析整個文件然后遞歸遍歷對象同時提取鍵名和鍵值供后續(xù)熵值檢測分析。默認(rèn)配置開啟了checkObjectKeys和checkObjectValues意味著字段名和字段值都會被檢查最大遞歸深度為 10 層。這意味著嵌套再深的敏感配置也逃不過掃描。JS文件掃描原理AST分詞提取字符串JavaScript 源碼的掃描要復(fù)雜得多因為代碼中充滿了變量名、注釋、字符串字面量。repo-supervisor 的 JS 分詞器src/parser/tokenizer/js/index.js借助acorn解析器對代碼做詞法分析只提取類型為string的字符串字面量即引號包裹的內(nèi)容并用uniq去重后再交給過濾器檢測。采用 AST抽象語法樹分詞的好處很明顯代碼中的硬編碼密碼、內(nèi)嵌的 access token、URL 中的認(rèn)證信息都能被精準(zhǔn)提取同時避免把變量名、關(guān)鍵字誤當(dāng)成敏感信息。YAML文件掃描原理遞歸遍歷所有值YAML 因其可讀性常被用作 Kubernetes 部署清單、CI/CD 配置和各類服務(wù)配置文件而這些文件中經(jīng)常藏著服務(wù)賬號密碼。YAML 分詞器src/parser/tokenizer/yaml/index.js使用js-yaml的safeLoad將內(nèi)容解析為對象再通過遞歸函數(shù)把所有葉子節(jié)點的值轉(zhuǎn)為字符串?dāng)?shù)組遞歸深度上限為 50 層足夠覆蓋絕大多數(shù)真實配置。分詞器機(jī)制如何配合熵值檢測發(fā)現(xiàn)密碼分詞器只是第一道工序它的任務(wù)是把文件內(nèi)容拆解成字符串列表真正的判斷邏輯由 src/filters/entropy.meter/index.js 完成——通過計算字符串的信息熵來判斷其是否像隨機(jī)生成的密碼或密鑰。在正式計算熵值前還有一組預(yù)處理過濾器負(fù)責(zé)去噪dictionary.words.js 過濾常見英文單詞、email.addresses.js 過濾郵箱地址、local.paths.js 過濾本地路徑、whitelist.js 過濾白名單內(nèi)容等從而大幅降低誤報率。如何配置掃描規(guī)則與排除路徑如果你想調(diào)整掃描范圍只需修改 config/main.json增加受支持的文件類型在allowedExtensions中加入新擴(kuò)展名排除敏感目錄修改excludedPaths數(shù)組例如把^test改為^(test|docs)$關(guān)閉 CI 狀態(tài)更新將updateGithubStatus設(shè)為false?？偨Y(jié)三種分詞器各司其職repo-supervisor 之所以能同時高效處理 JS、JSON、YAML 文件正是因為它為每種格式定制了專用的分詞器JS 用 AST 提取字符串、JSON 遞歸提取鍵值對、YAML 遞歸提取葉子值最終統(tǒng)一交給熵值檢測過濾器判斷。理解了這套分詞器 過濾器的流水線機(jī)制你就能清楚知道 repo-supervisor 支持掃描哪些文件以及敏感信息是如何被一步步揪出來的。如果你正準(zhǔn)備為項目引入密鑰掃描工具不妨直接 clone 倉庫https://gitcode.com/gh_mirrors/re/repo-supervisor體驗完整的掃描報告能力讓密碼和密鑰不再裸奔在代碼中?！久赓M下載鏈接】repo-supervisorScan your code for security misconfiguration, search for passwords and secrets. :mag:項目地址: https://gitcode.com/gh_mirrors/re/repo-supervisor創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考