指南：掌握 mlflow.config 模塊的異步日志、系統(tǒng)指標與 URI 管理)
MLflow 全局配置實戰(zhàn)指南掌握 mlflow.config 模塊的異步日志、系統(tǒng)指標與 URI 管理【免費下載鏈接】mlflowThe open source AI engineering platform for agents, LLMs, and ML models. MLflow enables teams of all sizes to debug, evaluate, monitor, and optimize production-quality AI applications while controlling costs and managing access to models and data.項目地址: https://gitcode.com/GitHub_Trending/ml/mlflowmlflow.config是 MLflow 的集中式全局配置入口為開發(fā)者提供了一套純 Python 的編程式配置 API用于統(tǒng)一控制三類核心行為異步日志Async Logging、系統(tǒng)指標日志System Metrics Logging以及 Tracking / Model Registry 服務的 URI 指向。本文基于倉庫中的 mlflow/config/init.py 模塊及其底層實現(xiàn)逐項講解每個配置函數(shù)的作用、對應環(huán)境變量、優(yōu)先級規(guī)則與典型實戰(zhàn)場景幫助你擺脫在腳本中直接操作環(huán)境變量的脆弱寫法用類型安全、可復用的 API 完成 MLflow 運行時的全局調優(yōu)。一、模塊定位MLflow 的全局配置統(tǒng)一入口mlflow.config模塊本身極簡——它是一個門面Facade模塊本身幾乎不含業(yè)務邏輯而是從三個子模塊批量導入并重新導出與全局配置相關的函數(shù)。從 mlflow/config/init.py 的源碼可以看到其依賴結構來自mlflow.environment_variablesMLFLOW_ENABLE_ASYNC_LOGGING環(huán)境變量對象異步日志的全局開關來自mlflow.system_metrics啟用/禁用系統(tǒng)指標日志、設置采樣間隔、采樣次數(shù)與節(jié)點 ID 的 5 個函數(shù)來自mlflow.trackingTracking URI 與 Model Registry URI 的 getter/setter 及探測函數(shù)。模塊通過__all__顯式聲明了 12 個公開 API調用方式統(tǒng)一為mlflow.config.function_name(...)。這種設計把散落在不同子包中的全局級配置收斂到單一命名空間既便于用戶發(fā)現(xiàn) API也讓文檔Sphinx automodule能以模塊為單位完整生成參考手冊。對應的 API 參考文檔位于 docs/api_reference/source/python_api/mlflow.config.rst使用automodule自動抓取模塊 docstring 與簽名。從源碼結構可以推斷mlflow.config面向的是進程級全局配置所有 setter 函數(shù)本質上都是向底層環(huán)境變量對象寫入值因此這些配置不僅影響當前進程還會通過環(huán)境變量被子進程繼承天然適合在訓練腳本入口處統(tǒng)一完成初始化。二、異步日志開關enable_async_logging()異步日志是 MLflow 在高頻打點場景如每 step 記錄指標下的關鍵優(yōu)化將日志操作投遞到后臺線程池避免阻塞訓練主循環(huán)。mlflow.config提供了唯一的全局編程式開關import mlflow # 全局開啟異步日志 mlflow.config.enable_async_logging(True) with mlflow.start_run(): mlflow.log_param(a, 1) # 將以異步方式記錄立即返回 # 全局關閉異步日志恢復同步記錄 mlflow.config.enable_async_logging(False) with mlflow.start_run(): mlflow.log_param(a, 1) # 同步記錄等待寫入完成函數(shù)簽名與行為見 mlflow/config/init.py參數(shù)enableTrue時開啟False時關閉底層實現(xiàn)為MLFLOW_ENABLE_ASYNC_LOGGING.set(enable)即寫入環(huán)境變量該環(huán)境變量定義于 mlflow/environment_variables.py_BooleanEnvironmentVariable類型默認值為 False同步。底層聯(lián)動synchronous 參數(shù)的解析鏈enable_async_logging()的開關會作用于所有支持synchronous參數(shù)的 fluent API。以mlflow.log_param為例mlflow/tracking/fluent.py其解析邏輯為synchronous synchronous if synchronous is not None else not MLFLOW_ENABLE_ASYNC_LOGGING.get() return MlflowClient().log_param(run_id, key, value, synchronoussynchronous)即單次調用顯式傳synchronous時以顯式值為準未傳時回退讀取環(huán)境變量也就是mlflow.config.enable_async_logging寫入的值。log_metric、log_metrics、log_param、log_params、set_tag、set_tags等 fluent API 均遵循此規(guī)則參見 mlflow/tracking/fluent.py、mlflow/tracking/fluent.py 等處的相同模式。當synchronousFalse時函數(shù)不再返回記錄值而是返回mlflow.utils.async_logging.run_operations.RunOperations實例代表日志操作的 future配套的mlflow.flush_async_logging()可強制沖刷所有待處理的異步日志。相關環(huán)境變量環(huán)境變量類型/默認值說明MLFLOW_ENABLE_ASYNC_LOGGINGbool /False全局異步日志總開關MLFLOW_ASYNC_LOGGING_THREADPOOL_SIZEint /10異步日志線程池大小見 mlflow/environment_variables.py實戰(zhàn)建議開啟時機在訓練循環(huán)中高頻調用log_metrics例如每 step 一次且后端為網絡型 Tracking Server 時開啟異步日志可顯著降低打點開銷關閉時機需要保證日志立即可查詢如實驗結束立即分析時應關閉或調用flush_async_logging()細粒度控制全局開關之外還可以對單個調用傳synchronousFalse實現(xiàn)全局同步、熱點路徑異步的混合策略。三、系統(tǒng)指標日志5 個函數(shù)的完整用法系統(tǒng)指標日志System Metrics Logging是 MLflow 的實驗性功能自 2.8 版本引入見 mlflow/tracking/fluent.py 的 docstring用于在 Run 運行期間自動采集 CPU、內存、磁盤、網絡乃至 GPU 等主機級指標。mlflow.config提供了 5 個相關函數(shù)。3.1 全局開關enable / disableimport mlflow mlflow.config.enable_system_metrics_logging() # 全局啟用 mlflow.config.disable_system_metrics_logging() # 全局禁用兩個函數(shù)分別將MLFLOW_ENABLE_SYSTEM_METRICS_LOGGING置為 True / False見 mlflow/system_metrics/init.py。關鍵語義源碼 docstring 明確說明全局啟用后單個 Run 仍可通過mlflow.start_run(log_system_metricsFalse)關閉全局禁用后單個 Run 仍可通過mlflow.start_run(log_system_metricsTrue)開啟。也就是說mlflow.config的開關設置的是默認行為start_run的顯式參數(shù)擁有更高優(yōu)先級。當start_run(log_system_metricsNone)時才會讀取MLFLOW_ENABLE_SYSTEM_METRICS_LOGGING環(huán)境變量見 mlflow/tracking/fluent.py。3.2 采樣間隔set_system_metrics_sampling_interval()# 每 10 秒采集一次系統(tǒng)指標 mlflow.config.set_system_metrics_sampling_interval(10)參數(shù)為浮點秒數(shù)默認 10 秒傳入None時調用底層MLFLOW_SYSTEM_METRICS_SAMPLING_INTERVAL.unset()恢復默認值見 mlflow/system_metrics/init.py。3.3 聚合樣本數(shù)set_system_metrics_samples_before_logging()# 每采集 5 個樣本后才將聚合結果寫入 MLflow mlflow.config.set_system_metrics_samples_before_logging(5)參數(shù)為整數(shù)默認 1即每個采樣周期都寫一條記錄傳入None時同樣恢復默認值。3.4 節(jié)點標識set_system_metrics_node_id()# 在分布式訓練中標記當前節(jié)點 mlflow.config.set_system_metrics_node_id(node_0)參數(shù)為字符串node_id用于區(qū)分多節(jié)點分布式訓練環(huán)境下不同機器采集的指標設置后指標鍵會帶上節(jié)點前綴例如system/node_0/cpu_utilization_percentage見 mlflow/system_metrics/system_metrics_monitor.py。3.5 底層實現(xiàn)SystemMetricsMonitor 如何消費這些配置mlflow.config寫入的環(huán)境變量會被 mlflow/system_metrics/system_metrics_monitor.py 中的SystemMetricsMonitor在初始化時讀取self.sampling_interval MLFLOW_SYSTEM_METRICS_SAMPLING_INTERVAL.get() or sampling_interval self.samples_before_logging ( MLFLOW_SYSTEM_METRICS_SAMPLES_BEFORE_LOGGING.get() or samples_before_logging ) self.node_id MLFLOW_SYSTEM_METRICS_NODE_ID.get() or node_id即環(huán)境變量優(yōu)先構造參數(shù)兜底。監(jiān)視器默認實例化 CPU、Disk、Network 三個采集器system_metrics_monitor.py若檢測到可用 GPU 則追加 GPU 采集器所有指標以system/為前綴寫入如system/cpu_utilization_percentage監(jiān)控線程按sampling_interval循環(huán)采樣、每累積samples_before_logging個樣本批量落庫system_metrics_monitor.py。采集器實現(xiàn)分散在 mlflow/system_metrics/metrics/ 目錄下cpu_monitor.py、disk_monitor.py、network_monitor.py、gpu_monitor.py、rocm_monitor.py等。??依賴提示start_run啟動系統(tǒng)指標監(jiān)控時若環(huán)境中未安裝psutil包會拋出MlflowException提示先執(zhí)行pip install psutil見 mlflow/tracking/fluent.py。這是使用系統(tǒng)指標功能的前置條件。四、Tracking URI 與 Registry URI 管理mlflow.config還導出了 5 個 URI 管理函數(shù)用于定位實驗數(shù)據(jù)Tracking與模型注冊表Model Registry的服務端點。4.1 set_tracking_uri() / get_tracking_uri() / is_tracking_uri_set()import mlflow # 方式一本地文件存儲默認即 ./mlruns mlflow.config.set_tracking_uri(file:///tmp/my_tracking) print(mlflow.config.get_tracking_uri()) # file:///tmp/my_tracking # 方式二HTTP 服務 mlflow.config.set_tracking_uri(https://my-tracking-server:5000) # 方式三SQLite 數(shù)據(jù)庫 mlflow.config.set_tracking_uri(sqlite:///mlflow.db)set_tracking_uri支持多種 URI 形態(tài)見 mlflow/tracking/_tracking_service/utils.py空字符串或file:/前綴的本地路徑——數(shù)據(jù)存儲于本地空串時為./mlrunsHTTP URI如https://my-tracking-server:5000Databricks workspace字符串databricks或databricks://profileNamepathlib.Path實例內部會轉換為絕對路徑的 file URI。實現(xiàn)細節(jié)值得注意set_tracking_uri除了更新進程內_tracking_uri還會同步寫入MLFLOW_TRACKING_URI環(huán)境變量讓子進程能夠繼承該配置utils.py同時會調用reset()重置 Tracer Provider因為追蹤導出地址依賴 tracking URI。get_tracking_uri()的解析優(yōu)先級為進程內_tracking_uri→MLFLOW_TRACKING_URI環(huán)境變量 → 默認 URI./mlruns或既有mlruns目錄is_tracking_uri_set()則返回前兩者是否任一已設置utils.py。4.2 set_registry_uri() / get_registry_uri()import mlflow # 將模型注冊表指向與 Tracking 不同的服務 mlflow.config.set_registry_uri(sqlite:////tmp/registry.db) mr_uri mlflow.config.get_registry_uri() tracking_uri mlflow.config.get_tracking_uri() assert tracking_uri ! mr_uri # 二者可以不同set_registry_uri的語義mlflow/tracking/_model_registry/utils.py當注冊表服務與 Tracking Server 分離時用它單獨指定注冊表端點底層同樣寫入MLFLOW_REGISTRY_URI環(huán)境變量以便子進程繼承。URI 取值支持本地文件路徑、HTTP URI如http://my-oss-uc-server:8080以及 Databricks 形式。從源碼結構可以推斷未顯式設置 registry URI 時會依據(jù) tracking URI 推導默認值databricks開頭的 tracking URI 對應databricks-uc帶 profile 則追加否則默認與 tracking URI 相同utils.py。五、環(huán)境變量對照速查表mlflow.config的所有配置最終都落到環(huán)境變量上下表匯總其對應關系定義位置統(tǒng)一在 mlflow/environment_variables.pymlflow.config API對應環(huán)境變量類型 / 默認值定義行enable_async_logging()MLFLOW_ENABLE_ASYNC_LOGGINGbool /FalseL789enable/disable_system_metrics_logging()MLFLOW_ENABLE_SYSTEM_METRICS_LOGGINGbool /FalseL638set_system_metrics_sampling_interval()MLFLOW_SYSTEM_METRICS_SAMPLING_INTERVALfloat /NoneL643set_system_metrics_samples_before_logging()MLFLOW_SYSTEM_METRICS_SAMPLES_BEFORE_LOGGINGint /NoneL648set_system_metrics_node_id()MLFLOW_SYSTEM_METRICS_NODE_IDstr /NoneL654set_tracking_uri()MLFLOW_TRACKING_URIstr / 未設置utils.pyset_registry_uri()MLFLOW_REGISTRY_URIstr / 未設置utils.py需要說明的優(yōu)先級規(guī)則API 與手動 export 等價mlflow.config.set_*與在終端執(zhí)行export MLFLOW_*最終作用在同一環(huán)境變量上監(jiān)視器初始化時也是讀取同一變量顯式參數(shù) 環(huán)境變量 默認值如start_run(log_system_metricsTrue)優(yōu)先于MLFLOW_ENABLE_SYSTEM_METRICS_LOGGINGlog_param(synchronousFalse)優(yōu)先于MLFLOW_ENABLE_ASYNC_LOGGING傳入 None 即恢復默認系統(tǒng)指標的三個 setter 在傳None時調用.unset()回到未配置狀態(tài)。六、綜合實戰(zhàn)示例以下示例展示如何在訓練腳本入口集中完成全部全局配置import mlflow # —— 全局配置建議放在腳本最前面—— mlflow.config.set_tracking_uri(https://my-tracking-server:5000) mlflow.config.set_registry_uri(sqlite:////tmp/registry.db) mlflow.config.enable_async_logging(True) # 高頻打點場景全局異步 mlflow.config.enable_system_metrics_logging() # 默認記錄系統(tǒng)指標 mlflow.config.set_system_metrics_sampling_interval(10) # 每 10s 采樣 mlflow.config.set_system_metrics_samples_before_logging(3) # 累積 3 個樣本寫一次 mlflow.config.set_system_metrics_node_id(node_0) # 多節(jié)點訓練標識 with mlflow.start_run(): # 未傳 log_system_metrics回退到全局配置 for step in range(100): mlflow.log_metric(loss, compute_loss(step)) # 異步記錄不阻塞訓練 mlflow.log_param(learning_rate, 0.01) mlflow.flush_async_logging() # 結束前沖刷所有待處理異步日志 # 進程內校驗 print(mlflow.config.get_tracking_uri()) # https://my-tracking-server:5000 print(mlflow.config.is_tracking_uri_set()) # True在分布式訓練場景中每個節(jié)點設置不同的set_system_metrics_node_id()如node_0、node_1即可在同一 Run 內通過system/node_0/...、system/node_1/...前綴區(qū)分不同主機的資源指標。七、進一步閱讀模塊實現(xiàn)mlflow/config/init.py門面模塊12 個公開 API系統(tǒng)指標實現(xiàn)mlflow/system_metrics/init.py 與 mlflow/system_metrics/system_metrics_monitor.py監(jiān)控線程、采樣與批量落庫指標采集器mlflow/system_metrics/metrics/CPU / Disk / Network / GPU / ROCmTracking URI 解析mlflow/tracking/_tracking_service/utils.pyRegistry URI 解析mlflow/tracking/_model_registry/utils.py環(huán)境變量全集mlflow/environment_variables.pyfluent API 聯(lián)動mlflow/tracking/fluent.pystart_run與各log_*函數(shù)API 參考文檔docs/api_reference/source/python_api/mlflow.config.rst【免費下載鏈接】mlflowThe open source AI engineering platform for agents, LLMs, and ML models. MLflow enables teams of all sizes to debug, evaluate, monitor, and optimize production-quality AI applications while controlling costs and managing access to models and data.項目地址: https://gitcode.com/GitHub_Trending/ml/mlflow創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考 MLflow 全局配置實戰(zhàn)指南：掌握 mlflow.config 模塊的異步日志、系統(tǒng)指標與 URI 管理
MLflow 全局配置實戰(zhàn)指南掌握 mlflow.config 模塊的異步日志、系統(tǒng)指標與 URI 管理【免費下載鏈接】mlflowThe open source AI engineering platform for agents, LLMs, and ML models. MLflow enables teams of all sizes to debug, evaluate, monitor, and optimize production-quality AI applications while controlling costs and managing access to models and data.項目地址: https://gitcode.com/GitHub_Trending/ml/mlflowmlflow.config是 MLflow 的集中式全局配置入口為開發(fā)者提供了一套純 Python 的編程式配置 API用于統(tǒng)一控制三類核心行為異步日志Async Logging、系統(tǒng)指標日志System Metrics Logging以及 Tracking / Model Registry 服務的 URI 指向。本文基于倉庫中的 mlflow/config/init.py 模塊及其底層實現(xiàn)逐項講解每個配置函數(shù)的作用、對應環(huán)境變量、優(yōu)先級規(guī)則與典型實戰(zhàn)場景幫助你擺脫在腳本中直接操作環(huán)境變量的脆弱寫法用類型安全、可復用的 API 完成 MLflow 運行時的全局調優(yōu)。一、模塊定位MLflow 的全局配置統(tǒng)一入口mlflow.config模塊本身極簡——它是一個門面Facade模塊本身幾乎不含業(yè)務邏輯而是從三個子模塊批量導入并重新導出與全局配置相關的函數(shù)。從 mlflow/config/init.py 的源碼可以看到其依賴結構來自mlflow.environment_variablesMLFLOW_ENABLE_ASYNC_LOGGING環(huán)境變量對象異步日志的全局開關來自mlflow.system_metrics啟用/禁用系統(tǒng)指標日志、設置采樣間隔、采樣次數(shù)與節(jié)點 ID 的 5 個函數(shù)來自mlflow.trackingTracking URI 與 Model Registry URI 的 getter/setter 及探測函數(shù)。模塊通過__all__顯式聲明了 12 個公開 API調用方式統(tǒng)一為mlflow.config.function_name(...)。這種設計把散落在不同子包中的全局級配置收斂到單一命名空間既便于用戶發(fā)現(xiàn) API也讓文檔Sphinx automodule能以模塊為單位完整生成參考手冊。對應的 API 參考文檔位于 docs/api_reference/source/python_api/mlflow.config.rst使用automodule自動抓取模塊 docstring 與簽名。從源碼結構可以推斷mlflow.config面向的是進程級全局配置所有 setter 函數(shù)本質上都是向底層環(huán)境變量對象寫入值因此這些配置不僅影響當前進程還會通過環(huán)境變量被子進程繼承天然適合在訓練腳本入口處統(tǒng)一完成初始化。二、異步日志開關enable_async_logging()異步日志是 MLflow 在高頻打點場景如每 step 記錄指標下的關鍵優(yōu)化將日志操作投遞到后臺線程池避免阻塞訓練主循環(huán)。mlflow.config提供了唯一的全局編程式開關import mlflow # 全局開啟異步日志 mlflow.config.enable_async_logging(True) with mlflow.start_run(): mlflow.log_param(a, 1) # 將以異步方式記錄立即返回 # 全局關閉異步日志恢復同步記錄 mlflow.config.enable_async_logging(False) with mlflow.start_run(): mlflow.log_param(a, 1) # 同步記錄等待寫入完成函數(shù)簽名與行為見 mlflow/config/init.py參數(shù)enableTrue時開啟False時關閉底層實現(xiàn)為MLFLOW_ENABLE_ASYNC_LOGGING.set(enable)即寫入環(huán)境變量該環(huán)境變量定義于 mlflow/environment_variables.py_BooleanEnvironmentVariable類型默認值為 False同步。底層聯(lián)動synchronous 參數(shù)的解析鏈enable_async_logging()的開關會作用于所有支持synchronous參數(shù)的 fluent API。以mlflow.log_param為例mlflow/tracking/fluent.py其解析邏輯為synchronous synchronous if synchronous is not None else not MLFLOW_ENABLE_ASYNC_LOGGING.get() return MlflowClient().log_param(run_id, key, value, synchronoussynchronous)即單次調用顯式傳synchronous時以顯式值為準未傳時回退讀取環(huán)境變量也就是mlflow.config.enable_async_logging寫入的值。log_metric、log_metrics、log_param、log_params、set_tag、set_tags等 fluent API 均遵循此規(guī)則參見 mlflow/tracking/fluent.py、mlflow/tracking/fluent.py 等處的相同模式。當synchronousFalse時函數(shù)不再返回記錄值而是返回mlflow.utils.async_logging.run_operations.RunOperations實例代表日志操作的 future配套的mlflow.flush_async_logging()可強制沖刷所有待處理的異步日志。相關環(huán)境變量環(huán)境變量類型/默認值說明MLFLOW_ENABLE_ASYNC_LOGGINGbool /False全局異步日志總開關MLFLOW_ASYNC_LOGGING_THREADPOOL_SIZEint /10異步日志線程池大小見 mlflow/environment_variables.py實戰(zhàn)建議開啟時機在訓練循環(huán)中高頻調用log_metrics例如每 step 一次且后端為網絡型 Tracking Server 時開啟異步日志可顯著降低打點開銷關閉時機需要保證日志立即可查詢如實驗結束立即分析時應關閉或調用flush_async_logging()細粒度控制全局開關之外還可以對單個調用傳synchronousFalse實現(xiàn)全局同步、熱點路徑異步的混合策略。三、系統(tǒng)指標日志5 個函數(shù)的完整用法系統(tǒng)指標日志System Metrics Logging是 MLflow 的實驗性功能自 2.8 版本引入見 mlflow/tracking/fluent.py 的 docstring用于在 Run 運行期間自動采集 CPU、內存、磁盤、網絡乃至 GPU 等主機級指標。mlflow.config提供了 5 個相關函數(shù)。3.1 全局開關enable / disableimport mlflow mlflow.config.enable_system_metrics_logging() # 全局啟用 mlflow.config.disable_system_metrics_logging() # 全局禁用兩個函數(shù)分別將MLFLOW_ENABLE_SYSTEM_METRICS_LOGGING置為 True / False見 mlflow/system_metrics/init.py。關鍵語義源碼 docstring 明確說明全局啟用后單個 Run 仍可通過mlflow.start_run(log_system_metricsFalse)關閉全局禁用后單個 Run 仍可通過mlflow.start_run(log_system_metricsTrue)開啟。也就是說mlflow.config的開關設置的是默認行為start_run的顯式參數(shù)擁有更高優(yōu)先級。當start_run(log_system_metricsNone)時才會讀取MLFLOW_ENABLE_SYSTEM_METRICS_LOGGING環(huán)境變量見 mlflow/tracking/fluent.py。3.2 采樣間隔set_system_metrics_sampling_interval()# 每 10 秒采集一次系統(tǒng)指標 mlflow.config.set_system_metrics_sampling_interval(10)參數(shù)為浮點秒數(shù)默認 10 秒傳入None時調用底層MLFLOW_SYSTEM_METRICS_SAMPLING_INTERVAL.unset()恢復默認值見 mlflow/system_metrics/init.py。3.3 聚合樣本數(shù)set_system_metrics_samples_before_logging()# 每采集 5 個樣本后才將聚合結果寫入 MLflow mlflow.config.set_system_metrics_samples_before_logging(5)參數(shù)為整數(shù)默認 1即每個采樣周期都寫一條記錄傳入None時同樣恢復默認值。3.4 節(jié)點標識set_system_metrics_node_id()# 在分布式訓練中標記當前節(jié)點 mlflow.config.set_system_metrics_node_id(node_0)參數(shù)為字符串node_id用于區(qū)分多節(jié)點分布式訓練環(huán)境下不同機器采集的指標設置后指標鍵會帶上節(jié)點前綴例如system/node_0/cpu_utilization_percentage見 mlflow/system_metrics/system_metrics_monitor.py。3.5 底層實現(xiàn)SystemMetricsMonitor 如何消費這些配置mlflow.config寫入的環(huán)境變量會被 mlflow/system_metrics/system_metrics_monitor.py 中的SystemMetricsMonitor在初始化時讀取self.sampling_interval MLFLOW_SYSTEM_METRICS_SAMPLING_INTERVAL.get() or sampling_interval self.samples_before_logging ( MLFLOW_SYSTEM_METRICS_SAMPLES_BEFORE_LOGGING.get() or samples_before_logging ) self.node_id MLFLOW_SYSTEM_METRICS_NODE_ID.get() or node_id即環(huán)境變量優(yōu)先構造參數(shù)兜底。監(jiān)視器默認實例化 CPU、Disk、Network 三個采集器system_metrics_monitor.py若檢測到可用 GPU 則追加 GPU 采集器所有指標以system/為前綴寫入如system/cpu_utilization_percentage監(jiān)控線程按sampling_interval循環(huán)采樣、每累積samples_before_logging個樣本批量落庫system_metrics_monitor.py。采集器實現(xiàn)分散在 mlflow/system_metrics/metrics/ 目錄下cpu_monitor.py、disk_monitor.py、network_monitor.py、gpu_monitor.py、rocm_monitor.py等。??依賴提示start_run啟動系統(tǒng)指標監(jiān)控時若環(huán)境中未安裝psutil包會拋出MlflowException提示先執(zhí)行pip install psutil見 mlflow/tracking/fluent.py。這是使用系統(tǒng)指標功能的前置條件。四、Tracking URI 與 Registry URI 管理mlflow.config還導出了 5 個 URI 管理函數(shù)用于定位實驗數(shù)據(jù)Tracking與模型注冊表Model Registry的服務端點。4.1 set_tracking_uri() / get_tracking_uri() / is_tracking_uri_set()import mlflow # 方式一本地文件存儲默認即 ./mlruns mlflow.config.set_tracking_uri(file:///tmp/my_tracking) print(mlflow.config.get_tracking_uri()) # file:///tmp/my_tracking # 方式二HTTP 服務 mlflow.config.set_tracking_uri(https://my-tracking-server:5000) # 方式三SQLite 數(shù)據(jù)庫 mlflow.config.set_tracking_uri(sqlite:///mlflow.db)set_tracking_uri支持多種 URI 形態(tài)見 mlflow/tracking/_tracking_service/utils.py空字符串或file:/前綴的本地路徑——數(shù)據(jù)存儲于本地空串時為./mlrunsHTTP URI如https://my-tracking-server:5000Databricks workspace字符串databricks或databricks://profileNamepathlib.Path實例內部會轉換為絕對路徑的 file URI。實現(xiàn)細節(jié)值得注意set_tracking_uri除了更新進程內_tracking_uri還會同步寫入MLFLOW_TRACKING_URI環(huán)境變量讓子進程能夠繼承該配置utils.py同時會調用reset()重置 Tracer Provider因為追蹤導出地址依賴 tracking URI。get_tracking_uri()的解析優(yōu)先級為進程內_tracking_uri→MLFLOW_TRACKING_URI環(huán)境變量 → 默認 URI./mlruns或既有mlruns目錄is_tracking_uri_set()則返回前兩者是否任一已設置utils.py。4.2 set_registry_uri() / get_registry_uri()import mlflow # 將模型注冊表指向與 Tracking 不同的服務 mlflow.config.set_registry_uri(sqlite:////tmp/registry.db) mr_uri mlflow.config.get_registry_uri() tracking_uri mlflow.config.get_tracking_uri() assert tracking_uri ! mr_uri # 二者可以不同set_registry_uri的語義mlflow/tracking/_model_registry/utils.py當注冊表服務與 Tracking Server 分離時用它單獨指定注冊表端點底層同樣寫入MLFLOW_REGISTRY_URI環(huán)境變量以便子進程繼承。URI 取值支持本地文件路徑、HTTP URI如http://my-oss-uc-server:8080以及 Databricks 形式。從源碼結構可以推斷未顯式設置 registry URI 時會依據(jù) tracking URI 推導默認值databricks開頭的 tracking URI 對應databricks-uc帶 profile 則追加否則默認與 tracking URI 相同utils.py。五、環(huán)境變量對照速查表mlflow.config的所有配置最終都落到環(huán)境變量上下表匯總其對應關系定義位置統(tǒng)一在 mlflow/environment_variables.pymlflow.config API對應環(huán)境變量類型 / 默認值定義行enable_async_logging()MLFLOW_ENABLE_ASYNC_LOGGINGbool /FalseL789enable/disable_system_metrics_logging()MLFLOW_ENABLE_SYSTEM_METRICS_LOGGINGbool /FalseL638set_system_metrics_sampling_interval()MLFLOW_SYSTEM_METRICS_SAMPLING_INTERVALfloat /NoneL643set_system_metrics_samples_before_logging()MLFLOW_SYSTEM_METRICS_SAMPLES_BEFORE_LOGGINGint /NoneL648set_system_metrics_node_id()MLFLOW_SYSTEM_METRICS_NODE_IDstr /NoneL654set_tracking_uri()MLFLOW_TRACKING_URIstr / 未設置utils.pyset_registry_uri()MLFLOW_REGISTRY_URIstr / 未設置utils.py需要說明的優(yōu)先級規(guī)則API 與手動 export 等價mlflow.config.set_*與在終端執(zhí)行export MLFLOW_*最終作用在同一環(huán)境變量上監(jiān)視器初始化時也是讀取同一變量顯式參數(shù) 環(huán)境變量 默認值如start_run(log_system_metricsTrue)優(yōu)先于MLFLOW_ENABLE_SYSTEM_METRICS_LOGGINGlog_param(synchronousFalse)優(yōu)先于MLFLOW_ENABLE_ASYNC_LOGGING傳入 None 即恢復默認系統(tǒng)指標的三個 setter 在傳None時調用.unset()回到未配置狀態(tài)。六、綜合實戰(zhàn)示例以下示例展示如何在訓練腳本入口集中完成全部全局配置import mlflow # —— 全局配置建議放在腳本最前面—— mlflow.config.set_tracking_uri(https://my-tracking-server:5000) mlflow.config.set_registry_uri(sqlite:////tmp/registry.db) mlflow.config.enable_async_logging(True) # 高頻打點場景全局異步 mlflow.config.enable_system_metrics_logging() # 默認記錄系統(tǒng)指標 mlflow.config.set_system_metrics_sampling_interval(10) # 每 10s 采樣 mlflow.config.set_system_metrics_samples_before_logging(3) # 累積 3 個樣本寫一次 mlflow.config.set_system_metrics_node_id(node_0) # 多節(jié)點訓練標識 with mlflow.start_run(): # 未傳 log_system_metrics回退到全局配置 for step in range(100): mlflow.log_metric(loss, compute_loss(step)) # 異步記錄不阻塞訓練 mlflow.log_param(learning_rate, 0.01) mlflow.flush_async_logging() # 結束前沖刷所有待處理異步日志 # 進程內校驗 print(mlflow.config.get_tracking_uri()) # https://my-tracking-server:5000 print(mlflow.config.is_tracking_uri_set()) # True在分布式訓練場景中每個節(jié)點設置不同的set_system_metrics_node_id()如node_0、node_1即可在同一 Run 內通過system/node_0/...、system/node_1/...前綴區(qū)分不同主機的資源指標。七、進一步閱讀模塊實現(xiàn)mlflow/config/init.py門面模塊12 個公開 API系統(tǒng)指標實現(xiàn)mlflow/system_metrics/init.py 與 mlflow/system_metrics/system_metrics_monitor.py監(jiān)控線程、采樣與批量落庫指標采集器mlflow/system_metrics/metrics/CPU / Disk / Network / GPU / ROCmTracking URI 解析mlflow/tracking/_tracking_service/utils.pyRegistry URI 解析mlflow/tracking/_model_registry/utils.py環(huán)境變量全集mlflow/environment_variables.pyfluent API 聯(lián)動mlflow/tracking/fluent.pystart_run與各log_*函數(shù)API 參考文檔docs/api_reference/source/python_api/mlflow.config.rst【免費下載鏈接】mlflowThe open source AI engineering platform for agents, LLMs, and ML models. MLflow enables teams of all sizes to debug, evaluate, monitor, and optimize production-quality AI applications while controlling costs and managing access to models and data.項目地址: https://gitcode.com/GitHub_Trending/ml/mlflow創(chuàng)作聲明：本文部分內容由AI輔助生成（AIGC），僅供參考