JAX 可組合變換grad、jit、vmap 全好使坑也全在 tracing【免費下載鏈接】jaxComposable transformations of PythonNumPy programs: differentiate, vectorize, JIT to GPU/TPU, and more項目地址: https://gitcode.com/GitHub_Trending/ja/jax昨晚把訓(xùn)練從單卡遷到多卡jax.jit一貼上去第一個 epoch 反而更慢了把 Python 的 if/while 寫進 jitted 函數(shù)直接報錯更邪門的是 print 出來的不再是數(shù)組而是什么 Tracer。JAX 是對純 Python 和 NumPy 函數(shù)做可組合變換的庫jax.grad、jax.jit、jax.vmap任意疊加這套便利全部建立在 tracing追蹤機制之上而絕大多數(shù)坑也出自這里。把 tracing 這條主線吃透你就能解釋 JAX 里大多數(shù)反直覺行為。核心機制JAX 變換靠 tracing 把函數(shù)變成 jaxpr把函數(shù)傳給jax.jit或jax.grad時JAX 并不是真的執(zhí)行它而是把每個參數(shù)換成一個 tracer——一個只攜帶 shape 和 dtype、不帶具體數(shù)值的影子值。函數(shù)照著影子值走一遍所有運算被記錄在案JAX 再據(jù)此重建出函數(shù)的完整操作序列即 jaxprJAX exPRession。打個比方這不是讓演員上場演出而是給他一份臺詞本讓他念一遍——你要的是臺詞順序不是演出本身。import jax import jax.numpy as jnp def log2(x): return jnp.log(x) / jnp.log(2.0) # make_jaxpr 只追蹤不執(zhí)行打印出函數(shù)的中間表示 print(jax.make_jaxpr(log2)(3.0)) # 追蹤得到的 jaxpr 交給 XLA 編譯再疊加 grad 就是編譯版梯度 selu_jit jax.jit(jax.grad(selu))注意一個容易被忽略的細(xì)節(jié)jaxpr 只記錄 JAX 操作。往全局 list 里 append、用 Pythonprint打日志這類副作用不會出現(xiàn)在 jaxpr 里——JAX 的變換只理解無副作用的純函數(shù)。所以當(dāng)你看到輸出里冒出Tracer對象時背后實際發(fā)生的是你在用運行時數(shù)值做了追蹤時看不到的事情取值判斷、寫日志而不是數(shù)組本身出了問題。實戰(zhàn)視角三個遞進用法預(yù)熱 JIT 編譯消除首步卡頓jit的首次調(diào)用承擔(dān)全部編譯開銷之后靠緩存直接復(fù)用編譯產(chǎn)物。jax.jit def step(x): return x * x x * 2.0 # 正式計時/訓(xùn)練前單獨預(yù)熱一次把編譯時間隔離出去 step(x).block_until_ready()訓(xùn)練第一步的耗時和其余步驟是兩個數(shù)量級預(yù)熱之后步與步之間的時間就穩(wěn)定了。配置 static 參數(shù)處理輸入分支函數(shù)里必須對參數(shù)取值做 Python 分支時可以把它標(biāo)成靜態(tài)# n 標(biāo)為靜態(tài)每個不同的 n 值各編譯一份 g_jit jax.jit(g, static_argnames[n]) g_jit(10, 20)代價是 static 值一變就重新編譯一份所以只適合取值有限、變化不頻繁的參數(shù)比如層數(shù)、模式開關(guān)。用 lax.cond 改寫運行時值判斷運行時數(shù)值要決定分支時把判斷搬進編譯區(qū)jax.jit def f(x): # 用 lax.cond 取代 Python if分支在編譯區(qū)內(nèi)展開 return jax.lax.cond(x 0, lambda x: x, lambda x: 2 * x, x)整體沒法搬進去的循環(huán)比如迭代次數(shù)本身是運行時值就只把循環(huán)體jit、循環(huán)留在 Python 側(cè)前提是把被編譯的函數(shù)定義在循環(huán)外否則每次迭代都是一個新函數(shù)、緩存永遠(yuǎn)不命中。數(shù)據(jù)說話JAX 分布式擴展的三種模式模式數(shù)據(jù)視圖顯式分片顯式集合通信Auto全局無無Explicit全局有無Manual逐設(shè)備有有這張表來自 README 對編譯器自動并行 / 顯式分片 / 手動逐設(shè)備編程三種擴展模式的劃分。差距意味著想讓編譯器替你切數(shù)據(jù)就交出控制反過來想要通信與計算重疊這類精細(xì)調(diào)度Manual 模式是必須的——shard_map文檔里對 all_gather 矩陣乘法有沒有 overlap 的 profile 對比就是給這個決策用的。團隊規(guī)模小、通信需求簡單時我傾向于從 Auto 起步等 profile 說話了再往 Manual 走。選型判斷適合上 JAX 的場景算法原型和科研迭代快 →grad、vmap、jit任意組合改完一個函數(shù)立刻有編譯版梯度手上已有 NumPy/科學(xué)計算代碼 →jax.numpy沿用 NumPy 接口遷移成本接近換 import要往多卡、TPU 擴 → 同一套純函數(shù)代碼只改分片聲明不建議硬上的場景生產(chǎn)級模型服務(wù)和完整數(shù)據(jù)管道 → JAX 只給計算與變換層Serving、數(shù)據(jù)管道要自己在生態(tài)里補齊代碼里可變狀態(tài)、類屬性滿天飛 → 與純函數(shù)約束正面沖突要么先重構(gòu)要么留在 TensorFlow/PyTorch只有單卡 CPU、模型很小 → JIT 編譯開銷可能比逐 op 執(zhí)行還貴直接用 NumPy 反而省心踩坑與排障現(xiàn)象訓(xùn)練第一步特別慢之后恢復(fù)正常。根因首次調(diào)用要做追蹤、XLA 編譯并寫緩存。解法正式流程前對jit函數(shù)做一次預(yù)熱調(diào)用別把編譯時間算進步數(shù)里?，F(xiàn)象jitted 函數(shù)里if x 0或運行時值控制的 while 直接拋錯。根因被追蹤的數(shù)值不能控制編譯期流程只有 shape、dtype 這類靜態(tài)屬性可以參與分支。解法改寫為jax.lax.cond或只編譯循環(huán)體、循環(huán)留在 Python 側(cè)?，F(xiàn)象把自定義對象標(biāo)進static_argnums后改了它的屬性結(jié)果卻不刷新。根因編譯緩存拿對象的 id 當(dāng) keyJAX 無從知道它變過。解法給對象重寫__hash__和__eq__或干脆別標(biāo) static動態(tài)部分走 PyTree 的葉子。生態(tài)與收尾倉庫自帶的 examples/ 覆蓋了從 單卡 MNIST 分類器 到 VAE 再到 SPMD 多設(shè)備實現(xiàn) 的完整路徑cloud_tpu_colabs/ 提供 ODE 求解、pmap cookbook、并行思維等交互式教程benchmarks/ 則放著官方基準(zhǔn)腳本想看jit前后的差距可以直接跑。JAX 不是功能最全的深度學(xué)習(xí)框架它是把函數(shù)變換組合這件事做到最徹底的那一個——上層疊模型庫和訓(xùn)練器下層交給 XLA中間這層薄得剛好?！久赓M下載鏈接】jaxComposable transformations of PythonNumPy programs: differentiate, vectorize, JIT to GPU/TPU, and more項目地址: https://gitcode.com/GitHub_Trending/ja/jax創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 JAX 可組合變換：grad、jit、vmap 全好使，坑也全在 tracing
JAX 可組合變換grad、jit、vmap 全好使坑也全在 tracing【免費下載鏈接】jaxComposable transformations of PythonNumPy programs: differentiate, vectorize, JIT to GPU/TPU, and more項目地址: https://gitcode.com/GitHub_Trending/ja/jax昨晚把訓(xùn)練從單卡遷到多卡jax.jit一貼上去第一個 epoch 反而更慢了把 Python 的 if/while 寫進 jitted 函數(shù)直接報錯更邪門的是 print 出來的不再是數(shù)組而是什么 Tracer。JAX 是對純 Python 和 NumPy 函數(shù)做可組合變換的庫jax.grad、jax.jit、jax.vmap任意疊加這套便利全部建立在 tracing追蹤機制之上而絕大多數(shù)坑也出自這里。把 tracing 這條主線吃透你就能解釋 JAX 里大多數(shù)反直覺行為。核心機制JAX 變換靠 tracing 把函數(shù)變成 jaxpr把函數(shù)傳給jax.jit或jax.grad時JAX 并不是真的執(zhí)行它而是把每個參數(shù)換成一個 tracer——一個只攜帶 shape 和 dtype、不帶具體數(shù)值的影子值。函數(shù)照著影子值走一遍所有運算被記錄在案JAX 再據(jù)此重建出函數(shù)的完整操作序列即 jaxprJAX exPRession。打個比方這不是讓演員上場演出而是給他一份臺詞本讓他念一遍——你要的是臺詞順序不是演出本身。import jax import jax.numpy as jnp def log2(x): return jnp.log(x) / jnp.log(2.0) # make_jaxpr 只追蹤不執(zhí)行打印出函數(shù)的中間表示 print(jax.make_jaxpr(log2)(3.0)) # 追蹤得到的 jaxpr 交給 XLA 編譯再疊加 grad 就是編譯版梯度 selu_jit jax.jit(jax.grad(selu))注意一個容易被忽略的細(xì)節(jié)jaxpr 只記錄 JAX 操作。往全局 list 里 append、用 Pythonprint打日志這類副作用不會出現(xiàn)在 jaxpr 里——JAX 的變換只理解無副作用的純函數(shù)。所以當(dāng)你看到輸出里冒出Tracer對象時背后實際發(fā)生的是你在用運行時數(shù)值做了追蹤時看不到的事情取值判斷、寫日志而不是數(shù)組本身出了問題。實戰(zhàn)視角三個遞進用法預(yù)熱 JIT 編譯消除首步卡頓jit的首次調(diào)用承擔(dān)全部編譯開銷之后靠緩存直接復(fù)用編譯產(chǎn)物。jax.jit def step(x): return x * x x * 2.0 # 正式計時/訓(xùn)練前單獨預(yù)熱一次把編譯時間隔離出去 step(x).block_until_ready()訓(xùn)練第一步的耗時和其余步驟是兩個數(shù)量級預(yù)熱之后步與步之間的時間就穩(wěn)定了。配置 static 參數(shù)處理輸入分支函數(shù)里必須對參數(shù)取值做 Python 分支時可以把它標(biāo)成靜態(tài)# n 標(biāo)為靜態(tài)每個不同的 n 值各編譯一份 g_jit jax.jit(g, static_argnames[n]) g_jit(10, 20)代價是 static 值一變就重新編譯一份所以只適合取值有限、變化不頻繁的參數(shù)比如層數(shù)、模式開關(guān)。用 lax.cond 改寫運行時值判斷運行時數(shù)值要決定分支時把判斷搬進編譯區(qū)jax.jit def f(x): # 用 lax.cond 取代 Python if分支在編譯區(qū)內(nèi)展開 return jax.lax.cond(x 0, lambda x: x, lambda x: 2 * x, x)整體沒法搬進去的循環(huán)比如迭代次數(shù)本身是運行時值就只把循環(huán)體jit、循環(huán)留在 Python 側(cè)前提是把被編譯的函數(shù)定義在循環(huán)外否則每次迭代都是一個新函數(shù)、緩存永遠(yuǎn)不命中。數(shù)據(jù)說話JAX 分布式擴展的三種模式模式數(shù)據(jù)視圖顯式分片顯式集合通信Auto全局無無Explicit全局有無Manual逐設(shè)備有有這張表來自 README 對編譯器自動并行 / 顯式分片 / 手動逐設(shè)備編程三種擴展模式的劃分。差距意味著想讓編譯器替你切數(shù)據(jù)就交出控制反過來想要通信與計算重疊這類精細(xì)調(diào)度Manual 模式是必須的——shard_map文檔里對 all_gather 矩陣乘法有沒有 overlap 的 profile 對比就是給這個決策用的。團隊規(guī)模小、通信需求簡單時我傾向于從 Auto 起步等 profile 說話了再往 Manual 走。選型判斷適合上 JAX 的場景算法原型和科研迭代快 →grad、vmap、jit任意組合改完一個函數(shù)立刻有編譯版梯度手上已有 NumPy/科學(xué)計算代碼 →jax.numpy沿用 NumPy 接口遷移成本接近換 import要往多卡、TPU 擴 → 同一套純函數(shù)代碼只改分片聲明不建議硬上的場景生產(chǎn)級模型服務(wù)和完整數(shù)據(jù)管道 → JAX 只給計算與變換層Serving、數(shù)據(jù)管道要自己在生態(tài)里補齊代碼里可變狀態(tài)、類屬性滿天飛 → 與純函數(shù)約束正面沖突要么先重構(gòu)要么留在 TensorFlow/PyTorch只有單卡 CPU、模型很小 → JIT 編譯開銷可能比逐 op 執(zhí)行還貴直接用 NumPy 反而省心踩坑與排障現(xiàn)象訓(xùn)練第一步特別慢之后恢復(fù)正常。根因首次調(diào)用要做追蹤、XLA 編譯并寫緩存。解法正式流程前對jit函數(shù)做一次預(yù)熱調(diào)用別把編譯時間算進步數(shù)里?，F(xiàn)象jitted 函數(shù)里if x 0或運行時值控制的 while 直接拋錯。根因被追蹤的數(shù)值不能控制編譯期流程只有 shape、dtype 這類靜態(tài)屬性可以參與分支。解法改寫為jax.lax.cond或只編譯循環(huán)體、循環(huán)留在 Python 側(cè)?，F(xiàn)象把自定義對象標(biāo)進static_argnums后改了它的屬性結(jié)果卻不刷新。根因編譯緩存拿對象的 id 當(dāng) keyJAX 無從知道它變過。解法給對象重寫__hash__和__eq__或干脆別標(biāo) static動態(tài)部分走 PyTree 的葉子。生態(tài)與收尾倉庫自帶的 examples/ 覆蓋了從 單卡 MNIST 分類器 到 VAE 再到 SPMD 多設(shè)備實現(xiàn) 的完整路徑cloud_tpu_colabs/ 提供 ODE 求解、pmap cookbook、并行思維等交互式教程benchmarks/ 則放著官方基準(zhǔn)腳本想看jit前后的差距可以直接跑。JAX 不是功能最全的深度學(xué)習(xí)框架它是把函數(shù)變換組合這件事做到最徹底的那一個——上層疊模型庫和訓(xùn)練器下層交給 XLA中間這層薄得剛好?！久赓M下載鏈接】jaxComposable transformations of PythonNumPy programs: differentiate, vectorize, JIT to GPU/TPU, and more項目地址: https://gitcode.com/GitHub_Trending/ja/jax創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考