最近Linux Foundation在一個(gè)年度重磅活動(dòng)上公布了新一批跟開放AI計(jì)算相關(guān)的項(xiàng)目方向朋友圈里不少搞底層技術(shù)的朋友都在轉(zhuǎn)發(fā)。核心就一句話面向多元異構(gòu)硬件把開源軟件生態(tài)做大。說實(shí)話比起又冒出一個(gè)新的AI大模型我更關(guān)心這條賽道因?yàn)檫^去幾年我在各種混合硬件環(huán)境里折騰AI推理太清楚“異構(gòu)”這兩個(gè)字意味著什么了。這篇文章不寫新聞通稿就從一個(gè)一線開發(fā)者的角度把這個(gè)活動(dòng)背后想解決的問題、開源AI計(jì)算棧到底怎么搭、我實(shí)測(cè)中踩過的坑一并拆給你看。適合正在做AI基礎(chǔ)設(shè)施選型、或者準(zhǔn)備在異構(gòu)硬件上落地推理服務(wù)的同學(xué)參考。1. 這次活動(dòng)傳遞的信號(hào)AI基礎(chǔ)設(shè)施正在走向“聯(lián)軍作戰(zhàn)”1.1 異構(gòu)硬件遍地開花但開發(fā)者被適配工作拖垮過去幾年AI算力幾乎就是GPU的代名詞尤其是某幾家廠商的加速卡長(zhǎng)期占據(jù)主流。這兩年局面明顯變了老牌芯片廠商加速布局通用GPU各家云廠商自研AI芯片陸續(xù)量產(chǎn)還有很多面向特定場(chǎng)景的NPU、FPGA方案進(jìn)入市場(chǎng)。硬件多了是好事可落到開發(fā)者頭上問題也隨之而來。不同加速芯片有各自的編程模型有的走類CUDA路線有的走OpenCL路線有的干脆提供一套完全不同的工具鏈。模型在一個(gè)平臺(tái)上跑得好好的換到另一個(gè)平臺(tái)往往不是改幾行代碼就行而是編譯、算子、運(yùn)行時(shí)的全面搬家。我見過不少團(tuán)隊(duì)硬件買了好幾塊實(shí)際用起來卻只敢讓某一個(gè)主力平臺(tái)干活其他卡常年閑置。說白了異構(gòu)硬件如果不能通過軟件統(tǒng)一管起來價(jià)值就發(fā)揮不出來。這次活動(dòng)把“多元異構(gòu)硬件”當(dāng)成核心議題本身就是在回應(yīng)這個(gè)現(xiàn)實(shí)困境。以往我們說到AI落地第一反應(yīng)是“模型夠不夠強(qiáng)”很少去想“算力底座能不能接住”。但真到生產(chǎn)環(huán)境里你會(huì)發(fā)現(xiàn)在一塊陌生加速卡上把模型跑起來就已經(jīng)能消耗掉一個(gè)工程師小半個(gè)月的工期。硬件種類越多這種適配代價(jià)就越高最終變成整個(gè)行業(yè)的隱形稅負(fù)。1.2 為什么是Linux Foundation站在臺(tái)前這次活動(dòng)最有意思的地方在于扛旗的不是某一家商業(yè)公司而是Linux Foundation這個(gè)中立的開源治理組織。你想如果由某個(gè)占據(jù)市場(chǎng)優(yōu)勢(shì)的硬件廠商來定標(biāo)準(zhǔn)其他廠商很難真心實(shí)意跟著走如果靠社區(qū)自發(fā)生長(zhǎng)又容易出現(xiàn)接口分裂?；饡?huì)的價(jià)值在于中立和可持續(xù)讓各家硬件廠商在同一個(gè)桌面上協(xié)商接口讓開發(fā)者、用戶、研究機(jī)構(gòu)和下游廠商都能放心投入。從Linux Foundation旗下這些年陸續(xù)托管的項(xiàng)目就能看出這個(gè)思路ONNX這個(gè)開放的模型交換格式掛在LF AI Data下面PyTorch也成了Linux Foundation的一個(gè)獨(dú)立項(xiàng)目還有以oneAPI體系為基礎(chǔ)的UXL Foundation也在Linux Foundation的治理框架里推進(jìn)統(tǒng)一加速計(jì)算編程模型。這次活動(dòng)的定位更像是把這些分散動(dòng)作攏到“開放AI計(jì)算”這面大旗下面給多元異構(gòu)硬件定一套通用的基礎(chǔ)軟件底座。我好幾個(gè)朋友看到消息后都在討論這是不是意味著以后寫AI代碼可以只關(guān)心業(yè)務(wù)不用再管底層是哪種芯片。我的看法是方向確實(shí)如此但落地需要多久取決于整個(gè)開源生態(tài)愿意投入多少。下面把技術(shù)棧拆開說。2. 開源AI計(jì)算軟件棧不是單一工具而是五層體系很多人以為“開源AI計(jì)算”就是裝個(gè)PyTorch或者TensorFlow其實(shí)那只是最上面的應(yīng)用層。真正讓多元異構(gòu)硬件協(xié)同工作的是一整套從底層到頂層的軟件體系。我習(xí)慣把它拆成五層設(shè)備抽象層、算子與內(nèi)核層、編譯優(yōu)化層、運(yùn)行時(shí)與推理引擎層、調(diào)度編排層。每一層解決不同的問題也各有各的代表性開源項(xiàng)目。這里拿插座來打比方設(shè)備抽象層是制定插頭標(biāo)準(zhǔn)算子層是確定電流怎么走編譯層是幫你把電器適配到不同電網(wǎng)運(yùn)行時(shí)是墻上的插座面板調(diào)度層則是決定哪個(gè)房間先用哪個(gè)插座。少了任何一層異構(gòu)硬件都很難真正用起來。2.1 設(shè)備抽象層先解決“語(yǔ)言不通”這一層要解決的是編程模型不統(tǒng)一的問題。NVIDIA的CUDA雖然沒有成為官方開放標(biāo)準(zhǔn)但事實(shí)上已經(jīng)占據(jù)大量開發(fā)者心智而很多異構(gòu)加速卡并不支持CUDA它們有的支持OpenCL有的支持SYCL有的支持廠商自研的接口。開發(fā)者如果直接用底層API寫算子基本等于把自己綁定在某一種硬件上。SYCL和oneAPI在這個(gè)層面很有代表性。SYCL是一種基于C的異構(gòu)編程標(biāo)準(zhǔn)代碼可以在支持SYCL的不同設(shè)備上編譯運(yùn)行oneAPI則是一套完整的統(tǒng)一加速計(jì)算工具鏈涵蓋編譯器、庫(kù)和運(yùn)行時(shí)。UXL Foundation在推進(jìn)的正是讓這類統(tǒng)一的編程模型成為下一代AI和加速計(jì)算的基礎(chǔ)語(yǔ)言。你可以理解為它在嘗試做出一個(gè)“基礎(chǔ)設(shè)施級(jí)的翻譯層”讓上層不用關(guān)心底下接的是GPU、NPU還是FPGA。2.2 算子與內(nèi)核層高性能的起點(diǎn)有了統(tǒng)一編程語(yǔ)言還得有高效的算子實(shí)現(xiàn)。訓(xùn)練和推理過程中最常用的卷積、矩陣乘法、歸一化、注意力機(jī)制都需要針對(duì)特定硬件做深度優(yōu)化。廠商自己會(huì)提供高性能算子庫(kù)比如cuDNN、oneDNN、rocBLAS但這些庫(kù)的接口各不相同直接調(diào)用一樣會(huì)被綁定。更麻煩的是算子庫(kù)之間沒有統(tǒng)一的調(diào)度語(yǔ)義。你在A卡上可以輕松融合兩個(gè)算子在B卡上可能連基礎(chǔ)算子都缺胳膊少腿。所以開源社區(qū)這些年一直在做一件事用一套中間表示來描述計(jì)算圖把具體算子的實(shí)現(xiàn)交給后端。這樣前端可以統(tǒng)一后端和各廠商的算子庫(kù)對(duì)接。這也是為什么圖編譯器、中間表示這些概念會(huì)成為多元異構(gòu)生態(tài)的焦點(diǎn)。2.3 編譯優(yōu)化層用編譯器抹平硬件差異圖編譯這塊MLIR、TVM、XLA、Triton都是繞不開的名字。它們做的事情本質(zhì)上是一樣的把模型的計(jì)算圖做一系列優(yōu)化再翻譯成不同硬件能執(zhí)行的代碼。常見優(yōu)化包括算子融合、常量折疊、量化、內(nèi)存復(fù)用等等。算子融合是最直觀也最有效的手段之一。舉個(gè)例子一個(gè)卷積后面接一個(gè)BatchNorm再跟一個(gè)ReLU如果分三次執(zhí)行每次都要把中間結(jié)果寫回顯存再讀出來融合成一個(gè)算子之后中間結(jié)果可以在寄存器或者片上緩存里直接傳遞省掉大量訪存開銷。在大模型場(chǎng)景里這種融合帶來的性能提升往往是倍數(shù)級(jí)的。編譯器層的價(jià)值在于優(yōu)化邏輯可以跟具體硬件解耦。前端拿到一張計(jì)算圖先做與硬件無關(guān)的優(yōu)化再通過后端為不同硬件生成代碼。這樣硬件廠商只需要實(shí)現(xiàn)編譯器后端就能讓一大波AI模型在自己的芯片上跑起來。包容性比傳統(tǒng)“每個(gè)模型手工調(diào)一次”的方式強(qiáng)太多。2.4 運(yùn)行時(shí)與推理引擎層上線前的最后一公里編譯優(yōu)化完成后模型最終要在一個(gè)運(yùn)行環(huán)境里加載、推理、輸出結(jié)果。ONNX Runtime是這一層里我目前最看好的開源項(xiàng)目它本身是一個(gè)跨平臺(tái)的推理引擎核心設(shè)計(jì)理念是“Execution Provider”機(jī)制。什么是Execution Provider簡(jiǎn)單說它就是一套可插拔的后端適配模塊。你在同一個(gè)ONNX Runtime里可以同時(shí)指定CUDA Execution Provider、OpenVINO Execution Provider、TensorRT Execution Provider等。運(yùn)行時(shí)會(huì)把計(jì)算圖中的算子逐一分配給合適的后端算子不支持的可以自動(dòng)回退到CPU。對(duì)開發(fā)者來說業(yè)務(wù)代碼幾乎不用改動(dòng)只需要在創(chuàng)建推理會(huì)話時(shí)調(diào)整一下providers列表。這里有一張常見推理引擎的定位對(duì)比能幫你快速理解它們的差別引擎定位亮點(diǎn)適合場(chǎng)景ONNX Runtime跨平臺(tái)推理引擎多后端可插拔社區(qū)生態(tài)大異構(gòu)部署模型轉(zhuǎn)換后統(tǒng)一上線OpenVINOIntel平臺(tái)推理框架CPU、GPU、NPU統(tǒng)一且性能調(diào)校成熟邊緣節(jié)點(diǎn)、Intel硬件為主的環(huán)境TensorRTNVIDIA GPU專用優(yōu)化精度損失可控延遲極低單一NVIDIA硬件、高吞吐線上服務(wù)TFLite端側(cè)輕量推理體積小部署簡(jiǎn)單移動(dòng)端、嵌入式2.5 調(diào)度編排層讓多塊卡協(xié)同干活當(dāng)一臺(tái)機(jī)器上同時(shí)插著不同類型加速卡或者整個(gè)集群里多種硬件并存就輪到調(diào)度編排層上場(chǎng)。Kubernetes已經(jīng)成為事實(shí)上的容器調(diào)度標(biāo)準(zhǔn)但要讓它認(rèn)識(shí)GPU、NPU這些異構(gòu)設(shè)備需要Device Plugin來注冊(cè)資源。各家硬件廠商會(huì)提供自己的Device Plugin把“多少塊卡、多少顯存”作為可調(diào)度資源暴露給集群。再往上走Volcano這類調(diào)度器會(huì)給AI訓(xùn)練和推理任務(wù)做批量調(diào)度、公平調(diào)度、隊(duì)列管理。大模型時(shí)代vLLM、Ray Serve這類推理服務(wù)框架也已接入Kubernetes生態(tài)可以按需擴(kuò)縮容。也就是說調(diào)度層要管的不只是“把容器放到哪臺(tái)機(jī)器”還要考慮每類硬件的算力特征、顯存容量、是否支持某類算子這比單純管CPU復(fù)雜得多。3. 實(shí)操?gòu)?fù)盤用ONNX Runtime在混合硬件上部署一個(gè)真實(shí)模型這一部分我拿自己最近做過的一個(gè)例子來講。服務(wù)器上有一塊GPU、一顆支持AVX-512的CPU另外還有一塊NPU加速卡。目標(biāo)是把一個(gè)圖像分類模型部署上去讓它在不同硬件上都能跑并且盡量不改業(yè)務(wù)代碼。3.1 為什么最終選了ONNX Runtime我當(dāng)時(shí)的選型理由很直接團(tuán)隊(duì)里同時(shí)有PyTorch和TensorFlow的用戶大家需要先統(tǒng)一模型格式硬件又有好幾種不可能為每塊卡單獨(dú)寫一套推理服務(wù)。ONNX Runtime天然支持從PyTorch、TensorFlow導(dǎo)出ONNX又有多后端EP機(jī)制是我認(rèn)知范圍內(nèi)成本最低的方案。這里要補(bǔ)充一句ONNX全稱是Open Neural Network Exchange它定義了一套可擴(kuò)展的計(jì)算圖中間表示由Linux Foundation的AI Data基金會(huì)托管。模型轉(zhuǎn)成ONNX之后相當(dāng)于拿到了一個(gè)“通用格式”剩下的事交給不同后端去做。這一點(diǎn)在多元異構(gòu)環(huán)境里尤其重要。3.2 從PyTorch導(dǎo)出ONNX模型先把一個(gè)預(yù)訓(xùn)練ResNet18轉(zhuǎn)成ONNX。導(dǎo)出代碼不復(fù)雜關(guān)鍵是幾個(gè)參數(shù)別設(shè)錯(cuò)import torch import torchvision.models as models model models.resnet18(pretrainedTrue).eval() dummy_input torch.randn(1, 3, 224, 224) torch.onnx.export( model, dummy_input, resnet18.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch}, output: {0: batch}}, opset_version17, )這里有兩個(gè)點(diǎn)容易踩坑。一個(gè)是dynamic_axes如果上線后可能需要?jiǎng)討B(tài)batch而不是固定1條就必須把batch維標(biāo)成動(dòng)態(tài)。另一個(gè)是opset_versionONNX的算子集版本一直在演進(jìn)定得太低可能缺算子定得太高可能某些后端不支持。我建議先看你的推理引擎最高支持到幾再倒推設(shè)置。3.3 配置多后端并跑一次推理裝依賴的時(shí)候直接裝帶GPU支持的版本pip install onnxruntime-gpu onnx然后先用下面這行代碼看看當(dāng)前環(huán)境里有哪些Execution Provider可用import onnxruntime as ort print(ort.get_available_providers())我機(jī)器上輸出大概是這樣的[CUDAExecutionProvider, CPUExecutionProvider]。如果安裝了OpenVINO的EP還會(huì)出現(xiàn)OpenVINOExecutionProvider。接下來創(chuàng)建推理會(huì)話并執(zhí)行分類import numpy as np import onnxruntime as ort sess_options ort.SessionOptions() sess_options.graph_optimization_level ort.GraphOptimizationLevel.ORT_ENABLE_ALL sess ort.InferenceSession( resnet18.onnx, sess_options, providers[CUDAExecutionProvider, CPUExecutionProvider], ) input_data np.random.randn(1, 3, 224, 224).astype(np.float32) result sess.run([output], {input: input_data}) print(result[0].shape)providers列表是有順序的運(yùn)行時(shí)默認(rèn)把算子優(yōu)先分配給排在前面的EP如果某個(gè)算子當(dāng)前EP不支持再往下一個(gè)EP回退。也就是說你調(diào)一次sess.run可能在內(nèi)部完成了CUDA和CPU之間的跨后端協(xié)同。這種設(shè)計(jì)非常務(wù)實(shí)也正好契合“異構(gòu)但不折騰”的思路。3.4 用Kubernetes讓調(diào)度器識(shí)別多類硬件模型在單機(jī)跑通之后還要讓集群調(diào)度器認(rèn)識(shí)這些卡。我用了一個(gè)很樸素的方案給不同硬件節(jié)點(diǎn)打不同標(biāo)簽再用各廠商的Device Plugin注冊(cè)資源。以GPU為例常見配置里會(huì)暴露nvidia.com/gpu這個(gè)資源名。下面是一段簡(jiǎn)化版Pod配置申請(qǐng)一塊GPU并指定到GPU節(jié)點(diǎn)apiVersion: v1 kind: Pod metadata: name: ai-inference-demo spec: containers: - name: inference image: registry.example.com/onnx-inference:latest resources: limits: nvidia.com/gpu: 1 nodeSelector: hardware-type: gpu如果你有多家廠商的加速卡思路是類似的每個(gè)廠商提供一個(gè)Device Plugin把自家設(shè)備暴露成不同的資源名和數(shù)量調(diào)度器只負(fù)責(zé)按資源申請(qǐng)做分配。至于容器內(nèi)部到底用哪個(gè)EP啟動(dòng)參數(shù)或環(huán)境變量里配好即可。這樣一來“硬件異構(gòu)”在Kubernetes層面就被抽象成了“資源名數(shù)量”運(yùn)維同學(xué)也能少掉不少頭發(fā)。4. 實(shí)測(cè)中踩過的坑和排查技巧異構(gòu)環(huán)境里跑通模型只是第一步真正讓人頭疼的是各種隱蔽問題。下面這幾條都是我在實(shí)際項(xiàng)目中記錄的有些問題排查了好幾天才定位到根因。4.1 同一個(gè)模型換后端后結(jié)果對(duì)不上有次我在GPU上跑FP16精度在CPU上跑FP32最后輸出的分類概率看似接近Top-1類別也一致可一旦把日志打開逐層對(duì)比中間張量差異能到小數(shù)點(diǎn)后好幾位。原因并不神秘不同后端的算子實(shí)現(xiàn)、浮點(diǎn)累加順序、是否做算子融合都會(huì)影響最終數(shù)值。排查這類問題我的建議是準(zhǔn)備一組固定輸入和一組標(biāo)準(zhǔn)輸出基線把ONNX Runtime的圖優(yōu)化全部關(guān)掉然后逐層對(duì)比中間結(jié)果定位差異是從哪一層開始放大的。等確認(rèn)了差異來源再?zèng)Q定是統(tǒng)一精度、調(diào)整融合策略還是干脆對(duì)關(guān)鍵算子指定特定EP。4.2 算子表面上支持實(shí)際“偷偷”回退CPU性能上不去的時(shí)候第一反應(yīng)往往不是算子問題而是顯存、帶寬、batch size這些常規(guī)指標(biāo)。我遇到過一次很典型的情況模型在GPU上的P99延遲比預(yù)期高了近一倍怎么看都不對(duì)。后來把日志級(jí)別調(diào)到最大才發(fā)現(xiàn)圖中有一個(gè)自定義算子當(dāng)前的CUDA EP不支持運(yùn)行時(shí)把整個(gè)子圖都回退到了CPU來回切換拷貝數(shù)據(jù)性能自然崩了。想快速定位這個(gè)問題可以在創(chuàng)建Session時(shí)把日志調(diào)到verbose級(jí)別import onnxruntime as ort sess_options ort.SessionOptions() sess_options.graph_optimization_level ort.GraphOptimizationLevel.ORT_ENABLE_ALL sess_options.log_severity_level 0 # 0verbose, 1info, 2warning, 3error sess ort.InferenceSession( model.onnx, sess_options, providers[CUDAExecutionProvider, CPUExecutionProvider], )日志里會(huì)出現(xiàn)類似memcpy from device to host、Fallback to CPUExecutionProvider的關(guān)鍵字?？吹竭@類信息基本就能鎖定是哪個(gè)節(jié)點(diǎn)在拖后腿。之后要么換一個(gè)支持該算子的EP要么對(duì)這個(gè)節(jié)點(diǎn)做重寫融合要么換用更新的ONNX Runtime版本。4.3 版本地獄CUDA、驅(qū)動(dòng)、glibc和ONNX Runtime的兼容矩陣這是我在Linux服務(wù)器上踩得最狠的坑。ONNX Runtime是編譯好的二進(jìn)制包它對(duì)CUDA版本、cuDNN版本、GCC版本都有明確要求。有時(shí)候pip install能裝成功但一加載CUDA Execution Provider就報(bào)動(dòng)態(tài)庫(kù)找不到或者直接segment fault。我排查這類問題主要有幾步。先看onnxruntime版本對(duì)應(yīng)的CUDA版本再去查驅(qū)動(dòng)支持的CUDA版本最后用ldd檢查實(shí)際加載的動(dòng)態(tài)庫(kù)ldd site-packages/onnxruntime/capi/libonnxruntime_providers_cuda.so如果輸出里有not found的庫(kù)趕緊去對(duì)應(yīng)版本目錄做軟鏈或補(bǔ)齊依賴。另外不要只在虛擬環(huán)境里裝包就完事還要確認(rèn)系統(tǒng)的NVIDIA驅(qū)動(dòng)版本滿足CUDA庫(kù)的最低要求。一個(gè)小技巧把nvidia-smi輸出的CUDA版本和nvcc -V顯示的CUDA版本分清楚前者是驅(qū)動(dòng)支持的版本后者才是編譯工具鏈的版本兩者不一致經(jīng)常是坑的源頭。4.4 多后端并發(fā)時(shí)的OpenMP沖突多后端并用的另一個(gè)坑是運(yùn)行時(shí)各自的OpenMP運(yùn)行時(shí)沖突。癥狀是什么進(jìn)程跑一段時(shí)間后突然卡死或者輸出錯(cuò)亂嚴(yán)重時(shí)直接崩掉。原因通常是不同后端庫(kù)內(nèi)部鏈接了不同版本的OpenMP和線程池實(shí)現(xiàn)互相干擾。我現(xiàn)在的習(xí)慣是在容器里統(tǒng)一設(shè)置OMP_NUM_THREADS如果確實(shí)遇到多套OpenMP沖突會(huì)考慮設(shè)置兼容環(huán)境變量避免重復(fù)加載。如果問題還出現(xiàn)就把不同EP拆成獨(dú)立進(jìn)程服務(wù)再通過外層API聚合。進(jìn)程隔離雖然增加一點(diǎn)轉(zhuǎn)發(fā)開銷但是穩(wěn)定性提升非常明顯在上生產(chǎn)時(shí)尤其值得。這里把常見問題和排查方向整理成了一張速查表現(xiàn)象可能原因排查方向延遲高、吞吐上不去算子回退CPU頻繁拷貝打開verbose日志查看回退點(diǎn)啟動(dòng)報(bào)錯(cuò)、動(dòng)態(tài)庫(kù)找不到EP依賴的CUDA/cuDNN版本不匹配查兼容矩陣用ldd定位缺失庫(kù)隨機(jī)OOM或顯存暴漲顯存碎片、顯存未釋放、推理并發(fā)過高調(diào)小batch用顯存監(jiān)控工具觀察CPU與GPU結(jié)果不一致浮點(diǎn)精度、融合策略不同固定輸入逐層對(duì)比關(guān)閉圖優(yōu)化多后端同時(shí)跑時(shí)進(jìn)程卡死OpenMP/線程池沖突設(shè)置線程數(shù)拆進(jìn)程隔離后合并結(jié)果5. 面對(duì)這個(gè)“新生態(tài)”個(gè)人開發(fā)者和企業(yè)該怎么入局活動(dòng)公布之后很多人在問到底能帶來什么機(jī)會(huì)。我的判斷是短期別指望出現(xiàn)一個(gè)“萬能兼容層”長(zhǎng)期一定要跟進(jìn)這個(gè)方向。對(duì)個(gè)人開發(fā)者來說現(xiàn)在入局的成本其實(shí)很低因?yàn)榇蟛糠猪?xiàng)目都是開源的文檔和社區(qū)資源都公開。5.1 參與社區(qū)的正確姿勢(shì)想做貢獻(xiàn)不一定要從寫代碼開始。我自己參與開源社區(qū)的經(jīng)驗(yàn)是先給文檔提改進(jìn)在issue區(qū)幫別人復(fù)現(xiàn)問題慢慢熟悉了項(xiàng)目結(jié)構(gòu)和維護(hù)者風(fēng)格再提交小patch這樣阻力最小。很多底層項(xiàng)目對(duì)文檔質(zhì)量很敏感一份清晰的bug report已經(jīng)算不錯(cuò)的貢獻(xiàn)。真要在代碼上動(dòng)刀建議從測(cè)試用例、工具鏈腳本入手比直接改核心邏輯容易得多。另外關(guān)注Linux Foundation和LF AI Data成立的working group也是一種方式。這類工作組的討論紀(jì)要、路線圖都是公開的你能最早看到技術(shù)風(fēng)向也能在討論區(qū)認(rèn)識(shí)一批靠譜的工程師。5.2 給企業(yè)選型的三條建議第一關(guān)注許可證。開源不等于可以隨意商用Apache-2.0、BSD這類寬松許可證在企業(yè)落地時(shí)省心很多GPL類許可證要格外謹(jǐn)慎。第二做PoC時(shí)一定要在多種硬件上跑同一份代碼看可移植性而不是只在大廠推薦棧里測(cè)。第三評(píng)估社區(qū)活躍度看代碼提交頻率、issue響應(yīng)速度、版本發(fā)布節(jié)奏。一個(gè)項(xiàng)目再貴再好如果社區(qū)快涼了長(zhǎng)期風(fēng)險(xiǎn)都很高。在技術(shù)選型上我個(gè)人的傾向是優(yōu)先選擇那些由中立基金會(huì)托管、多家廠商參與治理的項(xiàng)目。它們更有可能長(zhǎng)期存活也更難被某一家商業(yè)公司的戰(zhàn)略轉(zhuǎn)向帶偏。這恰恰也是這次“開放AI計(jì)算”活動(dòng)最核心的底氣。5.3 最后分享一點(diǎn)個(gè)人體會(huì)我在混合硬件環(huán)境里折騰這幾年最大的感受是所謂生態(tài)不是簽幾份協(xié)議就能建起來的最終要看有多少工程師愿意在真實(shí)場(chǎng)景里用它、修它、傳它。開源的價(jià)值不在于代碼免費(fèi)而在于當(dāng)硬件換代、廠商變更、技術(shù)路線調(diào)整時(shí)你依然能保住對(duì)系統(tǒng)的掌控權(quán)。如果你也想驗(yàn)證這套生態(tài)到底好不好用我的建議是從一臺(tái)混合硬件服務(wù)器開始把一款常見模型導(dǎo)出成ONNX再用ONNX Runtime依次切換CPU、GPU、NPU幾個(gè)后端親手看一遍日志和性能數(shù)據(jù)。這個(gè)練習(xí)花不了半天但它帶給你的體感遠(yuǎn)比我在這篇文章里寫的一切都具體。對(duì)了容器環(huán)境一定要記得固定版本否則下一次重建環(huán)境時(shí)你可能會(huì)因?yàn)橐粋€(gè)小小的依賴漂移浪費(fèi)掉一個(gè)周末。