aclopCompile【免費(fèi)下載鏈接】geGEGraph Engine是面向昇騰的圖編譯器和執(zhí)行器提供了計(jì)算圖優(yōu)化、多流并行、內(nèi)存復(fù)用和模型下沉等技術(shù)手段加速模型執(zhí)行效率減少模型內(nèi)存占用。 GE 提供對(duì) PyTorch、TensorFlow 前端的友好接入能力并同時(shí)支持 onnx、pb 等主流模型格式的解析與編譯。項(xiàng)目地址: https://gitcode.com/cann/ge產(chǎn)品支持情況Ascend 950PR/Ascend 950DT不支持Atlas A3 訓(xùn)練系列產(chǎn)品/Atlas A3 推理系列產(chǎn)品支持Atlas A2 訓(xùn)練系列產(chǎn)品/Atlas A2 推理系列產(chǎn)品支持Atlas 200I/500 A2 推理產(chǎn)品支持Atlas 推理系列產(chǎn)品支持Atlas 訓(xùn)練系列產(chǎn)品支持IPV350不支持功能說(shuō)明編譯指定算子。在編譯算子前可以調(diào)用aclSetCompileopt接口設(shè)置編譯選項(xiàng)。每個(gè)算子的輸入、輸出組織不同在調(diào)用接口時(shí)嚴(yán)格按照算子輸入、輸出參數(shù)來(lái)組織算子用戶在調(diào)用aclopCompile時(shí)接口會(huì)根據(jù)optype、輸入tensor的描述、輸出tensor的描述、attr等信息查找對(duì)應(yīng)的任務(wù)再編譯算子。函數(shù)原型aclError aclopCompile(const char *opType, int numInputs, const aclTensorDesc *const inputDesc[], int numOutputs, const aclTensorDesc *const outputDesc[], const aclopAttr *attr, aclopEngineType engineType, aclopCompileType compileFlag, const char *opPath)參數(shù)說(shuō)明參數(shù)名輸入/輸出說(shuō)明opType輸入算子類型名稱的指針。numInputs輸入算子輸入tensor的數(shù)量。inputDesc輸入算子輸入tensor的描述的指針數(shù)組。類型定義請(qǐng)參見(jiàn)aclTensorDesc。需提前調(diào)用aclCreateTensorDesc接口創(chuàng)建aclTensorDesc類型。inputDesc數(shù)組中的元素個(gè)數(shù)必須與numInputs參數(shù)值保持一致。numOutputs輸入算子輸出tensor的數(shù)量。outputDesc輸入算子輸出tensor的描述的指針數(shù)組。類型定義請(qǐng)參見(jiàn)aclTensorDesc。需提前調(diào)用aclCreateTensorDesc接口創(chuàng)建aclTensorDesc類型。outputDesc數(shù)組中的元素個(gè)數(shù)必須與numOutputs參數(shù)值保持一致。attr輸入算子屬性的指針。類型定義請(qǐng)參見(jiàn)aclopAttr。需提前調(diào)用aclopCreateAttr接口創(chuàng)建aclopAttr類型。engineType輸入算子執(zhí)行引擎。類型定義請(qǐng)參見(jiàn)aclopEngineType。compileFlag輸入算子編譯標(biāo)識(shí)。類型定義請(qǐng)參見(jiàn)aclopCompileType。opPath輸入算子實(shí)現(xiàn)文件*.py的路徑的指針不包含文件名。預(yù)留參數(shù)當(dāng)前僅支持設(shè)置為nullptr。返回值說(shuō)明返回0表示成功返回其他值表示失敗請(qǐng)參見(jiàn)aclError。約束說(shuō)明編譯動(dòng)態(tài)Shape的算子時(shí)如果Shape具體值不明確但Shape范圍明確則在調(diào)用aclCreateTensorDesc接口創(chuàng)建aclTensorDesc類型時(shí)需要將dims數(shù)組的表示動(dòng)態(tài)維度的元素值設(shè)置為-1再調(diào)用aclSetTensorShapeRange接口設(shè)置tensor的各個(gè)維度的取值范圍如果Shape具體值以及Shape范圍都不明確該場(chǎng)景預(yù)留則在調(diào)用aclCreateTensorDesc接口創(chuàng)建aclTensorDesc類型時(shí)需要將dims數(shù)組的值設(shè)置為-2例如int64_t dims[] {-2}。編譯有可選輸入的算子時(shí)如果可選輸入不使用則需調(diào)用aclCreateTensorDesc(ACL_DT_UNDEFINED, 0, nullptr, ACL_FORMAT_UNDEFINED)接口創(chuàng)建aclTensorDesc類型的數(shù)據(jù)將數(shù)據(jù)類型設(shè)置為ACL_DT_UNDEFINED將Format設(shè)置為ACL_FORMAT_UNDEFINED將Shape信息設(shè)置為nullptr。編譯有constant輸入的算子時(shí)需要先調(diào)用aclSetTensorConst接口設(shè)置constant輸入。調(diào)用aclopCompile接口、aclopExecuteV2接口前設(shè)置的constant輸入數(shù)據(jù)必須保持一致?！久赓M(fèi)下載鏈接】geGEGraph Engine是面向昇騰的圖編譯器和執(zhí)行器提供了計(jì)算圖優(yōu)化、多流并行、內(nèi)存復(fù)用和模型下沉等技術(shù)手段加速模型執(zhí)行效率減少模型內(nèi)存占用。 GE 提供對(duì) PyTorch、TensorFlow 前端的友好接入能力并同時(shí)支持 onnx、pb 等主流模型格式的解析與編譯。項(xiàng)目地址: https://gitcode.com/cann/ge創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考