如何用Ollama構建Modly內(nèi)置AI助手工具調(diào)用循環(huán)深入解析附9大工具清單【免費下載鏈接】modlyDesktop app to generate 3D models from images or prompt using local AI — runs entirely on your GPU項目地址: https://gitcode.com/GitHub_Trending/mo/modlyModly 是一款運行在本地 GPU 上的桌面 3D 模型生成應用而它內(nèi)置的AI 聊天助手正是基于Ollama 本地大模型構建的。你無需任何云端 API 密鑰——只需在 Modly 中填寫 Ollama 服務地址、選一個本地模型就能用一句自然語言讓 AI 替你減面、平滑網(wǎng)格、跑工作流。本文將帶你完成 Ollama Modly AI 助手的完整配置并深入剖析其背后「工具調(diào)用循環(huán)Tool Use Loop」的運作機制。一、Modly 的 AI 助手能做什么在 Generate 頁面頂部切換到Chat標簽就會看到與內(nèi)置助手的聊天面板源碼ChatPanel.tsx。它不是只會聊天的機器人而是一個可以直接操作 3D 場景的 Agent 查詢/卸載已下載的 3D 生成模型?? 對當前網(wǎng)格減面Decimate、平滑Smooth結果實時刷新到 3D 視圖 查看生成任務進度? 列出、執(zhí)行、甚至從零創(chuàng)建工作流所有能力都由后端文件 api/routers/agent.py 驅動核心就是一個對接 Ollama 的/agent/chat接口。二、一步到位Ollama 配置三步走1. 安裝 Ollama 并拉取本地模型在你的電腦上安裝 Ollama默認監(jiān)聽http://localhost:11434然后拉取一個小參數(shù)量的模型即可例如ollama pull qwen2.5:3b 本地 GPU 顯存有限時2B–4B 級別的模型響應更快工具調(diào)用準確率也夠用。2. 在 Modly 設置頁填寫 Ollama 地址打開Settings → Agent分區(qū)源碼AgentSection.tsx配置項說明Ollama URL默認http://localhost:11434Ollama 跑在遠程機器時改成對應地址Test 按鈕一鍵測試連通性成功后會列出該服務上所有可用模型Default model下拉框選擇默認聊天模型連接成功后出現(xiàn)Thinking 模式Auto模型自決/Enabled強制思考/Disabled最快響應配置會被持久化到前端狀態(tài)庫源碼agentStore.ts下次打開聊天面板直接生效。3. 打開 Chat 面板開聊切到 Generate 頁的Chat標簽輸入框旁可以臨時切換模型與思考模式。發(fā)一句幫我看看當前網(wǎng)格助手就會自動調(diào)用工具并給出結果。三、工具調(diào)用循環(huán)深入解析助手如何動手這是整篇文章的核心。Modly 的 Agent 沒有魔法它的本質(zhì)是一個**模型提議 → 后端執(zhí)行 → 結果回喂的回合制循環(huán)**。1. 九件內(nèi)置工具后端用一份 OpenAI 兼容格式的TOOLS清單向 Ollama 聲明可用函數(shù)agent.py#L42-L192工具作用list_models列出已下載、可立即使用的 3D 生成模型unload_models把 3D 生成模型從 GPU 顯存中卸載get_mesh_info查看當前視圖網(wǎng)格的路徑與三角面數(shù)decimate_mesh按目標面數(shù)減面二次邊折疊算法smooth_mesh施加 Laplacian 平滑get_generation_status輪詢進行中的生成任務list_workflows列出全部工作流run_workflow按 ID 執(zhí)行工作流create_workflow用有序步驟鏈創(chuàng)建新工作流2. 循環(huán)的每一回合發(fā)生了什么主循環(huán)位于 agent.py#L471-L502最多跑10 個回合請求模型把系統(tǒng)提示詞 場景上下文 歷史消息 TOOLS清單發(fā)給 Ollama 的/api/chat模型決策模型要么返回純文本回復循環(huán)結束要么返回一個或多個tool_calls執(zhí)行工具后端 execute_tool 按工具名分發(fā)——該查 API 的查 API該讀場景上下文的讀上下文結果回喂工具以role: tool的消息追加進對話歷史模型看到執(zhí)行結果后決定是繼續(xù)調(diào)用還是總結收尾。這個設計帶來兩個好處模型永遠基于真實結果說話系統(tǒng)提示詞里明確規(guī)定Always use tools to act on the scene — never just describe以及錯誤也能自愈——工具執(zhí)行失敗時錯誤文本會作為工具結果回喂模型通常會換個參數(shù)重試。3. 場景上下文注入助手看得見你的工程每次請求前端會把當前工程狀態(tài)打包進contextChatPanel.tsx#L328-L337當前網(wǎng)格路徑、三角面數(shù)、全部工作流列表、已安裝擴展含輸入/輸出類型。后端再把這些拼成兩條額外的 system 消息agent.py#L427-L452。正是靠這份上下文助手才能準確調(diào)用create_workflow——它只允許使用Available extensions里真實存在的擴展 ID絕不憑空捏造。4. 前端如何消費動作載荷工具執(zhí)行不僅返回文字還附帶一個payload供前端執(zhí)行 UI 級聯(lián)動ChatPanel.tsx#L384-L400mesh_update→ 新網(wǎng)格 URL 立刻推入 3D 視圖且支持一鍵Undorun_workflow→ 觸發(fā)工作流執(zhí)行進度條實時顯示在聊天卡片里create_workflow→ 草稿工作流直接保存到 Workflows 頁。工作流一跑完前端還會自動追加一條系統(tǒng)跟進消息讓助手主動詢問下一步——形成完整的對話閉環(huán)。四、一個精巧細節(jié)顯存自動讓位 本地 AI 最頭疼的問題是顯存爭搶。Modly 的處理方式是一旦本輪對話中觸發(fā)過run_workflow真正吃顯存的 3D 生成任務后端會立即調(diào)用 Ollama 的keep_alive: 0接口把 LLM 從顯存中卸載把整塊顯存讓給 3D 工作流agent.py#L504-L514。這個先干活、后清場的小動作正是桌面端本地 AI 體驗與云端 API 的關鍵差異。五、快速上手清單 ?安裝 Ollamaollama pull一個小模型Modly 設置頁填寫 Ollama 地址 → 點Test→ 選模型 → 保存Generate 頁切到Chat標簽用一句話試試把當前網(wǎng)格減到 5000 面進階玩法讓助手用 TripoSG 幫我建一個圖片轉 3D 的工作流它會替你連好所有節(jié)點。整套 Agent 的后端實現(xiàn)只有幾百行 Pythonapi/routers/agent.py配合 Ollama 的本地模型能力就是本地 AI 工具調(diào)用循環(huán)這一模式最簡潔的落地樣本——值得每個想給自家桌面應用接入本地 AI 助手的開發(fā)者一讀。【免費下載鏈接】modlyDesktop app to generate 3D models from images or prompt using local AI — runs entirely on your GPU項目地址: https://gitcode.com/GitHub_Trending/mo/modly創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考