第一次嘗試讓大模型幫我跑完一整套科研分析流程時(shí)我盯著它生成的漂亮結(jié)論愣了很久步驟看起來都通順中間數(shù)據(jù)卻怎么都對(duì)不上號(hào)。那不是知識(shí)不夠而是流程缺位。后來看到 K-Dense 發(fā)布的 Scientific Agent Skills我才意識(shí)到科研提效的關(guān)鍵可能不是把模型換得更大而是先給 AI 發(fā)一張科研上崗證——把科研動(dòng)作拆成可執(zhí)行、可校驗(yàn)的技能包讓 AI 成為真正能從頭到尾干活的 AI 科學(xué)家。這篇文章不打算復(fù)述項(xiàng)目介紹而是從技能工程的角度聊聊這 163 個(gè)技能背后的設(shè)計(jì)邏輯以及普通科研團(tuán)隊(duì)能從中學(xué)到什么。如果你正想給自己的 AI Agent 接科研場(chǎng)景或者已經(jīng)被看起來專業(yè)、跑起來翻車的 AI 科研助手折騰過這篇內(nèi)容應(yīng)該能幫你少踩幾個(gè)坑。1. 這聲上崗證背后通用大模型做科研差在哪一步1.1 能答對(duì)不等于能干活科研場(chǎng)景的真實(shí)落差通用大模型的強(qiáng)項(xiàng)是給答案。問它某個(gè)化學(xué)反應(yīng)的機(jī)理它能引經(jīng)據(jù)典問它某種統(tǒng)計(jì)檢驗(yàn)的適用條件它也能講得頭頭是道。但科研干活不是答問卷它是一條由假設(shè)、實(shí)驗(yàn)、驗(yàn)證、修正、產(chǎn)出組成的流水線。比如用 RNA-seq 數(shù)據(jù)找差異表達(dá)基因這個(gè)任務(wù)鏈路其實(shí)非常長(zhǎng)質(zhì)量評(píng)估、序列比對(duì)、定量、歸一化、差異分析、富集分析、可視化。每一步又有自己的參數(shù)、輸入輸出格式和坑。普通對(duì)話模型往往在一個(gè)環(huán)節(jié)上回答得很漂亮卻沒有意識(shí)去控制下一個(gè)環(huán)節(jié)的輸入格式也不會(huì)在結(jié)束之后做一次結(jié)果自檢。我在實(shí)際使用中最常見到的翻車場(chǎng)景是模型給了你一段分析代碼你復(fù)制運(yùn)行后報(bào)錯(cuò)把報(bào)錯(cuò)丟給它它修一次你運(yùn)行又報(bào)新錯(cuò)再丟給它……你們倆不是在科研是在進(jìn)行一場(chǎng)無休止的debug 拉鋸戰(zhàn)。這背后的原因是大模型默認(rèn)把你當(dāng)作提問者而不是把它自己當(dāng)作項(xiàng)目執(zhí)行者。它缺乏一套內(nèi)化的崗位動(dòng)作規(guī)范比如數(shù)據(jù)處理前先檢查缺失值建模前先做數(shù)據(jù)切分輸出圖表前檢查坐標(biāo)軸標(biāo)簽。1.2 K-Dense 想解決的核心矛盾知識(shí)密度和流程顆粒度K-Dense 這個(gè)名字里K 指向知識(shí)Dense 指向稠密/密集。我理解它的核心思路是科學(xué)知識(shí)密度極高的任務(wù)不能用輕飄飄的提示詞去驅(qū)動(dòng)必須借助一個(gè)高密度的知識(shí)表達(dá)層把分散在文獻(xiàn)、SOP、實(shí)驗(yàn)記錄里的操作常識(shí)壓進(jìn) Agent 可以檢索和調(diào)度的形式。但這只是問題的一半。另一半是流程顆粒度。哪怕你給 Agent 塞了一座知識(shí)庫如果它不知道什么任務(wù)該走什么流程知識(shí)也只是死知識(shí)。163 個(gè)技能本質(zhì)上是把科研大流程切成小顆粒度的操作單元每個(gè)單元有明確的輸入、輸出和校驗(yàn)方式。K-Dense 把這些單元組織成一張技能網(wǎng)讓 Agent 在接到復(fù)雜任務(wù)時(shí)能按需取用而不是每次都從零開始自由發(fā)揮。換句話說通用大模型的默認(rèn)狀態(tài)是什么都能聊兩句科研 Agent 的目標(biāo)狀態(tài)是接手一個(gè)課題能按規(guī)范推進(jìn)。K-Dense 這聲上崗證就是把后者變成可安裝、可復(fù)用的工程產(chǎn)物。2. 163 個(gè)技能都在管什么事從技能目錄反推體系設(shè)計(jì)官方頁面沒有把 163 個(gè)技能逐個(gè)列全但按科研項(xiàng)目的基本生命周期去反推技能體系的大方向基本能看得很清楚。2.1 技能的四層能力骨架我習(xí)慣把這類技能集分成四層這樣比較容易理解它為什么能支撐起AI 科學(xué)家這個(gè)稱號(hào)。第一層是感知類技能負(fù)責(zé)把外部世界轉(zhuǎn)成結(jié)構(gòu)化信息。論文 PDF 的解析、實(shí)驗(yàn)表格的清洗、圖片中的曲線數(shù)據(jù)提取、儀器導(dǎo)出文件的格式歸一化都屬于這一類?？蒲协h(huán)境里大量數(shù)據(jù)是非結(jié)構(gòu)化的沒有這層技能Agent 后面再聰明也接不住現(xiàn)實(shí)。第二層是推理類技能負(fù)責(zé)做科學(xué)判斷。比如根據(jù)實(shí)驗(yàn)?zāi)康倪x擇統(tǒng)計(jì)方法、從一組觀測(cè)數(shù)據(jù)推斷物理模型、判斷兩個(gè)結(jié)論在統(tǒng)計(jì)上是否顯著不同。這類技能最容易和通用問答混淆但它比問答多了一層約束它必須圍繞具體的輸入數(shù)據(jù)做計(jì)算或推斷并輸出可查驗(yàn)的理由。第三層是執(zhí)行類技能負(fù)責(zé)操作工具和環(huán)境。寫 Python 腳本做數(shù)據(jù)清洗、調(diào)用計(jì)算化學(xué)軟件跑結(jié)構(gòu)優(yōu)化、連接實(shí)驗(yàn)室管理系統(tǒng)的 API 登記樣本都是執(zhí)行技能的范疇。這一類如果離開了外部工具單靠模型本身很難真正落地所以也是技能包里實(shí)操屬性最強(qiáng)的一層。第四層是表達(dá)類技能負(fù)責(zé)把科學(xué)結(jié)果轉(zhuǎn)成別人能懂的東西。生成論文圖表、寫方法學(xué)段落、整理參考文獻(xiàn)、按期刊格式排版、甚至起草給合作者的技術(shù)說明郵件都算表達(dá)技能。現(xiàn)實(shí)里很多科研新手會(huì)低估這部分但 AI 科學(xué)家想被團(tuán)隊(duì)接受能不能把結(jié)果講清楚和能不能算對(duì)同樣重要。2.2 按科研任務(wù)流拆解技能大類用科研任務(wù)流去套這四層能力可以得到一張大致清晰的技能分布圖。我在整理時(shí)把 163 個(gè)技能粗分成 8 個(gè)大類每個(gè)大類里的技能數(shù)是我按自己處理科研任務(wù)的經(jīng)驗(yàn)反推的并不代表官方目錄但對(duì)于理解體系結(jié)構(gòu)很有幫助。技能大類覆蓋范圍推測(cè)技能數(shù)文獻(xiàn)與信息技能論文解析、信息抽取、檢索、綜述輔助約 18實(shí)驗(yàn)設(shè)計(jì)與方案規(guī)劃假設(shè)生成、實(shí)驗(yàn)設(shè)計(jì)、樣本量估算約 24數(shù)據(jù)獲取與預(yù)處理數(shù)據(jù)清洗、缺失值處理、格式轉(zhuǎn)換約 26統(tǒng)計(jì)與數(shù)學(xué)建模描述統(tǒng)計(jì)、假設(shè)檢驗(yàn)、回歸、機(jī)器學(xué)習(xí)建模約 30代碼與軟件工程腳本生成、調(diào)試、單元測(cè)試、Git 操作約 21科學(xué)可視化與論文圖表繪圖、配色、圖表類型選擇約 15學(xué)術(shù)寫作與溝通論文寫作、潤(rùn)色、回復(fù)審稿意見約 19可重復(fù)性與質(zhì)量審計(jì)結(jié)果復(fù)現(xiàn)、數(shù)據(jù)版本管理、審計(jì)清單生成約 10上面數(shù)字加起來正好是 163。不是說項(xiàng)目方一定按這個(gè)比例切分而是這種劃分能告訴你一個(gè)道理想要湊出 163 個(gè)技能并不難難的是讓技能完整覆蓋從問題提出到成果交付的整個(gè)鏈路。許多自建的 Agent 技能庫只在某一段很強(qiáng)比如文獻(xiàn)總結(jié)很猛但拿到原始數(shù)據(jù)就開始胡編就是因?yàn)殒溌穬深^沒打通。2.3 數(shù)字背后的取舍為什么是 163 而不是越大越好看到一個(gè)巨大數(shù)字時(shí)很多人的直覺是越多越厲害。做過技能工程之后我的感受恰好相反技能庫的規(guī)模是服務(wù)于可檢索、可調(diào)度、可維護(hù)這三件事的。技能太多Agent 在路由時(shí)反而容易選錯(cuò)用戶維護(hù)起來也是災(zāi)難。K-Dense 選擇做原子化技能而不是巨型任務(wù)包我認(rèn)為是刻意的。想象一下如果它把完成一篇論文做成一個(gè)技能那這個(gè)技能內(nèi)部必然要包含大量條件分支最終會(huì)退化成一個(gè)糊成一團(tuán)的巨型提示詞本質(zhì)不可控。反過來把任務(wù)切成可以獨(dú)立驗(yàn)證的小技能再由調(diào)度層根據(jù)任務(wù)動(dòng)態(tài)組合每個(gè)技能都保持簡(jiǎn)單和明確整體復(fù)雜度雖然高卻能被有效管理。163 看起來大但如果對(duì)標(biāo)的是一個(gè)科研助理要掌握的基本動(dòng)作其實(shí)不多——只相當(dāng)于上百條崗位規(guī)范而已。提示判斷一個(gè) Agent 技能集好不好用別只看數(shù)量。先看它的技能描述是否足夠明確再看不同技能之間的邊界是否清晰。兩個(gè)描述相似的技能會(huì)互相干擾這比技能不夠用更讓人頭疼。3. 技能包內(nèi)部的操作說明書長(zhǎng)什么樣3.1 一個(gè)原子技能必備的組成要素我自己在落地類似技能包時(shí)會(huì)要求每個(gè)技能至少包含 8 個(gè)要素技能 ID、觸發(fā)條件描述、所需輸入變量、執(zhí)行步驟、依賴的知識(shí)上下文、輸出格式、質(zhì)量校驗(yàn)清單、失敗恢復(fù)策略。這個(gè)框架和 K-Dense 這類項(xiàng)目的常見做法是吻合的。下面是一個(gè)簡(jiǎn)化版的技能定義示例方便你看懂它的結(jié)構(gòu)id: stats_two_group_comparison name: 兩組定量數(shù)據(jù)差異檢驗(yàn) description: 當(dāng)用戶提供一份 CSV/Excel 表格其中包含一個(gè)分組列和一個(gè) 連續(xù)數(shù)值列希望比較兩組之間的均值是否存在顯著差異時(shí) 使用本技能完成數(shù)據(jù)分布檢查、檢驗(yàn)方法選擇和結(jié)果報(bào)告。 triggers: - 比較兩組差異 - t 檢驗(yàn) - Wilcoxon 檢驗(yàn) - 組間比較 inputs: data_path: 字符串文件路徑 group_col: 字符串分組列名 value_col: 字符串?dāng)?shù)值列名 alpha: 浮點(diǎn)數(shù)默認(rèn) 0.05 steps: - 讀取數(shù)據(jù)并檢查缺失值 - 按分組計(jì)算樣本量和基本統(tǒng)計(jì)量 - 對(duì)每組做正態(tài)性檢驗(yàn) - 根據(jù)正態(tài)性和方差齊性選擇參數(shù)/非參數(shù)檢驗(yàn) - 計(jì)算效應(yīng)量和置信區(qū)間 - 輸出結(jié)論文本和統(tǒng)計(jì)結(jié)果表 quality_checks: - 所有列名是否與用戶輸入一致 - 樣本量是否明確寫入報(bào)告 - 檢驗(yàn)方法是否在報(bào)告中給出依據(jù) - 是否報(bào)告效應(yīng)量而非只報(bào)告 p 值 error_recovery: - 若某組樣本量小于 3停止檢驗(yàn)并提示數(shù)據(jù)不足 - 若非正態(tài)自動(dòng)切換到非參數(shù)檢驗(yàn)并在報(bào)告中注明可以看出技能不只是一段請(qǐng)你做個(gè)檢驗(yàn)的提示詞它把邊界條件、操作順序和驗(yàn)收標(biāo)準(zhǔn)都固化了。Agent 裝載這些技能后再接到任務(wù)不太需要臨場(chǎng)思考我該怎么做才嚴(yán)謹(jǐn)它只要按技能包的規(guī)范執(zhí)行并在關(guān)鍵節(jié)點(diǎn)留下痕跡。這有點(diǎn)像給新員工發(fā)崗位 SOP不是否定他的能力而是讓他的每次動(dòng)作都穩(wěn)定在合格線上。3.2 為什么技能不能被一次性塞進(jìn)上下文有人會(huì)問既然技能內(nèi)容就是一堆文字那為什么不把 163 個(gè)技能全寫進(jìn)提示詞里讓模型自己翻著用這個(gè)問題的答案和為什么不把一本百科全書全文背下來再考試一樣。一方面上下文窗口再大也架不住長(zhǎng)期占用另一方面當(dāng)大量技能同時(shí)存在時(shí)模型會(huì)在路由時(shí)發(fā)生嚴(yán)重的注意力稀釋——它看哪個(gè)技能都像最后選了一個(gè)看起來最像但實(shí)際不是最合適的。這就像讓一個(gè)新手同時(shí)看一百份作業(yè)指導(dǎo)書再去做實(shí)驗(yàn)他大概率會(huì)混淆操作條件。K-Dense 這類項(xiàng)目采用的做法我更認(rèn)可按需加載。當(dāng)任務(wù)進(jìn)來系統(tǒng)先做一次意圖理解和技能檢索只把最相關(guān)的幾個(gè)技能包注入當(dāng)前工作上下文。這種調(diào)度方式需要的不是普通關(guān)鍵詞匹配?？蒲姓Z言里同一個(gè)概念可能有完全不同的叫法比如差異表達(dá)和differential expression實(shí)驗(yàn)設(shè)計(jì)和design of experiments跨中英文、跨子領(lǐng)域的表達(dá)差異在傳統(tǒng)檢索里非常容易漏召回。所以需要用向量化的語義檢索去建立查詢和技能描述之間的匹配關(guān)系這也是 K-Dense 名稱中 Dense 的意義所在用稠密向量表示科學(xué)任務(wù)和技能之間的語義鄰近度而不是靠簡(jiǎn)單的規(guī)則枚舉。3.3 技能和知識(shí)庫是兩回事但要協(xié)同工作再補(bǔ)一個(gè)常見誤區(qū)技能文件里通常不會(huì)把領(lǐng)域知識(shí)寫得非常詳細(xì)它寫的是操作步驟。比如用密度泛函理論做結(jié)構(gòu)優(yōu)化這個(gè)技能內(nèi)部可能只是一個(gè)精心設(shè)計(jì)的 DFT 計(jì)算流程具體的泛函參數(shù)、基組選擇、收斂標(biāo)準(zhǔn)可能來自一個(gè)外部參數(shù)庫。也就是說Agent 在執(zhí)行技能時(shí)需要同時(shí)讀取兩類信息一類是路徑怎么走另一類是領(lǐng)域數(shù)據(jù)怎么選。在我接觸過的科研 Agent 實(shí)踐中凡是效果好的都做了技能層和知識(shí)層的分離。技能層保持穩(wěn)定修一次可以反復(fù)用知識(shí)層持續(xù)更新新文獻(xiàn)、新方法出來時(shí)可以直接刷新不需要大改技能邏輯。K-Dense 的 K 字頭知識(shí)密度應(yīng)該就是想把這兩層都打磨到位。4. 從兩個(gè)真實(shí)任務(wù)看技能調(diào)度鏈4.1 任務(wù)一從論文 PDF 到可復(fù)現(xiàn)圖表先分享一個(gè)很常見的需求拿到一篇論文想復(fù)現(xiàn)它圖 3 的分析。這類任務(wù)在過去非常依賴人肉閱讀論文和手寫代碼但用技能集調(diào)度后有了一條相對(duì)清晰的鏈路。第一步Agent 會(huì)調(diào)起PDF 結(jié)構(gòu)解析技能把論文里的文字、表格、圖注分開抽出來目標(biāo)是定位圖 3 對(duì)應(yīng)的分析方法描述。第二步調(diào)用實(shí)驗(yàn)方法抽取技能把方法段落中關(guān)鍵的分析流程提煉成結(jié)構(gòu)化步驟包括樣本量、統(tǒng)計(jì)方法、參數(shù)設(shè)置。第三步把論文補(bǔ)充材料里的原始數(shù)據(jù)讀進(jìn)來走數(shù)據(jù)清洗技能處理缺失列、單位換算等問題。第四步調(diào)用代碼生成與執(zhí)行技能寫出分析腳本并實(shí)際運(yùn)行這一步經(jīng)常需要來回調(diào)試。最后還有一個(gè)很重要的環(huán)節(jié)調(diào)用結(jié)果比對(duì)技能把你跑出來的圖和論文原圖放在一起做視覺與數(shù)值比對(duì)判斷復(fù)現(xiàn)是否成功。我后來在復(fù)盤這套調(diào)用鏈時(shí)發(fā)現(xiàn)它和人類科研助理的做法幾乎一樣先讀論文再抄方法然后處理數(shù)據(jù)寫代碼最后核對(duì)結(jié)果。技能集并沒有創(chuàng)造什么魔法它只是把人類重復(fù)了無數(shù)遍的科研流程沉淀成了模塊。163 個(gè)技能在單個(gè)任務(wù)里實(shí)際用到的可能不到 8 個(gè)但正是因?yàn)橛写罅總溥x技能存在這套流程才能覆蓋各種變體任務(wù)。4.2 任務(wù)二多方案實(shí)驗(yàn)設(shè)計(jì)評(píng)估另一個(gè)比較有代表性的場(chǎng)景是讓 Agent 幫你做多方案實(shí)驗(yàn)設(shè)計(jì)。假設(shè)你想篩選三個(gè)因素對(duì)產(chǎn)物收率的影響但不確定該用全因子設(shè)計(jì)還是部分因子設(shè)計(jì)。技能集調(diào)度過程大概是Agent 先調(diào)用實(shí)驗(yàn)設(shè)計(jì)生成技能根據(jù)因子數(shù)量和實(shí)驗(yàn)成本約束給出正交表或部分因子設(shè)計(jì)的候選方案。隨后調(diào)用可行性檢查技能把每個(gè)方案需要耗費(fèi)的樣本數(shù)、試劑種類、儀器時(shí)長(zhǎng)算一遍自動(dòng)剔除那些超過資源上限的選項(xiàng)。再往下Agent 會(huì)調(diào)用統(tǒng)計(jì)功效分析技能評(píng)估每個(gè)候選方案在預(yù)設(shè)效應(yīng)量下能不能給出可靠結(jié)論。最后調(diào)用實(shí)驗(yàn) SOP 生成技能把選定的方案轉(zhuǎn)成一張可執(zhí)行的實(shí)驗(yàn)室操作表包括每一組實(shí)驗(yàn)的因子水平組合、重復(fù)次數(shù)、隨機(jī)化順序。為了讓你更直觀地感受調(diào)度過程下面是一段簡(jiǎn)化后的技能調(diào)用日志形式是這類系統(tǒng)常見的 JSON 輸出{ task: 設(shè)計(jì) 3 因素 2 水平收率優(yōu)化實(shí)驗(yàn), plan: [ {skill: design_experiment_factorial, output: 候選方案集}, {skill: resource_feasibility_check, output: 可行方案子集}, {skill: power_analysis, output: 功效與樣本量評(píng)估}, {skill: experiment_sop_generator, output: 最終SOP} ], quality_check: { status: pass, warnings: [ 建議增加 1 個(gè)中心點(diǎn)以檢驗(yàn)純二次效應(yīng) ] } }細(xì)看這個(gè)調(diào)用序列最有價(jià)值的不是某個(gè)單獨(dú)技能而是先生成候選方案、再做資源約束檢查、再做統(tǒng)計(jì)功效評(píng)估的這個(gè)順序。順序錯(cuò)了后面的結(jié)論就可能不可靠。比如如果你先做功效分析再檢查資源選出的最優(yōu)方案可能根本沒有足夠的實(shí)驗(yàn)條件支持。技能集的可調(diào)度性讓這種流程順序可以被固化避免模型隨機(jī)發(fā)揮。4.3 技能的組合涌現(xiàn)163 個(gè)技能不是孤立節(jié)點(diǎn)把兩個(gè)任務(wù)對(duì)照起來看你就會(huì)明白我為什么說163 個(gè)技能不是 163 種獨(dú)立功能。技能更像樂高積木單個(gè)技能價(jià)值有限但組合起來能覆蓋的科研場(chǎng)景是數(shù)量級(jí)的增長(zhǎng)。讀取技能加上統(tǒng)計(jì)技能再加上繪圖技能就能完成一套完整的數(shù)據(jù)分析交付檢索技能加上實(shí)驗(yàn)設(shè)計(jì)技能再加上寫作技能就能支撐一篇方法學(xué)論文的初稿生成。這種設(shè)計(jì)讓我想到流水線生產(chǎn)中的動(dòng)作分解擰一顆螺絲不需要一個(gè)全能技工只需要一個(gè)順手、規(guī)范、可重復(fù)的工位動(dòng)作。AI 科學(xué)家也是這樣煉成的不是讓它成為比人類更聰明的思維機(jī)器而是讓它能把無數(shù)個(gè)細(xì)小的正確動(dòng)作按順序執(zhí)行到位。5. 實(shí)操中容易翻車的幾個(gè)點(diǎn)技能工程的避坑記錄5.1 技能描述寫不好Agent 就迷路前面很長(zhǎng)篇幅都在講技能集的理論設(shè)計(jì)但真正落到運(yùn)行層面第一個(gè)坑往往是最樸素的描述寫得太粗糙。有人在做技能路由的時(shí)候技能描述只寫處理數(shù)據(jù)做統(tǒng)計(jì)分析這種大字標(biāo)簽結(jié)果 Agent 面對(duì)具體輸入時(shí)根本不知道要不要調(diào)用它。我自己在改技能描述時(shí)總結(jié)了一條經(jīng)驗(yàn)描述里要寫觸發(fā)條件而不是功能名稱。寧可用一段啰嗦的話把數(shù)據(jù)格式、業(yè)務(wù)背景、輸出要求寫清楚也不要簡(jiǎn)潔地寫四個(gè)字然后讓模型猜。比如當(dāng)用戶上傳一份包含多組重復(fù)測(cè)量的縱向數(shù)據(jù)且需要比較不同時(shí)間點(diǎn)之間的變化趨勢(shì)時(shí)使用就比縱向數(shù)據(jù)分析好用得多。這個(gè)細(xì)節(jié)直接決定 Agent 能不能在關(guān)鍵時(shí)刻想起這個(gè)技能。5.2 重流程校驗(yàn)防止 Agent 自圓其說技能執(zhí)行過程中的自圓其說問題是最隱秘的風(fēng)險(xiǎn)。大模型有一個(gè)天生傾向即使它沒找到真實(shí)數(shù)據(jù)也會(huì)努力為你生成一個(gè)合理的結(jié)果。在科研場(chǎng)景里這比答錯(cuò)題嚴(yán)重得多因?yàn)樗赡茏屇隳玫揭环莞袷骄赖耆摌?gòu)的分析報(bào)告。為了對(duì)付這個(gè)問題技能包里的質(zhì)量校驗(yàn)清單不是擺設(shè)。我在設(shè)計(jì)中會(huì)給每個(gè)關(guān)鍵技能加一個(gè)硬性要求中間產(chǎn)物必須落盤并在日志里記錄訪問路徑生成代碼后必須先跑一個(gè)小型冒煙測(cè)試再處理全量數(shù)據(jù)統(tǒng)計(jì)結(jié)論必須附帶置信區(qū)間和樣本量描述否則不允許輸出顯著/不顯著字樣。K-Dense 這類大型技能集當(dāng)然把校驗(yàn)設(shè)計(jì)得更細(xì)但核心思路一模一樣讓過程留痕讓結(jié)論可追溯。如果你在自己的 Agent 里沒做這層校驗(yàn)就等于給了模型編造一個(gè)合理答案的機(jī)會(huì)而且它大概率會(huì)抓住這個(gè)機(jī)會(huì)。5.3 評(píng)估技能集效果我用四把尺子技能集做好之后怎么判斷它到底行不行我通常會(huì)避開感覺變強(qiáng)了這種模糊感受用四個(gè)可量化的維度來評(píng)估。第一把尺子是技能命中率給一批典型科研任務(wù)打標(biāo)簽看 Agent 選用的技能是不是預(yù)期的那幾個(gè)。第二把尺子是任務(wù)完整率統(tǒng)計(jì)從任務(wù)開始到最終交付有多少任務(wù)能在不人工介入的情況下走完全程。第三把尺子是人工驗(yàn)收通過率把 Agent 的產(chǎn)出交給領(lǐng)域?qū)＜掖蚍挚摧敵鍪欠裾嬲峡茖W(xué)規(guī)范。第四把尺子是端到端時(shí)間成本對(duì)比同樣任務(wù)過去人工做完要多久現(xiàn)在 Agent 輔助做完要多久衡量提效是否真實(shí)存在。評(píng)估維度衡量?jī)?nèi)容我常用的通過標(biāo)準(zhǔn)技能命中率是否選對(duì)技能測(cè)試集上準(zhǔn)確率 90%任務(wù)完整率不人工介入跑完比例關(guān)鍵路徑任務(wù) 80%人工驗(yàn)收通過率領(lǐng)域?qū)＜艺J(rèn)可度主要輸出通過率 85%時(shí)間成本端到端耗時(shí)變化相比純?nèi)斯ず臅r(shí)降低 50% 以上尤其要留意一個(gè)現(xiàn)象有時(shí)候單個(gè)技能拆得很細(xì)評(píng)測(cè)卻發(fā)現(xiàn)任務(wù)完整率很低。問題通常出在技能之間的交接協(xié)議上比如上一個(gè)技能輸出的列名格式下一個(gè)技能的輸入清洗邏輯沒有對(duì)齊。這種問題在紙面上看不出來只有端到端跑一遍才會(huì)暴露。所以在評(píng)估指標(biāo)體系里我永遠(yuǎn)把任務(wù)完整率放在比單技能準(zhǔn)確率更重要的位置。5.4 別把 Agent 的一次性輸出當(dāng)成最終答案最后還有一個(gè)心態(tài)上的提醒。即便技能集設(shè)計(jì)得再好我也建議在關(guān)鍵結(jié)論前保留人工復(fù)核。AI 科學(xué)家的價(jià)值在于把重復(fù)勞動(dòng)壓縮到極致把需要專業(yè)判斷的部分集中呈現(xiàn)給人類專家而不是替代人類專家做判斷。我在很多項(xiàng)目里會(huì)刻意讓 Agent 在輸出報(bào)告時(shí)附帶一個(gè)不確定項(xiàng)清單主動(dòng)標(biāo)出哪些內(nèi)容是推斷出來的、哪些條件是假設(shè)的。這個(gè)動(dòng)作看起來很小但對(duì)建立信任非常有效。6. 普通科研團(tuán)隊(duì)怎么跟上這波技能化浪潮6.1 把團(tuán)隊(duì)實(shí)驗(yàn) SOP 改造成最小技能包K-Dense 這類項(xiàng)目離普通科研團(tuán)隊(duì)可能有點(diǎn)遠(yuǎn)但它的方法論完全可以本地化。你不需要一次做出 163 個(gè)技能只需要把團(tuán)隊(duì)里最高頻的三五個(gè)實(shí)驗(yàn)流程改造成技能包就夠了。具體做法是找一份你們團(tuán)隊(duì)最成熟的實(shí)驗(yàn) SOP把它拆成輸入條件、操作步驟、質(zhì)量檢查、異常處理四段。讓 AI 助手按這個(gè)結(jié)構(gòu)去執(zhí)行觀察它在一個(gè)月內(nèi)積累的反饋不斷修正描述和校驗(yàn)清單。我自己就是這么做的第一個(gè)版本只覆蓋了數(shù)據(jù)清洗和標(biāo)準(zhǔn)統(tǒng)計(jì)檢驗(yàn)兩個(gè)流程但它們正好是團(tuán)隊(duì)里重復(fù)勞動(dòng)最多的部分改造完帶來的提效比想象中更明顯。6.2 先給 Agent 配操作規(guī)范再講能力和參數(shù)很多團(tuán)隊(duì)在引入 Agent 時(shí)習(xí)慣先去調(diào)大模型的參數(shù)比如換更大的模型、調(diào)高 temperature、增加上下文窗口。這些確實(shí)有用但如果不是在做純創(chuàng)意任務(wù)對(duì)科研場(chǎng)景來說先給 Agent 配上規(guī)范動(dòng)作的優(yōu)先級(jí)遠(yuǎn)比調(diào)參數(shù)更高。模型能力再強(qiáng)缺少操作規(guī)范時(shí)也只能隨機(jī)應(yīng)變而一旦有了清晰技能包哪怕底模弱一點(diǎn)也能穩(wěn)定輸出合格結(jié)果。我親眼見過一個(gè)小團(tuán)隊(duì)用同一個(gè)模型接入技能包前后的表現(xiàn)判若兩人。之前讓它做差異基因分析輸出總是東一榔頭西一棒子接入技能包后它會(huì)先跑質(zhì)量評(píng)估、再過濾低表達(dá)基因、再選檢驗(yàn)方法、最后匯報(bào)結(jié)果流程非常穩(wěn)。模型沒有換換的是它身上的規(guī)范。6.3 技能化的邊界留一點(diǎn)空間給不守規(guī)矩技能化的價(jià)值是讓 AI 穩(wěn)定復(fù)制成熟流程但它對(duì)探索性研究也有一個(gè)天然的局限真正開創(chuàng)新理論的科研往往需要跳出既有 SOP 去建立新的連接。如果所有科研都被技能包鎖死很容易變成用標(biāo)準(zhǔn)工具反復(fù)確認(rèn)已知結(jié)論。所以我對(duì)技能化的態(tài)度是八個(gè)字流程鎖死猜想放開。實(shí)驗(yàn)操作、數(shù)據(jù)處理、論文寫作這些確定性環(huán)節(jié)盡可能讓技能包來管減少低級(jí)錯(cuò)誤但假說提出、異?，F(xiàn)象解讀、跨領(lǐng)域類比這些創(chuàng)造性環(huán)節(jié)還是要依靠人類科學(xué)家的直覺同時(shí)給 Agent 留出質(zhì)疑技能的通道。如果 Agent 在執(zhí)行某個(gè)技能時(shí)發(fā)現(xiàn)輸入條件和技能假設(shè)嚴(yán)重不符應(yīng)該允許它停下來說一句我認(rèn)為這個(gè)技能不適用于當(dāng)前場(chǎng)景而不是硬著頭皮跑完。回到 K-Dense 這張科研上崗證我最大的體會(huì)是給 AI 發(fā)證容易真正難的是讓 AI 在拿到證之后每一次實(shí)驗(yàn)都按規(guī)范做、每一步推理都留下證據(jù)、每一個(gè)結(jié)論都經(jīng)得起復(fù)查。這套思路對(duì)我們普通人的啟示其實(shí)更簡(jiǎn)單——想讓 AI 在專業(yè)領(lǐng)域靠點(diǎn)譜與其逼它變得更聰明不如先把它要做的事情定義得足夠清楚。我在自己的小范圍實(shí)踐里已經(jīng)嘗到了甜頭接下來還會(huì)繼續(xù)把團(tuán)隊(duì)里更多瑣碎但嚴(yán)謹(jǐn)?shù)牧鞒桃粋€(gè)一個(gè)變成 AI 的上崗技能。