簡介本資源是一套面向計(jì)算機(jī)及相關(guān)專業(yè)本科生的課程設(shè)計(jì)與期末大作業(yè)實(shí)戰(zhàn)項(xiàng)目聚焦于生物信息學(xué)交叉場景——利用知識(shí)圖譜與推薦系統(tǒng)協(xié)同預(yù)測藥物-靶點(diǎn)相互作用。項(xiàng)目代碼完整、結(jié)構(gòu)清晰涵蓋數(shù)據(jù)預(yù)處理如hetionet.py、yamanishi_08.py、知識(shí)圖譜構(gòu)建BioKG.py、多種推薦模型實(shí)現(xiàn)deepdti.py、kge_rf.py、kge_nfm.py及訓(xùn)練評(píng)估全流程配套詳細(xì)操作指南與環(huán)境配置說明Pipfile、requirements.txt、README.md。壓縮包共40個(gè)文件含9個(gè)核心Python腳本、6個(gè).DS_Store占位文件、1個(gè)說明文檔、1個(gè)許可證及若干配置與日志文件整體僅56KB輕量易部署。已有94人學(xué)習(xí)下載適合具備基礎(chǔ)Python與機(jī)器學(xué)習(xí)認(rèn)知的學(xué)生開展項(xiàng)目復(fù)現(xiàn)、算法對(duì)比或課程報(bào)告拓展可直接用于答辯演示、模型調(diào)優(yōu)實(shí)踐與知識(shí)圖譜推薦系統(tǒng)融合應(yīng)用的入門理解。1. 項(xiàng)目緣起當(dāng)藥物研發(fā)遇上AI推薦在藥物研發(fā)這個(gè)漫長且昂貴的鏈條里有一個(gè)環(huán)節(jié)至關(guān)重要那就是尋找能與特定疾病靶點(diǎn)通常是蛋白質(zhì)發(fā)生作用的候選藥物分子。傳統(tǒng)的高通量篩選方法成本動(dòng)輒數(shù)百萬美元耗時(shí)數(shù)月成功率卻低得可憐。這感覺就像在茫茫大海里用最原始的漁網(wǎng)去撈一條特定花紋的魚效率極低。近幾年我身邊不少做計(jì)算化學(xué)和生物信息學(xué)的朋友開始頻繁討論兩個(gè)詞知識(shí)圖譜和推薦系統(tǒng)。乍一聽這倆一個(gè)像是搞“關(guān)系網(wǎng)”的一個(gè)像是電商平臺(tái)用的跟藥物研發(fā)有什么關(guān)系但仔細(xì)一想邏輯就通了。藥物、靶點(diǎn)、疾病、副作用、基因、通路……這些生物醫(yī)學(xué)實(shí)體之間存在著海量、復(fù)雜、多類型的關(guān)系這不正是一個(gè)天然的、亟待構(gòu)建的巨型知識(shí)圖譜嗎而預(yù)測一個(gè)新藥分子是否會(huì)和某個(gè)靶點(diǎn)結(jié)合本質(zhì)上不就是基于這個(gè)“圖譜”里已有的“用戶”靶點(diǎn)和“商品”藥物的交互歷史已知的結(jié)合關(guān)系去給一個(gè)“新商品”候選藥物做“個(gè)性化推薦”嗎這個(gè)想法讓我非常興奮。于是我決定動(dòng)手用Python把這一套思路實(shí)現(xiàn)出來。目標(biāo)很明確構(gòu)建一個(gè)輕量級(jí)的、可復(fù)現(xiàn)的流程整合公開的生物醫(yī)學(xué)數(shù)據(jù)搭建一個(gè)藥物-靶點(diǎn)知識(shí)圖譜然后利用經(jīng)典的推薦系統(tǒng)算法去預(yù)測那些尚未被實(shí)驗(yàn)驗(yàn)證的潛在藥物-靶點(diǎn)相互作用。這不僅是一個(gè)有趣的技術(shù)驗(yàn)證項(xiàng)目其產(chǎn)出的預(yù)測結(jié)果也能為真正的藥物發(fā)現(xiàn)提供有價(jià)值的計(jì)算線索和優(yōu)先級(jí)排序。下面我就把這個(gè)項(xiàng)目的完整實(shí)現(xiàn)思路、代碼解析以及實(shí)操中會(huì)遇到的各種“坑”和技巧毫無保留地分享出來。整個(gè)過程涉及數(shù)據(jù)處理、圖譜構(gòu)建、特征工程、模型訓(xùn)練和評(píng)估我會(huì)盡量用通俗的語言講清楚每個(gè)步驟背后的“為什么”。2. 核心數(shù)據(jù)源從哪里獲取藥物與靶點(diǎn)的“關(guān)系網(wǎng)”巧婦難為無米之炊。構(gòu)建知識(shí)圖譜和訓(xùn)練推薦模型第一步就是找數(shù)據(jù)。我們的核心需求是“藥物-靶點(diǎn)”的已知相互作用對(duì)。這里我強(qiáng)烈推薦一個(gè)公開、免費(fèi)且質(zhì)量較高的數(shù)據(jù)庫DrugBank。為什么選擇DrugBankDrugBank是一個(gè)獨(dú)特的生物信息學(xué)和化學(xué)信息學(xué)資源它詳細(xì)地結(jié)合了藥物化學(xué)數(shù)據(jù)和靶點(diǎn)蛋白數(shù)據(jù)。對(duì)于我們的項(xiàng)目來說它提供了兩大關(guān)鍵信息藥物信息包括藥物名稱、化學(xué)結(jié)構(gòu)SMILES、分類、作用機(jī)制等。靶點(diǎn)信息包括蛋白質(zhì)名稱、基因名、UniProt ID等。最關(guān)鍵的關(guān)系明確標(biāo)注了哪些藥物作用于哪些靶點(diǎn)。實(shí)際操作與數(shù)據(jù)獲取訪問DrugBank官網(wǎng)注冊(cè)一個(gè)免費(fèi)的研究賬戶即可下載數(shù)據(jù)集。我們主要需要兩個(gè)文件drugbank_all_full_database.xml完整數(shù)據(jù)庫或更易處理的drugbank_all_structures.sdf結(jié)構(gòu)文件配合其他CSV關(guān)系表。然而直接解析XML或SDF對(duì)于新手來說有點(diǎn)復(fù)雜。一個(gè)更快捷的入口是使用DrugBank提供的公開數(shù)據(jù)集比如在Kaggle上就能找到用戶上傳的、已處理好的DrugBank CSV文件包含drugs.csvtargets.csv和drug_target_interactions.csv。這對(duì)于快速啟動(dòng)項(xiàng)目非常友好。注意使用任何公開數(shù)據(jù)務(wù)必遵守其使用許可協(xié)議License。DrugBank數(shù)據(jù)用于非商業(yè)學(xué)術(shù)研究通常是允許的但需要引用。數(shù)據(jù)預(yù)處理的關(guān)鍵步驟假設(shè)我們拿到了一個(gè)包含drug_id,drug_name,target_id,target_name,gene_name的交互表。原始數(shù)據(jù)往往很“臟”我們的預(yù)處理管道至少包含以下幾步import pandas as pd import numpy as np # 1. 加載數(shù)據(jù) interactions_df pd.read_csv(drug_target_interactions.csv) # 2. 去重同一對(duì)藥物-靶點(diǎn)可能因數(shù)據(jù)來源不同而有重復(fù)記錄 interactions_df interactions_df.drop_duplicates(subset[drug_id, target_id]) # 3. 處理缺失值檢查關(guān)鍵字段是否有空值 print(interactions_df.isnull().sum()) # 如果drug_name或target_name缺失較多可以考慮用ID代替或從其他表關(guān)聯(lián)補(bǔ)齊。 # 4. 統(tǒng)一標(biāo)識(shí)符靶點(diǎn)通常使用標(biāo)準(zhǔn)的UniProt ID如‘P00734’最可靠。 # 檢查target_id的格式如果不是UniProt ID可能需要通過基因名映射。 # 這里假設(shè)我們的target_id已經(jīng)是UniProt ID。 # 5. 構(gòu)建模型所需的矩陣將藥物和靶點(diǎn)映射為連續(xù)的索引 all_drugs interactions_df[drug_id].unique() all_targets interactions_df[target_id].unique() drug_to_idx {drug: i for i, drug in enumerate(all_drugs)} target_to_idx {target: j for j, target in enumerate(all_targets)} interactions_df[drug_idx] interactions_df[drug_id].map(drug_to_idx) interactions_df[target_idx] interactions_df[target_id].map(target_to_idx) # 此時(shí)我們得到了一個(gè)干凈的交互列表包含數(shù)字索引便于后續(xù)計(jì)算。這個(gè)預(yù)處理過程看似簡單卻決定了后續(xù)所有步驟的基石是否穩(wěn)固。數(shù)據(jù)中的噪聲和偏差會(huì)直接傳遞到模型中。3. 知識(shí)圖譜構(gòu)建用Neo4j描繪生物醫(yī)學(xué)關(guān)系圖有了干凈的藥物-靶點(diǎn)交互數(shù)據(jù)我們就可以構(gòu)建知識(shí)圖譜了。這里我選擇Neo4j作為圖數(shù)據(jù)庫。它是一個(gè)高性能的NOSQL圖形數(shù)據(jù)庫使用Cypher查詢語言非常直觀特別適合存儲(chǔ)和查詢復(fù)雜的關(guān)聯(lián)關(guān)系。為什么用圖數(shù)據(jù)庫而不用關(guān)系型數(shù)據(jù)庫因?yàn)椤瓣P(guān)系”是這里的頭等公民。我們不僅要存儲(chǔ)“藥物A作用于靶點(diǎn)B”這一事實(shí)未來還可能很容易地?cái)U(kuò)展加入“靶點(diǎn)B屬于通路C”、“藥物A有副作用D”、“疾病E與靶點(diǎn)B相關(guān)”等關(guān)系。在圖數(shù)據(jù)庫中查詢“與藥物A有相同靶點(diǎn)的所有其他藥物”這樣的問題效率極高且表達(dá)直觀。這是傳統(tǒng)關(guān)系型數(shù)據(jù)庫通過多表JOIN難以優(yōu)雅實(shí)現(xiàn)的。環(huán)境準(zhǔn)備與Neo4j部署安裝從Neo4j官網(wǎng)下載桌面版或社區(qū)服務(wù)器版。桌面版帶圖形化界面對(duì)初學(xué)者更友好。啟動(dòng)安裝后啟動(dòng)Neo4j數(shù)據(jù)庫它會(huì)默認(rèn)在http://localhost:7474打開瀏覽器管理界面。默認(rèn)用戶名/密碼是neo4j/neo4j首次登錄會(huì)要求修改密碼。Python連接使用neo4j官方Python驅(qū)動(dòng)。pip install neo4j構(gòu)建圖譜的Python代碼詳解接下來我們將清洗好的數(shù)據(jù)導(dǎo)入Neo4j。核心是創(chuàng)建“藥物”節(jié)點(diǎn)、“靶點(diǎn)”節(jié)點(diǎn)以及它們之間的“INTERACTS_WITH”關(guān)系。from neo4j import GraphDatabase class DrugTargetGraph: def __init__(self, uri, user, password): self.driver GraphDatabase.driver(uri, auth(user, password)) def close(self): self.driver.close() def create_drug_target_interaction(self, drug_id, drug_name, target_id, target_name): 創(chuàng)建單個(gè)藥物-靶點(diǎn)交互關(guān)系 with self.driver.session() as session: # 使用MERGE確保節(jié)點(diǎn)不存在時(shí)創(chuàng)建存在時(shí)則匹配。避免重復(fù)創(chuàng)建。 query MERGE (d:Drug {drug_id: $drug_id}) ON CREATE SET d.name $drug_name MERGE (t:Target {target_id: $target_id}) ON CREATE SET t.name $target_name MERGE (d)-[r:INTERACTS_WITH]-(t) RETURN d.name, t.name result session.run(query, drug_iddrug_id, drug_namedrug_name, target_idtarget_id, target_nametarget_name) return result.single() def batch_create_interactions(self, interactions_df): 批量導(dǎo)入交互數(shù)據(jù)性能遠(yuǎn)優(yōu)于單條插入 with self.driver.session() as session: # 將DataFrame轉(zhuǎn)換為適合Neo4j參數(shù)的列表 records interactions_df[[drug_id, drug_name, target_id, target_name]].to_dict(records) # 使用UNWIND進(jìn)行批量操作 query UNWIND $records AS record MERGE (d:Drug {drug_id: record.drug_id}) ON CREATE SET d.name record.drug_name MERGE (t:Target {target_id: record.target_id}) ON CREATE SET t.name record.target_name MERGE (d)-[:INTERACTS_WITH]-(t) session.run(query, recordsrecords) print(f成功導(dǎo)入 {len(records)} 條藥物-靶點(diǎn)交互關(guān)系。) # 使用示例 uri bolt://localhost:7687 # Neo4j的Bolt協(xié)議端口 user neo4j password your_new_password # 替換成你修改后的密碼 graph DrugTargetGraph(uri, user, password) # 假設(shè)interactions_df是預(yù)處理后的DataFrame包含drug_id,drug_name,target_id,target_name graph.batch_create_interactions(interactions_df) # 查詢示例查找與特定靶點(diǎn)如‘P00734’相互作用的所有藥物 def find_drugs_for_target(target_id): with graph.driver.session() as session: query MATCH (t:Target {target_id: $target_id})-[:INTERACTS_WITH]-(d:Drug) RETURN d.drug_id, d.name result session.run(query, target_idtarget_id) return [record for record in result] print(find_drugs_for_target(P00734)) graph.close()構(gòu)建圖譜時(shí)的核心技巧與避坑點(diǎn)務(wù)必使用MERGE而非CREATECREATE會(huì)無條件創(chuàng)建節(jié)點(diǎn)導(dǎo)致大量重復(fù)。MERGE是“有則匹配無則創(chuàng)建”保證了節(jié)點(diǎn)的唯一性。但要注意MERGE是對(duì)整個(gè)模式進(jìn)行匹配確保你的匹配條件如{drug_id: $drug_id}能唯一確定一個(gè)節(jié)點(diǎn)。批量操作是必須的千萬不要在循環(huán)中執(zhí)行單條MERGE語句效率極低。使用UNWIND將數(shù)據(jù)列表作為參數(shù)傳入讓數(shù)據(jù)庫一次性處理速度可能有數(shù)百倍的提升。索引是性能的關(guān)鍵在drug_id和target_id屬性上創(chuàng)建索引能大幅加速M(fèi)ERGE和MATCH操作。這應(yīng)該在導(dǎo)入數(shù)據(jù)之前完成。CREATE INDEX drug_id_index IF NOT EXISTS FOR (d:Drug) ON (d.drug_id); CREATE INDEX target_id_index IF NOT EXISTS FOR (t:Target) ON (t.target_id);內(nèi)存管理導(dǎo)入大量數(shù)據(jù)時(shí)可能會(huì)遇到堆內(nèi)存不足的問題?？梢栽贜eo4j配置文件中調(diào)整dbms.memory.heap.initial_size和dbms.memory.heap.max_size或者將批量導(dǎo)入的批次大小調(diào)小。完成這一步后你就擁有了一個(gè)可視化的、可查詢的藥物-靶點(diǎn)關(guān)系網(wǎng)絡(luò)。但這只是靜態(tài)的知識(shí)庫如何讓它變得“智能”能進(jìn)行預(yù)測呢這就需要推薦系統(tǒng)算法了。4. 推薦系統(tǒng)模型矩陣分解與深度學(xué)習(xí)的抉擇將藥物-靶點(diǎn)預(yù)測視為推薦問題我們有一個(gè)用戶-物品評(píng)分矩陣R其中“用戶”是靶點(diǎn)“物品”是藥物“評(píng)分”是是否存在相互作用1表示已知作用0表示未知或暫無記錄。但這個(gè)矩陣極其稀疏已知作用相對(duì)所有可能組合來說極少。我們的目標(biāo)是補(bǔ)全這個(gè)稀疏矩陣預(yù)測那些“空白處”的值即未知的藥物-靶點(diǎn)對(duì)是1可能作用的概率。這里我對(duì)比兩種主流方法經(jīng)典的矩陣分解和基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型。4.1 方法一隱語義模型與矩陣分解矩陣分解Matrix Factorization, MF是協(xié)同過濾的基石。其思想是將高維稀疏矩陣Rm個(gè)靶點(diǎn) x n個(gè)藥物分解為兩個(gè)低維稠密矩陣的乘積R ≈ P * Q^T。其中P是靶點(diǎn)隱因子矩陣m x kQ是藥物隱因子矩陣n x kk是隱因子維度通常遠(yuǎn)小于m和n。直觀理解每個(gè)靶點(diǎn)可以用一個(gè)k維向量p_u表示其“偏好特征”每個(gè)藥物用一個(gè)k維向量q_i表示其“屬性特征”。預(yù)測靶點(diǎn)u對(duì)藥物i的交互概率就是計(jì)算這兩個(gè)向量的內(nèi)積p_u · q_i。內(nèi)積值越高表示靶點(diǎn)的偏好與藥物的屬性越匹配相互作用可能性越大。使用Surprise庫實(shí)現(xiàn)Python的Surprise庫專門用于構(gòu)建和分析推薦系統(tǒng)內(nèi)置了SVD奇異值分解一種矩陣分解方法等算法。from surprise import Dataset, Reader, SVD from surprise.model_selection import train_test_split from surprise import accuracy import pandas as pd # 1. 準(zhǔn)備數(shù)據(jù)Surprise需要的數(shù)據(jù)格式是 (target_idx, drug_idx, rating) # 我們的‘rating’是二元的1有交互或 0無交互。但Surprise通常處理顯式評(píng)分。 # 對(duì)于隱式反饋只有正樣本1負(fù)樣本未知我們需要負(fù)采樣。 def prepare_implicit_data(interactions_df, num_negatives1): 為隱式反饋準(zhǔn)備數(shù)據(jù)。 interactions_df: 包含drug_idx, target_idx的正樣本DataFrame。 num_negatives: 為每個(gè)正樣本采樣的負(fù)樣本數(shù)。 pos_samples interactions_df[[target_idx, drug_idx]].copy() pos_samples[rating] 1 # 負(fù)采樣隨機(jī)選擇未觀察到的target, drug對(duì)作為負(fù)樣本 all_targets interactions_df[target_idx].unique() all_drugs interactions_df[drug_idx].unique() pos_pairs set(zip(interactions_df[target_idx], interactions_df[drug_idx])) neg_samples [] for target in all_targets: # 獲取該靶點(diǎn)未交互的藥物 interacted_drugs set(interactions_df[interactions_df[target_idx]target][drug_idx]) non_interacted_drugs list(set(all_drugs) - interacted_drugs) # 隨機(jī)采樣 if non_interacted_drugs: sampled_neg np.random.choice(non_interacted_drugs, sizemin(num_negatives, len(non_interacted_drugs)), replaceFalse) for drug in sampled_neg: neg_samples.append([target, drug, 0]) neg_df pd.DataFrame(neg_samples, columns[target_idx, drug_idx, rating]) all_data_df pd.concat([pos_samples, neg_df], ignore_indexTrue) return all_data_df # 生成帶負(fù)樣本的數(shù)據(jù) implicit_data_df prepare_implicit_data(interactions_df, num_negatives3) # 2. 定義Reader和加載數(shù)據(jù)Surprise要求評(píng)分范圍 reader Reader(rating_scale(0, 1)) data Dataset.load_from_df(implicit_data_df[[target_idx, drug_idx, rating]], reader) # 3. 劃分訓(xùn)練集和測試集 trainset, testset train_test_split(data, test_size0.2, random_state42) # 4. 使用SVD算法矩陣分解 algo SVD(n_factors50, n_epochs20, lr_all0.005, reg_all0.02, random_state42) algo.fit(trainset) # 5. 預(yù)測與評(píng)估 predictions algo.test(testset) # RMSE, MAE對(duì)于0/1評(píng)分可能不是最佳指標(biāo)但可用 rmse accuracy.rmse(predictions) mae accuracy.mae(predictions) # 6. 為特定靶點(diǎn)做Top-N藥物推薦 def get_top_n_recommendations(algo, target_idx, drug_pool, n10): 為指定靶點(diǎn)推薦Top-N個(gè)最可能相互作用的藥物。 drug_pool: 所有候選藥物的索引列表。 # 預(yù)測該靶點(diǎn)對(duì)所有藥物的評(píng)分 predictions [algo.predict(target_idx, drug_idx) for drug_idx in drug_pool] # 按估計(jì)評(píng)分降序排序 predictions.sort(keylambda x: x.est, reverseTrue) top_n predictions[:n] return [(pred.iid, pred.est) for pred in top_n] # 返回(藥物索引預(yù)測評(píng)分) all_drugs_idx list(drug_to_idx.values()) top10_for_target_0 get_top_n_recommendations(algo, target_idx0, drug_poolall_drugs_idx, n10) print(f為靶點(diǎn)索引0推薦的Top-10藥物: {top10_for_target_0})矩陣分解的優(yōu)缺點(diǎn)優(yōu)點(diǎn)模型簡單可解釋性相對(duì)較強(qiáng)隱因子可能對(duì)應(yīng)某些生物化學(xué)特性計(jì)算效率高在稀疏數(shù)據(jù)上表現(xiàn)穩(wěn)健。缺點(diǎn)本質(zhì)上仍是線性模型難以捕捉藥物和靶點(diǎn)之間復(fù)雜的非線性關(guān)系。特征需要手動(dòng)設(shè)計(jì)或僅依賴ID無法利用藥物結(jié)構(gòu)如SMILES、靶點(diǎn)序列等豐富特征。4.2 方法二深度學(xué)習(xí)模型NeuMF架構(gòu)為了克服MF的局限性我們可以引入深度學(xué)習(xí)。神經(jīng)矩陣分解Neural Matrix Factorization, NeuMF是一個(gè)經(jīng)典的混合模型它同時(shí)學(xué)習(xí)MF的線性部分和MLP多層感知機(jī)的非線性部分。模型思想MF部分和傳統(tǒng)MF一樣得到靶點(diǎn)隱向量p_u和藥物隱向量q_i做內(nèi)積p_u · q_i。MLP部分將p_u和q_i拼接起來輸入到一個(gè)深度神經(jīng)網(wǎng)絡(luò)中。這個(gè)網(wǎng)絡(luò)可以學(xué)習(xí)到p_u和q_i之間任意的非線性交互函數(shù)。融合將MF部分的輸出和MLP部分的輸出拼接最后通過一個(gè)全連接層映射到預(yù)測概率。使用PyTorch實(shí)現(xiàn)NeuMFimport torch import torch.nn as nn import torch.optim as optim from torch.utils.data import Dataset, DataLoader import numpy as np # 1. 定義數(shù)據(jù)集 class DrugTargetDataset(Dataset): def __init__(self, df, num_drugs, num_targets): self.targets torch.LongTensor(df[target_idx].values) self.drugs torch.LongTensor(df[drug_idx].values) self.ratings torch.FloatTensor(df[rating].values) self.num_drugs num_drugs self.num_targets num_targets def __len__(self): return len(self.ratings) def __getitem__(self, idx): return self.targets[idx], self.drugs[idx], self.ratings[idx] # 2. 定義NeuMF模型 class NeuMF(nn.Module): def __init__(self, num_targets, num_drugs, mf_dim8, mlp_layers[64, 32, 16], dropout0.2): super().__init__() # MF嵌入層 self.mf_target_embedding nn.Embedding(num_targets, mf_dim) self.mf_drug_embedding nn.Embedding(num_drugs, mf_dim) # MLP嵌入層 (維度通常比MF大以捕捉更多信息) self.mlp_target_embedding nn.Embedding(num_targets, mlp_layers[0]//2) self.mlp_drug_embedding nn.Embedding(num_drugs, mlp_layers[0]//2) # MLP部分 mlp_modules [] input_dim mlp_layers[0] # 兩個(gè)嵌入向量拼接后的維度 for output_dim in mlp_layers[1:]: mlp_modules.append(nn.Linear(input_dim, output_dim)) mlp_modules.append(nn.ReLU()) mlp_modules.append(nn.Dropout(pdropout)) input_dim output_dim self.mlp_layers nn.Sequential(*mlp_modules) # 預(yù)測層 self.predict_layer nn.Linear(mf_dim mlp_layers[-1], 1) self.sigmoid nn.Sigmoid() # 初始化權(quán)重 self._init_weights() def _init_weights(self): for m in self.modules(): if isinstance(m, nn.Embedding): nn.init.normal_(m.weight, mean0.0, std0.01) elif isinstance(m, nn.Linear): nn.init.xavier_uniform_(m.weight) if m.bias is not None: nn.init.constant_(m.bias, 0) def forward(self, target_indices, drug_indices): # MF部分 mf_target_vec self.mf_target_embedding(target_indices) mf_drug_vec self.mf_drug_embedding(drug_indices) mf_output torch.mul(mf_target_vec, mf_drug_vec) # 逐元素相乘等價(jià)于內(nèi)積的擴(kuò)展 # MLP部分 mlp_target_vec self.mlp_target_embedding(target_indices) mlp_drug_vec self.mlp_drug_embedding(drug_indices) mlp_input torch.cat([mlp_target_vec, mlp_drug_vec], dim-1) mlp_output self.mlp_layers(mlp_input) # 融合 concat torch.cat([mf_output, mlp_output], dim-1) prediction self.predict_layer(concat) output self.sigmoid(prediction).squeeze() # 輸出0-1之間的概率 return output # 3. 訓(xùn)練循環(huán) def train_model(model, train_loader, val_loader, epochs20, lr0.001): device torch.device(cuda if torch.cuda.is_available() else cpu) model.to(device) criterion nn.BCELoss() # 二分類交叉熵?fù)p失 optimizer optim.Adam(model.parameters(), lrlr) for epoch in range(epochs): model.train() train_loss 0.0 for batch_targets, batch_drugs, batch_ratings in train_loader: batch_targets, batch_drugs, batch_ratings batch_targets.to(device), batch_drugs.to(device), batch_ratings.to(device) optimizer.zero_grad() outputs model(batch_targets, batch_drugs) loss criterion(outputs, batch_ratings) loss.backward() optimizer.step() train_loss loss.item() * batch_targets.size(0) avg_train_loss train_loss / len(train_loader.dataset) # 驗(yàn)證 model.eval() val_loss 0.0 with torch.no_grad(): for batch_targets, batch_drugs, batch_ratings in val_loader: batch_targets, batch_drugs, batch_ratings batch_targets.to(device), batch_drugs.to(device), batch_ratings.to(device) outputs model(batch_targets, batch_drugs) loss criterion(outputs, batch_ratings) val_loss loss.item() * batch_targets.size(0) avg_val_loss val_loss / len(val_loader.dataset) print(fEpoch {epoch1}/{epochs} - Train Loss: {avg_train_loss:.4f}, Val Loss: {avg_val_loss:.4f}) # 4. 數(shù)據(jù)準(zhǔn)備與訓(xùn)練 from sklearn.model_selection import train_test_split train_df, val_df train_test_split(implicit_data_df, test_size0.1, random_state42) train_dataset DrugTargetDataset(train_df, num_drugslen(all_drugs), num_targetslen(all_targets)) val_dataset DrugTargetDataset(val_df, num_drugslen(all_drugs), num_targetslen(all_targets)) train_loader DataLoader(train_dataset, batch_size256, shuffleTrue) val_loader DataLoader(val_dataset, batch_size256, shuffleFalse) model NeuMF(num_targetslen(all_targets), num_drugslen(all_drugs), mf_dim16, mlp_layers[128, 64, 32]) train_model(model, train_loader, val_loader, epochs15, lr0.001)深度學(xué)習(xí)模型的優(yōu)缺點(diǎn)優(yōu)點(diǎn)模型容量大能學(xué)習(xí)復(fù)雜的非線性關(guān)系有潛力達(dá)到更高的預(yù)測精度。易于擴(kuò)展可以很方便地將藥物分子指紋、靶點(diǎn)序列特征等作為額外輸入。缺點(diǎn)需要更多的數(shù)據(jù)以防止過擬合訓(xùn)練時(shí)間更長模型可解釋性差是個(gè)“黑盒”超參數(shù)層數(shù)、維度、學(xué)習(xí)率等調(diào)優(yōu)更復(fù)雜。如何選擇如果你的數(shù)據(jù)集不大比如只有幾千個(gè)已知交互計(jì)算資源有限且需要快速驗(yàn)證和可解釋性從矩陣分解如Surprise的SVD開始是穩(wěn)妥的選擇。如果你的數(shù)據(jù)集規(guī)模可觀數(shù)萬以上交互并且你希望探索更高的預(yù)測上限不介意調(diào)參和更長的訓(xùn)練時(shí)間那么嘗試NeuMF這類深度學(xué)習(xí)模型是值得的。你甚至可以進(jìn)一步升級(jí)模型用圖神經(jīng)網(wǎng)絡(luò)GNN直接在圖結(jié)構(gòu)Neo4j中的關(guān)系上進(jìn)行學(xué)習(xí)這可能是更前沿的方向。5. 特征工程進(jìn)階融入藥物與靶點(diǎn)的本體信息前面的模型只使用了藥物和靶點(diǎn)的ID作為特征這丟失了大量寶貴的本體信息。一個(gè)更強(qiáng)大的模型應(yīng)該能利用這些信息。例如藥物特征可以從SMILES字符串計(jì)算分子指紋如ECFP4或使用預(yù)訓(xùn)練的分子表示模型如ChemBERTa得到向量。靶點(diǎn)特征可以從蛋白質(zhì)序列通過UniProt ID獲取計(jì)算氨基酸組成、理化性質(zhì)或使用蛋白質(zhì)語言模型如ESM得到嵌入向量。如何整合這些特征以NeuMF為例我們可以修改模型將額外的特征向量與原有的ID嵌入向量進(jìn)行融合。class NeuMFWithFeatures(nn.Module): def __init__(self, num_targets, num_drugs, drug_feat_dim, target_feat_dim, mf_dim8, mlp_layers[64, 32, 16]): super().__init__() # ID嵌入層 self.mf_target_embedding nn.Embedding(num_targets, mf_dim) self.mf_drug_embedding nn.Embedding(num_drugs, mf_dim) self.mlp_target_embedding nn.Embedding(num_targets, mlp_layers[0]//2) self.mlp_drug_embedding nn.Embedding(num_drugs, mlp_layers[0]//2) # 特征處理層簡單的全連接層用于降維或統(tǒng)一維度 self.drug_feat_layer nn.Linear(drug_feat_dim, mlp_layers[0]//2) self.target_feat_layer nn.Linear(target_feat_dim, mlp_layers[0]//2) # MLP部分輸入維度變?yōu)?(mlp_id_embed feature_embed) * 2 mlp_input_dim mlp_layers[0] * 2 # 因?yàn)樗幬锖桶悬c(diǎn)的ID嵌入與特征嵌入要拼接 mlp_modules [] input_dim mlp_input_dim for output_dim in mlp_layers[1:]: mlp_modules.append(nn.Linear(input_dim, output_dim)) mlp_modules.append(nn.ReLU()) mlp_modules.append(nn.Dropout(p0.2)) input_dim output_dim self.mlp_layers nn.Sequential(*mlp_modules) self.predict_layer nn.Linear(mf_dim mlp_layers[-1], 1) self.sigmoid nn.Sigmoid() self._init_weights() def forward(self, target_indices, drug_indices, target_features, drug_features): # MF部分僅基于ID mf_target_vec self.mf_target_embedding(target_indices) mf_drug_vec self.mf_drug_embedding(drug_indices) mf_output torch.mul(mf_target_vec, mf_drug_vec) # MLP部分融合ID和特征 mlp_target_id_vec self.mlp_target_embedding(target_indices) mlp_drug_id_vec self.mlp_drug_embedding(drug_indices) # 處理額外特征 mlp_target_feat_vec self.target_feat_layer(target_features) mlp_drug_feat_vec self.drug_feat_layer(drug_features) # 拼接ID嵌入和特征嵌入 mlp_target_concat torch.cat([mlp_target_id_vec, mlp_target_feat_vec], dim-1) mlp_drug_concat torch.cat([mlp_drug_id_vec, mlp_drug_feat_vec], dim-1) # 拼接靶點(diǎn)和藥物的綜合向量 mlp_input torch.cat([mlp_target_concat, mlp_drug_concat], dim-1) mlp_output self.mlp_layers(mlp_input) concat torch.cat([mf_output, mlp_output], dim-1) prediction self.predict_layer(concat) output self.sigmoid(prediction).squeeze() return output這樣模型就能同時(shí)從交互歷史協(xié)同過濾和藥物/靶點(diǎn)自身的屬性基于內(nèi)容中學(xué)習(xí)預(yù)測能力通常會(huì)更強(qiáng)。獲取這些特征需要借助其他工具庫例如用RDKit計(jì)算分子指紋用Biopython或在線API獲取蛋白質(zhì)序列信息。6. 模型評(píng)估與結(jié)果解讀不僅僅是AUC在二分類預(yù)測任務(wù)中我們不能只看損失函數(shù)下降。常用的評(píng)估指標(biāo)包括準(zhǔn)確率Accuracy、精確率Precision、召回率Recall、F1-score以及ROC曲線下面積AUC。對(duì)于高度不平衡的數(shù)據(jù)正負(fù)樣本比例懸殊AUC通常是更穩(wěn)健的指標(biāo)。from sklearn.metrics import roc_auc_score, precision_recall_curve, auc, classification_report import torch def evaluate_model(model, data_loader): device next(model.parameters()).device model.eval() all_predictions [] all_labels [] with torch.no_grad(): for batch_targets, batch_drugs, batch_ratings in data_loader: batch_targets, batch_drugs, batch_ratings batch_targets.to(device), batch_drugs.to(device), batch_ratings.to(device) # 假設(shè)我們只有ID沒有額外特征。如果有特征需要傳入。 outputs model(batch_targets, batch_drugs) all_predictions.extend(outputs.cpu().numpy()) all_labels.extend(batch_ratings.cpu().numpy()) all_predictions np.array(all_predictions) all_labels np.array(all_labels) # 計(jì)算AUC auc_score roc_auc_score(all_labels, all_predictions) print(fROC-AUC Score: {auc_score:.4f}) # 計(jì)算PR-AUC (對(duì)于不平衡數(shù)據(jù)有時(shí)比ROC-AUC更敏感) precision, recall, _ precision_recall_curve(all_labels, all_predictions) pr_auc auc(recall, precision) print(fPR-AUC Score: {pr_auc:.4f}) # 選擇一個(gè)閾值例如0.5計(jì)算分類報(bào)告 binary_predictions (all_predictions 0.5).astype(int) print(classification_report(all_labels, binary_predictions, target_names[Negative, Positive])) return auc_score, pr_auc # 在測試集上評(píng)估 # 需要先創(chuàng)建測試集的DataLoader test_dataset DrugTargetDataset(test_df, num_drugslen(all_drugs), num_targetslen(all_targets)) test_loader DataLoader(test_dataset, batch_size256, shuffleFalse) evaluate_model(model, test_loader)結(jié)果解讀與驗(yàn)證得到一個(gè)不錯(cuò)的AUC分?jǐn)?shù)比如0.85以上是一個(gè)好的開始但這遠(yuǎn)不是終點(diǎn)。對(duì)于藥物發(fā)現(xiàn)而言可解釋性和生物學(xué)合理性至關(guān)重要。Top-K預(yù)測分析查看模型為某個(gè)重要靶點(diǎn)如與癌癥相關(guān)的激酶推薦的前10個(gè)藥物。這些藥物是已知的嗎如果是已知的說明模型成功回憶起了知識(shí)。如果是未知的去查文獻(xiàn)或數(shù)據(jù)庫看是否有初步的生物學(xué)證據(jù)支持這能提供最直接的驗(yàn)證。案例分析選擇一個(gè)模型高置信度預(yù)測的新相互作用對(duì)藥物A-靶點(diǎn)B進(jìn)行深入的文獻(xiàn)調(diào)研和分子對(duì)接模擬這超出了本代碼范疇但卻是實(shí)際項(xiàng)目中的必要步驟。錯(cuò)誤分析檢查那些被模型錯(cuò)誤預(yù)測的樣本假陽性、假陰性。是否存在數(shù)據(jù)質(zhì)量問題例如某些“負(fù)樣本”在現(xiàn)實(shí)中其實(shí)是相互作用的只是尚未被實(shí)驗(yàn)發(fā)現(xiàn)或收錄進(jìn)數(shù)據(jù)庫這能幫助你理解模型的局限性和數(shù)據(jù)的偏差。7. 項(xiàng)目總結(jié)與避坑指南回顧整個(gè)項(xiàng)目我們從數(shù)據(jù)獲取、知識(shí)圖譜構(gòu)建到推薦系統(tǒng)模型的實(shí)現(xiàn)與評(píng)估完成了一個(gè)完整的AI輔助藥物靶點(diǎn)預(yù)測流程。這個(gè)過程里我踩過不少坑也總結(jié)了一些關(guān)鍵經(jīng)驗(yàn)核心避坑點(diǎn)數(shù)據(jù)質(zhì)量是天花板DrugBank數(shù)據(jù)雖然好但也不完美?？赡艽嬖跇?biāo)注錯(cuò)誤、遺漏或偏差。務(wù)必進(jìn)行徹底的數(shù)據(jù)清洗和探索性分析EDA。考慮融合多個(gè)數(shù)據(jù)源如ChEMBL, BindingDB來增加數(shù)據(jù)的覆蓋面和可靠性。負(fù)樣本的定義是玄學(xué)我們采用隨機(jī)采樣的方式生成負(fù)樣本但生物學(xué)上“未觀測到相互作用”絕不等于“不相互作用”。這被稱為“正未標(biāo)記”Positive-Unlabeled, PU學(xué)習(xí)問題。更高級(jí)的做法是使用“負(fù)樣本”挖掘策略比如選擇那些與靶點(diǎn)空間距離很遠(yuǎn)的藥物或者使用一些生物學(xué)上不可能結(jié)合的規(guī)則來生成“硬負(fù)樣本”。評(píng)估指標(biāo)的誤導(dǎo)性在極度稀疏正樣本極少的數(shù)據(jù)上即使AUC很高模型也可能只是學(xué)會(huì)了把所有樣本都預(yù)測為負(fù)類。一定要結(jié)合精確率-召回率曲線PR Curve和Top-K的命中率Hit Ratio來綜合判斷。在測試集劃分時(shí)務(wù)必確保每個(gè)靶點(diǎn)/藥物在訓(xùn)練和測試集中都有出現(xiàn)即采用按用戶/物品的分層抽樣避免冷啟動(dòng)問題被掩蓋。Neo4j導(dǎo)入性能導(dǎo)入百萬級(jí)關(guān)系時(shí)如果一次性UNWIND一個(gè)巨大的列表可能會(huì)內(nèi)存溢出。需要分批次提交每批幾萬條。使用apoc.periodic.iterate過程也是一種更專業(yè)的批量導(dǎo)入方法。深度學(xué)習(xí)模型過擬合由于數(shù)據(jù)量可能相對(duì)模型復(fù)雜度來說不夠大過擬合是常態(tài)。務(wù)必使用早停Early Stopping、Dropout、權(quán)重衰減L2正則化等技術(shù)。同時(shí)簡化模型結(jié)構(gòu)減少層數(shù)、降低嵌入維度往往是第一個(gè)應(yīng)該嘗試的解決方案。可復(fù)現(xiàn)性設(shè)置隨機(jī)種子np.random.seed(),torch.manual_seed()對(duì)于實(shí)驗(yàn)的可復(fù)現(xiàn)性至關(guān)重要。否則每次運(yùn)行的負(fù)采樣和模型初始化結(jié)果都會(huì)不同。未來擴(kuò)展方向圖神經(jīng)網(wǎng)絡(luò)GNN這是最自然的延伸。我們已經(jīng)在Neo4j中構(gòu)建了圖可以直接使用PyTorch Geometric或DGL庫將藥物、靶點(diǎn)作為節(jié)點(diǎn)已知相互作用作為邊讓信息在圖上傳播從而學(xué)習(xí)更豐富的節(jié)點(diǎn)表示。這比獨(dú)立的ID嵌入更能利用網(wǎng)絡(luò)結(jié)構(gòu)信息。多模態(tài)特征融合除了分子指紋和序列還可以引入藥物的副作用、靶點(diǎn)的基因本體論GO注釋、通路信息等構(gòu)建一個(gè)更豐富的知識(shí)圖譜并設(shè)計(jì)更復(fù)雜的多模態(tài)融合模型。主動(dòng)學(xué)習(xí)與濕實(shí)驗(yàn)驗(yàn)證將模型部署為一個(gè)持續(xù)學(xué)習(xí)的系統(tǒng)。將模型預(yù)測的高置信度新相互作用提交給生物學(xué)家進(jìn)行濕實(shí)驗(yàn)驗(yàn)證然后將驗(yàn)證結(jié)果無論是正例還是反例作為新數(shù)據(jù)反饋給模型形成一個(gè)閉環(huán)不斷提升模型的實(shí)用性和可靠性。這個(gè)項(xiàng)目就像搭積木本文提供了最核心的幾塊積木和搭建方法。你可以根據(jù)自己的需求和興趣更換更優(yōu)質(zhì)的數(shù)據(jù)源積木嘗試更先進(jìn)的模型架構(gòu)搭建方式最終構(gòu)建出屬于你自己的、更強(qiáng)大的藥物發(fā)現(xiàn)輔助工具。希望這份詳細(xì)的指南和代碼能為你節(jié)省大量摸索的時(shí)間直接切入到最有價(jià)值的探索環(huán)節(jié)中去。本文還有配套的精品資源點(diǎn)擊獲取