欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

多組學(xué)癌癥預(yù)后預(yù)測(cè)系統(tǒng):從數(shù)據(jù)預(yù)處理到模型融合的完整實(shí)踐

多組學(xué)癌癥預(yù)后預(yù)測(cè)系統(tǒng):從數(shù)據(jù)預(yù)處理到模型融合的完整實(shí)踐 多組學(xué)癌癥預(yù)后預(yù)測(cè)系統(tǒng)做了大半年從最初拍腦袋想“把幾個(gè)組學(xué)數(shù)據(jù)拼起來(lái)不就完了”到后面老老實(shí)實(shí)把數(shù)據(jù)清洗、特征篩選、融合模型、系統(tǒng)部署整個(gè)鏈路走通中間踩了不少坑。這套系統(tǒng)最后落地成一個(gè)小型Web服務(wù)輸入基因表達(dá)、甲基化、拷貝數(shù)變異這些公共數(shù)據(jù)幾秒鐘返回風(fēng)險(xiǎn)分?jǐn)?shù)、風(fēng)險(xiǎn)分層和1/3/5年生存概率。這篇文章就把整體設(shè)計(jì)、核心技術(shù)環(huán)節(jié)、實(shí)現(xiàn)細(xì)節(jié)、驗(yàn)證方法原原本本拆給大家適合正在做腫瘤生信分析、或者準(zhǔn)備把深度學(xué)習(xí)模型工程化交付的同學(xué)參考。1. 項(xiàng)目要解決什么問(wèn)題為什么單組學(xué)模型做到頭了先交代一下背景。我之前做過(guò)很多單組學(xué)預(yù)后模型基本都是“一個(gè)基因表達(dá)矩陣 一個(gè)Cox回歸調(diào)一調(diào)特征C-index到0.7左右就上不去了”。最初以為是樣本量不夠后來(lái)發(fā)現(xiàn)即使樣本加到六七百例性能還是在那個(gè)水平徘徊。這時(shí)候才意識(shí)到問(wèn)題出在數(shù)據(jù)維度上——單一組學(xué)只反映了腫瘤生物學(xué)的一個(gè)側(cè)面信息量存在天花板。1.1 單組學(xué)預(yù)測(cè)模型的上限在哪里以轉(zhuǎn)錄組為例基因表達(dá)數(shù)據(jù)本身噪音很大測(cè)序平臺(tái)不同、批次不同、樣本異質(zhì)性這些都會(huì)讓模型的泛化能力受損。單純依靠幾百個(gè)表達(dá)基因去預(yù)測(cè)患者兩年后是否復(fù)發(fā)生物學(xué)上也不合理。腫瘤的發(fā)生發(fā)展是一個(gè)從突變累積、表觀修飾改變、轉(zhuǎn)錄失調(diào)到蛋白功能異常的多層次過(guò)程你只截取其中一個(gè)層面當(dāng)然會(huì)有信息盲區(qū)。我做過(guò)一個(gè)對(duì)比實(shí)驗(yàn)同一批腫瘤樣本只用表達(dá)數(shù)據(jù)訓(xùn)練DeepSurvC-index穩(wěn)定在0.71加上甲基化特征后同一套訓(xùn)練流程提高到0.78再加拷貝數(shù)變異和miRNA數(shù)據(jù)后內(nèi)測(cè)能到0.82左右。這組數(shù)字說(shuō)明一個(gè)事實(shí)——組學(xué)之間的互補(bǔ)信息是真實(shí)存在的關(guān)鍵是你能不能把它們科學(xué)地整合起來(lái)。1.2 多組學(xué)不是簡(jiǎn)單堆數(shù)據(jù)信息互補(bǔ)與維度爆炸并存這里要給一個(gè)明確警告直接把幾個(gè)組學(xué)矩陣橫向拼接幾乎必翻車。原因有三個(gè)。第一維度爆炸。轉(zhuǎn)錄組兩萬(wàn)多個(gè)基因甲基化探針?biāo)氖迦f(wàn)個(gè)位點(diǎn)拷貝數(shù)變異也有數(shù)萬(wàn)個(gè)片段區(qū)域拼接完的特征向量幾十萬(wàn)維樣本量卻只有幾百這種“高維小樣本”問(wèn)題對(duì)神經(jīng)網(wǎng)絡(luò)模型來(lái)說(shuō)是災(zāi)難性的過(guò)擬合。第二數(shù)據(jù)缺失嚴(yán)重。公共數(shù)據(jù)庫(kù)里不是每個(gè)樣本都同時(shí)有表達(dá)、甲基化、拷貝數(shù)和miRNA數(shù)據(jù)樣本做交集之后總量從一千多例直接縮到四五百例是常態(tài)。你需要提前想清楚怎么處理缺失樣本人群。第三各組學(xué)數(shù)據(jù)的分布特征不同。表達(dá)數(shù)據(jù)經(jīng)過(guò)log值處理后近似正態(tài)甲基化Beta值在0到1之間有雙峰分布拷貝數(shù)變異有大量0值直接喂進(jìn)同一個(gè)歸一化流程非常不妥。所以多組學(xué)項(xiàng)目的第一課就是整合分析不等同于數(shù)組拼接前面有兩條很長(zhǎng)很長(zhǎng)的路要走——數(shù)據(jù)預(yù)處理和特征篩選。2. 數(shù)據(jù)準(zhǔn)備一臺(tái)機(jī)器90%的時(shí)間耗在預(yù)處理上這部分的經(jīng)驗(yàn)是我血淚換來(lái)的。系統(tǒng)設(shè)計(jì)時(shí)模型選型只花了一周但數(shù)據(jù)預(yù)處理斷斷續(xù)續(xù)搞了一個(gè)多月。公共數(shù)據(jù)倉(cāng)庫(kù)下載、樣本篩選、格式統(tǒng)一、歸一化、批次校正、求交集每一步都有坑。2.1 數(shù)據(jù)來(lái)源與樣本篩選邏輯多組學(xué)數(shù)據(jù)首選公共腫瘤數(shù)據(jù)庫(kù)通常會(huì)用TCGA和GEO這類公開(kāi)數(shù)據(jù)源。TCGA的特點(diǎn)是樣本量大、臨床隨訪信息相對(duì)完整而且同一批樣本通常有多個(gè)組學(xué)平臺(tái)的測(cè)序結(jié)果非常適合做多組學(xué)整合。GEO的好處是數(shù)據(jù)來(lái)源分散、可以拿到外部獨(dú)立驗(yàn)證集。樣本篩選這一步很多人忽略其實(shí)直接影響模型質(zhì)量。我用的篩選規(guī)則如下只保留原發(fā)腫瘤樣本剔除正常組織樣本和轉(zhuǎn)移灶樣本。正常組織在甲基化層面和腫瘤差異極大混在一起模型會(huì)學(xué)到“這是不是腫瘤”而不是“腫瘤預(yù)后如何”。刪除生存時(shí)間缺失、生存狀態(tài)缺失的樣本。刪除隨訪時(shí)間小于30天的樣本。隨訪太短的患者大概率還沒(méi)觀察到事件就被截尾留在數(shù)據(jù)集里會(huì)給模型帶來(lái)混亂信息。生存時(shí)間單位統(tǒng)一成“月”。我遇到過(guò)一版數(shù)據(jù)里天數(shù)、月數(shù)混用模型損失函數(shù)直接異常波動(dòng)。這些規(guī)則不復(fù)雜但每一條都是真實(shí)問(wèn)題。特別是隨訪時(shí)間篩除很多公開(kāi)數(shù)據(jù)集里確實(shí)有“診斷后兩周死亡”這種樣本它們對(duì)標(biāo)準(zhǔn)的生存分析損失函數(shù)影響極大。2.2 多維組學(xué)數(shù)據(jù)的規(guī)范化處理要點(diǎn)下表匯總了四類常見(jiàn)組學(xué)數(shù)據(jù)的處理要點(diǎn)數(shù)據(jù)類型原始數(shù)據(jù)形態(tài)常用歸一化方法關(guān)鍵預(yù)處理動(dòng)作轉(zhuǎn)錄組表達(dá)原始count矩陣或FPKMTMM歸一化后轉(zhuǎn)log2低表達(dá)基因過(guò)濾基因名去重miRNA表達(dá)count矩陣同轉(zhuǎn)錄組邏輯注意成熟體命名規(guī)范去批次DNA甲基化Beta值0到1之間轉(zhuǎn)M值后標(biāo)準(zhǔn)化去性染色體探針去SNP相關(guān)探針拷貝數(shù)變異GISTIC2.0分段值直接標(biāo)準(zhǔn)化或離散化大批量0值保留分段水平轉(zhuǎn)錄組表達(dá)我最常用的是edgeR包的TMMtrimmed mean of M-values歸一化然后做log2(x1)變換。注意RNA-seq的count矩陣和芯片的熒光信號(hào)強(qiáng)度矩陣統(tǒng)計(jì)特性完全不同如果在同一數(shù)據(jù)集中混用了兩種平臺(tái)后續(xù)批次校正會(huì)更難處理。甲基化數(shù)據(jù)是重災(zāi)區(qū)。450K或EPIC芯片有約四十五萬(wàn)個(gè)CpG位點(diǎn)但其中有很多探針是落在性染色體上的還有一些和已知SNP位點(diǎn)重疊、容易受基因型影響的探針這些都需要在預(yù)處理階段刪掉。另外Beta值分布偏斜通常轉(zhuǎn)成M值M log2(Beta / (1 - Beta))再做后續(xù)分析M值更接近正態(tài)分布比較適合做線性建模??截悢?shù)變異數(shù)據(jù)相對(duì)簡(jiǎn)單GISTIC2.0輸出的是每個(gè)樣本每個(gè)片段的拷貝數(shù)狀態(tài)大量位點(diǎn)是0值。直接數(shù)值化時(shí)我一般保留連續(xù)的GISTIC分值不做離散化讓模型自己去學(xué)0值背后的分布規(guī)律。2.3 批次效應(yīng)校正和樣本配對(duì)問(wèn)題這批樣本來(lái)自不同測(cè)序中心、不同時(shí)期、不同平臺(tái)批次效應(yīng)無(wú)可避免。我用的標(biāo)準(zhǔn)工具是sva包的ComBat函數(shù)核心思想是假設(shè)不同批次之間存在一個(gè)系統(tǒng)性偏移用經(jīng)驗(yàn)貝葉斯方法估計(jì)并去除這個(gè)偏移。這里必須強(qiáng)調(diào)所有批次校正都必須在訓(xùn)練集內(nèi)部完成并且要把校正參數(shù)保存下來(lái)后續(xù)外部驗(yàn)證數(shù)據(jù)應(yīng)用的是完全相同的參數(shù)不能重新擬合。這一點(diǎn)和標(biāo)準(zhǔn)化問(wèn)題很像做錯(cuò)了就是數(shù)據(jù)泄露。樣本配對(duì)是另一個(gè)大坑。不同組學(xué)數(shù)據(jù)的樣本ID寫法可能不同有的是TCGA-XX-XXXX有的是純數(shù)字序號(hào)還有的是GEO平臺(tái)的GSM編號(hào)。我寫了一個(gè)統(tǒng)一的清洗腳本先做ID格式規(guī)范化再做交集合并。同時(shí)強(qiáng)烈建議在合并前看一眼各平臺(tái)的樣本重疊情況。我遇到過(guò)某數(shù)據(jù)集表達(dá)平臺(tái)有1100個(gè)樣本甲基化只有650個(gè)最后配對(duì)完只剩520個(gè)。這種掉樣本現(xiàn)象是合理的但你要心里有數(shù)樣本量縮水的速度比你想象中快得多。3. 特征篩選決定模型上限的環(huán)節(jié)預(yù)處理做完之后各組學(xué)數(shù)據(jù)還是幾十萬(wàn)維。這個(gè)規(guī)模直接送進(jìn)神經(jīng)網(wǎng)絡(luò)大概率是災(zāi)難。我用到的策略是分層篩選每層用一個(gè)相對(duì)輕量的算法砍掉大量無(wú)關(guān)特征最后把特征數(shù)量控制在可管理范圍內(nèi)。3.1 第一層過(guò)濾差異分析 單因素Cox第一步是降維目標(biāo)很簡(jiǎn)單把明顯沒(méi)有區(qū)分能力的特征刪掉。對(duì)轉(zhuǎn)錄組數(shù)據(jù)先做低表達(dá)過(guò)濾保留在超過(guò)20%樣本中表達(dá)量大于某個(gè)閾值的基因。這一步就能砍掉不少背景噪音。然后做差異表達(dá)分析比較高風(fēng)險(xiǎn)組和低風(fēng)險(xiǎn)組的表達(dá)差異。但這里有個(gè)容易混淆的地方——預(yù)后模型更需要的是“與生存時(shí)間相關(guān)的基因”不只是“差異表達(dá)的基因”。所以更主流的做法是直接做單因素Cox回歸對(duì)每個(gè)基因單獨(dú)擬合一個(gè)比例風(fēng)險(xiǎn)模型看p值是否顯著。具體操作上可以用lifelines庫(kù)或者R里的survival包對(duì)標(biāo)準(zhǔn)化后的特征逐個(gè)建模保留p值小于0.05的特征。做這一步時(shí)要注意表達(dá)量接近零的基因它們的HR會(huì)出現(xiàn)極端的離群值比如幾百甚至上萬(wàn)因?yàn)閏ox模型的指數(shù)函數(shù)對(duì)數(shù)值太敏感。所以務(wù)必先過(guò)濾低表達(dá)/低變異特征再跑單因素Cox。3.2 第二層壓縮LASSO-Cox交叉驗(yàn)證單因素Cox篩完后特征數(shù)量通常還在幾千到一萬(wàn)之間。下一步我推薦LASSO-CoxL1正則化的Cox回歸它對(duì)高維特征有多重共線性下壓縮變量的能力通過(guò)懲罰項(xiàng)把無(wú)關(guān)特征的系數(shù)壓成零得到稀疏解。LASSO-Cox實(shí)現(xiàn)上我用的是R中g(shù)lmnet包的cv.glmnet函數(shù)選擇lambda時(shí)有兩個(gè)常見(jiàn)選擇——lambda.min和lambda.1se。lambda.min是交叉驗(yàn)證誤差最小的lambda值特征保留相對(duì)多擬合能力強(qiáng)但稍微復(fù)雜。lambda.1se是在最小誤差一個(gè)標(biāo)準(zhǔn)差范圍內(nèi)的最大lambda特征更稀疏模型更穩(wěn)定。建議默認(rèn)用lambda.1se尤其后面還要接神經(jīng)網(wǎng)絡(luò)融合模塊前面特征別再留太多冗余。做完LASSO之后我還會(huì)跑一遍隨機(jī)生存森林Random Survival Forest用它的特征重要性做交叉驗(yàn)證。兩套算法都保留下來(lái)的特征才是最終進(jìn)入融合模型的候選集。3.3 一個(gè)可以直接抄的篩選流水線整個(gè)特征篩選流水線可以總結(jié)成下面這幾個(gè)步驟每一步的輸入輸出都是前一步的下游方差過(guò)濾去掉近零方差特征。對(duì)甲基化數(shù)據(jù)尤其重要幾十萬(wàn)探針里很大一部分在所有樣本中都沒(méi)有變化。差異分析高風(fēng)險(xiǎn)組vs低風(fēng)險(xiǎn)組挑出組間差異明顯的特征。單因素Cox每個(gè)特征獨(dú)立做生存關(guān)聯(lián)分析保留p小于0.05的特征。LASSO-Cox交叉驗(yàn)證用lambda.1se選擇最終的稀疏特征集。RSF重要性核對(duì)確認(rèn)LASSO選出的特征與隨機(jī)生存森林的重要性排名方向一致。經(jīng)過(guò)這套流程轉(zhuǎn)錄組通常保留50到150個(gè)基因甲基化保留30到80個(gè)CpG位點(diǎn)拷貝數(shù)和miRNA各保留20到50個(gè)??傮w控制在150到300個(gè)特征之間這時(shí)候再做多組學(xué)融合維度才合理。注意特征篩選全過(guò)程只使用訓(xùn)練集。很多項(xiàng)目在外部隊(duì)列上性能崩盤就是因?yàn)楹Y選特征時(shí)用了全量數(shù)據(jù)相當(dāng)于讓驗(yàn)證集的信息提前進(jìn)入了模型。4. 多組學(xué)融合模型設(shè)計(jì)為什么不能簡(jiǎn)單拼接特征準(zhǔn)備好之后接下來(lái)的核心問(wèn)題就是怎么融合。這塊我認(rèn)真比較過(guò)三種方案早期拼接、中期融合、晚期集成。4.1 三種融合策略選型早期融合最簡(jiǎn)單把各組學(xué)特征拼成一個(gè)長(zhǎng)向量直接喂給模型。好處是容易實(shí)現(xiàn)壞處也很明顯一方面各組學(xué)內(nèi)部的結(jié)構(gòu)信息被淹沒(méi)在長(zhǎng)向量里另一方面不同組學(xué)特征數(shù)量差異巨大數(shù)量多的組學(xué)容易主導(dǎo)模型訓(xùn)練。中期融合是給每個(gè)組學(xué)單獨(dú)一個(gè)編碼器各自學(xué)出特征表示然后通過(guò)一個(gè)融合模塊組合各個(gè)表示向量。這種方案的優(yōu)點(diǎn)是各組學(xué)先做了一次信息壓縮融合模塊可以更公平地對(duì)待每個(gè)組學(xué)。晚期集成則是每組學(xué)單獨(dú)訓(xùn)練模型最后把預(yù)測(cè)打分平均或加權(quán)。這個(gè)方案實(shí)現(xiàn)獨(dú)立性最強(qiáng)但組學(xué)之間的交互信息完全丟失性能相對(duì)受限。融合策略實(shí)現(xiàn)難度組學(xué)交互可解釋性實(shí)測(cè)效果早期拼接低低差一般中期融合中高高較好最好晚期集成低無(wú)好中等我最后選了中期融合并在融合模塊上加了注意力機(jī)制讓模型自己學(xué)習(xí)不同組學(xué)在預(yù)測(cè)時(shí)的重要性權(quán)重。4.2 自適應(yīng)注意力融合模塊的實(shí)現(xiàn)細(xì)節(jié)融合模塊的設(shè)計(jì)思路比較簡(jiǎn)單每組學(xué)特征先進(jìn)過(guò)一個(gè)兩層的MLP編碼器把不同維度的特征壓縮到同一維度的表示向量然后計(jì)算每個(gè)組學(xué)表示向量的注意力權(quán)重加權(quán)求和。為了深度我再包了一層多頭注意力加殘差連接。這里給出核心部分的偽代碼import torch import torch.nn as nn class OmicsEncoder(nn.Module): def __init__(self, input_dim, hidden_dim128, output_dim128): super().__init__() self.net nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.BatchNorm1d(hidden_dim), nn.ReLU(), nn.Dropout(0.3), nn.Linear(hidden_dim, output_dim) ) def forward(self, x): return self.net(x) class AttentionFusion(nn.Module): def __init__(self, omics_dims, hidden_dim128): super().__init__() # omics_dims 是每個(gè)組學(xué)篩選后的特征維度列表 self.encoders nn.ModuleList([ OmicsEncoder(dim, hidden_dim) for dim in omics_dims ]) # 注意力打分網(wǎng)絡(luò) self.attn nn.Linear(hidden_dim, 1) def forward(self, omics_list): representations [] for encoder, x in zip(self.encoders, omics_list): representations.append(encoder(x)) # representations: list of tensors, each (batch, hidden_dim) reps torch.stack(representations, dim1) # (batch, n_omics, hidden_dim) scores self.attn(reps).squeeze(-1) # (batch, n_omics) weights torch.softmax(scores, dim1) fused torch.sum(weights.unsqueeze(-1) * reps, dim1) return fused, weights這個(gè)模塊在實(shí)際運(yùn)行中非常穩(wěn)定而且訓(xùn)練完可以直接輸出每個(gè)樣本的組學(xué)注意力權(quán)重能用來(lái)分析“這個(gè)患者是哪類組學(xué)數(shù)據(jù)主導(dǎo)了風(fēng)險(xiǎn)預(yù)測(cè)”。我在系統(tǒng)里把這些權(quán)重一起展示出來(lái)臨床老師看了也覺(jué)得有價(jià)值。4.3 生存損失函數(shù)與訓(xùn)練策略融合表示向量后面接一個(gè)輸出層得到風(fēng)險(xiǎn)分?jǐn)?shù)h(x)訓(xùn)練目標(biāo)用Cox偏似然損失。公式是L -Σ_{i: event_i1} [ h(x_i) - log Σ_{j: t_j t_i} exp(h(x_j)) ]這里每個(gè)事件樣本的風(fēng)險(xiǎn)集是該時(shí)點(diǎn)仍存活的所有樣本分母對(duì)風(fēng)險(xiǎn)集中的樣本求和。這個(gè)損失直接優(yōu)化排序目標(biāo)比用分類模型預(yù)測(cè)“會(huì)不會(huì)復(fù)發(fā)”更合理。實(shí)現(xiàn)時(shí)要注意數(shù)值穩(wěn)定性常見(jiàn)的做法是先對(duì)h(x)做max減法再算logsumexp。PyTorch里頭直接用torch.logsumexp就行。訓(xùn)練配置我給了個(gè)常規(guī)方案AdamW優(yōu)化器學(xué)習(xí)率1e-3weight_decay 1e-4批大小64訓(xùn)練最多200個(gè)epoch早停patience設(shè)為15監(jiān)控驗(yàn)證集的C-index。所有編碼器的輸出維度統(tǒng)一設(shè)成128dropout設(shè)0.3防止多層結(jié)構(gòu)過(guò)擬合。有一點(diǎn)需要強(qiáng)調(diào)生存數(shù)據(jù)有大量右刪失樣本損失函數(shù)只對(duì)事件樣本的偏似然做求和但刪失樣本仍然參與風(fēng)險(xiǎn)集計(jì)算所以訓(xùn)練時(shí)不需要刻意做類別平衡。真正需要注意的反而是刪失比例過(guò)高比如超過(guò)80%時(shí)模型很難學(xué)到有效信號(hào)這時(shí)候更要依賴特征篩選階段保留那些與生存強(qiáng)相關(guān)的特征。5. 系統(tǒng)落地從Jupyter到可交付API模型在Jupyter里跑通只是一半工作后面要把它封裝成別人能用的系統(tǒng)。這個(gè)環(huán)節(jié)看上去瑣碎但直接決定了項(xiàng)目能不能真正交付。5.1 模型封裝與預(yù)處理參數(shù)固化最核心的思路是“把整個(gè)預(yù)處理流程固化成一次性的配置文件”。不能幻想部署時(shí)再跑一遍歸一化腳本必須把下面這些內(nèi)容全部序列化保存特征名單每個(gè)組學(xué)最終入選的特征名列表存成JSON。標(biāo)準(zhǔn)化參數(shù)每個(gè)特征的均值和標(biāo)準(zhǔn)差注意是訓(xùn)練集上的值。批次校正參數(shù)ComBat的估計(jì)參數(shù)。編碼器和融合模型的權(quán)重統(tǒng)一的torch checkpoint。推理版本信息記錄模型訓(xùn)練時(shí)的數(shù)據(jù)處理邏輯。推理函數(shù)接受原始數(shù)據(jù)作為輸入內(nèi)部按順序處理匹配特征名、缺失值用中位數(shù)填充、按保存的參數(shù)做標(biāo)準(zhǔn)化、調(diào)用模型得到風(fēng)險(xiǎn)分?jǐn)?shù)。缺失值處理這里也特別說(shuō)一下公共數(shù)據(jù)庫(kù)的輸入數(shù)據(jù)幾乎不可能特征全齊常見(jiàn)的單個(gè)樣本會(huì)有百分之幾的基因缺失。我實(shí)測(cè)下來(lái)用整個(gè)訓(xùn)練集中位數(shù)填充的效果比行刪除好很多模型穩(wěn)定性明顯提升。5.2 后端API實(shí)現(xiàn)我用FastAPI搭了一個(gè)輕量級(jí)后端提供一個(gè)POST接口接收樣本數(shù)據(jù)返回風(fēng)險(xiǎn)分?jǐn)?shù)、風(fēng)險(xiǎn)分層和生存概率。from fastapi import FastAPI from pydantic import BaseModel app FastAPI() class SampleRequest(BaseModel): sample_id: str expression: dict # 基因名 - 表達(dá)值 methylation: dict # CpG位點(diǎn) - Beta值 cnv: dict # 片段名 - 拷貝數(shù)值 app.post(/predict) async def predict(req: SampleRequest): features preprocess(req) # 內(nèi)部含特征對(duì)齊、缺失填充、標(biāo)準(zhǔn)化 risk_score model.risk(features) prob_1y, prob_3y, prob_5y model.survival_probability(features) return { sample_id: req.sample_id, risk_score: risk_score, risk_level: high if risk_score cutoff else low, survival_prob: { 1y: prob_1y, 3y: prob_3y, 5y: prob_5y } }這里有一個(gè)必須提到的輸入校驗(yàn)如果提交數(shù)據(jù)的特征缺失率超過(guò)10%直接返回錯(cuò)誤提示而不是默默填一堆中位數(shù)進(jìn)去。缺失太多時(shí)填充分?jǐn)?shù)失真預(yù)測(cè)結(jié)果不可信。演示界面我用了Gradio三分鐘就能搭一個(gè)上傳CSV、返回可視化結(jié)果的交互頁(yè)面。它非常適合給非工程背景的課題組成員做演示比直接丟API方便得多。5.3 可解釋性輸出SHAP與KM曲線一個(gè)預(yù)測(cè)系統(tǒng)只輸出一個(gè)風(fēng)險(xiǎn)分?jǐn)?shù)對(duì)臨床合作方來(lái)說(shuō)遠(yuǎn)遠(yuǎn)不夠。他們一定會(huì)問(wèn)“為什么這個(gè)患者被判成高風(fēng)險(xiǎn)”。所以我額外加了一個(gè)可解釋性模塊。SHAP分析可以計(jì)算每個(gè)特征對(duì)風(fēng)險(xiǎn)分?jǐn)?shù)的貢獻(xiàn)而且能在樣本級(jí)別給出解釋。轉(zhuǎn)錄組特征、甲基化位點(diǎn)、拷貝數(shù)值各自的影響一目了然。同時(shí)按風(fēng)險(xiǎn)分?jǐn)?shù)中位數(shù)把患者分為高低風(fēng)險(xiǎn)兩組畫出Kaplan-Meier生存曲線并輸出log-rank檢驗(yàn)的p值。這條曲線在論文和匯報(bào)中都是最有說(shuō)服力的單圖。還有校準(zhǔn)曲線和決策曲線分析DCA。校準(zhǔn)曲線看的是模型預(yù)測(cè)的生存概率和實(shí)際觀察概率是否一致DCA則衡量模型在不同閾值下的臨床凈獲益。這兩個(gè)指標(biāo)是我交付時(shí)必出的圖也是很多審稿人關(guān)注的對(duì)象??山忉屝阅K看起來(lái)不算核心功能但在實(shí)際項(xiàng)目評(píng)審時(shí)的價(jià)值甚至超過(guò)了預(yù)測(cè)精度本身。這條經(jīng)驗(yàn)值得認(rèn)真體會(huì)。6. 效果驗(yàn)證與踩坑實(shí)錄模型好不好不能只看訓(xùn)練集指標(biāo)。驗(yàn)證環(huán)節(jié)如果做得不嚴(yán)謹(jǐn)整個(gè)系統(tǒng)就是空中樓閣。6.1 內(nèi)部驗(yàn)證和外部驗(yàn)證分別該看什么內(nèi)部驗(yàn)證方面我用分層劃分的方式按7比3拆分訓(xùn)練集和測(cè)試集保持刪失比例兩組近似然后做五折重復(fù)實(shí)驗(yàn)。報(bào)告指標(biāo)時(shí)C-index要給出均值和標(biāo)準(zhǔn)差最好也附95%置信區(qū)間。只看一個(gè)最好試次的數(shù)字那絕對(duì)是對(duì)自己耍流氓。時(shí)間依賴AUC也要報(bào)告1年、3年、5年的數(shù)值不能只報(bào)一個(gè)C-index。C-index是全局一致性指標(biāo)它無(wú)法告訴你模型在短期預(yù)后預(yù)測(cè)是否準(zhǔn)確。我系統(tǒng)里的最終內(nèi)部測(cè)試結(jié)果穩(wěn)定在C-index約0.821年AUC約0.803年AUC約0.835年AUC約0.78。外部驗(yàn)證是真正的試金石。公共數(shù)據(jù)庫(kù)里找一個(gè)獨(dú)立數(shù)據(jù)源應(yīng)用之前保存的完整預(yù)處理參數(shù)和模型權(quán)重只做特征映射和標(biāo)準(zhǔn)化不做任何重新擬合。外部數(shù)據(jù)集的C-index比內(nèi)部低0.05到0.1是非常正常的這反映了域偏移。如果外部驗(yàn)證下降幅度超過(guò)0.15就要懷疑特征篩選階段是否發(fā)生過(guò)數(shù)據(jù)泄露或者訓(xùn)練集過(guò)擬合太嚴(yán)重。6.2 實(shí)測(cè)中踩過(guò)的三個(gè)坑第一個(gè)坑標(biāo)準(zhǔn)化數(shù)據(jù)泄露。早期版本我在全數(shù)據(jù)集上計(jì)算了每個(gè)特征的均值標(biāo)準(zhǔn)差然后再拆分訓(xùn)練測(cè)試集。結(jié)果內(nèi)部C-index虛高了0.05。這個(gè)問(wèn)題非常隱蔽因?yàn)橹笜?biāo)看起來(lái)一切正常直到換新數(shù)據(jù)做外部驗(yàn)證才發(fā)現(xiàn)慘不忍睹。第二個(gè)坑甲基化特征沒(méi)做好預(yù)篩直接把數(shù)千個(gè)探針?biāo)瓦M(jìn)編碼器。模型訓(xùn)練C-index沖到0.95測(cè)試集只有0.65這是典型的過(guò)擬合。問(wèn)題出在甲基化特征經(jīng)過(guò)單因素Cox篩選后仍然保留了太多位點(diǎn)而樣本量只有四百多編碼器參數(shù)一多就立刻開(kāi)始背答案。第三個(gè)坑外部驗(yàn)證平臺(tái)的批次效應(yīng)。我用一個(gè)RNA-seq平臺(tái)訓(xùn)練的模型去驗(yàn)證另一個(gè)芯片平臺(tái)的數(shù)據(jù)ID對(duì)齊之后發(fā)現(xiàn)表達(dá)值分布差異巨大特征縮放到同一尺度后仍然有系統(tǒng)性偏差。后來(lái)我干脆在系統(tǒng)上明確區(qū)分了適用平臺(tái)類型并在輸入校驗(yàn)中加入了分布偏移預(yù)警。6.3 常見(jiàn)問(wèn)題速查表現(xiàn)象可能原因解決方法訓(xùn)練C-index極高測(cè)試集暴跌過(guò)擬合或數(shù)據(jù)泄露檢查是否在全數(shù)據(jù)上做過(guò)標(biāo)準(zhǔn)化加大dropout和正則化外部驗(yàn)證C-index遠(yuǎn)低于內(nèi)部批次效應(yīng)、平臺(tái)差異檢查預(yù)處理參數(shù)是否復(fù)用用ComBat校正后統(tǒng)一參數(shù)損失函數(shù)一開(kāi)始就是NaN生存時(shí)間單位混亂統(tǒng)一用月檢查有無(wú)0或負(fù)生存時(shí)間組學(xué)注意力權(quán)重嚴(yán)重偏向某一種特征數(shù)量不平衡調(diào)整編碼器輸出維度各組學(xué)特征數(shù)盡量均衡刪失樣本太多模型不收斂風(fēng)險(xiǎn)集信息不足加強(qiáng)特征篩選考慮換排序損失或DeepHit輸入樣本缺失率過(guò)高結(jié)果異常填充失真添加缺失率校驗(yàn)缺失超10%直接拒絕預(yù)測(cè)我在交付前還會(huì)加一道數(shù)據(jù)完整性測(cè)試用完全不相關(guān)的隨機(jī)輸入跑一遍推理確認(rèn)系統(tǒng)不會(huì)崩潰并對(duì)輸入數(shù)據(jù)的特征分布做分布偏移檢測(cè)。這些防御性邏輯是系統(tǒng)工程項(xiàng)目和實(shí)驗(yàn)代碼的區(qū)別也是花時(shí)間打磨的地方。最后再分享一點(diǎn)個(gè)人體會(huì)這套多組學(xué)系統(tǒng)從頭到尾走下來(lái)我最大的感受是在多組學(xué)項(xiàng)目里數(shù)據(jù)理解和特征工程的重要性遠(yuǎn)大于模型結(jié)構(gòu)本身。同一個(gè)融合模型前面數(shù)據(jù)處理差一步最終指標(biāo)能差出十個(gè)點(diǎn)。后來(lái)再接到新的癌種需求我基本都是老路徑先跑預(yù)處理流程照搬特征篩選快速重跑模型結(jié)構(gòu)幾乎不需要改動(dòng)。系統(tǒng)交付時(shí)最受歡迎的不是那個(gè)創(chuàng)新模型而是帶可視化解釋的Web界面和清晰的驗(yàn)證報(bào)告。做項(xiàng)目做系統(tǒng)最終評(píng)價(jià)標(biāo)準(zhǔn)永遠(yuǎn)是能不能讓使用者真正理解和信任這個(gè)模型。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美色色日韩| 五月婷婷啪啪网| 五月丿香啪啪| 色五月丁香网| 亚洲精品五月| 在线不卡中文字幕| 91碰碰碰| 色综合激情| 色婷婷88| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 亚洲AV永久无码影院黑人| 色婷婷成人| 婷婷爱爱蜜臀天天操| 五月激情视频| 五月激情基地| 欧美va视频| 欧洲色色| 狠狠干,狠狠操| 婷婷综合网| 国产人妻人伦精品一区二区| 这里只有精品视频在线| 色五月激情问网站| 97操| 九九色逼| 五月天久久婷婷| 狠狠香蕉| 亚洲图片 丁香婷婷| 久久伦乱| 色情五月天se| 人人性久久| 成片免费播放| 天天做天天爱天天爽| 成人精品人妻| 久久六月婷婷| 九九综合久久| 婷婷播5月| 夜夜夜天天操| 亞洲自怕| www久久99| 精品无码99| 亚洲一区二区无遮挡A片| 99色精品| 99热这里只有精品55| 色婷婷婷av| 狠狠色综合五月人人| 在线观看亚洲AV| wWwCom夜操wwW| 五月丁香在线| 日本人妻A片成人免费看片| 久久96热| 久久五月天大美女| 欧美 日韩 成人| 国产精品第一国产精品| 五月婷婷av| 9这里只有精品| 91人人网| 97人人操人人操人人操人人| 天天色情站| 日本久久人| 婷婷丁香午夜综合影视| 亚洲99在线| 久久视频在线视频| 丁香婷婷色九月| 99视频在线观看欧| 日日操夜夜爽白洁| 五月伊人网| 色九月丁香婷婷蜜桃在线观看| 久月婷婷| 天天综合五月天| 天天舔天天| 色五月婷婷基地| 天天色凹凸| 久久曰曰| 欧美熟女99| caopeng97日韩| 亚洲永久四色| 亚洲三A| 亚洲成人中心| 五月丁香另类图片| 久久精品66| 成人五月天在线观看| 婷婷成人在线| 久久五月婷综合网| 六六久久黄色| 丰满人妻妇伦又伦精品国产| 欧美日韩123| 另类丁香五月天区图| 久草a片| 天天插操| 色欧美一级| 97干在线| 色5月婷婷色| 99热亚洲精品| 天天日婷婷| 免费国产VA国产免费| 中文字幕丰满人妻无码专区| 九九成年视频| 日韩人妻在线播放| www.丁香黄色五月天人与| 欧美久久婷婷| 久久草中文日韩欧美| 综合久久人妻| 六月米奇色综合| 五月丁香六月综合情在线观看| 黄久久久| 色99免费视频中文| 9热在线视频| 午夜丁香婷婷| 97人人草| 婷婷五月天av| 成人视频网| 成人va在线播放| 狠狠色噜噜色狠狠狠综合久久成人波| 五六月丁香激情视频| 精品一二三区视频立| 五月丁香| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 色综合久久伊伊婷婷五月| 婷婷五月天色| 婷婷五月丁香av网站| 99在线视频色版| 久久新地此| 亚洲色综合色网| 日本在线观看aaa 99| 色五月丁香A欧美com| 91色婷婷综合久久中文字幕二区| 91久久五月天| 色婷婷精品视频| 青青草成人网| 五月丁香六月婷婷啪啪| 色综合天堂| 婷婷五月天亚洲综合| 播五月开心婷婷欧美综合| 久久开心五月天激情| 精品,99| www.激情五月天com| 五月丁香婷婷啪啪综合网| 中文不卡一二三区| 色区域网站视频| 9这里只有精品| 日韩av干| 26uuu另类亚洲欧美日本一| 亚洲一区先锋影音| 欧美婷婷色五月| 六月久久狠狠| 夜夜操夜夜操| 久99综合婷婷| 97色婷婷| 欧美成人精品A片免费一区99| 婷婷五月花| 99热这里有精品| av一级棒av| 天天日天天操心| 婷婷五月天成人网| 3p九色在线| 殴美97色| 久久婷婷网| 超碰免费人人| 婷婷五月开心中文字幕色| 伊人婷婷激情| 五月天婷婷激情在线色图| 九九热在线视频| 黄色成人网站在线播放| 99热.com| 久久久久久久久久久-久五月天婷婷| 丁香婷婷欧美综合| 九九色之九九色之88| 免费观看亚洲AV片| 婷婷五月天日逼| 天天干天天操天天爱| 丁香六月久| 综合五月丁香六月婷婷| 囯产精品久久欠久久久久久九大| 熟女色色一区二区| 99色五月| 婷婷丁香午夜综合影视| 欧美黄色AA片哗啦啦啦| 丁香六月在线| 在线观看视频1区| 婷婷久久图片| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 97福利视频| 婷婷五月成年人| 亚洲色欲AAAAAA| www天天色天天射| XX色综合| 婷婷激情综合| 成人网在线观看视频| 婷久久久| 最新色色五月天| .操區COm| 天天爽天天日| 色色热| 婷婷丁香久久网| 婷婷久久精品| 久久狠色噜噜狠狠狠狠97| 色婷婷色人人射| 这里只有精品视频在线| 天天干天天拍| 色99无码| 色婷婷五月天激情久久| 五月丁香亭亭| 99精品成人无码A片观看金桔| 成人国产欧美大片一区| 九色porny在线观看激情四射| 亚洲AVDVD| 天天玩夜夜操天天爽| 色色亚卅| 9 1超碰九色| 一本色道久久88综合日韩精品| 久久色午夜在线导航| 99爱爱| 丁香五月天欧美在线| 九九精品热播| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 国产成人AV不卡| 射久久丁香五月| 五月激情丁香久久综合网| 深爱激情丁香五月| 欧美经典片免费观看大全| 亚洲免费电影2| 婷婷丁香五月亚洲欧美| 丁香五月天中文字幕| 六月婷婷色| 色吊丝av中文字幕| 插插网爽妇五月丁香| www.夜夜操| 色色色综合| www.cao.com久久| 中文字幕成人| 婷婷狠狠操| 高清无码网址| 丁香婷婷五月色成人网站| 久久网站观看免费欧洲国产| 亚洲成人无码网站| 色婷婷久久9.com| 丁香无月在线观看| 五月天狠狠色| 99在线看片| 欧美在线视频99| 天天干夜夜谢| 色99久草在线| 五月婷婷开心激情六月蜜桃| www.9797国产| 香蕉色色网| 99热国品免费| 99riAV国产精品视频| 另类在线免费视频| 日日操夜夜操狠狠操| 婷婷八月丁香激情综合| 五月婷婷久久爱| 五月天婷亚洲天综合网综合| 婷婷五月天黄色| 殴美97色| 五月综合激情视频| 婷婷激情五月| 四色综合网| 天天色视频| 五月婷婷丁香91| 婷婷五月丁香基地在线视频官网| 99啪99| 九月丁香婷婷网| 热这里只有精| www.狠狠操| 丁香久久五月婷综合| 99色免费视频| 综合久久狠狠| 欧爱综合视频| 欧亚成人A片一区二区| 色五月综合网| 激情久久久久久久久| 久草婷妨| 人人人舔人人人操人人人摸人人人97| 666555。COm毛片| 久色视频在线| 久色资源| 亚洲av免费在线| 国产精品久久久海的味道| 色啦啦视频| 另类综合激情| 国产精品99久久久久久久女警| 超碰在线国产| 久久色情| 五月天婷婷久久| 67194中文字幕| 伊人成综合五月婷婷| 色六月天| 精品热九九| 久久五月天黄色五月天色网址| 五月婷婷激情综合| 丁香五月婷婷基地| 超碰av在线| 日韩在线视频网站| 色9999日韩国产| 色五月超碰| 91人碰| 婷婷综合偷拍| 欧美影院| 亚洲黄色精品| 色婷婷影视| 97人人干人人操| 琪琪色五月天| 9999久久久久| 久久综合激情| 99精品视频免费在线播放| 色婷婷五月天偷拍| 轮奸综合网| 欧美一级色| 成人婷99最新| 26uuu在线观看| 99狠狠色| 日本天堂爱爱| 色一情一乱一乱一区91Av| 激情亚洲婷婷| 大香蕉五月天| 开心激情婷婷| 婷婷五月天激情小说网站| 欧美性生交A片免费看| 婷婷深爱色五月| 国产FREESEXVIDEOS性中国| 午夜九九电影| 最新婷婷五月丁香| 99这里只有精品视频| 操操日韩| 热九九精品| 思思99热这里只有精品| 亚洲V国产V欧美V久久久久久| 色噜噜伊人| 日本人妻伦在线中文字幕| 操操操操操电影网| 热久久这里只有三级视频| 这里只有精品在线观看视频| 综合激情在线视频| 久久A热| 亚洲蜜桃精久久久久久久久久久久 | 丁香五月婷婷大香蕉| 婷婷五月天AV在线| 狠狠干在线| 99热九九这里只有精品10| 国产精品久久久爽爽爽麻豆色哟哟| 丁香五月婷婷激情123| 大大香蕉综合在线| 色碰碰| 久热九九| 国产精产国品一二三在观看| 人。妻久久| 激情久久久久久久久久久| 99热精品在线播放| 色 丁香婷婷| 色五月婷婷丁香凹凸| 人人爱摸视频| 婷婷第六色| 在线18av | 26uuu欧美日本| 人妻久热| 成人做爰高潮A片免费视频| 激情九九这里只有精品| www.97碰碰com| 五月婷婷色播| 国产精品婷婷午夜在线观看| 色碰碰| 狠狠穞A片一區二區三區| 婷婷丁香五月噜噜噜| 五月花激情网| 五月天婷婷色| 久久久精久人妻| 大香蕉人人人| 亚洲久热| 婷婷五月天国产在线播放| 1024婷婷综合久久五月天| 五月婷婷激情综合| 五月天精品视频| www.久久久.com| 农村熟妇高潮精品A片| 岛国AV网站| 国产人人操| 九九热黄色| 26uuu亚洲欧美另类| 综合精品99| 99综合| 天天视频亚洲| 91在线观看www| 99色在线| 九九激情视频| 入口五月婷婷六月香| 99综合五月免费视频色婷婷| 99热日本| 久热网站| WWW、日本色丁香co m| 4399精品一区二区| 婷婷五月天综合网| 99资源在线视频| 五月天无码视屏播放| 丁香五月黄色| 亚洲午夜在线视频| 另类视频一区| 久久人妻乱| 国产精品在线视频| 色天堂97| 夜精品无码A片一区二区蜜桃| 丁香五月婷婷日本| 亚洲夜五月| 久久婷婷五| 另类在线| 99在线视频精品| 亚洲AAAA网| 性爱网五月天| 91人人爽人人操| 久久久中文| 第四色大香蕉| 丁香五月五月婷婷五月天激情四射| 99热最新| 婷婷丁香社区| 99视频热99| 色色色热| 91婷婷色五月| 伊人五月天在线| 二人电影免费版在线观看| 波多野结衣成人作品在线| 超碰在线国产| 日本成人噜噜噜| 色视五月天婷婷| 自拍偷窥99热| 99热99天堂| 日日操夜夜擼| Www.久久| 日本久热| 色五月在线综合| 天天操天天插| 狠狠干无码| 婷婷五月天综合久久日美女| 欧美成人精品三区综合A片| 亚洲成av人影院| 久久婷婷青青| 天堂久久精品| 日在线V视频在线播放| 色婷婷在线视频综合| 岛国av网站| 99热在线观看精品| 综合狠久久| 欧美激情中文字幕| 无码G高清天| 婷婷六月丁香欧美视频在线| 婷婷六月色开| 狠狠CAO日日穞夜夜穞AV| 久久婷婷桃花五月天| 亚洲AV人人操| 五月丁香六月婷婷亚洲| 91大神操美女| 五月丁香网站| 婷婷国产五月天17c| 五月婷婷久久久| 婷婷六月丁香久| 色综合色色色| 综合网色| 99伊人婷婷在线| 色久婷婷五月| 五月婷婷天天| 99视频只有精品| 色色综合热| 婷婷五月丁香综合亚洲| 一级七香蕉| 五月婷婷激情综合在线| 欧美成人色婷婷| 六月天婷婷| 狠狠综合久久综合| 人妻性操逼中文字幕 国产| 婷婷丁香五另类网站| 激情综合五月开心狠狠| 成人做爰A片免费看视频| 婷婷五月六月| 五月婷婷综合色啪| 影视av久久久噜噜噜噜噜三级| 男女啪啪做爰高潮无遮挡| 玖玖五月丁香| 婷婷五月天日日日干干干| 原琪琪色影院| 男女av免费看| 五月婷婷新网站| 亚洲99精品欧美一区| 久久思思热| 久久婷婷五月丁香蜜桃网| 欧美在线视频免费播放| 色五月婷婷激情五月| 五月丁香综合激情网| 六月婷婷毛片| 色五月丁香六月资源站| 五月天六月色| 偷拍丁香九月激情| 狠狠综合| 99久热| 精品一二三区久久AAA片| 91久久综合| 婷婷综合伊人丁香| 九九热精品| 久久婷婷东京热| 国产精品噜噜在线视频| 久久视频婷婷视频| 免费操超碰| 天天在线久久综合| 婷婷五月丁香基地| www.无码com| 天天射天天射一道本日本社区| 激情综合网五月婷婷| 亚洲六月色| 99亚色色色| 九九热最新| 欧美成人在线观看| 久草天堂| 香蕉人在线香蕉人在线 | 久久se 综合网| www,8050,午夜三级| www.激情| 亚洲视频在线观看区| www.狠狠狠狠| 99热这里是精品| 干一干xxxx| 婷婷五月深爱五月| 久久AAAA片一区二区| 久热伊人| 人妻久久婷婷| 久久婷婷东京热大香樵| 天天干天天操天天干天天操天天干天天操| 久久99热这里只有精品| 激情床戏| 伊人玖玖网| 任我肏视频精品| 婷婷激情区| 激情深爱五月天| 狠狠人妻色综合| 九九热思思| 野战J办公桌椅H| 国产免费一区二区在线A片视频| 91色在线 | 日韩| 久久丁香婷| 亚洲 小说 欧美 激情 另类| 九九热视频在线观看| 色婷婷丁香五月| 免费黄色AV| 五月天久久激情| 天天爽夜夜爽天天爽夜夜爽| 日曰躁夜夜躁2026| 天天拍夜夜爽日日| 白人荫道BBWBBB大荫道| 婷婷六月丁香开心深深爱| 综合色色网| 97婷婷五月激情六月丁香伊人| 丁香婷婷六月在线资源观看| 又大又粗九一在线| 国产26uuu视频| 婷色五月天| 丁香五月天在线视频| 午夜五月天| 五月丁香婷婷综合网| 丁香六月激情| 五月丁香啪啪综合| 婷婷综合亚洲| 99热9999| 色五月首页| 99热碰碰| 日本激情91| 91.com男女操| 免费亚洲婷婷中文字幕| www.五月婷婷| 99黄色性生活| 九九热这里只有精品23| 婷婷成人视频| 天天插综合在线| 欧美性爱五月天| 日日日,com| 91日本在线观看| 五月丁香久久网| 99热在线观看| 青草视频在线蜜臀| 一区二区三区四日本| 思思热再线视频| 久婷婷视平| 播五月丁香六月| 高清 码 免费看片短视频| 五月天综合在线观看视频| 欧美超碰亚洲| 91九色视频在线观看| 手机在线日韩视频中文字幕| 9l视频自拍九色9l视频自拍九色9l社区| 九九人人自拍| 99久视频| 欧美在线骚货| 国内外色色色色色成人视频| 欧美综合丁香网| 久久se 综合网| 婷婷开心六月| 九热视频精品| 色久九| 色色日韩网| 99热这里只有精品9| 婷婷 激情 五月| 2025超碰| 九九热在线视频观看| 激情图片99| 婷综合| 国产片天天爽夜夜爽| 夜夜操狠狠操| 婷婷六月伊人| 色婷婷综合影院| 久九色| 再次出发二| 亚洲日韩成人三级av| 五月天婷婷无码视频| 国产亚洲99久久| 六月丁香啪啪| 激情九月综合| 精品人妻伦九区久久AAA片| 五月丁香六月欧美综合| 99综合入口| 五月 激情视频| 人人草公开操| 激情婷婷五月丁香啪啪啪| 激情5月婷婷| 婷婷五月大香蕉| 亚洲激情久久| 人人视频色| 五月99久久| 激情开心五月天| 五月综合激情视频| 97色婷婷在线观看| 久热99| 天天摸天天爽| 欧美色片中文字幕久久久久| 天天日 天天草| 91啪啪| http://www.com久久久精品一区| 亚洲激情久久| 五月婷婷深深爱爱| 亚洲韩国日产综合AV| 激情六月丁香| 色婷婷伦理| 密视AV综合在线| 香蕉久久国产AV一区二区| 呦呦v线| 人人妻人人澡人人爽| 久操操| 久久九精品| 99ri精品在线| 国产成人一区二区三区在线观看| 日日杆天天| 成人在线网址| 丁香性爱在线视频| 久草五月婷婷| 五月婷婷精品视频| 26UUU欧美激情一区二区| 丁香六月婷婷综合| 丁香五月天电影| 久久久久亚洲A∨成人乱码电影| 午夜激情四射影院| 99热这里有精力| 天天做 天天爱| 91色综合| 色亭亭丁香五月天| 色五月欧美| 丁香五月婷婷天| 91色色色18| 婷婷色五月综合| 色综合综合色| 婷婷六月激情在线视频| 成人五月天综合网| 91综合在线观看| 大香蕉啪啪啪| 免费看欧美成人A片无码| 99热九九这里只有精品10| 日噜噜色| 激情第四色| 婷婷情爱五月天6| 美女婷婷六月色| 97超碰在线免费观看| 久99999热视频在线观看免费| 色爽九九| 思思热国产| 九九热亚洲中文在线观看免费| 天天色播| 色99热| 婷婷色色狠狠| 丁香五月综合激情性爱| 欧美性生交A片免费看| 综合视频久久| 六月婷婷久久大全| 六月激情婷婷综合| 五月婷婷影院| 大香伊人婷婷| 亚洲欧洲另类图片| 五月婷婷香| 久草热在线视频| 九月婷婷丁香| 婷婷色激情网| 91碰超| 九九久久玖玖爱| 婷婷五月在线视频| 久月婷婷| 激情五月丁香亭亭 | 色婷五月天网站| 天天开心天天色| 日本久久99久久| 色香蕉精品五夜婷| 超碰91在线| 原琪琪色影院| 婷婷五月另类网站| 国产一级婬片毛片| 婷婷激情五月天7| 538任你爽视频不一样的| 国产乱妇乱子在线播视频播放网站| 丁香五月天网站| 人妻久久久久久久久久久| 天天做天天爰天天爽天天无遮挡| 五月天成人综合| 99日在线观看视频| 婷婷干| 欧美性猛交AAAA片黑人 | 91操人| 99久精品视频| 99熟女啪啪视频| 韩日AV片| 97日本在线播放| 亚洲爆乳无码精品AAA片蜜桃| 26UUU欧美| 玖玖99免费视频| 婷婷va| 精品色色色| 五月婷婷综合色拍| 天天五月香欧美| 欧美色碰| 94干大香蕉| 热99.com婷婷| 69热91天堂| 男女啪啪做爰高潮无遮挡 | 五月宗合激情网| 五月激情婷婷播播网| va中文资源在线观看| 综合狠狠伊人| 亚洲中文字幕AV| 五月丁香久人妻中文| 91视频免费后入强操| 久久九九一區| 婷婷五月天久| 婷婷五月日本| 色婷婷综合久久| A短视频免费在线观看| 少妇人妻偷人精品无码视频新浪 | 激情五月天在线观看色婷婷| 狠狠爱婷婷爱| 狠狠爱婷婷| 超碰色婷婷| 91精品综合久久婷婷九色| 视频久久9| 久久婷婷艹| 婷婷五月丁香四射| 六月丁香AV| 午夜在线成人网站免费观看| 亚洲欧美成人在线观看| 中文字幕丰满乱孑伦无码专区| 激情五月四色| 亚洲AV成人无码精品| 九九艹女| 天天色凹凸| 91伦| 亚洲成人中文字幕| 亚洲色图在线视频| 天天色99| 97精品在线| 67194成I人在线观看线路1| 色偷偷色婷婷| 六月丁香六月婷婷欧美| 伊人九九热| 五月天久久www| 激情综合网址| 久久99免费视屏| 伊人婷婷青青cao| 思思热闹这里只有精品| 色99视| 色婷婷五月天激情综合| 亚洲婷婷乱乱丁香| 亚洲情a| 亚洲99精品欧美一区| 九九無妻| 99热综合在线| 久久99久久99久久99人受| 三级三久久线久久99久目本WW| 狠狠综合| 图片区 小说区 区 亚洲五月| 国产成人精品亚洲线观看| 99超超碰| 墨西哥毛片内射精| 色欲影香| 色婷婷成人| 久久成人性爱| 亚洲99视频| 婷婷欧美激情| 91超级碰在线| www.五月.com| 国产3p露脸普通话对白| 亚洲色99综合天堂| 色综合久久综合| 原琪琪色影院| 丁香婷婷五月天网站| 热九九在线| 伊人国产婷婷五月天| 激情五月婷婷老师| 九九99热久久精品66中文字幕| 色欲婷婷五月天| 免费观看的av| 日韩AC在线免费观看| 日本综合99| 日本97久久久精品| 成人丁香五月| 久久综合伊人综合在线| 人人草人人视| 婷婷五月天AV| 99久久6| 精品香蕉99久久久久网站| 色色色五月天婷婷| 婷婷九月在线| 九九热这里只有精品556| 丁香五月丁香伊人| 天天插天天日| 狠狠操狠狠操| 婷婷五月花.97| 成人色图情色成人网 www.5b5b5bcom 五月天| 日本久热| 九九色婷婷| 呦呦v线| 五月丁香色| 99热精品在线播放| 国产日产亚洲系列最新| 91av色色乱视频| 欧美人人操| 夜夜操夜夜姧| 色五月婷婷五月天| 91日韩在线| 色婷小说| 九九香蕉网| 我要射综合| 五月花免费视频| 九九热最新视频| 日比视频91| 91偷拍视频| 欧美色色色| 人妻久久婷婷| 中文字幕日本最新乱码视频| 久热伊人9| 99免费热在线精品| 色J香五月天| 五月天开心激情综合网| 婷婷9月天| 成人在线网址| A网在线欧洲| 婷婷亚洲综合| 丁香五月婷婷av影院| 激情九色| 伊人六月丁香婷婷| 日本久久精品18| 国产小精品| wWW九九在线播放| 深爱激情四射| 五月丁香婷婷综合视频| 综合激情婷婷| 大香蕉伊在| 五月婷婷色男女| 无码99| 日韩无码专区| A1片久久久| 天天舔天天插天天干| 五月天激情小说欧美激情| 可以看的av| 五月婷婷丁香网| 另类五月婷婷| www.色婷婷.com| 乱岳熟女50岁| 91超碰在线播放| 婷婷六月久久| 色综合婷婷| 日本成人内射| 伊人五月天日日夜夜久久久天天| 六月综合在线| 五月婷婷激情| 五月天婷婷情色| 开心激情久久久久久久| 在线播放中文字幕| 综合九色| 欧美综合激情五月丁香| 婷婷色色丁香五月天| 99在线精品免费视频| -91九色大屁股| 六月丁AV| .精品久久久麻豆国产精品| 夜夜资源站| 九九精品在线观看视频6| 丁香五月天堂| 涩涩婷婷五月| 日日夜夜天天爽| 亚洲综合色网| 大香蕉久久婷婷| 五月丁香花激情综合网| 九九热中文| 国产精品24r| 婷婷五月丁香综合激情小说| 五月激情综合网| 麻豆123区| www天天干| 久久婷狠狠色| 一区二区三区四区牛| 欧美综合婷婷网| 思思热在线精品视频| 亚洲av无码精品色午夜| www.五月天婷婷姐姐| 婷婷五月天伊人网| 亚洲午夜Av| 久草xx性爱视频| 精品夜夜澡人妻无码AV| 99久久综合网| 日韩色色视频| 久久激情四射| 六月丁香激情最新更新| 成人永久免费视频在线观看| 猫咪伊人AV| 色婷婷五月丁香在线观看| 色欲天天综合网| 99热欧美偷拍| 五月天婷婷在线播放| 丁香婷婷五月份| 亚州激情网站无码| 色五月激情婷婷| 中文字幕性爱视频| 开心五月天激情网站| 亚洲精品色| 超碰成人电影| 97在线/亚洲| caopeng97人人| 蜜桃五月天| 日本人人超碰| 性爱在线播放av| 五月婷婷色情| 国产精品日日躁夜夜躁| 5五月综合网亚洲| 伦乱人妻| 欧美VA在线观看| 欧美日韩二区在线| 丁香五月婷婷成人综合| 99re热视频这里只精品| 秋霞A V毛片| 色婷婷偷拍| 丁香社92视频| 五月天婷婷丁香六月| 丁香综合日产精品久久| 91操操操| 丰满老熟妇BBBBB搡BBB| 婷婷免费精品视频| 色色色综合色| 色色五月婷婷| 婷婷五月综合激情| 啪啪啪综合网| 丁香婷婷色五月| 1024日韩| 直接看的av| 伊人婷婷青青cao| 综合久| 九九色图| 99热这里是精品| 亚洲黄色精品| 婷婷久久久久| 99九九综合久久九九| 欧美性爱中文字幕| 欧美丁香五月| 五月天久久网站| 六月婷婷七月丁香| 亚洲天堂大香蕉| 人伦30P| AV在线资源| 久久多色| 日韩AV大全| 激情久久久| 超碰在线成人| 国产阿姨日皮艹逼内射视频| 丁香五月激情啪啪| 五月天三级| 成人无码精品1区2区3区免费看| 激情五月天啪啪| 久久人妻熟女一区二区| 亚洲 小说 欧美 激情 另类| 另类丁香五月天区图| 五月婷婷丁香色播网| 国产黄色大片| 五月开心色| 超碰国产AV| www.五月婷婷.com| 日本久久精品| 久热婷婷| 七七九九色色| 无人区码一码二码三码医生系列| 深爱五月天天| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 伊人玖玖网| 情色五月天网站| 亚洲成人综合在线| 色婷婷成人| 亚州视频九九99| 婷婷色色综合| 五月成人天| 婷婷久久精品| AV九九| 欧美美女国产日韩一区二区久 | www.五月婷婷| 天天久久综合| 成人精品免费在线观看| 欧美婷婷五月天| AV网站免费在线| 六月丁香网| 管管補管管紱| 最新婷婷五月丁香| 天天做天天爽| www.色综合.com| 日日操日日撸| 玖玖资源网站最新站| 婷婷丁香无码专区| 涩五月色婷婷| 草榴视频网| 婷婷综合一二三| www.色综合.com| 五月天激情小说网| 丁香六月婷婷色XXXX| .comwww在线观看免费操| 99噜噜| 噜噜色五月| 天天干人人奸97| 久久婷婷五月| 色丁香五月婷婷| 欧美大片| 国产视频婷婷| 玖玖婷婷五月天| 国产黄大片在线观看画质优化 | 这里只有精彩视| 超碰99热精品| 99精品在线观看| 五月香六月婷| 九九热在线99| 久久婷五月| 丁香五月天AV| 九九国产视频| www.第四色99| 伊人激情啪啪| 天天爱天天做天天舔| www九月婷婷| 丁香婷婷久久 | 日韩无码专区| 成人免费黄色短视频| 六月丁香激情| 五月婷婷激情四季| 美女被肏网站在线看| 国产精品久久..4399| 五月婷婷色播视频| 大香蕉啪啪啪| 激情五月丁香六月综合AVXXXX| 婷婷五月天久久| 日本黄 色 片| 91成人性爱视频| 久久这里精彩免费在线观看| Www.sesese丁香| 中文色婷婷| 五月色丁香婷婷中文字幕| 婷婷五月综合啪| 婷婷五月天影院| www.av骚货| 操97| 国产精品成人网址| 99操逼| 玖玖资源天天无码| 午夜天堂啪啪| 超pen个人视频97| 五月天丁香久久| 五月天婷婷青青| 欧美69色| 中文字幕在线免费观看视频| 天天激情| 这里都是精品99| AV大片在线观看| 久色激情| 激情色视频| 天天爱天天做天天日| 激情超碰网| 日本三级大片| jiqingliuyuetian| 影音先锋色色色资源色资源色| 色色婷婷综合| 99色婷婷| 五月天婷婷视频| 国产成人网| 无码AV免费精品一区二区三区 | 少妇人妻偷人精品无码视频新浪| 99国产精品久久久久久久久久久| 色婷五月天亚洲| 色婷婷综合亚洲| 日本三级99人妇网站| 五月天啪啪视频| 婷婷色成人| 做爱夜夜干天天操| 玖玖婷婷色五月| 婷婷99视频在线| 婷婷六月色| 99久在线精品99re8热| 久色视频首页| 秋霞成人毛片一级A片| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 98永久精品| 婷婷大香焦| 大香蕉久操| 激情图片久久| 色婷婷激情五月天在线观看| 激情综合播播| www,色婷婷| 91精品久| 无遮挡国产高潮视频免费观看| 久久久久久久久久8888| 五月婷婷丁香俺日污视频| 久婷婷久草| 精品视频这里只有精品| 久久9热| 五月天综合色| 色www久视频| 五月香婷婷| 综合色影| 丁香涩涩爱| 丁香婷婷五色月| 午夜天堂啪啪| 99a级片| 丁香九色不卡aaa| 色五月婷婷7777| 91久久久久久| 丁香六月在线| 大天天伊人| 色色射| 六月丁香激情婷婷| 久久激情综合| 婷婷丁香射射| 肏屄色播伊人97婷婷| 色婷婷五月成人网| 九色视频九色九色91jiuseshipin| 北京熟妇搡BBBB搡BBBB| 性爱视频99| 久操大香蕉| 9热在线观看| 综合色播| 免费观看欧美成人AA片爱我多深 | 久久久性爱视频| 激情都市五月天| hd五月婷婷在线| 国产阿姨日皮艹逼内射视频| 99色激| 激情综合网址| 色色激情五月| 怡红院成人AV| 99在线免费视频播放| 久久婷婷五月丁香蜜桃网| 人妻丰满精品一区二区A片 | 婷婷丁香在线| 婷婷五月六月| 九九九九这里只有精品| 最新av在线观看| 中文av在线观看| 可以免费观看的AV| 97综合在线| 99操| 99日本黄站| 激情综合网址| 1024国产| 九九热啪啪| 婷婷五月丁香色综合| 日本丁香五月| 99热官网| 伊人婷婷五月天| 99爱视频在线| 亚洲精品婷婷| 五月婷婷天天| 激情五月丁香亭亭| 色五婷婷开心缴| 久久这里只有精品热在99| 最新va在线播放| 狠狠狠狠狠干| 五月丁香婷婷综合网| 天天日天天色| 色婷婷天堂| 狠狠狠狠狠狠色| 亚卅毛片| 激情久久五月天| 人妻操逼视频| 激情小说在线视频| www.色五月| 亚洲无码99| 丰满老熟妇BBBBB搡BBB | 开心色色五月天综合| 中文不卡av| 丁香婷婷久久五月天| 日本色超碰| 99热99| 日本99在线视频| 996er热| 9l视频自拍9l九色成人| 精品视频这里只有精品| 国产婷婷综合| 亚洲AAA| 五月天成人在线| 开心激情网五月| 成人丁香五月天Av| 亚洲AV网址| 99色天堂| 五月丁香大香蕉| 99年操人人爽| 婷婷香草网| 99热最新国内| 激情五月天99色| 99色热视频| 激情六| 九九这里有精品视频| 亚洲色色在线| 内射激情在线| 开心综合激情综合| 五月婷婷影| 五月婷婷激情综合| 国产成人网| 丁香婷婷综合激情五月色| 夜夜嗨一区二区三区直播内容 | HD久久精品视频| 99狠狠色| 黄色99视频| 五月天成人网婷婷| 99热这里只有精品无码| 婷婷五月激情中文字幕| 成片免费观看视频大全| 在线不卡视频| 日韩成人不卡| 97久久超视频| 婷婷五月丁香91| 97久人人| 9.1综合网| 国产丁香五月天婷婷| 丁香五月综合网亚洲综合欧美狠狠 | 色欲天天综合| 天天日日人| 5月丁香六月情| 激情六月色| 丁香六月五月天| 丁香五月花| 激情综合婷婷久久| 色综合久久综合中文综合网| 这里只有精品99视频| 久99热| 日本99在线| 超碰99在线观看| 爱99干99| 91久久色| 99热在线爱| 都市激情小说婷婷| 这里只有精品视频免费在线观看| 激情五月天在线视频| 日99网站| 4399欧美另类视频| 激情网五夜婷婷| 五月婷婷久| 狠狠色丁香|