欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

AI材料生成與CANN異構(gòu)加速:從候選生成到性質(zhì)預(yù)測的落地實(shí)踐

AI材料生成與CANN異構(gòu)加速:從候選生成到性質(zhì)預(yù)測的落地實(shí)踐 做材料計(jì)算和AI交叉方向的開發(fā)者對下面的場景應(yīng)該不陌生傳統(tǒng)材料研發(fā)靠試錯(cuò)一個(gè)配方從設(shè)計(jì)到驗(yàn)證動(dòng)不動(dòng)按年算高通量篩選又受限于算力和數(shù)據(jù)標(biāo)注成本。這兩年AI for Science喊得響但真把模型跑起來、把推理塞進(jìn)生產(chǎn)流程坑比想象中多得多。我最近在做的這套“智能煉金術(shù)”系統(tǒng)就是把AI材料生成模型和CANN異構(gòu)計(jì)算加速結(jié)合起來走通了一條從候選材料生成、性質(zhì)預(yù)測到實(shí)驗(yàn)驗(yàn)證的閉環(huán)。今天這篇就完整拆一下設(shè)計(jì)思路和落地過程中踩過的坑給同樣做材料AI落地的朋友一個(gè)參考。這套系統(tǒng)解決的核心問題很直接材料發(fā)現(xiàn)的起點(diǎn)不再是實(shí)驗(yàn)試錯(cuò)而是讓生成模型在元素周期表的約束空間里自動(dòng)產(chǎn)出候選結(jié)構(gòu)再用圖神經(jīng)網(wǎng)絡(luò)快速預(yù)測帶隙、形成能、力學(xué)模量等關(guān)鍵性質(zhì)最后疊加一個(gè)基于CANN優(yōu)化的推理加速層把單條候選的評估延遲從秒級壓到毫秒級。適合正在做材料基因工程、虛擬篩選、生成式分子設(shè)計(jì)的開發(fā)者也適合想了解國產(chǎn)異構(gòu)計(jì)算棧在科學(xué)計(jì)算場景怎么落地的同學(xué)。1. 項(xiàng)目整體設(shè)計(jì)思路拆解1.1 為什么材料發(fā)現(xiàn)需要AI生成模型而不是傳統(tǒng)篩選老路子做新材料核心是“枚舉加過濾”。先在已知結(jié)構(gòu)數(shù)據(jù)庫里做替換、摻雜、插層再用第一性原理計(jì)算去驗(yàn)證最后挑性能達(dá)標(biāo)的進(jìn)實(shí)驗(yàn)。這套思路的問題在于搜索空間形狀不友好——元素周期表組合起來是天文數(shù)字窮舉不現(xiàn)實(shí)隨機(jī)采樣大概率落在沒有熱力學(xué)穩(wěn)定性的區(qū)域。生成模型解決的是“從無到有”的問題。擴(kuò)散模型和流匹配模型能在學(xué)習(xí)過的晶體結(jié)構(gòu)分布上采樣新結(jié)構(gòu)自編碼器能把結(jié)構(gòu)編碼成隱向量再在隱空間做插值和方向性編輯。我們自己對比過同樣生成1000個(gè)候選結(jié)構(gòu)純隨機(jī)采樣只有不到3%能通過基礎(chǔ)電負(fù)性和原子間距過濾而生成模型采樣的通過率能到30%以上這就是“煉金”和“搖獎(jiǎng)”的區(qū)別。但生成模型有一個(gè)代價(jià)很大的副作用計(jì)算開銷翻倍往上走。一個(gè)中等規(guī)模的晶體擴(kuò)散模型單次反向采樣在CPU上要跑幾十秒在GPU上也要兩三秒。放到材料篩選中一輪要跑幾萬個(gè)候選這個(gè)時(shí)間賬根本算不過來。所以整套系統(tǒng)的關(guān)鍵瓶頸根本不在于模型本身的精度而在于能不能把推理吞吐提上去。這也是我們引入CANN加速的直接動(dòng)因。1.2 系統(tǒng)整體架構(gòu)四層各司其職整套系統(tǒng)按數(shù)據(jù)、模型、加速、應(yīng)用四層劃分各層之間只通過標(biāo)準(zhǔn)接口通信這樣后續(xù)替換任何一層都不會(huì)牽連其他模塊。數(shù)據(jù)層負(fù)責(zé)把所有材料數(shù)據(jù)統(tǒng)一成圖結(jié)構(gòu)原子是節(jié)點(diǎn)鍵是邊再把元素屬性、電荷、半徑、電負(fù)性這些特征拼成節(jié)點(diǎn)特征向量。模型層包含兩個(gè)核心模塊一個(gè)是變分自編碼器負(fù)責(zé)結(jié)構(gòu)生成一個(gè)是圖神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)性質(zhì)預(yù)測。加速層是整個(gè)系統(tǒng)的主心骨所有模型的推理、張量算子、內(nèi)存調(diào)度全部經(jīng)由CANN工具鏈做統(tǒng)一編譯和優(yōu)化。應(yīng)用層則是面向材料研究人員的篩選工作臺(tái)輸入目標(biāo)帶隙或硬度范圍輸出候選列表和解釋性特征。這種拆法最大的收益是模塊化。數(shù)據(jù)層和模型層完全對齊學(xué)術(shù)前沿讀論文就能復(fù)現(xiàn)加速層可以隨時(shí)切換設(shè)備而不改上游代碼應(yīng)用層獨(dú)立出來之后做Web服務(wù)也好、做批量任務(wù)也好都不會(huì)干擾核心計(jì)算邏輯。1.3 為什么選CANN而不是普通深度學(xué)習(xí)框架很多人會(huì)問PyTorch加CUDA已經(jīng)很好用為什么還要引入CANN這一套最直接的原因是部署環(huán)境里沒有傳統(tǒng)GPU可用只有國產(chǎn)AI加速卡。CANN是面向這類異構(gòu)AI處理器的軟件棧功能上和CUDA對位但生態(tài)、算子庫、圖優(yōu)化策略都有自己的一套邏輯。更重要的原因是模型部署階段的實(shí)際收益。材料模型相比大語言模型規(guī)模小但算子種類很雜圖卷積、注意力、自定義損失、大量 elementwise 操作混在一起。這種模型在傳統(tǒng)框架上直接推理kernel launch 開銷占比很高小算子和數(shù)據(jù)搬運(yùn)經(jīng)常吃掉一半時(shí)間。CANN的圖融合功能能把相鄰小算子熔接到一起大幅減少kernel調(diào)度次數(shù)這一點(diǎn)我們在實(shí)測里感受非常明顯。另外一個(gè)考慮是國產(chǎn)化替代的趨勢。做科研項(xiàng)目除了性能和效果還需要考慮供應(yīng)鏈和生態(tài)的長期穩(wěn)定性。把模型遷移到CANN上意味著從芯片到軟件棧完全自主可控后續(xù)做橫向項(xiàng)目或者商業(yè)化交付時(shí)不會(huì)被單一陣營的生態(tài)綁定。2. 核心模塊與關(guān)鍵技術(shù)點(diǎn)2.1 材料數(shù)據(jù)集的構(gòu)造與特征工程模型效果的上限由數(shù)據(jù)決定。我們用了公開材料數(shù)據(jù)庫的數(shù)據(jù)初始規(guī)模在十幾萬量級但原始數(shù)據(jù)并不能直接喂給模型需要做幾層預(yù)處理。第一步是結(jié)構(gòu)清洗。去掉實(shí)驗(yàn)數(shù)據(jù)里明顯不合理的結(jié)構(gòu)比如原子間距離小于共價(jià)半徑之和80%的電荷不平衡超過閾值的以及重復(fù)結(jié)構(gòu)同一空間群同一晶格參數(shù)。這一步過濾掉的數(shù)據(jù)量比想象中多大約有8%的原始條目不合格。第二步是特征工程。每個(gè)原子節(jié)點(diǎn)我們拼接了12維特征包括族數(shù)、周期數(shù)、電負(fù)性、原子半徑、價(jià)電子數(shù)、第一電離能等這些均為數(shù)值型不需要?dú)w一化到同一量綱因?yàn)閳D神經(jīng)網(wǎng)絡(luò)本身能處理不同尺度。邊的特征我們用了鍵長、鍵級以及兩個(gè)原子的電負(fù)性差值后者對離子鍵傾向的預(yù)測很重要。第三步是數(shù)據(jù)增強(qiáng)。材料數(shù)據(jù)天然存在類別不平衡高帶隙絕緣體遠(yuǎn)遠(yuǎn)多于金屬如果直接訓(xùn)練模型對金屬體系完全無感。我們做了組合增強(qiáng)對同一結(jié)構(gòu)做晶胞擴(kuò)胞和超胞平移在不改變物理性質(zhì)的前提下增加樣本多樣性和原子排列之間的等變性擾動(dòng)。實(shí)際跑下來增強(qiáng)之后的模型在同一驗(yàn)證集上的帶隙預(yù)測MAE降低了約22%。2.2 生成模型選型變分自編碼器的空間變換結(jié)構(gòu)生成我們最終選了變分自編碼器VAE而不是擴(kuò)散模型。原因很實(shí)際VAE的隱空間是連續(xù)的可以直接做插值和屬性條件的向量運(yùn)算這對于目標(biāo)導(dǎo)向設(shè)計(jì)非常重要。比如想生成帶隙處于1.0到1.5電子伏特之間的半導(dǎo)體材料可以在隱空間里訓(xùn)練一個(gè)條件映射器把屬性向量映射成隱向量的偏移量再解碼為新結(jié)構(gòu)。解碼器輸出的是晶格矩陣和原子坐標(biāo)這個(gè)輸出必須滿足物理約束。我們額外加了三項(xiàng)正則一是原子間最小距離約束防止解碼出物理上不可能的重疊結(jié)構(gòu)二是晶格體積范圍約束把生成的胞體積限制在合理區(qū)間三是電負(fù)性匹配約束避免生成極端活潑的組合。這三項(xiàng)直接寫進(jìn)自定義損失函數(shù)里相對權(quán)重靠超參搜索確定。VAE的訓(xùn)練損失包含重建損失、KL散度和物理約束損失。重建損失不是簡單的坐標(biāo)MSE而是經(jīng)過一個(gè)可微的最近鄰匹配后計(jì)算結(jié)構(gòu)相似度。這個(gè)細(xì)節(jié)很關(guān)鍵因?yàn)橥粋€(gè)結(jié)構(gòu)可以有多種原子排列索引方式直接比較坐標(biāo)會(huì)讓模型學(xué)不到正確的幾何關(guān)系。訓(xùn)練過程用了三個(gè)模型并行一個(gè)編碼器、一個(gè)解碼器、一個(gè)輔助的屬性回歸器。屬性回歸器的作用是把隱向量和性質(zhì)對齊這樣后續(xù)做條件生成時(shí)才有依據(jù)。整個(gè)訓(xùn)練在CANN環(huán)境上跑了約300個(gè)epoch混合精度開啟了之后單卡吞吐比FP32模式提升了2.6倍左右顯存占用也降了一半。2.3 性質(zhì)預(yù)測模型圖神經(jīng)網(wǎng)絡(luò)的等變關(guān)鍵生成模型負(fù)責(zé)廣撒網(wǎng)性質(zhì)預(yù)測模型負(fù)責(zé)準(zhǔn)確過濾。我們用的是信息傳遞風(fēng)格的圖神經(jīng)網(wǎng)絡(luò)和材料領(lǐng)域常用的CGCNN結(jié)構(gòu)類似但針對等變性質(zhì)做了修改。關(guān)鍵點(diǎn)是向量特征的處理。普通圖神經(jīng)網(wǎng)絡(luò)把節(jié)點(diǎn)特征放在標(biāo)量空間里也就是每個(gè)原子只有一個(gè)特征向量所有鄰居消息加權(quán)求和。但對于力、偶極矩、彈性張量這些方向性物理量標(biāo)量表達(dá)會(huì)丟失信息。我們在消息傳遞階段加入了球諧函數(shù)展開的向量特征讓模型天然具備旋轉(zhuǎn)等變性。這個(gè)改動(dòng)不是錦上添花而是質(zhì)變在外部驗(yàn)證集上標(biāo)量模型對六方晶系材料的彈性模量預(yù)測誤差顯著高于等變模型因?yàn)榉较蛐孕畔⒈粯?biāo)量化之后完全丟失了。還有一個(gè)容易忽略的點(diǎn)是圖的構(gòu)建邊界。晶體結(jié)構(gòu)是周期性體系不能只連近鄰原子還要考慮周期性鏡像。我們把cutoff半徑設(shè)成8埃同時(shí)把周期性平移后的鄰居也納入圖中。這個(gè)半徑的選擇有講究太小會(huì)丟失長程相互作用太大圖會(huì)變得過于稠密內(nèi)存和計(jì)算開銷指數(shù)上升。8埃是在物理精度和計(jì)算效率之間折中的結(jié)果。模型結(jié)構(gòu)進(jìn)一步疊加了注意力機(jī)制讓中心原子對不同鄰居的貢獻(xiàn)做自適應(yīng)加權(quán)。這一步解決了傳統(tǒng)GNN中“平均化”導(dǎo)致的選擇性不足問題特別是對不同配位環(huán)境下的同種元素注意力機(jī)制能區(qū)分它們的實(shí)際結(jié)合狀態(tài)。2.4 CANN加速層算子融合與混合精度策略這是整套系統(tǒng)里最“工程”的部分也是收益最明顯的一部分。把PyTorch模型遷到CANN上不是換一個(gè)后端那么簡單要做四個(gè)層面的適配。第一層是算子映射檢查。模型里99%的標(biāo)準(zhǔn)算子卷積、全連接、歸一化、激活、Softmax都能直接映射到CANN的算子庫但自定義的物理約束損失函數(shù)里有一些自定義操作比如球諧展開和周期性鄰居索引這些算子原生庫沒有需要通過自定義算子開發(fā)接口補(bǔ)充。我們第一次跑算子適配檢查的時(shí)候發(fā)現(xiàn)總共有6個(gè)自定義算子無法映射后來重寫了其中4個(gè)的純張量版用已有的基礎(chǔ)算子組合實(shí)現(xiàn)剩下2個(gè)寫了自定義TBE算子。這一步建議前期就做靜態(tài)檢查不要等到訓(xùn)練中途才報(bào)錯(cuò)否則定位成本非常高。第二層是圖融合。CANN的編譯器會(huì)對計(jì)算圖做融合優(yōu)化但融合策略受限于算子本身的屬性。我們實(shí)測下來融合對elementwise類小算子的收益最大。舉個(gè)例子一個(gè)后面跟著ReLU和Dropout的BatchNorm三層單獨(dú)跑是3次kernel launch融合后就變成1次。在節(jié)點(diǎn)數(shù)量很大的圖神經(jīng)網(wǎng)絡(luò)里這種小算子出現(xiàn)的頻率極高積少成多整體推理耗時(shí)能下降40%以上。第三層是混合精度。模型遷移時(shí)我們直接開了混合精度模式FP16計(jì)算、FP32存儲(chǔ)。在CANN工具鏈上開啟混合精度比想象中簡單只要在模型轉(zhuǎn)換時(shí)指定精度檔位即可但需要注意loss scale的設(shè)定。材料性質(zhì)預(yù)測模型和圖像模型不同輸出范圍差異較大帶隙可能只有0.1電子伏特彈性模量則是幾十吉帕。如果loss scale不夠大梯度下溢會(huì)直接導(dǎo)致訓(xùn)練發(fā)散。我們最終把loss scale設(shè)到1024同時(shí)打開動(dòng)態(tài)調(diào)整跑完整個(gè)訓(xùn)練過程沒有出現(xiàn)nan。第四層是內(nèi)存復(fù)用。材料模型的輸入圖規(guī)模不固定導(dǎo)致內(nèi)存調(diào)度容易碎片化。CANN的靜態(tài)內(nèi)存規(guī)劃模式可以在編譯期就把張量的生命周期分析好復(fù)用同一塊內(nèi)存給生命周期不重疊的算子使用。這一步對長序列采樣特別有作用生成模型的反向采樣中會(huì)反復(fù)創(chuàng)建中間張量原先每秒只能采樣4個(gè)結(jié)構(gòu)內(nèi)存復(fù)用后提升到了每秒10個(gè)。3. 實(shí)操落地的完整流程與性能指標(biāo)3.1 環(huán)境配置與算子適配檢查先給出一份可以直接抄的配置清單。操作系統(tǒng)是64位Linux服務(wù)器內(nèi)核5.10以上AI加速卡驅(qū)動(dòng)已安裝版本和CANN工具包版本嚴(yán)格配套Python環(huán)境用CANN自帶的依賴包管理避免自己配PyTorch和CANN的版本錯(cuò)位。算子適配檢查用自帶的靜態(tài)分析工具跑了一遍這一步強(qiáng)烈建議所有遷移項(xiàng)目都做工具會(huì)解析模型結(jié)構(gòu)輸出一張算子映射表標(biāo)明每個(gè)算子是原生支持的、需要原型實(shí)現(xiàn)的、還是完全不支持的。我們第一次跑完發(fā)現(xiàn)原生算子覆蓋率為82%另外11%可以通過已有算子組合實(shí)現(xiàn)剩下7%必須手寫。又花了一周把自定義算子補(bǔ)上最終覆蓋率打到了100%。# 算子適配檢查命令路徑按實(shí)際環(huán)境修改 /usr/local/Ascend/ascend-toolkit/latest/tools/msopstool/msopstool --check ./model_origin.onnx --output ./op_report.json3.2 用ATC工具完成模型轉(zhuǎn)換的三步經(jīng)驗(yàn)?zāi)P娃D(zhuǎn)換是CANN路線里最關(guān)鍵的一步相當(dāng)于把訓(xùn)練好的PyTorch模型翻譯成加速卡能高效執(zhí)行的中間表示。我們實(shí)際操作下來轉(zhuǎn)換步驟本身不復(fù)雜但要注意的問題不少。第一步先把PyTorch模型導(dǎo)出成ONNX格式。這里有一個(gè)很隱蔽的坑模型帶自定義算子時(shí)導(dǎo)出過程可能會(huì)把自定義算子折疊成標(biāo)準(zhǔn)算子導(dǎo)致推理結(jié)果和原模型不一致。解決辦法是在導(dǎo)出前把自定義算子注冊到onnx的符號表里并在轉(zhuǎn)換后做輸出比對。我們用一組隨機(jī)輸入分別跑原模型和轉(zhuǎn)換后模型輸出誤差控制在1e-4量級才算通過。第二步是用ATC工具做模型轉(zhuǎn)換。核心參數(shù)是輸入節(jié)點(diǎn)的shape、輸出節(jié)點(diǎn)的名稱、以及精度檔位。輸入shape建議直接設(shè)成固定尺寸因?yàn)橛袆?dòng)態(tài)shape的模型在轉(zhuǎn)換時(shí)要做多檔適配生成的模型文件和推理性能都會(huì)有折損。材料模型的輸入是圖結(jié)構(gòu)動(dòng)態(tài)性主要在鄰居數(shù)上我們通過padding統(tǒng)一到了固定節(jié)點(diǎn)數(shù)。第三步是保存推理配置。轉(zhuǎn)換產(chǎn)物是一個(gè)模型文件加一份配置json里面包含了輸入輸出格式、動(dòng)態(tài)批次、精度類型等信息。這一步很多人會(huì)忽略直接拿著模型文件就去推理結(jié)果輸入輸出對齊錯(cuò)誤。配置json建議保留后續(xù)做推理服務(wù)的時(shí)候能直接引用。3.3 推理性能實(shí)測結(jié)果對比這是項(xiàng)目組最滿意的部分。我們在同一批候選材料上對比了純PyTorch CPU推理、PyTorch CUDA模擬推理同型號消費(fèi)級GPU以及CANN加速后的性能?;鶞?zhǔn)是1000條候選材料結(jié)構(gòu)每條結(jié)構(gòu)節(jié)點(diǎn)數(shù)平均64邊數(shù)平均320。表格里的數(shù)據(jù)是實(shí)測均值推理方式單條平均延遲ms1000條總耗時(shí)s相對CPU加速比PyTorch CPU458458.01xPyTorch GPU18.518.524.8xCANN混合精度7.87.858.7x單條7.8毫秒是什么概念原來CPU跑完一輪篩選要等一個(gè)小時(shí)現(xiàn)在不到一分鐘就能看到候選列表。留給材料研究者的等待時(shí)間從“可以去泡杯咖啡”變成了“刷新頁面就出結(jié)果”。這個(gè)量級的加速才能讓交互式材料設(shè)計(jì)真正落地。注意延遲還可以更低。我們測了batch推理模式把多條候選打包成一個(gè)大圖同時(shí)推理單條延遲進(jìn)一步降到4.2毫秒。但代價(jià)是顯存占用線性上漲batch設(shè)到256時(shí)峰值顯存已經(jīng)超過16GB實(shí)際部署時(shí)需要在吞吐和內(nèi)存之間找平衡。3.4 端到端工作流從生成到驗(yàn)證的閉環(huán)整套系統(tǒng)跑通后的流程是這樣的用條件VAE在目標(biāo)帶隙區(qū)間生成候選結(jié)構(gòu)經(jīng)過物理過濾器初篩密度、電負(fù)性差、晶胞體積剩下約35%進(jìn)入圖神經(jīng)網(wǎng)絡(luò)做性質(zhì)預(yù)測。預(yù)測結(jié)果按多目標(biāo)打分排序取Top 50進(jìn)入第一性原理驗(yàn)證。驗(yàn)證結(jié)果回傳給數(shù)據(jù)庫再作為訓(xùn)練數(shù)據(jù)進(jìn)入下一輪迭代。閉環(huán)設(shè)計(jì)帶來的最大收益是模型越用越準(zhǔn)。每一輪實(shí)驗(yàn)驗(yàn)證都在給訓(xùn)練集補(bǔ)充“硬樣本”也就是那些生成模型打分很高但計(jì)算驗(yàn)證不通過的反例。把這些反例加進(jìn)訓(xùn)練集下一輪模型就知道哪些組合是陷阱候選質(zhì)量的通過率會(huì)逐步上升。我們記錄了三輪迭代的數(shù)據(jù)初始通過率27%第二輪34%第三輪41%。4. 實(shí)際踩過的坑與排查技巧4.1 自定義算子在轉(zhuǎn)換時(shí)被錯(cuò)誤折疊這是整個(gè)項(xiàng)目里最耗時(shí)的一個(gè)坑前前后后花了一周才定位。癥狀是模型在PyTorch里推理完全正常轉(zhuǎn)換到CANN上之后輸出變成噪聲。排查過程極其痛苦先是懷疑混合精度引入誤差把精度檔位降到FP32還是不行然后懷疑數(shù)據(jù)預(yù)處理不一致對照了很多遍也沒問題最后用逐層輸出比對工具定位到某一層——自定義的球諧展開算子被折疊成了普通全連接。原因在于導(dǎo)出ONNX時(shí)球諧展開的計(jì)算圖被優(yōu)化成了它認(rèn)為等效的矩陣乘法但數(shù)學(xué)上兩者在非線性激活區(qū)域并不嚴(yán)格一致。解決辦法有兩個(gè)一是導(dǎo)出前顯式關(guān)閉ONNX的優(yōu)化pass二是寫一個(gè)自定義算子模塊并在ONNX中注冊強(qiáng)制它作為整體導(dǎo)出。我們用了第二種方案徹底解決了問題。4.2 混合精度訓(xùn)練在損失scale上的教訓(xùn)第一次開混合精度訓(xùn)練跑了20個(gè)epoch直接發(fā)散loss飆到NaN。排查之后發(fā)現(xiàn)問題出在loss scale設(shè)得太低。材料性質(zhì)數(shù)值范圍跨度大一個(gè)batch里既有0.1量級的帶隙又有幾百GPa的模量梯度幅值差距能到三個(gè)數(shù)量級。固定loss scale為128時(shí)小梯度直接下溢成0調(diào)成1024之后又擔(dān)心溢出還好動(dòng)態(tài)loss scale機(jī)制自動(dòng)調(diào)整在訓(xùn)練早期快速爬升到了1024并穩(wěn)定下來。這個(gè)教訓(xùn)給團(tuán)隊(duì)的啟示是不要照搬圖像任務(wù)里的默認(rèn)參數(shù)?;旌暇鹊膬?yōu)勢毋庸置疑但loss scale和輸出范圍強(qiáng)相關(guān)需要針對任務(wù)重新標(biāo)定。4.3 內(nèi)存墻問題比算力墻更早出現(xiàn)CANN的算力優(yōu)勢很明顯但吞吐上來了之后內(nèi)存帶寬立刻變成瓶頸。具體現(xiàn)象是推理延遲已經(jīng)降到很低了再壓batch size上去延遲沒有繼續(xù)下降反而開始上升同時(shí)CPU側(cè)的數(shù)據(jù)預(yù)處理來不及供數(shù)GPU利用率掉到60%以下。排查之后發(fā)現(xiàn)瓶頸有三個(gè)一是數(shù)據(jù)加載進(jìn)程用了Python多進(jìn)程進(jìn)程切換開銷大二是圖數(shù)據(jù)格式是Python對象列表序列化反序列化代價(jià)高三是在Host側(cè)做鄰居采樣然后在設(shè)備側(cè)重新建圖這部分完全串行化了。改動(dòng)方案是把圖數(shù)據(jù)轉(zhuǎn)成統(tǒng)一張量格式預(yù)處理階段離線完成鄰居索引構(gòu)建推理時(shí)直接加載Device可讀格式。修改之后端到端吞吐又漲了約35%。4.4 數(shù)據(jù)不平衡導(dǎo)致生成模型偏科材料數(shù)據(jù)的類別分布天然不均衡帶隙預(yù)測任務(wù)里高帶隙樣本占比接近七成。如果不做處理模型對金屬材料預(yù)測精度會(huì)退化到“完全沒學(xué)過”的程度。我們用了混合策略一是在特征工程階段做平衡采樣保證每個(gè)batch里高低帶隙樣本比例接近二是在訓(xùn)練損失里給少數(shù)類樣本加權(quán)重三是用Focal Loss替代普通MSE降低易分樣本的損失貢獻(xiàn)。三個(gè)措施疊加之后金屬類別的預(yù)測MAE最終和絕緣體類別在同一水平線上。這個(gè)問題的隱蔽性在于整體MAE指標(biāo)看起來依然不錯(cuò)不細(xì)分類別根本發(fā)現(xiàn)不了。做材料AI一定不要只盯全局指標(biāo)要按材料類別、空間群、元素主族分別做分層評估才能真正暴露模型的短板。4.5 模型更新與緩存失效的一致性系統(tǒng)上線運(yùn)行后訓(xùn)練數(shù)據(jù)不斷增補(bǔ)模型版本也在迭代。但推理服務(wù)如果一直掛著舊模型前端看到的候選質(zhì)量和新模型的差距會(huì)越拉越大。我們最初的做法是人肉定時(shí)重啟服務(wù)加載新模型效率低還容易漏。后來改成自動(dòng)模型版本管理新模型訓(xùn)練完自動(dòng)評估指標(biāo)優(yōu)于當(dāng)前線上版本則發(fā)布推理服務(wù)通過監(jiān)聽文件變動(dòng)實(shí)現(xiàn)熱加載。模型加載期間的服務(wù)調(diào)用會(huì)暫時(shí)路由到舊版本加載完成后再切換整個(gè)過程完全無縫。這個(gè)機(jī)制保證了系統(tǒng)在持續(xù)學(xué)習(xí)的同時(shí)線上服務(wù)不會(huì)出現(xiàn)中斷或新舊模型混用的問題。5. 這套系統(tǒng)后續(xù)還能怎么擴(kuò)展目前單點(diǎn)性能已經(jīng)達(dá)標(biāo)了但整套系統(tǒng)的天花板還很遠(yuǎn)。從材料研究的角度下一步可以做跨尺度建模不但預(yù)測塊體材料的性質(zhì)還要把表面、界面、缺陷、非晶態(tài)這些復(fù)雜體系納入進(jìn)來。從AI的角度可以引入主動(dòng)學(xué)習(xí)策略讓模型主動(dòng)挑選“最不確定”的候選去做實(shí)驗(yàn)驗(yàn)證用最少的實(shí)驗(yàn)代價(jià)換取最大的模型提升。從工程的角度CANN加速層目前只服務(wù)了推理訓(xùn)練階段還有優(yōu)化空間。圖神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)動(dòng)態(tài)圖變化頻繁CANN的圖優(yōu)化每次都要重算這部分性能比推理差不少。如果能把訓(xùn)練側(cè)的圖編譯策略做起來整套系統(tǒng)的迭代速度還會(huì)上一個(gè)臺(tái)階。我個(gè)人在實(shí)際操作中最深刻的體會(huì)是AI for Science這類項(xiàng)目模型精度再高算力跟不上就不可能落地。材料發(fā)現(xiàn)的價(jià)值鏈非常長光有好的生成模型不夠光有快的推理引擎也不夠只有把模型、數(shù)據(jù)、加速、驗(yàn)證閉環(huán)串起來AI才能真正變成材料實(shí)驗(yàn)室里的一臺(tái)不知疲倦的煉金爐。這套系統(tǒng)的構(gòu)建過程不算輕松但路線已經(jīng)趟通了希望這篇總結(jié)能幫你少走幾步彎路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
在线免费视频caop| 美女精品一级不卡视频| 99r这里| 色日本五月天| 色99视| www久久久久久久97| 五月婷婷六月丁香首页| 丁香九月婷婷综合| 99re这里只有精品视频6| 思思热这里只有精品| 欧美色色色色色色色色色色| 五月婷婷,六月丁香| 超碰人妻在线| 国产婷婷五月天| 永久免费视频| 久久久久人妻| 色丁香五月综合网| 五月婷婷丁香啪啪| 26uuu精品一区二区| 婷婷亚洲天堂| 成人五月丁香花| 激情图片亚洲| 97碰精品| 夜夜大香蕉婷婷丁香| 九月激情综合婷婷| 天天天天操| 激情五月网站| 丁香天堂夜| 色五月第四色| 五月开心婷婷极品激情| 伊人大香蕉毛片| 久热网在线视频| 久久9RE热视频精品98| 色五月六月| 探花搜索结果 - 黄上黄| 亚洲成人在线综合| 另类国产综合| 五月丁香好婷婷A片网| 色一情一乱一乱一区91| 亚洲色欲欧美一区二区三区| 欧美WW在线网| 五月天婷婷久久| 五月天自拍网| 玖玖午夜视频| 97色婷婷| 色婷婷19| 日日艹思思热| 日木狠狠干| 四LLL少妇BBBB槡BBBB| 人人视频色| 五月丁香婷婷婷激情爱爱| 久久久8| 99热www.| 欧美在线看| 日韩啪啪视频| 棕合影院色色| 丁香婷婷色五月合集| 大香蕉 伊人夜| 色色五月婷| 新久久五月天激情| 国产成人AV在线播放| 日韩aaaaa| www.六月丁香看AV| 99视频色在线观看| 91热久| 婷婷久久五月天| 夜夜操少妇| 狠狠综合区| 日韩一级片| 婷婷色成人| 五月天久久综合| 精品无码久久久久久久久| 99色色色色| 中文字幕AV在线| 国产精品久久久久久亚洲毛片| www.成人婷婷综合| 婷婷五月天视频小说| 啪精品| 久久婷婷五月综合| 五月婷婷影院| 婷婷99狠狠躁| 色婷婷在线视频综合| 亚洲午夜电影| 中文字幕天天干| 色色色99| 成人视频在线免费播放| 91超级碰人人操| 99日本黄站| 色情一区二区播放| 青青草性爱视频| 任你干嘛免费视频播放| 色逼综合网| 天天干狠狠| 激情五月婷婷网| 婷婷丁香午夜综合影视| 99热精品在线观看| 996er热| 中文字幕人妻一区二区| 99精品偷自拍| 人人草开心五月天| 久久久91| 天天综合五月| 99热国产这里只有精品| 丁香五月五月婷婷| 大香伊人久色| 五月天综合婷婷| 丁香婷婷五月天在线视频| 性爱激情小说AV五月丁香花| 舔色婷婷| 国产成人精品123区免费视频| 91伦| 婷婷五月天,影院| 婷婷五月天AV在线| 久久婷婷五月天蜜桃| 天天日狠狠| 丁香六月狠狠干| 日本人妻伦在线中文字幕| 97视频91| 99热成人| 国产美女无遮挡裸体毛片A片 | 亚洲天堂色色| 色约约视频一区二区三区四区五区 | 99在线观看亚洲| 婷婷五月天激情小说| 婷婷热色| 另类图片五月激情| 久人人操| 亚洲不卡123| 国产成人片| 青青草成人网| 五月丁香激情综合网| 久99热| 色域五月婷婷丁香| 无码激情| 九色视频91| 91操在线视频| 五月丁香成人网| 激情久久肏屄视频| 精品人妻久久久久久| 夜夜骑夜夜操| 天天搡日日搡aaaaⅩ| 五月丁香久| 婷婷丁香亚洲色综合91| 五月天综合网| 国产暴力强伦轩1区二区小说| 久久久激情| 欧美性生交XXXXX无码小说| 丰满人妻一区二区三区| 好叼操在线观看| 一本到不卡高清DVD| 9|人妻人人操| 五月天婷婷狠狠| 久9热视频| 视频一二区| 性色婷婷| 激情综合网激情五月婷婷| 先锋影音男人的天堂AV| 日韩综合天堂| 另类图片五月天婷婷| 99免费视频网| 99热综合网| 色色色色网| www.99视频| 婷婷五月天久久| 亚洲色小说在线综合| 婷婷社区五月天| 婷婷五月大香蕉| HD久久精品视频| 久久看婷婷| 精品国产a| 色婷婷综合电影| av无码电影| 丁香色色色| 凹凸7777操操操| 五月天小说激情| 97韩国久久电影院| 丁香婷婷基地| 成人AV播放| 99在线小视频| 五月丁香手机在线| 丁香五月婷婷激情蜜桃| 色婷婷丁香| 免费看欧美成人A片无码| 亚洲欧洲美女在线观| 日本毛片内射| 欧美亚洲999| 九九精品网| 日韩久热| 九九久99免费视频| 人妻性爱av网站| 五月综合六月婷婷| 91操操| 免费观看全黄做爰的视频| 日本五月天激情| 婷婷丁香色五月天| www.狠狠操.co m| 99色在线观看视频者| 人妻久久婷婷| 这里只有精品视频国产| 热久久婷婷| 九色91国产| 激情二色月| 久色大| 久久久久er热| 国产免费av网站| 大香蕉520| 欧美日本一区二区三区| 涩涩涩五月天| 91丁香婷婷综合资源| 婷婷伊人| 99视频这里有精品免费观看| 网站免费一站二站| 97婷婷在线视频| 97碰碰在线看视频免费| 亚洲狠狠婷婷综合久久久| 日日操天天操| 日本波多野结衣视频| av在线免费播放| 五月婷婷色吧!| 99视频九九热| 五月丁香婷婷婷激情爱爱| 丁香狠狠| www,超碰| 999精品久久久久久久| 欧美婷婷| 五月丁香激情综合啪啪| 91N 一起草| 99热99日…..| 涩五月婷婷| 天天综合网~91| 婷婷五月丁香色情| 67194国产| 天堂网啪啪| 五月婷婷视频ab| 国产性爱亚洲是图| 婷婷激情四射| 91久久久久久久久| 在线观看亚洲视频影院| 人人摸人人| 日韩国产在线精品| 色五月婷婷五月久久| 丁香五月手机在线| 日韩黄黄| 国产成人av在线播放| 中文字幕成人日韩| 色综合色综合网| 色婷婷综合网| 99爱精品| 色婷婷基地| 精品五月天| 中文字幕有多少字| 好吊丝aV| 亚洲乱码日产精品BD| 五月婷丁香| 久热黄色| 丁香五月综合| 五月天色不卡| 综合激情五月四射婷婷| 九九热这里只有精品6| 99riAV国产精品视频| 79精品视频在线观看,| 色色网站日本91| 最新精品视频99| 婷婷五月天激情网| 综合久色五月| 国产精品VIDEOSSEX久久发布| 成人精品在线观看| 狠狠干,狠狠操| 五月开心婷婷网| 成人av免费观看| 色婷婷国产精品综合在线观看| 熟女91九色| 99亚洲综合| 婷婷色五月天综合网| 六月婷婷综合| 丁香五月天婷婷久久综合| 99热超碰| 操一操插一插| 性爱五月婷| 女力报到正好爱上你| 国外亚洲成AV人片在线观看| 综合激情五月丁香| 999热视频精品99免费在线| 美女激情婷婷| 亚洲 成人 电影av在线观看| 久久人人九| 黑人熟妇一区二区三区| 99无码黄色视频| 天天干,天天舔| site:pnnrt.com| 超碰三级秋霞| 艹B高清无码| 可以免费看的av网站| 爱iii做iiii日日| 婷婷色基地| 欧美激情伊人| 亚洲成人网站在线播放| 最新热中文字幕| 免费看欧美成人A片无码| 99热这里只有精品69| 五月婷护士| 丁香五月婷婷天堂大香蕉| EEUSS鲁片一区二区三区| 九热久| 五月伊人网| 九九sese| 五月天婷婷Av| 色婷婷a v| 五月天婷婷基地丁香| 偷偷与邻居做爰完整视频| 激情激情激情网| 婷婷丁香五月天色色| 99热精品在线| 五月天婷婷在线啪啪视频| Www.久久| 日日噜噜夜夜狠狠久久丁香六月| 天天综合永久| xxxx久| 婷婷五月天堂| 91精品久久久久久综合五月天| 色香久久| 99精品国产在热久久| 天天综合天综合| 99在线视频精品| 99精品免费| 九一99| 日韩精品一区二区亚洲AV观看| 99色色网| 激情小说之五月| 性生活视频98791| 97人人干| 欧美色色色色色色| 日本激情五月| 久久久久妻| 色婷婷综合久久| 99热在线精品观看| 天天干天天射色综合| 99视频在线播放大全| 青草青草视频2免费观看| 第四色五月天| 色的色综合| 五月天停停日日| 深爱五月婷婷| 久热99热| 激情五月天www| 99热自拍| 国产精品视频网| 夜夜谢天天干| 久久五月天网| 亚洲婷婷激情五月天| 99九九精品视频| 亚洲国产精品成人午夜| 99热首页| 人人干女人| 丁香五月23111| 91狠狠色丁香婷婷综合久久| 久久婷婷五月综合一| 99精品综合视频| 97色色色色色| 五月婷婷m| 狠狠搞五月天| 婷婷色五月激情强奸四射| 爱穴久久| 影音先锋美国A| 丁香五月影院| 99亚洲视频| 色了色综合| 综合亚洲六月婷婷在线| 天天干天天曰天天射| 欧美97超碰| 欧美精品999| 五月天天天天天天天天天天天婷婷婷| 天天影视色综合网| 黄色99网| 色综合久久五月| 爆乳熟女一区二区三区爆乳| 久久99免费视频网站| 丁香六月婷| 九九婷婷综合| 9九色首页| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 亚洲亚洲人成综合网络| 人人草人人爱| 九九热在线视频观看| 狠狠五月天| 国产裸舞表演WWWW| 六月丁香激情最新更新| 新久久五月天激情| 开心五月六月婷婷| 九九视频免费| 九九99在线| 天堂呦 呦百度搜索-百度搜索| 国产精品a无线| 天天色视频| 亚洲AV日韩无码| 婷婷丁香18| 99热在这里只有精品| 日本va欧美va欧美| 亚洲性爱区无码区| www夜夜操comwww| 激情五月天开心网丁香无码| 婷婷5月色| 天天狠天天狠| 五月丁香六月日逼| 4438成人电影| 五月丁香 啪啪| 无码髙清| www.91.com黄| 六月婷婷天天操夜夜爽视频| 99久热这里只有精品视频删减版| 99爱这里只有精品| 免费久久这里只有精品99| 五月丁香好婷婷姑娘综合网| 狠狠狠人妻| 内射激情在线| 五月天婷婷五月| 伊人久久五月天综合| 人人人舔人人人操人人人摸人人人97 | 婷婷丁香五月综合激情小说| 天天干狠狠艹| 天天操比比| 婷婷色导航| 婷婷五月天va| 伊人狠狠操| 婷婷六月色情| www,天天干| 五月天开心婷婷激情网站| 成人丁香五月天| 中文字幕丰满人妻无码专区| 99热在线精品观看| 亚洲美女婷婷五月天| 日日噜狠狠色综| 色播播之激情五月婷婷| 亚洲色婷婷五月| 开心激情播播五月天| A A色色| 婷婷丁香激情五月天色色| 色丁香五月婷婷在线| 狠狠狠狠狠狠狠狠| www.五月天婷婷| 免费亚洲婷婷中文字幕| 激情综合五| 色色婷婷综合| 射琪琪| 精品人人操| 亚洲综合网激情小说| 五月婷婷深爱六月| 久久精品这里只有精品免费首页| 99久久久久| 99综合视频一体| 五月天开心色色网| 五月丁香av中文| 入口五月婷婷六月香| 久热这里这里有精品| 婷婷开心综合人妻小说网址| 丁香婷婷六月| 九九热在线视频| 综合色图婷婷| 欧美色久| 中文字幕久久一区二区三区| 婷婷五月天美女视频| 伊人在线婷婷草| 婷婷午夜精品久久久| 1024AV视频| 丁香色五月 97干| www激情五月天| 六月婷婷狠狠| 婷婷四月 成人 狠狠干| 国产免费一区二区在线A片视频| 婷婷激情五月综合丁香社| 九九aV| 国产精品人成A片一区二区| 超pen个人视频97| 99ri国产在线| 五月停亭六月,六月停亭的英语| 久久三级视频| 色婷婷A| 丁香婷婷影院| 这里只有精品偷拍| 天天插AV丝袜中| 婷婷伊人五月天| 婷婷丁香五月天激情四射| 五月丁香六月成人| 淫荡综合网| 色五月综合| 香蕉曰比| 五月激情五月丁香| 成年人最刺激的综合网| 日本欧美成人片AAAA| 亚洲成人高清在线| 日韩精品二三区| 色婷婷丁香五月| 99热在线看| 777久久综合视频 | 色五月激情视频在线综合| 开心五月天激情网站| 五月丁香黄色视频| 性爱人人网| 亚洲AAAA网| 色婷婷色99国产综合精品| 任你干aa| 五月婷婷免费视频| 在线不卡视频| 99亚洲天堂| 九九视频在线| 国产亚洲AV人片在线| 激情五月激情综合俺也去婷婷小说| 直接看的AV| 国产成人精品亚洲线观看| 女人被男人吃奶到高潮| 国产精品久久久久9999小说| 国产熟女一区二区三区五月婷| 亚洲丁香五月| 麻豆AV一区二区三区| 激情综合网五月在线播放| 丁香六月亭亭久久综合| 欧美成人AAA片一区国产精品| 九九综合网色全集 | 色综合五月| 99爱在线| 五月天婷婷小说| 91九色 婷婷| 婷婷五月中文在线视频| 95精品区一区二| 蜘蛛女免费观看完整版高清电影| 色五月婷婷久久| av第一二区| 99亚洲日韩| 在线中文AV| 99热6这里之有精品| 狠狠草狠狠草| 色九区| 日本久久高清| 色狠狠综合入口| 色色色.COM| 五月丁香成人网| 丁香五月首页| 久久婷婷五月综合色丁香花| 色婷婷激情| 无码se| 色丁香五月婷婷婷| 综合视频五月| 五月天六月色| 天天日日爽| 久久五月天色婷婷| 五月丁香天堂网婷婷| 色五月天.con| 丁香六月开心| 第1影院之五月婷婷| 高清无码 一区 二区 三区| 99热免费| 五月天婷婷久久日| 五月天激情四射网站| 狠狠操之狠狠操| 丁香五月激情婷婷婷婷在线观看| 99碰碰视频| 色综啪啪啪啪啪啪| 色色射| 婷婷丁香花五月天| 天堂资源欧日浪女在线播放| 9久久久久久久久久久| 狠狠色噜噜狠狠| 殴美日韩成人| 日本69日人视频| 欧美色五月| 亚洲成人在线播放| 亚洲男女激情| 开心五月丁香综合久久| 超碰人妻公开在线| 久久精品视频在这里有| 大胆伊人久久| 色婷婷伊人| 成人五月天在线观看| 人人草人人舔| 思思热久久爱| 色综合狠狠色| 超碰狠狠操| 婷婷九月激情| 色啪久 | 五月天婷婷激情在线色图| 日本色色影院| 激情伊人| 国产Va视频| 九九九九操逼| 婷婷五月免费视频| 丁香五月亚洲激情婷婷射| 中文人妻AV久久人妻18| www夜夜操com| 97碰啪啪| a免费在线| 婷婷播5月| 色综合激情| 人妻丰满精品一区二区A片| 婷婷五月伦理| 特黄三级片| 嫩BBB搡BBBB榛BBBB| 天天色综合图片| 蜜臀av粉嫩av懂色av| 99精品色| 九九精品在线观看视频6| www99在线观看视频| 婷婷亚洲综合| 亚洲色网络| 五月婷婷久久综合| 成人龟情网丁香五月| 男女免费视频999| 久久这里只有国产| 久久天堂女人| 婷婷五月天激情网| 91小黄书网址在线观看| a在线观看| 国产精品A成V人在线播放| 亚洲激情五月| 三区激情四射av| 99人人干人人操| 无码色| 色噜噜狠狠插综合| 色综合爽| 拍色综合| 婷色五月天| 五月丁香六月色| 琪琪秋霞| 99九色视频在线观看| 男人操女人高潮91视频| 天天色丁香| 不卡影院午夜理论片| 在线网黄| 色婷婷亚洲综合av| www久久久| 99热都是精品| 欧美群妇大交乱婬网| 操比激情五月| 亚洲日本韩国| 欧美色五月| av操一操| 五月丁香啪啪激情| www.99在线| 97操女视频| 色五月婷婷网| 久久性爱视频| 五月天婷婷7米| 五月婷婷成人w| 操比激情五月综合| ..真实国产乱子伦毛片| site:pnnrt.com| 五月天色裸体视频| 激情六月五月婷婷综合网| 精品成人在线观看| 久久久久久18| 碰碰碰97国产| 九色婷婷| 99日本精品视频热| 人人摸人人澡人人| 99免费视频网| 青青草六月丁香| 天天噜日日噜综合无码| 婷婷色一二三区波多野结衣| 色婷婷色综合久久精品V| 亚洲天堂热| 4399亚洲视频| 永久AⅤ1| 五月婷导航| 狠狠肏综合网| 激情无码五月天| 另类激情五月| 婷婷色五月天色| 91狼友视频网页更新| 亚洲精品V天堂中文字幕 | 超碰97干| 成人版视频在线观看| 中文在线视频久1| 婷婷五月天色综合翘| 99热9| 六月丁香色色| 9久久AV| 婷婷色六月| 日韩999| 五月婷婷五月| 狠狠色成人影片| 激情综合五月丁香| 五月丁香久久综合| 六月婷婷综合激情| 99久久www| 99视频网址| 日本狠狠色| 爱草人视频| 91大屁股精品| 日韩在线9| 99ri精品在线| 久久伦乱| 爱射综合| 亚洲第一综合| 无码AV免费精品一区二区三区| 婷婷六月综合激情| 午夜色婷婷| 熟妇人妻中文字幕无码老熟妇| 色婷五月天| 亚洲乱码日产精品BD| 亚洲欧洲中文日韩久久AV乱码| 免费看欧美成人A片无码| 欧美精品在线观看| 天天插操| 婷婷五月天涩涩| AVV黄| 99热日本精品| 99热这里| 激情五月天综合网站网站网站| 欧美天天五月丁香免费观看| 综合色五月天| 五月婷婷丁香网| 婷婷激情综合| 67194成I人在线观看线路1| 婷婷丁香五月麻豆| 大香蕉啪啪啪| 丁香九月色| 婷婷五月网图片区| 日韩在线成人电影| 欧美日朝成人| 久久亚洲色导航| 久久九九大香蕉电院| 丁香月六月| 台湾无码A片一区二区| 婷婷亚洲天堂| 啪啪综合网| 亚洲正能量欧美| 亚洲人人操| 九九AV| 天天天操天天天爰| 这里只有精品网站| 婷婷精品在线| 国产AV一区二区三区最新精品| 色婷婷丁香AV综合| 婷婷五月丁香啪啪| 色婷婷在线综合色播网| 五月丁香婷婷激情视频| 极品另类| 久久免费精彩视频| av电影在线播放| 99这里有精品视频| 丁香六月激情综合网| 五月婷婷在线视频观看| 六月丁香五月天| 国产婷婷婷| 色欲久久久久久综合网综合网| 日日骑夜夜撸| 色在线视频网2025| 婷婷六月久久综合导航| 青青久久五月天丁香婷婷| 秋霞AV美国| 思思久久99| 99re这里只有精品首页| 六月99天天婷婷激情综合| 嫩草视频在线观看| 国产做爰视频免费播放| 密视AV综合在线| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 99日视频在线| 丁香五月手机在线| 婷婷五月综合丁香久久| 91操女| 99久久99久久| www.夜夜夜| 色色a| 婷婷久久五月| 色婷婷亚洲精品天天综| 婷婷中文字幕版| 激情AV网| 五月激情婷婷综合| 久久久香| 五月天综合婷婷| 激情小说五月天| 综合网啪| 五月丁香六月合| 五月天婷婷綜合院| 色色色色色色色五月| 99无码视频| 五月天综合色| 97久久久久久久久久久| 五月天激情影院| 激情五月亚洲| 91日韩在线| 9热久久在线| 婷婷伊人激情婷婷| 五月丁香激情综合啪啪| 久久五月天影院| 六月婷婷视频| 超碰人人操人人干| 色婷婷色综合激情91| 亚洲久久婷婷| 亚洲人妻AV| 亚洲在线操| 思思热精品在线| 91妻人人爽人人看片| 四色综合网| 玖玖午夜视频| 久久五月天精品视频| 婷婷另类开心| 色色性爱视频| 久99久精品视频| 五月婷婷激情综合av| 色青青电影色五月| 高清激情av在线观看| 99久热| 日本色99| 一级二级色大片| 91主播在线| 婷婷五月天亚洲综合网| 色综合天天| 欧美极品999| 影音先锋四区| 国产女生爱爱AA| 五月婷婷婷婷婷婷艺术| 精品久久久久成人码免费动漫| 99热99ai| 九九99免费理论| 久草五月天| 深爱五月激情五月| 激情骚五月| 99热在线观看精品免费| 九九婷婷五月天| 狠狠干总合| 婷婷五月天av| 久草久青福利| 六月激情婷婷| 9.1综合网| 激情五月综合| 任你草| www99热| 久婷婷| 亚洲国产成人在线| 99超碰人人| 免费亚洲婷婷五月| 一操久久| 丁香五月天堂网| 丁香五月大香蕉AV| 国产美女视频久| 五月丁香毛片| 色色热| 色色免费网站| 色九月婷婷| 五月香婷婷| 婷婷五月婷婷| 成人 在线观看国产| 激情五月婷婷中文字幕| 99综合色色色| ji'qi'luan'ren'lun| 丁香五月婷综合| 五月亭亭直播| 欧美激情中文字幕| 香蕉人在线香蕉人在线 | 婷婷97色| 色婷婷丁香| 五月天天丁香婷婷| 五月丁香六月激情综合欧美| 欧美色碰| 色婷婷AAA| 久久久人妻人伦| 婷婷色中文字幕| 色婷婷狠狠| 五月色婷| 免费色色色| 亚洲第一成人AV| 五月丁香成人视频| 91 九色 入口| 玖玖综合色| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 久久这里只有精品99| 国庆精品久久| 色www久视频| 热99精品视频| 国产综合婷婷| 色色色999| 五月天艹天天| 偷拍九九五月丁香婷婷| 色九九综合| 亚洲色五月天是什么| 97日本在线播放| www.操.com| 五月开心婷婷极品激情| 激情内射人妻1区2区3区| www.99热这里精品| 色999;丁香五月| 嫩草AV久久伊人妇女超级A| 伍月婷婷六月丁香| 9操在线| 欧美肉大捧一进一出免费视频| 思思 热 99| 91色婷婷综合久久中文字幕二区| 欧美成人精品A片免费一区99| 九九精品在线网| 超碰色婷婷| 亚洲色啪| 色婷婷精品| 日本熟女视频一区二区| 1024人妻无码中文字幕| 97在线精品| 婷婷之六月丁香| 欧美日韩成人在线网| 華人性愛AV在線| 97碰 在线视频观看| WWW.99热| 九月丁香五月婷婷| 成人AV免费观看| 超级碰碰97在线| 五月婷婷深深爱| 99,色| 日韩三级高清无码| 操人91| 天天爽天天日天天舔| 人人操人人干AV| 亚洲乱码日产精品BD| 日91高清无玛| site:wpjngj.com| 色色色9 9 9| 国产精产国品一二三在观看| 99re热视频这里只精品| 久久网站免费亚洲| 久热伊人在91| 色色五月天婷婷| 婷婷丁香五月综合免费视频百花| 2020久久婷婷五月| 婷婷色啪| 九九热狼人| 丁香五月情| 婷婷五月天论坛| 国产成人av在线播放| 色噜噜狠狠狠狠色综合久欧美| 六月丁香婷| 99热在线成人网站| 超黄亚洲瑟瑟网站| 91婷婷在线观看| 亚洲日韩操B| 开心五月天激情网| 五月婷婷激情中文字幕| 天天爽夜夜爽| 精品色情一区二区三区四区| 99在线视频精品| 五月丁香婷婷激情图片| 色色色综合网| 日韩在线视频中文字幕| 亚城区在线| 久久激情综合| 激情综合啪啪啪| 六月婷婷网| 日B日潘金莲BB| 另类视频在线| 婷婷俺去也| 91se在线观看| 婷婷丁香五月亚洲| 五月天婷婷伊人| 六月婷婷视频| 另类在线| WWW久久久| 色婷婷色九月| 玖玖五月丁香| 任你躁XXXXX麻豆精品| 婷婷色色丁香五月天| 婷婷五月精品中文字幕| 99在线精品免费视频| 91色噜噜狠狠狠狠色综合| 色播五月婷婷五月| 色色欧美。| 欧美噜噜免费观看| 丁香婷婷六月男男| 色婷婷小说| 囯产精品一品二区三区| AV堂狠狠干| 丝袜激情网| 中文字幕网伦射乱中文| 人妻少妇色综合| 日韩AV大全| 五月丁香影院| 天天色图| 综合啪啪| 五月天丁香综合| 夜夜干天天操| 久久99热这里只有精品| 99视频| 操逼123网| 色婷婷4| 99久热这里有精品| 久久99热这里只有精品23| 婷婷丁香69精华| 婷婷久久综合久| 婷婷丁香五另类网站| www.99精品在线| www一起操| 五月天丁香成人社| 国产精品电影网| 久久99精品久久久久久噜噜| 韩国19 主播内部福利vip免费播放| 久热99久热| 色爱综合五月| 五月婷久久草| 黄色片精品| A级毛片高清免费不卡播放谢谢谢谢| 九九久久污| 色色综合激情| 欧美色色色色色色色色色色| www.婷婷五月天| 五月丁香色婷婷色| 97av在线视频| 久久五月网| 99自拍视频| 天天插天天射| 人人舔人人| 五月婷婷六月丁香色| 五月婷婷综合在线| 天堂久久婷婷| 色五月综合网| 婷婷五月花| 五月婷婷综合在线亚洲视频| 九九久久9 9在线观看| 久久9热好| 亚洲区在线| 涩玖玖免费视频| 五月天操逼网| 第四色婷婷日本| 人人色性网| 欧美日本一区二区三区| 综合网五月| 久久 婷婷 五月天| 五月婷婷五月| 亚洲AV在线免费看| 五月色亚洲| 9久热| 天天久久综合| 五月婷婷片| 婷婷五月激情图片| 五月婷婷丁香在线| 久久久99精品免费观看| 激情综合久久| 国产乱人偷精品人妻A片| 色色色色色九九九九九| 久久婷婷五月天激情| 亚洲欧洲另类| 26UUU在线观看| 激情婷婷五月天| 九九久久99| 婷婷色五月91啪啪| 日韩操女| 色色综合色视频| 色高清无码视频| 激情五月婷黄版| 日日日日日| 亚洲超碰中文字幕| 另类伊人婷婷| 婷婷色五月久久| 少妇综合网| 五月丁香啪啪| 亚洲成人综合网在线免费观看| 五月丁香久久久久| 五月天色狠狠| 天天爱夜夜爽| 久七香蕉| 久久99网| 六月婷综合| 色五月天激情| 七七色色综合| 丁香激情五月| 五月天激情小说| 婷婷五月激情视频| 亚洲男人的天堂婷婷色五月| 久久99网站| 91九色在线| 久久婷婷五月综合色奶水99啪| 日韩无码亚欧无码| 九九精品婷| 九九综合网色全集 | 狠狠色噜噜色狠狠狠综合久久成人波 | 五月综合视频| 婷婷在线播放| 91啪啪啪啪| 性一交一乱一交A片久| 97色女人在线| www.日日日.com| 4399在线日本A片| 操碰色一区就去操| 99激情网| 97五月天婷婷| 狠狠爱五月婷婷| 天天爽天天操| 九九99九九99九九99视频网| 欧美va欧美va差| 婷婷性爱网| yw国产AV| 色激情综合狠狠婷婷| 色色五月天丁香婷婷| 久久婷婷综合五月| 五月天丁香六月综合| 五月天成人网在线观看| 97caop| www.丁香五月| 天天综合网站| 综合av在线| 综合五月草| 91欧美日韩综合| 97操男人的天堂| 六月婷婷色宗合| 可以看的av| 婷婷操久久| 欧美日韩一区二区三区四区| 日韩精品AV一区二区三区| 碰超99| 婷婷八月丁香激情综合| 色欲天天综合网| 日韩色久| 高清无码视频网址| 国产精品久久久久9999小说| 丁香九月激情| 天天干天天插| www.91AV.COM| 狠狠操.COM| 婷婷久久五月天| 亚洲性爱电影| 熟女激情五月天| 激情婷婷五月社区| 天天干天天 亚洲| 五月丁香影视| 日本一道久久| 亚洲视频五区| 2015超碰| 九九在线视频| 亚洲成人精品三区| 五月婷婷深爱六月| 丁香六月综合激情| 99re99热| 99激情在线| 丁香五月777| 精品人妻一区二区三区四区不卡在| 97色五月婷婷在线| 五月激情开心婷婷| 亚洲亚洲人成综合网络| 日本三级韩三级99久久| 五月天操逼网| 日韩另类在线观看| 9热精品| 黑人无码一区| 日本色爽| 免费观看全黄做爰的视频| eeuus五月婷| 六月激情网| www.99热最新视频8| 夜夜夜夜夜操| 玖玖综合色| 第五色婷婷| 五月婷婷色色色| 国产91视频| 久久这里只有国产| 天天操综合网| 另类五月婷婷| 日本九九九九| 五月色欧洲| 狠狠色色| 精品无码色| 国产美女无遮挡裸体毛片A片| 婷婷大美在线| 精品国产AV色一区二区深夜久久 | 中文字幕不卡+婷婷五月| 97精品欧美91久久久久久久| 7777激情基地| 热九九精品| 9.1综合网| 人妻AV中文系列| 这里只有国产精品在线| 超碰人人在线观看| 99热亚洲精品| www.com色播五月天| 国产精品国产| 另类图片色五月| 婷婷色中文字幕| 五月天激情社区| 91碰碰碰| wuyuedingxiang99| 精品国产一区二区三区四区阿崩| 亚洲激情区| 影音先锋91视频| 久草性爱| 亚洲精品乱码久久久久久按摩观| 五月丁香啪啪激情| 一逼色综合| 久99久视频| 成人色色视频| 婷婷性爱视频在线| 激情五月小说婷婷| 美女va| 9久热精品在线视频| 综合一本道| 五月婷婷深深爱| 我爱大香蕉| www.色婷婷。com| 爱iii做iiii日日| 亚洲性爱电影| 色欧美影院| 激情五月天婷婷五月天| 深爱五月中文字幕| 99热草草| 开心激情站| 99精品视频免费在线播放| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 国产欧美日韩一区二区三区| 婷婷不卡基地| 91婷婷丁香| 婷婷六月激情啪啪| 大香蕉在线观看9| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 五月婷婷五月天亚洲无码| wWW九九在线播放| 婷婷六月天| 天天五月情| 日本久久性| 亚洲乱码日产精品BD| 天天影视天天爽天天草| 亚洲AV成人在线| 婷婷99狠狠躁天天久久久九九九| 天天天天天天操| 久久欧洲久久| 玖玖综合色区在线观看| 久99| 五月婷婷狠狠干| 91chinese 在线| 五月婷婷丁香| site:ornaments52.com| 五月丁香自拍| 噼里啪啦完整版中文在线观看 | 激情五月婷婷她| 99熟女视频| 色高清无码视频| 秋霞少妇毛片| 五月丁香综合啪啪| 日韩十国产极品久久| 五月丁香六月在线欧美| 激情五月婷婷色综合| 久久综合影院| 六月丁香视频网站| 五月丁香婷婷激情四射迷人| 五月天婷婷小说| 狠狠穞A片一區二區三區| 亚洲五月天综合色| 色播五月丁香综合| 国产成人精品一区二三区熟女在线| 99看片| 激情婷婷丁香色五月综合| 久久婷婷五月综合色奶水99啪| 性生生活大片又黄又| 激情五月婷| 99热只有精品在线观看| 日本啪啪天堂| 丁香六月婷婷色XXXXX| 色偷偷五月天| 五月天婷婷在线播放| 狠狠色激情在线| 99天堂网| 久久99精品久久久| 爽tv | 九九色影院| 99热66| 婷婷五月天论坛| 欧美天天草人人草| 色婷婷综合亚洲| 色婷婷狠狠久久综合五月 | 日日夜夜狠狠操| 日本一级黄色电影| 婷婷丁香六月天激情四射网| 欧美激情VA永久在线播放| 久久 婷婷 五月天|