欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

從真武V900看AI芯片算力:集群、精度與資源配置

從真武V900看AI芯片算力:集群、精度與資源配置 1. 一顆芯片把算力這個(gè)“隱形軍備賽”擺上了臺(tái)面最近圈里討論最多的不是哪家模型又刷了榜單而是一顆芯片——真武V900。平頭哥這顆新品一亮相很多人第一反應(yīng)是終于來(lái)了。這年頭做AI芯片光有故事不行得拿出能跑大模型、能進(jìn)數(shù)據(jù)中心、能扛得住集群部署的真東西。真武V900就是把這張牌打到了桌面上。先說(shuō)清楚它是什么。真武V900是平頭哥面向大模型訓(xùn)練與推理場(chǎng)景推出的高性能AI加速芯片主打高能效比、大內(nèi)存帶寬和集群擴(kuò)展能力。一句話概括它是為了“把大模型跑起來(lái)、跑得起”而設(shè)計(jì)的。對(duì)于正在做模型部署、算力規(guī)劃、推理優(yōu)化的工程師和團(tuán)隊(duì)來(lái)說(shuō)這顆芯片背后透露的算力布局思路比參數(shù)本身更值得琢磨。這篇文章我會(huì)從算力的基礎(chǔ)概念講起掰開(kāi)揉碎聊聊精度格式、集群架構(gòu)、資源配置建模這些繞不開(kāi)的話題再結(jié)合真武V900的定位說(shuō)說(shuō)一顆AI芯片從發(fā)布到落地中間要跨過(guò)哪些坎。無(wú)論你是搞算法、做基礎(chǔ)設(shè)施還是純粹對(duì)大模型算力好奇這篇文章應(yīng)該都能給你一些可用的參考。2. 算力到底是什么三個(gè)層次拆開(kāi)來(lái)看2.1 算力不等于CPU主頻更不等于一堆參數(shù)堆在那里很多人一提算力第一反應(yīng)是芯片跑多快、核心有多少個(gè)、主頻多高。這些數(shù)字當(dāng)然重要但真實(shí)場(chǎng)景里的算力遠(yuǎn)遠(yuǎn)不是芯片規(guī)格表上那一串峰值數(shù)字所能代表的。我習(xí)慣把算力拆成三個(gè)層次來(lái)理解。第一層是單芯片算力一顆芯片每秒能完成多少次浮點(diǎn)運(yùn)算單位是TFLOPS。這是最直觀的指標(biāo)也是廠商最喜歡宣傳的數(shù)字。第二層是集群算力很多顆芯片連在一起通過(guò)網(wǎng)絡(luò)互聯(lián)、調(diào)度系統(tǒng)、存儲(chǔ)配合協(xié)同完成更大的計(jì)算任務(wù)。第三層是有效算力把算法效率、精度格式、帶寬瓶頸、軟件優(yōu)化都算進(jìn)去之后真正落到你模型訓(xùn)練時(shí)間或者推理延遲上的那部分能力。這三者之間不是簡(jiǎn)單的乘法關(guān)系。集群算力可能因?yàn)橥ㄐ牌款i只發(fā)揮出六成有效算力又可能因?yàn)樗阕記](méi)優(yōu)化好再打一個(gè)折扣。最終用戶感知到的往往是第三層。打個(gè)比方單芯片算力就像一輛跑車(chē)的發(fā)動(dòng)機(jī)馬力集群算力像是整條高速公路網(wǎng)的通行能力有效算力則是你實(shí)際從A點(diǎn)到B點(diǎn)花的時(shí)間——路況、交通燈、駕駛習(xí)慣全都要算進(jìn)去。真武V900聰明的地方在于它沒(méi)有只盯著第一層做文章而是在集群互聯(lián)、能效比這些容易被忽視的維度上做了功夫。這也是為什么我說(shuō)“算力野心”藏不住——它不是想當(dāng)一顆孤膽英雄式的芯片而是想當(dāng)整個(gè)算力網(wǎng)絡(luò)里的骨干節(jié)點(diǎn)。2.2 精度格式int8、fp16、fp32、fp64到底差在哪聊算力精度格式是躲不開(kāi)的第一課。很多初學(xué)者看到int8、fp16、fp32、fp64這一串符號(hào)就頭大其實(shí)用一個(gè)類比就能說(shuō)清楚。精度格式就像是打包快遞時(shí)的稱重精度。fp64是拿高精度秤每一克的重量都能稱出來(lái)fp32是普通秤差不多就行fp16是粗略秤只能稱到半斤int8干脆就是“按件算”——只分大件小件具體多重不重要。不同精度的區(qū)別體現(xiàn)在兩個(gè)地方一是數(shù)值范圍和精度二是計(jì)算速度和內(nèi)存占用。精度越高越不會(huì)算錯(cuò)但計(jì)算越慢、占內(nèi)存越多。我把常見(jiàn)格式的參數(shù)整理在下面這張表里格式位寬適用場(chǎng)景算力需求特點(diǎn)典型速度對(duì)比同硬件fp6464位科學(xué)計(jì)算、數(shù)值模擬極慢但高精度1倍基線fp3232位傳統(tǒng)深度學(xué)習(xí)訓(xùn)練適中通用約2倍于fp64fp1616位大模型訓(xùn)練主流快配合混合精度約4-8倍于fp64bf1616位大模型訓(xùn)練范圍好快Google方案約4-8倍于fp64int88位推理量化快得離譜但精度打折約8-16倍于fp64注意上面的速度對(duì)比只是近似值不同芯片差異很大。關(guān)鍵在于同樣一顆芯片跑int8的算力峰值可能是跑fp32的數(shù)倍甚至十幾倍。這也是為什么所有AI芯片廠商都喜歡在int8算力上標(biāo)一個(gè)特別大的數(shù)字——好看但你要清楚那是“極限狀態(tài)”真實(shí)業(yè)務(wù)里很少能跑到。對(duì)于大模型訓(xùn)練現(xiàn)在的主流做法是混合精度訓(xùn)練梯度更新用fp32前向和反向計(jì)算大量用fp16或者bf16損失縮放等技巧再兜底。為什么不直接全用fp16因?yàn)樵谀承?shù)值敏感的層fp16的精度不夠損失會(huì)變得不穩(wěn)定甚至出現(xiàn)梯度爆炸。推理階段則更激進(jìn)。訓(xùn)練好的模型權(quán)重從fp16量化到int8推理速度可以提升2到4倍顯存占用直接減半。代價(jià)是模型精度掉一點(diǎn)點(diǎn)通常在一個(gè)百分點(diǎn)以內(nèi)。如果你的業(yè)務(wù)對(duì)精度不是極度敏感int8量化幾乎是必選項(xiàng)。這也是為什么你在評(píng)估一塊AI芯片的算力時(shí)不能只看“峰值TFLOPS”一定要看清楚這個(gè)數(shù)值是在什么精度下測(cè)出來(lái)的。曾經(jīng)有廠商拿fp16的算力當(dāng)宣傳點(diǎn)實(shí)際推理場(chǎng)景里客戶用int8跑出來(lái)的性能完全對(duì)不上最后只能靠軟件工具鏈找補(bǔ)——這種坑我見(jiàn)過(guò)不少次。2.3 大語(yǔ)言模型到底吃掉多少算力說(shuō)到真武V900繞不開(kāi)它的核心應(yīng)用場(chǎng)景大語(yǔ)言模型。大模型對(duì)算力的需求可以用“貪婪”兩個(gè)字來(lái)形容無(wú)論是訓(xùn)練還是推理都是吞算力的巨獸。先看訓(xùn)練階段。訓(xùn)練一個(gè)LLM的計(jì)算量學(xué)術(shù)界有一個(gè)被廣泛使用的估算公式參數(shù)含義C ≈ 6×N×D總計(jì)算量FLOPsN是模型參數(shù)量D是訓(xùn)練tokens數(shù)6的來(lái)源前向計(jì)算2次FLOPs/參數(shù)反向計(jì)算4次FLOPs/參數(shù)舉個(gè)具體例子。訓(xùn)練一個(gè)7B參數(shù)量70億參數(shù)的模型數(shù)據(jù)量按2萬(wàn)億token來(lái)算C ≈ 6 × 7×10^9 × 2×10^13 8.4×10^23 FLOPs這什么概念用一張消費(fèi)級(jí)顯卡做參照——RTX 3090的fp16算力大約是35.6 TFLOPS3.56×10^13 FLOP/s。理論上這張卡需要跑8.4×10^23 ÷ 3.56×10^13 ≈ 2.36×10^10 秒 ≈ 749年當(dāng)然這是個(gè)極端不現(xiàn)實(shí)的數(shù)字因?yàn)橛?xùn)練消耗的功臣是集群并行的力量。但你可以由此看到?jīng)]有足夠的算力訓(xùn)練一個(gè)大模型在時(shí)間成本上是不可接受的。再看推理階段。推理又分成兩個(gè)階段prefill把用戶的提示詞整體計(jì)算一遍生成第一個(gè)token和decode逐token生成。前者是計(jì)算密集型的后者是訪存密集型的——模型權(quán)重要從顯存里反復(fù)讀取計(jì)算量反而不大。這個(gè)區(qū)別非常關(guān)鍵它意味著推理性能的好壞不只取決于芯片的峰值算力更取決于顯存帶寬和顯存容量。真武V900如果在大顯存和高帶寬上下功夫那它很可能就是在針對(duì)decode階段的痛點(diǎn)做優(yōu)化。理解了這些再看“算力約束下提升大語(yǔ)言模型能力的資源配置建模”這個(gè)熱搜話題就能明白它的核心矛盾算力是有限的模型能力是要提升的怎么在給定預(yù)算內(nèi)達(dá)到最好的效果這本質(zhì)上是一個(gè)資源配置的優(yōu)化問(wèn)題不是單純往模型里堆參數(shù)的問(wèn)題。3. 站在真武V900的角度看AI芯片設(shè)計(jì)3.1 推理芯片和訓(xùn)練芯片是完全不同的物種很多外行以為AI芯片就是AI芯片訓(xùn)練和推理用同一塊芯片就行。實(shí)際上這兩類芯片的設(shè)計(jì)哲學(xué)差異極大。訓(xùn)練芯片的核心訴求是高并行度、高精度的混合支持、大規(guī)模擴(kuò)展能力。訓(xùn)練過(guò)程是“長(zhǎng)時(shí)間、大體量、可容忍較高延遲”每一輪迭代都要計(jì)算幾十億參數(shù)需要上萬(wàn)張卡協(xié)同。所以訓(xùn)練芯片非??粗厮懔γ芏雀卟桓摺⒒ヂ?lián)帶寬夠不夠、顯存能不能撐住大batch。推理芯片的核心訴求則是低延遲、高吞吐、成本敏感。用戶點(diǎn)一下“生成”你要在幾百毫秒內(nèi)吐出第一個(gè)token后面每秒還要吐幾十個(gè)token同時(shí)單次推理的成本要壓到盡可能低。所以推理芯片非??粗亓炕С趾貌缓?、功耗高不高、單卡能并發(fā)服務(wù)多少路請(qǐng)求。真武V900的宣傳定位恰好是“訓(xùn)練推理”兩手抓。這乍一看有點(diǎn)像全能選手但我理解它其實(shí)是瞄準(zhǔn)了一類場(chǎng)景中小規(guī)模的微調(diào)和部署。這類客戶買(mǎi)不起上萬(wàn)張卡做超大規(guī)模訓(xùn)練但需要在自己能負(fù)擔(dān)的算力范圍內(nèi)完成模型的二次訓(xùn)練和線上推理。一塊卡既能微調(diào)又能跑推理對(duì)這類客戶來(lái)說(shuō)就是最實(shí)在的方案。這也是市場(chǎng)分化下的必然選擇。芯片行業(yè)不像軟件做出來(lái)一個(gè)版本就能覆蓋所有用戶。硬件產(chǎn)品的生命周期長(zhǎng)、生態(tài)綁定深一旦押錯(cuò)方向代價(jià)極大。真武V900這個(gè)“兩手抓”的定位實(shí)際上是一種風(fēng)險(xiǎn)對(duì)沖——不管市場(chǎng)需求偏向訓(xùn)練還是推理它都有牌可打。3.2 怎么對(duì)比一塊AI芯片我自己的評(píng)估框架廠商發(fā)布會(huì)上的參數(shù)看多了你會(huì)發(fā)現(xiàn)有些數(shù)字特別“能打”真拿貨回來(lái)一測(cè)往往不是那回事。我自己評(píng)估一塊AI芯片會(huì)按照下面這套框架來(lái)打分評(píng)估維度核心問(wèn)題為什么重要峰值算力不同精度下的算力各是多少有沒(méi)有虛標(biāo)但峰值決定上限不完全代表實(shí)際顯存容量與帶寬能不能裝下大模型權(quán)重喂數(shù)據(jù)喂得夠不夠快大模型推理的decode階段幾乎全靠帶寬互聯(lián)能力卡間通信帶寬、集群擴(kuò)展上限、網(wǎng)絡(luò)協(xié)議集群效率的決定性因素軟件生態(tài)編譯器、算子庫(kù)、推理引擎、分布式框架支持芯片是硬件生態(tài)是靈魂功耗與密度單卡功耗、機(jī)柜可放多少卡、散熱方案算力是買(mǎi)得起的電費(fèi)和機(jī)房是長(zhǎng)期賬單實(shí)際利用率跑主流模型時(shí)的MFU模型FLOPs利用率峰值算力再高用不上就是紙面富貴拿一張RTX 3090來(lái)做對(duì)照。它的fp16算力是35.6 TFLOPS顯存24GB顯存帶寬約936GB/s。這參數(shù)放今天的專業(yè)AI芯片面前其實(shí)已經(jīng)不算高——但它有個(gè)優(yōu)勢(shì)人人都熟悉生態(tài)成熟拿來(lái)估算算力需求特別方便。我經(jīng)常跟團(tuán)隊(duì)說(shuō)先不要盯著廠商最高端的那顆卡算賬先用一張消費(fèi)級(jí)卡把模型的顯存占用、推理吞吐量測(cè)出來(lái)再按比例推斷專業(yè)卡需要多少?gòu)?。這個(gè)方法比較粗糙但至少能讓你在談采購(gòu)預(yù)算的時(shí)候心中有個(gè)底。3.3 軟件生態(tài)才是真正的“算力”我必須把這句話放在前面沒(méi)有軟件生態(tài)的AI芯片只是一塊昂貴的石頭。芯片做出來(lái)最終要跑的是算子。矩陣乘法、卷積、注意力機(jī)制、LayerNorm……這些算子是否在你這顆芯片上有高性能實(shí)現(xiàn)直接決定了模型能不能跑得快。很多芯片的硬件指標(biāo)非常亮眼但軟件工具鏈不成熟跑一個(gè)Transformer模型算子一個(gè)一個(gè)自己手寫(xiě)優(yōu)化這個(gè)工程量大到幾乎不可能完成。軟件生態(tài)鏈條大致分成四層算子庫(kù)為芯片優(yōu)化好的常用計(jì)算函數(shù)集合這是最底層的地基。編譯器和圖優(yōu)化把PyTorch等框架的計(jì)算圖映射到芯片指令集做融合、剪枝、內(nèi)存規(guī)劃。分布式框架適配支持DeepSpeed、Megatron-LM等分布式訓(xùn)練方案的接入。上層推理引擎TensorRT、vLLM、SGLang這類推理框架能否直接調(diào)用決定你上線后能省多少力氣。真武V900既然定位在“跑大模型”那它至少要在前兩層站穩(wěn)并且對(duì)第三層和第四層的主流框架做出適配。這一點(diǎn)我從公開(kāi)信息里能看到平頭哥明顯加大了投入——甚至可以說(shuō)他們真正的野心不只是賣(mài)芯片而是構(gòu)建一整套“模型-算力-工具鏈”的閉環(huán)生態(tài)。4. 一顆芯片救不了算力集群才是真正的戰(zhàn)場(chǎng)4.1 當(dāng)前AI算力集群的基本構(gòu)成很多人覺(jué)得算力集群就是把幾千張卡插在機(jī)柜里連上網(wǎng)線。真實(shí)情況遠(yuǎn)比你想象的復(fù)雜。一個(gè)能穩(wěn)定訓(xùn)練大模型的計(jì)算集群至少包含五個(gè)部分。第一部分是計(jì)算節(jié)點(diǎn)。就是裝滿GPU或AI芯片的服務(wù)器這是算力的物理載體。第二部分是高速網(wǎng)絡(luò)。用于卡間通信和跨節(jié)點(diǎn)通信這是集群的“神經(jīng)系統(tǒng)”。第三部分是并行存儲(chǔ)系統(tǒng)。大模型訓(xùn)練要不停讀取訓(xùn)練數(shù)據(jù)、保存checkpoint存儲(chǔ)系統(tǒng)吞吐跟不上GPU就只能空轉(zhuǎn)等數(shù)據(jù)。第四部分是調(diào)度與資源管理系統(tǒng)。Kubernetes加專業(yè)調(diào)度器負(fù)責(zé)分配任務(wù)、排隊(duì)、監(jiān)控、故障轉(zhuǎn)移。第五部分是供電與散熱。這部分最容易被低估一個(gè)上千卡的集群功耗可以到數(shù)兆瓦級(jí)別沒(méi)有可靠的供電和液冷散熱硬件再好也跑不起來(lái)。五個(gè)部分里任何一個(gè)掉鏈子整體訓(xùn)練效率就會(huì)暴跌。特別是高速網(wǎng)絡(luò)和存儲(chǔ)這兩個(gè)是集群性能的隱形瓶頸——計(jì)算節(jié)點(diǎn)的算力再?gòu)?qiáng)數(shù)據(jù)通路堵塞了一切白搭。我見(jiàn)過(guò)一個(gè)教訓(xùn)某團(tuán)隊(duì)采購(gòu)了最新款A(yù)I芯片組了一個(gè)小集群結(jié)果因?yàn)榫W(wǎng)絡(luò)方案圖便宜用了普通以太網(wǎng)訓(xùn)練吞吐只達(dá)到預(yù)期的40%。后來(lái)?yè)Q了RDMA網(wǎng)絡(luò)算力利用率立刻提了上去。問(wèn)題不在芯片而在網(wǎng)絡(luò)。4.2 網(wǎng)絡(luò)是集群的命脈集群的通信方案里有幾種主流選擇它們的定位差異很大網(wǎng)絡(luò)方案典型帶寬適用場(chǎng)景一句話點(diǎn)評(píng)NVLink卡間900GB/s級(jí)別單節(jié)點(diǎn)內(nèi)多卡互聯(lián)快是快但只覆蓋機(jī)內(nèi)InfiniBand400Gbps起步跨節(jié)點(diǎn)通信超大規(guī)模訓(xùn)練專業(yè)、貴、穩(wěn)定RoCERDMA over Ethernet100/200/400Gbps數(shù)據(jù)中心大范圍部署性價(jià)比之選配置復(fù)雜普通以太網(wǎng)1/10/25/100Gbps數(shù)據(jù)管理、非計(jì)算通信便宜但別用于卡間通信模型并行方式不同對(duì)網(wǎng)絡(luò)的需求也不同。數(shù)據(jù)并行里每輪訓(xùn)練要做一個(gè)全量梯度同步網(wǎng)絡(luò)帶寬直接決定了通信時(shí)間占比張量并行則因?yàn)槊繉佑?jì)算都要切分和張量聚合對(duì)帶寬要求更高流水線并行的通信量相對(duì)沒(méi)那么大但延遲敏感。所以評(píng)估集群算力時(shí)有一個(gè)指標(biāo)值得關(guān)注通信擴(kuò)展效率。它在定義上是“加速比/卡數(shù)”。理想情況是加一張卡、性能增加一份1:1現(xiàn)實(shí)情況是卡越多通信開(kāi)銷(xiāo)占比越大加速比會(huì)從0.9一路掉到0.5甚至更低。這也是“分布式算力”這個(gè)熱詞背后的核心難題。分布式不是把卡接上就行你要在計(jì)算效率和通信開(kāi)銷(xiāo)之間找平衡。4.3 分布式算力的機(jī)遇與難題共享不是萬(wàn)能的“個(gè)人電腦共享算力出租”這個(gè)話題最近也很熱。方向確實(shí)是好方向互聯(lián)網(wǎng)上閑置的消費(fèi)級(jí)顯卡加在一起顯卡算力的確是個(gè)天文數(shù)字。但真要把這些分散的算力匯聚成一個(gè)能跑大模型訓(xùn)練的“超級(jí)集群”挑戰(zhàn)也很大。最現(xiàn)實(shí)的問(wèn)題是通信。大模型訓(xùn)練需要卡間頻繁交換數(shù)據(jù)普通家庭寬帶的延遲和帶寬跟數(shù)據(jù)中心的RDMA網(wǎng)絡(luò)差著幾個(gè)數(shù)量級(jí)??绻W(wǎng)做同步訓(xùn)練通信開(kāi)銷(xiāo)可能吃掉90%以上的時(shí)間還不如單機(jī)慢慢跑。另外閑置算力主機(jī)的可靠性也很頭疼——誰(shuí)家的電腦都有可能說(shuō)著說(shuō)著就關(guān)機(jī)了訓(xùn)練任務(wù)直接中斷。分布式算力更適合的場(chǎng)景是那些“可拆解”的任務(wù)比如批量推理、數(shù)據(jù)處理、渲染、超參數(shù)搜索這類并行度非常高、對(duì)節(jié)點(diǎn)間通信要求低的負(fù)載。那種數(shù)以千計(jì)獨(dú)立請(qǐng)求的推理任務(wù)分發(fā)到幾千臺(tái)閑置設(shè)備上做完全可行。但要把它們組織起來(lái)做一次大模型訓(xùn)練到目前為止性價(jià)比還不高。5. 怎么評(píng)估你需要的算力手算、建模與踩坑5.1 一個(gè)可落地的估算方法從模型參數(shù)量出發(fā)和“如何評(píng)估需要的算力”并列的熱詞不少但這個(gè)問(wèn)題是最實(shí)際的。我給大家一套自己常用的估算流程。第一步明確訓(xùn)練還是推理。兩者邏輯完全不同一個(gè)算的是總計(jì)算量一個(gè)算的是峰值并發(fā)和延遲。第二步確認(rèn)精度格式。以訓(xùn)練為例7B模型用fp16混合精度權(quán)重占用大概14GB優(yōu)化器狀態(tài)Adam大約需要權(quán)重參數(shù)的12倍字節(jié)也就是約84GB的顯存不對(duì)這里要更嚴(yán)謹(jǐn)?shù)厮阋幌?。fp16權(quán)重是2字節(jié)/參數(shù)7B就是14GB。Adam優(yōu)化器保存fp32的一階動(dòng)量、二階動(dòng)量和fp32的主權(quán)重備份一共是3×412字節(jié)/參數(shù)也就是84GB——光優(yōu)化器就遠(yuǎn)超單卡顯存。所以訓(xùn)練7B模型單卡24GB的RTX 3090連權(quán)重和優(yōu)化器都放不下必須用多卡切分。第三步估算卡時(shí)。假設(shè)訓(xùn)練一個(gè)7B模型2萬(wàn)億token要求30天內(nèi)完成那么算力公式是總FLOPs約8.4×10^23如果集群能達(dá)到40%的MFU平均需要8.4×10^23 ÷ 0.4 2.1×10^24 FLOP/s的總算力。一張RTX 3090 fp16算力約3.56×10^13 FLOP/s那需要大約2.1×10^24 ÷ 3.56×10^13 ÷ 30天 ÷ 86400秒/天 ≈ 22773張卡。看到?jīng)]要一個(gè)月訓(xùn)完幾乎要兩萬(wàn)多張消費(fèi)級(jí)卡——這就是為什么大廠都在囤專業(yè)AI芯片做集群。你不一定需要這么極端的規(guī)模。如果預(yù)算有限可以把訓(xùn)練周期放寬到90天需要的卡數(shù)就降到約7600張。或者縮小模型和數(shù)據(jù)規(guī)?!@也是很多團(tuán)隊(duì)的現(xiàn)實(shí)選擇。算力約束下做模型能力提升本質(zhì)就是在這個(gè)時(shí)間、成本、效果的多維空間里找一個(gè)可接受的折中點(diǎn)。5.2 算力約束下的資源配置建?!八懔s束下提升大語(yǔ)言模型能力的資源配置建?!边@個(gè)詞組翻譯成人話就是預(yù)算固定、卡數(shù)固定怎么安排才讓模型效果最好這里有一個(gè)樸素但極其重要的觀察在數(shù)據(jù)量一定的情況下模型越大數(shù)據(jù)被遍歷的“重復(fù)度”反而越低能學(xué)到的內(nèi)容就越有限。反過(guò)來(lái)小模型配大數(shù)據(jù)參數(shù)量不夠啥也學(xué)不會(huì)。所以好的資源配置建模核心是在“模型規(guī)?!焙汀皵?shù)據(jù)規(guī)?!敝g做聯(lián)調(diào)。我的建議很簡(jiǎn)單先用小卡跑一組小規(guī)模實(shí)驗(yàn)——比如拿1B或3B的小模型配上不同的訓(xùn)練數(shù)據(jù)量畫(huà)出一條“模型規(guī)模-數(shù)據(jù)量-loss曲線”。從中找到當(dāng)前算力約束下的拐點(diǎn)再據(jù)此推導(dǎo)目標(biāo)模型的最佳配置。很多團(tuán)隊(duì)上來(lái)就想直接訓(xùn)70B不看數(shù)據(jù)量是否匹配最后浪費(fèi)了大量預(yù)算效果還不如一個(gè)13B的模型。模型規(guī)模顯存需求估算fp16混合訓(xùn)練單卡24G可跑嗎部署建議7B約100GB含優(yōu)化器不可需多卡最少4卡微調(diào)量化后2卡可推理13B約200GB不可最少8卡微調(diào)量化后4卡可推理70B約1TB不可32卡起步訓(xùn)練8卡vLLM可推理這個(gè)模型里的核心變量還包括batch size和訓(xùn)練步數(shù)。算力有限時(shí)不能無(wú)腦調(diào)大批次——同樣的數(shù)據(jù)量下批次太大學(xué)習(xí)率調(diào)度會(huì)變得不穩(wěn)定。這也是資源配置建模的實(shí)際意義把數(shù)據(jù)和算力的關(guān)系量化核算找出最優(yōu)解。5.3 算力評(píng)估的四個(gè)常見(jiàn)誤區(qū)只看FP16峰值不看低精度實(shí)際收益。只看單卡性能不看集群互聯(lián)和調(diào)度效率。只看顯存大小不看顯存帶寬對(duì)decode階段的影響。只評(píng)估訓(xùn)練場(chǎng)景忽略推理上線后的成本曲線。這些坑我都踩過(guò)說(shuō)多了都是淚。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄6.1 AI算力場(chǎng)景常見(jiàn)問(wèn)題速查表我把工作中高頻遇到的問(wèn)題整理成了一張排查表希望你能用得上。現(xiàn)象可能原因排查方向解決經(jīng)驗(yàn)訓(xùn)練時(shí)顯存溢出batch過(guò)大/參數(shù)量超顯存查看模型內(nèi)存profiler先降batch再用梯度累積最后才考慮模型切分GPU利用率上不去數(shù)據(jù)加載太慢/算子未融合監(jiān)控?cái)?shù)據(jù)讀取耗時(shí)和kernel耗時(shí)換存儲(chǔ)方案或提前做數(shù)據(jù)預(yù)取很多問(wèn)題不在卡在IO多卡訓(xùn)練加速比越來(lái)越差通信瓶頸關(guān)注梯度同步耗時(shí)占比改用梯度壓縮或換更快的RDMA網(wǎng)絡(luò)推理響應(yīng)忽快忽慢并發(fā)抖動(dòng)/顯存碎片看吞吐延遲分位數(shù)用小batch惡意壓力測(cè)試不要只看均值int8量化后模型掉點(diǎn)嚴(yán)重敏感層不適合量化逐層分析量化誤差只量化注意力層保留一部分 layer 用fp16集群之間網(wǎng)絡(luò)丟包RaCE/以太網(wǎng)擁塞關(guān)注數(shù)據(jù)中心擁塞控制先把擁塞控制參數(shù)搞對(duì)再加帶寬6.2 一些踩過(guò)坑之后才懂的經(jīng)驗(yàn)對(duì)照這個(gè)排查表還有幾條經(jīng)驗(yàn)想重點(diǎn)強(qiáng)調(diào)。第一次先小規(guī)模驗(yàn)證再上集群。不要一上來(lái)就租幾百?gòu)埧ㄅ艽竽P?。先?到8張卡上把小規(guī)模實(shí)驗(yàn)跑通把吃顯存的結(jié)構(gòu)改好、把數(shù)據(jù)管線的預(yù)取做對(duì)再擴(kuò)展到大集群。代價(jià)小得多。第二次始終關(guān)注MFU這個(gè)指標(biāo)。MFU是模型FLOPs利用率。MFU到50%以上屬于優(yōu)秀30%左右是行業(yè)平均水平。如果訓(xùn)練時(shí)MFU低于20%大概率有嚴(yán)重瓶頸。這個(gè)指標(biāo)在網(wǎng)上很多監(jiān)控工具都有內(nèi)置。第三次集群資源別用到100%。訓(xùn)練集群里的調(diào)度系統(tǒng)會(huì)排隊(duì)、會(huì)搶占、會(huì)故障pod重啟。你把80%的配額當(dāng)成“滿載”來(lái)算剩下20%做緩沖和緊急容錯(cuò)。我見(jiàn)過(guò)太多團(tuán)隊(duì)把集群塞到99%利用率結(jié)果一個(gè)節(jié)點(diǎn)故障訓(xùn)練直接卡一個(gè)禮拜。第四次檢查固件驅(qū)動(dòng)版本。AI芯片訓(xùn)練特別吃驅(qū)動(dòng)和算子庫(kù)的版本一致性。集群里不同卡驅(qū)動(dòng)不同步輕則訓(xùn)練不穩(wěn)定重則直接宕機(jī)。部署前一定要先發(fā)一個(gè)“環(huán)境版本核對(duì)清單”提前做好環(huán)境一致性檢查。6.3 關(guān)于真武V900我的幾個(gè)觀察回到最開(kāi)始的話題。真武V900發(fā)布到底釋放了什么信號(hào)我的觀察是它代表了平頭哥從“推理專用”向“全棧算力”演進(jìn)的關(guān)鍵一步。我有三個(gè)判斷供大家參考第一大模型推理市場(chǎng)正在快速膨脹。訓(xùn)練是波段的生意推理是持續(xù)的生意。誰(shuí)在推理市場(chǎng)建立優(yōu)勢(shì)誰(shuí)的算力生態(tài)就有了穩(wěn)定的現(xiàn)金流。真武V900如果能在int8量化推理上有出色表現(xiàn)在成本敏感的推理市場(chǎng)里會(huì)有很強(qiáng)的競(jìng)爭(zhēng)力。第二能效比決定了芯片的長(zhǎng)期價(jià)值。電費(fèi)是數(shù)據(jù)中心最大的成本之一。兩塊算力相同的芯片能效比差一倍三年下來(lái)總擁有成本差出一個(gè)數(shù)量級(jí)。這塊芯片的能效比數(shù)據(jù)是它能否在市場(chǎng)上站住腳的關(guān)鍵指標(biāo)。第三集群導(dǎo)向的設(shè)計(jì)是AI芯片的勝負(fù)手。大模型時(shí)代單卡再?gòu)?qiáng)也撐不起一個(gè)模型。芯片的互聯(lián)方案、對(duì)分布式框架的支持、對(duì)集群調(diào)度的適配程度決定了它是否具備“改變行業(yè)算力格局”的潛力。我的看法是真武V900的真正看點(diǎn)不在于單芯片的參數(shù)爆表而在于它給出了一個(gè)關(guān)于“算力”的整體答案從訓(xùn)練到推理、從單卡到集群、從硬件到軟件生態(tài)的一體化設(shè)計(jì)思路??陀^說(shuō)這個(gè)思路并不容易成功涉及到工程管理、生態(tài)建設(shè)和市場(chǎng)教育的多重挑戰(zhàn)但方向是對(duì)的。算力從來(lái)不是一堆芯片的堆疊它是一個(gè)系統(tǒng)性的工程。如果你最近也在安排模型訓(xùn)練或者是推理上線的方案我建議你把真武V900放回到“算力系統(tǒng)”的視角里來(lái)評(píng)估不要只看它裸算力多少更要看它的顯存帶寬、互聯(lián)方案、軟件生態(tài)和能效比能不能融入你的集群體系。如果能在這些維度上匹配你的需求那它確實(shí)值得認(rèn)真考慮。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
啪啪日热| 五月婷婷开心色伊人| 中文字幕性爱丰满| 久久92| av在线婷婷| 99热18| 久久久这里有精品| 99久久婷婷国产综合精品电影| 九九热AV| 久久伊人婷婷| 大香av| 男人综合网| 97在线碰| 99色五月| 99这里只有精品视频| 超碰97在线操| 丁香六月婷婷综合麻豆| 色狠狠色| 综合激情伊人影视在线| 99精品久久久| 玖玖99精品视频| 丁香五月激情性色郤| 色色无码| 婷婷五月69| h亚洲| 超碰自拍天堂| 天天天摸夜夜夜玩| 日韩人妻AV在线| 五月伊人综合| 色色色五月婷婷| 99ri国产在线| 久9久9热久热| 99热精品观看| 偷偷操99| 国产激情在线| 五月99久久| 人操91在线| 丁香五月网| 五月丁香| 五月视频日本免费观看| CHINESE熟女老女人HD视频| 99热最新网址| 丁香婷婷深情五月亚洲| 金桔一区二区ab地址| 激情综合网五月| 九月大香蕉| 久久精品视频9| 欧美性生交XXXXX无码小说| 久久精品色| 婷婷色丁香五月| 综合五月丁香97| 人人人va亚洲视频在线| 色天使色综合| 九九久热| 欧美A A A A A| 狠狠干在线视频| 五月婷婷啪啪| 国产va在线视频| 婷婷五月天av| 色五月aV| 超碰在线观看三级片| 色青青五月| 激情第四色| 五月丁香网视频| 婷色五月| 久久婷婷六月天| 超碰免费成人| 日日爱678| 99热官网精品在线| 欧美婷婷六月丁香综合色连续高潮抽搐| www.99热在线观看| 亚洲综合婷婷| 丁香五月手机在线| 五月丁香综合激情在线观看| 第九色区av天堂| 五月婷婷六月激情在线| 韩国中文字幕91| 婷婷综合在线观看视频| www.韩日视频| 五月丁香五月综合欧美| 在线观看av网站| 日韩成人AV在线播放| 亚洲AV电影美洲AV电影| 99爱爱网| 國語久久婷| 99在线热| 天天爽在线视频| 激情婷婷六月天| 婷婷日在线观看| 伊人婷婷五月天| 婷婷丁香成人在线视频| 婷婷五月天VI| 亚洲男女激情| 五月丁香亭亭操逼| 天天插天天日| 思思99re这里只有| 丁香色情五月综合激情| 操逼六区| 99re这里只有精品9| 五月丁香六月激情| www色五月天| 久热视频97AV在线观看| 97性视频| 包操45分钟网站| 激情内射人妻1区2区3区| 五月丁香婷婷啪啪综合网| 久久视9精| 国产精品五月天婷婷| 俺去婷婷 丁香| 天天日天天插| 99色色爰| 日本女色人人| 深爱五月婷婷| 久久caop| 丁香激情综合| 久久婷婷综合网| 九九热免费视频| 插少妇综合网| 99久久精品亚洲综合| 97人人操| 婷婷舔| 一本婷婷丁香久久| 91丨九色丨熟女| 色五月婷婷基地| 99热97| 5月丁香六月情| 亚洲视频码| 9九色首页| 91丨九色丨大屁股| 色婷丁香91| 狠狠干无码| 午夜激情综合| 亚洲性爱AV在线| 五月天色婷婷激情| 激情五月天色色| 欧美电影在线观看| 天天色视频| 激情综合色| 亚洲亚洲人成综合网络| 色五月激情综合| 日本精品在线噜噜噜| 丰满老熟妇BBBBB搡BBB| 99视频只有精品| 五月天丁香六月综合| 亚洲精品V天堂中文字幕| 婷婷五月av| 99九九精品| 中字幕视频在线永久在线观看免费 | 七月丁香五月婷婷在线| 亚洲黄色精品| 五月丁香六月情婷婷久久| 亚洲激情| www.色五月| 久狠日av| 综合久久久| 亚洲精品无AMM毛片| 欧美黄色AA片哗啦啦啦| 99久久丝| 888久久久| 五月婷婷六月丁香综合在线| www.成人婷婷综合| 在线va网站| 老司机视频lsj爱就色| 色噜噜狠狠色综合网| 99热国内| 久久综合伊人77777蜜臀| 丁香六月啪啪| 九九性爱网| 天天爽天天爽天天爽天天爽天天爽| 日韩在线看AV| 国产亚洲99久久精品| 99re热久久| 大香蕉婷婷五月| 风流少妇A片一区二区蜜桃| 五月丁香六月婷婷网| 丁香五月婷婷深五月| 99热都是精品| 五月色婷婷激情| www久久艹| 亚洲V国产V欧美V久久久久久| 色五月激情网| 另类小说五月天综合网| 99操碰| 综合狠久久| 日本久热| 婷婷开心五月| 久青青久| 久久免费操| 婷婷五月天天| 99色综合| 九九色色网| 狠色色狠网| 色天天综合天天综合频道。| 久热9热| 天天干一干| 久久九九@| 激情五月天色婷婷综合| 五月色亭丁香| 69色婷婷| 第四色色六月色综合| 激情深爱五月天| 夜夜爽天天干| 狠狠色狠狠色综合日日91| 91ncm视频| 婷婷最新地址| 亚洲成人网站在线观看| 亚洲av综合网| 狠狠的日| dingxiangtingtingliuyue| 婷婷五月天AV网| 丁香五月成人丝袜| 丁香综合日产精品久久| 激情网五月天| 丁香五月天啪啪| 夜夜夜夜夜操| 亚洲综合婷婷五月| 深情六月婷婷综合久久| 色娸娸综合网| 五月天六月丁香| 丁香婷婷色五月| 99人碰碰碰| 97人人干视频| 第四色在线观看| 热九九精品| 丁香五月手机在线| 99热99热不卡| www.五月婷婷久久.com| www.狠狠操.co m| 99在线视频资源| 91VIP在线观看| 无码人妻AV久久久一区二区三区| 狠狠穞A片一區二區三區| 亚洲99在线| 五月停停激情网| 婷婷五月天亚洲天堂| 伊人久久婷| 第1影院之五月婷婷| 五月婷婷色欲| 午夜性做爰电影| 亚洲操操| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 久久五月天免费网站| 99热在线观看| 国产精品涩涩涩视频网站| 夜夜撸天天操| 婷婷在线视频| 99在线观看| 久超超碰| 中文字幕丰满人妻无码专区| 五月天婷婷小说| 新激情五月天色播| 色色婷婷综合网| 天天干,噜噜色,狠狠色| 激情综合五月色在线| 九九久久精品| 欧美天天草人人草| 久久66er久久| 美女亚洲五月丁香| 热99视频精品| 日韩激情婷婷五月天| 狠狠色五月激情| 色色五月丁香| 五月婷俺去也| 国产xxxxx在线观看| 黄网在线播放| 五月丁香激情啪啪| 亚洲小视频免费播放| -91九色大屁股| 99免费在线视频| 亚洲国产另类av| 91美女啪啪| 人妻免费网站| 婷婷影视久久| 国产女人十八水真多1| 丁香五月瑟瑟| 91大神在线免费看视频全集男男一起操| 色色999三级片| ai97re99一本| 亚洲视频在线网| 中文字幕成人版| 97碰碰久久| 日本激情综合| 色色综合五月| 国产综合久久久777777| 日韩黄色电影| 99操久久| 色久婷婷五月| 久色成人| 久色中文| 五月天成人小说网| 久久精彩视频| 亚洲色碰| 色婷婷久久| 久久性视频| 九九热视频在线观看| 五月丁香影视| 五月激情四射网站| 97性高潮久久久| 色色色色色综合| 色情五月婷| 91男同| 开心婷婷中文字慕| 五月丁香六月婷婷免费| 婷婷狠狠五月综合| 丁香五月婷老师| 天天色综合图片| 狠色色狠网| 日日爱激情| 久久久免费精彩视频| 天堂综合久| AAA久久久| 欧美成人A片AAA片在线播放| 色综合天天| 成人无码髙潮喷水A片| 九月丁香八月婷婷加勒比| 草榴成人影片| 久热99热| 99在线精品观看99| 激情亚洲色图片丁香综合| 亚洲男人的天堂婷婷色五月| 99精品亚洲| 婷婷色片| 人妻久久久久久| 九九在线视频| 激情五月婷婷老师| 亚洲热久| AV色五月婷婷| 久久久人人人妻丝丝丝| 狠狠色成人影片| 色播播五月天| 五月丁香影院| 人碰人人人玩91| 综合五月丁香97| 婷婷天堂综合| 69婷婷丁香午夜| 色深爱五月| 久久五月天网| 婷婷色导航| 老妇六区| 亚洲99在线| 婷婷激情九月| 五月天婷婷丁香花| 久久久无码精品成人A片小说| 91狠狠综合久久| 九九视频在线观看视频6 | 超碰2021| 久久婷婷色情7777网站| 另类婷婷丁香| 激情五月天色播| 五月天伊人综合| 色色操| 五月刺激丁香月综合| 狠狠色丁香久久| 婷婷免费精品视频| 婷婷丁香五月在线播放| 丁香五月五月婷婷| 六月婷综合| 五月天丁香成人社| WWW五月天| 日本五月婷婷| 欧美操人| 日韩大片艹艹| 深爱女色婷婷丁香五月亚洲图区| 五月天婷婷婷| 天天干天干| 爱婷婷都市激情| 亚洲无码99| 色婷网站| 在线另类| 99精品视频免费| 丁香五月天啪啪| 色.五月综合网| 国产日韩av片| 色 五月婷婷基地| 亚洲六月色婷婷| 97人人干| 免费亚洲成人电影AV| 99久久黄色顶级视频| 五月色色激情网| 丁香婷婷色五月激情综合| 激情网 久久| 插逼综合网| 五月丁香999| 天天综合网站| 婷婷不干网| 久青操| 久久99热这里只有精品首| 五月婷婷自拍| 色欲天天综合网| 六月丁香AV| 成人看片网站| 深爱综合网| 五月丁香影视| 大香蕉伊人99| 深夜A片| 五月开心久久| 丁香激情五月| 六月丁香激情最新更新| 久久网日本| 丁香花综合永久入口| 婷婷天堂综合| 色亭亭五月天丁香综合AV - 百度 - 百度| 中文字幕日产A片在线看| 色五月中文字幕| 五月天成人伊人| 六月婷婷av| 色综合99无码| 欧美日韓成人亚洲精品另类| 久久久99久久| 婷婷五月精品中文| 婷婷色五月色妇| 欧美日韩999| VA婷婷| 五月丁激情| 色色色婷婷五月天| av在线观看网址| 天天操天天爽天天爱| 超碰99热精品| 九九精品系列| 六月婷婷激情小说网| 久久99热这里只有精品| 久热99热| 色五月色五天免费视频| 四川BBB搡BBB搡多人乱亂| 婷婷成人AV| 激情综合丁| 色9999日韩国产| 99爱99操| 激情深爱五月天| 碰碰碰97国产| 五月天婷婷激情干干| 久久激情网| 久久精品五月| 99热这里只有精品18| 777精品久无码人妻蜜桃| 97操操操| 色婷婷88| 91精产一区三区免费观看| 五月开心深深爱激情综合| 久久er99热精品一区二区| 久热大香蕉| 激情五月天婷婷| 婷婷五月综合中文字幕| 五月天成人手机在线视频| 色五月婷婷五月| 91porn一起草| 天天天天干| 啪啪五月婷婷| 婷婷丁香五另类网站| 99热在线精品观看| 中文字幕人妻在线| 久久人人九| 超碰人人操人人9| 综合五月天婷婷色| 大香焦啪啪啪| 色视五月天婷婷| 九九亚洲视频| 深爱五月激情网| 99亚洲天堂| 涩综合网| 丁香五月婷婷色情综合| 日本成人综合| 91凹凸在线| 日韩美女在线视频19| 激情五月丁香六月| 奇米四色五月天| 另类综合网| 中文字幕婷婷9月天| 色色99色色| 国产成人亚洲综合A∨婷婷| 丁香花五月天激情| 色碰碰视频| 精品成人在线观看| 激情久久久久久| 久久九九国产| 五月狠狠| 99热99久久| 久久精品99久久久久久| 91九色小视频| 日韩人妻在线观看| 激情久久五月天| 色色五月天丁香| 九九热99免费视频| 久久久久久97| 天天操加勒比| 99综合| 久久女婷| 色99在线| 激情综合五月.....| 青草青草视频2免费观看| 中文字幕丰满乱孑伦无码专区| 久久伊人大香蕉| 五月丁香啪啪网| 大香蕉啪啪| 97资源碰碰| 久久综合丁香激情五月| 天天日天天做天天舔| 亚洲无码99| 狠狠干天天内射| 色色热| 婷婷五月天,影院| 99ree6| 五月婷婷激情中心| 超碰在线资源| 国产精品色色| 丁香五月婷婷激情网| 伊人久久艹| 99re这里只有精品9| 99综合视频| 天天综合久久| 亚洲深喉aV| 日日夜夜爽爽| 大香婷婷| 色婷操逼| 99热无码精品| 婷婷五月丁香综合网| 欧美成人精品老美女噜噜噜| 四季AV综合网| aa久久| 99色激| 亚洲精品字幕在线观看| 开心激情久久久久久久| 五月婷婷久久爱| 九九热最新| 五月丁香无码| www.久久| 五月天色裸体视频| 伊人婷婷五月天av| 26uuu精品国产| 成人色色综合| 五月丁香婷婷激情图片| 99这里只有精品| 婷婷无码视频| 性做久久久久久久免费看| 丁香六月激情蜜桃| 久久五月天激情婷婷| 久久婷婷国产| 九九热这里有精品23| 欧美综合激情| 五月丁香激情综合久久| 九九青青草成人| 久热免费视频| 这里只有免费精品| 九月激情综合婷婷| 99热亚洲| 欧美久久婷婷| 9久久婷婷国产综合精品性色| 久久五月天综合| 开心五月色婷| 久久久27操| 欧美久热| 精久久色| 久久艹99| 成熟妇人A片免费看网站| 99在线精品视频免费观看20| 91vip在线观看| 乱岳熟女50岁| 99热亚洲| 99热精品10| 五月丁香激情综合网官网| 日本啪啪网| 五月丁香好婷婷姑娘综合网| 香蕉中文在线| 亚洲va成人va成人va在线观看| 伊人色综在线| 91综合色| 搡BBBB搡BBB搡五十| 色久丁香五| 嫩草AV久久伊人妇女超级A| 超碰天堂网| 操操人人| 五月婷婷色影院| 久久人妻熟女一区二区| 99久久精品国产色欲| 激情五月天在线观看色婷婷| 狠狠色婷婷综合开心影视| 午夜激情婷婷| 五月丁香婷婷啪啪综合网| 日韩啪啪自拍| 婷婷五月天成人网| 天天操夜夜爽歪歪| 99视频这里只有免费精品| 婷婷不卡基地| 另类视频五月天| 97五月天婷婷午夜| 久热AⅤ| 国产激情视频在线观看| 99热精品在这里| 久久之人妻| 婷婷六久久| 激情五月天在线视频| 丁香婷在线| 91玖玖| 国产熟妇乱子伦hd| 狠狠久久婷五月| 久久98热re| 夫妇交换刺激做爰| 久久婷婷网| 婷婷丁香五月天狠狠| 六月丁香啪啪啪| 99精品久久久久久| 婷婷在线播放| 99热这里都是精品| 26uuu激情五月天| 99在线资源| 最近韩国日本免费高清观看| 婷婷射图| 久久色这里只有精品| 伊人丁香六月婷婷| 99亚洲精美视频在线观看| 丰满老熟妇BBBBB搡BBB| 变态另类9| 丁香五月激情图片| 婷婷色婷婷亚洲成人| 激情淫乱男女| 日韩成人无码| 综合色五月| 无码 色| 十月丁香婷婷| 五月丁香婷婷基地| 97人妻碰碰碰碰碰久久久久久| 国产日比| 久久婷婷网站| 这里只有免费精品| 少妇久久诱惑视频| 婷婷五月69| 成人免费高清在线播放| 狠狠色丁香乆乆| 激情五月婷婷五月| 99热久草| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 婷婷综合精品| 激情网五月婷婷| 99热9| 久操97| 国产在线网址1| 欧美99| 色五月色五天色情网| 色视频五月天| 丁香五月色情| 成人欧美一区二区三区在线观看 | 91超碰人人操| 性综合网| 五月丁香淫淫婷婷婷| tingtingzonghewang| 思思99热这里只有精品| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 久久这里只有精品视频15| 丁香色婷婷| 婷婷激情六月综合| 狠狠人人婷婷| 婷婷丁香在线播放| 丁香婷五月| 天天舔夜夜操www com| 热久久91| 亚洲免费在线观看岛国| www.lchjjc.com| 农村熟妇高潮精品A片| 久久久精品人妻| 久草性爱| 操操自拍| 天天爱天天狠天天透| 啪啪六月婷婷| 无码激情精品色婷婷久久久久| 久久这里只有精品5| 秋霞日本免费毛片A片| 97ai婷婷| 免费观看日韩成人av| 婷婷狠狠干| 亚洲精品V天堂中文字幕| 色色色欧美| 色五月欧美| 婷婷在线免费| 婷婷精品在线| 久久网日本| www,天天干| 日本五月天一页| 99色免费视频| 夜夜操天天爽| 亚州操操| 97干在线播放| www.色9| 中文字幕丰满人妻无码专区| 99久久97久久欧美综合网| 99丁香五月婷婷在线| 九热视频免费观看| 一区二区aV电影免费看| 激情婷婷黄色五月| 大香蕉啪啪啪啪啪啪| 99热官网精品在线| 婷婷激情四射五月天| Y11111111111少妇电影院| 另类国产欧美视频| 久久婷婷色综合老司机| 99久久五月婷婷| 92久操视频| 99久久高清视频| 热99一二三| 色婷婷性爱| 国产99久9在线| 婷婷五月中文字幕| 五月丁香自拍| 高清不卡一区| 人妻性操逼中文字幕 国产| 色五月激情视频在线综合| 五月婷婷大香蕉| 色色日韩| 天天舔天天摸天天射| 婷婷色播综合五月| 婷婷成人五月天一区| 久久这里有精品99| 激情五月www| 久久这里都是精品| 99国产精品久久久久久久久久久 | 好叼操在线观看| 五月婷无码| 69久热| 亚洲秘 无码一区二区三区妃光/1| 日韩美女羞羞网站在线观看| 91肏| 日本一级一级一级一级| av婷婷丁香 六月| 六月婷伊人| 色色色色色色97| 国产午夜一区二区三区| 噜噜狠狠色综合久| 婷婷永久在线| 色五月婷婷色| 超碰在线观看三级片| 狠狠狠狠青草| 97热这里精品在线视频| 五月香婷婷| 婷婷九月激情| 色播婷婷五月天| 一级片sese片.COM| 日韩抽插操逼| 狠狠色精品综合| 六月丁香VA| 久久在这里99| 久热久| 婷婷色五月大香蕉在线| 九热视频免费观看| 欧美成人日韩| www.婷婷| 久久亚洲精品成人无码网站导航| 99久久99热这里只有精品| 播四月婷婷六月丁香| 欧美Va婷色| 色色亚洲视频| 99re欧美精品| 国产操肏网站| 看黄的网站18禁| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 九玖视频这里只有精品| 99热这里精| 婷婷五月草| 97操操| 图片区 小说区 区 亚洲五月| 极品嫩草| 婷婷精品在线| 丁香花五月天| 人人干av| 天天影院色| 激情五月婷婷综合秋霞| 欧美久人人| 五月天激情黄色小说在线观看| 五月情婷婷五月| 丁香狠狠色婷婷久久无码视频| 九九精品99| 粉嫩AV久久一区二区三区| 激情骚五月| www色色色com| 婷婷五月天综合蜜桃| 久久综合人妻| 欧美这里只有精品| 美女被操一区二区| 婷婷99中文字幕| 日日婷婷不卡| 99热这里| 少妇出轨做爰高潮A片| 久草丁香婷婷五月天婷| 激情另类综合| 激情五月天电影| 99久在线精品99re8热| 欧美槡BBBB槡BBB少妇| 狠狠色狠狠操| 超碰免费人人肏| 日本色道视频网站| 人人草人人爱手机视频看看| 91色在线/日韩| 桃色成人网| 久久99精品久久久久久噜噜| 狠狠色婷婷丁香六月| 欧美日韩成人高清在线| 亚洲国产精品SUV| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 五月婷中文字幕| 6080av| 91超级碰在线视频| 成人无码免费一区二区中文| www.五月天色色.com| 人人爽人人爽人人爽人人爽| 九热视频在线精品15| 99热热热99精品婷婷| 国产成人高清| 五月天激情婷婷丁香| 色六月婷婷| AA片在线观看视频在线播放| 欧美天堂久久| 影音先锋人妻出差| 丁香五月电影| www狠狠爱com| 亚洲综合网区| 99热这里只有精品免费| 少妇AB又爽又紧无码网站| 色五月欧美| 人人爽人人爽人人爽人人爽| 久久九区| 91n网站cad入口在线观看| 开心五月天私房婷婷| 色色色综合网| 淫五月停停| 久碰久操| 这里精品| 国产欧美精品AAAAAA片| 人妻AV在线观看| 日本操逼九九九九58日本操逼| 在线观看的av| 久9草在线观看视频| 激情婷婷色小说| 九月av| 日韩一级淫乱片一区二区三区| 26uuu视频欧美| 另类综合色| 六月婷婷毛片| 九九99在线观看视频| 天天做天天爱| 婷婷五月丁香第四色超碰在线| 久久久五月天| 婷婷五月天视频免费在线观看| 色狠狠色综合久久久绯色aⅴ影视| 免费黄色片子| 婷婷情爱五月天6| 来吧亚洲综合网| 亚洲成人AV高清字幕| 91日韩在线| 丁香婷婷性久久| 亚洲传媒在线观看| 久久久久综合激动五月天| 婷婷综合色色| 991自拍视频| 97深爱伊人综合| 亚洲五月花| 色婷婷色九月| 激情六月综合| 大香蕉AV电影在线| 色色色综合视频| 色爱综合网| 九色在线观看91av| 五月天影院| 精品亚洲国产成AV人片传媒| 日日噜人人人做人| 97资源欧美日韩大香蕉超碰一区| 青青999| renre人人操国产超碰在线| 九九婷婷网五月天| 亚欧州精品视频| 五月天最新网| 中文AV网站| 五月色丁香国产在线视频| 99免费在线视频| 亚洲成人在线免费| 色五月激情| 色婷婷影| 免费观看的婷婷五月视频在线| 色婷婷五月天av在线| 亚洲第一色色色色| 综合色播| 91精品久久久久久| 日韩欧洲亚洲| 国产操B视频| 婷婷六月综合基地| 国产黄色av| 亭亭五月色男人| 任你弄在线视频免费| 99热在线99| 色色亚洲| 丁香五月天导航| 天天日,天天插| 99热播放| 久热大香蕉| 9操在线| 久99久视频| 欧美色99| 97人人做| www99在线观看视频| 色婷婷瘦婷婷日韩| 五月天婷婷乱论小说| www.一起草av| 婷婷成人五月天成人文学小说| 97碰碰叉| 五月天婷爱综合| 成人免费120分钟啪啪| 5月丁香婷婷| 五月丁香在线| 久久最新色色色| 激情五月天视频| 日本熟女视频一区二区| 亚洲综合婷婷| 成人做爰A片免费看网站找不到了| 五月婷婷色综图片| 国产精品国产成人国产三级| 丁香婷婷综合精品六月初| 五月天六月色| 婷婷激情伍月网| 九九激情综合| 色五月首页| 亚州色色色| 激情婷婷丁香五月天小说| 中文字幕 中文字幕明步| 开心五月六月婷婷| 婷婷五月天小说| 丁香六月AV| 天天爽夜夜操| 五月丁香六月婷婷综合在线| 99激情在线| 我爱大香蕉| 五月婷婷之综合激情| 丁香九月综合| 少妇性按摩无码中文A片 | 91九九九九九九| 亚洲成人黄色网| wwww.9免费视频| 亚洲色99| 婷婷七月丁香色色| 午夜天堂啪啪| 99视频这里只有免费精品| 久草热在线视频| 免費亭亭成人| 欧美成人在线观看| 久久视频在线| 国产色99| 九九亚洲| 人人妻人人澡| 99久热这里只有精品| 丁香五月婷婷性爱| 字幕网AV中文字幕| 婷婷王月天影院| 婷婷丁香五月91| 91超碰人人操| 99这里只有免费的精品| av一级棒av| 久热这里只有精品视频免费观看| sewuyuetingtingiii| 九九热精品| 高清视频一区| 99色婷婷| av免费人人| 97国产精品女人碰碰| 狠狠色丁香婷婷久久综合| 91超碰人人操| 少妇性按摩无码中文A片| 久热这里只有精品66| 涩涩激情五月婷婷| 热99在线精品| 九九色色网| 99九九久久| 国产精品色一哟哟| 永久热91| 可以看的AV| 五月丁香激情综合欧美| 五月丁香婷婷综合网色欲| 97干网站| 高清无码.com| 五月天久久色| 操一操干一干| 99热最新| 久久人妻伊人| 99久久.www| 天天操无码| 亚洲婷婷月丁香五月| 老美AA片| 99视频精品全部观看10| 二色AV| 久久丁香| 国产精品热搜丁香五月婷婷| 成人五月天丁香| 五月综合色| 热的无码综合视频| 色色丁香五月| 欧美日韩91| 五月色婷婷AV| 97人人看一| 99精品色| 淫荡综合网| 五月丁香综合在线| 中文字幕人妻熟女在线| 99色免费观看全部| 婷婷五月亚洲综合| 五月开心播播网| 天天色天天操天天射| 欧美噜噜噜草| 色九四色| 99啪| www.日韩艹| 97碰碰视频| 久久香蕉影院| 久久机热这里只有精品| 琪琪色五月天| 99热精品在线在线| 婷婷色五月在线视频| 啪啪一区| 亚洲传媒在线观看| 国产午夜一区二区三区| 五月婷婷激清网| www.精品99| 搡BBBB搡BBB搡五十| 成人在线视频一区| 99 频99热国里只有精品| 婷婷久久天堂网| 色色性爱视频| 新伍月婷婷| 色色综合网站| 婷婷新网址| 丁香在线视频| 色噜噜狠狠色综合日日| 国产亚洲99| 性爱网六月丁香| 91丨九色丨东北熟女| 99er6热在线观看精品6| www,色婷婷| 五月天久久色| 日韩在线观看亚洲| 日本特黄aaaaa| 99啪啪网| 成人综合视频网址| 五月丁香琪琪| 五月丁香六月婷婷婷婷| 另类视频综合| 色9999综合久久| 啪啪啪综合网| 丁香六月婷婷综合啪啪| 久久色频| 影音先锋天天日| 国产真实乱了老女人视频| 99婷婷国产最新视频| 日日懆天天懆| 久久九九99| 人妻中文字幕网| 人人操av| AV在线大香蕉| 婷婷精品性性性性性性性| 激情综合网丁香| 婷婷综合在线视频| 免费无码毛片一区二区A片| 婷婷色五天| 婷婷五月天成人影片| A片试看50分钟做受视频| 玖玖午夜视频| 玖玖福利视频资源| 无码se| 婷婷伊人75| 操B无码视频国语| 丁香五月六月综合激情| 狠狠摸狠狠摸| 狠狠色无码| 99热日本| 婷婷色在线播放| 五月伊人91| 色婷婷在线视频| 激情五月色婷婷| 五月婷婷伊人在线| 九九热只有这里是精品| 免费啪啪亚州视频| 欧美偷偷操| av中文在线| 超碰在线观看9| 婷婷综合色播网| 婷婷五月免费观看| 久久9久| 成人免费视频一区| 极品人妻VIDEOSSS人妻| 99久久99九九99九九九| 五月丁香六月欧美综合网站| 欧美色小说婷婷| 欧美婷婷丁香五月社区| 综合网网欲色| 五月天开心色色网| 亚洲成人综合在线| 五月丁香花视频| 五月天久久综合婷婷丁香| 色五月aV| 亚洲sesesese| 97人操人免费视频| 久久99免费视屏| 亚洲网站观看视频| 99热精品在线播放| 色五月综合激情| 色丁香五月婷婷| 综合九九| 九九热视频免费| 婷婷色香六月综合激情| 天天色综和网| 激情九九六月激情免费视频| 天天肏视奸| 江苏少妇性BBB搡BBB爽爽爽 | 国产精品噜噜在线视频| 97人人射| 九九婷婷综合| www99xxxx五月丁| 99久久九九视频| 丁香六月激情综合| 亚洲婷婷免费| www.99热精品| 深爱激情丁香| 五月 婷婷 成人| 深爱五月天天| 亚洲色婷婷99一9|| 99小精品| 99热九九这里只有精品| 丁香五月激情啪| 五月婷婷综合影院| 99色免费在线观看| 亚洲一级 片内射网站在线观看| 无码免费人妻A片AAA毛片西瓜| 色五月综合| 亚洲热综合| 91狠狠综合久久久| 麻豆雪千夏| 丁香六月激情综合| 色五月综合激情| 色婷婷色久综| 深爱激情九九五月天 | 久久婷.com| 精品网站:999WWW| 欧美色色色色色色| 性色天| 五月婷婷六月丁香五月| 99亚洲精品视频| 五月丁香六月婷婷久久| 精品久久久久久久久久久久人妻| 五月丁香WWW| 97丁香五月天| 婷婷五月天伊人在线| 色综合婷婷| 日韩黄色电影| 五月丁香色婷婷色| 3p久久| 91日日日| 国产色网站| 91人人超碰在线| 天天操无码| 日韩99视频| www99久久| 第四色激情网| 日本九九九九| 99激情网| 成人操呦av| 亚州欧美国产久精国产99综合视频| 狠狠88综合久久久久噜噜噜| A一级操| 开心深爱五月天| 激情综合五月激情XXXX| 涩涩五月天综合| 天天免费成年人视频| 六月丁香深深爱| 精品皮股午夜AV| 涩涩涩.com| 色吧五月婷婷| 久久久噜噜噜久久人妻| 天天爱天天狠天天透| 亚洲成人中心| 91se在线视频| 99热网站| 精品乱码久久久久| 午夜一区| 91 九色大美女| 老师的粉嫩小又紧水又多A片视频| 中字幕视频在线永久在线观看免费 | 午夜爱爱爱成人| 另类国产综合| 这里只有精彩视| 99热99热在线| 激情 婷婷| www.99久| 亚洲精品国产setv| 激情综合网五月婷婷| 97婷婷色| 久久99热网| 有码一区二区三区| 91xxxx九色| 丁香五月综合婷婷| 久久婷婷激情五月天一区二区| 五月丁香拍拍激情综合| 中出内射的人妻视频| 婷婷五月天激情基地| 五月天久久成人| 日日做夜夜爱| 五月成人综合| 99成人| 婷婷六月啪啪| 亚洲亚洲人成综合网络| 五月精品99综合| 秋霞AV美国| www久| 综合色五月天| 婷婷五月色综合| 五月天开心婷婷激情网站| 色色丁香婷婷综合| 天天舔天天爽| 五月美女婷婷风骚| 五月天伊人久久| 超碰99久久| 怡红院院在线导航网| 99.色| 天天综合网在线| 人人摸人人搞| 欧美韩国日本| 亚洲精品九九| 天天搡日日搡aaaaⅩ| 五月天色婷伊人| 亚洲成人噜噜| 婷婷欧美综合| 婷婷五月天成人网| 九九色插| 人妻激情视频| 99色综合网| 狠狠操性爱av| 丁香久久综合| 日本色色色| 在线亚洲综合网| 久久五月网| 免費亭亭成人| 五月激情久久综合网| 五月激情婷婷综合| 99热这里只有精| 色婷婷丁香AV综合| 伊人九九综合| 亚洲激情淫网| 久久99性爱| 九九久久99| 色色色激情网| 色人久夂| 久久欧洲久久| 久久这里只有国产视频| 操日视频| 天天操天天插| 久久久免费图片视频| 婷婷操逼| 噜噜噜精品欧美成人在线观看| 久久92| 亚洲精品白浆高清久久久久久| 97超碰在线观看免费| aaa丁香五月天| 五月天俺去也| 激情性爱五月天| 日韩青青| 五月色婷婷影院| 思思色综合网站| 综合XX网| 嫩草AV久久伊人妇女超级A| bukadeavzaixian| 天天日天天狠狠操| 可以看的AV网站| 人妻久久久| 亚洲Av成人在线观看|