欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

AI原生基礎(chǔ)設(shè)施實(shí)戰(zhàn):GPU算力調(diào)度與推理服務(wù)優(yōu)化

AI原生基礎(chǔ)設(shè)施實(shí)戰(zhàn):GPU算力調(diào)度與推理服務(wù)優(yōu)化 今天正式加入 Dynamia 密瓜智能以后很長(zhǎng)一段時(shí)間我都會(huì)泡在 AI 原生基礎(chǔ)設(shè)施這條線(xiàn)上。熟悉我的朋友都知道過(guò)去幾年我主要做分布式系統(tǒng)和云原生架構(gòu)接過(guò)不少訓(xùn)練平臺(tái)、推理服務(wù)的活但這次不是換個(gè)公司繼續(xù)干老本行而是要把“基礎(chǔ)設(shè)施”這個(gè)東西重新拆開(kāi)站在 AI 的視角再組裝一遍。這篇文章就當(dāng)我的開(kāi)工筆記把決定加入前后的思考、對(duì) AI 原生基礎(chǔ)設(shè)施的理解以及最近實(shí)操踩出來(lái)的經(jīng)驗(yàn)一并寫(xiě)清楚。如果你也在做模型訓(xùn)練、推理服務(wù)或者正在幫團(tuán)隊(duì)搭 GPU 算力平臺(tái)這篇文章應(yīng)該能給你一些參考。哪怕你現(xiàn)在只是剛接觸大模型只要搞明白“算力、存儲(chǔ)、網(wǎng)絡(luò)、調(diào)度、服務(wù)”這幾件事怎么協(xié)作后面看任何 AI Infra 相關(guān)的方案都會(huì)輕松很多。1. 為什么我從“跑模型”轉(zhuǎn)到“AI 原生基礎(chǔ)設(shè)施”先說(shuō)結(jié)論傳統(tǒng)云原生基礎(chǔ)設(shè)施解決的是“應(yīng)用怎么跑得穩(wěn)”AI 原生基礎(chǔ)設(shè)施解決的是“模型怎么跑得快、跑得省、跑得起”。這倆看起來(lái)都是基礎(chǔ)設(shè)施但底層邏輯完全不同。我過(guò)去搭過(guò)不少 Kubernetes 集群也幫團(tuán)隊(duì)做過(guò)微服務(wù)改造。那時(shí)候的核心關(guān)注點(diǎn)是容器的生命周期、配置管理、服務(wù)發(fā)現(xiàn)、彈性伸縮。一個(gè)典型場(chǎng)景是用戶(hù)請(qǐng)求量漲了HPA 自動(dòng)把 Pod 從 3 個(gè)擴(kuò)到 10 個(gè)流量降了再縮回來(lái)。這套體系放在 Web 服務(wù)上非常成熟OpenTelemetry、Prometheus、Ingress Controller 一套組合拳打下來(lái)基本能覆蓋 90% 的運(yùn)維需求。但放到 AI 場(chǎng)景里這套邏輯立刻露餡Web 請(qǐng)求是無(wú)狀態(tài)的模型推理請(qǐng)求是有狀態(tài)的。一個(gè)模型加載到顯存里可能要幾十秒甚至幾分鐘Pod 副本數(shù)隨便擴(kuò)容沒(méi)有任何問(wèn)題但模型副本不能隨便擴(kuò)顯存不夠就是不夠GPU 卡不插上去就不存在。Web 流量高峰可以排隊(duì)推理請(qǐng)求排隊(duì)需要額外管理。用戶(hù)可等不了一個(gè)整 Batch 慢慢湊延遲敏感業(yè)務(wù)對(duì) P99 的要求近乎苛刻。Web 資源可以按 CPU/內(nèi)存配額切分GPU 資源的切分顆粒度又貴又粗顯存、算力、帶寬彼此還會(huì)互相影響。換句話(huà)說(shuō)云原生基礎(chǔ)設(shè)施是“以容器為中心”AI 原生基礎(chǔ)設(shè)施是“以模型和 GPU 為中心”。倒不是說(shuō) K8s 在 AI 場(chǎng)景沒(méi)用而是光靠 K8s 那一套遠(yuǎn)遠(yuǎn)不夠你得在它上面重新設(shè)計(jì)一層面向模型、面向計(jì)算資源、面向數(shù)據(jù)流的邏輯。1.1 AI 原生基礎(chǔ)設(shè)施到底和“云原生 GPU”差在哪很多團(tuán)隊(duì)以為在 K8s 里加上 GPU 節(jié)點(diǎn)就能做 AI 平臺(tái)其實(shí)差距挺大的。我做了一張對(duì)照表能比較清楚地看到兩者的差異維度云原生基礎(chǔ)設(shè)施AI 原生基礎(chǔ)設(shè)施調(diào)度對(duì)象容器 / PodGPU 資源、顯存、模型副本彈性單位實(shí)例副本數(shù)批量推理任務(wù)、動(dòng)態(tài) Batch、顯存配額故障恢復(fù)重啟容器重新加載權(quán)重、檢查點(diǎn)恢復(fù)、斷點(diǎn)續(xù)訓(xùn)存儲(chǔ)需求低延遲熱數(shù)據(jù) 返回?cái)?shù)據(jù)超大模型文件、Checkpoint、數(shù)據(jù)集多渠道讀寫(xiě)網(wǎng)絡(luò)瓶頸微服務(wù)調(diào)用梯度同步、KV Cache 傳輸、分布式推理成本敏感點(diǎn)實(shí)例單價(jià) / 并發(fā)GPU 利用率、排隊(duì)等待、混合任務(wù)調(diào)度這也解釋了為什么現(xiàn)在大家開(kāi)始反復(fù)提“AI 原生”而不是簡(jiǎn)單說(shuō)“在 K8s 上跑 AI”。前者是從頭按 AI 工作負(fù)載的形狀來(lái)設(shè)計(jì)基礎(chǔ)設(shè)施后者只是把 AI 工作負(fù)載硬塞進(jìn)原有的基礎(chǔ)設(shè)施。1.2 這個(gè)賽道解決什么問(wèn)題加入 Dynamia 密瓜智能之前我和團(tuán)隊(duì)聊過(guò)幾次最終真正說(shuō)服我的不是 PPT是三個(gè)具體問(wèn)題第一算力利用率太難看。很多公司的 GPU 集群平均利用率不到 30%。訓(xùn)練任務(wù)白天跑推理服務(wù)晚上高峰中間還有大量碎片時(shí)間。把訓(xùn)練和推理放在同一個(gè)池子里動(dòng)態(tài)調(diào)度聽(tīng)上去簡(jiǎn)單做起來(lái)涉及 GPU 共享、顯存隔離、搶占策略每一步都是硬骨頭。第二大模型推理的延遲瓶頸。模型越來(lái)越大顯存放不下得做量化、蒸餾、分布式推理。推理框架選型、動(dòng)態(tài) Batch 調(diào)參、前置網(wǎng)關(guān)怎么做直接影響用戶(hù)體驗(yàn)和成本。第三數(shù)據(jù)流轉(zhuǎn)效率。訓(xùn)練前期要讀海量數(shù)據(jù)集訓(xùn)練過(guò)程中要高頻寫(xiě) Checkpoint訓(xùn)練完又要發(fā)布模型到推理集群。整個(gè)鏈條上如果存儲(chǔ)和緩存設(shè)計(jì)不合理GPU 再快也在等數(shù)據(jù)時(shí)干燒電。這三個(gè)問(wèn)題背后其實(shí)是同一個(gè)核心把 GPU 當(dāng)成一種需要精細(xì)調(diào)度的稀缺資源而不是可以隨便鋪的普通服務(wù)器。這也是 Dynamia 密瓜智能想做透的事。2. 一套 AI 原生基礎(chǔ)設(shè)施的“最小五件套”如果你也要從零搭一套 AI 原生基礎(chǔ)設(shè)施我的建議是先別急著上各種高級(jí)組件而是把下面五層搞清楚。這五層是一個(gè)可運(yùn)行的最小骨架之后所有平臺(tái)能力都是在這五層之上逐步長(zhǎng)出來(lái)的。2.1 算力層GPU 節(jié)點(diǎn)選型與配置算力層很容易被理解成“買(mǎi)卡就行”實(shí)際遠(yuǎn)不止。GPU 節(jié)點(diǎn)配置要同時(shí)考慮三件事GPU 型號(hào)、CPU/內(nèi)存配比、互聯(lián)拓?fù)?。GPU 型號(hào)直接決定了你能跑多大的模型。以常見(jiàn)的單卡顯存為例一張卡 80GB 和一張卡 24GB 能承載的模型規(guī)模差非常多。顯存不夠就得做模型并行或者切分這會(huì)引入額外的通信開(kāi)銷(xiāo)所以很多時(shí)候?qū)幙蛇x大顯存卡。CPU/內(nèi)存配比容易被忽略。數(shù)據(jù)預(yù)處理、Tokenize、動(dòng)態(tài) Batch、Python 運(yùn)行時(shí)這些都會(huì)吃 CPU 和內(nèi)存如果節(jié)點(diǎn)里 CPU 核數(shù)太少GPU 會(huì)經(jīng)??盏葦?shù)據(jù)。我見(jiàn)過(guò)一個(gè)實(shí)例數(shù)據(jù)管道沒(méi)做好GPU 利用率只有 40%CPU 卻 100% 跑滿(mǎn)典型的一核有難、八核圍觀?;ヂ?lián)拓?fù)涓P(guān)鍵。多卡訓(xùn)練時(shí)卡與卡之間的通信帶寬直接決定了訓(xùn)練效率。NVLink 和普通 PCIe 的帶寬差距可能是數(shù)量級(jí)的。選機(jī)器的時(shí)候我建議問(wèn)清楚卡間互聯(lián)方式別光看卡數(shù)。至少要讓同一臺(tái)機(jī)器上的跨卡通信走高速互聯(lián)跨機(jī)通信再另外規(guī)劃 RDMA 或高性能網(wǎng)絡(luò)。2.2 存儲(chǔ)層模型倉(cāng)庫(kù)、數(shù)據(jù)集與檢查點(diǎn)AI 場(chǎng)景的存儲(chǔ)需求和普通業(yè)務(wù)完全不同。一個(gè)模型權(quán)重文件動(dòng)輒幾十 GBCheckpoint 可能要寫(xiě)幾百 GB數(shù)據(jù)集又是大量小文件加少量超大文件混合。這時(shí)候很難用單一存儲(chǔ)方案通吃。我的建議是分層處理訓(xùn)練數(shù)據(jù)用并行文件系統(tǒng)或者高性能對(duì)象存儲(chǔ)核心指標(biāo)是高吞吐和大并發(fā)能扛住成百上千個(gè)數(shù)據(jù)加載進(jìn)程同時(shí)讀。模型文件用對(duì)象存儲(chǔ) 本地緩存。推理節(jié)點(diǎn)啟動(dòng)時(shí)先從對(duì)象存儲(chǔ)拉權(quán)重但每次都拉一遍顯然不現(xiàn)實(shí)所以節(jié)點(diǎn)上要有本地緩存層最好再配合模型預(yù)熱機(jī)制。Checkpoint 寫(xiě)入用高帶寬并行存儲(chǔ)并且要有版本管理。訓(xùn)練崩了要能快速回滾到最近一次健康狀態(tài)而不是從頭再來(lái)。存儲(chǔ)層最怕的是“看起來(lái)能存實(shí)際一壓就垮”。很多團(tuán)隊(duì)一開(kāi)始圖省事用了常規(guī)文件存儲(chǔ)結(jié)果并行訓(xùn)練一開(kāi)存儲(chǔ)帶寬直接被打滿(mǎn)訓(xùn)練速度反而被存儲(chǔ)拖慢。這一塊不能省。2.3 網(wǎng)絡(luò)層分布式訓(xùn)練與推理的隱形命脈模型規(guī)模一大單卡、單機(jī)都裝不下分布式是必然選擇。分布式訓(xùn)練里最核心的通信模式是 AllReduce每一輪梯度同步都需要所有節(jié)點(diǎn)互相傳數(shù)據(jù)這種通信對(duì)帶寬和延遲極其敏感。普通以太網(wǎng)下幾百?gòu)埧ㄒ黄鹜介_(kāi)銷(xiāo)會(huì)迅速吃掉訓(xùn)練收益。所以 AI 原生基礎(chǔ)設(shè)施的網(wǎng)絡(luò)設(shè)計(jì)重點(diǎn)不是對(duì)外提供多少帶寬而是內(nèi)部東西向流量的延遲和吞吐。RDMA 技術(shù)已經(jīng)是分布式訓(xùn)練場(chǎng)景的事實(shí)標(biāo)準(zhǔn)。當(dāng)然不是說(shuō)沒(méi)有 RDMA 就跑不了分布式訓(xùn)練而是規(guī)模上來(lái)之后這是繞不開(kāi)的性能分水嶺。推理側(cè)的網(wǎng)絡(luò)壓力也開(kāi)始變大。現(xiàn)在很多團(tuán)隊(duì)做 Prefill 和 Decode 分離把 Prefill 階段的中間結(jié)果通過(guò)高速網(wǎng)絡(luò)傳給 Decode 節(jié)點(diǎn)跨機(jī)傳輸?shù)臄?shù)據(jù)量比傳統(tǒng)請(qǐng)求大很多網(wǎng)絡(luò)設(shè)計(jì)必須提前考慮。2.4 調(diào)度與編排層誰(shuí)來(lái)決定這塊 GPU 給誰(shuí)用我在加入前最看重的就是這一層。沒(méi)有調(diào)度所有 GPU 資源就是一堆散落的算力談不上平臺(tái)。調(diào)度層首先要感知 GPU 資源。節(jié)點(diǎn)上有幾張卡、多少顯存空閑、是否已經(jīng)跑著任務(wù)都要能實(shí)時(shí)掌握。不能只看節(jié)點(diǎn)剩余 CPU 和內(nèi)存因?yàn)閮蓚€(gè)節(jié)點(diǎn)即使 CPU 相同GPU 型號(hào)不同能跑的任務(wù)也完全不同。其次要支持多級(jí)調(diào)度策略。訓(xùn)練任務(wù)通常跑得久、資源需求大推理任務(wù)需要快速響應(yīng)、延遲敏感。這兩種任務(wù)混在同一個(gè)集群里需要一個(gè)能區(qū)分優(yōu)先級(jí)、能搶占、能排隊(duì)的調(diào)度器。比如高峰期的交互式推理請(qǐng)求應(yīng)該優(yōu)先離線(xiàn)批量訓(xùn)練可以排后。最后還要處理 GPU 共享和顯存隔離。一張卡上跑多個(gè)推理任務(wù)可以大幅提升利用率但顯存配額的硬隔離必須到位否則一個(gè)任務(wù)超顯存會(huì)把同卡上的其他任務(wù)一起打掛。2.5 接入層模型服務(wù)與推理網(wǎng)關(guān)模型訓(xùn)練得再好最終要通過(guò)服務(wù)暴露出去才有價(jià)值。接入層是用戶(hù)第一眼看到的東西也是延遲和成本控制的關(guān)鍵戰(zhàn)場(chǎng)。我比較推薦的模式是“模型服務(wù)引擎 推理網(wǎng)關(guān)”兩層。模型服務(wù)引擎負(fù)責(zé)真正加載模型、執(zhí)行推理常見(jiàn)的有 vLLM、Triton 這類(lèi)框架它們內(nèi)部已經(jīng)做了 PagedAttention、動(dòng)態(tài) Batch 等優(yōu)化。推理網(wǎng)關(guān)則負(fù)責(zé)請(qǐng)求路由、鑒權(quán)、限流、排隊(duì)、超時(shí)管理相當(dāng)于模型世界的 API Gateway。兩層分離的好處是引擎可以專(zhuān)注性能優(yōu)化網(wǎng)關(guān)可以專(zhuān)注接入邏輯。以后模型版本迭代比如從 7B 換到 13B只需要在網(wǎng)關(guān)層調(diào)整路由規(guī)則不需要改動(dòng)整體接入鏈路。另外推理網(wǎng)關(guān)還承擔(dān)流控職責(zé)防止突發(fā)流量把模型服務(wù)打爆。3. 落地過(guò)程中的關(guān)鍵設(shè)計(jì)我偏向的四個(gè)選擇有了最小五件套的骨架接下來(lái)就是更細(xì)的設(shè)計(jì)選擇。這些選擇沒(méi)有絕對(duì)的對(duì)錯(cuò)更多是結(jié)合業(yè)務(wù)形態(tài)做取舍。我這里把自己認(rèn)為值得參考的四個(gè)決策點(diǎn)寫(xiě)出來(lái)。3.1 訓(xùn)練和推理共用集群而不是物理隔離很多團(tuán)隊(duì)習(xí)慣把訓(xùn)練集群和推理集群分開(kāi)管理簡(jiǎn)單但資源利用率很低。白天推理業(yè)務(wù)少的時(shí)候GPU 閑置著晚上訓(xùn)練任務(wù)跑完算力又空著。分開(kāi)部署兩邊都在浪費(fèi)。我偏好的做法是訓(xùn)練推理共用同一個(gè)資源池但用調(diào)度策略區(qū)分優(yōu)先級(jí)。交互式推理請(qǐng)求優(yōu)先級(jí)最高可以搶占低優(yōu)先級(jí)離線(xiàn)訓(xùn)練任務(wù)離線(xiàn)訓(xùn)練任務(wù)則把資源利用的空窗填滿(mǎn)。這個(gè)設(shè)計(jì)對(duì)調(diào)度器的要求高但收益也很直接同樣的 GPU 總量月產(chǎn)出至少多出兩成。3.2 GPU 共享用顯存硬隔離不用裸跑裸占一張 80GB 的卡如果只跑一個(gè)大模型內(nèi)存利用率太難看。我很看好 GPU 共享的方向但實(shí)現(xiàn)方式必須講究。硬件層面的 MIG 或者虛擬化方案能做到比較強(qiáng)的隔離一張卡切幾個(gè)實(shí)例互不干擾。軟件層面的時(shí)間切片能提升利用率但隔離性弱一個(gè)任務(wù)的異常容易殃及同卡鄰居。我的習(xí)慣是在生產(chǎn)環(huán)境用硬件級(jí)隔離或容器級(jí)顯存限制寧可單卡利用率低一點(diǎn)也要保證故障隔離和安全邊界。測(cè)試環(huán)境可以放開(kāi)時(shí)間切片怎么壓都行。3.3 推理請(qǐng)求先排隊(duì)再動(dòng)態(tài) Batch動(dòng)態(tài) Batch 能大幅提升推理吞吐。原理很簡(jiǎn)單把短時(shí)間內(nèi)的多個(gè)請(qǐng)求攢在一起湊成一個(gè) Batch 喂給模型利用 GPU 的并行計(jì)算能力同時(shí)處理多個(gè)請(qǐng)求代價(jià)是第一個(gè)請(qǐng)求會(huì)稍微多等一會(huì)。這里的關(guān)鍵參數(shù)是 Batch 窗口。窗口太短攢不住請(qǐng)求Batch 效果不明顯窗口太長(zhǎng)延遲飆升用戶(hù)體驗(yàn)崩掉。我一般會(huì)從 20ms 起步調(diào)觀察 P99 延遲和吞吐曲線(xiàn)找到剪刀差最小的點(diǎn)。另一個(gè)調(diào)整方向是優(yōu)先聚合同類(lèi)請(qǐng)求讓同一個(gè) Batch 內(nèi)部模型保持一致避免不同模型來(lái)回切換導(dǎo)致緩存失效。3.4 模型發(fā)布要可回滾版本要可追溯模型上線(xiàn)之后不是萬(wàn)事大吉。線(xiàn)上效果變差、數(shù)據(jù)分布漂移、推理結(jié)果異常都需要快速回滾到之前的版本。所以模型倉(cāng)庫(kù)里的每個(gè)模型都要有版本號(hào)、訓(xùn)練日志、評(píng)估指標(biāo)發(fā)布時(shí)要走灰度流程。灰度推理是我比較強(qiáng)調(diào)的環(huán)節(jié)。先切 5% 流量到新模型觀察反饋確認(rèn)沒(méi)問(wèn)題再逐步放量。一旦異常指標(biāo)出現(xiàn)網(wǎng)關(guān)層要能立刻切回舊版本。這個(gè)流程依賴(lài)模型網(wǎng)關(guān)的路由能力所以 2.5 里我特意強(qiáng)調(diào)網(wǎng)關(guān)的重要性。4. 從零跑通一個(gè) AI 推理服務(wù)的實(shí)操記錄理論說(shuō)了不少上點(diǎn)實(shí)操。最近我在 Dynamia 密瓜智能的測(cè)試環(huán)境里搭了一套最小推理服務(wù)從裸機(jī)到能調(diào)通接口大致花了一個(gè)下午。把過(guò)程寫(xiě)下來(lái)給你一個(gè)可以照著做的模板。4.1 環(huán)境準(zhǔn)備驅(qū)動(dòng)、容器運(yùn)行時(shí)、GPU 識(shí)別正常步驟是先裝 GPU 驅(qū)動(dòng)再裝容器運(yùn)行時(shí)最后讓 K8s 識(shí)別到 GPU 資源。如果只是單機(jī)驗(yàn)證可以用 Docker 直接跑但生產(chǎn)環(huán)境建議還是走 K8s。這里重點(diǎn)檢查一件事容器里能不能看到 GPU。很多坑都出在驅(qū)動(dòng)版本和容器運(yùn)行時(shí)版本不匹配上。驗(yàn)證命令很簡(jiǎn)單跑一個(gè)帶 GPU 的測(cè)試容器執(zhí)行nvidia-smi能看到卡信息基本就通了。注意驅(qū)動(dòng)裝完別忘了重啟節(jié)點(diǎn)。很多人漏了這一步結(jié)果nvidia-smi在宿主機(jī)上正常容器里怎么都看不到卡。4.2 部署模型服務(wù)引擎我這次用的是 vLLM 來(lái)加載模型。先拉一個(gè)精簡(jiǎn)模型做起驗(yàn)證配置核心參數(shù)時(shí)給兩點(diǎn)建議max-model-len不要設(shè)置太大。很多人喜歡把上下文窗口開(kāi)滿(mǎn)實(shí)測(cè)下來(lái)顯存占用會(huì)明顯上升如果業(yè)務(wù)很少用到超長(zhǎng)輸入設(shè)一個(gè)合理的值更經(jīng)濟(jì)。gpu-memory-utilization一般設(shè) 0.85 到 0.9。別設(shè)到 0.95 以上顯存接近滿(mǎn)載時(shí)碎片化問(wèn)題會(huì)直接影響并發(fā)能力和穩(wěn)定性。模型服務(wù)引擎的啟動(dòng)命令大概長(zhǎng)這樣python -m vllm.entrypoints.openai.api_server \ --model /data/models/qwen2-7b-instruct \ --served-model-name qwen2-7b \ --max-model-len 8192 \ --gpu-memory-utilization 0.9 \ --port 8000啟動(dòng)成功后可以用一個(gè)最簡(jiǎn)單的請(qǐng)求驗(yàn)證curl http://127.0.0.1:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: qwen2-7b, messages: [{role: user, content: 你好}] }能正常返回說(shuō)明模型服務(wù)引擎已經(jīng)通了。4.3 加一層網(wǎng)關(guān)做路由和限流單機(jī)驗(yàn)證沒(méi)問(wèn)題接生產(chǎn)還需要在前面加網(wǎng)關(guān)。網(wǎng)關(guān)要處理的事情包括請(qǐng)求路由到正確的模型服務(wù)、接口鑒權(quán)、Token 限流、排隊(duì)超時(shí)等。這層我用的是比較通用的方案Kong 或者 APISIX 都可以。關(guān)鍵是配置路由規(guī)則把/v1/chat/completions的請(qǐng)求轉(zhuǎn)發(fā)到 vLLM 的 8000 端口并給每個(gè)調(diào)用方配好 QPS 上限。網(wǎng)關(guān)層我額外加了兩個(gè)參數(shù)連接超時(shí)和讀超時(shí)。模型推理比較慢超時(shí)設(shè)太短會(huì)誤殺正常請(qǐng)求設(shè)太長(zhǎng)又會(huì)讓異常請(qǐng)求長(zhǎng)期占據(jù)連接。我會(huì)把默認(rèn)讀超時(shí)設(shè)成 120 秒因?yàn)殚L(zhǎng)文本生成的耗時(shí)確實(shí)可能到分鐘級(jí)。最大排隊(duì)數(shù)。超出排隊(duì)上限直接返回 429 錯(cuò)誤避免雪崩效應(yīng)。這樣做之后調(diào)用方拿到的是一套穩(wěn)定的 API后端模型是哪個(gè)、要不要擴(kuò)容調(diào)用方完全不用關(guān)心。4.4 壓測(cè)與指標(biāo)觀察服務(wù)起來(lái)之后一定要壓測(cè)別直接上生產(chǎn)。我用的壓測(cè)工具是簡(jiǎn)單的 locust 腳本構(gòu)造一批并發(fā)請(qǐng)求同時(shí)盯四個(gè)指標(biāo)QPS、TTFT首 Token 延遲、Token 生成速率、GPU 利用率。第一輪壓測(cè)我通常會(huì)把并發(fā)從 1 逐步加到 50觀察延遲曲線(xiàn)。如果 QPS 不再線(xiàn)性增長(zhǎng)說(shuō)明系統(tǒng)進(jìn)入瓶頸區(qū)再壓下去只會(huì)讓延遲劇增。這個(gè)瓶頸點(diǎn)的數(shù)據(jù)就是后續(xù)做容量評(píng)估和成本預(yù)估的依據(jù)。壓測(cè)結(jié)果出來(lái)后我會(huì)回到 3.3 提到的動(dòng)態(tài) Batch 參數(shù)重新調(diào) Batch 窗口和并發(fā)限制。實(shí)測(cè)下來(lái)調(diào)優(yōu)后 QPS 翻倍是很常見(jiàn)的事。5. 最近踩過(guò)的三個(gè)真實(shí)坑再來(lái)點(diǎn)更接地氣的。下面的問(wèn)題都是我在實(shí)操中真實(shí)遇到過(guò)的網(wǎng)上資料不太會(huì)這么集中地寫(xiě)我整理出來(lái)給同行參考。5.1 GPU 顯存泄漏服務(wù)越跑越慢現(xiàn)象模型服務(wù)剛啟動(dòng)時(shí)延遲很好跑兩三天后延遲逐漸變高最后 OOM 崩潰。排查過(guò)程先看進(jìn)程內(nèi)存和顯存占用發(fā)現(xiàn)顯存使用率持續(xù)走高。再用 Nvidia 的調(diào)試工具抓 CUDA 緩存狀態(tài)確認(rèn)是部分請(qǐng)求結(jié)束后沒(méi)有正確釋放顯存。常見(jiàn)誘因是自定義模型邏輯里創(chuàng)建了 CUDA 張量但沒(méi)有顯式清理或者某些庫(kù)版本存在內(nèi)存碎片問(wèn)題。結(jié)論顯存泄漏問(wèn)題很難完全避免但可以通過(guò)定期滾動(dòng)重啟來(lái)止血更治本的做法是升級(jí)推理框架版本并確保模型代碼里的臨時(shí)張量都走with torch.cuda.device這類(lèi)規(guī)范寫(xiě)法。注意上線(xiàn)前壓測(cè)不要只壓 10 分鐘至少要壓幾個(gè)小時(shí)甚至幾天才能暴露出泄漏問(wèn)題。很多人就是栽在短壓測(cè)看起來(lái)一切正常。5.2 高峰時(shí)段請(qǐng)求排隊(duì)過(guò)深P99 延遲爆炸現(xiàn)象業(yè)務(wù)高峰期 P99 延遲從 300ms 飆到 5 秒甚至出現(xiàn)調(diào)用超時(shí)。排查過(guò)程檢查網(wǎng)關(guān)日志發(fā)現(xiàn)高峰期排隊(duì)數(shù)非常大模型服務(wù)的 Batch 窗口又過(guò)長(zhǎng)導(dǎo)致大量請(qǐng)求堆在等待隊(duì)列里。再往下查真實(shí)原因是模型副本數(shù)不夠GPU 資源上限到了加排隊(duì)只是把問(wèn)題從“超時(shí)”變成長(zhǎng)尾。結(jié)論合理的做法是高峰期自動(dòng)擴(kuò)容模型副本并設(shè)置最大排隊(duì)深度拒絕掉一些可接受的流量。不能只顧著保護(hù)后端無(wú)限制地堆積請(qǐng)求這樣會(huì)把所有用戶(hù)的體驗(yàn)都拖差。5.3 多租戶(hù)任務(wù)互相干擾一個(gè)任務(wù)寫(xiě)爆共享目錄現(xiàn)象同一個(gè)訓(xùn)練集群里兩個(gè)團(tuán)隊(duì)跑任務(wù)其中一個(gè)瘋狂寫(xiě)臨時(shí)文件把共享存儲(chǔ)打滿(mǎn)導(dǎo)致另一個(gè)團(tuán)隊(duì)的 Checkpoint 寫(xiě)不進(jìn)去。排查過(guò)程查存儲(chǔ)看是單個(gè)大文件占空間還是一堆小文件占 inode。這次更隱蔽單個(gè)文件不大但數(shù)量幾百萬(wàn)個(gè)把共享目錄的 inode 打滿(mǎn)了。結(jié)論租戶(hù)隔離不只是算力隔離存儲(chǔ)配額和文件數(shù)限制也要做。我后來(lái)給每個(gè)租戶(hù)單獨(dú)目錄設(shè)置容量配額和文件數(shù)配額并對(duì)臨時(shí)文件做自動(dòng)清理策略問(wèn)題才徹底解決。癥狀可能原因解決辦法顯存持續(xù)上漲最終 OOM推理框架顯存泄漏未釋放緩存升級(jí)框架版本規(guī)范臨時(shí)張量清理定期滾動(dòng)重啟P99 延遲飆升隊(duì)列堆積過(guò)深模型副本不足擴(kuò)容副本設(shè)置最大排隊(duì)數(shù)和超時(shí)策略共享目錄空間或 inode 打滿(mǎn)租戶(hù)任務(wù)寫(xiě)臨時(shí)文件無(wú)節(jié)制配置容量配額、文件數(shù)配額、自動(dòng)清理請(qǐng)求偶發(fā)返回 500 或超時(shí)模型加載中壓測(cè)后冷啟動(dòng)問(wèn)題增加模型預(yù)熱機(jī)制用就緒探針控制流量多卡訓(xùn)練速度上不去卡間通信走普通 PCIe帶寬不足改高速互聯(lián)優(yōu)化數(shù)據(jù)并行和梯度同步策略6. 我對(duì)接下來(lái)的方向判斷加入 Dynamia 密瓜智能之后我把未來(lái)一段時(shí)間的工作重點(diǎn)分成三個(gè)階段。第一個(gè)階段是把現(xiàn)有集群的利用率打上去通過(guò)細(xì)粒度的調(diào)度和副本管理先把空閑 GPU 盤(pán)活。第二個(gè)階段是把推理服務(wù)標(biāo)準(zhǔn)化給業(yè)務(wù)方提供一致的接入體驗(yàn)內(nèi)部模型怎么部署、怎么灰度、怎么回滾都做成標(biāo)準(zhǔn)流程。第三個(gè)階段是更長(zhǎng)期的事情做訓(xùn)練推理一體化的資源編排讓一個(gè)資源池能同時(shí)支撐訓(xùn)練和推理的復(fù)雜混合負(fù)載。這三個(gè)階段里我對(duì)第三個(gè)階段最感興趣。很多人覺(jué)得訓(xùn)練和推理是兩個(gè)系統(tǒng)訓(xùn)練平臺(tái)管分布式任務(wù)推理平臺(tái)管在線(xiàn)服務(wù)。但它們的底層資源明明是同一批 GPU。如果能把檢查點(diǎn)恢復(fù)、模型預(yù)熱、動(dòng)態(tài)擴(kuò)容這些能力整合到一個(gè)系統(tǒng)里AI 團(tuán)隊(duì)從開(kāi)發(fā)到上線(xiàn)再到迭代的效率會(huì)提升一個(gè)大的臺(tái)階。老實(shí)說(shuō)這個(gè)方向沒(méi)人敢說(shuō)完全做透了??ㄅc卡之間的調(diào)度、顯存與算力的隔離、存儲(chǔ)與網(wǎng)絡(luò)的配合每一個(gè)環(huán)節(jié)都有大量?jī)?yōu)化空間。正因?yàn)槿绱诉@件事才值得認(rèn)真做。這幾個(gè)月我自己最大的體會(huì)是AI 原生基礎(chǔ)設(shè)施不是買(mǎi)一堆卡然后寫(xiě)個(gè) Kubernetes 部署文件那么簡(jiǎn)單它更像把算力當(dāng)成一門(mén)生意來(lái)精細(xì)化運(yùn)營(yíng)。每一塊 GPU 的利用率、每一次推理的延遲、每一個(gè)任務(wù)的排隊(duì)時(shí)間最后都會(huì)變成實(shí)實(shí)在在的成本和用戶(hù)體驗(yàn)。這個(gè)項(xiàng)目后續(xù)我能延展的東西還很多后面有新的進(jìn)展或者踩到新坑再回來(lái)寫(xiě)文章繼續(xù)跟大家聊。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色婷婷小说网| 99久在线精品| 亚洲精品视频在线播放| 日本天天色| 日日撸天天干| 五月婷婷九| 97AV在线视频| 狠狠操天天操天天操| 春色激情| 久久久ww| 久热最新视频| 五月天久久网站| 99热精品在线| av人人操| 激情综合网址| 午夜无码熟熟妇丰满人妻| 丁香五月六月婷婷殴美综合| 伊人9草在线观看| 日韩性视频| anquye伊人| 亚洲色无码A片一区二区麻豆| 亚洲欧美另类在线23p| 98永久精品| 人人操五月天| 99re最新地址| 亚洲色碰| 91啦丨九色丨刺激中文| 99无码黄色视频| 五月婷婷色男女| 久久全意婷婷| 久久久91| 丁香五月六月婷婷综合激情| 2022人人操人人看| 极品人妻XXXXOOOO| 99ri精品在线| 激情综合网,婷婷五月天| 色丁香五月婷婷综合久久| 91色综合网| 色婷婷成人在线| 青青草原爱爱网| 成人在线日韩| 99色色色色| 91干在线| 激情色五月天| 五月婷丁香| 岛国av网| 亚洲视频二区| 97人碰人操| 久久最新色| 秋霞三级影视资源| av激情在线| 九九在线视频| 欧美乱码国产一级A片| Av狠狠色丁香婷| 久久综合综合综合| 久久99热这里只频精品6学生| 日日爱699| 色综合丁香| 无码人妻丰满熟妇奶水区码| 9色在线视频| 欧洲激情五月天| www.综合久久.com| www.婷婷com| 欧美视频五区| 六月婷婷色宗合| 色五月婷婷伊人| 天天做天天爽| 婷婷丁香五月婷婷| 热久久66| 婷婷五月天AV| 99热精品网| 亚洲精品视频在线| 激情丁香六月| Www.激情| 日本五月婷婷久久久六月丁香| 五月亭亭色| 婷婷五月天网| 91成人视频| 婷婷激情丁五月| 综合久久综合| 91精品啪| 亚洲激情四谢| 综合网色| 丁香婷婷色色| 五月天天天色| 五月丁香在线婷婷蜜桃| 99精品国产在热久久| 丁香社92视频| 精品人妻在线免费观看| 色色五月丁香| 色色色99| 九九热经典视频在线观看| 九九热视频精品2| 99热999| 五月婷婷五月天| 停停五月色宗合| 久久99色色| 亚洲色碰| 九九 激情 网| 墨西哥毛片内射精| 免费看欧美成人A片无码| 中文字幕AV在线播放| 玖玖资源站蜜臀| 99久热在线精品| 91啪啪啪啪| av国产精品| 国产操碰| 另类五月婷婷| 美女黄频aⅴ视频| 婷久久久| 99久久99综合| 99久久婷婷| 五月天偷拍| 激情五月亚洲| 色的色综合| 亚洲操逼片| 日操夜操天天操不卡| 99精品亚洲| 综合网啪| 五月天六月色| 超碰1999| 大陆肏屄视频| 全国最新疫情| 综合狠狠五月婷婷| 99久久国产宗和精品1上映| 9999三级片| 国产精品久久久久9999小说 | 天堂爱爱| 九九热99re8热免费观看| 综合色吧| 亚洲在线操| 色色色色av色色色色| 99色色最新视频| 99热欧美| 五月天婷婷久久| 七七色色综合| 极品另类| 国产99久9在线| 超碰免费观看| 免费在线观看av网站| 五月天婷婷色| 香蕉婷婷| 色婷婷狠狠| 久99| 久久xxxx| 亚洲成人免费在线| 日韩成人网址| 色色色色综合网| 91九色视频在线观看| 色色综合色| 热99re| 五月综合激情图片| 天天天天天色| 天天撸夜夜爽| 颜射 精品性爱av| 狠狠另类视频| 亚洲激情校园| 激情综合综合综合| 久这里只有精品| 婷婷五月播| 亚洲综合成人网| 五月综合丁香婷婷| 超碰人人超碰| 东京热免费视频| 婷婷丁香www视频日本韩国| 九九久99免费视频| 日本9区视频| 九九热内射| 欧美性爱丁香五月| 熟妇天天综合| 国产综合丁香五月天| 中文字幕综合色| 伊人大香蕉毛片| 97超级碰| 色久一| 婷婷WWW久久| 日韩熟女啪啪视频| 亚洲第一影院高清无码网站| 97色操| 婷婷五月天大香蕉| 91色九| 99男人的天堂| 97色色婷婷| 啪啪一区| 人人操Av| 亚洲色欲AAAAAA| 久久色在线视频| 人人干天天舔| 99在线观看视频精品| 第四色色六月色综合| 丁香婷婷五月激情综合| 五月丁香婷婷婷婷综合网| 久久这里只有精品视频26| 丁香五月另类小说在线阅读| 26UUU精品一区二区c〇m| 丁香五月天五码婷婷| 99福利视频| 深爱五月婷| 黄色激情五月天| 色五月在线观看| 激情网婷婷五月天| 99热精品在线播放| 精品一二三区久久AAA片| 国产AV一区二区三区最新精品| av一级棒av| 丁香五月天91| 亚洲第二AV| 99热超碰天堂网| 综合色影| 日韩人妻无码一区二区| 狠狠色婷婷六月激情网| 五月婷婷婷丁香播| 色婷婷久久综合| 开心婷婷五月| 久久婷婷五月天大香蕉| 在线播放成人| 97人人做| 五月丁香六月日逼| 五月婷婷丁香在线视频| 欧美狠狠色| 综合另类视频| 天天天天操| 丁香狠狠干| 噜噜五月天综合| 99色五月| 青青草原中文字幕| 我要看激情五月天| 免费播放片大片| 欧洲不卡视频| 色五月情| 五月天怕怕| 9人人操人人看| 五月婷婷激情网| 99re这里只有精品9| 五月花成人网| 欧美25p| 九色自拍| 国产精品久久久久9999小说| 丁香五月黄色| 色色色777| 五月丁香婷中文字幕| 国产日韩欧美| 色五月婷婷五月| 国产美女无遮挡裸体毛片A片| 婷婷五月激情黄色| 伊人网碰碰| 激情涩涩网| 激情婷婷丁香色五月| 99视频只有精品| 久久9视频| 欧美成人AAA片一区国产精品 | 人人干天天舔| 99精品大片| 色情五月丁香| 久草丁香婷婷1024| 综合激情在线| 九九视频这里只有精品在线播放| 色人妻五月| 亚洲成人中心| 免费观看全黄做爰的视频| 色婷婷aV四虎| 99热99ai| 色爱终和网| 成人网站免费在线播放| 99燥99日| 九九热精品99| www.日韩艹| 天天爱天天操| 无码AV免费精品一区二区三区 | 欧美影院| 99国产精品久久久久久久久久久| 伊人九九热| 丁香五月婷婷啪| 中国激情网| 久久色婷婷| 江苏少妇性BBB搡BBB爽爽爽| 久草性爱| 天天干天天爽天天操| 亚洲激情综| 粉嫩AV久久一区二区三区| 久九九热| 色婷婷丁香五月丁香| 天天爽天天操| 亚洲妇女熟BBW| 丁香婷婷性久久| 久久黄色网扯| 日韩三级高清无码| 五月婷婷综合在线| 97干婷婷| 热久久视频99| a网站免费观看| 9久热在线视频| 99小视频| 色五月欧美| 可以免费观看的AV| 天堂爱啪啪| 丁香五月激情婷婷激情| 精品激情| 婷婷五月六月丁香| 99在线视频精品| 99九九精品视频| 五月婷婷很很色| 亚洲无码另类| 五月色天情| 中文字幕在线日亚洲9| 九九综合五月欧美| 婷婷六月开心网| 97碰久久| 综合激情九月婷婷,激情综合婷婷中文字 | 五月花婷婷| 99人人干人人| 五月深爱网| 99色综合| 丁香五婷婷| 亚洲性爱日韩无码| 五月丁香综合啪啪| 1024操逼视频| 丁香六月激情网C0W| 久久婷婷亚洲| 色99自拍| 日欧大屏操| 屁股翘好撅高迎合跪趴| 草综合网| 激情久久肏屄视频| www.五月婷| 日日干综合| www,久久久| 国产黄色大片| 国产高清RV综合aVa| 综合色播| 色婷婷五月综合在线| 99综合免费视频| 五月婷婷六月激情| 色婷婷操逼| 色色亚洲五月天| 天天色综网| 在线国产精品色| 五月婷婷综合在线| 92久久久| 天天操天天谢| 北京熟妇搡BBBB搡BBBB| 久久久人妻久久久| 人人妻人人澡| 伊人玖玖综合| 天天舔天天摸视频| 被强行糟蹋的女人A片| 久久丁香| 无码人妻激情| 色色色色色五月| 五月天婷婷五月| 亚洲精品色| 国产亚洲色婷婷久久99精品91| 亚洲丁香五月天视频| 久久se 综合网| 色激情综合狠狠婷婷| 久久久久激情| 碰97久久| 涩五月婷婷| 丁香五月婷婷五月基地| 五月丁香婷婷人体| 国产AV一区二区三区最新精品| 亚洲国产婷婷色五月| 国产色网站| 免费99色| 国语精品探花| 激情色五月天| 丁香六月成人网| 午夜不卡久久精品无码免费| 色婷婷色五月另类综合| 99热在线观看免费精品| 91欧美| 综合AV在线| 色色九九五月天| 四色99久久| 日本三级第一页| 热99久久这里只有精品| 国产精品人成A片一区二区| 五月花婷婷在线精品视频| www.久久爱| 色久女| 狠狠狠色激情综合适合| 丁香花婷婷五月天| 久久这里有精品| 五月天婷婷丁香人人操91| 五月丁香在线婷婷美女| aaa久久久| 五月天婷婷乱| 97人人干视频| 国语精品探花| 一区二区你懂的| 日日狠狠久久偷偷四色综合免费 | 国产精品18久久久| 婷婷瑟五月天久久综合| 日本欧美成人片AAAA| 人人草成人视频| 久久丁香| 婷婷欧美色| 婷婷五月无码| 日韩欧美一区二区三区四区| 99热官网| 日日噜噜久久婷婷五月天| 婷婷亚洲综合| 人人干天天操五月丁香| 丁香网五月天| 思思久热6| 99久99久| 这里只有精品免费视频| 狠狠九九婷婷韩| 99爱在线免费视频| 97欧美在线| 91九色精品| 99资源在线视频| 玖玖99免费视频| 成人精品人妻| 99热在线精品观看| 五月婷婷六月丁| 欧美成人精品A片免费一区99| 五月丁香啪啪激情| 激情色五月天| jizzdr| 加勒比日本一区二区三区| 第四色五月天| 五月丁香六月综合基地| 99热手机在线精品| 开心婷婷五月花| 激情涩播| 99这里只有精品|v| 九九综合色综合| 丁香啪啪| 九热在线这里有精品6| 疯狂做受XXXX高潮A片动画| 九六五月天婷婷| 99天堂在线观看免费视频| 999影院成人在线影院| 欧美日韩精品一区二区三区钱| 天天综合精品| 97久久视频| 色综合久| 九九色99| 色噜噜五月丁香婷婷| 成人版视频在线观看| 99色色网| 丁香五月影院| 婷婷五月香蕉| 五月婷婷丁香六月| 九九视频精品视频精品| 大香伊人婷婷影院| 欧美在线97| 开心久久xxx色| 亚洲无AV在线中文字幕| 色色色9| 97色啪| 丁香五月影院| 婷婷五月天深爱| 国产av网| 原琪琪色影院| 亚洲天天免费| 超碰免费电影| 色播综合| 亚洲国产精品成人va在线观看| 奇米色大香蕉| 97在线碰| 色五月丁香激情| 天天久久九九| 97资源碰碰| 99热九九这里只有精品10| 8050一级网| 成人丁香| 欧美色图45678| 欧美色一级色| 婷婷五月天天爽| 日夜操B| 伊人激情AV一区二区三区| 亚洲久久婷婷| 香蕉视频91| www.yw尤物| 五月天婷婷中文字幕在线播放| wWW九九在线播放| 色色a| 婷婷五月天激情影片| 欧美毛卡| 99久久久久| 激情性五月天免费小说视频| 国产成人av在线| 国产人妻777人伦精品HD| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 婷婷丁香五另类网站| 欧美色色日韩| 色婷婷在线视频| 丁香婷婷六月在线资源观看| 日本久热| 成人 在线观看国产| 热久久这里只有精品| 丁香婷婷五月天校园春色| 99九九精品视频推荐| 婷婷五月天奸女| 提提热五月天婷婷| av在线免费网站 | 欧美色图天堂网色| 九九九九精品精| 激情综合五月| 婷婷激情鹿城五月天| 久久九九99桃花视频| 九九精品热| 五月婷婷六月丁香综合在线| 日日干日日色| 99热性色| 国产精品第一国产精品| 天天综合久久| 五月丁香花伦理电影| 久久久99日本大片| 免费视频在线观看的网站| 久久五月婷婷丁香| 玖操97| 91色九| 无遮挡国产高潮视频免费观看| 99色在线| 六月天六月婷| www.婷婷.com| 久久九九激情五月天 | 99热精品在线播放| 丁香五月开心亚洲| 天天爽成人综合网站| 欧美激情-区二区三区| 色五月激情五月开心五月| 丁香色五月婷婷| 日日日日做夜夜夜夜无码| 伊人大蕉香| 99热成人| AV在线大香蕉| 五月播播| 成人小说 五月天 婷婷| 天天肏在线观看| 色五月丁香五| www.婷婷五月| 色色色图| 色情激情五月| 天天做天天要天天爱| 色五月婷婷天堂| 色婷五月天| 久久九九国产精品怡红院| 热久久66| 掩去也综合五月视频| 成人网页在线观看| 久久色六月| 亚洲色视频| 激情五月综合| 激情婷婷五月天在线观看| 亚州精品色情无码A片| 99热在线观看99| 国产AV一区二区三区最新精品| 综合色五月天| 欧美日韩aaaa| 亚洲五月天综合| 成人在线视频网| 人操91在线| 91丨九色丨东北熟女| 丁香五月情| a久久免费视频| 欧美噜噜免费观看| 久久婷.com| 婷婷五月天电影网| 天天日天天干天天爱| 2015好吊操| 99久久偷拍视频| 欧洲综合视频| 亚洲亚洲永久无码777777| 99啪啪视频| 伊人综合色干| 色欲天天综合| 欧美性丁香色色五月天| www.91九色| AA片在线观看视频在线播放| 欧美精产国品一二三区| 色婷婷久久综合丁香五月| 天天干在线播放| A A色色| 五月天激情中文字幕| 九九色院| 久久久久久9热不雅视频| 农村熟妇高潮精品A片| 依人大香蕉| 婷婷激情六月| 婷婷视频在线| 亚洲 小说 欧美 激情 另类| 这里只精品| 91热99| 欧美性猛交99久久久99| 久久机热探花| 99精品丰满| 国产一级片色色| 97福利视频| 26UUU欧美| 婷婷五月综激情| 91精品久久久久、久五月天| 九九视频这里只有精品| 久久这里有精品视频在线免费观看| 色婷婷婷av| 狠狠色色| 日韩操人| 超碰免费人人| 99精品久久久久久久| 婷婷色五月天色色| 超碰永久在线| 精品AV无码超碰| 人妻第九页| 国产婷婷色综合AV蜜臀AV| 欧美一级色| 久久伊人大香蕉| 婷婷五月天激情综合| 超碰在线超碰| 综合狠狠干| 亚洲无码99| 丁婷婷五月天在线播放| 久久婷婷五月免费视频| 99re8这里只有精品99re8热视频| 天天操天天操天天操天天操天天操天天操| 国色天香伊人狠狠色| 国产精品色色色色| 婷婷免费无视频| 丁香婷婷射| 激情六月五月婷婷综合网| 99五月丁香丁| 美女天天久久| 熟女激情网| eeuus五月婷| 婷婷激情五月天网站| 思思视频久久| 99爱免费在线观看| 色五月婷婷成人视频| 亚州激情在线视频| AV 3P| 久热这里精品免费| 小视频一区| 久久人人人人妻| 毛片新网地| 色婷婷先锋| 婷婷伊人五月| 六月丁香婷婷五月| 成年人看Va免费视频| 亚洲成人人人操| 天天色综合综合| 婷婷五月精品中文字幕| 丁香六月婷婷综合啪啪| 天天操婷婷| 亚洲狠狠干| 99精品视频免费观看| 色五月成人| 亚洲无码11| 久久久WWW| 欧美色色色色色| 色色A| 六月丁香五月婷婷| 婷婷情色开心五月天99| 先锋影音男人的天堂AV| 97香蕉人人在线观看| 婷婷久久精品| 色呦呦免费观看| 久久婷婷六月| 欧洲亚洲欧洲99久久| 这里只有精彩视| 激情五月婷婷丁香| 超碰成人av| 色综合色色| 色婷婷香蕉| 免费观看全黄做爰的视频 | 啪啪六月婷婷| 婷色五月天| www婷婷| 这里有精品| 7EzOBIhNq85TO| 伊人激情综合| 久草狼人| 六月丁香婷婷视频综合在线观看| 六月丁香婷婷亚洲中文玖玖| 色五月婷激情| 丁香六月婷| 操一区| 拍真实国产伦偷精品| 婷婷丁香色五月天| 色高清无码视频| 亚洲人人操| 亞洲自怕| 丁香五月天婷婷91| 超碰女人天堂| 综合狠狠五月婷婷| 五月激情综| 久操激情| 日日撸夜夜操| 综合欧美五月婷婷| 国产亚洲精品久久一区二区三区| 婷婷五月天日日日干干干| 久久9精品| 日韩啪啪自拍| 99久久网站| 成人网在线视频| 五月丁香六月婷婷久久久综合| 日本老女人黄页在线播放| 婷婷色一二三区波多野结衣| 亚洲妇女熟BBW| 青青草tp| 婷婷网五月天| 五月婷婷婷婷婷婷艺术| 深夜男女福利刺激影院一区完整| 婷婷桃色网| 久综合网| 亚洲啪啪视频| 99看片| 丁香花五月天| 异能之下短剧免费观看全集| 丁香五月开心亚洲| 无码一区二区三区四区五区91c| 五月综合视频| 一起草AV| 天天狠狠夜夜狠狠2023| 9999热这里只有精品| 久久色五月天| 色五月婷婷基地| 色五月中文字幕| 成人.在线日韩| 99热啪啪| 激情综合网五月| 九九热10| 色五月婷婷老师| 亚洲最大五月天成人网| 精品福利911| 婷婷丁香视频在线观看免费| 色婷婷狠狠爱| 淫视馆AV在线| 9九色首页| 欧美交换配乱吟粗大25P| 99热在线精品观看| 97久久人人| 99热在线看片| 五月天com| av性爱网站| 色人妻五月| 激情婷婷狠狠干| 欧美久久五月婷婷| 伍月婷丁香婷| 欧美日朝成人| 97色婷婷五月天| 97碰免费精采视频| 性爱激情小说AV五月丁香花| 五月婷婷黄色网址| 久综合网| 五月婷婷六月丁香| 九九婷婷网五月天| 综合激情视频| 久热这里只有精品6| 人妻激情在线| 伊人玖玖精品| 久久婷五月综合| 婷婷五月天av| 婷婷五月天天爽| 激情丁香五月天图片| 99热这里只有精品最新网址| 亚洲综合色五月| AV天堂婷婷五月天| 五月丁香久久丝袜啪啪| 五月丁香六月婷婷综合免| a69在线视频| 国产 A片 自拍| 久久这里只有精品07| 很很操96| 婷婷久久免费看| 五月丁香婷婷无码A∨| 影音先锋毛片网站| 亚洲成人影视在线观看| 狠狠狠狠狠干| 天天爽夜夜操| 中文字幕丰满孑伦无码专区| 成人亚洲精品久久久久| 一区二区三区四日本| 国产精品久久久爽爽爽麻豆色哟哟| 国产FREESEXVIDEOS性中国| 欧美韩国日本| 99原创自拍视频在线观看| 欧洲第一无人区观看| 欧美搡BBBBB摔BBBBB| 99精品视频在线观看| 成人 在线观看国产| 狠狠色 综合色区| 超碰免费观看| 伊人喵咪a V| 成人va在线| 影音先锋AV男人站| 五月狠狠| 9999热在线免费观看| 99内射视频| 久热伊人9| 国产视频福利| 99热老网站| 色婷婷五月天中文字幕| 六月婷婷视频| 俺去也在线视频| www,99热| 色综合久久88色综合天天看| www.色99| 五月天偷拍| 久久婷婷五月丁香蜜桃网| 嫩草哈哈操| 东京热免费视频网站| 亚洲综合在线播放| 色婷婷电影| 色播五月丁香婷婷| 99久久九九| 99色亚洲| 久久久无码精品成人A片小说 | 色欲九区| 五月丁香A片| 亚洲欧洲自拍图片专区五月天| 丁香五月冃欧美| 婷婷免费视频| 婷婷五月成人| 操人91| 亚洲精品字幕在线观看| 色综合99无码| 天天色99| 91色在线/日韩| 婷婷五月天播| 亚洲久久婷婷丁香五月天| 精品国产va久久久| 亚洲va在线∨a天堂va欧美va| 9久热在线视频精品| 五月婷婷丁香| 五月婷婷影院| 激情综合五月婷婷| 91婷婷视频| 91婷婷五月丁香碰| 亚洲精品亚洲人成人网| 久久性爱视频免费| 五月婷婷人妻| 色呦呦美女| 激情综合网色播五月| 欧美黄色AA片哗啦啦啦| 97久久视频| 久草热久草在线视频| 丁香伊人五月色婷婷五十路| 99热这里是精品| 99精品7| 五月丁香激情综合啪啪| 国产亚洲在线观看| 日本色超碰| 九九色人| 99这里只有精品在线观看| 婷婷99狠狠| a在线观看| 丁J香六月首页| 五月天色图| 影音先锋 婷婷| 噜噜狠狠色综合久| 大地9中文在线观看免费高清 | 久久久精品色色色| 五月天色色色| 在线中文字幕免费视频| 9色视频在线| 九热视频这里只有精品| 狠狠操狠狠插| 91碰碰碰| 亚洲精品成人片在线播| 成人必爱视| 五月天婷久精视频| 色色婷婷五月| 久久免费试看120秒| 天天搽天天射| 五月丁香六月婷婷色日| 另类小说色婷婷| 天花AV无码| 色之综合网| 久久五月丁香| 亚洲亚洲人成综合网络| 国产操B视频| 色五月成人在线| 99热精品在线| 国产人人操| 激情美女五月天| 天天在线XXX| 少妇2做爰HD韩国电影| 久热超碰91| 天天综合亚洲综合| AAA久久久| 亚洲av电影在线| www.主妇. com| 婷婷婷婷婷婷婷婷| 欧美成人AAA片一区国产精品| 九热免费视频| 亚洲 五月 婷婷 成人| 九九热最新地址| 亚洲欧洲一二| 九九99在线观看视频| 日日撸夜夜操| 一起草AV入口| 一起草av| 99热手机在线精品| 亚洲成av人影院| 91热久久| 婷婷综合网| 最近中文字幕2019视频1| 五月丁香六月成人| 国产玖玖资源| 色婷婷成人做爰A片免费看网站| 在线视频激情网站| 久久久五月婷婷| 色色色色综合网| 99综合自拍| 去干网最新版本亚洲版| 五月天另类小说| 国产AV不卡福利| 色婷婷色人人射| 五月丁香成人网| 五月婷网| 天天干电影| 91re色综合视频| 可以免费看av网站| 91久久1118| 五月婷免费视频| 99精品在线观看视频| 五月色丁香国产在线视频| 色播五月婷婷| 丁香五月色网| 九九性视频| 丰满少妇乱A片无码| 九九国产精视频| 婷婷综合97| 色色丁香五月天社区| 狠狠人妻久久久久久综合丁香| 99在线小视频| 色综合色五月| 五月丁香久人妻中文| www.com.色色| 婷婷五月天狠狠| 91人人爱| 综合网五月天123| 爱久久小说下载网| 99re热| 五月天大香蕉| 丁香五月花婷婷开心| 六月婷婷色综合| 日韩人妻无码精品| 国产精品美女| 日本免费91| 日本狠狠干| 日本三级片片| 婷婷噜噜| 天天做天天爽| 亚洲综合在线播放| 泰州成人视频| 欧美三级巜人妻互换| www.五月婷婷| 五月花激情| 天堂成人A片永久免费网站 | 激情五月婷黄版| 五月激情站| 91黄色五月天视频| 久色成人| 91色逼| 色婷婷色五月综合| 伊人狠狠狠综合| 久久99热在线观看| 久久人妻超碰一区| 精品99视频| 久99久热只有精品国产99| 99超级碰免费视频| 2025色婷婷| 九九色热| 婷婷丁香77777| 夜夜操狠狠操| 婷婷色五月婷婷姐妹| 色五月婷婷色| 色色色精品无码区| 99久视频| 亚洲激情无码久久| 国产乱妇无乱码大黄AA片| henhencao国产在线| 少妇高潮A片无套内谢麻豆传| 深夜婷婷五月丁香| 无码AV免费精品一区二区三区| 天天摸,天天爽| 国产成人一区二区三区在线观看| 天天做天天双| 色婷婷成人做爰A片免费看网站 | 六月色播| 懂色av蜜臀av粉嫩av永陈冠希| 亚洲婷婷五月天| 极品色丁香| 成人 在线 日韩| 狠狠色综合网| 九九在线精点品| 国产裸舞福利资源在线视频| 99热这里有精品| 五月丁香六月婷婷a v| 91在线观看九区| 婷婷夜夜操| 欧美在线97| 情色五月天网站| 亚洲AV综合网| 玖热精品综合视频| 欧美操人| 天天碰天天插天天操| 雪千夏麻豆| 丁香狠狠色婷婷久久无码视频| 亚洲日比视频| www.日日夜夜.com| 天堂网色色| 色色色在线观看| 婷婷精品免费久久| 欧美性爱五月天| 五月天开心色情网| 成人AV播放| 人人干人人看| 五月丁香91| 无码99| 婷婷一本和五月丁香| 女同在线9| 婷婷色导航| 婷婷中文无码| 五月天婷婷在线播放| 色色综合网络| 激情国产五月| 激情久久久久久久久久| 人妻爽爽爽久久久久久久久| 丁香久久在线| 舔色婷婷| 天天情天天狠天天透| 91无码一区人妻A片蜜| 五月丁香香蕉| 五月丁香六月激情综合网| 午夜性做爰电影| 激情丁香图片| 91chinese在线| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 五月丁香婷婷色色色| 人妻内射视频| 久久久久99精品成人片| 婷婷五月,偷窥偷拍网| 九九色影院| www.成人婷婷综合| 综合激情在线| 嫩草AV久久伊人妇女超级A| 久久精热| 99re思思热在线视频| 国产精女同一区二区三区久| 五月婷婷六月丁香| 99激情视频热| 国产性爱色| 色五月婷婷五月天| 色色色色网色色网色色| 五月婷婷丁香啪啪| 疯狂做受XXXX高潮A片| 热99在线| 综合五月草| 91窝窝| 亚州色色色| 五月 婷婷 成人| 色婷婷综合网| 99久久婷婷国产综合亚洲| 日本久久精品| 婷婷五月丁香伊人网| 色婷久九| 亚洲AV影片在线观看| 国产免费一区二区三州老师F1F1| 久久狠狠色| 色色综合激情| 三人荫蒂添的好舒服A片| 荷兰av一级| 色欲香综合网| 欧美日本黄色| 国产真实乱对白精彩| 色欲五月婷婷| 俺也去综合| 丁香婷婷性爱| 丁香亚洲色综合| 91碰碰| 啪啪小说五月天| 丁香婷婷五月天色综合| 五月五月婷婷| 日本少妇裸体做爰高潮片| 丁香五月婷婷五月天| 夜夜做天天爽| 亚洲最大在线| 人人操超碰| 在线播放中文字幕| 五月丁香六月激情视频| 亚洲视频色色| av在线中文| 久久久亚洲成人无码A片| 六月激情综合| 婷婷五月天av| 婷婷色系婷色| www狠狠| 中文字幕不卡视频| 日韩成人无码| 99在线播放视频| 麻豆五月丁香婷婷| 激情婷婷五月久久| 亚洲天堂无码| 亚洲精品视频电影| 天天操,天天插| 热99这里只是精品| 丁香花五月天社区| 国产精品久久久久久妇女6080| 婷婷丁香97| 日本社区五月天激情| 丁香五月婷婷成人色区| 日韩操逼大片| 婷婷丁香黄色| 婷婷香草网| 99∨VTV| 情色婷婷五月天| 狠狠色婷婷777| 天天在线天天综合网色| 久久九九爽| 青青久久大香蕉| 婷婷99视频全集高清| 久99| 五月天开心色情网| 日日噜狠狠色综合久| 26uuu91| WWW五月婷婷| 激情久久久久久| 婷婷五月综合色中文字幕| 九九日伊人| 91九色在线| 综合久久综合| 99热在线播放| 五月婷婷久| 婷婷激情蜜桃玖玖丁香| 久久狠狠欧美| 五月婷婷深深爱| 婷婷伊人綜合中文| 少妇水多A片太爽了| 五月丁香色婷婷| 丁香婷婷五月色成人网站| 四月婷婷丁香五月| 久久这里只有精品16| 丁香狠狠| 亚洲网站在线鸭子av| 久久9久| 久久视频婷婷| 热婷婷在线视频| 成人精品免费在线观看| 色色婷婷丁香| 婷婷五月综合激情| 99久在线精品| 天天澡天天狠天天天做| 开心五月色婷婷综合开心网| 婷婷色色播五月天| 五月婷婷开心色伊人| 色婷婷五月六月丁香综合视频| 九色视频91疯狂| 中日韩狠狠色| 色色五月综合| 超碰在线资源| 综合aV在线| 搡BBBB搡BBB搡五十| 丁香五月婷婷基地| caop在线视频| 婷婷五月天AV在线| 啪啪色区| 色五月婷婷亚洲最大| 日本熟女内射| 婷婷射图五月天| 思思热精品免费视频| 开心五月丁香综合久久| 开心五月天私房婷婷| 99热这里只有精品268| 九九热这里只有精品5| 99热最新网址| 中美日韩成人在线| 亚洲在线操| 丁香激情网| 亚洲精品国产成人AV在线| 久久看婷婷| 9久久婷婷国产综合精品性色| 七七色色综合| 婷婷99狠狠躁天天躁中文| 五月婷免费视频| 久操人| 综合久久六月| 久啪欧美| 日韩成人电影av| 99久久.www| 成人在线高清| 夜色综合网| 97九色视频| 色婷婷成人网| 大香蕉久久草| 99热日韩| 日本老女人黄页在线播放| 欧美性二区| 那里有AV网址| sS丁香五月婷婷| 婷婷激情五月天在线视频| 99热国产这里只有| 色必久悠悠影院| 五月丁香天堂网婷婷| 色小说五月婷婷| 97婷婷五月| 成人视频婷婷| 婷婷十月激情综合网| 一级性爱视频| 亚洲国产99| 思思热99热| 少妇人妻人伦A片| 在线观看av网站| 人妻久久久久久| 99超级碰碰| 国产成人在线精品| 激情综合啪啪| 九九久久精品| 精品无码久久久久久久久| 国产精品久久久久9999小说| 97人人操人人插| HD久久精品视频| 婷婷狠狠18禁久久| 99久热在线精品| 激情色中文| 伊人婷婷五月| 婷婷五月丁香伊人| 思思精品视频| 另类激情五月| 婷婷丁香五月天激情| 九月婷婷综合| 91.www综合| 五月天丁香啪啪啪啪| 综合伊人久久| 国产亚洲在线| av婷婷丁香 六月| 五月天婷婷色小说| 天天色域综合网| 婷婷色操| 欧美日韩99| 久久激情网| 99久操视频| 久re热视频| 99爱视频精品| 思思久久99热只有频精品66| www.夜夜操| 一级AV片| 丁香六月青青草| AV在线资源| 五月天色色色| 成人网站免费sxj| 色色色色色色色色网站| 91人人操人人| 九九这里只有精品| 综合狠久久| 天天综合久久| 婷婷午夜| 99精品网站| 日日夜夜狠狠| 久久九九99| 91夫妻视频| 大香蕉大香蕉在线影院| 欧亚色色| 99福利视频| 99视频这里有精品| 天天干狠狠| 91se精品国产| 欧美乱码国产一级A片| 99久久婷婷国产综合精品草原| 伊人婷婷五月| 色老久久| 九九色精品| 久色大香蕉|