欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Kubernetes 上 agentic 工作負(fù)載的調(diào)度與工作區(qū)編排實(shí)踐

Kubernetes 上 agentic 工作負(fù)載的調(diào)度與工作區(qū)編排實(shí)踐 1. 從“ax”這個(gè)標(biāo)題說起一個(gè)被低估的調(diào)度原語第一次看到“ax”這個(gè)標(biāo)題很多人會(huì)以為是某個(gè)命令行工具的縮寫或者某個(gè)前端框架的別名。但把熱搜詞攤開來看——ax調(diào)度、agentic、orchestration、kubernetes、workspace——這幾個(gè)詞湊在一起指向的其實(shí)是一個(gè)非常具體的工程命題在 Kubernetes 之上如何為 agentic 工作負(fù)載設(shè)計(jì)一套輕量、可組合、可觀測(cè)的調(diào)度與工作區(qū)編排層。我最早接觸這類需求是在做多租戶 AI 任務(wù)平臺(tái)的時(shí)候。當(dāng)時(shí)團(tuán)隊(duì)把一堆推理任務(wù)、數(shù)據(jù)預(yù)處理任務(wù)、評(píng)測(cè)任務(wù)全塞進(jìn)一個(gè) K8s 集群用原生 Deployment 和 Job 硬扛。結(jié)果很快就撞墻了任務(wù)之間需要共享中間產(chǎn)物但 Pod 的臨時(shí)存儲(chǔ)生命周期和任務(wù)生命周期對(duì)不齊不同任務(wù)對(duì) GPU、內(nèi)存、網(wǎng)絡(luò)的需求差異極大默認(rèn)調(diào)度器經(jīng)常把大任務(wù)和小任務(wù)混排導(dǎo)致資源碎片更麻煩的是每個(gè)任務(wù)都需要一個(gè)“工作區(qū)”來掛載代碼、數(shù)據(jù)、緩存和日志而 K8s 原生并沒有 workspace 這個(gè)抽象?!癮x”在這個(gè)語境下我理解它代表的是一種面向 agentic 場(chǎng)景的調(diào)度與工作區(qū)抽象層。它不是要替代 Kubernetes而是在 K8s 之上做一層薄薄的編排把“任務(wù)調(diào)度”和“工作區(qū)管理”這兩件事從業(yè)務(wù)代碼里抽出來變成平臺(tái)能力。這篇文章我會(huì)從設(shè)計(jì)思路、核心抽象、實(shí)操落地、問題排查四個(gè)維度把這套東西拆開講清楚。如果你正在做 AI 任務(wù)平臺(tái)、多租戶工作區(qū)、或者 agentic 應(yīng)用的底層編排這篇內(nèi)容應(yīng)該能幫你少走一些彎路。2. 為什么原生 Kubernetes 扛不住 agentic 工作負(fù)載2.1 agentic 任務(wù)的三個(gè)特殊之處傳統(tǒng)微服務(wù)的調(diào)度模型是“長(zhǎng)期運(yùn)行、狀態(tài)外置、副本對(duì)等”。一個(gè)服務(wù)起三個(gè)副本每個(gè)副本無狀態(tài)請(qǐng)求打到哪個(gè)都行。但 agentic 任務(wù)完全不是這個(gè)模型。第一任務(wù)是有向無環(huán)圖里的節(jié)點(diǎn)。一個(gè) agent 執(zhí)行一次任務(wù)可能先調(diào)檢索、再調(diào)模型、再調(diào)工具、最后寫回結(jié)果。每個(gè)步驟是一個(gè)短生命周期的工作單元步驟之間有數(shù)據(jù)依賴。用 K8s 的 Job 來表達(dá)單個(gè)步驟沒問題但步驟之間的依賴關(guān)系、中間產(chǎn)物的傳遞、失敗重試的邊界原生 Job 管不了。第二工作區(qū)是任務(wù)的一等公民。每個(gè) agent 任務(wù)都需要一個(gè)隔離的文件系統(tǒng)視圖代碼從哪來、數(shù)據(jù)掛在哪、緩存寫到哪里、日志落到哪。這個(gè)工作區(qū)的生命周期通常比 Pod 長(zhǎng)——Pod 重啟了工作區(qū)里的緩存不應(yīng)該丟任務(wù)結(jié)束了工作區(qū)可能還要保留一段時(shí)間供調(diào)試。K8s 的 emptyDir 隨 Pod 銷毀hostPath 又缺乏隔離PVC 掛載粒度太粗。第三資源畫像高度異構(gòu)。有的步驟是 CPU 密集的文本處理有的是 GPU 密集的推理有的是 IO 密集的數(shù)據(jù)拉取。默認(rèn)調(diào)度器基于 request/limit 做 bin packing但在 agentic 場(chǎng)景下任務(wù)的實(shí)際資源消耗往往在運(yùn)行前無法準(zhǔn)確預(yù)估導(dǎo)致要么過度申請(qǐng)浪費(fèi)配額要么申請(qǐng)不足被 OOM kill。2.2 調(diào)度層需要補(bǔ)的三個(gè)能力基于上面三個(gè)特點(diǎn)我在設(shè)計(jì)“ax”這層編排時(shí)重點(diǎn)補(bǔ)了三個(gè)能力。能力一工作區(qū)生命周期與任務(wù)生命周期解耦。工作區(qū)不再綁定到單個(gè) Pod而是作為一個(gè)獨(dú)立資源存在。任務(wù)運(yùn)行時(shí)掛載工作區(qū)任務(wù)結(jié)束后工作區(qū)可以保留、可以快照、可以傳給下一個(gè)任務(wù)。實(shí)現(xiàn)上可以用一個(gè)輕量的工作區(qū)控制器為每個(gè)工作區(qū)維護(hù)一個(gè) PVC 或者一個(gè)節(jié)點(diǎn)本地目錄再通過 init container 做掛載準(zhǔn)備。能力二調(diào)度決策引入數(shù)據(jù)局部性。如果任務(wù) A 的輸出是任務(wù) B 的輸入那 B 最好調(diào)度到 A 工作區(qū)所在的節(jié)點(diǎn)避免跨節(jié)點(diǎn)拉數(shù)據(jù)。原生調(diào)度器的 NodeAffinity 可以表達(dá)這個(gè)約束但需要平臺(tái)層在創(chuàng)建 Pod 時(shí)動(dòng)態(tài)注入 affinity 規(guī)則。我在實(shí)現(xiàn)時(shí)用一個(gè)調(diào)度插件在 PreFilter 階段讀取任務(wù)依賴圖把上游工作區(qū)位置轉(zhuǎn)成節(jié)點(diǎn)偏好。能力三資源預(yù)估的動(dòng)態(tài)修正。與其讓用戶拍腦袋寫 request不如讓平臺(tái)記錄每個(gè)任務(wù)歷史運(yùn)行的峰值消耗用滑動(dòng)窗口算出一個(gè)推薦值。第一次運(yùn)行給保守值后續(xù)運(yùn)行逐步收斂。這個(gè)邏輯放在一個(gè) sidecar 或者 admission webhook 里都行我傾向 webhook因?yàn)椴磺秩霕I(yè)務(wù)容器。2.3 為什么是“薄層”而不是“重平臺(tái)”這里有一個(gè)選型上的關(guān)鍵判斷到底是在 K8s 上做一層薄編排還是自建一套調(diào)度系統(tǒng)我見過一些團(tuán)隊(duì)選擇后者用 Go 或者 Rust 寫一個(gè)獨(dú)立的調(diào)度器自己管節(jié)點(diǎn)、管容器、管網(wǎng)絡(luò)。短期看很靈活長(zhǎng)期看是在重新發(fā)明 K8s 已經(jīng)解決好的問題證書輪換、網(wǎng)絡(luò)插件、存儲(chǔ)插件、節(jié)點(diǎn)健康檢查、滾動(dòng)升級(jí)。這些事情的維護(hù)成本極高而且和云廠商的托管服務(wù)脫節(jié)?!癮x”這層薄編排的定位是只做 K8s 不擅長(zhǎng)的那部分其余全部復(fù)用。具體來說復(fù)用 K8s 的節(jié)點(diǎn)管理、網(wǎng)絡(luò)、存儲(chǔ)、RBAC、審計(jì)自己實(shí)現(xiàn)的是工作區(qū)抽象、依賴感知調(diào)度、資源畫像修正。這樣既拿到了 K8s 的生態(tài)紅利又補(bǔ)上了 agentic 場(chǎng)景的短板。代價(jià)是要接受 K8s 的一些約束比如 Pod 是最小調(diào)度單元不能在一個(gè) Pod 里做更細(xì)粒度的資源隔離。但對(duì)大多數(shù) agentic 任務(wù)來說這個(gè)粒度夠用。3. 核心抽象設(shè)計(jì)Workspace、Task、Flow 三層模型3.1 Workspace可掛載、可快照、可傳遞的工作區(qū)Workspace 是這套編排里最基礎(chǔ)的抽象。一個(gè) Workspace 本質(zhì)上是一個(gè)有名字的目錄具備三個(gè)能力可被任務(wù)掛載、可被快照、可在任務(wù)之間傳遞。實(shí)現(xiàn)上我選擇用PVC 節(jié)點(diǎn)本地緩存的混合方案。每個(gè) Workspace 對(duì)應(yīng)一個(gè) PVC保證跨節(jié)點(diǎn)可訪問同時(shí)在每個(gè)節(jié)點(diǎn)上維護(hù)一個(gè)本地緩存目錄任務(wù)運(yùn)行時(shí)優(yōu)先讀寫本地緩存后臺(tái)異步同步到 PVC。這樣既避免了純 PVC 的網(wǎng)絡(luò)延遲又保證了工作區(qū)在節(jié)點(diǎn)故障時(shí)不丟數(shù)據(jù)。Workspace 的元數(shù)據(jù)里記錄幾個(gè)關(guān)鍵字段所有者、創(chuàng)建時(shí)間、最后訪問時(shí)間、大小配額、快照列表??煺沼?CSI 的 VolumeSnapshot 能力實(shí)現(xiàn)不自己造輪子。傳遞則通過一個(gè)簡(jiǎn)單的引用計(jì)數(shù)任務(wù) A 聲明輸出到 Workspace W任務(wù) B 聲明從 Workspace W 讀取平臺(tái)層在調(diào)度 B 時(shí)確保 W 已經(jīng)就緒。注意Workspace 的清理策略一定要顯式配置。我踩過的坑是默認(rèn)不清理結(jié)果測(cè)試環(huán)境跑了兩個(gè)月PVC 把存儲(chǔ)配額吃滿了。后來改成“最后訪問時(shí)間超過 N 天自動(dòng)回收”并且回收前發(fā)通知。3.2 Task帶依賴和資源畫像的調(diào)度單元Task 是對(duì) K8s Job 的封裝但增加了三樣?xùn)|西依賴聲明、資源畫像、工作區(qū)綁定。依賴聲明用的是一個(gè)簡(jiǎn)單的 DAG 描述每個(gè) Task 可以聲明dependsOn列表。平臺(tái)層在創(chuàng)建 Task 時(shí)會(huì)檢查依賴是否滿足不滿足就掛起。依賴滿足后再注入數(shù)據(jù)局部性相關(guān)的 affinity 規(guī)則。資源畫像分兩部分用戶聲明的 request/limit和平臺(tái)記錄的歷史峰值。調(diào)度時(shí)取兩者的較大值作為實(shí)際預(yù)留但允許在節(jié)點(diǎn)資源緊張時(shí)降級(jí)到用戶聲明值。這個(gè)降級(jí)策略要謹(jǐn)慎我一般只在非關(guān)鍵任務(wù)上開啟。工作區(qū)綁定通過 volume 掛載實(shí)現(xiàn)。Task 的 Pod spec 里會(huì)注入一個(gè) init container負(fù)責(zé)把 Workspace 的本地緩存準(zhǔn)備好再把主容器的 volumeMount 指過去。3.3 Flow把 Task 串成可觀測(cè)的執(zhí)行流Flow 是 Task 的集合代表一次完整的 agentic 執(zhí)行。一個(gè) Flow 有唯一的 ID所有屬于這個(gè) Flow 的 Task 都帶上這個(gè)標(biāo)簽。這樣在排查問題時(shí)可以通過 Flow ID 一次性拉出所有相關(guān) Pod、事件、日志。Flow 還負(fù)責(zé)聚合狀態(tài)。單個(gè) Task 失敗不一定代表 Flow 失敗可能有重試或者降級(jí)路徑。Flow 的狀態(tài)機(jī)是Pending - Running - Succeeded / Failed / PartiallySucceeded。PartiallySucceeded 這個(gè)狀態(tài)很實(shí)用表示主路徑成功但某些非關(guān)鍵分支失敗業(yè)務(wù)上可以接受。3.4 三層模型的關(guān)系與邊界這三層的關(guān)系可以用一句話概括Flow 管編排Task 管執(zhí)行Workspace 管數(shù)據(jù)。邊界也很清晰Flow 不關(guān)心 Task 內(nèi)部怎么跑只關(guān)心依賴和整體狀態(tài)Task 不關(guān)心數(shù)據(jù)從哪來只關(guān)心掛載點(diǎn)Workspace 不關(guān)心誰在用只關(guān)心生命周期和一致性。這種職責(zé)分離的好處是每一層都可以獨(dú)立演進(jìn)。比如后來我們想支持跨集群的 Flow只需要改 Flow 控制器的調(diào)度邏輯Task 和 Workspace 層幾乎不動(dòng)。4. 調(diào)度器擴(kuò)展從默認(rèn)調(diào)度到依賴感知調(diào)度4.1 為什么默認(rèn)調(diào)度器不夠用K8s 默認(rèn)調(diào)度器的核心邏輯是過濾和打分。過濾階段篩掉不滿足硬約束的節(jié)點(diǎn)打分階段給剩余節(jié)點(diǎn)排序。這個(gè)模型對(duì)無狀態(tài)服務(wù)很好用但對(duì)有依賴的 agentic 任務(wù)有兩個(gè)盲區(qū)。盲區(qū)一不知道任務(wù)之間的數(shù)據(jù)關(guān)系。默認(rèn)調(diào)度器看到的是一個(gè)個(gè)獨(dú)立的 Pod不知道 Pod B 需要讀 Pod A 寫的文件。結(jié)果 B 可能被調(diào)度到離 A 很遠(yuǎn)的節(jié)點(diǎn)跨節(jié)點(diǎn)讀數(shù)據(jù)延遲高、帶寬成本大。盲區(qū)二不知道工作區(qū)的本地緩存狀態(tài)。如果 Workspace W 在節(jié)點(diǎn) N1 上有完整緩存在 N2 上沒有那把使用 W 的任務(wù)調(diào)度到 N1 明顯更優(yōu)。默認(rèn)調(diào)度器沒有這個(gè)信息。4.2 調(diào)度插件的工作流程我實(shí)現(xiàn)的是一個(gè)Scheduler Framework 插件掛在 PreFilter、Filter、Score 三個(gè)階段。PreFilter 階段做兩件事讀取 Task 的依賴列表解析出上游 Workspace 的位置信息讀取 Workspace 的緩存分布生成一個(gè)“偏好節(jié)點(diǎn)集合”。Filter 階段在默認(rèn)過濾的基礎(chǔ)上增加一條硬約束如果 Task 聲明了requireLocalWorkspace: true則只保留有完整緩存的節(jié)點(diǎn)。這個(gè)約束默認(rèn)關(guān)閉因?yàn)闀?huì)降低調(diào)度成功率只在 IO 敏感任務(wù)上開啟。Score 階段給節(jié)點(diǎn)打分打分公式是score w1 * cacheHitRatio w2 * (1 - nodeLoad) w3 * affinityScore其中 cacheHitRatio 是節(jié)點(diǎn)上 Workspace 緩存的命中比例nodeLoad 是節(jié)點(diǎn)當(dāng)前資源使用率affinityScore 是默認(rèn)調(diào)度器的打分歸一化值。權(quán)重 w1、w2、w3 可以通過 ConfigMap 配置默認(rèn)是 0.5、0.3、0.2。4.3 緩存預(yù)熱與失效處理依賴感知調(diào)度有一個(gè)前提Workspace 的緩存分布是已知的。但緩存會(huì)失效節(jié)點(diǎn)會(huì)下線所以需要一個(gè)緩存狀態(tài)同步機(jī)制。我的做法是每個(gè)節(jié)點(diǎn)上跑一個(gè)輕量的 agent定期上報(bào)本地 Workspace 緩存的元數(shù)據(jù)workspace ID、版本號(hào)、大小、最后訪問時(shí)間。調(diào)度器插件維護(hù)一個(gè)內(nèi)存中的緩存索引定期從 agent 拉取更新。索引更新有延遲所以調(diào)度決策是“盡力而為”的不保證 100% 命中。緩存失效的處理策略是如果調(diào)度到的節(jié)點(diǎn)緩存不完整init container 會(huì)從 PVC 拉取缺失部分。這個(gè)過程是阻塞的但可以設(shè)置超時(shí)。超時(shí)后任務(wù)仍然啟動(dòng)只是首次讀取會(huì)慢一些。實(shí)操心得緩存 agent 的上報(bào)頻率不要太高否則 etcd 或者你的元數(shù)據(jù)存儲(chǔ)會(huì)被寫爆。我一開始設(shè)成 10 秒一次結(jié)果 200 個(gè)節(jié)點(diǎn)每秒 20 次寫入元數(shù)據(jù)存儲(chǔ)直接扛不住。后來改成 60 秒一次并且只在緩存有變化時(shí)才上報(bào)壓力小了很多。4.4 調(diào)度器的可觀測(cè)性調(diào)度決策如果不可觀測(cè)排查問題就是黑盒。我在插件里加了幾個(gè)關(guān)鍵指標(biāo)調(diào)度嘗試次數(shù)、過濾失敗原因分布、打分分布、緩存命中率。這些指標(biāo)通過 Prometheus 暴露配合 Grafana 看板能快速定位是資源不足、依賴未滿足還是緩存缺失導(dǎo)致的調(diào)度失敗。另外每次調(diào)度決策都會(huì)寫一條事件到 Task 的 status 里記錄候選節(jié)點(diǎn)、過濾原因、最終得分。這樣用戶在自己的 Task 詳情里就能看到“為什么被調(diào)度到這個(gè)節(jié)點(diǎn)”。5. 工作區(qū)實(shí)操從創(chuàng)建到掛載到回收5.1 創(chuàng)建一個(gè) Workspace創(chuàng)建 Workspace 有兩種方式聲明式和命令式。聲明式是寫一個(gè) Workspace CRD命令式是通過 CLI 或者 API 直接創(chuàng)建。我推薦聲明式因?yàn)榭梢约{入 GitOps 流程。一個(gè)典型的 Workspace 定義長(zhǎng)這樣apiVersion: ax.io/v1alpha1 kind: Workspace metadata: name: agent-task-001-ws spec: owner: team-nlp quota: 10Gi retentionPolicy: ttl: 168h onExpiry: snapshotAndDelete snapshotPolicy: schedule: 0 2 * * * keep: 3這里幾個(gè)字段值得展開說。quota是軟限制超過會(huì)告警但不阻斷。retentionPolicy.ttl是最后訪問后保留時(shí)長(zhǎng)168 小時(shí)就是 7 天。onExpiry有兩個(gè)選項(xiàng)delete直接刪snapshotAndDelete先快照再刪。snapshotPolicy是定時(shí)快照每天凌晨 2 點(diǎn)一次保留 3 份。5.2 掛載到 TaskTask 掛載 Workspace 通過 volume 聲明apiVersion: ax.io/v1alpha1 kind: Task metadata: name: preprocess-001 labels: ax.io/flow: flow-abc spec: workspaceRefs: - name: agent-task-001-ws mountPath: /workspace mode: rw dependsOn: - name: fetch-data-001 template: spec: containers: - name: main image: my-preprocess:latest command: [python, preprocess.py]平臺(tái)層在創(chuàng)建 Pod 時(shí)會(huì)把workspaceRefs轉(zhuǎn)成實(shí)際的 volume 和 volumeMount。具體來說會(huì)注入一個(gè) init container它負(fù)責(zé)檢查本地緩存目錄是否存在不存在就從 PVC 拉取檢查緩存版本是否匹配不匹配就增量同步最后把緩存目錄準(zhǔn)備好主容器直接掛載。5.3 工作區(qū)在任務(wù)間的傳遞工作區(qū)傳遞的核心是引用計(jì)數(shù)和就緒檢查。當(dāng) Task B 聲明dependsOn: [Task A]且兩者共享同一個(gè) Workspace 時(shí)平臺(tái)層在調(diào)度 B 之前會(huì)確認(rèn)A 已經(jīng)成功結(jié)束且 A 對(duì) Workspace 的寫入已經(jīng) flush 到 PVC。flush 這個(gè)動(dòng)作很關(guān)鍵。如果 A 的容器直接寫本地緩存緩存異步同步到 PVC那 A 結(jié)束后可能有部分?jǐn)?shù)據(jù)還在同步隊(duì)列里。我的做法是A 的容器退出前由一個(gè) preStop hook 觸發(fā)一次強(qiáng)制同步同步完成才允許 Pod 終止。這樣 B 啟動(dòng)時(shí)讀到的數(shù)據(jù)一定是完整的。5.4 回收與快照回收由 Workspace 控制器負(fù)責(zé)??刂破鞫ㄆ趻呙杷?Workspace檢查最后訪問時(shí)間。超過 TTL 的進(jìn)入回收流程先根據(jù)onExpiry決定是否快照然后刪除 PVC 和本地緩存最后刪除 Workspace 資源本身。快照用 CSI VolumeSnapshot。這里有一個(gè)坑不是所有存儲(chǔ)插件都支持快照。如果你的集群用的是不支持快照的存儲(chǔ)類snapshotAndDelete會(huì)失敗。所以我在控制器里加了一個(gè)能力探測(cè)啟動(dòng)時(shí)檢查默認(rèn)存儲(chǔ)類是否支持快照不支持就降級(jí)為delete并告警。注意快照本身也占存儲(chǔ)。我見過一個(gè)團(tuán)隊(duì)開了每小時(shí)快照保留 24 份結(jié)果快照占的空間比原始數(shù)據(jù)還大??煺詹呗砸鶕?jù)數(shù)據(jù)變化頻率來定變化不頻繁的數(shù)據(jù)每天一次就夠了。6. 資源畫像讓調(diào)度決策有數(shù)據(jù)支撐6.1 為什么用戶聲明的 request 不可靠讓用戶寫 request 有兩個(gè)問題。一是用戶傾向于高估怕被 OOM kill結(jié)果申請(qǐng) 8Gi 實(shí)際用 2Gi浪費(fèi) 75%。二是 agentic 任務(wù)的資源消耗和輸入數(shù)據(jù)強(qiáng)相關(guān)同一個(gè)任務(wù)處理 1MB 輸入和 1GB 輸入內(nèi)存消耗差兩個(gè)數(shù)量級(jí)用戶沒法用一個(gè)固定值表達(dá)。6.2 歷史峰值采集與滑動(dòng)窗口我的方案是平臺(tái)記錄每個(gè) Task 模板的歷史運(yùn)行峰值用滑動(dòng)窗口算推薦值。具體來說每個(gè) Task 模板有一個(gè)畫像記錄包含最近 N 次運(yùn)行的 CPU 峰值、內(nèi)存峰值、GPU 峰值、運(yùn)行時(shí)長(zhǎng)。推薦值取 P95 分位數(shù)而不是最大值避免被偶發(fā)尖峰帶偏。采集方式有兩種一是從 cAdvisor 或者 metrics-server 拉容器指標(biāo)二是從業(yè)務(wù)容器自己上報(bào)。我傾向后者因?yàn)闃I(yè)務(wù)容器最清楚自己的關(guān)鍵指標(biāo)。上報(bào)通過一個(gè) sidecar 或者直接寫一個(gè)本地文件平臺(tái)層定期收集。6.3 推薦值的應(yīng)用策略推薦值怎么用有三種策略策略行為適用場(chǎng)景保守取 max(用戶聲明, 推薦值)關(guān)鍵任務(wù)不能 OOM平衡取推薦值用戶聲明作為上限大多數(shù)任務(wù)激進(jìn)取推薦值的 80%允許超賣非關(guān)鍵、可重試任務(wù)默認(rèn)用平衡策略。用戶可以在 Task 上通過 annotation 覆蓋策略。6.4 畫像的冷啟動(dòng)問題新 Task 模板沒有歷史數(shù)據(jù)畫像為空。這時(shí)候只能回退到用戶聲明值。為了加速冷啟動(dòng)我做了兩件事一是允許用戶從相似 Task 模板繼承畫像二是第一次運(yùn)行時(shí)用保守策略運(yùn)行結(jié)束后立即更新畫像第二次運(yùn)行就能用上推薦值。相似度判斷用的是 Task 模板的鏡像、命令、資源聲明等特征的向量化比較。這個(gè)做得比較粗糙但實(shí)際用下來效果還行至少比完全冷啟動(dòng)強(qiáng)。7. 常見問題與排查技巧實(shí)錄7.1 工作區(qū)掛載失敗現(xiàn)象Task Pod 一直卡在 Init 狀態(tài)事件里報(bào)mount failed: workspace not ready。排查思路先看 Workspace 資源的狀態(tài)是不是還在 Pending。如果 Workspace 本身沒就緒看它的 PVC 有沒有綁定成功。PVC 綁定失敗常見原因是存儲(chǔ)類不存在或者配額不足。如果 Workspace 就緒但掛載失敗看 init container 的日志通常是本地緩存目錄權(quán)限問題或者磁盤空間不足。解決權(quán)限問題在 init container 里加chown或者chmod。磁盤空間不足需要清理節(jié)點(diǎn)上的舊緩存我寫了一個(gè)定時(shí)任務(wù)每天清理超過 3 天未訪問的本地緩存。7.2 調(diào)度一直 Pending現(xiàn)象Task 創(chuàng)建后一直 Pending沒有 Pod 被調(diào)度。排查思路先看 Task 的 status有沒有dependsOn未滿足。如果依賴滿足看調(diào)度器事件是不是所有節(jié)點(diǎn)都被過濾掉了。常見過濾原因資源不足、節(jié)點(diǎn)親和性不匹配、污點(diǎn)未容忍。解決資源不足就擴(kuò)容或者降低 request。親和性不匹配檢查 Workspace 的緩存分布如果所有緩存節(jié)點(diǎn)都滿了可以臨時(shí)關(guān)閉requireLocalWorkspace。污點(diǎn)問題檢查節(jié)點(diǎn) taint 和 Task 的 toleration。7.3 工作區(qū)數(shù)據(jù)不一致現(xiàn)象Task B 讀到的數(shù)據(jù)不是 Task A 寫的最新版本。排查思路檢查 A 的 preStop 同步有沒有執(zhí)行成功???A 的 Pod 事件preStop hook 有沒有超時(shí)。如果超時(shí)可能是數(shù)據(jù)量太大同步時(shí)間不夠。解決增大 preStop 的超時(shí)時(shí)間或者改成 A 結(jié)束后由控制器觸發(fā)同步不依賴 preStop。后者更可靠但需要控制器有權(quán)限訪問節(jié)點(diǎn)本地緩存。7.4 緩存命中率低現(xiàn)象調(diào)度器日志顯示緩存命中率長(zhǎng)期低于 30%。排查思路看緩存 agent 的上報(bào)是否正常元數(shù)據(jù)索引是不是過期了。看任務(wù)分布是不是任務(wù)太分散每個(gè)節(jié)點(diǎn)上的 Workspace 都不完整。解決如果是上報(bào)問題檢查 agent 的健康狀態(tài)。如果是任務(wù)分散考慮引入 Workspace 親和性讓使用同一 Workspace 的任務(wù)盡量調(diào)度到同一批節(jié)點(diǎn)。7.5 常見問題速查表問題可能原因快速檢查解決方向Pod 卡 InitWorkspace 未就緒kubectl get ws檢查 PVC 綁定調(diào)度 Pending依賴未滿足Task status檢查上游 Task調(diào)度 Pending資源不足調(diào)度器事件擴(kuò)容或降 request數(shù)據(jù)不一致同步未完成preStop 日志增大超時(shí)或改控制器同步緩存命中低上報(bào)異常agent 健康重啟 agent快照失敗存儲(chǔ)不支持存儲(chǔ)類能力降級(jí)為 delete8. 一些踩過的坑和最后的經(jīng)驗(yàn)這套東西從第一版跑通到相對(duì)穩(wěn)定大概花了四個(gè)月。中間踩的坑不少挑幾個(gè)有代表性的說說。第一個(gè)坑是過度依賴節(jié)點(diǎn)本地緩存。一開始為了性能所有讀寫都走本地緩存PVC 只做冷備。結(jié)果節(jié)點(diǎn)故障時(shí)沒同步的數(shù)據(jù)全丟了。后來改成寫操作同步到 PVC讀操作走本地緩存犧牲一點(diǎn)寫性能換可靠性。這個(gè)取舍在 agentic 場(chǎng)景下是值得的因?yàn)橹虚g產(chǎn)物往往比最終結(jié)果更難重建。第二個(gè)坑是調(diào)度器的打分權(quán)重拍腦袋定。一開始 w1、w2、w3 設(shè)成 0.5、0.3、0.2跑了一段時(shí)間發(fā)現(xiàn)緩存命中率上不去。后來用歷史數(shù)據(jù)做了一輪回歸發(fā)現(xiàn)緩存權(quán)重要更高調(diào)到 0.7 才有效果。權(quán)重這東西沒有萬能值得根據(jù)自己的任務(wù)分布調(diào)。第三個(gè)坑是Workspace 的 TTL 設(shè)得太短。一開始設(shè) 24 小時(shí)結(jié)果跨天調(diào)試的任務(wù)經(jīng)常發(fā)現(xiàn)工作區(qū)被清了。后來改成 7 天并且加了“正在被 Task 引用時(shí)不允許回收”的保護(hù)。如果讓我給正在做類似事情的團(tuán)隊(duì)一個(gè)建議那就是先把 Workspace 的生命周期管好再去做調(diào)度優(yōu)化。工作區(qū)是數(shù)據(jù)的地基地基不穩(wěn)上面的調(diào)度再聰明也是空中樓閣。調(diào)度優(yōu)化可以慢慢迭代但數(shù)據(jù)丟了就是真丟了。另外這套東西不要一開始就追求大而全。我見過一些團(tuán)隊(duì)一上來就想支持跨集群、多租戶、細(xì)粒度配額結(jié)果半年沒跑通一個(gè)完整流程。我的做法是先在一個(gè)集群、一個(gè)租戶、一個(gè) Flow 上跑通再逐步擴(kuò)展。每擴(kuò)展一個(gè)維度都確保前一個(gè)維度是穩(wěn)定的。這樣雖然看起來慢但實(shí)際落地速度反而更快。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久久com| 久久久久久久综合狠狠综合| 天天爽夜夜爽夜夜爽精| 色色色色五月| 国产67194| 五月综合激情久久| 99综合久久| 5月丁香婷婷| 淫水导航| 日日操夜夜撸| 国产在线视频1234| 久久99最新| 激情性五月天免费小说视频| 四色五月婷婷| 成人国产网站| 日日干日日s| 5月婷婷激情在线| 久久资源网五月婷| 日本三级第一页| 五月天婷婷綜合院| 五月婷婷丁香色播网| 狠狠色大香蕉| 99免费在线| 五月天自拍视频| 九九亚洲综合| 在线中文字幕av| 狠狠色九月| 韩国真做片在线观看| 91久热| www.色五月| 精品99*| 五月丁香无码| 激情五月天激情五月天| 乱精品一区字幕二区| 成人短视频在线免费观看| AV堂狠狠干| 五月好婷婷| 色色综合网站| 天堂久久性| 五月开心六月婷婷在线播放网站| 日韩久热| 成人丁香五月婷| 日韩砖区| 婷婷五月色播放| 九97免费视频| 天天射综合网天天插| 91精品国产99久久久久久天美| 99婷婷狠狠成为人免费视频| 俺来也综合网精品一区| 99爽视频| 亚洲人妻电影| 六月 丁香 视频| 久操大香蕉| 亚洲人妻电影| www.minyis.com【JT】实力收量可预付QQ2101460746 | 欧美日韩aaaa| 人与禽A片啪啪| 另类图片色五月| 六月婷婷九月丁香亚洲综合| 99人妻碰碰久久久禁片| 亚洲俩性性爱图片久久第六页| 免费97碰碰| 超碰人人摸人人操| 伊人超碰| av亚洲国产小电影| www.av视频xx999.com| 性热视频99精品| 九九成人电影婷婷| 亚洲无码成人性爰网| 亚洲激情综合网| 亚洲色区17| 九色视频这里只有精品| 婷婷五月天丁香花| 婷婷五月天视| 天天弄天天操| 丁香婷婷人妻| 丁香五月在线观看| 丁香六月开心| 五月激情站| 激情久久久久久久久久久| 免费观看欧美成人AA片爱我多深| 日本操B视频| 亚洲 25P| www.婷婷六月天| 深夜男女福利刺激影院一区完整| 91婷婷丁香| 91色干| 日日爽日日爽| 伊人久久99| 亚洲国产精品VA在线看黑人| 日逼影音先锋男人资源站| 五月婷婷狠天天色综合| 国自产拍偷拍精品啪啪一区二区| 99热这里有精品24| 久久黄色片| 停停色综合伊人| 久久婷婷亚洲| 狠狠va| 五月天婷婷基地| VA五月激情在线| 丁香婷婷深情五月亚洲| 色玖玖玖| 亚洲精品乱码久久久久99| dingxiangtingtingliuyue| 五月婷婷天天| 九九99九九精品免费 | 激情六月天婷婷| 熟妇人妻中文字幕无码老熟妇| 久久这里在精品视频| 人人操AV| 激情五月婷婷伊人| 性爱111111| 日韩操逼小电影| 熟妇高潮一区av| 99视频精品全部免费观看| 亚洲情综合五月天| 丁香五月六月婷婷殴美综合| 六月婷色| 开心五月网| 天天天操天天天爰| 亚洲AV影片在线观看| 久久深爱激情网| 亚洲九九99精品视频在线播放| 伊人9999| 日本丁香久在线| 久久久久亚洲AV无码网影音先锋| 久久综合丁香五月| 夜夜操加勒比| 亚洲第一第二网站| 九月婷婷久久| 亚洲精品国产A久久久久久| 99.色| 五月天堂六月丁香亚州中文字幕久久 | 噜噜国产| 婷婷性爱| 伊人热在线大香蕉| 九九热婷婷| 亚洲综合五月天婷婷丁香| 色婷五月天| 六月婷婷日| 超碰免费电影| 日日爽日日| 99热老网站| 五月丁香影视| 另类五月激情| 色综合99| 五月精品99综合| 亚洲精品永久久久久久| 日韩 欧美 国产 一区 二区| 色色综合网。| 久久三级视频| 99热在线这里| 婷婷色情六月| 91九色熟女| 深爱激情综合| 另类五月激情| 高清无码.com| 丁香六月成人网| 午夜天堂啪啪| 开心五月综合| 激情综合无码| 五月久久丁香| 色情综合| 99性爱精品| 狠狠爱夜夜| 婷婷五月天电影网| 99免费热视频在线| 99热思思在线观看| 久久婷婷五月天激情| 五月丁香六月婷综合成人综合| 大香蕉院线| 亚洲欧美综合7777色婷婷| 天天爽在线视频| 日日夜夜婷婷| 婷婷激情综合| 丁香五月激情图片婷婷| 青青草婷婷久久| 极品另类| 精品少妇蜜臀91| 欧美大香蕉视频| 99在线精品免费视频| 日韩五月丁香| 最新激情五月天| 亚洲色图日韩网址| 欧美情色一区| 日韩aaaaa| 亚洲激情精品| 婷婷五月综合欧美在线播放| 五月停停色色丁香| 天天爱天天操| 久久婷婷五月综合网| 五月婷婷狠狠干| 五月丁香六月婷婷综合网| 狠狠草狠狠草| 国产毛片精品一区二区色欲黄A片| 东北黄色一级| 天天影视色综合网| 五月天婷婷综合网| 1024日韩| 亚洲天堂制| 51国精产品自偷自偷综合 | 九九热99免费视频| 丁香久久激情俄| 亚洲黄色影视| 99在线热| 色五月五月天色婷婷色五月| 这里只有精品在线看| 99热这里是精品| 婷婷丁香综合在线| 91热视频| 激情AV网| 欧美成人AAA片一区国产精品| 99九九99九九九视频精彩| 丁香五月婷婷综合91| 人妻久久久| 97碰碰在线观看视频| 五月丁婷婷| 九九精品视频免费在线| 色婷婷丁香综合中文字幕| 99福利视频导航| 午夜一区| 亚洲综合激情五月久久| 婷婷色播婷婷| 99热碰碰热| 五月丁香淫淫婷婷婷| 99色色最新视频| 五月天丁香六月综合| 婷婷五月丁香超碰| 久草九九| 在线超碰91| 久草x色在线观看99| 乱精品一区字幕二区| 人人爱操| 五月激情偷拍| 五月久久亚洲| 日韩婷婷| 综合久久五月天| 天天日天天操天天干| 久婷婷五月丁香在线观看| 丁香九月婷| 97欧美在线| 婷婷丁香综合在线| 精品视频网| 久久婷婷丁香花综合网| 蜜臀综合久草| 精品国婬伦V无码久久久| 国产婷婷婷| 国产精品久久久久久久久久| 丁香六月色婷婷| 婷婷五月天综合蜜桃| 精品在线| 色99亚洲| 五月丁香在线婷婷蜜桃| 国产熟女日日骚五月丁香爱| 人人舔天天| 99热久久最新地址| 五月亭亭综合五码| 婷婷婷婷色| 久狠日av| 日本va欧美va欧美精品88| 婷婷色成人| 婷婷娱乐丁香综合网| 久久这里都是精品视频| 伊人狠狠操| 五六月丁香激情视频| 狠狠擼综合| 激情六月五月婷婷综合网| va中文资源在线观看| 狠狠色丁婷婷日日,伊人激情综合网 | 天天做天天要天天爽| 色婷婷五月天激情在线播放| 先锋av性爱成人电影| 六月色色婷婷| 日韩ww| 国际国外精品欧洲南美洲专区无码不卡| 亚洲日韩国产黑丝黑丝AVAV一区二区三区| 五月天伊人av| 99精品在| 79精品视频在线观看,| 久久六月综合| 伊人久久五月天| 免费99情趣网视频| 国产丁香五月天婷婷| 婷婷五月天性| 可以看的av网站| 五月天开心网| 99热8| 婷婷在线视频| 99热欲| 热热99爱爱| 91大神操美女| 综合激情五月丁香9999久久精| 久色视频首页| 婷婷五月天开心激情网| 激情床戏| 国产真人做爰视频免费| 1769在线观看欧美国产| 综合久久影院| 五月婷婷,六月激情| 伊人色欲五月天| 国产无套精品一区二区| www.久久99| 国产毛片欧美毛片久久久| 五月天婷婷婷| …亚洲黄色在线播放日韩、av中文a…| 色噜噜狠狠色综合成人99| www.日本久久videos| 这里只有精品热| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | WWW,色五月| 天天撸夜夜爽| 色色色在线观看| 五月天激情网址| 欧美激情综合色综合色| 大香蕉五月婷婷| 99re8在这里只有精品| 色色色色色综合| 疯狂做受XXXX高潮A片| 墨西哥毛片内射精| 99热免费网站| 丁香五月亚综合图片| 六月99天天婷婷激情综合| 中文字幕无码人妻少妇免费视频| 激情丁香五月天图片| 久久婷婷精品| 日日夜夜爽| 亚洲综合九九| 丁香99| 99人人干| 激情五月婷婷网| 久久丁香综合精品综合| 婷婷金品综合视频| 人人草人人爱| 思思色综合网站| 任你搞网站| 51精品国自产在线| 色五月婷婷综合| 日日狠狠久久偷偷四色综合免费 | 开心激情综合| 激情性爱五月天网页| 超级碰碰碰97免费| 色情久久久| 久99久在线| 五月天久久色| 丁香五月婷婷亚洲人| 狠狠色噜噜狠狠| 激情婷婷| 精品久久99码| 日韩有码一区| 啪啪婷婷五月天激情| 婷婷五月天在线观看| 色综合色色| 久久久久婷| 久久玖玖综合| 国产毛片精品一区二区色欲黄A片| 久99久精品视频| 亚洲色A| 色色五月丁香婷婷| 丁香婷婷五月天色播| 伊人www22综合色| 婷婷丁香无码专区| 免费色色色| www.五月天婷婷| 亚洲成人影视在线| 五月色丁香综合| 久久免费精彩视频| 丁香五月婷婷操逼| 五月永久激情| 天天操夜夜操| 亚洲欧洲国产精品| 欧美va在线观看| 久草热8精品视频在线观看| 色欲丁香| 99毛片| 国产一级黄色影片,| 色婷丁香五月| 99热99色| 婷婷久久99| 色欲色香综合网| 少妇性按摩无码中文A片 | 色色亚洲99com| 综合五月天亚洲婷婷| 狠狠色噜噜狠狠| 久草热在线视频| 黄桃AV无码免费一区二区三区 | 97偷拍对白视频| 激情五月婷婷在线区| 九九Av| 综合狠狠干| 久久婷婷综合五月天| 超碰国产在线播放| 涩涩五| 六月婷婷色综合| 婷婷少妇激情| 射区导航| 欧美性爱一区| 五月综合久久| 亚洲视频另类| 婷婷激情五月综合在线视频| 亚洲精品性色| 天天狠狠插| 色在线视频网2025| 国产AV一区二区三区最新精品| 色情五月丁香| 人人操AV| 六月丁香啪啪啪| 91丁香五月| 大胆伊人久久| 99色网站| 97香蕉人人在线观看| 婷婷夜夜操| 99欧美热| 五月激情婷婷开心| 国产探花一片区| 99热这里只有精品官网| 91九九九色在| 99热99日天天干| 三级av在线| 超碰成人黄色网| 狠狠ri| 国产毛片操B| 欧美色爱五月天| 深爱激情网五月天| 激情六月天婷婷| 九九99一区| 可以看的av| 中文字幕在线免费观看视频| 爆乳熟女一区二区三区爆乳| 九月激情网| 91狠狠综合网| 婷婷五月天成人网| 九九热这里只有精品23| 成人做爰A片免费看网站找不到了| 五月婷婷六月丁| 天天日夜夜爽| 亚洲激情免费久久| 国产XXXX搡XXXXX搡麻豆 | 久婷久婷激情肉| 丁香五月天婷婷中文字幕| 久久一品区| 五月婷婷AV| 亚洲碰碰碰| 超碰93在线观看| 国产av影片| 天天色综网| 99热最新地址在线| 国产3p露脸普通话对白| 国产一二三四五六七八视频| 日韩黄色电影| 婷婷色五月天在线观看| 色色成人網| 丁香婷婷天堂| 日本狠狠网| 天堂成人久久| 99热在线观看免费精品| 欧洲高清免费久久| 97香蕉人人在线观看| 中文字幕激情综合| 人人澡天天色天天做| AAA亚洲AV| 色五月婷婷丁香凹凸| 九九99久久| 久久综合激情| 538在线精品| 狠色色狠网| 日韩欧美一道四区中文字幕| 激情五月六月婷婷| 激情www.98com| 欧美久久久中文字幕| 激情网五月天| 丁香色五月婷婷17C| 精国产品一区二区三区A片| 色99在线| 五月综合激情综合久| 激情综合激情综合| 婷婷五月天av| 五月天婷婷免费| 99色这里| 国产精产国品一二三在观看| 激情五月天婷婷在线网址发给我 | 热久久91| 一级A片天天操夜夜操| www.com色播五月天| 久久五月网| 色青青五月| 亚洲情欲久久| 狠狠干在线| 色五月婷婷激情综合网| 人妻中文字幕精品| 激情六月天| 99热在线观看亚洲区| 色婷婷狠| 丁香久久在线| 天天做天天爱天天爽在| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 婷婷五月天电影在线| www.99色| 国产精品人妻在线网址| 97韩国久久电影院| 亚洲综合激情五月久久| 97视频.干com| 人人操av| 91国产精品视频播放| Va另类视频| 一级韩国产精品毛| 丝袜大香蕉| 久久性爱视频网站| 婷婷六月丁香色| 香蕉大综综综合久久| 欧美性生交XXXXX无码小说| 色五月人妻| 亚洲熟妇AV综合网五月丁香伊人 | av中文在线| 婷婷丁香18| 亚洲精品乱码久久久久久综合| 青青999| 九九热精品| 五月丁香婷婷爱| 丁香激情合作五月| 玖玖色综合| 另类亚洲电影| 色婷婷成人做爰A片免费看网站| 人妻久久久久久| 六月丁香综合网| 久久婷婷网| www。五月,com| 国产日比| 九九热99视频| 99这里只有| 五月丁香综合久久| 国产激情综合五月久久| 婷婷综合偷拍| 人妻日日日| 婷婷五月天电影网| 五月天伊人综合| 伊人久久五月天| 国产色丁香| 岛国操B不卡在线| 日日操夜夜擼| 婷婷伊人綜合中文字幕小说| 亚洲免费av在线| 综合五月激情| 亚洲婷婷丁香五月亚洲| 久er7久热| 九九九热精品| 色五月偷偷| 久久五月婷综合网| 99精品视频播放| 天天操夜夜操| 超碰av在线| 五月丁香婷婷无码A∨| 亚洲第一黄网| 97碰在线视频| 亚洲色基地| 丁香花社区av| 91精品丝袜久久久久久| www.五月丁香| 超碰久热| 欧美日韩99| 性欧美日本| 婷婷社区五月天| 五月婷婷精品无在线| 26UUU在线观看| 亚洲第一色色色| 丁香久久| 天天日天天狠狠操| 人妻性爱av网站| 91尤物九色在线| 久久九九中文字幕| 婷婷丁香五月91| 色人五月婷婷| 亚洲AV永久无码影院黑人| 天天天天干| 超碰在线9| 婷婷久久五月| 五月天色五月天| 99久99久| 色欲久久久久久综合网综合网| 久久性爱视频| 亚洲成av人影院| 婷婷四色成人综合色视| 久久色9| 无码少妇高潮喷水A片免费| 色婷婷久久| 色五月婷婷综合| 开心激情网在线| 国产激情综合五月久久| 另类小说五月天| 日日爽夜夜爽| 国产AV一区二区三区最新精品 | 香蕉伊人综合| 99九九在线| 激情婷婷丁香五月天| 青青草轻轻操| 日韩色色色99| 欧美婷婷五月无砖| 日韩成人精品一区久久久久| 丁香婷婷色情社区成人小说| 五月成人天| 人妻啪啪啪| 久久九九@| 婷婷五月丁香久久| 六月丁香五月婷婷| 日韩av手机在线观看| 丁香六月在线综合| 91超级碰人人操| 99热亚洲精品| 婷婷五月播| 丁香五月婷婷亚洲色图| 久久99这里只有精品视频| 婷婷五月天激情影片| 激情丁香六月| 亚洲 视频 导航 一区| 99这里热| 日韩1区2区| 亚洲精品又粗又大又爽A片| 日韩ww| 亚洲激情六月丁香| 久热中文字幕| 九热在线这里有精品6| 天天综合亚洲综合| 五月天激情小说| 激情色播| 国产毛片精品一区二区色欲黄A片| 爱iii做iiii日日| 夜色综合网| 久久婷婷五月天懂色| 五月婷婷激情色情网| 人草人人| 精品久热| 女同在线9| 婷婷色五月开心五月| 东京热伊人| www.十八禁不禁AV.com| 亭亭玉月丁香| 亚洲九九夜夜| 激情五月婷婷色色| av九九| 九九精品在线网| 色五月激情综合| 激情五月综合亚洲另类| 激情五月天情色| 激情av| 另类国产综合| 丁香五月欧美激情| 国产毛片精品一区二区色欲黄A片| 亚洲中文AV网站| 五月天色色色| 日日日日操| 丁香九月久久| 五月激情婷婷偷拍| 五月天婷婷色色| se色综合网| 9久久精品| 在线中文字幕av| 久久婷婷五月| 成人综合伍月天| 色噜噜狠狠色综合日日免费| 天天操夜夜啊| 天天色播| 午夜爱插插| 超碰人人99| 丁香婷婷影院| 国产性av| 婷婷丁香91综合| 99色色| 欧美99热| 九九色婷婷| 国产91视频| 内射综合网| 五月婷婷婷丁香播| 亚洲精品激情| 操一操干一干| 思思久久精品| 日本婷婷五月天| 五月六月伦理| 色七七色九九| 天天操综合网| 五月丁香六月婷婷在线播放| 99热99精品| yirenjiqingshiping| 久久激情视频99| 伊人五月天在线| 成人亚洲精品久久久久| 色婷视频| 五月激情六月综合| 久久婷婷午夜| 天天综合色丁香| 久热中文字幕| 色五月婷婷影视| 丁香婷婷六月天| 亚洲中文乱字字幕在线永久| 久久久jd| 99思思| 日韩一级一片内射视频4K| 色色五月天婷婷| 婷婷五月天丁香社区| 精品AV无码超碰| 少妇激情五月婷婷| 五月婷婷五月天| 999精品乱码77777| 99视频这里有精品免费观看| 怎么样可以看免费的一级av| 日日日日做夜夜夜夜无码 | 五月丁香在线婷婷蜜桃| www.婷婷五月.com| 深爱激情网五月| 天天摸天天肏| 九九99精品视频| 99精在线| 久久久久久18| 五月天俺去也| 婷婷色色综合| 五月四色色| 国产精品大香蕉| 婷婷爱爱蜜臀天天操| 久久免费精彩视频| 一区二区乱视频码| 婷婷5月九九| 麻豆AV一区二区三区| 狠狠狠婷婷五月综合| 99精品在线| 丁香婷婷黄网站| 香蕉婷婷色五月| 九九热精品99| 噜噜噜久久| 99综合在线| 亚洲中文乱字字幕在线永久| 无遮羞AV| 9热精品| 激情无码五月天| 婷婷五月天激情AV影院| 美女五月狠狠| 婷婷狠狠青青| 99热6色| 亚洲区在线| 激情五月天免费视频| 三人荫蒂添的好舒服A片| 亚洲俩性性爱图片久久第六页| 午夜丁香| 怡红院院在线导航网 | 无语停婷丁香网| 丁香五月婷婷激情视频播放| .青娱乐天天操B| 99惹精品视频| 日本在线观看99| 夜夜撸日日骑| 欧美男女婷婷| 久草a片| 伊人网碰碰| 激情综合婷婷| 精品久久二6| 激情六月天| 就爱啪啪婷婷| 香蕉影院色| 五月天激情无码| 熟美女麻豆| 国产裸舞表演WWWW| 超色欲天天| 色婷婷精品视频| 午夜成人AV在线| 久久香蕉网| 天天色天天色天天色天天色天天色天天色| 成熟妇人A片免费看网站| 97色伦另类图片小说视频 | 五月丁香| 五月婷AV| 五月天婷婷激情网| 九月婷婷激情| 色之综合网| 色五月中文字幕| 99免费视频网| WWW·色色色·COM| 亚洲日日操| 99综合婷婷五月| 丰滿爆乳一区二区三区| 五月天婷婷综合| 五月丁香婷婷基地| 日本精品人妻无码77777| 激情网婷婷婷| 五夜丁香| 天天天天干| 五月丁香激情六月| 日韩AV在线免费观看| 九九热只有精品| 五月综合激情综合久| 秋霞av不能| 色五月天堂| www.狠狠狠狠| 欧美日韩精品一区二区三区钱| 97人人操| 都市激情五月婷婷综合| 丁香五月婷婷国产av| 激情人妻综合| 妻久久久久| 国产色香蕉精品五夜婷| 色色五月婷婷| 激情婷婷综合五月少妇| 97极品在线| www.99热| 日日操天天操| 五月激情四射婷婷丁香| 99久久婷婷国产综合亚洲| 久久资源网五月婷| 激情都市五月天| 99九九视频精彩在线| 色啪网| 人妻久久久久久久| 人人爽天天莫| 高清 码 免费看片短视频| 色丁香五月婷婷| 欧洲高清免费久久| 站长推荐无码播放| 色五月激情五月| 91成人电影| 六月丁香深深爱| 2016日日夜夜操| 99无码| 色五月五月天色婷婷色五月| 亚洲综合色网站| 亚洲综合成人网站| 国产精产国品一二三在观看| 97丁香五月| 69激情小说| 99免费热视频在线| 婷婷五月精品| 五月天婷婷在线视频| 色播播婷婷| 99热这是里只有精品| 久久综合五月婷婷| 少妇AB又爽又紧无码网站| 狠狠干综合| 99热这里有精品2| 超碰操网| 99色视| 亚洲精品国产熟女久久久| 色5月婷婷色| 久久AV电影| 四月婷婷五月色综合| 久久五月婷婷视频| 国产偷人爽久久久久久老妇APP | 26uuu国产| 婷婷六月色丁香视频在线观看| 狠狠狠狠狠干| 九九色99| 九九色情网五月天| 亚洲免费av在线| 色婷婷成人网| 狠狠穞A片一區二區三區| 五月天天天综合| 午夜无码熟熟妇丰满人妻 | 99热插| 十月丁香九月婷婷综合| 激情久久丁香| 97碰碰视频在线观看| 激情综合色网| 9久久精品| 久久人妻系列| 日本久碰| 色色五月天网站| 欧美日韩成人在线| 中文字幕无码人妻少妇免费视频| 亚洲精| 五月丁香婷婷老司机| 六月丁香色色| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 天天爽日日爽夜夜爽| 婷香狠狠爱五月| 99久久9| 情婷婷五月天在线| 五月 婷 久| 九九综合| 热无码A∨| www超碰com| 日韩在线观看亚洲| 亚洲色色在线| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 婷婷五月天狠狠色| 色热久资源| 五月天天丁香婷婷| 五月天社区婷婷丁香社区| 激情丁香五月天综合| 1000部毛片A片免费观看| 深爱婷婷丁香五月激情| 五月婷婷色影院| 极品人妻VIDEOSSS人妻| 五月丁香六月激情欧美综合| 99久热在线精品| 色婷婷六月| 激情综合在线观看| 五月花成人网| 97日在线视频| 最近中文字幕大全免费版在线| 色色色成人网| 五月久久五月激情| 精品国产a| 色五月在线观看| 秋霞网在线观看理论91| 五月天婷婷綜合院| 少妇2做爰HD韩国电影| a久久| 丁香色六月婷婷| 麻豆精品| 亚洲熟妇AV乱码在线观看| 99精品网| 色综合播放| 久久婷婷五月天激情四射| 国产精品a无线| 99色| 6080av| 成人短视频在线| 在线五月婷| 五月丁香影视| 九九热这里| 五月激情久久综合| 婷婷五月综合久久中文字幕| 99视频热99| 五月婷婷大香蕉| 91视屏在线观看com.wwwvv| 欧美三级黄色片久久| 国产精品美女久久久久AV超清| 中文字幕综合网| 丁香五月六月激情久久| 婷婷五月成年人| 婷婷五月天中文字幕| 亚洲精品一二三| 99啪啪| 欧洲色| 六月丁香婷婷在线波多| 天天肏屄夜夜爽| 26uuu偷拍亚洲欧洲综合| 色综合77777| 五月天激情婷婷| 婷婷欧美综合| 十月色综合| 99免费视频精品| se99高清无码| 午夜亚洲国产精品av一区二区| 蒲京久久无码视频| 久久久国产精品黄毛片| 九九久久精品| 台湾无码A片一区二区| 99热这里只有精品 搜| 亚洲精品乱码久久久久久综合| 丁香五月97视频| 99少妇精品| 色五月激情| 秋霞午夜理论| 五月开心啪啪| 色五月婷婷网| 狠狠草狠狠草| 97日韩无套内| av在线观看网址| 久热九九| 五月天色婷婷视频| 天天玩夜夜操| 久久久五月天| 中文字幕无码人妻少妇免费视频 | 激情五月丁香综合网站| eeuss人妻| 色欲天天综合网| 激情亚洲婷婷| 久久婷婷综合国产| 91九色无码内射| 热婷婷av| 婷婷99视频全集高清| 五月天婷婷激情春色小说| 婷婷情爱五月天6| 九九热这里只有精品7| 午夜亚洲国产精品av一区二区| 精品九九视频| 九九色婷| 熟女强人妻一区二区三区四区无| 九九黄色网| 99色视频| 日本色婷婷| 色优久久| 丁香婷婷大香蕉| 五月综合色| 久青草影院| www.久久99| 天天干一干| 久草五月| 一起草av| 亚洲熟妇AV乱码在线观看| 亚洲人妻av伦理| 五月婷婷综合在线| 操一区| 91狠狠综合久久久久久| 色一情一乱一伦一区二区三区| 色色色网站| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 99成人| 人人操av| 99在线免费观看| 专区无日本视频高清8| 蜜桃五月天| 色一情一乱一伦一区二区三区| 麻豆AV一区二区三区| 国产伦亲子伦亲子视频观看| 99cao婷婷| 久久99网| 亚洲碰碰碰| 国产9色在线/日韩| 2015好吊操| 五月天 综合 在线| 蜜乳国产网站| 3www激情| 婷婷激情人妻| 99精品热| 免费无码毛片一区二区A片| 丁香五月激情图片婷婷| 97超喷视频在线观看| 五月狠狠| 四色永久成人网站| 狠狠操天天操天天操| 亞洲自怕| 99五月婷| AV在线中文| site:wpjngj.com| 天天插夜夜爽| 毛片色五月| 殴美日韩成人| 日本天天操| 激情五月天色色| 一本婷婷丁香久久| 丁香婷婷91在线观看视频| 婷婷九月色| 色婷婷五月天激情综合| 人人妻久久妻| 婷婷色播婷婷| 亚洲乱码日产精品BD| AV六月丁香| 亚洲AV网址| 天天摸天天舔天天爽| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 久久久精品人妻录| 狠狠爱婷婷爱| 一起草AV| 国产亚洲99久久精品熟| 美女黄频aⅴ视频| 亚洲色色图片| 五月婷婷片| 99热9| 九九热狼人| 亚洲婷婷丁香| 色五月激情综合| 久狠狠| 色色无码| 射久久丁香五月| 九九综合视频在线观看| 操日挥操日日| 色婷婷电影网| 婷婷五月天在婷| 97精品在线| 激情五月天。| 97操碰在线视频| 国产六月婷婷| www.91在线观看| 在线观看国产高清视频免费网站 | 色婷六月| 五月丁香AV、伊人业余、性色熟妇| 激情久久丁香| 国产做A爰片毛片A片美国| 色五月婷婷五月天激情综合| 亚洲艹网| 91九色欧美| 中文字幕免费高清电视剧| 9有码中文| Se.婷婷五月天| 无码动漫av| 激情98色婷婷五| 粉嫩av蜜桃av蜜臀av| 五月天婷婷丁香六月| 538在线精品| 人妻操日日| 99这里只有免费的精品| 8区视频在线| 91婷婷丁香五月亚洲| 九九色热| 丁香五月欧美| 国产精品久久久久久喷浆| 婷婷九月丁香| 国产26uuu| 成人网在线观看视频| 久久五月婷婷电影| 色欲一区二区三区精品A片| 色视频色综合91| 97干在线视频| 天天射影院| 综合久久十三| 日本丁香五月婷婷| 99热青青草| 丁香六月婷婷激情| 襙比视频| 色播五月婷婷| 亚洲六月色婷婷| 深爱激情丁香| 国产精产国品一二三在观看| 色婷婷小说| 天天日天天色| 噜噜五月天综合| 九九热短视频在线观看| 丁香五月偷拍| 九九色人| 五月婷婷成人| 色碰97| 79成人网| 97人人草| 久久视屏这里只有久久| 婷婷九月亚洲| 黄久久久| 五月亭亭综合五码| 国产真实乱对白精彩| 狠狠狠婷婷五月综合| 国产熟女一区二区三区五月婷| 九九久久高清| 五月丁香亚洲婷婷| 丁香五月天91| 久热中文字幕在线线观看| 99色在线| 久鲁鲁色网| 婷婷色婷婷| 五月婷婷久久久| 99激情在线| 超碰色婷婷| 婷婷大乡焦噜噜| 丁香伊人五月色婷婷五十路| 丁香五月无码| 婷婷日韩| 99热这里只有精品最新| 色综合77777| 精品色色网| 超碰只有精品在线| 五月婷婷免费视频| 99re6在线视频精品免费| 婷婷五月综合欧美在线播放| 国产看真人毛片爱做A片| 五月丁香久久色| 99久久9| 欧美va国产va| 另类图片五月天激情| 婷婷五月天网址| Av性爱网站| 久久激情四射| 狠狠狠狠狠狠色| 五月色婷婷综合色| 人操综合| 伊人超碰| 26uuu国产精品| 九九精品少妇| 激情五月婷| 日日干日日色| 亚洲综合碰| 一级性爱视频| 天天天添天天操| 色综合视频| 国产肥白大熟妇BBBB视频| 天天操夜夜爽歪歪| 欧美久久婷婷| 亚洲精品无AMM毛片| 五月色综合| 五月激情综合婷婷| 狠狠狠狠青草| 成年人丁香五月| 国产精品久久久60086| 超碰在线超碰| 97在线观视频免费观看| 欧美性丁香色色五月天干干| 激情五月天综合网站网站网站| 日韩啪啪自拍| 色婷婷视频在线| 亚洲第一精品成人999久久精品| www99精品| 韩国不卡AC视频| 久99视频| 思思久日精品视频| 丁香五月天堂网| 五月丁香黄色| 99在线视频喷水| 黄色三级日本| 丁香综合婷婷开心激情网| 色色操| 天天爽天天摸| 日韩视频女神99| 色婷婷综合网| 五月天色五月天| 狠狠色婷婷综合开心影视| 中文字幕激情综合| 99热免费网站| 91精品久久久久久久久久| 激情综合网五月| 亚洲综合成人网| 欧美性猛交 XXXX 乱大交| 99成人精品视频| 玖玖婷婷色五月| 色五月激情综合网| 有哪些A片网站| 99精品97| 99精彩视频| 婷婷精品性视频| 亚洲天堂热| 九色综合网| 影音先锋一区| 99精品视频在线免费观看| 91丨九色丨国产打屁股网站| 97婷婷狠狠| 婷婷五月欧美综合| 婷婷成人在线| 婷婷五月综合激情| 天天操综合网站| 色九月婷婷| 午夜AV网| PORNY九色9l自拍视频成人| 很很干在线视频| 婷婷激情视频| 极品少妇高潮啪啪AV无码| 狠狠人人婷婷| 中文久久久人妻| 91久久九九| 99热18| 欧美精品熟女一区二区| 91综合国免费久入| 久久久久久久久久久久久久久久一道本| 色综合激情| 久久久色婷婷五月天| 综合超碰熟| 亚洲九区| 成人丁香五月天Av| 亚洲综合色丁香五月天| 久久99精品日本| 婷婷色影音天| 婷婷色色五月天| 97婷婷五月| 天天色天天爽| av无码电影| 婷婷操逼| 97极品在线| 99er6热在线观看精品6| www,色婷婷| 日本综合99| 婷婷丁香成人| 亚洲日日操| 色欲久久综合| 性爱七区| 丁香网五月天| 色色色99| 久久a热| 日日噜狠狠色综合久久| 午夜天堂啪啪| 久久伊人婷| 婷婷香草网| 九九这里都是精品| 激情丁香五月| 99热中国| 国产阿姨日皮艹逼内射视频| 五月婷婷啪啪啪| 欧美日韩中国| 国产精品涩涩涩视频网站| 91九色在线视频| 99色亚洲| 丁香婷婷六月激情综合| 九九碰九九爱97超碰| 婷婷五月精品中文字幕| 五月婷婷之综合激情在线| 国产成人精品一区二三区熟女在线 |