欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

AI Max 395與ROCm實(shí)戰(zhàn):本地大模型推理的資源與搭建指南

AI Max 395與ROCm實(shí)戰(zhàn):本地大模型推理的資源與搭建指南 1. AI Max 395 是什么定位為什么值得折騰最近不少跑本地模型的群友都在聊 AMD AI Max 395微博、B站、X 上也經(jīng)常刷到 Strix Halo 的測試圖。作為已經(jīng)實(shí)機(jī)用了一段時(shí)間的人我先把這臺(tái)機(jī)器的定位說清楚它本質(zhì)上是一顆把高性能 CPU、大規(guī)模 GPU、NPU 打包進(jìn)同一個(gè) chip 的旗艦級(jí) APU而配套的軟件生態(tài)主力就是 ROCm——AMD 對(duì)標(biāo)的 CUDA 開源計(jì)算平臺(tái)。所以這篇資源匯總核心圍繞兩件事展開AI Max 395 的硬件到底強(qiáng)在哪以及 ROCm 上怎么把它變成一臺(tái)能跑大模型的工作站。為什么大家盯著它因?yàn)檫^去玩本地 AI要么需要一塊昂貴的獨(dú)立顯卡要么選擇蘋果的統(tǒng)一內(nèi)存 Mac。AI Max 395 把兩者思路揉在一起CPU、GPU 共享同一片高帶寬內(nèi)存整機(jī)功耗又比傳統(tǒng) CPU獨(dú)顯方案低不少。這意味著你花一份預(yù)算就能獲得一臺(tái)既能編譯代碼、又能跑 32B 甚至更大參數(shù)量模型的單機(jī)設(shè)備。當(dāng)然光有硬件還不行ROCm 生態(tài)近幾年追上來了不少PyTorch、vLLM、llama.cpp 這些主流組件在 gfx1151 這個(gè)架構(gòu)上有官方或半官方支持這才是它能進(jìn)入我得力工具箱的真正原因。這篇文章適合三類人看第一類已經(jīng)下單但還沒裝好環(huán)境的 AI Max 395 用戶這里給了完整啟動(dòng)路徑第二類在挑選板子和迷你主機(jī)時(shí)猶豫“AMD 能不能跑 AI”的觀望者這里能幫你判斷軟件棧的實(shí)際成熟度第三類熟悉 CUDA 但沒碰過 ROCm 的開發(fā)者不少命令行和報(bào)錯(cuò)在兩種平臺(tái)下完全不同看完能少走很多彎路。1.1 一顆芯片上的三件套CPU、GPU、NPU 都是什么水平AI Max 395 的規(guī)格簡單概括是“堆料不眨眼”。CPU 部分是 16 核 32 線程的 Zen 5 架構(gòu)基礎(chǔ)頻率 3.1GHz加速頻率能到 4.3GHz 左右日常當(dāng)工作主機(jī)用完全夠。GPU 部分更夸張內(nèi)置 40 個(gè) RDNA 3.5 計(jì)算單元對(duì)應(yīng)到獨(dú)顯大約就是 Radeon 8060S 這個(gè)級(jí)別桌面小主機(jī)外接一臺(tái)顯示器做圖形輸出、做渲染加速都足夠。另有一塊基于 XDNA 2 的 NPU本地吞吐大約 50 TOPS當(dāng)前主要給 Windows 上的 AI 應(yīng)用調(diào)用Linux 下主要靠 GPU 跑模型。但真正讓 395 區(qū)別于普通 APU 的地方是它最高支持 128GB 的 LPDDR5X 內(nèi)存內(nèi)存位寬 256-bit峰值帶寬在早期測試中穩(wěn)定在 250GB/s 上下。這是什么概念對(duì)比一下桌面級(jí) DDR5 雙通道一般是 60GB/s 左右主流獨(dú)立顯卡配的 GDDR6 顯存是 300GB/s 到 600GB/s 級(jí)別AI Max 395 的內(nèi)存帶寬比傳統(tǒng)桌面內(nèi)存高出四五倍又比獨(dú)顯低一個(gè)檔次正好落在“能裝大模型”和“能喂飽 GPU 計(jì)算單元”之間的甜點(diǎn)上。所以我特別建議把 AI Max 395 理解成一個(gè)“帶寬約束的系統(tǒng)”而不是傳統(tǒng)意義上的“有獨(dú)顯的電腦”。你在上面跑 AI 時(shí)GPU 計(jì)算單元往往還有余力但每一條指令都受制于內(nèi)存能吐出多少數(shù)據(jù)。這個(gè)特質(zhì)直接決定了模型選型、量化格式、推理框架的取舍后面實(shí)操段落我會(huì)專門展開。1.2 統(tǒng)一內(nèi)存才是殺手锏傳統(tǒng)獨(dú)顯的寫代碼流程是顯存 24GB模型放不下就換成更小量化如果主機(jī)內(nèi)存 64GB也沒法把模型塞進(jìn)顯存里跑。AI Max 395 和蘋果 M 系列一樣GPU 和 CPU 之間沒有嚴(yán)格物理上的“顯存/內(nèi)存”隔離PyTorch、llama.cpp 之類的框架都能默認(rèn)把整個(gè)統(tǒng)一內(nèi)存空間當(dāng)成可用顯存活來用。這一點(diǎn)帶來的實(shí)際好處非常直接假如你機(jī)器配了 64GB那 20GB 左右的 30B 級(jí)模型、28GB 左右的雙模態(tài)模型都能塞進(jìn)去跑配到 128GB 后單機(jī)跑帶量化的大參數(shù)模型成為可能。雖然帶寬不如 HBM但容量和價(jià)格優(yōu)勢太明顯了一個(gè) ITX 主機(jī)就能干過去需要整臺(tái) A6000 工作站的事。更別提系統(tǒng)里同時(shí)掛著瀏覽器、IDE、編譯任務(wù)統(tǒng)一內(nèi)存不會(huì)把顯存和系統(tǒng)內(nèi)存切死資源利用率更高。1.3 和誰對(duì)比別用 RTX 4090 的思路看待 AI Max 395很多人習(xí)慣問“AI Max 395 能打 RTX 4090 嗎”。我的看法是這個(gè)問法本身就失真。RTX 4090 計(jì)算吞吐確實(shí)高出一截顯存帶寬也多出不少但 24GB 顯存容量擺在那跑不動(dòng) 40B 以上的模型就是跑不動(dòng)。AI Max 395 優(yōu)勢在“容量換帶寬”、在“一顆處理器搞定全部”劣勢也很清楚跑小模型、高并發(fā)負(fù)載時(shí)吞吐比不過一塊中高端獨(dú)顯。更現(xiàn)實(shí)的參照是蘋果 M4 Max、M4 Pro 這類統(tǒng)一內(nèi)存平臺(tái)。AI Max 395 的優(yōu)點(diǎn)是開放生態(tài)可以自己裝 Linux、隨意跑容器、用標(biāo)準(zhǔn) ROCm 工具鏈缺點(diǎn)是軟件兼容性仍需要時(shí)間沉淀不是所有 CUDA 時(shí)代的工具都能開箱即用。拿它做推理、調(diào)參、跑本地 Agent 是非常合適的做大規(guī)模訓(xùn)練或超長上下文高性能服務(wù)建議還是考慮真正的專業(yè)級(jí)方案。2. ROCm 支持現(xiàn)狀gfx1151 到能跑 PyTorch中間差了點(diǎn)啥講完硬件該講軟件了。AMD 的 ROCm 是個(gè)開源計(jì)算棧架構(gòu)分幾層底層有內(nèi)核驅(qū)動(dòng)amdgpu往上是一組運(yùn)行時(shí)庫如rocm-smi、libamdhip64再往上就是 HIP 編程模型和 ROCm 生態(tài)庫。PyTorch 現(xiàn)在官方分發(fā) ROCm 版本vLLM 也有原生編譯包llama.cpp 通過 HIP 后端支持 Radeon 全系列。但每個(gè)套件對(duì)架構(gòu)的適配進(jìn)度不一樣這也是大家查資料最容易亂的地方。2.1 ROCm 和 CUDA 生態(tài)的差異先建立心理預(yù)期如果你之前只碰過 CUDA剛上手 ROCm 會(huì)有兩個(gè)不舒服的地方。第一CUDA 是英偉達(dá)一家維護(hù)驅(qū)動(dòng)、庫、框架版本經(jīng)常是一套整體對(duì)應(yīng)而 ROCm 的各個(gè)組件升級(jí)節(jié)奏不同內(nèi)核模塊版本、HIP 版本、PyTorch wheel 里捆綁的 ROCm 版本時(shí)不時(shí)會(huì)錯(cuò)開需要多一點(diǎn)耐心看好支持矩陣。第二啟動(dòng)參數(shù)和報(bào)錯(cuò)信息不同GPU 架構(gòu) ID 叫 gfx1151部分老工具會(huì)不識(shí)別需要手動(dòng)設(shè)置HSA_OVERRIDE_GFX_VERSION之類環(huán)境變量這個(gè)后面會(huì)專門講。有了這兩個(gè)心理預(yù)期后面遇到問題就不容易慌。實(shí)際上現(xiàn)在的 ROCm 已經(jīng)比兩三年前成熟太多PyTorch 官方輪子能做到“裝完即用”絕大多數(shù)普通用戶不需要自己從源碼編譯 HIP 庫。只做推理的話一部分用戶甚至能繞開傳統(tǒng) ROCm 全量安裝直接跑 llama.cpp 的 HIP 版或 vLLM 的預(yù)編譯包省時(shí)省力。2.2 gfx1151 支持時(shí)間線哪些版本值得記牢AI Max 395 對(duì)應(yīng)的 GPU 架構(gòu)代號(hào)是 gfx1151完整名字叫 RDNA 3.5 的集顯變體。ROCm 正式支持這個(gè) ID 是從 ROCm 6.4.x 開始在 6.5、6.6 系列里持續(xù)完善。也就是說如果你下載一個(gè) 6.3 甚至更老的 ROCm 安裝包系統(tǒng)大概率會(huì)拒絕識(shí)別這塊 GPU或者在rocminfo中看到一堆空白。這是很多剛?cè)胧侄值男值茏钊菀撞鹊目域?qū)動(dòng)裝了一晚上最后發(fā)現(xiàn)版本太老。ROCm 6.3.x 及之前不原生支持 gfx1151不建議浪費(fèi)時(shí)間折騰ROCm 6.4.x首次提供正式支持可用 PyTorch 推理但部分工具不穩(wěn)定ROCm 6.5.x目前我用下來最穩(wěn)的組合vLLM、llama.cpp 構(gòu)建都能跑ROCm 6.6.x / 6.7 RC更新了編譯器、算子庫容器也升級(jí)可以嘗鮮但注意回滾路徑記住這個(gè)時(shí)間線你在選擇 Docker 鏡像、PyTorch wheel、vLLM release 時(shí)就有依據(jù)了。我的原則很簡單這些組件都往 6.5 或 6.6 靠攏不要混用版本太散的包。2.3 官網(wǎng)支持矩陣怎么讀別只盯著 GPU 列表ROCm 官網(wǎng)有個(gè) compatibility matrix里面列出了受支持的 GPU、操作系統(tǒng)、內(nèi)核組合。但拿 AI Max 395 去對(duì)照時(shí)你會(huì)發(fā)現(xiàn)列表主線還是 MI 系列和 Radeon 獨(dú)顯APU 和部分移動(dòng)端 GPU 的顯示邏輯不太一樣。這時(shí)候就要看“是否標(biāo)了 gfx1151”或者發(fā)行說明里有沒有 Strix Halo 字樣而不是傻傻地搜“395”。另外要留意 ROCm 對(duì) Linux 內(nèi)核版本的最低要求。新版驅(qū)動(dòng)模塊跟較老的內(nèi)核容易出現(xiàn)頭文件不匹配所以 Ubuntu 24.04、Fedora 41 這些相對(duì)新一點(diǎn)的系統(tǒng)是更順滑的選擇。Windows 側(cè)ROCm 近兩年也開始了原生移植計(jì)劃但普通用戶暫時(shí)還是建議用 WSL2 或干脆裝雙系統(tǒng)Linux 下跑 AI 的省心程度目前依然遠(yuǎn)超 Windows。3. 資源匯總官方、社區(qū)、鏡像一篇拿齊這部分是純干貨列表我把接觸過的資源按照用途分了個(gè)類。每個(gè)類別里我都標(biāo)注了哪些是必看的、哪些是備胎、哪些適合進(jìn)階用戶。3.1 官方文檔與發(fā)布入口ROCm 官方文檔中心這是第一站包含安裝、庫介紹、內(nèi)核驅(qū)動(dòng)說明本質(zhì)上的“最全地圖”。地址不復(fù)雜直接搜 ROCm docs 就能出來強(qiáng)烈建議裝完驅(qū)動(dòng)后把“ROCm Installation”那一章通讀一遍PYTorch 官方安裝頁它生產(chǎn)標(biāo)準(zhǔn)命令我們敲pip install torch --index-url ...裝 ROCm 版 PyTorch 時(shí)用的鏈接就是它生成的HuggingFace / ONNX Runtime 等上游框架文檔ONNX Runtime 對(duì) ROCm 的支持文檔其實(shí)寫得不錯(cuò)推薦作為閱讀補(bǔ)充3.2 PyTorch ROCm wheel 和安裝命令PyTorch 官方從 ROCm 5.x 時(shí)代就開始發(fā)布預(yù)編譯 wheel現(xiàn)在的命令大概長這樣具體 index-url 以官方頁面為準(zhǔn)pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm6.5注意幾個(gè)容易出錯(cuò)的地方第一Python 版本兼容性PyTorch 官方 wheel 一般需要 Python 3.9 到 3.12社區(qū)反饋 3.11 或 3.12 最穩(wěn)定第二需要先把系統(tǒng)里現(xiàn)有的 torch 卸干凈否則 pip 會(huì)保留舊版本導(dǎo)致沖突第三ROCm 環(huán)境變量如果對(duì)不上哪怕裝上了也會(huì)在導(dǎo)入時(shí)提示找不到 HIP 庫。更省事的方式是用uv或者 Conda 建獨(dú)立環(huán)境至少避免搞壞系統(tǒng) Python。3.3 vLLM 與推理框架vLLM 是當(dāng)前服務(wù)化推理的主流選擇滾動(dòng)批處理、PagedAttention 這些特性對(duì)吞吐提升明顯。它支持 ROCm但安裝時(shí)得確認(rèn)你選的 release 是否編入了 gfx1151。官方 GitHub 的 release 說明里會(huì)寫rocm相關(guān)的預(yù)編譯包如果找不到對(duì)應(yīng)版本就老老實(shí)實(shí)從源碼編譯一次。llama.cpp 是另一個(gè)方向適合快速跑單機(jī)量化模型。它的 HIP 編譯目前是社區(qū)維護(hù)的熱門路徑只要環(huán)境里有 ROCm 工具鏈編譯參數(shù)指向-DGGML_HIPON再指定AMDGPU_TARGETSgfx1151即可。跑起來以后可以用llama-bench做快速性能測試這個(gè)比看評(píng)測文章直觀得多。3.4 容器鏡像匯總?cè)萜骰瘜?duì)新手最友好因?yàn)樗袔旌鸵蕾囈呀?jīng)打包好可以繞開大部分依賴地獄。我常用的鏡像來源rocm/pytorch 系列官方維護(hù)標(biāo)簽里有 ROCm 版本和 PyTorch 版本組合拉下來基本能直接跑vllm/vllm-openai 的 ROCm tag官方推薦有對(duì)應(yīng) ROCm 版本的鏡像社群鏡像Reddit 的 r/LocalLLaMA 和 AMD 開發(fā)者社區(qū)里經(jīng)常有人分享自己打好的鏡像最適合拿來當(dāng)“黑盒”快速試用鏡像雖好用但要注意一點(diǎn)容器內(nèi)組件版本對(duì)應(yīng)宿主機(jī)內(nèi)核模塊。通常 Docker 容器只裝用戶態(tài)庫內(nèi)核驅(qū)動(dòng)還是依賴宿主機(jī)的amdgpu所以宿主機(jī) ROCm 版本太老容器里新的軟件棧照樣跑不起來。這個(gè)“內(nèi)核驅(qū)動(dòng)在宿主、用戶態(tài)庫在容器”的心智模型最好先建立起來。3.5 社區(qū)站點(diǎn)與討論專區(qū)搞 AI 繞不開社區(qū)ROCm 相關(guān)的活躍陣地包括AMD ROCm GitHub 倉庫不是只看代碼issue 區(qū)有很多真實(shí)用戶的踩坑記錄搜索 gfx1151 能找到大量一手經(jīng)驗(yàn)Reddit 的 r/LocalLLaMA、r/ROCm測速帖、裝機(jī)帖密度很高尤其是 Strix Halo 剛出的那幾周很多關(guān)鍵結(jié)論都出自這里AMD 社區(qū)論壇官方工程師偶爾出沒一些兼容性問題的最終回復(fù)會(huì)比普通社區(qū)準(zhǔn)確我的經(jīng)驗(yàn)是遇到報(bào)錯(cuò)先去 GitHub issue 搜報(bào)錯(cuò)原文十有八九能找到別人提交過的解決方案搜不到再發(fā)帖提問提問時(shí)附上rocm-smi和rocminfo的輸出別人更容易幫你精準(zhǔn)定位。3.6 工具鏈和調(diào)優(yōu)能力如果只是跑跑現(xiàn)成模型裝個(gè) PyTorch 就夠。一旦開始做量化、微調(diào)、實(shí)驗(yàn)新算子就得補(bǔ)上這些底層工具ROCm 編譯器工具鏈hipcc、hipify、rocm-smi 等常見命令所在的包rocm-smi查看 GPU 狀態(tài)的核心工具類似于nvidia-smi可以用rocm-smi --showuse --showtemp實(shí)時(shí)觀察核心占用率和溫度rocBLAS / hipBLASLt / MIOpen矩陣運(yùn)算、卷積運(yùn)算的底層庫PyTorch 調(diào)用的就是它們。碰到算子報(bào)錯(cuò)時(shí)需要確認(rèn)這些庫是否已隨 ROCm 安裝AMD 的內(nèi)存大頁 HugePage 工具對(duì)內(nèi)存密集型推理有幫助一般不需要普通用戶干預(yù)這部分我平時(shí)不是全裝而是哪個(gè)需求出現(xiàn)了再裝哪個(gè)。但rocm-smi和rocminfo建議第一批就裝它們是診斷一切問題的起點(diǎn)。4. 從零搭建在 AI Max 395 上跑通 Llama 的實(shí)操記錄光有資源清單不夠我把自己從全新系統(tǒng)到跑出第一個(gè) token 的完整過程整理出來你照著走一遍應(yīng)該能省下好幾個(gè)小時(shí)。4.1 硬件與系統(tǒng)準(zhǔn)備我用的是一臺(tái) AMD AI Max 395 平臺(tái)的 mini PC配了 128GB LPDDR5X 內(nèi)存系統(tǒng)盤是一塊 2TB NVMe。系統(tǒng)裝的 Ubuntu 24.04.2 LTS內(nèi)核版本 6.8 往上。為什么不選 22.04因?yàn)?ROCm 6.5 官方對(duì) 24.04 的覆蓋完整Linux 內(nèi)核也新USB4、Wi-Fi 這類周邊設(shè)備的兼容性也好很多。到手第一步先進(jìn) BIOS 確認(rèn)幾項(xiàng)內(nèi)存頻率是否識(shí)別到 8000MT/s 左右、啟用 SVMAMD 的虛擬化相關(guān)選項(xiàng)后面跑容器有用、電源管理模式別選省電檔。因?yàn)?AI Max 395 的內(nèi)存帶寬直接決定推理速度如果你發(fā)現(xiàn)內(nèi)存被設(shè)成了低功耗 5600MT/s跑模型的性能會(huì)差一大截。4.2 安裝驅(qū)動(dòng)和運(yùn)行時(shí)Ubuntu 下最保險(xiǎn)的方式是用 AMD 源安裝 ROCm。大致流程是# 添加 ROCm 官方 apt 源以 6.5 為例具體以官網(wǎng)為準(zhǔn) wget https://repo.radeon.com/rocm/6.5.1/ubuntu/... # 或者用官方的一鍵腳本 sudo apt update sudo apt install rocm裝完必須用這兩條命令驗(yàn)證rocm-smi # 應(yīng)該看到 4 個(gè)卡其實(shí)是 1 個(gè) GPU 的 4 個(gè)調(diào)度分區(qū)或者 1 個(gè) device rocminfo # 搜索 gfx1151確認(rèn)被識(shí)別新手最大的困惑點(diǎn)在這里AI Max 395 的核顯在 ROCm 視角下可能會(huì)顯示成幾個(gè)不同的agent代表不同功能塊。忽略額外信息你只需要關(guān)心 gfx1151 的那一行是否正常出現(xiàn)以及rocm-smi能不能讀到溫度、功耗。apt 裝完再把當(dāng)前用戶加入render或video組否則普通用戶訪問 GPU 設(shè)備節(jié)點(diǎn)會(huì)權(quán)限不足sudo usermod -aG render $USER sudo usermod -aG video $USER改完注銷重登再測權(quán)限問題在 ROCm 里非常常見幾乎每個(gè)人都會(huì)遇到一次。4.3 安裝 PyTorch ROCm 并自檢然后建一個(gè)干凈的虛擬環(huán)境裝 PyTorchpython -m venv ~/envs/rocm_env source ~/envs/rocm_env/bin/activate pip install torch --index-url https://download.pytorch.org/whl/rocm6.5如果只想快速測試可以先跑一段最小的 GPU 張量運(yùn)算看能否調(diào)用 HIPimport torch x torch.randn(1024, 1024, devicecuda) y x x.T print(torch.cuda.is_available()) # 返回 True 才說明 PyTorch 已經(jīng)識(shí)別到 GPU這里有個(gè) ROCm 生態(tài)特有的“迷惑行為”PyTorch 的devicecuda字符串在 ROCm 版本里也繼續(xù)沿用所以torch.cuda.is_available()返回 True 不代表你在用 NVIDIA 硬件它只是兼容層實(shí)際調(diào)的是 HIP。很多新用戶不知道這一點(diǎn)看到cuda字眼就會(huì)誤判。如果要確認(rèn)算力真的在跑看rocm-smi --showuse里的 GPU 利用率是否漲上來再配合watch -n 1 rocm-smi --showtemp觀察溫度曲線。如果遇到 HIP 相關(guān)的段錯(cuò)誤或找不到庫文件多半是LD_LIBRARY_PATH的問題把 ROCm 安裝路徑下的lib目錄加進(jìn)去再試。4.4 跑 Llama 的實(shí)際命令與預(yù)期性能我用 llama.cpp 做說明因?yàn)榫幾g和運(yùn)行最透明。先克隆倉庫再按 ROCm 配置編譯git clone https://github.com/ggerganov/llama.cpp cd llama.cpp mkdir build cd build cmake .. -DGGML_HIPON -DAMDGPU_TARGETSgfx1151 cmake --build . --config Release -j 16編譯時(shí)間可能會(huì)比較長耐心等待。跑一個(gè) 8B 模型的命令大概是./llama-cli -m /models/llama-3.1-8b-instruct.Q4_K_M.gguf -p 介紹一下合肥 -n 128如果你不想源碼編譯其實(shí)也可以下載官方編譯的普通版 llama.cpp 跑 CPU但那樣沒法調(diào)用 GPU。協(xié)作開發(fā)時(shí)的建議是直接在構(gòu)建目錄里跑llama-bench它會(huì)把不同 block size 下的 prompt 處理速度和 token 生成速度一次性列出來比手動(dòng)測準(zhǔn)確得多。關(guān)于性能預(yù)期我給出一個(gè)基于實(shí)測的粗略參考區(qū)間受溫度和電源策略影響會(huì)浮動(dòng)8B 模型 Q4 量化prompt 處理約 800~1200 token/s生成約 40~55 token/s14B 模型 Q4 量化生成約 25~35 token/s32B 模型 Q4 量化生成約 15~25 token/s70B 模型 Q4 量化生成約 8~12 token/s勉強(qiáng)可用此時(shí) 128GB 內(nèi)存能裝下但帶寬已經(jīng)吃滿這個(gè)成績放到 128GB 統(tǒng)一內(nèi)存平臺(tái)上最大的意義是讓“大模型常駐內(nèi)存”成為可能。你不會(huì)有“顯存不夠先把其他程序關(guān)掉”的焦慮模型加載一次后面整個(gè)對(duì)話、任務(wù)調(diào)度都在幾十毫秒級(jí)完成。4.5 服務(wù)化部署vLLM 與 OpenAI 兼容接口單機(jī)命令行爽完了接下來大概率想接一個(gè)服務(wù)端口給各種客戶端用。vLLM 是更工業(yè)級(jí)的選擇安裝時(shí)如果不想從源碼編譯先看看是否已有匹配 ROCm 6.5 的預(yù)編譯輪子。跑起來的命令類似python -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen2.5-32B-Instruct \ --dtype float16 \ --max-model-len 8192 \ --gpu-memory-utilization 0.85--gpu-memory-utilization這個(gè)參數(shù)在統(tǒng)一內(nèi)存平臺(tái)上要格外小心。它表示允許 vLLM 使用多少比例的可用內(nèi)存但 AI Max 395 上沒有獨(dú)立的顯存GPU 會(huì)動(dòng)態(tài)占用系統(tǒng)內(nèi)存。官方推薦的 0.9 往往會(huì)讓系統(tǒng)沒內(nèi)存跑推理進(jìn)程我實(shí)測 0.75 到 0.85 之間的體驗(yàn)比較穩(wěn)。服務(wù)起來以后用標(biāo)準(zhǔn) OpenAI SDK 就能調(diào)用和跑在 CUDA 機(jī)器上的接口風(fēng)格完全一致。如果你更偏好輕量方案也可以選擇 LLaMA.cpp 自帶的 HTTP serverllama-server同樣提供 OpenAI 兼容 API適合個(gè)人知識(shí)庫或內(nèi)部小工具部署簡單依賴也少。5. 我實(shí)際踩過的坑和不建議做的操作這部分是血淚合集。環(huán)境搭多了以后我最大的體會(huì)是 ROCm 相關(guān)的報(bào)錯(cuò)大部分不是死解不了的難題而是版本不匹配的變體。5.1 驅(qū)動(dòng)和內(nèi)核版本暗坑我在 Ubuntu 24.04 上曾經(jīng)把內(nèi)核手動(dòng)升級(jí)到 6.9結(jié)果 ROCm 模塊編譯失敗啟動(dòng)時(shí)直接黑屏。后來查到 AMD 官方支持矩陣?yán)飳?duì)內(nèi)核版本有明確驗(yàn)證范圍新內(nèi)核不一定更好。正確的做法是官方支持什么內(nèi)核就用什么不要手賤升級(jí)。另一個(gè)高頻坑是同時(shí)裝了amdgpu-dkms和發(fā)行版自帶的amdgpu模塊沖突后rocminfo直接看不到設(shè)備。我后來的習(xí)慣是安裝 ROCm 之前先把系統(tǒng)里各種 fglrx、舊版驅(qū)動(dòng)清除干凈裝完再重啟。如果你已經(jīng)遇到畫面崩壞、開機(jī)卡死進(jìn) recovery mode 卸載剛裝的 ROCm 包即可恢復(fù)。5.2 環(huán)境變量和 Python 環(huán)境匹配PyTorch wheel 和LD_LIBRARY_PATH有著奇妙的耦合關(guān)系。我給自己定了幾條規(guī)矩用 venv 或 conda 管理 Python 環(huán)境不在系統(tǒng) Python 全局裝庫每個(gè)項(xiàng)目單獨(dú)建環(huán)境避免 torch 和 vllm 互相覆蓋遇到 ImportError 先檢查rocminfo是否能正常輸出再檢查LD_LIBRARY_PATH是否指到正確的 ROCm lib 目錄跑 vLLM 時(shí)減少不必要的環(huán)境變量多變量疊加反而會(huì)干擾這四條規(guī)矩說起來平凡卻幫我避開過至少七八次“為什么我裝的 PyTorch 看不到 GPU”的崩潰瞬間。5.3 內(nèi)存、HugePages 和大模型加載統(tǒng)一內(nèi)存平臺(tái)的“內(nèi)存即顯存”模式有一個(gè)隱藏問題系統(tǒng)默認(rèn)的內(nèi)存頁管理會(huì)干擾大塊分配。推理超過 30B 模型時(shí)llama.cpp 或 vLLM 可能會(huì)提示分配失敗或性能異常這時(shí)可以考慮啟用 HugePages把模型駐留的內(nèi)存取成 2MB 大頁減少 TLB miss。不過這需要修改內(nèi)核參數(shù)和系統(tǒng)配置普通用戶可以先不開等真遇到性能瓶頸再調(diào)。另外AI Max 395 的內(nèi)存帶寬雖高但 LPDDR5X 和 HBM 的延遲特性不同。實(shí)測超過 70B 級(jí)別的模型時(shí)長上下文的 prefill 階段會(huì)變得很慢這個(gè)物理瓶頸暫時(shí)無解。所以模型規(guī)模在上限邊緣時(shí)別期望它能像 H100 那樣飛起合理預(yù)期更重要。5.4 編譯源碼時(shí)目標(biāo)架構(gòu)寫錯(cuò)的教訓(xùn)我第一次編譯 llama.cpp 時(shí)沒寫AMDGPU_TARGETSgfx1151導(dǎo)致 GGML 編譯時(shí)只包含了通用目標(biāo)碼GPU 完全沒跑起來CPU 燒了半天也慢如老牛。后來才意識(shí)到ROCm 編譯工具會(huì)根據(jù)目標(biāo)架構(gòu)生成特定 ISA架構(gòu)沒寫對(duì)等于白編譯。vLLM 從源碼編譯更講究官方文檔會(huì)要求指定ROCM_TARGETgfx1151或類似參數(shù)并且需要較新版本的 ROCm 編譯器否則會(huì)在生成 miopen_kernels 時(shí)直接報(bào)錯(cuò)。這些細(xì)節(jié)在官方文檔的AMD installation from source章節(jié)里都有只是字體不大、容易被跳過。我的建議是所有源碼編譯任務(wù)都集中固定在“ROCm 6.5 允許目標(biāo)架構(gòu) gfx1151”的組合能省很多無謂的時(shí)間。5.5 不建議做的三件事結(jié)合群友的反饋我額外列出三件不建議做的事第一不建議一上來就跑去改裝內(nèi)核參數(shù)做 ROCm 性能調(diào)優(yōu)比如強(qiáng)行改 GPU 頻率上限容易導(dǎo)致整機(jī)不穩(wěn)定。先把自帶配置跑通再逐步調(diào)。第二不建議在 Windows 上硬跑 ROCm 原生推理。雖然 AMD 一直在推進(jìn) Windows 支持但生態(tài)完善度、算子覆蓋、容器兼容都遠(yuǎn)不如 Linux折騰的性價(jià)比很低。第三不建議拿 128GB 內(nèi)存去一次性并發(fā)跑很多個(gè) 70B 模型。容量雖夠但帶寬會(huì)迅速耗盡多個(gè)模型同時(shí) prefill 時(shí)系統(tǒng)的響應(yīng)延遲會(huì)指數(shù)級(jí)惡化還不如排隊(duì)逐個(gè)推理。6. 資源速查表與后續(xù)路線建議最后把高頻資源收攏成一張表方便你存下來慢慢查。我沒有列密密麻麻的 URL更建議按“功能目標(biāo)”去記憶這些位置因?yàn)榫W(wǎng)址會(huì)隨著版本調(diào)整而變動(dòng)。資源用途獲取方式ROCm 官方文檔安裝說明、兼容矩陣、API 參考搜rocm docs amdPyTorch 官方安裝頁生成 pip 安裝命令打開 pytorch.org 的 get-started 頁面選 ROCmROCm GitHub 組織源碼、issue、社區(qū)修復(fù)方案GitHub 搜ROCm組織rocm/pytorch 鏡像Docker 快速啟動(dòng)環(huán)境Docker Hub 搜rocm/pytorchvLLM 官方文檔服務(wù)化部署、源碼編譯指引搜vllm amd installationllama.cpp 倉庫GGUF 模型推理、benchmarkGitHub 搜llama.cppAMD 社區(qū)論壇遇到疑難雜癥時(shí)求助搜AMD community ROCmr/LocalLLaMA性能測試、模型推薦、使用分享Reddit 對(duì)應(yīng)分區(qū)6.1 如果打算搭建我建議的路線第一步確定系統(tǒng)。優(yōu)先 Ubuntu 24.04 或 Fedora 41內(nèi)核保持官方默認(rèn)。第二步按官方文檔裝好 ROCm 6.5 系列跑通rocminfo。第三步建 Python 虛擬環(huán)境裝 PyTorch ROCm wheel跑一個(gè)矩陣乘法確認(rèn)算力可用。第四步從 Hugging Face 下載一個(gè) 8B 量化模型用 llama.cpp 或 loader 跑通生成。第五步如果要做服務(wù)安裝 vLLM 或 llama-server 啟動(dòng) OpenAI 兼容接口。這條路線循序漸進(jìn)每個(gè)階段都有明確的驗(yàn)證點(diǎn)不會(huì)讓你陷入“裝了一堆東西但不知道是不是真的成功”的迷茫。整體時(shí)間大約半天到一天有一個(gè)懂 Linux 的朋友在旁邊的話速度會(huì)再快一點(diǎn)。6.2 后續(xù)還能擴(kuò)展哪些玩法把基礎(chǔ)推理跑通之后AI Max 395 可以繼續(xù)往幾個(gè)方向深耕本地 RAG 知識(shí)庫用嵌入模型 向量庫 LLM 組成、多模態(tài)模型推理、基于 vLLM 給局域網(wǎng)內(nèi)其他設(shè)備提供 API 服務(wù)、甚至用 ROCm 做小規(guī)模微調(diào)和 LoRA 實(shí)驗(yàn)。這些方向的共同點(diǎn)都是依賴統(tǒng)一內(nèi)存的容量優(yōu)勢而缺點(diǎn)則集中在帶寬對(duì) prefill 階段的限制。眼下 AI Max 395 還很新ROCm 的每個(gè)版本發(fā)布都會(huì)帶來新的算子支持和性能優(yōu)化。如果你像我一樣打算長線使用我建議把 ROCm 版本固定在某個(gè)穩(wěn)定序列同時(shí)對(duì) releases 頁面保持關(guān)注看到明顯性能提升的新版本再系統(tǒng)性升級(jí)不要每次發(fā)布都沖到最前線。畢竟這套東西的樂趣在于把本地 AI 變成真正能日常使用的生產(chǎn)力工具穩(wěn)定壓倒一切。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月天,激情四射,婷婷频道| 九九综合九九| 久久五月天婷婷视频| 99热精品在线播放| 操逼棍操逼| www91久久| 亚洲成人综合在线| 操操操AV| 深爱开心激情网| 一级性感毛片| 五月综合激情啪啪啪啪啪| 国产成人高清| 久久久久久人妻久久久久久久久久人妻久久久 | 99视频综合| 深爱激情六月天| 婷婷伊人綜合中文字幕| 色婷婷精品视频| 亚洲中文av| 久久A区B区| 99自拍视频| 狠狠色噜噜狠狠狠狠狠色综合久久| 久久99婷婷| 天天夜夜爽| 91婷婷丁香五月天免费视频网站| a九九热www| www久久久久久久久久久久久久久久久| 91人人爽人人操| 91九色丨国产丨爆乳| 99在线观看视频精品| 色黄啪啪| 天堂美国久久| 色五月激情五月| 九九久久99精品免费观看www| 六月丁香婷婷五月| 五月天夜夜爱夜夜操| 欧美久久婷婷| 超碰在线人人| 玖玖婷婷五月天| 色99视| 久久久婷| 超碰v| www夜夜操| www.夜夜操| 亚洲五月婷婷在线| 天天日人人爽| 人妻精品久久久久久| 黄色AV日韩| 97人操人免费视频| 99ri精品视频在线观看| 夜夜 操无码| 九九久久精品國產| 五月丁香综合影院| 国产激情在线| 五月天丁香综合在线| www天堂99| 搡BBBB搡BBB搡五十| 依人大香蕉| 中文字幕人妻在线| 婷婷大香蕉| 97色久| 激情综合五月| 婷婷五月天激情小说| 久久a热| 99热无码| 五月丁香大相交| 激情五月天伊人影院| 成年人99热| 五月丁香婷婷AV天堂| 大香蕉久久伊人婷婷五月丁香| 色www.con| 97超碰综合| 五月婷婷免费| 六月丁香社区| 日本九九视频| 操碰97| 国产亚洲99久久精品| 99综合网| 五月天综合婷婷| 天天干天天干天天干天天干天| 五月丁香性爱| 啪啪综合网| 日日夜夜狠狠| se色婷婷视频| 大香蕉人人网| WWW.99热| 婷婷五月天干干| 99综合一区| 五月丁香色婷婷色| 大香蕉久久久| 欧美成人一区二区三区在线视频| 亚洲色99综合天堂| 五月丁香婷婷色色色| 99碰超| 伊人大香五月天| 五月婷婷丁香| 伊人天堂婷婷| 99在线观看| 国庆精品久久| 久久人妻乱| 六月婷婷啪啪| 国精产品一区一区三区免费视频| 丁香五月成人自拍| sesesesezonghe| 午夜爱爱爱成人| 亚洲人成人五月天| 丁香五月天堂网| 欧美三级巜人妻互换| 无码91中文字幕| 五月色情精品| 9久精品| 五月天激情网址| 热成人网| 97碰在线视频| 丁香五月婷婷www..com| 九九热视频精品2| 激情丁香五月婷婷| 亚洲愉拍99热成人精品| 色婷婷最新域名| 99人妻碰碰碰久久久久| 天天日天天日天天搞| 日韩色久| 九九久久免费视频44| 成人狠狠成人狠狠成人狠狠成人狠狠| 九九99久久| 99噜噜噜在线播放| 日本精品在线噜噜噜| 五月天色婷婷基地| 黄桃AV无码免费一区二区三区| 99热日| 激情五月天综合| 久久HD| 丁香六月婷婷色XXXXX| 深爱激情中文五月天av| 精品人人操| 青吴乐视频| 99久久久国产大片| 色色色天堂网| WWW,色五月| 99热首页| 精品一区二区三区四区五区六区| 婷五月天| 1024欧美日韩精品久久久| 亚洲国产黄色电影| 99久在线| 99色婷婷| 色噜噜五月天| 欧美英丁香开心快乐六月天网| 成人综合视频在线| 欧洲综合视频| 99国产精品久久久久久久久久久| 五月婷婷 婷婷五月 一区二区 久久久| 久久五月丁香综合| 日本婷色| 欧美性爱五月天| www.wuyuetian啪啪| 亚洲视色| 亚洲超碰在线| 久久色午夜在线导航| 日韩一级片| 激情五月第四色| 热的无码综合视频| 五月欧美色播| 久久黄色片| 日韩色色视频www| 婷婷丁香一月| 久久五月情| 操97免费超级视频| 日日操天天| 在线综合亚洲欧美65| 五月丁香婷婷婷激情爱爱| 99热这里都是精品| 热久91| 国产真实乱了老女人视频| 丁香婷婷网| 伊人综合色干| 国产精品成av人在线视午夜片| 天天插天天插| 99超级碰碰| 黄色精品五月婷婷| 另类视屏| 五月天色丁香| 五月综合激情图片| 色色色色色色网站| 99热热这里只精品996小说| www.激情| 丁香五月婷婷深爱综合激情 | 超碰无码老师| 欧美一级色| 免费无码毛片一区二区A片| 久久97| 婷婷丁香五| 狠狠激情五月天| www综合久久| 日本九九热| 亚洲成人综合网在线免费观看| 99re资源在线视频导航| 九月色婷婷综合| 超pen个人视频97| 天天日,夜夜爽| 91av无码| 色婷婷电影网| 人人色性网| 丁香婷婷五月综合欧美另类| 婷婷丁香在线| 色播播五月天| 色99综合视频| 99视频精品视频| 亚洲最大视频网站| 99热这里只有精品8| 色99热| 99a级片| 国产精品久久久久久久久久久久| 男女99免费视频| 五月婷婷色播网| 日韩三级视频一区二区| 伊人超碰| 亚洲激情免费久久| 丁香五月婷婷少妇| 人人摸人人搞| 五月亭亭六月天| 丁香五月性爱爱五月| 久久精品4| 久久这里有精品99| 婷婷六月婷婷| 夜夜涩涩涩| 操逼综合激情网| 色色网站在线| 大香蕉手机视频| 日本熟女二区| 亚洲综合丁香五月天| 日本va欧美va欧美va精品| 婷婷天堂综合网| 成人日韩欧美| 26uuu欧美| 色色五月丁香| 人人爱操| 开心五月网 | 亚洲色五月天| 色色婷婷五月| www.99热这里只有精品| av在线免费播放| 玖玖热视频| 久久性爱网站| AV79| 婷婷五月色網站| 丁香五月98| 一区二区成人电影| 六月婷婷色色色| 天天日夜夜夜操操操操| 激情五月综合色婷婷| 日本片日本片祼观看网站在线看中文版网页在线看 | 69精品无码一区二区三区| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 天天日天天干天天爱| 六月激情丁香一道本7777| 国产性爱在线| www.99热| www.激情五月天.com| 久久五月婷婷丁香| 色色网站在线| 五月丁香淫淫婷婷婷| 亚洲色婷婷色| 久思思热视频在线观看| 丁香五月综合婷婷| 五月丁香操婷逼| 色吧网综合| 色噜噜狠狠色综合日日| 99re8这里只有精品99re8热视频| 久久伦乱| 九九婷婷综合| 丁香婷婷色| 99久在线精品99re8| 丁香婷婷五月天色播| 丁香五月婷婷激情123| 狠狠干五月天| 久色五月婷婷综合| 亚洲综合色丁香五月天| 五月婷综合性中心| 欧美亚洲操逼| 色婷婷五月天激情综合| www.伊人天堂偷偷婷婷| 婷婷激情五月天在线视频| 久婷五月| 久久色在线视频| 六月婷婷在线| 天天综合五月天| 超碰网站在线观看| 日韩精品AV一区二区三区| 久久亚洲婷婷| 五月天啪啪| 亚洲婷婷丁香| 嫩草视频在线观看| 丁香六月婷婷| 男女啪啪做爰高潮无遮挡| 狠狠插.com| 日韩二区搞逼插逼毛片| 色婷精品91| se色99| 成人做爰高潮A片免费视频| 激情深爱五月天| 色欲一区二区三区精品A片| 综合久久9| 丁香婷婷五月综合| 色播五月| 最近中文字幕2019视频1| 国产乱人偷精品人妻A片| 亚洲亚洲人成综合网络| 西西4r午夜剧场| 天天色凹凸| 日本久碰| 99色视频在线观看最新| 青青草搞屄视频网站| 六月婷婷六月天天在线免费| WWW.桔色成人.COM入口| 日本 @ va 免费| 人人爽欧美婷婷久久久五月丁香| 91久久五月天| 五月天婷婷基地| 中字幕视频在线永久在线观看免费| 五月天婷婷成人网| 亚州精品成人片| 另类亚洲视频| 深爱丁香网| 五月丁香婷婷激情在线| 国产午夜一区二区三区| 久久99久久99精品免视看婷| 国产精品色色| 久久久精品99| 久鲁鲁色网 | 国外亚洲成AV人片在线观看| 第四色网婷婷| 激情五月天啪啪| 99热精品在线| 精品亚洲国产成AV人片传媒| 五月婷婷综合影院| 综合99在线| 欧日韩成人| 色欲日日躁| 五月天另类小说| 日韩美女在线视频19| 激情婷婷人妻| 99国产精品久久久久久久久久久| 看黄的网站18禁| 五月婷婷在线观看黄| 婷婷丁香五月天综合激情| 蜜臀av无码久久久久久久久 | 久久蜜臀婷婷| 色香欲综合| 刘玥精品一区| 俺去啦综合网| 婷婷五月欧美AA片免费| 五月婷婷中文字幕| 伊人五月天97| 天天在线XXX| 97超级免费无码| 婷婷成人丁香色情基地30| 天天射影院| 九九99九九99偷拍视频免费看| 久热视频这里只有精品| 97色碰碰公开视频| 色婷婷成人| 婷婷9月天| 午夜精品777| 国产欧美日韩综合精品一区二区| ss99热| 午夜69成人做爰视频| 五月天五月色婷婷综合| 亚洲亚洲人成综合网络| 天天天摸夜夜夜玩| 99在线爽| 99久久婷婷五月综合| 精品人妻在线| 天天干天天插| 婷婷五月色网| 五月亭亭欧美女人| 激情久久久久| 伊人婷婷青青cao| 激情五月婷婷网| 91性高潮久久久久久久久| 婷婷综合一二三| 天堂五月婷婷| 丁香五月成人网| 六月婷婷天天操夜夜爽视频| 色综合久久中文| 综合激情肏逼网| 久久五月天综合| 9|无码久久久久久| 色欲天天综合网| 丁香六月AV| 婷婷五月天久久久| 五月丁香激情婷婷| 成人永久免费视频在线观看| 五月天综合网| 99热这里只有精品在线免费| 9热久久在线| 久热免费视频| 人妻性爱av网站| 色婷婷av在线观看| 久久人妻人人| 丁香亭亭久久| 一片AV片免费播放| 91操人视频| 呦呦v线| 五月婷婷综合成人| 婷婷精品在线| 丰满人妻一区三区三区| 国产五月天婷婷| 丁香五月Av| 日韩av干| 激情床戏| 97偷拍对白视频| 97色婷婷成人综合在线观看| 综合久色五月| 亚洲五月激情| 欧美顶级少妇做爰HD| 播五月丁香六月| 99久re热| 丁香五月狠狠在线观看| av网址在线| 久久婷婷五月草视频在线播放| 久久婷婷网址| 最近中文字幕大全免费版在线| 激情婷婷五月基地| 日韩婷婷五月| 光棍影院日韩精品| 男人大jjc女人免费视频| 激情综合五| 五月天开心激情网色欲无码| 色色六月| 国产精品国产成人国产三级| 操逼六区| 久热播这里只有精品| 亚洲色色色色色色色色色| 久综合4| 任你爽精品免费视频6| 思思热思在线精品视频| 久久激情视频| 丁香香蕉婷婷| 九热网站| 亚洲超碰在线| 五月天桃色深爱网| 99毛片| 婷婷五月天亚洲精品| 丁香婷婷久久综合在线| 五月精品99综合| 丁香五月伊人| 久久五月视频| 丝袜大香蕉| 五月丁香六月在线| VA婷婷亚洲| 天天日天天做天天舔| 婷婷综合网性| 国产4P视频精品五区| 国产在线aaa片一区二区99| 欧美日韩999| 日日操夜夜爽| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 丁香九九九九| 亲子乱AV一区二区三区下载| 色婷婷操逼| 天天色综网| 五月丁香天天| 超级黄色片| 超碰在线人人| 26uuuu精品一区二区| 亚洲五月婷婷在线| 国产av第一专区| 日本狠狠干| 激情丁香婷婷| 人人干av| 26uuu亚洲欧美| 这里只有精品99视频| 大香蕉精品视频| 五月婷婷中文字幕| 黄色AV日韩| 九九色图| 色的色综合| 影音先锋女人av鲁色资源网小说免费| 这里只有精品在线视频精品| 五月丁香久人妻中文| 日本99热| 婷婷国产日本欧美| 综合深爱五月| 五月香六月婷| 亚洲网站999| 久久小视频| 成人小说 五月天 婷婷| 女人被男人吃奶到高潮| 丁香五月天导航| 99久久精彩视频。| 国产精品久久7777777精品无码| 婷婷五月成人系列| 欧美狠狠草| 天天射色五月天| 五月天狠狠干| 激情综合五月| 久久五月情| 日本人妻丁香婷婷久久寝取熟女五月| 九九在线视频| 成人av中文字幕| 五月婷婷三级| 色情丁香五月天| 丁香婷婷久久| 色五月婷婷丁香婷婷| 爱穴久久| 亚洲视频在线观看99| 欧美在线视频免费播放| 婷婷狠狠操| 91丨九色丨东北熟女| 婷婷五月天国产传媒| 婷婷丁香五月亚洲欧美| 久久久精品AV| 免费看欧美成人A片无码| 99精品久久| 九色婷婷| 婷婷精品视频| 欧美激情五月| 婷婷射丁香| 色婷婷五月综合在线| 蜜臀久久99精品久久久久久酒店| 91狠狠色丁香婷婷综合久久精品| 激情婷婷色色| 99re这里| 日日夜夜天天爽| 五月亭亭综合五码| 国产精品色色666| 欧美日韩中国| 99情色五月天| WWW嗯嗯啊啊啊啊| 亚洲乱码日产精品BD| 九九亚洲视频| 91啪啪视频| 午夜婷婷久久| 在线网黄| 中文AV在线播放| 五月开心激情| 五月丁香婷婷深深爱| 国产资源91在线| 六月五月久久丁香| 涩涩五月天| 五月丁香天天| 五月丁香天堂网婷婷| 99热欧美在线观看| 婷久看人爽| 亚洲俩性性爱图片久久第六页| 91操碰| 国产韩日亚洲美州欧亚综合在线| 淫视馆aV二区一区| 99精品在线观看| 99re热在线视频| www.久99| 96色婷婷| 激情六月丁香| 丁香六月婷婷久久综合| 婷婷五月天影院| 99性爱视频| 丁香五月天视频| 中文字幕人成乱码在线观看| 影音先锋美国A| 99久久9| 少妇AB又爽又紧无码网站| 国产毛多水多女人A片| 欧美草久久五月天91| 99热热这里只精品996小说| 国产av基地| 婷久久| 精品婷婷五| 色激情综合狠狠婷婷| 五月综合亚洲| 九九亚洲视频| 国产9色在线/日韩| 五月天婷婷基地| 欧美槡BBBB槡BBB少妇| 丁香五月婷婷av影院| 99久久高清视频| 久久五月网| 天天色天天爽| 人人草人人视| 99九九热在线观看| 亚洲无AV在线中文字幕| 亚洲啪啪自拍| 五月丁香琪琪| www.五月天婷婷姐姐| 婷婷精品性性性性性性性| 玖玖资源在线视频| 丁香婷婷大香蕉| av大片在线| 五月色丁香婷婷综合| 五月婷婷啪啪啪| 色播五月婷婷综合| 国产精品香蕉| 婷婷六月综合激情| 五婷婷综合网| 182TV亚洲| 在线五月色播| 大天天伊人| 日日操天天操| 欧美啪啪五月天| 欧美精品999| 色播五月丁香综合| 色在线视频网2025| 色色色无码| 久久91久久精品久久| 免费超碰在线| 激情伍月 欧美| 色99网站| 久碰视频| 欧美三级欧美一级| 5月丁香六月婷婷| av久热| 99热热热天天人人人超超碰| 精品婷婷| 日日噜狠狠色| 亚洲最大成人综合网720P| 百度4399有码精品V在线观看| 97人人干| 97色在线观看视频| 伊人九热| 亚洲国产色婷婷| 伊人玖玖婷婷| 久久桃花网色婷婷| 狼人久草| 99免费在线视频| 在线看的免费网站| 玖热精品综合视频| 激情网婷婷五月天| 超级碰碰97在线| 婷婷综合精品| 天天日天天操心| 欧美色图片88| 丁香婷婷精品视频| 另类专区在线观看| 97爱综合| site:feetmall.com| 丁香五月av| 五月婷婷久久久| 五月天,激情四射,婷婷频道| 狠狠精品干练久久久无码中文字幕| 日韩综合久久| 欧美性猛交99久久久99| 超级碰人人操人人干| 婷婷激情啪啪| 亚洲无AV在线中文字幕| 激情综合啪啪啪| 久久总和99| 色综合久久88色综合天天| 激情五月婷黄版| 9热视频在线观看| 日本操B片| 丁香伊人综合| 国产又爽又猛又粗的视频A片 | 99热碰碰| 开心激情网五月天| 九月婷婷综合色干| 夜丁香五月婷婷| 婷婷99视频在线| 欧洲亚洲免费视频9| 99热这里只有精品首页| 91九色在线| 在线中文av| 91视频五月丁香| 丁香六月婷婷| www久久久久久久97| 99热碰碰| 91丨九色丨熟女|新版| 91.com男女操| 久99热在线观看| 免费亚洲婷婷| 日本高清久| 天堂久久婷婷| 日韩久久视频| 天天干天天插| 热的国产,热的综合,热的有码| 激情五月天婷婷| 91婷婷伊人牛牛| 天堂综合久久 | 五月Huangsewang| 狠狠色狠狠鲁| 欧美色激情四射| 情婷婷五月天| 热99久| 99热这里只有精品免费| 久99综合婷婷| 婷婷成人五月天成人文学| 色婷婷狠狠| 国产成人精品一区二三区熟女在线| 青青草蜜臀| 综久久久| 色一情一乱一乱一区91| 综合丁香婷婷五月天| 日日影院 | 天天干天天爽天天操| 久久五月婷综合网| 伊人久久大香网| 中文精品久久久久人妻不| 爱射综合| 五月天综合图片| 丁香五月天狠狠操| 亚洲中文字幕av| 夜夜噜夜夜奇| 色五月综合97| 99热地址| 五月丁香六月花| 色综合网页| 色综合婷婷| 开心亚洲久久开心| 久操大屁股女人av| 色5月婷婷| 亚洲激情电影五月天色婷婷丁香一起草 | 色婷婷成人| 91操色| 午夜福利8055| 狠狠干婷婷| 激情综合色五月丁香六月亚洲| www狠狠爱com| 中文字幕在线播放视频| 九玖欧洲亚洲| 综合图片色色| 久久久婷婷婷| 五月色婷婷夜色| 丁香五月久久| 人人爽欧美婷婷久久久五月丁香| 激情五婷网| www.9操| 久9无码视频| 成人久久天天x资源站| 国产性爱大片久久| 久久婷婷综合五月天| 久久婷婷操| 99热青青草| 色五月婷婷网| 久久五月天色婷婷| 激情二色月| 99ri在线观看视频| 久久99网| 大香蕉综合在线| 色五月婷婷亚洲最大| 蜜臀A∨在线水帘洞| 久久五月天网| 久草热8精品视频在线观看| 亚洲精品色| 激情丁香淫荡婷婷| 亚洲婷婷91丁香| 少妇人妻偷人精品无码视频新浪| 久婷婷| 五月成人天| 精品视频99看在线视频| 91成人电影| 91久久久久| 亚洲五月婷婷| 五月婷婷啪啪啪| 天天插天天插天天插天天插| 日日爽日日操| 久久九九网| 五月婷婷婷| 黄色激情网站在线观看| 久久综合久色欧美综合狠狠| 人妻精品一区二区三区| 久久精品人妻| 午夜丁香婷婷| 亚洲最大五月六月丁香婷婷| 婷婷激情五月天亚洲综合| 色五月天.con| 色五月色图| 五月伊人婷婷999| 97碰碰九九视频| 亚洲亚洲人成综合网络| www.五月天婷婷| 99玖玖免费视频| 欧美色色色色色色| 九九视频在线观看| 五月花激情| 丁香五月色情| 热99久久这里只有精品| 激情合网婷婷| 色综合天天网| 99色色网站| 天天五月丁香五月| 丁香婷婷性爱| 五月6香色婷婷视频| 9热视频在线观看| 久99久视频免费观看| 日韩久久欧亚| 九九艹女| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 亚洲第一色网站| 日韩一区二区在线播放| 午夜丁香丁香婷婷| 色五月综合网| 婷婷五月丁香六月伊人网| 激情综合色网| 久久久思思热| 五月婷六月综合在线观看| 日韩九九视频| 无码网| 99热久只有精品首页| 色婷婷丁香五月天在线视频| 成人五月天在线视频在线观看| 亚洲激情淫网| 亚洲九九99精品视频在线播放| 国熟女视频| 天天干天天射综合网| 夜夜爽天天日| 狠狠色无码| 这里只有免费的精品| 99热只有这里才是精品| 99热99色| AV网站免费在线| 中文字幕AV在线播放| 天天爱天天吃狠天天透| 久9久成人精品视频| 色播五月综合网| 在线不卡视频| 国产亚洲99久久精品| 无码人妻丰满熟妇奶水区码| WWW.亚洲无码| 人人叉久| 天天爽在线视频| 五月婷婷播| www夜夜操wwwcon| 这里只有精品免费| av九九| 激情五月天婷婷| 免费无码毛片一区二区A片| 婷婷丁香精品视频在线观看| 国产精品视频网| 亚洲国产成人在线| 久久99热这里只有精品23| 97涩涩丁香五月天| 欧美婷婷色五月| 婷婷色片| 五月天激情婷婷| 婷婷九月久久| 日本91在线| 深爱激情AV| 国产精品久久久久久五月天加勒比| 日韩九九| 四色永久成人网站| 在线看片h站| 日本专区久久| 激情五月伊人婷婷| 久狠日av| 丁香婷婷色色| 无码AV久久久久久久久| 91丨九色熟女丨首页| www.henhenl| 久久久妻人人人| 狠狠干伊人| 97精品综合久久| Blackedraw视频一区二区| 国内久久亭亭| 天天在线天天综合网色| 激情五月激情综合网| 五月丁香六月激情综合| 久久码久久无清| 丁香五月婷婷亚洲人| Www.婷婷五月| 色五月婷婷综合| 香港九九六区八区99| 久草天堂| 日韩99色99| 久久婷婷精品| 99人妻碰碰碰久久久久| www超碰| 第五色婷婷| 狠狠色色| 色色五月天网站| 欧美色欲色欲天天天www| 99精品久久| 月丁香久久久| 久久婷婷六月综合资源| 国产精品视频免费看| 五月婷婷影视| 热的五码久久精品| 特级西西4444www无码| 亚洲精品又粗又大又爽A片| 99九九精品视频| 九九热在线99| 久久9热好| 欧美色狠婷久| 五月婷婷激情久久| 婷婷激情五月天激情小说| 五月亚洲激情| 另类专区在线| 婷婷五月欧美| 婷婷六月开心网| 噜噜视频| 亚洲AV网站在线观看| 久久久久久人妻久久久久久久久久人妻久久久 | 九色91视频| 丁香五月婷婷色偷偷| 丁香成人综合| 五月婷丁香| 久久九区| 五月丁香婷婷AV| 人人操婷婷| yazhouzonghesese| 婷婷五月花| 色色色五月婷婷| 任你搞网站| 欧美日韩中国| 开心激情网在线| 这里只有精品96| 日日噜噜久久婷婷五月天 | 日本99在线| 色五月婷婷五月天激情综合| 丰滿爆乳一区二区三区| 色综合爱综合| 国产亚洲精品AAAA片APP| 狠狠干综合| 成人在线视频网| 五月天狠狠色| 色永久| 精品无码片| 亚洲AV成人无码久久精品老人法拉利| 国产精品第一国产精品| 天天日日人| 99超级碰免费视频| 激情婷婷丁香五月天小说| 亚洲热久久| 色九网| 99热.com| 婷婷五月成人| a久久| 欧洲永久精品| CHINESE熟女老女人HD视频| xxxx五月| 日本精品人妻无码77777| 丁香五月天殴美激情| 精品亚洲国产成AV人片传媒| 五月丁香六月婷婷中合网| 99热精品在线| 婷婷五月天激情影片| 色色色香蕉五月婷| 这里精品| 久久人操-久草婷婷-成人AV| 五月天伊人久久久久| 亚洲AV第二区国产精品| 婷婷五月天色色| 婷婷色在线| 欧美大肥婆大肥BBBBB| 免費亭亭成人| 国模九区| 久久99热这里只有精品| 九洲一级A片| 久热伊人| 婷婷五月天亚洲天堂| 日韩成人影片网站| 夜夜躁爽日日| 九九狠狠干| 婷婷丁香久久| 亚洲综合丁香婷婷六月天| 色婷婷av综合网| 色五月人妻| 激情九月婷婷| 东京热免费视频| www夜夜操wwwcon| 九九中文色色| 97碰免费视频在线| 这里只有精品视频国产| 在线五月婷| 五月丁香久久| 99色看这里只有精品| 青青草原亚洲久| 色七七九九| 密黄站| 久久精99| 99九九在线观看免费| 可以免费看av网站| 九色综合网| 婷婷 伊人 久久| 婷婷六月激情小说网| 玖玖婷婷免费| 2017人人操| 婷婷亚洲丁香五月| 一级黄色操B| 99热这里| 不卡影院午夜理论片| 婷婷久久丁香五月| 97精品人人A片免费看| 色五月天成人| 色噜噜狠狠色综| 97自拍视频网| 91九色在线| 天天综合网亚洲综合网| 成人视频在线免费播放| 欧美大片| 99视频只有精品| 久久99热免费| 99在线视频喷水| 欧美激情综合色综合啪啪五月| 开心婷婷五月天激情网| 亚洲国产色婷婷| 综合久久首页| 天天色情站| 99激情| 欧美综合在线五月天色婷婷| 久9免费视频| 亚洲岛国电影| 色婷精品91| 情婷婷五月天| 日本色婷婷综合| 在线资源av-超碰中文在线-成人AV| 激情五月婷婷| 色5月婷婷色| 丁香五月六月婷婷殴美综合| 亚洲成人网无码| 色婷婷影| 九九成人电影婷婷| 激情五月婷婷视频一区二区三区| 婷婷射丁香| 涩涩五| 色色五月丁香婷婷| 26uuu成人网| 婷婷五月天开心网| 激情5月婷婷| 免费99情趣网视频| 国产成人AV在线| 色综久久久| 九九热视频在线观看| 特黄三级片| 五月丁花六月丁香综合| 2w在线视频| 9久久AV| 无码日本精品XXXXXXXXX | 人妻久久人妻久久第一区| 六月婷五月丁香| 大香蕉人妻| 探花搜索结果 - 黄上黄| 婷婷综合仓库中文| 久热超碰| AV在线观看网站| 另类视频五月天| 99热只有精| 国产精品色一哟哟| 欧日韩AV| 热99国产精品| 色综合香蕉| 五月婷免费视频| 日本色99网站| 人与禽A片啪啪| 99免费视频| 中文av网| 六月丁香网| 婷婷激情五月| 天堂中文国产| 色色热| 日日夜夜干| 免费在线观看欧美激情xx小视频| 久久机热这里只有精品| 婷婷丁香基地在线| 九月婷婷综合八月丁香在线观看| 人妻久久久久久久久妻久久久久久久久| 五月天久久www| 中文字幕激情综合| 99er热精品视频| 亚洲超级碰| 色综合网页| 免费色婷婷| 卡视频1区2区| 停停六月 综合| 91操在线观看| 国产第99页| 丁香熟女乱| 久久婷婷草| 五月婷婷色播| www,色综合| 五月丁香六月激情综合| 久久人人九九| 亚洲色啪| 99色色网站| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 国产成人+综合亚洲+天堂| 激情五月婷婷五月| 日本久久精品| 亚洲亚洲人成综合网络| 久草热8精品视频在线观看| 久久在线视频免费观看| 无码免费人妻A片AAA毛片西瓜| 色五月av| 欧美性爱丁香五月| 婷婷色情 | 色婷狠狠| 9久热免费视频99| 色欲婷婷五月天| 热无码A∨| 五月丁香av在线| 淫荡工a| 99热亚洲精品66| 超碰a女人的天堂| 日韩成人电影AV| 日日日日日| WwW色婷婷| 久99久视频精品| 成人短视频免费观看| 六月婷色| 狠狠草天天草| 色色色色色色97| 这里只有精品2| 欧洲综合视频| 久久久久9| 久9综合| 999九九九久久久99HD| 五月天婷婷丁香人人操91| 黄色五月婷婷| 99热久久这里只有精品| 亚洲另类噜噜| 日本WWW九九九| 五月天激情小说网| 伊人激情综合| 久久免费操| 日日操夜夜爽天天天| 国产色五月| www.久久久久久久| 天天干天天拍| 亚洲韩国日产综合AV| 91超级碰| 欧美性丁香色色五月天| 啪啪婷婷五月天激情| 99精品在线| 99精日本久久| 51XX午夜影福利| 色婷婷综合中心| 色欲午夜无码久久久久久张津瑜| 五月丁香六月情| 秋霞九九无码| 99干日本| 色综合久久伊伊婷婷五月| 成人视频在线免费播放| 久久人妻精品| 日噜噜色| 日本色色图| 久久久精品色色色| 51国精产品自偷自偷综合| 亚洲日本三级片| site:pzdcoin.com| 国产色色色色| 思思热视频在线观看| 亚洲成人电影在线免费观看| 久久久www| 日本VA视频| 国産精品| 国产特黄色精品一区二区三区精品无广告| 丁香五月天婷婷在线视频| 亚洲激情丁香五月基地| 丁香五月婷婷超碰在线| 国产视频色色色色色色色 | 五月婷婷丁香在线视频| www好屌操| 久久视频婷婷| 五月丁香亭亭电影久久| 久婷五月| 五月丁查人人| 粉嫩AV久久一区二区三区| 丁J香六月首页| 丁香六月av| 五月婷婷综合激情| 日本少妇AA一级特黄大片| 激情婷婷五六月天| 香蕉婷婷色五月| 婷婷五月丁香四射| 五月天色婷婷av| 综合大香蕉| 五月丁香久久婷| 色五月aV| 操人91| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 久久这里面只有精品视频| 五月婷色色| 色护士综合| 六月丁香综合999| 播五月丁香三月婷婷| 日本玖玖在线| 天天透天天摸天天舔| 伊人五月综合网| 色吧婷婷| 少妇性按摩无码中文A片| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 五月婷婷久久综合| 六月丁香五月婷婷| www.五月婷| 婷婷五月久久| 北京熟妇搡BBBB搡BBBB| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 日狠狠| 久久与婷婷| 色婷婷色99国产综合精品| 婷婷丁香六月天| 狠狠色丁香婷婷基地| 婷婷丁香五月天激情| 日本大人久久| 久久这里只| 免费看片在线观看| 婷婷99视频精品| 婷婷基地成人五月天| 色高清无码视频| 最新日韩久热免费视频看看| 丁香五月激情综合| www.日日日.com| 久久久久久久久久婷婷| 五月丁香好婷婷A片网| 在线综合婷婷| 97狠狠色| 99视频内射三四| 色婷婷视频在线| 亚洲色综合| 97色综合| 国产片XXXXA片国语对白| 另类图片激情五月天| 丁香婷婷五月激情四射网| 六月丁香久久| 久久这里只有精品1| 久久综合网桃花| 青青青在线视频国产| 91九色中文字幕女在线观看| 成人色五月天| 97九色视频| av五月丁香婷婷网| 九九热这里| 欧美影院婷婷| www.天天干| 精品,99| 五月色 亚洲| 99亚洲综合| 人人爽天天莫| 人妻丰满精品一区二区A片| 天天日天天爽夜夜爽| 色久五月| 噜噜狠狠| 97在线视频 欧美| 五月婷婷色| 日韩在线视频中文字幕| 丁香婷婷五月六月天| 啪啪色激情五月天| 日日夜夜狠狠| 日本3级片一区2区| 操逼福利视频| 香蕉综合网| 大香伊人婷婷影院| 丁香激情五月| 色狠狠综合| 欧洲色| 激情六月天| 色欲五月丁香| 任你日热视频| 色情五月| www.色综合.com| 婷婷在线播放av| 婷婷五月色花丁香社区| 大香蕉婷婷| 综合丁香婷婷五月天| 色综合丁香婷婷| 91久久人人操| 4438全国最大视频成人网站在线观看 | 天天噪夜夜爽| 99热国内| 综合激情五月天| 91AV婷婷| 日韩成人电影在线播放| 美女被肏网站在线看| 婷婷五月在线视频| 婷婷香蕉| 丁香色五月 97干| 五月婷婷六月色| 丁香久久| 99国产精品白浆在线观看免费|