欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

8GB顯存跑35B大模型:量化與分層加載實(shí)操記錄

8GB顯存跑35B大模型:量化與分層加載實(shí)操記錄 先說結(jié)論消費(fèi)級(jí)顯卡跑35B大模型8GB顯存能跑但和“流暢”兩個(gè)字有距離。我說的35B是指擁有約350億參數(shù)的開源大模型常見代表有通義千問Qwen2.5-32B、Yi-34B等。這類模型光權(quán)重文件在4比特量化后就有20GB左右8GB顯存連文件都裝不下憑什么能運(yùn)行答案在于量化、分層加載和顯存卸載這套組合拳。這篇文章就是我在這套配置下的完整實(shí)測(cè)記錄包括每一步操作、關(guān)鍵參數(shù)調(diào)整、速度數(shù)據(jù)以及踩過的一堆坑。我自己跑這套方案的動(dòng)機(jī)很簡(jiǎn)單辦公室有一臺(tái)老工作站顯卡是RTX 4060 8GB版平時(shí)干點(diǎn)渲染和輕量訓(xùn)練手頭沒有A100那樣的“大玩具”。但項(xiàng)目里需要跑一個(gè)代碼補(bǔ)全和知識(shí)問答的本地服務(wù)數(shù)據(jù)不能出內(nèi)網(wǎng)。7B小模型試了一圈回答質(zhì)量總差點(diǎn)意思35B級(jí)別的模型效果明顯好可顯存又不夠。于是我把目標(biāo)定為在8GB消費(fèi)級(jí)顯卡上把35B量級(jí)的模型跑起來(lái)哪怕慢一點(diǎn)都行。這篇文章適合所有手頭只有普通游戲顯卡、但想讓本地AI更聰明的朋友參考。我會(huì)把從選型到調(diào)參的完整過程都攤開來(lái)寫。1. 這事的來(lái)龍去脈8GB顯存為什么要硬剛35B1.1 35B模型到底有多大先算一筆賬。35B參數(shù)如果用FP16精度存儲(chǔ)每個(gè)參數(shù)占2字節(jié)光權(quán)重就是70GB。一般消費(fèi)級(jí)顯卡顯存8GB、12GB、16GB連零頭都不夠。所以“跑35B”和“跑得動(dòng)35B”本質(zhì)上是兩個(gè)問題模型能不能加載以及推理時(shí)能不能接受速度損失。讓“加載”能實(shí)現(xiàn)的關(guān)鍵是量化。目前主流做法是把模型權(quán)重從FP16壓到4比特也就是每個(gè)參數(shù)只占約0.55字節(jié)。以Qwen2.5-32B-Instruct為例Q4_K_M量化后的GGUF文件大約19.5GB。這依然超過8GB顯存但問題已經(jīng)變成“19.5GB的文件在8GB顯存32GB內(nèi)存的混合環(huán)境里能不能跑”答案是能因?yàn)檫@依賴的是分層推理而不是把整個(gè)模型塞進(jìn)顯存。模型體積的賬算明白之后第二個(gè)隱含問題是輸出質(zhì)量。很多人問既然32GB內(nèi)存能裝下模型為什么非要顯卡不可因?yàn)轱@卡上有數(shù)千個(gè)計(jì)算核心CPU的推理速度只有顯卡的幾十分之一。純CPU跑35B生成速度通常只有0.5到1.5 tokens/s也就是一分鐘才能蹦出幾十個(gè)字基本不可用。所以我們需要把一部分計(jì)算放到GPU上哪怕只有一部分也能讓速度產(chǎn)生質(zhì)變。1.2 這套配置誰(shuí)最需要我的實(shí)測(cè)配置很普通RTX 4060 8GB、DDR4 32GB、i5-13400F。這基本就是2024年一臺(tái)主流游戲主機(jī)的水平。測(cè)試完我發(fā)現(xiàn)這套方案最適合三類人第一類是像我這樣有數(shù)據(jù)隱私需求的開發(fā)者和研究者。內(nèi)網(wǎng)環(huán)境里不能調(diào)用云端API但業(yè)務(wù)又需要大模型的代碼解釋、文檔總結(jié)、邏輯推理能力。7B模型幻覺偏高13B到14B又不夠聰明35B級(jí)別在邏輯和代碼上明顯上了一個(gè)臺(tái)階是質(zhì)量和資源之間的均衡點(diǎn)。第二類是正在選型的學(xué)生和工程師。他們可能糾結(jié)要不要買16GB或24GB的顯卡。我的觀點(diǎn)是如果預(yù)算緊張8GB一樣能學(xué)習(xí)、能驗(yàn)證大模型應(yīng)用方案。跑35B速度慢一點(diǎn)但跑7B、14B非常從容學(xué)習(xí)LlamaIndex、LangChain這些框架完全夠用。第三類是數(shù)碼產(chǎn)品愛好者純屬圖一樂想看看消費(fèi)級(jí)配置的天花板。跑通之后那種“8GB居然也能跑35B”的成就感確實(shí)挺上頭。但要注意如果追求的是“像ChatGPT一樣秒回”這個(gè)方案不適合你后面我會(huì)把速度數(shù)據(jù)貼出來(lái)幫你管理預(yù)期。2. 能不能跑得動(dòng)關(guān)鍵機(jī)制先講透2.1 量化模型物理體積是怎么縮小的量化這個(gè)事很多文章把它寫得很玄其實(shí)思路特別樸素把原本用32位或16位浮點(diǎn)數(shù)表示的權(quán)重?fù)Q成更小位數(shù)的整數(shù)甚至用幾個(gè)bit來(lái)近似。這就像一張照片原始RAW格式幾十MB轉(zhuǎn)成壓縮率高的JPEG之后只有幾MB肉眼乍一看差不多但細(xì)節(jié)有損失。模型的量化損失表現(xiàn)為“能力衰減”具體是邏輯更笨、知識(shí)容易記混、小語(yǔ)種變差但對(duì)話流暢度通常影響不大。量化水平用Q2、Q3、Q4、Q5、Q8表示數(shù)字越大越接近原始精度文件也越大。我在這臺(tái)8GB機(jī)器上最推薦Q4_K_M這是質(zhì)量與體積的黃金平衡點(diǎn)。K和M是llama.cpp量化方案的細(xì)節(jié)標(biāo)識(shí)簡(jiǎn)單理解就是“更聰明的4比特量化”它在分組縮放時(shí)做了優(yōu)化實(shí)際效果接近Q5但體積接近Q3。對(duì)于35B量級(jí)模型Q4_K_M文件大約19到21GB這個(gè)體積配合8GB顯存和32GB內(nèi)存剛剛好。有個(gè)新手容易踩的坑只看文件名中的“q4”就以為一定行。不行。同一個(gè)模型還有Q4_0、Q4_K_S、Q4_K_M甚至Q4_1每種子格式的均勻性、分組策略都不一樣性能和速度也有差異。我的建議是直接選K_M除非顯存特別緊張才考慮K_S或Q3級(jí)別。注意量化到Q2雖然文件才13GB左右但回答質(zhì)量下降明顯35B的優(yōu)勢(shì)會(huì)被削弱我不推薦。2.2 顯存卸載8GB顯存只干一部分活既然模型整體裝不下那就只把一部分層放到GPU上剩下的留在內(nèi)存讓CPU跑。這就是分層加載也就是llama.cpp生態(tài)里的“GPU offload”。深層機(jī)制是這樣的Transformer模型由幾十個(gè)結(jié)構(gòu)相似的層堆疊而成每一層都在做“注意力前饋”計(jì)算。推理時(shí)數(shù)據(jù)必須一層層穿過去。如果前15層放在GPU、后49層放在CPU那么每個(gè)token生成時(shí)前15層快如閃電后49層慢如蝸牛整體速度被最慢的那部分拖住。所以“GPU卸載層數(shù)”不是越多越快這么簡(jiǎn)單還受顯存、內(nèi)存帶寬、層間通信的制約。以我測(cè)試的Qwen2.5-32B為例它總共64層。在8GB顯存上除了權(quán)重還要給KV Cache和中間激活騰位置。實(shí)測(cè)下來(lái)GPU最多能放18到24層再高就會(huì)觸發(fā)顯存溢出或自動(dòng)回退。我最終穩(wěn)定在20層這算是一個(gè)甜點(diǎn)值。再多兩層也許更快但顯存余量太緊容易在生成長(zhǎng)文本時(shí)突然崩潰。保守選擇20層換取穩(wěn)定。2.3 KV Cache被大多數(shù)人忽略的隱形占位很多人在調(diào)參時(shí)只盯著“GPU層數(shù)”和“上下文長(zhǎng)度”忽略了KV Cache的顯存占用結(jié)果一跑長(zhǎng)對(duì)話就崩。KV Cache說白了是模型在生成過程中保存的“臨時(shí)記憶”用來(lái)記錄已經(jīng)看過的Token之間的注意力關(guān)系。它的體積和上下文長(zhǎng)度、層數(shù)、注意力頭數(shù)強(qiáng)相關(guān)和模型參數(shù)量也是正相關(guān)。35B模型的KV Cache相當(dāng)占地方。上下文設(shè)置為4096時(shí)KV Cache可能就要2到3GB。如果你上下文拉滿到8192甚至32000KV Cache直接奔著6GB以上去了那8GB顯存根本沒空間放權(quán)重GPU層數(shù)只能被迫降到個(gè)位數(shù)。我的做法是明確當(dāng)前任務(wù)是“代碼補(bǔ)全短對(duì)話”上下文4096足夠。別貪長(zhǎng)上下文那是給A100準(zhǔn)備的奢侈。理解了上面三個(gè)機(jī)制你再看任何一篇“8GB跑大模型”的教程思路都會(huì)透徹很多無(wú)非是在模型量化精度、GPU層數(shù)、上下文長(zhǎng)度和速度之間找平衡點(diǎn)。明白了這些接下來(lái)選工具才有章法。3. 實(shí)操之前工具、硬件和模型怎么選3.1 三款主流工具我到底該用哪個(gè)目前跑本地大模型的主流方案有Ollama、LM Studio和llama.cpp。三者的底層核心都是llama.cpp只是封裝層不同。我在這次實(shí)測(cè)中兩款都用各有分工。LM Studio是圖形界面工具適合新手和調(diào)試期。它能直觀地下載GGUF模型、拖動(dòng)滑塊設(shè)置GPU層數(shù)、實(shí)時(shí)顯示顯存和內(nèi)存占用還能一鍵啟動(dòng)本地API服務(wù)。我把LM Studio當(dāng)“可視化控制臺(tái)”改參數(shù)、看狀態(tài)特別方便。Ollama是命令行工具安裝簡(jiǎn)單、模型管理命令化適合后面要寫腳本、接程序的情況。它把很多配置封裝成了環(huán)境變量比如GPU層數(shù)通過OLLAMA_NUM_GPU設(shè)置。我最終的服務(wù)端就是用Ollama跑的因?yàn)橹貑⒆詥?dòng)和API對(duì)接更省事。llama.cpp裸用適合進(jìn)階玩家優(yōu)勢(shì)是可調(diào)參數(shù)最多、速度上限最高但需要自己編譯、自己敲命令。這次不展開因?yàn)長(zhǎng)M Studio和Ollama已經(jīng)覆蓋了99%的需求。如果你用的不是NVIDIA顯卡比如A卡或Intel核顯llama.cpp的Vulkan版可能才是你的救星這屬于另一篇內(nèi)容了。3.2 除了顯卡內(nèi)存和CPU也得夠格8GB顯存是顯卡的底線但整套系統(tǒng)還有兩個(gè)隱藏門檻。一個(gè)是內(nèi)存容量一個(gè)是內(nèi)存帶寬。內(nèi)存容量方面模型文件20GB加上系統(tǒng)、瀏覽器、開發(fā)環(huán)境32GB內(nèi)存會(huì)顯得緊巴巴但能跑。我實(shí)測(cè)內(nèi)存峰值能到27GB左右。如果你用64GB內(nèi)存余量會(huì)舒服很多長(zhǎng)對(duì)話也不慌。內(nèi)存必須是雙通道這會(huì)直接決定CPU推理速度。單通道內(nèi)存帶寬只有雙通道的一半而CPU跑大模型非常依賴內(nèi)存帶寬。實(shí)測(cè)結(jié)果雙通道DDR4-3200下CPU層大約能跑到1.5到2.5 tokens/s單通道直接掉到0.8體感天差地別。CPU方面核心數(shù)越多越好因?yàn)椴糠謱釉贑PU上跑的是并行計(jì)算。i5-13400F有10核16線程夠用但不富余。如果你用老款4核CPU35B基本別想了跑14B都吃力。還有一個(gè)容易忽略的點(diǎn)內(nèi)存頻率。DDR4-2400和DDR4-3600在CPU推理時(shí)速度能差出20%到30%因?yàn)镃PU推理被內(nèi)存帶寬卡死頻率越高帶寬越高。3.3 35B級(jí)別有哪些模型值得一試這個(gè)量級(jí)開源的模型不少但值得在8GB顯存上折騰的我篩選出四個(gè)方向。首選通義千問Qwen2.5-32B-Instruct綜合能力均衡中英文都強(qiáng)代碼能力在這個(gè)量級(jí)排在前列而且GGUF生態(tài)支持最完善。我這次最終用的就是它。其次可以試Yi-34B-Chat中文語(yǔ)感好對(duì)話自然但代碼和邏輯比Qwen稍弱一點(diǎn)。如果專注代碼任務(wù)CodeLlama-34B-Instruct是經(jīng)典選擇但只建議代碼場(chǎng)景。Mistral的Mixtral-8x7B雖然是47B總參數(shù)、激活12BQ4量化后約26GB內(nèi)存壓力更大8GB顯存下GPU層數(shù)會(huì)非常有限不推薦新手碰。另外如果你手頭內(nèi)存只有32GB留意一下Qwen2.5-32B的Q4_K_M版本是19.5GB再加KV Cache和系統(tǒng)占用剛好在32GB邊緣。如果內(nèi)存是16GB直接放棄35B吧老老實(shí)實(shí)跑14B或16B模型。內(nèi)存這事沒有捷徑。4. 完整部署實(shí)錄從下載到跑通的每一步4.1 LM Studio安裝與環(huán)境檢查我這次實(shí)際部署走的是“LM Studio調(diào)參 → 固定配置轉(zhuǎn)Ollama”的流程。先裝LM Studio去官網(wǎng)下載Windows版安裝包大概400MB裝的時(shí)候一路Next就行。裝完先別急著下模型花兩分鐘確認(rèn)三件事GPU驅(qū)動(dòng)是否最新NVIDIA驅(qū)動(dòng)里看CUDA版本號(hào)12.0以上即可、系統(tǒng)內(nèi)存是否雙通道、頁(yè)面文件虛擬內(nèi)存是否開啟且設(shè)了盤符空間。頁(yè)面文件這個(gè)細(xì)節(jié)非常關(guān)鍵。8GB顯存配32GB內(nèi)存的機(jī)器加載20GB模型時(shí)內(nèi)存會(huì)瞬間吃緊Windows就會(huì)把一部分?jǐn)?shù)據(jù)寫到磁盤頁(yè)面文件里。如果頁(yè)面文件太小或者放在一個(gè)快滿的機(jī)械硬盤上加載模型能卡到你懷疑人生。我給C盤留了40GB頁(yè)面文件放在NVMe固態(tài)上。這一步做好了后面加載會(huì)順暢很多。安裝完成后打開LM Studio在左側(cè)導(dǎo)航欄能看到模型搜索和下載頁(yè)。它的模型庫(kù)接的是HuggingFace搜索Qwen2.5-32B-instruct-gguf就能找到大量量化版本。這里有個(gè)小技巧文件列表里一般有好幾十個(gè)版本選Q4_K_M不要手滑選Q2_K或Q8_0。4.2 模型下載與量化版本選擇下載時(shí)我犯了第一個(gè)低級(jí)錯(cuò)誤直接在LM Studio里搜索看到有個(gè)“qwen2.5-32b-instruct-q4_k_m.gguf”就開始下載19.5GB下了半小時(shí)。為什么說低級(jí)錯(cuò)誤因?yàn)檫@個(gè)文件來(lái)自某個(gè)第三方倉(cāng)庫(kù)雖然名字對(duì)但我不確定它和官方倉(cāng)庫(kù)有沒有差異。后來(lái)我直接在瀏覽器里打開HuggingFace找到Qwen官方賬號(hào)下的Qwen2.5-32B-Instruct-GGUF倉(cāng)庫(kù)確認(rèn)文件名、SHA值、量化方式才在LM Studio里重新定位到對(duì)應(yīng)文件。下載速度取決于網(wǎng)絡(luò)環(huán)境國(guó)內(nèi)直連HuggingFace經(jīng)常很慢。我的做法是用鏡像站或者加速器這一步自行解決。下完之后建議驗(yàn)證一下文件大小Q4_K_M必須是19GB以上如果只有17GB大概率是截?cái)嗟膿p壞文件加載時(shí)會(huì)直接報(bào)錯(cuò)。模型文件放好后在LM Studio里選中模型右側(cè)會(huì)彈出配置面板。這里就是我調(diào)參的主戰(zhàn)場(chǎng)左上角是“GPU Offload”滑塊默認(rèn)可能只有幾層。把它從默認(rèn)值往右拖我的8GB顯存穩(wěn)定位在20層。別一上來(lái)就拉滿顯存爆了還得回退白白浪費(fèi)時(shí)間。4.3 GPU層數(shù)調(diào)整這步最關(guān)鍵GPU層數(shù)的調(diào)整邏輯我建議分三步走。第一步滑塊拖到20層左右把上下文長(zhǎng)度設(shè)成4096點(diǎn)擊“Load Model”。加載完成后看LM Studio底部的資源監(jiān)控如果顯存占用在7.2GB以內(nèi)說明還有余量可以繼續(xù)加層數(shù)。如果看到7.5GB以上趕緊減層不然一生成answer就要爆。第二步做一輪實(shí)際對(duì)話測(cè)試讓它生成一段200字以上的內(nèi)容。為什么必須這樣測(cè)因?yàn)榧虞d模型時(shí)只有權(quán)重占顯存一旦開始生成KV Cache會(huì)在推理中動(dòng)態(tài)增長(zhǎng)。剛才空閑時(shí)顯存7.2GB生成時(shí)直接飆到7.8GB甚至OOM。這個(gè)動(dòng)態(tài)占用只有真實(shí)對(duì)話才能逼出來(lái)。第三步找到一個(gè)“臨界安全值”。我的經(jīng)驗(yàn)是加載后顯存占用不超過總顯存的85%也就是6.8GB左右給推理過程中的KV Cache留足余量。按這個(gè)標(biāo)準(zhǔn)我最終把RTX 4060 8GB的GPU層數(shù)定在18層。多試兩次你就會(huì)發(fā)現(xiàn)層數(shù)加兩三層帶來(lái)的速度提升有限但顯存崩潰的風(fēng)險(xiǎn)卻是幾何級(jí)增長(zhǎng)。穩(wěn)定優(yōu)先這是我這輪實(shí)操最深的體會(huì)。4.4 上下文長(zhǎng)度與基礎(chǔ)參數(shù)的取舍上下文長(zhǎng)度是另一個(gè)決定成敗的參數(shù)。一般用戶習(xí)慣性把上下文設(shè)成8192或更高覺得越大越好。但在8GB顯存跑35B的場(chǎng)景里上下文長(zhǎng)度是直接和顯存、內(nèi)存搶資源的。前面說過KV Cache和上下文成正比關(guān)系。上下文4096占用大約2到3GB8192直接翻倍。對(duì)35B模型來(lái)說這點(diǎn)顯存省下來(lái)可以讓GPU層數(shù)多好幾層速度更快。我的建議是先設(shè)4096跑通再逐步增加。如果發(fā)現(xiàn)加載后顯存占用明顯上漲或者生成速度斷崖式下降那就是上下文加過頭了。在實(shí)際使用中我還調(diào)整了這兩個(gè)參數(shù)Temperature設(shè)為0.5到0.7做代碼和事實(shí)問答時(shí)偏低一些減少胡編亂造Max Tokens設(shè)為512到1024避免一次生成太長(zhǎng)的內(nèi)容既浪費(fèi)算力也容易觸發(fā)KV Cache反彈。另外LM Studio里還有一個(gè)“Keep Model Loaded”選項(xiàng)建議保持開啟。它的作用是讓模型一直駐留在內(nèi)存里下次對(duì)話不用重新加載。關(guān)閉的話每次切換模型都要重新等30秒到1分鐘加載體驗(yàn)很差。但要注意常駐意味著內(nèi)存被持續(xù)占用20多GB你電腦干別的活會(huì)明顯變慢。這是8GB顯存方案的固有代價(jià)得接受。4.5 Ollama方案命令行玩家的另一個(gè)選擇LM Studio調(diào)通之后我轉(zhuǎn)向Ollama做最終部署因?yàn)榉?wù)要長(zhǎng)時(shí)間運(yùn)行。Ollama的安裝很簡(jiǎn)單Windows版一個(gè)exe搞定。裝完在命令行里執(zhí)行ollama run qwen2.5:32b-instruct-q4_K_MOllama會(huì)自動(dòng)拉取對(duì)應(yīng)模型。如果之前用LM Studio下過GGUF文件也可以設(shè)置OLLAMA_MODELS環(huán)境變量指向那個(gè)目錄避免重復(fù)下載20GB。這里建議設(shè)置兩個(gè)關(guān)鍵環(huán)境變量OLLAMA_NUM_GPU和OLLAMA_CONTEXT_LENGTH。我最終用的配置是這樣的set OLLAMA_NUM_GPU18 set OLLAMA_CONTEXT_LENGTH4096 ollama serveOLLAMA_NUM_GPU對(duì)應(yīng)LM Studio的GPU層數(shù)我直接沿用18層的穩(wěn)定值。OLLAMA_CONTEXT_LENGTH設(shè)成4096。啟動(dòng)后用另一個(gè)終端窗口測(cè)試ollama run qwen2.5:32b-instruct-q4_K_M進(jìn)入交互界面隨便問一個(gè)問題觀察首字延遲和后續(xù)的生成速度。Ollama里沒有實(shí)時(shí)的顯存監(jiān)控不過它會(huì)在日志里顯示加載了多少層到GPU??吹健皁ffload 18/64 layers to GPU”這行字就說明設(shè)置生效了。Ollama還自帶一個(gè)OpenAI兼容的API服務(wù)默認(rèn)端口是11434。這樣一來(lái)任何支持OpenAI接口的客戶端比如AnythingLLM、Dify、甚至一些自己寫的Python腳本都可以直接接到這個(gè)本地模型上。這也是熱詞里“本地部署大模型讓個(gè)人電腦智能化”最典型的落地路徑本地模型當(dāng)大腦知識(shí)庫(kù)當(dāng)外掛個(gè)人電腦就有了私有AI助理。5. 實(shí)測(cè)數(shù)據(jù)快慢冷暖一表看清5.1 不同GPU層數(shù)下的速度表現(xiàn)這部分我用數(shù)據(jù)說話。測(cè)試環(huán)境統(tǒng)一為RTX 4060 8GB、i5-13400F、DDR4-3200 32GB雙通道模型是Qwen2.5-32B-Instruct Q4_K_M上下文4096室溫26攝氏度。每檔配置我至少測(cè)了5輪取中間值。結(jié)果如表GPU層數(shù)CPU層數(shù)顯存占用內(nèi)存占用生成速度首字延遲實(shí)測(cè)體感0純CPU640.5GB26GB1.2 tokens/s8-10s幾乎不可用10544.1GB19GB2.4 tokens/s4-6s勉強(qiáng)能用15495.8GB15GB3.8 tokens/s2.5-4s可以接受18466.5GB12GB4.9 tokens/s1.5-2s日常能用20447.1GB10GB5.4 tokens/s1-1.5s最佳體驗(yàn)從表里能看出兩個(gè)規(guī)律。第一GPU層數(shù)從0加到18速度翻了4倍多這個(gè)收益非??捎^。第二層數(shù)從18加到20速度只提升0.5 tokens/s但顯存從6.5漲到7.1GB余量進(jìn)一步縮小。這也是我最終停在18層的原因收益遞減明顯風(fēng)險(xiǎn)卻在增加。如果你問“這個(gè)速度到底有多快”5 tokens/s意味著生成100個(gè)字大約要20秒??匆欢挝淖诌€行等一篇長(zhǎng)文比較煎熬。但獨(dú)立顯卡比純CPU方案快了4倍已經(jīng)是從“不能忍”到“能用”的質(zhì)變。對(duì)于代碼補(bǔ)全這種短輸出場(chǎng)景體驗(yàn)其實(shí)接近可用。5.2 顯存和內(nèi)存占用實(shí)錄除了速度資源占用也要記錄。純CPU模式顯存幾乎不動(dòng)但內(nèi)存直接干到26GB這意味著你啥都不能開了一個(gè)瀏覽器加一個(gè)IDE內(nèi)存就見底系統(tǒng)會(huì)卡到鼠標(biāo)都飄。加了GPU層數(shù)之后權(quán)重從內(nèi)存搬了一部分到顯存內(nèi)存占用下降到12GB左右這臺(tái)電腦就同時(shí)還能開瀏覽器、IDE和聊天窗口實(shí)用性大大增強(qiáng)。顯存占用也不是一成不變的。我特意觀察了20層的長(zhǎng)時(shí)間對(duì)話對(duì)話輪數(shù)增加到20輪后KV Cache讓顯存從7.1GB漲到了7.6GB已經(jīng)逼近8GB物理上限。所以如果你日常是長(zhǎng)對(duì)話或長(zhǎng)文檔分析建議把GPU層數(shù)保守設(shè)在16層以下給KV Cache留出余量。這里我建議Windows用戶把LM Studio的顯存監(jiān)控面板固定在側(cè)邊。實(shí)際使用中出現(xiàn)過顯存沖爆然后自動(dòng)卸載模型的情況桌面卡死半分鐘。后來(lái)我養(yǎng)成了習(xí)慣開始長(zhǎng)對(duì)話前看一眼顯存余量低于0.4GB就先“Unload Model”再重新加載比讓它自己炸掉好得多。5.3 什么時(shí)候這個(gè)方案值得用通過數(shù)據(jù)我對(duì)這套方案有了明確邊界。值得用的場(chǎng)景是短問答、代碼片段生成、文檔總結(jié)、本地知識(shí)庫(kù)問答這些任務(wù)單次生成不超過200字等待30秒可接受而35B模型的智力感確實(shí)遠(yuǎn)超7B。不值得用的場(chǎng)景是文章撰寫、長(zhǎng)對(duì)話陪伴、需要高頻多次調(diào)用的服務(wù)。這些場(chǎng)景下35B的速度短板會(huì)無(wú)限放大。還有一類場(chǎng)景我建議直接放棄本地方案200人規(guī)模的企業(yè)級(jí)服務(wù)。我看到有熱搜詞問“搭建一個(gè)200人用的本地大模型需要多少錢”答案是別用消費(fèi)級(jí)顯卡硬扛。本地跑35B只夠一個(gè)人用200人并發(fā)需要至少兩到四張A100或H800級(jí)別的專業(yè)卡或者用多卡方案成本是幾十萬(wàn)起步。這不是消費(fèi)級(jí)顯卡的菜。想給團(tuán)隊(duì)提供服務(wù)老老實(shí)實(shí)租云GPU或買服務(wù)器卡效率和可靠性都不是消費(fèi)級(jí)配置能比的。另外提一嘴LM Studio支持把模型API兼容服務(wù)暴露到局域網(wǎng)手機(jī)、平板也能接入。我在同一局域網(wǎng)下試過手機(jī)端調(diào)參數(shù)和生成都流暢但多個(gè)設(shè)備同時(shí)請(qǐng)求時(shí)速度會(huì)直線下降畢竟OpenAI兼容接口只是單并發(fā)。這個(gè)功能適合個(gè)人多設(shè)備嘗鮮不適合團(tuán)隊(duì)共享。6. 高頻問題與避坑實(shí)錄6.1 輸出速度慢到不可用怎么救如果你跑起來(lái)速度連2 tokens/s都不到先別急著怪顯卡。按這個(gè)順序排查第一看GPU層數(shù)是不是個(gè)位數(shù)如果是加層數(shù)到15以上速度立刻翻倍。第二確認(rèn)內(nèi)存是雙通道任務(wù)管理器里能看到“通道數(shù)”那一欄顯示2。如果是1插上第二根內(nèi)存條。第三檢查CPU頻率筆記本用戶尤其注意一定要插電、開高性能電源模式否則CPU降頻后速度感人。還有一個(gè)大坑頁(yè)面文件設(shè)置過小或放在了機(jī)械硬盤上。加載模型時(shí)Windows會(huì)瘋狂讀寫頁(yè)面文件機(jī)械硬盤那速度能把加載時(shí)間拖到10分鐘以上。解決方案是固定頁(yè)面文件大小放在固態(tài)硬盤上同時(shí)給足40GB以上。6.2 顯存溢出OOM怎么破先說現(xiàn)象開始生成后一兩秒程序崩潰或model被自動(dòng)卸載日志里有類似“CUDA out of memory”的報(bào)錯(cuò)。原因有兩種。一種是你GPU層數(shù)拉太高加載時(shí)就接近顯存上限生成時(shí)KV Cache一上來(lái)就爆。解決方法是回到第4.3節(jié)的穩(wěn)定性測(cè)試流程把層數(shù)降到18以下。另一種是上下文太長(zhǎng)。我一開始圖省事直接把上下文設(shè)為32768結(jié)果模型加載后直接OOM。35B模型這個(gè)上下文長(zhǎng)度對(duì)KV Cache的要求是毀滅性的。先設(shè)4096穩(wěn)定了再加。還有一個(gè)小技巧關(guān)閉LM Studio里其他模型的加載騰出顯存。Ollama則可以通過設(shè)置OLLAMA_MAX_LOADED_MODELS1來(lái)避免多模型搶占顯存。6.3 生成質(zhì)量差是哪里出了問題很多人說“35B怎么比7B還蠢”原因多半在量化和采樣參數(shù)上。先確認(rèn)用的是Q4_K_M不是Q2_K。Q2省了一半空間代價(jià)是回答經(jīng)常邏輯斷裂。我試過一次Q2_K同一個(gè)代碼問題給出的答案里變量名都拼錯(cuò)果斷換回Q4。其次是Temperature參數(shù)。默認(rèn)值可能是0.7或者更高但35B在做代碼和邏輯問答時(shí)這個(gè)溫度偏高容易發(fā)散。我把Temperature降到0.5之后代碼補(bǔ)全的準(zhǔn)確率體感提升明顯。另外如果你發(fā)現(xiàn)模型老是重復(fù)一句話檢查一下“Repeat Penalty”參數(shù)設(shè)到1.1到1.2之間能有效緩解復(fù)讀機(jī)問題。6.4 五個(gè)我自己踩過的坑最后分享五個(gè)純粹經(jīng)驗(yàn)層面的坑這些坑在官方文檔里都不好找。第一個(gè)坑LM Studio下載模型時(shí)勾選了其他依賴文件占了不少內(nèi)存空間。下載頁(yè)面會(huì)把多個(gè)分支文件都顯示出來(lái)新手容易手滑點(diǎn)錯(cuò)。認(rèn)準(zhǔn)“GGUF”后綴和“Q4_K_M”字樣其他一概不選。第二個(gè)坑Windows防火墻攔截了Ollama的局域網(wǎng)API端口手機(jī)訪問不了服務(wù)。解決方法是運(yùn)行一圈防火墻命令允許Ollama通過專用網(wǎng)絡(luò)。你如果是在公司內(nèi)網(wǎng)可能還要找IT開端口放行。第三個(gè)坑CPU推理時(shí)不要開著硬件加速的瀏覽器看視頻。GPU層的計(jì)算和視頻解碼搶資源速度會(huì)驟降。實(shí)測(cè)開著B站看原畫畫質(zhì)生成速度掉了近四成。第四個(gè)坑Ollama自動(dòng)切換上下文時(shí)會(huì)把已加載的模型踢出內(nèi)存。如果你正在用模型突然跑了一條命令把另一個(gè)小模型加載進(jìn)來(lái)內(nèi)存會(huì)被釋放掉再切回35B時(shí)又要等30秒加載。避免在API服務(wù)運(yùn)行期間亂執(zhí)行ollama run。第五個(gè)坑筆記本用戶用8GB顯存跑35B發(fā)熱和降頻是最大敵人。RTX 4060 Laptop的功耗墻比桌面版低不少連續(xù)推理20分鐘后GPU溫度能到85度然后核心頻率降下來(lái)速度回退。我的建議是筆記本跑這種負(fù)載要配散熱支架并且每生成幾百字讓它喘口氣。跑通這套方案之后我的看法是35B在8GB消費(fèi)級(jí)顯卡上確實(shí)是“很勉強(qiáng)但能用”的狀態(tài)。它不像服務(wù)器顯卡那樣刀刀見血到極致但它讓一個(gè)手頭只有普通游戲機(jī)的人真真切切地在本地感受了一把大模型的智力。我遇到的最有意思的事情是一位同事非要拿它和云端大模型比比完說“這邊穩(wěn)重很多”。這種“雖然慢但思考很實(shí)”的感覺也算是低配跑大模型獨(dú)有的用戶體驗(yàn)吧。如果你手頭也有8GB顯存的機(jī)器按這篇把環(huán)境調(diào)一遍大概率能跑出和我相近的效果。數(shù)據(jù)隱私、內(nèi)網(wǎng)部署、本地知識(shí)庫(kù)這些需求都可以在這個(gè)底座上搭建了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月激情欧美大胆视频| 任你爽免费视频| 天天摸天天舔| 色五月天中文字幕| 99热这里| 成人一区在线观看| 国产精品第一国产精品| 99热这里只有精品66| 激情网婷婷婷| 五月开心婷婷中文字幕| 亚洲综合一区二区| 六月色 亚洲| 中文字幕在线免费观看视频| 久久色亭亭五月天| 九九色热视频| 久久婷婷欧美| 九九国产精视频| 92久久久| 丁香六月丁香婷婷激情| 色久综合| 激情无码五月天| 国产精品成av人在线视午夜片| 91九色精品女同系列| 五月丁香色婷| xxx综合在线| 久久与婷婷| 大香蕉九九| 夜夜躁婷婷AV| 久9免费视频| 色五月激情综合| 婷婷综合色图| 1024手机在线观看看片_日韩精品| 99人妻碰碰久久久禁片| 桃色成人网| 久久99久久99久久99人受| www.五月天社区| 五月激情婷婷图片基地| 26uuu.| 99视频在线播放大全| 天天日色情| 99热这里只有精品8| 日本天天色| 婷婷激情五月综合丁| 99热国品免费| 欧美性爱一区| 玖玖综合色| 中文字幕性爱视频| 五月久久婷婷天堂视频| 激情婷婷五月| 日良久久| 99这里有精品免费| 99热日本| 亚洲人妻五月丁香婷婷| 五月天婷婷在线AN| 日韩在线一级| 色色色五月婷婷| 色五月激情五月开心五月| 天天综合网亚洲网站| 色五月婷婷DVD| 婷婷五月深深的爱| 五月婷婷婷自由综合| 五月伊人视频在线看| 婷婷欧美色| 亚洲艹网| 嫩草综合网| 丁香五月丐人妻| 日本久久精品| 丁香五月激情综合网激情五月| 亚洲综合在线伊人婷| 91精品久久久久久综合五月天| 4438全国最大视频成人网站在线观看| 色色丁香五月天社区| 久久资源综合| 九九热黄色| 99久久9| 婷婷啪啪| 激情五月天网页| 这里只有精品久| 婷婷五月天a| 日本熟女内射| 99热日| 久久精品4| 大香蕉人妻| 婷婷爱五月| 丰满少妇猛烈A片免费看观看| 丁香六月婷婷色XXXX| 丁香六月成人| 婷婷色影院| 这里只有精彩小视频视频网站| 久久老码第一| 激情综合网五月婷婷| 大婷婷色呦呦噜噜色呦呦噜噜| 干一干xxxx| 婷婷深爱五月| 激情綜合W W W,激情五月天| 99热综合在线| 风流少妇A片一区二区蜜桃 | 色欲久久久久久综合网综合网| 草榴视频网| 99日本黄站| 丁香色六月婷婷| 99色丁香婷婷综合网| 中文字幕婷婷五月天在线观看| 色五月在线播放| 六月婷婷综合激情| 丁香成人五月天| 国产精品久久久久久久久久免费 | 六月婷婷色综合| 亚洲成人一区| 玖玖综合色区在线观看| 日韩五月婷婷| 激情综合色图| 99欧美精品99日本精品| www.zbzhongsen.com| 天天做天天爱天天爽在| 激情宗合 激情宗合| 日本99在线视频| 草综合网| 日本色婷婷| 五月婷久久| 婷婷天天五月天| 久久人人超| 激情综合五月婷| 日韩色情亚洲五月天婷婷| 26uuu国产| 久久丁香五月| 大香蕉久热| 精品无码人妻一区| 久久激情网| 九九精品9| 色丁香婷婷| 激情小说五月天中文字幕| 激情综合丁香五月| 大香蕉综合视频在线| 91久久五月天| 婷婷五月天视频亚洲| 九九色婷婷| 亚洲AV无码成人精品区电影网| 日韩99色| 五月丁香激情综合| 色五月婷婷色| 丁香五月六月综合激情| 婷婷综合九月| 婷婷久久亚洲| 日韩啪啪视品| m色激情网| 婷婷天堂综合| 成人 在线 日韩| 五月开心婷婷| 天色综合网站| 色99网| 98色丁香五月婷婷综合网| 狠狠色狠狠鲁| 亚洲精品V天堂中文字幕| 97干在线播放| 天堂综合久久| 婷婷激情在线| 五月婷婷色影院| 日韩精品无码AV| 婷婷色色播五月天| 超碰人妻公开在线| 激情五月无码| 香蕉人妻AV久久久久天天| 婷婷久热| 久久婷婷色| 久久久久久久久久久44| 婷婷五月情天| 中文在线视频久9| 996er热| 色五月欧美| 久久色吧| 六月婷婷久久| 丁香五月大香蕉AV| 五月婷婷,狠狠操| 超级97碰碰| 亚洲 小说 欧美 激情 另类| 丁香五月天操B| 丁香六月婷婷缴情欧美| 性av| 国产一二三四五六七八视频| 激情国产五月| 丁香亚洲色综合| 五月综合六月丁| 欧美色综合天天久久综合精品| 欧亚色色| 97色吧| 丁香婷婷六月婷婷六月婷婷六月婷婷| 日本三级中国三级99| 日本nghangse中文字幕| 久久人人妻| 婷婷的色色五月天| 激情五月丁香五月| 色婷婷色五月色丁香| 色婷婷五月天| 操操操AV| 五月婷婷五月天| 97热在线精品| 99惹在线精品免费观看| 蜜桃婷婷丁香综合久久开心亚洲| 99热这里只有精品18| 免费一区二区三区| 久久婷婷五月综合激情国产 | 99亚洲大片精品永久在线观看| 久在线88综合| 色五月激情五月开心五月| 久久新地此| 国产67194| 日本怕怕视频| 久久婷婷亚洲| 亚洲色情在线| 色婷婷亚洲婷婷| 久久久精品99亚洲综合| 性欧美大战久久久久久久83| 妻久久人久久| www。五月天激情| 最近韩国日本免费高清观看| 五月花在线观看视频| 伊人久久大香天蕉亚洲特级| 99性爱视频| 丁香五月网| 婷婷色狠狠| 五月天开心网| 色婷婷国色天香综合| Y11111111111少妇电影院| 五月天播播| 爆乳熟妇一区二区三区爆乳照片| 少妇高潮呻吟A片免费看软件 | 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 五月丁香激情婷婷| 欧美日朝成人| 丁香狠狠色婷婷久久无码视频| 久久思思热| 久久三级视频| 99热综合在线观看| 狠狠操狠狠插| 久久人妻乱| 成人短视频在线观看| 成人午夜天| 久久香视频| 丁香色五月 97干| 五月社区婷婷激情| 久操干| 色五月激情五月天| 亚洲五月六丁香激情| 碰人人97| 亚洲妇女熟BBW| 婷婷丁香小说| 五月丁香婷婷啪啪综合网| 色婷成人狠干| 综合 激情 婷婷| www热久久yy9| 久久五月丁香婷婷| 五夜丁香| 99热免费18| 天天日,天天插| 五月丁香六月婷婷亚洲| 成人天天爽| 久久日曰| 伊人九热| 最近中文字幕在线中文视频| 啪色综合| 婷婷五月丁香基地| 淫荡综合网| 碰碰91| 日韩精品无码AV| 婷婷五月天影院| 亚洲综合在线播放| 婷婷五月天激情电影小说| 这里只有在线精品| 久久视这里只有精品| 五月婷婷欲色| 丁香五月天激情婷婷丁香六月| 亭亭玉月丁香| 冬月かえでAV无码播放| 99久久婷婷综合| 久久久com| 大香蕉久艹| 国产精品婷婷午夜在线观看| 99性爱无码| 99视频精品全部免费看| 成人在线不卡| 超碰免费在线| 國語久久婷| xxxx五月天色色| 中文字幕网伦射乱中文| 精品一二三区久久AAA片| 一级黄色影片| 色啪影院| AV九九| 99九九玖玖| 婷婷性色| 狠狠狠色激情综合适合| 激情五月天影院| 五月婷婷九月婷婷九月婷婷| 91人妻视频| 激情五月综亚网| 99热国内精品| 色婷五月| 韩国情人在线电视剧免费观看高清版全集| 99热这里只有精品国产免费| WWW.激情| 5月婷婷视频网站综合| 五月丁香婷婷综合网| 五月婷婷性爱| 色色射| 99热这里只有精品5| 九月婷婷久久久| 亚洲啪啪视频| 婷婷五月天视频| 91无码高清| 美国十月色婷婷在线观看| 99这里只有精品视频| 日韩1区2区| 久久久久这里只有精品| 五月婷婷色情| 丁香激情五月天| 丁香六月激情综合| 九九热最新| 亚洲欧美成人在线| 久久婷综| 久久人人九| 日本啪啪网| 碰碰91| 爆乳熟女一区二区三区爆乳| 色色色欧美| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 久热视频这里只有精品68| 丁香五月人妻熟女| 色婷婷九月| 国产婷婷五月色情综合| 欧美一级色| 99激情| 四LLL少妇BBBB槡BBBB| 97热91| 99热每日| 五月丁香六月婷综合成人综合| 综合色99| 夜色五月天| 九九久久免费视频44| 97婷婷丁香| 伊人久久五月天| 欧美性二区| www.操逼comm| 噜噜操操| 午夜精品人妻无码一区二区三区| 五月丁香花激情啪啪网| 丁香五月激情宗合网| 综合色五月天| 婷婷色情网| 五月丁香影院| 精品久热69| 26uuu欧美日韩| 99热这只有| 丁香五月婷久久| 99热这里都是精品| 91男人资源站| 欧美天天爽| 永久地址 色| 色情五月天丁香社区| 天天干,天天日| 99视频热99| 人妻AV在线观看| 色综合xx| 久久婷婷伊人| 激情综合婷婷久久| 婷婷五月天99| 激情五月天婷婷五月天| 殴美日韩成人| 色 免费网站视频| 婷婷黄色五月| 欧美天天干五月丁香| 开心激情网五月| 人妻中文在线| 日本三级网址| 天天综合天天玩夜夜玩天天玩夜夜玩| 97碰碰人人| 婷婷丁香成人| aa久久| 六月色丁香中文字幕| 超碰激情网| 在线精品97| 久热精品视频在线观| 五月婷视屏在线观看| 九九热在线视频| caopeng97人人| 五月婷婷激情综合在线| 亚洲无码99| 人妻丰满精品一区二区A片| 丁香激情五月| 九九视频这里只有精品| 久久R激情| 六月婷婷激情| 啪啪操超碰| 91狼友视频在线观看| 欧美欧盟性爱网| 丁香六月亭亭久久综合| 成人精品视频99在线观看免费| 久久刺激网| 丁香六月婷婷一区二区三区| www.99热国产| 五月丁香直播| 五月丁香啪啪啪| 激情久久综合| 日韩欧洲亚洲| 免费黄色AV| 99热6色| 久久91久久精品久久| 九九综合久久| 五月丁香六月色婷| 亚洲操操| 婷婷在线播放av| 久久伦乱| 大香蕉99热| 色婷婷激情| 亚洲精品无AMM毛片| 99热最新精品| 91操操| 激情五月婷婷丁香六月| 日日撸夜夜操| 97碰碰碰| 久久婷婷网站| 色,激情五月天| 人人爱操| 久久视这里只有精品| 五月丁香色色网| 亚洲色碰| 狠狠操天天干| 五月丁香婷婷啪啪综合网| 免费无码毛片一区二区A片| 五月丁香婷婷无码中文| 黑人巨粗进入警花疼哭A片| 一夜福利不卡| 精品国产乱码久久久久夜深人妻| www.五月婷婷久久.com| 婷婷五月天成人视频| www夜夜操comwww| 91婷婷视频| 激情五月婷在线精品| 激婷网| 婷婷五月天天aV| 国产激情一区| 六月婷婷啪啪| 久久五月丁香婷婷| 逼特逼在线免费播放| 新99思思视频| 欧美性爱专区| 色噜噜狠狠色综合成人网| 久久女人天堂| 国产精品大香蕉| 婷婷五月在线免费| 人妻内射视频| 婷婷丁香成人在线视频| 国产女生爱爱AA| 亚洲熟妇无码乱子AV电影| 91视频人人做97| 婷婷五月天综合久久| 久操人妻| 色香欲综合| 人妻系列久久久久久久久久久 | 亚洲1区| 丁香5月综合啪啪| 超碰色碰碰| 另类激情五月在线视频欧美| 五月丁香在线视频观看| 五月婷婷 自拍| 99久久精品国产色欲| 99操视频| 五月天婷婷Av| 欧美日韩99| 人妻videos人妻高清| 超碰在线资源| 另类激情综合| 五月开心激情| 97精品综合| 激情婷婷狠狠干综合| 狠狠干综合网| 婷色人人狠| 久热精品9999| 婷婷综合视频| 欧美中文五月天| 婷婷五月天丁香| 久久看九九90| 玖玖婷婷五月天| 天天干天天色天天干| 五月激情网站| 97碰在线视频| 9热精品| 97干婷婷五月天| 成人在线日韩欧美| 日本视频久久| 久久女婷| 99视频在线观看网址| 九九精品片一| 狠狠色噜噜狠狠狠狠综合| 色色色色色色综合网| 久久久WWW| 久久性爱网站| 黄色99视频| 中文字幕亚洲-区久久99婷婷| 色综合久久888| 婷婷五月激情图片| 五月天激情美女久久| 九九色婷婷| 亚洲精品九九| j五月香在线| 丁香五月成人社区| 婷婷五月开心中文字幕在线| 婷婷五月天激情四射| 丁香婷婷AV| AAA久久| 久久婷婷五月综合啪| 丁香五月在线视频黑人| 日本精品在线噜噜噜| 97超碰色| 夜色热久| av大片在线| 激情五月天 婷婷| 激情图片久久| 亚洲五月天婷婷| 色宗合,宗合网| 婷婷操逼| 中文字幕在线不卡| 五月婷婷综合影院| 人人操大| a毛片二逼wwwwwwwwww| 国产美女无遮挡裸体毛片A片| 男人天堂99| 色五月亚洲| 六月丁香色婷婷| 开心日韩丁香婷婷五月| 丁香婷婷人妻综合网| 色狠狠色| 一起操 91N.com| 久久无码成人| 色五月婷婷777| 中文字幕无码人妻少妇免费视频| 99这里有精品视频| 亚洲九九视频| 色9999日韩国产| 开心激情网在线| 婷婷成人综合| 五月天婷婷色综合| www.夜夜| www.99热| 成人国产欧美大片一区| 亚洲三A| 91无码色色| 日本少妇裸体做爰高潮片 | 999婷婷综合| 欧洲色色| 中美日韩成人在线| 亚洲另类电影| 五月天色影院| 色色亚洲| 久久九九99视频| 午夜丁香久久久久久| 99在线看视频| 伊人婷婷91| 天堂综合久久| 午夜丁香婷婷| 就要爱综合| A片一曲| 久草五月| 色吧五月婷婷六月丁香| 青青福利网| 开心五月深爱五月丁香五月激情五月 | 婷婷五月AA五月在线| 夜夜做天天爽| 婷婷五月天在线观看免费| 亚洲99热| AV在线大香蕉| 色色五月天婷婷| 亚洲精品无人区| 婷婷丁香久久网| 大香久久伊人网| 国产又爽又猛又粗的视频A片| 婷婷丁香社区| 丁香婷婷综合喷| 日本色色网站| 人妻爽爽爽久久久久久久久| 亚洲99手机免费看视频| 美国色五月天婷婷资源站| 色激情五月天| 欧美激情VA永久在线播放| 亚洲情综合五月天| 久re热视频| www久| 色五月久久成人婷婷| 五月天欧美激情| 玖玖热视频| 9色在线| 亚洲愉拍99热成人精品| 91岛国片| 色五月av伊人| 五月亚洲| 操碰97| 国产性爱在线| 性爱激情小说AV五月丁香花| 六月婷婷激情图片| 特级片神马电影| 热99免费在线| 日韩国产在线精品| 久久婷婷亚洲无码一起| 久久久久久草黄色片AV在线观看| 99亚洲精品视频| 婷婷丁香激情综合色情| 亚洲黄网AV| 果冻传媒A片一二三区| AV色婷婷| 天天做 天天爱| 在线不卡视频| 九九九九无码| 五月丁香久久网| 色婷婷九月综合| 五月婷色色| 五月九九综合| 操笔无码| 婷婷综合色图| 欧美婷婷色五月网| 婷婷色婷婷亚洲成人| 日韩精品色| 激情综合婷婷| 成人啪啪色婷婷久| 色婷婷色久综| 久久人人看| 五月丁香色婷基地综合久久| 五月婷婷欲色| 久久人妻久久| 91久久色| 人人妻久久妻| 婷婷色五月91啪啪| 新久久五月天激情| 日本九九视频| 免费日本aⅴ中文字幕 | 久久33视频| 97久久久| 激情综合网五月在线播放| 2025色婷婷| 天天碰夜夜操| 好好日激情五月天| 婷婷五月情| 亚洲午夜电影| 深爱五月激情五月| 在线不卡的视频| 激情婷婷五月色| www.婷婷| 综合网狠狠| 五月婷婷黄色视频| 国产在线黄色| 伊人激情综合| 天天肏天天爽夜夜爽| 天天综合色| 九九精品自拍| 色综合九九| AV成人在线播放| 九九色热| 国产黄色大片| 99极品视频| 这里只有精品视频99| 久婷婷婷| www.五月婷婷| 中文字幕在线日亚州9| 五月天色综合| 五月丁香自拍| 91丨九色丨熟女| 精品自拍97| 狠狠色丁香久久| 79色色| 激情综合网激情五月婷婷| 五月丁香五月激情综合色综合| 色99在线| 99久久国产宗和精品1上映| 天天操天天干天天日| 四月婷婷五月丁香| 久久婷丁香五月| 97碰| 99精品在这里| 中文人妻主播久久| 久久久国产精品黄毛片| 免费观看的AV| 97午夜一区二区| 人妻视频一区而且二区| 久久er99| 99热加勒比| 久久久激情视频| 超碰AV在线| 999热这里只有精品| 五月丁香六月色婷| 人妻丰满精品一区二区A片| 婷婷基地五月色| 色色六月| 99这里热| 丁香丁婷五月激情| 国产69久久久欧美黑人A片| 激情五月婷婷综合视频| 亚洲啪啪自拍| 狠狠色大香蕉| 99惹在线精品免费观看| 亚洲乱码日产精品BD| 99久久综合网| 99色免费| 任你日视频| 国产噜一噜天天噜| 久99婷婷色综合| 26uuu日韩| 天天射综合网站| 色五月婷婷影院| 六月丁香深深爱| ..真实国产乱子伦毛片 | jizzdr| 成人片在线播放| 99热精品在线观看| 五月开心深深爱激情综合| 婷婷成人在线| 久久激情网| 欧美成人精品一区二区 | 久久综合五月情| 伊人五月综合网| 婷丁五月| 极品九九九九九九| 开心激情婷婷| 久久久精品色| 激情五月开心五月在线视频| 日本在线观看aaa 99| 亚洲无码成人| 丁香五月天啪啪激情综和网| 久久久激情视频| av操逼网| 久99综合婷婷| 中文字幕色色色| 97碰免费精采视频| 久久小说网| 色情五月婷| 日日操日日射| 五月天色色网站| 国产激情一区| 99自拍视频在线| 熟女激情五月天| 色噜噜,噜噜色| 人橾人| www.99色| 欧美婷婷日本| 自拍盗摄 另类| 五月丁香婷婷无码中文| 九色无码| 狠狠爱丁香婷| 天天日天天操心| 五月激情婷婷开心| www.99热视频在线观看| www狠狠爱com| 丰满老熟妇BBBBB搡BBB| 久热 91| 久久只这里有精品| 色综合色五月| 成人在线视频一区| 99久久婷婷国产综合精品| 五月亭亭六月天| 99视频精品在线| 色插综合网| 婷婷五月天色色| 狠狠se| 色婷婷啪啪综合网| 五月丁香免费看| 丁香激情网| 丁香五月婷婷色| 五月色情婷婷开心五月色情| 伊人婷婷青青cao| www99在线观看视频| 另类图片五月天激情| 久久99精品视频| 婷婷五月天天爽| 婷婷亚洲在线| 五月视频日本免费观看| 九九热视频精品2| 久久机热探花| 涩涩激情五月婷婷| 九九色婷| 秋霞少妇AV网站| 日日天天干| 精品A√| 99日这里只有精品| 天天爽天天爽夜夜爽| 99热乎| 97福利视频| AV在线大香蕉| 久久大香蕉视频| 狠干综合| 成人五月天。COM| 久久99大| 五月伊人91| 思思热视频在线| 开心激情网在线| 久久久网站| 大香蕉啪啪| 九九综合伊人| 婷婷五月天激情文学| 婷婷综合色播网| 日本VA视频| 色播五月婷婷| 欧美日韩成人在线观看| 99热99久久| 久久9精品| 婷婷久久五月| 五月丁香六月激情在线| 狠狠色丁香| 色色热| a久久| 草了bav视频在线观看| 丁香花社区av| 色 噜噜 九月 婷婷| 99热日本精品| 婷婷五月天黄色网址| 91久久精品无码一区二区三区| 久久久久久久久久久44| 棕合影院色色| 开心五月激情网| WWW、日本色丁香co m| 伊人六月无码视频| 操逼棍操逼| 精品久久人妻| 色婷婷亚洲婷婷| 婷婷九月丁香| .精品久久久麻豆国产精品| 五月天操逼激情| 欧美日韩中国| 天堂中文国产| 激情深爱综合| 婷婷五月中文字幕国产| 婷婷五月激情六月| 久久婷婷五月天| 天天射综合网站| 五月天激情国产综合婷婷婷| 97午夜一区二区| 天堂久久性| 亚洲午夜精品久久久久久人妖| 欧美色狠婷久| 丁香婷婷色五月合集| www,av好吊操| 日韩精品999| 亚洲爆乳无码精品AAA片蜜桃| ai97re99一本| 91视频综合网| 超黄亚洲瑟瑟网站| 99热.com| 2017狠狠干| 色婷婷色99国产综合精品| 日本www免费九九| 亚洲天堂大香蕉| 色婷五月| 99视频网| 五月天.com| 九九久久9 9在线观看| 天天干天天av天天射| 五月婷婷天堂| 精品人妻久久久久久久| 超碰在线观看9| 无码激情AAAAA片-区区| 欧美操逼天堂| 亚洲欧洲自拍图片专区五月天| 久久婷婷五月综合伊人| 激情五月小说婷婷| 久久色吧| 综合99在线| 五月丁香六月激情| 久久AV无码精品人妻系列试探| 色九九一二| 丁香五月激情啪啪| 99免费| 精品影院| 欧美性爱中文字幕| www.日韩艹| 1024人妻| 五月开心啪啪| 天天干天天操天天干天天操天天干天天操| 婷婷开心激情| 大香蕉220| 婷婷五月天成人| 99热这里只有精彩| 丁香婷婷大香蕉| 六月婷婷综合久久| 日日撸日日操| 大香蕉久久久久| 亚洲岛国电影| anquye伊人| 五月天操逼网| 在线观看日韩12345区| eeuus五月婷| 爽天天天天天天天| 狠狠操狠狠色| 丁香五月性| 五月婷视频在线| 玖玖@三月天天丁香婷婷| 婷婷激情五月综合| 亚洲色另类| 中文字幕在线免费看线人| 91ncm视频| 九九性视频| 精品9197碰| 蜘蛛女免费观看完整版高清电影| 天天噜日日噜综合无码| 五月丁香激情综合网官网| 婷婷基地成人五月天| 激情五月综合网最新| www五月天com| 五月开心激情| 97成人视频| 五月婷婷狠狠干| 国产婷婷色综合AV蜜臀AV | 狠狠色丁香久久婷婷综合五月| 婷婷中文字暮| www.91五月| 色综合久久久久| 色丁香婷婷| 六月婷婷久久| 激情五月色播五月| 神马久久五月天| 99热这里只有的精品视| 男同91 | 深夜婷婷 丁香| 日日夜夜青青草| 无码人妻少妇色欲AV一区二区| 国产成人av在线| 色综合色五月| 91无码视频| 欧美黄色AA片哗啦啦啦| 欧美 色婷婷| 五月丁香六月花| 婷婷丁香六月天| 天天舔日日肏夜夜爽| 青青草青青草五月天| 五月噜噜| 操人妻AV| 区区欧美你爱| 琪琪狠狠干| 久机视频这只有精品| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 国产成人AV| 国内婷婷丁香社区在线播放| 天天干天天干天天操| 久久久思思热| 可以看的av| 三级成人网站| 国产肥白大熟妇BBBB视频| 激情综合网之激情五月| 亚洲V国产V欧美V久久久久久| 五月激情精品视频| 五月婷婷六月激情| 成人视频婷婷| 伊人色综合久久久| 久久九九爽| 丁香午月AV中文字幕| 白人荫道BBWBBB大荫道| 天天成人综合视频| 狠狠狠狠青草| 激情五月天视频| 九九AV在线| 美女五月天| 天天干天天日日| www.婷婷五月.com| 天天爽天天| 中文字幕在线日亚州9| 在线只有精品| 精品福利911| 影院久久久| 丁香六月激情| 日韩 中文 欧美| 激情深爱五月天| 九九九九九九九热| 九色地址91视频| 色五月六月| 五五月五月| HD久久精品视频| 爆乳熟妇一区二区三区爆乳照片| 草草视频91| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 亚洲日韩26uuu| 亚洲天堂有码| 色爱亚洲| 人妻性操逼中文字幕 国产| 少妇做爰免费视看片| 久久九精品| 亚洲无aV在线中文字幕| 六月丁香五月天| 丁香五月第四色88| 丁香婷婷色九月| 一本道在线电影| 天天干天天干天天| 五月六月丁香婷婷在线观看| 青青999| 六月天婷婷| 思思 热 99| 大香蕉婷婷丁香| 成人美女网| 婷婷五月色综合| www.99热这里只有精品| 久久99成人性爱高清视频| 五月综合激情图片| 青草五月天| 蜜桃五月天| 91精品综合久久久久久五月丁香| 91碰免费视频| 九九99精品| 亚洲综合在线丁香五月| 色域五月婷婷丁香| 欧美色激情四射| 亚洲午夜AV| 亚洲五月色| 五月婷婷深深爱爱| WWW·色色色·COM| 97在线观视频免费观看| 日本熟女二区| 99精品久久| 久久婷婷的综合色丁香五月| 伊人激情AV一区二区三区| 婷婷五月天狠狠| 激情五月图| A在线观看| 精品一二三区久久AAA片| 97干在线观看视频| 五月丁香视频在线观看| 日本一级一片免费视频| 六月婷欧美丁香综合| 色色色综合| www.henhenl| 色五月婷婷内射| 99激| enecarbon-materials.com污K127封锁请涟系@wip1688 | 色色色999| 综合网狠狠| 色欲久久99精品久久久久久| 丁香五月婷婷基地| 五月天婷婷乱论小说| 天天拍久久| 成人色站,在线视频,看片-SS1AV| 青996青| 亚洲精品九九| 日韩在线看AV| 综合激情五月丁香| 婷婷内射视频在线| 五月婷婷AV| 五月丁香综合久久| 婷婷综合在线| 99九九热在线观看| 欧美啪啪五月天| 色在线免费观看| 夜精品无码A片一区二区蜜桃| 五月天婷婷在线观看| 亚洲激情综| 五月丁香成人视频| 日日夜夜综合| 综合六月激情婷婷| 91九色中文| 狠狠色丁香婷婷| 国产午夜伦鲁鲁| 六月激情网| 亚洲1区| 成人 视频免费观看网站| 婷婷久久大香蕉| 无码激情AAAAA片-区区| 色婷婷视频| 99精品免费| av人人干| 色色色综合网| 五月婷婷六月丁香综合| 狠狠五月激情丁香六月| 丁香五月av| 五月丁香亚洲综合| www.henhengan| 久久久久久人妻久久久久久久久久人妻久久久| 综合图区激情| 亚洲bt丁香五月天婷婷激情小说| 精品无码色欲AV| 久久奄也去色色网站| 色婷婷色久综| 日日操,日日爽| 日韩按摩二区| 天天操夜夜爱| 婷婷六月五月天综合| 中文字幕色色| 欧美婷婷成人| 亚洲人人操| 五月丁香激情四射| 亚洲综合五月天| 中文字幕人妻熟女在线| 超碰操日| 久久久精品99| 影视av久久久噜噜噜噜噜三级| 九九热av| 婷婷久久五月| 久久久精久人妻| 日日操天天| 殴美日韩成人| 亚洲色99| 少妇AB又爽又紧无码网站| 99热传媒| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 都市激情五月婷婷综合| 99精品视频在线| 欧美va欧美va差| 亚洲色网址| 丁香婷婷激情网站| 日韩在线观看亚洲| 九九九九这里只有精品| 狠狠色婷婷丁香六月| 西瓜美女a片| 亭亭五月天黑人2014| 婷婷五月激情五月激情| 久久激情五月婷婷| 97精品综合久久| 色婷婷中文| 久久这里只有精品视频15| 人人综合91网| 九九热精品| 欧美群妇大交乱婬网| 婷婷五月丁香伊人网| 色色色色色综合| 亚洲激情在线| 日欧一片内射VA在线影院| 亚洲天堂制| 久久大香蕉视频| 99热国产在| 99热这里只有精品免费观看| 激情婷婷五月天| 96丁香婷婷九月蜜桃综合久久| 色婷婷成人网| 婷婷伊人激情婷婷| 五月天激情亚洲| www.久久久久| 五月天色欧美| 婷婷伊在线| 99热久| 丁香六月综合激情| 国产精品成人网站| 久草天堂| 久久这里只有国产视频| 五月丁香av中文| 亚洲成人网址在线观看| 99操中文视频| 国产成人99久久亚洲综合精品| 九月婷婷久久久| 综合九色| 九九蜜臀精品| 五月婷六月| 欧美交换配乱吟粗大25P| 丁香婷婷五月综合| 麻豆五月丁香婷婷| 级情九色| 无码色综合| 久久人妻爱爱| 久/久精品99看9| 天天久久婷婷| 丁香伊人综合| 国产成人av在线播放| 婷五月天| 五月丁香婷色| 激情综合九月| 夜色.cnm| www.夜夜夜| 中文AV网站| 五月丁香婷婷婷激情爱爱| 婷婷深爱五月丁香网| 26uuu精品国产| 日本一毛片| 六月丁香社区| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 99精品在线观看视频| www久久久久久久久久久久久久久久久| 久久9视频| 久久看婷婷| 国产精品A片在线| 小视频一区 | 激情狠狠丁香月| 大香蕉伊人久久| 亚洲无AV在线中文字幕| 狠狠狠狠狠狠草| 伊人超碰| www夜夜| 久久九色| 狠狠色噜噜狠狠| 日韩无码系列| 一级二级香港秋霞欧美欧美秋霞| 免费观看全黄做爰的视频| 婷婷五月天成人网| 成人一级片| 91久久九色| 亚洲十月婷婷综合| 99热在线观看| 日操| 欧美交换配乱吟粗大25P| 五月婷婷色色| 色色色免费视频| 碰97久久| 色婷天天| 婷婷综合在线播放| 久久99热这里只频精品6学生| 1024在线视频| 欧美激情综合五月色丁香| 91碰人人| 99热在线这里| 婷婷桃色网| 五月婷视屏在线观看| 大鸡巴伊人网| 开心色五月天久久久久久久| 97操资源婷婷| 婷婷五月天激情网站| 另类婷婷五月天啪帕帕| www,五月天激情| 色婷婷五月天av在线| www.久久五月天.com| 久久久久久久11111111111| 狠狠色丁香99| 九九婷婷五月天| 五月天激情.com| 超碰免费人人肏| 天天拍久久| 亚洲精品九九| 婷婷五月天电影网| 丁香久月| 97人人操人人爽| 玖玖在线视频| 大地资源色婷婷视频在线 | 婷婷五月天丁香久久| 五月花在线观看视频| 草榴成人影片| 天天操人人干| 操人视频91| 婷婷欧美综合| 99免费综合网| 依人大香蕉| 丁香五月六月激情| 丁香五月综合激情久久潮喷| 日本九九视频| 五月丁香香蕉| 丰满人妻妇伦又伦精品国产| 操丝袜视频影院导航| 日本人妻操| 五月婷婷偷拍| 日日夜夜狠狠婷婷色| 中字幕视频在线永久在线观看免费 | 五月丁香亚州综合网| 六月婷婷在线视频| www.99婷婷| 大香蕉婷婷| 欧美VA在线观看| 一二区成人电影| 丁香五月激情综合| 天天插轮理| 色婷成人狠干| 六月丁香中文字幕| 六月婷婷视频| 99在线视频操999| 看片视频在线免费日产在线看| 高清不卡一区| 免费视频WWW在线观看网站| 九九视频这里只有精品| 99热国内精品| 610018岁成人视频| 久久久久人妻网址| 国产欧美日韩性爱| 亚洲AV影片在线观看| 一级二级色大片| 狠狠操.com| 欧美毛卡| 99热91| 91九色国产熟女| 久久久er热|