欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

GGUF與llama.cpp實(shí)戰(zhàn):CPU本地部署大模型全指南

GGUF與llama.cpp實(shí)戰(zhàn):CPU本地部署大模型全指南 很多人一聽到“本地部署大模型”第一反應(yīng)就是“我顯卡不行”然后直接放棄。這個(gè)反應(yīng)我太熟悉了因?yàn)槲抑耙惨粯?。直到我真正?dòng)手試了一遍 GGUF llama.cpp 的 CPU 推理方案才意識(shí)到在資源有限的機(jī)器上大模型不是不能跑而是需要換一種部署思路。這篇文章是本地部署系列第二篇專門把 GGUF/llama.cpp 這條輕量化部署路線講透。不管你是只有一臺(tái)老筆記本、不想讓數(shù)據(jù)出內(nèi)網(wǎng)還是純粹想搞明白量化、上下文、線程這些概念到底是怎么回事這篇文章都能讓你少走不少?gòu)澛?。我?huì)從原理講到選型再?gòu)膶?shí)測(cè)調(diào)優(yōu)講到踩坑排查全程用普通用戶能直接照做的命令和參數(shù)最后給出可以擴(kuò)展的服務(wù)化玩法。適合誰看內(nèi)存 8GB 以上、沒有獨(dú)立顯卡、只有一張老舊顯卡或者單純想低成本接觸大模型的開發(fā)者和折騰愛好者。不適合誰看指望 CPU 跑出云端 GPU 那種秒回體驗(yàn)的人。先把期望調(diào)低一點(diǎn)CPU 推理的定位是“夠用、可控、隨時(shí)跑”而不是“高性能、高吞吐”。1. 為什么偏要在 CPU 上跑大模型1.1 “沒有 GPU 不是錯(cuò)”的底氣從哪里來先說一個(gè)很多人會(huì)忽略的事實(shí)一個(gè) 70 億參數(shù)規(guī)模的開源模型經(jīng)過 4bit 量化之后體積只有 4GB 到 5GB 左右。這不是一個(gè)天文數(shù)字一臺(tái)普通辦公電腦的 DDR4 內(nèi)存都有 16GB 甚至 32GB。也就是說除了一顆正常工作的 CPU你不需要任何額外硬件就已經(jīng)滿足了運(yùn)行條件。我自己的實(shí)測(cè)感受是在一臺(tái)八核 CPU、雙通道內(nèi)存的普通臺(tái)式機(jī)上跑 70 億參數(shù)模型的 Q4_K_M 量化版生成速度大約在每秒 8 到 15 個(gè) token。換算成人話就是每秒蹦出十幾個(gè)字。這個(gè)速度確實(shí)比不上顯卡但用來做實(shí)驗(yàn)、調(diào) prompt、驗(yàn)證想法、寫點(diǎn)日常問答完全能忍。很多人不是機(jī)器不行而是被“大模型必須用 GPU”的說法嚇住了。實(shí)際跑起來之后你會(huì)發(fā)現(xiàn)CPU 推理最大的門檻不在硬件而在部署姿勢(shì)。姿勢(shì)對(duì)了老機(jī)器一樣能彎道超車。1.2 哪類場(chǎng)景真的適合 CPU 推理不是所有任務(wù)都適合用 CPU 跑。我的經(jīng)驗(yàn)是先分清場(chǎng)景再?zèng)Q定方案比盲目上 GPU 更理性。下面這張表可以幫你快速判斷場(chǎng)景CPU 方案的實(shí)際表現(xiàn)我的建議本地實(shí)驗(yàn)、調(diào) API、寫小工具完全夠用幾秒到幾十秒出結(jié)果放心上隱私敏感文本處理數(shù)據(jù)不出機(jī)器天然有優(yōu)勢(shì)很推薦斷網(wǎng)環(huán)境、離線辦公不依賴任何云服務(wù)唯一靠譜方案長(zhǎng)期后臺(tái)批量任務(wù)慢但穩(wěn)定幾乎不占顯存可以跑高并發(fā)對(duì)外服務(wù)單機(jī)吞吐低扛不住大量請(qǐng)求不適合超長(zhǎng)文本連續(xù)生成上下文一長(zhǎng)速度和內(nèi)存都會(huì)吃緊謹(jǐn)慎訓(xùn)練、微調(diào)、反復(fù)迭代CPU 不適合別勉強(qiáng)放棄 CPU一個(gè)容易被忽略的點(diǎn)是CPU 方案沒有顯存溢出問題也沒有驅(qū)動(dòng)兼容問題。你用一張老顯卡跑大模型反而可能被顯存容量卡死CPU 方案只要內(nèi)存夠就能一直穩(wěn)穩(wěn)運(yùn)行。對(duì)很多個(gè)體開發(fā)者和學(xué)生來說這種“不怕跑崩”的確定性比速度重要得多。1.3 三個(gè)反直覺的事實(shí)第一個(gè)反直覺點(diǎn)大模型推理的瓶頸通常不在 CPU 計(jì)算能力而在內(nèi)存帶寬。生成每個(gè) token 時(shí)模型都要把全部權(quán)重從內(nèi)存里讀一遍。70 億參數(shù)的 Q4 量化模型權(quán)重約 4GB 多每生成一個(gè)字就得搬運(yùn) 4GB 數(shù)據(jù)。所以內(nèi)存通道數(shù)、頻率這些指標(biāo)對(duì)推理速度的影響遠(yuǎn)超核心數(shù)。這也是為什么我看到有人給老電腦超頻內(nèi)存之后token 速度直接漲了將近一倍——因?yàn)槠款i根本不在 CPU 那顆芯片里。第二個(gè)反直覺點(diǎn)量化模型不僅體積小速度反而更快。權(quán)重從 16bit 壓縮到 4bit等于每次搬運(yùn)的數(shù)據(jù)量變成原來的四分之一。省下來的搬運(yùn)時(shí)間就是實(shí)打?qū)嵉男阅芴嵘?。所以同樣一個(gè)模型Q4 量化版通常比原始精度版本跑得更快。第三個(gè)反直覺點(diǎn)llama.cpp 的啟動(dòng)速度非???。它直接把模型文件映射到內(nèi)存不需要像傳統(tǒng)推理框架那樣先加載 Python 運(yùn)行環(huán)境、構(gòu)建計(jì)算圖再等模型初始化。很多時(shí)候命令敲下去幾秒鐘就能看到第一個(gè)字蹦出來。這種“開機(jī)即用”的感覺是 CPU 部署很容易讓人入坑的原因。2. GGUF 和 llama.cpp 到底解決了什么問題2.1 GGUF 究竟是一種什么格式GGUF 是 llama.cpp 社區(qū)主導(dǎo)的一種模型打包格式現(xiàn)在基本成了本地部署的事實(shí)標(biāo)準(zhǔn)。它把模型的權(quán)重、詞表、超參數(shù)、采樣配置、tokenizer 信息統(tǒng)一打成一個(gè)文件還支持分片存儲(chǔ)。對(duì)使用者來說最直觀的好處是一個(gè)模型就是一個(gè)文件拷貝到哪里都能跑不需要額外準(zhǔn)備一堆配置文件。用生活里的例子類比GGUF 就像把食材、調(diào)料、菜譜全部裝進(jìn)一個(gè)真空料理包里。你不需要自己搭配拿出來按步驟加熱就能吃。量化則是這個(gè)料理包的“壓縮工藝”原本每個(gè)權(quán)重是 16bit 或 32bit 的浮點(diǎn)數(shù)占用的空間很大量化后壓縮成 4bit 或 5bit 的整數(shù)體積大幅縮小。量化不是無損的它是把連續(xù)分布的權(quán)重值映射到有限的離散檔位上。聽起來很“暴力”但實(shí)踐下來大部分任務(wù)里質(zhì)量損失是可控的尤其是 4bit 以上的量化普通問答、代碼生成、資料整理這類場(chǎng)景基本感覺不到明顯的智力下降。這也是 GGUF 能流行起來的根本原因用少量精度換體積和速度這筆賬在本地 CPU 部署里非常劃算。2.2 llama.cpp 為什么能做到輕量llama.cpp 這個(gè)項(xiàng)目的核心吸引力在于“輕”。它是用 C/C 實(shí)現(xiàn)的推理引擎不依賴 Python 運(yùn)行時(shí)也不需要安裝一大堆第三方包。整個(gè)項(xiàng)目編譯之后就是幾個(gè)可以直接執(zhí)行的原生程序傳到任何同架構(gòu)的系統(tǒng)上就能運(yùn)行。傳統(tǒng)推理方案在 CPU 上跑之所以難受是因?yàn)橹虚g隔了太多層Python 解釋器、框架封裝、動(dòng)態(tài)圖優(yōu)化、算子調(diào)度。每一層都有開銷最后真正留給計(jì)算的資源其實(shí)不多。llama.cpp 選擇全部自己來針對(duì) x86 的 AVX2、AVX512 指令集和 ARM 的 NEON 指令集做了深度優(yōu)化把“讀權(quán)重、算注意力、采樣輸出”這一整條鏈路塞進(jìn)了盡可能少的指令里。輕量帶來的另一個(gè)好處是透明度高。它沒有把復(fù)雜邏輯藏在黑盒里日志會(huì)直接告訴你模型加載了多少層、上下文緩存用了多少內(nèi)存、每個(gè)階段的耗時(shí)是多少秒。這對(duì)排查故障、調(diào)優(yōu)參數(shù)來說簡(jiǎn)直不要太友好。我自己調(diào)試的時(shí)候基本都是靠它輸出的那幾行 verbose 日志定位問題的。2.3 量化級(jí)別到底怎么選GGUF 文件名里那串字母比如 Q4_0、Q4_K_M、Q5_K_M就是量化級(jí)別的標(biāo)識(shí)。很多人第一次看到會(huì)發(fā)懵我直接給你一張速查表以 70 億參數(shù)模型為例量化標(biāo)識(shí)7B 模型文件約大小特點(diǎn)適合場(chǎng)景Q4_0約 3.8GB速度最快體積最小精度損失略大老機(jī)器、內(nèi)存極緊張Q4_K_M約 4.7GB性能與質(zhì)量平衡最好社區(qū)口碑主力大多數(shù)人的默認(rèn)選擇Q5_K_M約 5.1GB質(zhì)量比 Q4 更好內(nèi)存要求稍高內(nèi)存 16GB 以上想追求質(zhì)量Q6_K約 5.9GB接近原始精度體積仍在可控范圍對(duì)質(zhì)量敏感且內(nèi)存充裕Q8_0約 7.2GB幾乎無損體積接近原始模型的一半想保留最好質(zhì)量F16約 13GB原始精度體積最大基本不推薦除非內(nèi)存溢出也無所謂K 系列是“智能量化”的產(chǎn)物原理很有意思模型里不是所有層都同等重要K 量化會(huì)對(duì)關(guān)鍵層用更高精度對(duì)不那么重要的層用更低精度整體達(dá)到一個(gè)“同樣的體積下質(zhì)量更好”的效果。所以 Q4_K_M 雖然在文件名上只比 Q4_0 多了一個(gè) K_M實(shí)際質(zhì)量差距比很多人想象的要大。我的建議非常直接普通人默認(rèn)選 Q4_K_M。如果內(nèi)存特別吃緊退到 Q4_0如果內(nèi)存充足、又在意輸出質(zhì)量升到 Q5_K_M 或 Q6_K。不要一上來就追求 Q8_0 或 F16因?yàn)?CPU 推理的速度和體積直接掛鉤尺寸越大搬運(yùn)權(quán)重越慢體驗(yàn)反而可能更差。3. 動(dòng)手之前先算賬模型、內(nèi)存與 CPU 怎么匹配3.1 內(nèi)存需求估算公式部署之前先算內(nèi)存賬這步省不了。否則你模型下到一半發(fā)現(xiàn)內(nèi)存不夠前面的時(shí)間全白費(fèi)。估算邏輯不復(fù)雜主要是三部分模型文件大小 上下文緩存 系統(tǒng)余量。模型文件大小可以粗略算一個(gè) 70 億參數(shù)的模型按每參數(shù) 4bit 均值算理論上是 70 億 × 4bit ÷ 8 ≈ 3.5GB。但 GGUF 里除了主體權(quán)重還有詞表、層的 norm 參數(shù)等會(huì)用更高精度存儲(chǔ)所以實(shí)際文件大約 4 到 5GB直接看下載列表里的文件大小就行。上下文緩存這部分很多人會(huì)漏算。推理時(shí)模型會(huì)維護(hù)一個(gè) KV cache用來緩存已生成的上下文。它的體積跟上下文長(zhǎng)度強(qiáng)相關(guān)粗略計(jì)算是2 × 層數(shù) × KV 頭數(shù) × 頭維度 × 上下文長(zhǎng)度 × 每項(xiàng)字節(jié)數(shù)。拿一個(gè)常見的七十幾億參數(shù)模型舉例32 層、8 個(gè) KV 頭、每個(gè)頭 128 維用 fp16 緩存長(zhǎng)度 4096 的上下文算下來大約占用 500MB 到 1GB。所以一個(gè) 16GB 內(nèi)存的機(jī)器跑 7B Q4_K_M 4096 上下文是綽綽有余的總共也就吃掉 6GB 左右。8GB 內(nèi)存的機(jī)器能跑但會(huì)比較緊張建議把上下文降到 2048同時(shí)關(guān)掉其他大型應(yīng)用。如果是 130 億參數(shù)規(guī)模的 Q4 模型單文件大約 8.5GB加緩存后 16GB 內(nèi)存屬于“能跑但危險(xiǎn)”的檔位32GB 才穩(wěn)。3.2 CPU 性能怎么匹配內(nèi)存帶寬決定速度但 CPU 核心數(shù)決定“能不能跑得動(dòng)”。我自己畫了一張經(jīng)驗(yàn)表按照不同硬件的實(shí)際水準(zhǔn)做了個(gè)劃分方便你對(duì)號(hào)入座CPU 檔次適合的模型規(guī)模7B Q4 期望速度備注四核八線程老 CPUDDR3 單通道1B 到 4B3 到 6 tok/s能跑但體驗(yàn)一般六核十二線程DDR4 雙通道4B 到 7B6 到 10 tok/s普通用戶的主力檔位八核十六線程DDR4 雙通道7B 到 13B8 到 15 tok/s性價(jià)比最高八核以上DDR5 雙通道或更高13B 到 33B15 以上 tok/s已經(jīng)接近可用水準(zhǔn)這里要再次強(qiáng)調(diào)表格里的速度參考值不只是依賴核心數(shù)更依賴內(nèi)存通道和頻率。單通道內(nèi)存跑 7B速度直接會(huì)跌掉三到四成。如果你的機(jī)器是四核配單通道內(nèi)存別硬上 13B 模型老老實(shí)實(shí)從 1B 到 7B 起步先把流程跑通。3.3 選哪個(gè)模型和版本選模型的第一個(gè)原則優(yōu)先選帶 GGUF 版本的對(duì)話模型不要自己從原始權(quán)重手動(dòng)轉(zhuǎn)換。社區(qū)里有很多已經(jīng)轉(zhuǎn)好的 GGUF 文件文件名會(huì)明確標(biāo)注量化級(jí)別。你只需要找到和自己硬件匹配的那一檔下載即可。這個(gè)過程比大多數(shù)人想象中簡(jiǎn)單根本不用碰轉(zhuǎn)換腳本。第二個(gè)原則解讀文件名??吹絰xx-7b-q4_k_m.gguf這類名字前半部分是模型系列和參數(shù)規(guī)模后半部分就是量化標(biāo)識(shí)。不認(rèn)識(shí)的量化后綴就按我前面那張表對(duì)照選 Q4_K_M 起步基本不會(huì)出錯(cuò)。第三個(gè)原則先小后大。第一次跑通流程時(shí)先用一個(gè)最小的模型把命令、參數(shù)、網(wǎng)絡(luò)環(huán)境都驗(yàn)證一遍再換目標(biāo)模型。很多人急著直接下 13B結(jié)果下載了幾個(gè)小時(shí)運(yùn)行時(shí)報(bào)內(nèi)存不足體驗(yàn)非常挫敗。我建議你先跑一個(gè) 1B 或 4B 的模型確認(rèn)整條鏈路沒問題再去追求更聰明的效果。下載方面提醒一句這些模型文件動(dòng)輒好幾個(gè) GB下載過程容易中斷。下載完之后最好用文件校驗(yàn)值確認(rèn)一下完整性不然加載時(shí)報(bào)錯(cuò)會(huì)讓人一頭霧水。校驗(yàn)方法后面踩坑部分我再展開。4. 從零到跑通編譯部署全流程4.1 獲取 llama.cpp下載 Release 還是源碼編譯拿到 llama.cpp 有兩條路一是直接用官方發(fā)布的預(yù)編譯包二是自己編譯。我的建議是Windows 用戶優(yōu)先用預(yù)編譯包省事、穩(wěn)定開箱即用。Linux 和 mac 用戶如果沒有特殊要求也建議先用預(yù)編譯包把流程跑通。如果后續(xù)發(fā)現(xiàn)性能不理想或者想用最新的特性再嘗試自己編譯。源碼編譯的邏輯很簡(jiǎn)單就是把倉(cāng)庫(kù)拉下來用 CMake 構(gòu)建。需要注意一個(gè)參數(shù)-DLLAMA_NATIVEON它的意思是讓編譯器針對(duì)本機(jī) CPU 的特性做原生優(yōu)化啟用當(dāng)前 CPU 支持的高級(jí)指令集。這個(gè)參數(shù)對(duì)推理速度的影響非常明顯如果你發(fā)現(xiàn)自己的跑分比同類配置低一截八成是這一步?jīng)]做好git clone 源碼倉(cāng)庫(kù)地址 cd llama.cpp cmake -B build -DLLAMA_NATIVEON -DCMAKE_BUILD_TYPERelease cmake --build build -j$(nproc)編譯完成之后所有可執(zhí)行文件都在build/bin/目錄下。我最常用的就是兩個(gè)llama-cli用來做命令行對(duì)話llama-server用來啟動(dòng)一個(gè)本地 API 服務(wù)。4.2 最小對(duì)話命令llama-cli第一次跑通對(duì)話建議用最小命令不要加一堆花里胡哨的參數(shù)。把模型路徑換成你的實(shí)際文件路徑llama-cli -m ./models/my-model-7b-q4_k_m.gguf -p 用一句話解釋什么是量化 -n 256 -t 8命令拆開看就四件事-m指定模型文件-p輸入提示詞-n限制最多生成 256 個(gè) token-t指定用 8 個(gè)線程。線程數(shù)這里先別較真設(shè)置成和你 CPU 物理核心數(shù)差不多就行后面調(diào)優(yōu)部分再細(xì)說。正常情況下幾秒鐘后終端里會(huì)開始蹦字輸出一句關(guān)于量化的解釋。如果你看到一堆亂碼或者奇怪的符號(hào)先別慌——很大概率是模型詞表和你提示詞的編碼不匹配或者量化文件本身有問題。換一個(gè)帶中文對(duì)話能力的模型重新測(cè)試往往就能解決。第一次跑通這個(gè)命令你的本地部署計(jì)劃等于成功了一半。因?yàn)樽罘爆嵉沫h(huán)節(jié)模型下載、格式識(shí)別、推理鏈路都已經(jīng)打通了。接下來所有進(jìn)階玩法都建立在這一步之上。4.3 跑一個(gè)本地 APIllama-server命令行對(duì)話只是開胃菜真正實(shí)用的是llama-server。它會(huì)起一個(gè)本地服務(wù)對(duì)外提供兼容常見 HTTP API 的接口這樣你就可以用任何語言寫調(diào)用代碼甚至讓其他本機(jī)工具直接對(duì)話。啟動(dòng)命令同樣很樸素llama-server -m ./models/my-model-7b-q4_k_m.gguf --host 127.0.0.1 --port 8080 -c 4096 -t 8這里多了一個(gè)-c 4096代表上下文長(zhǎng)度是 4096 個(gè) token。建議第一次就把上下文設(shè)到一個(gè)能用的水平默認(rèn)幾百個(gè) token 的配置聊幾句話就會(huì)“失憶”體驗(yàn)很差。啟動(dòng)成功后瀏覽器打開http://127.0.0.1:8080能看到一個(gè)簡(jiǎn)單的網(wǎng)頁聊天界面可以直接和模型對(duì)話。這一版服務(wù)內(nèi)置了網(wǎng)頁端對(duì)初學(xué)者特別友好不需要額外部署任何前端項(xiàng)目。等你把基本流程跑熟之后再考慮用第三方界面或者自己寫腳本調(diào)接口。4.4 第三方前端怎么接到了這步你手里的本地服務(wù)已經(jīng)是一個(gè)標(biāo)準(zhǔn)接口了。現(xiàn)在市面上很多常見的開源聊天前端都支持把 API 地址指向本地端口。配置時(shí)只需要把默認(rèn)地址改寫成http://127.0.0.1:8080模型名稱填你部署時(shí)的名稱基本就能直接對(duì)話。這里有個(gè)小技巧用第三方前端的好處不是聊天界面好看而是你能拿到工具調(diào)用、多輪會(huì)話管理這些能力。自己寫一套會(huì)話管理代碼其實(shí)挺花時(shí)間的直接復(fù)用現(xiàn)成的開源前端可以把精力全部集中在模型本身的應(yīng)用開發(fā)上。5. 壓榨 CPU 性能的調(diào)優(yōu)姿勢(shì)5.1 線程不是越多越好很多人一看-t參數(shù)就以為自己電腦有 16 個(gè)線程應(yīng)該填 16。實(shí)際跑下來你就會(huì)發(fā)現(xiàn)線程數(shù)量超過物理核心數(shù)之后速度不升反降。原因很簡(jiǎn)單超線程只是把物理核的閑置資源“假裝”成另一個(gè)核但推理任務(wù)本身是密集計(jì)算型任務(wù)大量線程同時(shí)搶資源會(huì)導(dǎo)致調(diào)度開銷暴漲反而拖慢速度。我自己的實(shí)測(cè)數(shù)據(jù)在八核十六線程的機(jī)器上跑同一個(gè) 7B 模型線程設(shè)置實(shí)測(cè)生成速度-t 4約 6 tok/s-t 8約 11 tok/s-t 16約 8 tok/s-t 24約 6 tok/s看到?jīng)]有最優(yōu)值正好是物理核心數(shù) 8再往上全是負(fù)收益。所以調(diào)參第一步先查清楚你的 CPU 物理核數(shù)別被設(shè)備管理器里的“16 線程”忽悠了。如果你用的是 Linux可以用lscpu查看Core(s) per socket這一行。還有一個(gè)容易忽略的問題后臺(tái)運(yùn)行的殺毒軟件、瀏覽器、網(wǎng)盤客戶端會(huì)搶占 CPU 核心。跑推理測(cè)試的時(shí)候盡量關(guān)掉不必要的后臺(tái)程序多線程推理對(duì)這種干擾非常敏感。5.2 上下文長(zhǎng)度與 KV cache 的取舍上下文長(zhǎng)度是性能調(diào)優(yōu)里最容易踩坑的地方。不少人喜歡把-c直接拉滿比如 8192 甚至 32768覺得上下文越長(zhǎng)越厲害。但代價(jià)是KV cache 內(nèi)存占用線性增長(zhǎng)推理時(shí)每一層都要反復(fù)讀寫這些緩存速度明顯下降。正確的思路是“夠用就好”。日常問答、資料總結(jié)4096 已經(jīng)足夠覆蓋絕大多數(shù)場(chǎng)景。如果你只是想測(cè)試模型能不能記住很長(zhǎng)的內(nèi)容再考慮 8192。內(nèi)存吃緊的機(jī)器先把-c降到 2048 試試往往速度和穩(wěn)定性都會(huì)改善不少。這里還要提一個(gè)內(nèi)存相關(guān)的關(guān)鍵參數(shù)--mlock。默認(rèn)情況下 llama.cpp 會(huì)把模型文件映射到虛擬內(nèi)存操作系統(tǒng)可能隨時(shí)把一部分?jǐn)?shù)據(jù)交換到磁盤一旦發(fā)生磁盤交換推理速度會(huì)直接跌到崩潰級(jí)別。加上--mlock可以把模型鎖在物理內(nèi)存里防止被換出。特別是主機(jī)同時(shí)跑著其他應(yīng)用時(shí)這個(gè)參數(shù)能有效穩(wěn)定速度。5.3 采樣參數(shù)決定體驗(yàn)不決定速度--temp、--top-p、--repeat-penalty這些參數(shù)不影響速度但直接影響輸出質(zhì)量。很多人第一次跑模型默認(rèn)參數(shù)下中文大量重復(fù)就以為是模型太笨其實(shí)是采樣器在“放飛自我”。我常用的一組穩(wěn)妥參數(shù)如下--temp 0.7 --top-p 0.9 --repeat-penalty 1.1temp控制隨機(jī)性0.7 是創(chuàng)造力和穩(wěn)定性的平衡點(diǎn)top-p限制候選 token 的范圍0.9 比較中庸repeat-penalty對(duì)重復(fù) token 做抑制1.1 能有效減少“哈哈哈……”、“好的好的……”這種死循環(huán)。遇到輸出重復(fù)嚴(yán)重時(shí)優(yōu)先調(diào)高repeat-penalty而不是盲目降低temp。5.4 真正影響速度的隱藏參數(shù)有幾個(gè)參數(shù)不太顯眼但對(duì) CPU 推理的實(shí)際性能影響很大官方文檔往往一筆帶過。第一個(gè)是--batch-size。它控制預(yù)填充階段一次性處理多少個(gè) prompt token。默認(rèn)值偏小如果 prompt 很長(zhǎng)比如幾千字的文檔摘要預(yù)填充階段會(huì)非常慢。把--batch-size提高到 1024 或 2048通常能讓長(zhǎng)篇輸入的首字延遲明顯下降。注意這是預(yù)填充階段的優(yōu)化對(duì)生成階段幫助不大。第二個(gè)是--flash-attn。名字叫 Flash Attention常被誤解為 GPU 專屬。實(shí)際上它在 CPU 版本里也有作用主要是減少 KV cache 的占用和部分計(jì)算量。如果你的版本支持建議加上內(nèi)存緊張時(shí)能省出不少緩存空間。第三個(gè)是雙通道內(nèi)存的檢查。前面已經(jīng)反復(fù)提到內(nèi)存帶寬的重要這里再提一個(gè)具體操作開機(jī)任務(wù)管理器里看內(nèi)存插槽數(shù)如果明明插了兩根內(nèi)存條卻顯示“單通道”多半是插錯(cuò)位置了。你不需要換任何硬件只調(diào)整插槽順序推理速度就可能提升兩三成這是我見過性價(jià)比最高的“免費(fèi)升級(jí)”。調(diào)優(yōu)參數(shù)組合我的習(xí)慣是目標(biāo)參數(shù)建議內(nèi)存緊張-t物理核心數(shù) -c 2048--flash-attn追求速度-t物理核心數(shù) --batch-size 2048--mlock追求穩(wěn)定-t物理核心數(shù) --mlock 采樣參數(shù)固定6. 實(shí)操踩坑全記錄從下載失敗到輸出亂碼的排查鏈路6.1 模型文件下載不完整導(dǎo)致加載失敗這個(gè)坑我踩過不止一次。癥狀是運(yùn)行l(wèi)lama-cli時(shí)日志走到一半彈出failed to load model之類的報(bào)錯(cuò)然后直接退出。第一次遇到時(shí)我下意識(shí)排查模型路徑、權(quán)限甚至重裝了一遍程序最后發(fā)現(xiàn)純粹是文件下載不完整。幾個(gè) GB 的文件用瀏覽器直接下載特別容易在中間斷掉但瀏覽器有時(shí)會(huì)顯示下載成功。解決辦法是下載后做一次完整性校驗(yàn)。模型托管頁一般都會(huì)給出對(duì)應(yīng)的 SHA256 值下載后用下面的命令核對(duì)sha256sum ./models/my-model-7b-q4_k_m.gguf把得到的哈希值和頁面上的比對(duì)一致才說明文件完好。如果對(duì)不上需要重新下載并且建議改用支持?jǐn)帱c(diǎn)續(xù)傳的多線程下載工具而不是瀏覽器單線程下載。從這里可以總結(jié)一套排查思路先確認(rèn)文件完整 → 再確認(rèn)命令參數(shù) → 最后懷疑量化級(jí)別。很多人一上來就懷疑模型本身有問題其實(shí) GGUF 文件經(jīng)不起折騰的部分就是傳輸損壞其他環(huán)節(jié)出問題的概率很低。6.2 內(nèi)存不足導(dǎo)致進(jìn)程被殺癥狀更直接運(yùn)行一段時(shí)間后終端彈出Killed或者直接沒有響應(yīng)后臺(tái)看模型進(jìn)程已經(jīng)消失。這種多半是內(nèi)存不夠用系統(tǒng)觸發(fā) OOM 保護(hù)把進(jìn)程干掉了。排查鏈路兩步走。第一步看物理內(nèi)存還剩多少第二步算一下當(dāng)前模型加上下文的實(shí)際占用。以 7B Q4_K_M 4096 上下文為例大約需要 5 到 6GB 內(nèi)存。如果你的機(jī)器只剩 3GB 可用那就不是“能不能跑”的問題而是“會(huì)被殺”的問題。解決方案按優(yōu)先級(jí)排列換更小的量化文件比如 Q4_0把上下文從-c 4096降到-c 2048關(guān)掉瀏覽器和其他常駐程序最后再考慮換更小規(guī)模的模型。想省事的話Linux 下可以先跑free -hWindows 下直接看任務(wù)管理器做到心里有數(shù)再開跑。6.3 中文亂碼、重復(fù)、答非所問的連鎖反應(yīng)如果模型輸出的是亂碼最常見的原因不是模型壞了而是你用了沒有中文詞表的模型或者提示詞編碼不對(duì)。解決辦法是換一個(gè)明確支持中文的對(duì)話模型然后先用中文測(cè)試提示詞驗(yàn)證詞表。如果輸出是正常中文但反復(fù)重復(fù)同一句話那就是采樣參數(shù)的問題。模型在低重復(fù)懲罰下容易陷入局部循環(huán)輸出“好的好的好的……”這種情況。處理方案是提高--repeat-penalty比如從默認(rèn)的 1.0 調(diào)到 1.15同時(shí)把--top-p降到 0.9。如果還是重復(fù)再逐步加大懲罰值。還有一種常見情況是“答非所問”——你問東它答西。這個(gè)問題通常不是 bug而是模型沒有遵循角色的指令。檢查你是否給了足夠的系統(tǒng)提示詞或者換用經(jīng)過指令微調(diào)的對(duì)話模型版本。原始基礎(chǔ)模型在對(duì)話任務(wù)上表現(xiàn)確實(shí)會(huì)差一截這不是 CPU 方案的鍋。6.4 速度異常慢的完整排查鏈路如果你覺得自己電腦配置不差但推理速度遠(yuǎn)低于預(yù)期按下面這個(gè)順序排查基本能定位問題。第一確認(rèn)線程數(shù)。-t有沒有設(shè)置成物理核心數(shù)前面說的“線程越多越慢”是真實(shí)存在的坑。第二確認(rèn)編譯優(yōu)化。如果你是源碼編譯-DLLAMA_NATIVEON打開了嗎預(yù)編譯包也要確認(rèn)自己下載的是針對(duì)當(dāng)前架構(gòu)的版本。第三確認(rèn)內(nèi)存通道。任務(wù)管理器看是不是雙通道系統(tǒng)是不是把內(nèi)存條插錯(cuò)了位置。第四確認(rèn)后臺(tái)負(fù)載。是不是有瀏覽器、同步盤、殺毒軟件在搶 CPU 和內(nèi)存帶寬。如果上面四項(xiàng)都正常速度還是慢那可能就是硬件本身的瓶頸比如筆記本的散熱限制、或者內(nèi)存頻率只有 2133MHz。這時(shí)就不要硬追求速度了換成更小的量化模型效果立竿見影。7. 從命令行玩具到日常工具服務(wù)化部署與擴(kuò)展玩法7.1 用 llama-server 提供標(biāo)準(zhǔn)接口走到這一步你的本地模型已經(jīng)不只是命令行玩具了。llama-server起的服務(wù)默認(rèn)監(jiān)聽在127.0.0.1:8080隨便用一個(gè) HTTP 請(qǐng)求就能調(diào)用。下面是一個(gè)最簡(jiǎn)單的調(diào)用示例curl -s http://127.0.0.1:8080/v1/chat/completions \ -H Content-Type: application/json \ -d {model:my-model-7b-q4_k_m,messages:[{role:user,content:你好介紹一下你自己}]}返回的 JSON 結(jié)構(gòu)和常見的云服務(wù)接口格式一致包含choices、message、content這些字段。這意味著你之前寫的任何調(diào)用云模型的項(xiàng)目都可以把接口地址改一下直接指向本地。我在一個(gè)內(nèi)部小工具里試過改動(dòng)量基本就是改一個(gè) base_url 配置。如果想讓局域網(wǎng)內(nèi)其他設(shè)備也用這個(gè)服務(wù)把--host改成0.0.0.0即可。但要提醒一句這樣會(huì)有安全風(fēng)險(xiǎn)這個(gè)服務(wù)默認(rèn)沒有鑒權(quán)別人拿到地址就能調(diào)用。用在可信內(nèi)網(wǎng)沒問題遠(yuǎn)程暴露還是要自己套一層鑒權(quán)。7.2 再進(jìn)一步給模型配上本地知識(shí)庫(kù)本地部署的第二大價(jià)值是能和你的私人文檔打通做一個(gè)不吃隱私的本地知識(shí)庫(kù)。傳統(tǒng)做法需要調(diào)用云端的模型接口做向量化但 llama.cpp 也支持 embedding 模型推理你完全可以把向量化這步也留在本地。具體玩法不復(fù)雜先用文本切塊工具把文檔切成小段再用本地 embedding 接口把每段轉(zhuǎn)成向量存入向量數(shù)據(jù)庫(kù)。查詢時(shí)先轉(zhuǎn)出問題向量檢索最相關(guān)的文檔片段再連同問題一起交給大模型生成答案。整條鏈路都是本地跑的文檔不出機(jī)器適合處理合同、筆記、內(nèi)部資料這類內(nèi)容。我提醒一句7B 量級(jí)的模型做知識(shí)庫(kù)問答效果只能說“夠用”。復(fù)雜推理、長(zhǎng)文檔精讀還是會(huì)露怯。但用來做個(gè)人筆記檢索、公司內(nèi)部 FAQ 這種輕量場(chǎng)景已經(jīng)能帶來實(shí)際價(jià)值了。關(guān)鍵是整條鏈路的學(xué)習(xí)成本很低周末花幾個(gè)小時(shí)就能搭出來。7.3 如果有一塊老舊顯卡CPUGPU 混合推理有人問說“我有老顯卡但顯存只有 4GB是不是完全沒用”其實(shí)不完全是。llama.cpp 提供了一個(gè)-ngl參數(shù)意思是把模型的前 N 層交給 GPU 計(jì)算剩下的層繼續(xù)由 CPU 承擔(dān)。比如跑一個(gè) 7B 模型顯存 4GB 的情況下可以嘗試-ngl 20左右讓一部分層跑在 GPU 上。顯存不夠的部分模型會(huì)自動(dòng)把權(quán)重留在內(nèi)存里讓 CPU 算。這種做法不會(huì)發(fā)揮顯卡全部實(shí)力但通常能讓速度比純 CPU 高出一些而且不會(huì)出現(xiàn)顯卡跑不動(dòng)就崩的問題。要注意看啟動(dòng)日志。它會(huì)明確告訴你有多少層被卸載到 GPU 上每秒生成速度是多少。如果-ngl設(shè)置得太大顯存不夠會(huì)直接報(bào)錯(cuò)此時(shí)減少層數(shù)就行。這個(gè)混合模式的優(yōu)勢(shì)在于“有多少顯存都能用起來”不會(huì)浪費(fèi)已有硬件。7.4 寫在最后我的真實(shí)體會(huì)玩了一圈 CPU 推理之后我對(duì)“本地部署”這件事的看法有了很大變化。CPU 跑大模型確實(shí)慢但它給了我一種 GPU 方案給不了的心安模型是我自己的數(shù)據(jù)不出機(jī)器斷網(wǎng)也能用想改采樣參數(shù)、換量化版本、定制接口全部都可以動(dòng)手折騰。我現(xiàn)在的新習(xí)慣是接到一個(gè)新任務(wù)先拿小的量化模型跑通流程再根據(jù)結(jié)果決定要不要換更大的模型。這條路線最大的成本不是機(jī)器而是耐心。我的建議是內(nèi)存 16GB 以上的機(jī)器從 7B 的 Q4_K_M 開始起步內(nèi)存小一些的先跑 1B 到 4B一樣能把部署、調(diào)優(yōu)、服務(wù)化這一套流程練熟。等哪天你發(fā)現(xiàn)自己在調(diào)--repeat-penalty比調(diào)模型還熟練的時(shí)候你已經(jīng)比很多嘴上談大模型、實(shí)際一行命令都沒跑過的人走得更遠(yuǎn)了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月之婷婷| 激情久久五月天| 99热在线这里只有精品| 丁香五月花婷婷开心| 五月狠狠| 99啪视频在线观看| 91大操| 超碰国产在线| 五月激情站| 婷婷色五月婷| 热99在线| 九九免费视频| 天天综合亚洲综合| 婷婷激情另类| 激情影院内射| 久久这里只有精彩| 91碰碰| 97五月婷婷| 色天使色综合| av在线婷婷| 色婷婷综合网| 大香蕉久艹| 欧美成人色婷婷| 色香五月天| 国产VA播放| 国产综合色婷婷精品久久| 日韩婷久| 99在线播放| 99色人| 99ER热精品视频| 26uuu在线观看| 亚洲啪啪网| 99久久玖玖| 色婷婷九月综合| 噜色精品| 五月天成人伊人| 就要爱综合| 六月婷婷啪啪| 六月婷婷香蕉| 99日逼视频| 99热在线观看99| 丁香婷婷婷| 欧美日韩二区在线| 97五月婷| 极骚大香蕉伊人| 亚洲精品又粗又大又爽A片| 色9999日韩国产| 丁香五月电影| 五月天婷婷色| 亚洲天天操| 欧美日韩91| 色哟哟精品| 色色色色色色网站| 五月天婷婷久久| 婷婷五月天欧美| 久久九九蜜| 九月婷婷丁香| 天天综合干| 情五月亚洲婷婷| wwxx日本| 深爱激情小说五月婷婷| 五月天四色房丁香| 人人操人av| 五月婷婷深爱六月| 五月婷婷激情四月| 丁香六月婷婷综合啪啪| 婷婷五月丁香六月| 日本WWW九九九| 婷婷五月影院| 激情亚洲婷婷| 五月婷婷六月丁香| 五月激情综合网| 综合激情站| 丁香五月电影| 天天爽天天操| 欧美色图片88| 九月停停| 91九九精品| 91亚洲视频| 日本高清不卡免费一区二区三区| 99伊人婷婷在线| 最新日韩久热免费视频看看| 国产av影片| 色欲天天综合| 无码AV大香线蕉伊人| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 激情小说婷婷| 免费无码毛片一区二区A片| 国产精品久久久久久久久久| 婷婷伊人综合| 色色婷婷丁香五月天| 踪合专区啪啪| 91欧美| 久这里只有精品99| 天天干狠狠操| 天天操综合网站| 97 A I色色| 亚洲第一色网站| 亚洲 精品 综合 精品| 婷婷久久夜| 色色婷婷综合网| 久久九九大香蕉电院| 色婷婷六月天在线| 这里只有精品视频在线| 五月婷婷黄色| 另类视频在线| 丁香五月激情图片婷婷| 伊人五月天久久| 七七色色综合| 五月婷婷六月丁香免费| 俺五月| 九九热这里只有国产精品| 夜夜操天天爽| 碰97久久| 亚洲天堂久久| 国产在线网址1| 99伊人婷婷在线| 久久婷婷五月天激情四射| 亭亭色色五月天| 思思久ren热| 这里只有精品视频看看| 婷婷九月丁香| 亚洲这里只有精品| 激情人妻蜜夜系列区| 五月丁香花激情啪啪网| 黄网免费看| 色八月婷婷| 亚洲 小说 欧美 激情 另类| 婷婷色五月在线视频| 五月天婷婷7米| 丁香婷婷五月色成人网站| 久久久性爱视频| 国产精品久久久久久久久久| 高清av在线国产| 日韩日比视频| 99超在线| 开心五月婷| 天天干夜晚夜操| 五月激情婷婷综合| 視频福利乱色| 无码色综合| 99热爱爱干干日| 综合亚洲色色| 九九99一区| 99热精品观看| 99国产精品白浆在线观看免费 | 五月丁香婷婷欧美色图视频五月丁香777电影 | 狠狠操天天操| 99热精品一| 久久综合五月天| 婷婷五月激情网| 精品一二三区久久AAA片| www.色欲丁香婷婷| 99操碰| 五月婷成人网| 丁香五月天激情综合| 老司机伊人| 五月开心播播网| 色婷婷影音| 99综合免费视频| 婷婷狠狠五月综合| 久久久ww| 亚洲乱码日产精品BD| 日本97久久久精品| 99成人精品六| 99成人| 1024人妻| 国产一区18| 激情五月婷婷免费视频| 五月婷婷久草在线视频综合| 亚洲五月花| 玖玖婷婷色欲| 久操人妻| 日韩99精品| 亚洲成人av在线| 可以免费观看的AV| www. 五月. com| 另类小说五月天| 婷婷五月天综合中文| 五月婷六月| 欧美成人精品A片免费一区99| 丁香六月成人网| 人妻激情综合| 综合图区激情| 色五月网址| 激情涩播| 91热爆在线| 五月婷婷丁香五月婷婷| se99视频| 婷婷性爱综合| 深爱五月激情网| 欧洲激情精品婷婷| 免费视频WWW在线观看网站| 五月天婷婷激情在线色图| www色婷婷久久综合久色| 色噜噜婷婷| 激情婷婷五月天| 99A片| 国产激情综合| ji'qi'luan'ren'lun| 色五月六月| 五月婷婷先锋| 99热在线免费观看精品| 影视av久久久噜噜噜噜噜三级| 国产精品久久久久9999小说| 亚洲成人免费电影| 丁香六月综合| 97超美国视频在线观看| 狠狠大香婷婷爱| 99热精品无码| 少妇水多A片太爽了| 92久久| 成人九九视频| 夜夜爽天天爽| 五月丁香婷婷综合视频| 激情五月婷婷色播网| 色婷婷视频| 亚洲成人在线观看网址| 天天成人五月天| 91激情五月开心| 久久婷婷丁香花综合网| 激情深爱综合| 婷婷色九月| 丝雨一区二区| 丁香六月婷婷综合激情欧美 | 99成人网一区| 看全色黄大色大片| www.韩日视频| 天天爽,天天操。| 欧美三级欧美一级| 久人人操| 另类图片婷婷五月天| 婷婷天天日婷婷| 99九精品| 久热网在线视频| 五月大香蕉| 五月丁香六月成人| 日日撸夜夜操| 婷婷丁香久久网| 99久.| 五月天亚洲综合网| 六月丁花香啪啪激情欧美| 免费黄色片子| 五月婷婷开心网| 无码激情AAAAA片-区区| 婷婷激情肏屄网| 日本久久人| 婷婷五月天av小说| 思思热在线精品视频网站| 亚洲最大视频| 色狠狠色综合久久久绯色AⅤ影视| 婷婷丁香五月亚洲综合网在线视频观看 | 99久热这里只有精品| 久久久久久人妻| 婷婷色九月| 五月天久久婷婷| 婷婷五月久久| 日本婷婷丁香五月| 丁香六月综合| 久久综合激情| 2017狠狠干| 色婷婷五月天无码视频| 青青草原福利在线| 亚洲色就是色色色| 五月的婷婷六月丁香| 久久久免费精彩视频| 猫咪伊人久久| 天天干一干| 婷婷五月欧美AA片免费| 人人视频色| 91狠狠综合久久| 色情五月丁香| 99热这里只有精品8| 99年操人人爽| 天天干狠狠操| 99热| 五月天六月天| 久热9| 丁香色婷婷| 在线观看的av| 五月天丁香婷| 狼人狠狠操| 丁香五月很很肏| 在热视频精品| 337久久| 热久久66| 天天日天天久久青青| 激情综合网,婷婷| 欧美婷婷五月丁香| 婷婷综合网| 婷婷色九月| 成人Av在线大片| 开心激情网五月天| 99热精品网| 激情丁香六月| 久久综合9| 久久婷婷婷婷伊人| 成人综合视频网址| 综合在线丁香五月| 尤物一区二区| 99热这里只有精品1998| www.丁香黄色五月天人与| 五月丁香六月情婷婷久久| 日本人妻伦在线中文字幕| 99精品视频在线免费观看| 五月色综合| 综合激情五月四射婷婷| www.99热| 97久人人| 五月丁香婷草| 色情久久久| 久99视频在线观看| 99热最新| 99这里都是精品| 亚洲精品乱码久久久久久按摩观| www.色婷婷| 激情丁香久久| 国产毛片精品一区二区色欲黄A片| 678五月丁香亚洲综合| 99ri在线视频| ji'qing'luan'ren'lun| 日本综合99| 3www激情| 99在线视频喷水| 激情五月丁香亭亭| 国产五月天婷婷| 久久99婷婷| 亚洲综合九九| 日日夜夜干| 亚洲成人综合网在线免费观看| 日本熟女内射| 人妻中文字幕网| 亚洲国产精品VA在线看黑人| 日韩精品无码AV| 天天爽夜夜操| ww久久| 热久久99热欧美国产亚洲| 91啪啪| 天天天天干| 婷婷五月天国产手机在线视频观看| 大香蕉伊人久久| 日本精品。999| 无码人妻丰满熟妇奶水区码| 26uuu亚洲欧美| 五月婷视频在线观看| 色久丁香五| 婷婷婷久久久| 深爱五月激情| 俺五月| 综合久久丁丁香婷| 26uuu亚洲精品国产| 亚洲激情| 日本三级中国三级99| 五月婷久久| 九九无码| 日本激情五月| 激情五月婷婷视频一区二区三区| 99色中文| 成人超碰AV| 精品久久久中文字幕大豆网推荐理由| 夜夜骑夜夜撸| 亚洲精品国产成人AV在线| 9+1视频网址| 婷婷五月天日日日干干干| 久草婷妨| 原琪琪色影院| 亚洲精品乱码久久久久99| 成人中文网| 激情五月,婷婷五月,丁香五月| 婷婷五月精品中文| 99热99色| 色综合久久伊伊婷婷五月| 久久婷婷六月综合国际| 99热精品无码| 五月丁香啪综合| 久热这里只有精品99re| 六月天六月婷| 亚洲色婷婷五月天| 色婷婷综合视频| 快色t v在线入口| 国洲夜色亚热在线久久| 五月丁香免费视频| 狠狠干2007| 久9热在线免费观看| 色欲婷婷五月天丁香| 丁香六月啪啪| 操逼五月婷婷| 一月婷婷色色| 天天草婷婷五月| www.91AV.com| 激情综合五月丁香| 久久九九99字幕| 9久热在线精品| 天天射综合网站| 亚洲色情激情丁香五月| 五月婷婷国产| 91久久婷婷| 99爱欧美| 91在线看免费 九九九九| 亚洲成人网站在线观看| 天天看夜夜看| 思思热久久艹| 97人妻超级碰碰碰碰碰| 偷偷操99| 婷婷美女精品视频| 婷婷色色欧美| 五月丁香综合| 91人人爽久久涩噜噜噜| 婷婷香香五月| 国产精品成人网址| 婷婷99狠狠躁天天躁| 99热99这里有免费的精品| 五月婷婷六月丁香首页| 色五月综合| 淑女丝袜bi操逼123| 激情综合啪啪啪| 午夜亚洲AV日韩无码| 色中色综合| 久久这里只有精品久久| 色婷婷五月丁香色| 99综合| 国产VA亚洲VA96| 99色在线| 99精品久| 色情综合| 欧美婷婷综合| 好好日激情五月天| 婷婷伊人75| 99精品国产在热久久| 在线只有精品| 综合狠狠干| 偷拍九九五月丁香婷婷| 97在线观视频免费观看| 五月丁香影院| 97婷婷丁香五月| 99爱爱网| 强辱丰满人妻HD中文字幕| 色婷婷丁香五月天在线观看| 婷婷五月天成人动漫 | 一区二区免费看| 欧洲色色| 超碰在线观看9| 五月的婷婷六月丁香| av电影在线播放| 99免费视频| 久久六月综合| 日本色婷婷综合| 日韩五月婷婷| 天堂无码人妻精品AV一区| 色婷婷激情四射视频| 九九热这里只有精品12| www.久久久久| 激情婷婷丁香色五月| 色情五月丁香| 久久Xx| 热久久视频99| 思思久久99热| 九九色之九九色之88| 成人做爰高潮A片免费视频| 五月丁香激| 99热这里有精品2| 二色av| 色色五月激情| 国产亚洲精品AAAA片APP| 精品人妻在线| 久热网站| 中文字幕丁香五月| 久久婷婷五月| www狠狠爱com| 91九色中文字幕女在线观看| 开心五月综合激情综合五月| 欧美va精品va老师va| 草榴视频网| 色色色色色色色色色影院| 99热亚洲精品| 亚洲成人超碰| 啄木鸟丝袜美女福利视频 | 激情综合网之激情五月| 成人资源在线| 亚洲狠9| 亚洲超碰在线| 日韩无码专区| 性爱视频久久| 亚艹艹| 丁香五月天婷婷久久综合| 五月久久婷婷丁香| 91久久九| 另类少妇人与禽zOZZ0性伦| 色情久久久| 就爱干 在线| 97色婷婷| 综合色影院| 婷婷碰碰| 四川BBB搡BBB搡多人乱亂| 久久综合九九| 国产精品色婷婷99久久精品| 色情婷婷五月天| 亚洲婷婷激情888精品久| 猫咪伊人久久| 色婷婷性爱| 怡红院AV亚洲一区二区三区H | 激情AV中文| 色图亚洲91| 久久精品99国产精品日本| 成人精品在线| 色在线99| www.色婷婷.com| 丁香五月天天高清在线| 天天干肏夜夜| 五月天色五月天| 99re这里只有精品9| 91成人电影| 激情AV中文| 99热黄| 五月天天丁香婷婷| 亚洲深喉aV| 色色五月婷婷| 99热这里只有精品免费| 97福利视频| 大香蕉99热| 五月天婷婷影院| 婷婷综合五月天亚洲综合| 人人干Av| 色婷婷五月综合在线| 开心激情色婷婷五月天| 9九热视频| 婷婷在线免费| 婷婷久久亚洲| 九九综合九九| av久热| 九九综舍久久| 永久免费一区二区三区| 亚洲欧洲一二| 夜色爱爱亚洲| 亚洲182在线观看| 五月婷婷综合在线亚洲视频| 无遮羞AV| 九九综合| 国产SUV精品一区二区6| 欧美色综合天天久久综合精品| 激情五月婷| 色吧五月| 九九热精品在线| www九九热| 96丁香六月婷婷蜜桃综合久久| 色五月婷婷色| 久久看婷婷| 婷婷五月天丁香社区| 久久99精品久久久久久三级| 综合99视频| 久久综合影院| 超碰免费大香蕉| 亚洲熟女色| 亭亭色网| 色五月综合激情| 99九无网码| 综激情网| AV九九| 91啪啪| 激情九月综合| 青青草视频福利| 色五月五月丁香| 色婷五月丁香久亚洲| 日本成人噜噜噜噜噜| 伊人丁香花综合影院| 日日肏夜夜干| 九九色综合视频| 久久久久er热| 婷婷五月激情图片| 大香蕉久久婷婷| 婷婷欧美综合| 色~性~乱~伦~噜| 亚洲激情网| 免费亚洲婷婷| 超碰v| 96自拍视频九色在线观看| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 97成人丁香| 激情五月天情色| 久久天堂精品| 久婷婷婷| 色色色色欧洲| 99热99热在线观看| 色婷婷六月精品| 欧美性爱5月天天天看| 99国产性感视频| 五月天综合在线观看| 五月婷婷婷丁香播| 久久性爱视频| 日韩成人电影AV| 成人电影一区| AAA级久久久精品| 狠狠爱青青草| 超91在线视频| 色噜噜狠狠色综合成人网| 色综合色综合网| 777久久综合视频| 狠狠人妻久久久久久综合丁香| 丁香五月婷婷天| 久色婷婷200| 色欲午夜无码久久久久久张津瑜 | Y11111111111少妇电影院| 婷婷五月天精品| 超碰大香蕉网| 同性gv国产精品一区二区| 亚洲 小说 欧美 激情 另类| 开心五月激情婷婷| 久久视频婷婷| 青青草成人网| 精品成人在线| 激情五月婷婷她| 亚洲色婷婷五月天| 99er日韩| 久久99色色| 久久婷婷五月天蜜桃| 婷婷色在线播放| 秋霞A V毛片| 99热精品在线| 色综合色| 202丰满熟女妇大| 欧美一级毛卡片无码| 色五月偷偷| 大香蕉手机视频| 五月花成人网| 欧美婷婷五月天| 久操热| 熟女人妻一区二区三区免费看| 蒲京久久无码视频| 婷婷五月天综合久久| 亚洲综合视频天天精品| 天天干天天爽天天操| 偷拍91九色| 啪啪一区| 99热在线极品极品| 五月天婷婷操逼视频| xxxx五月| 婷婷五月天啪啪| 成人 在线 日韩| 国产真人做爰视频免费| 亚洲精品成人片在线播| 2015好吊操| 亚洲免费99| 久久狠狠干| 色色色热| 亚洲蜜乳AV| 综合色情网| 嫩草综合网| www.com五月天| 国产欧洲欧洲精品久久| 激情五月婷婷丁香| 九九无码| 五月天成人免费视频| 天天爽天天干天天| 欧美性丁香色色五月天综合爱爱| 91超碰在线观看| 色私五月婷婷| 国产精品第一国产精品| 香蕉伊人综合| 色婷婷综合电影| 婷婷黄色五月| 欧美性爱日韩性爱| 99热综合色图| 爱操人妻| 操操操操操操婷婷五月天| 99日精品视频| 天天爱天天做天天日| 丁香五月婷婷深爱综合激情| 淫荡家庭AV| 在线中文字幕视频| 色碰97| 熟妇高潮一区av| 亚洲情欲| 国产成人亚洲综合A∨婷婷| 六月丁香婷婷拍拍| 激情婷婷人妻| 亚洲成人av在线播放| 欧美交换配乱吟粗大25P| 欧美碰碰碰| 激情五月天噢美| 天天色天天爱天天爱天天爱y| 五月婷婷中文| 噜噜五月天综合| 五月婷婷激情在线| 久婷婷| 5月丁香六月婷婷| 婷婷久久网| www.色欲丁香婷婷| 久这里只有精品99| 五月婷在线观看| 国产乱子轮XXX农村| 亚洲熟女乱色综合亚洲网站| 777精品成人a v久久| 色综合九九色综合88| 色综啪啪网| 亚洲综合婷婷五月| 深夜A片| 99热这里| 99人人操人人操人人精| 亚洲五月丁| 丁香六月综合| 老美AA片| 97操操| 五月丁香六月成人| 国产美女无遮挡裸体毛片A片| 五月 成人 婷婷| www.夜夜.com| 97人妻碰碰中文无码久热丝袜| 丁香五月婷婷五月| 日本九九热| 久久九九综合| 毛v一区二区视频| 天天天天天操| 另类在线| 超色欲天天| 久久久月丁香| 色婷婷久久久| 97碰操| 五月天色婷婷视频| 五月激情小说网| 丁香九月激情久久| 激情五月天小说视频| 99精品视频免费观看| 91九色PORNY中文啦| 二人电影免费版在线观看| 人人操人人干AV| 97碰精品| www.夜夜夜| 久9热| 在线99色| 蜜乳国产网站| 婷婷网五月天| 午夜九九九九九九九九九九九九九| 人人人人人人人草| 乱精品一区字幕二区| VA色婷婷| 丁香五月婷婷五月| 午夜丁香久久久久久| 五月丁香婷婷色| 五月天婷婷激情| 大鸡巴伊人网| 婷婷成人丁香色情基地30| 五月丁香婷婷欧美| 色七七九九| 《蜘蛛女》梁铮1995| 成人αV视频免费观看| 爱性综合网| 久大香蕉| 91综合视频在线| 激情婷婷六月| 婷婷丁香社区| 激情五月天久久丁香| 亚洲AV中文在线| Www.狠狠| 欧美狠狠地| 国产伦亲子伦亲子视频观看| 色五月丁香五月五月婷婷| 六月婷婷综合| 色婷婷色九月| 天天爱综合网| 九九精品9| 国产成人AV在线播放| 五月婷综合网| 国产精品久久久爽爽爽麻豆色哟哟 | 天天插天天干| 婷婷丁香先锋资源网站| www.激情五月天| 超碰成人黄色网| 99惹在线精品免费观看| 九热...av| 色9月| 五月天成人网在线观看| 色99xx| 色区域网站视频| 人妻AV中文系列| 天天搽天天射| 久久人人妻| 开心五月婷婷激情| 日本操碰碰| 国产激情在线| 中文久久婷婷| 久久视频婷婷| 亚洲VA口| 99偷拍视频在线日本| 九九这里都是精品| 九九爱激情| 伊人婷婷五月| 亚洲乱码日产精品BD| 狠狠操之狠狠操| 日日操夜夜撸| 成久综合视频| 天天干天天做| 色频玖玖五月天| 色色色99| 精品国产va久久久久| 婷婷精品视频| 色色色五月婷婷| 色综合色综合网| 天天久久狠狠色综合| 粉嫩av懂色av蜜臀av熟妇| www.综合久久.com| 婷婷丁香六月| 97热久久| 五月天伊人综合| 日熟女| 六月丁香中文字幕| 一区视频网站| 色婷久久| 五月开心婷婷极品激情| 五月开心激情| 九九99在线观看视频| 开心五月深爱五月| 色综合久久五月| 五月婷婷丁香| 狠狠狠狠狠狠狠狠草| 久久久国产精品黄毛片| 五月色精品| 天天综合区| 日日夜夜久| 玖玖激情网| 五月天 婷 欧美亚洲| 狼友超碰| 五月婷婷无码| 激情五月天婷婷免费观看| 丁香五月婷婷基地| 五月丁香花伦理电影| 久久人妻熟女一区二区| 狠狠操.COM| av首页在线| 丁香六月情| 五月丁香综合成人社区| 丁香六月婷| 991国产精选视频在线播放下载| 超碰九九热| 99re视频在线播放| 五月婷婷在线免费观看| 再次出发二| 99人妻碰碰久久久禁片| 五月丁香婷庭在线| 91在线人| 99热在线观看| 先锋五月婷婷丁香草草| 色婷五月天| 五月婷婷九九久久| 婷婷五月AV| 综合激情伊人影视在线| 成人精品视频99在线观看免费 | 六月丁香婷婷色狠狠久久| 在线观看av网站| 色五月激情网| www.激情| 99国产小视频| 琪琪色影音先锋| 九九九热精品| 亚洲色色图片| 清纯唯美 激情四射| 五月婷婷婷自由综合| 超碰在线播放免费观看| 亚洲AV人人操| WWW.夜夜操.com| 秋霞少妇AV网站| 丁香五月婷婷在线观看| 9人人操人人看| 激情五月丁香婷婷| 99aese| 91九色无码内射| 狼友视频在线观看18| 99色综合| 精品国产一区二区三区四区阿崩| 国语精品探花| 日本乱论99| 天天精品视频免费观看| 天天色,天天操,天天射| 人人操人人妻| 91成人看片| 快乐婷婷五月天| 丁香五月天大香蕉啪啪| www五月| 人妻性操逼中文字幕 国产| 婷婷综合网| 五月天自拍网| 一区二区三区四区牛| 可以免费观看的av| 99五月丁香丁| 人妻日日日| 99精品在线观看视频| 91精品丝袜久久久久久| 无人区码一码二码三码医生系列| 天天天天天天噜| 熟女网站久久| 久久九九99| 婷婷五月天干干| 9久国产| www.狠狠操| 天天舔天天摸天天透| 热99免费在线| 丁香五月天社区| 九玖欧洲亚洲| 91精品无码久久久久久五月天| 婷婷五月天激情网| 欧美激情-区二区三区| 丁香五月网| 亚洲色网址| 久久伊人日日夜夜| 日本情色一区二区| 天天干夜夜谢| 五月丁香花激情综合网| 色噜噜狠狠色综合成人99| 99日韩| 日本操逼九九九九58日本操逼| 外国碰视频网站97| 91婷婷| 日日.c| 久久久性爱网| 二色AV| 热的无码综合视频| 强伦轩人妻一区二区电影| 日韩免费视频| 婷婷 丁香 精品| 精热在线综合网| 九九色插| 99re思思久久| 99热只有国产在线精品| 欧美色图天堂网色| 亚洲欧美在线观看| 91色吧网| 熟女五月天久久综合| 色天堂97| 国产AV一区二区三区最新精品| 亚洲精品色| 天天插天天狠| 五月天堂六月丁香亚州中文字幕久久| 亚洲日日操| 五月婷啪啪| 美国少妇性做爰| 国产97色在线| 五月婷婷六月激情网| 五月丁香婷婷色色色| 国产精产国品一二三在观看| 六月婷婷综合| www.狠狠干| 久久91久久91色欲精品| 疯狂做受XXXX高潮A片| 五月天丁香| 色综合爱综合| 99乱视频| 97日本在线播放| 婷婷丁香色五月| 亚洲欧美一区二区三区爱爱动图 | 五月婷婷激情| 色五月偷偷| 色五月久久成人婷婷| 99热线观看9| 九九日伊人| 色综合综合色| 日韩在线五月天婷婷| 六月激情婷婷| 九月性爱网| 天天插天天插| 99色视频| 开心 五月 综合| 久色大香蕉| 99热婷婷| 丁香色婷婷| 亚洲九区| 婷婷色综合中心站| 99超级碰免费视频| 婷婷大乡焦噜噜| 欧美综合五月丁香五月天| 色婷婷综合网| 日韩三及成人AV片| 久久婷婷五月天| 5月婷婷6月六月丁香| 五月激情婷婷六月丁香| 国产精品日日躁夜夜躁| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | 大香蕉婷婷色| 天天爽日日爽夜夜爽| 另类五月婷婷| 91精品久久久久久久久久久久| 婷婷在线网| 久久综合影院 | www.色情五月天.com| 国产成人AV| 99精品热| 99精彩视频| 婷婷色5月天在线。| 91精品无码| 色99www.| 色综合视频在线| 久久98| 性天堂久久| 五月婷色激情五月| 婷婷伊人激情婷婷| 秋霞性爱AV| 五月丁香色色色| 97高清国语自产拍| 婷婷久久久| 天天日天天干天天操| 天天射天天射一道本日本社区 | 青草青草视频2免费观看| 99玖玖在线视频| 五月天久久丁香| tingtingjiqingwuyue| 日本色99| 午夜免费高清AV片| 色综合视频在线| 精品一区二区三区免费毛片爱| 激情色色| 久热超碰91| 天天综合中文| 99re热视频| 激情 五月 婷婷 丁香| 91操片| 亚洲综合色婷婷文学| 国产精品久久久久久久久久| jiZZdr| 亚洲AV综合在线观看| 天天搞天天爽| 人人做天天爱| 立川无码av| 国产精品久久久久久白浆色欲| 91亚洲免费片| 丁香五月天大香蕉啪啪| 欧美色五月| 丁香色六月婷婷| 天天澡天天狠天天天做| 99视频只有这里精品| 色婷婷六月激情| 99久热在线精品| 亚洲一级AV在线免费播放| 五月色情精品| 久久婷婷五月综合色欧美| 丁香激情五月| 五月天婷婷激情| 草草视频91| 啪啪 综合网| 久久天天| 深爱激情丁香| 九九99一区| 色播五月丁香综合| 99热日韩这里只有精品| 九月婷婷综合| 六月婷婷最新网址| 1024久婷| 婷婷五月丁香国产| 久久se 综合网| 五月综合久久| 五月婷婷五月天| 色久天| 久久色五月| 成人色图情色成人网 www.5b5b5bcom 五月天| 终合激情网| 色综合日日| 丁香五月人妻熟女| 激情99热| 久久久久久久丁香五月天婷婷| 9久精品视频| 久综合九| 2020日日干| 久久视频婷婷| 伊人五月天久久| 五月天婷婷丁香人人操91| 大香蕉在线99热| 成人午夜天| 国产XXXX搡XXXXX搡麻豆| 99热精品在线观看| 午夜丁香婷婷| 色偷偷色婷婷| 五月天激情小说网| 五月丁香六月在线| 日日操天天爽| 深爱五月婷| 性色视频| 亚洲bt丁香五月天婷婷激情小说| 99爱精品视频| 99热成人在线观看| 久久丁香久久| 国产精品五月天婷婷| 色情免费视频播放| 五月WWW| 五月激情婷婷开心| 亚洲VA在线| 国产高清精品色| 天天爽天天做| 开心五月天激情网站| 中文乱子伦视频| 五月婷婷之综合激情| 区区欧美你爱| 婷婷五月天BBw| 五月激情天天干| 色色色色网| 日本美女五月天| 色婷婷五月天视频在线| 久久久这里有精品| 婷婷五月丁香手机在线视频| 色99网站| 久久小视频| 热久国产| 欧美精品99| 欧美黄色AA片哗啦啦啦| 婷婷天堂站| 欧美成人精品A片免费一区99 | 精品99在线| 婷香五月| 激情开心五月天| 99精品热| www.色婷婷| 少妇人妻丰满做爰XXX| 丁香五月婷婷图片综合| 色色色色色色综合网| 熟妇国产| 久久99免费视频| 亚洲无aV在线中文字幕| 五月丁香花激情综合网| 久久色婷婷| 噜噜色五月| ...婷婷国产成人亚洲日韩| 丁香婷婷六月天| 激情五月www| 五月婷婷六月丁香激情| 色五月大| www.超碰| 国产成人AV在线| 欧洲色色| 婷婷综合中文字幕| 日韩久久欧亚| 丁香五月AV| 先锋五月婷婷丁香草草| 99rewww| 五月婷人妻| 天天摸人人摸| 欧美影院| 日本精品99| 国产 码在线成人网站| 亚洲精品国产A久久久久久| 丁香五月花影院| 伊人久久大香线蕉AV最新午夜| 色婷婷色综合激情91| 91爱啪啪| 久久这里只精品66| 五月婷色丁香| 成人综合伍月天| 狠狠色噜噜狠狠| 五月婷婷成人| 色.五月综合网| 五月天激情图片网| 亚洲激情综合网| 日本婷婷综合精品| 亚洲综合婷婷| www.婷婷五月| 黄色AV日韩| 白人荫道BBWBBB大荫道| 九九99视频精品| 99免费青青蜜臀| 色五月激情综合网| 色婷婷伦理| 思思热AV| 婷婷五月花| 欧美经典片免费观看大全| 国产av第一专区| 婷婷激情四射网| 五月天婷婷一起草| 日日操日日爽| 久久婷婷五月天蜜桃| 九九热精品6| 97久久精品| 色色婷婷五月天| 午夜在线成人网站免费观看| 丁香五月综合激情性爱| 成人精品一区二区三区四区五区| 丁香婷婷啪啪啪| 六月天婷婷| 五月丁香综合网| 北条麻妃伊人| 五月丁香欧美综合| 婷婷色五月综合丁香| 激情婷婷五月天日本系列| 亚洲成人av在线| 成人综合网站| 中文字幕+中文在线| 色天天综合天天综合频道。| 丁香5月啪啪| 国产精品国产| 大香蕉五月天婷婷| 激情五月婷婷丁香综合网| 久草 天堂| 99综合99| 狠狠插日日干撸| 亚洲超碰在线| 婷婷无五月无码视频| 九九色大香蕉| 日韩激情婷婷五月天| 激情综合色婷婷六月天| 免费黄色片子| 五月婷婷香蕉| www.97碰碰com| 五月婷婷这里都是精品| 狠狠穞A片一區二區三區| 99色色网| 色婷婷人人| 久99热| 五月婷AV| 1024操逼视频| 免费观看全黄做爰的视频| 久久加勒比| 狠狠另类视频| 91视频五月丁香| 99性爱| 亚洲人人艹| 五月婷六月综合在线观看| 久久久久久久久人妻| 五月天综合久久| 激情五月四色| 色色丁香婷婷| 人人人va亚洲视频在线| 久久色区| 色www99| 99亚洲天堂| 色永久| 99热免费在线| 十二区无码| 天天做综合| 丁香五月激情五月| 99色在线观看| 丁香五月婷婷大香蕉| 五月激情综合婷婷| 五月丁香婷草| 日韩成人中文| 色婷丁香| 中文字幕色色| 青草五月天| 久久亚洲天堂| 丁香五月天婷婷久久综合| 91久久精品无码一区二区三区| AA片在线观看视频在线播放| 六月婷婷九月丁香| 久久99久久99精品免视看婷婷| 九九精品综合| 91狼友视频在线观看| 婷婷五月天成人导航| 婷婷色五月天在线| 欧美激情综合色综合啪啪五月| 天堂爱啪啪| 热久久视频99| 久久免片| 五月丁香中文婷婷中文| 天天综合五月天| 婷婷开心激情| 另类国产区| 欧美丁香六月激情视频| 91九色|疯狂|高潮|对白|| 百度一下国产精品A| 五月婷婷与六月丁香图片激情| 色99色| 国产婷伊人| 五月丁香六月色婷婷综合五月天| 五月婷婷啪| 成人做爰高潮A片免费视频| 亚洲AV免费国产电影| 丁香五月日啪| www.99婷婷| 国产亚洲99久久精品熟女| 色色丁香五月婷婷| 五月天婷婷色色| 99热99| 久久五月婷天天干|