欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

RK3588/RK3576/RK3568端側(cè)大模型部署:算力、內(nèi)存與選型指南

RK3588/RK3576/RK3568端側(cè)大模型部署:算力、內(nèi)存與選型指南 最近這半年我接到的端側(cè)AI選型咨詢里十有八九都會繞到同一個問題1B、3B、7B的大模型到底該用RK3588、RK3576還是RK3568主板算力和內(nèi)存怎么配才不浪費、不卡頓說實話這個問題沒有標準答案但有一套可以復用的計算方法。本文就結(jié)合瑞迅科技這三款主流ARM主板的實際方案把端側(cè)部署大模型的算力賬、內(nèi)存賬和應(yīng)用場景賬一筆一筆算清楚。本文適合三類人看一是正在做邊緣計算盒子、智能座艙、工業(yè)AI網(wǎng)關(guān)的產(chǎn)品經(jīng)理二是準備把開源大模型落到ARM板上的嵌入式工程師三是對端側(cè)推理感興趣、想用RK3588跑通自己第一個大模型Demo的開發(fā)者。讀完你至少能回答手里的項目該選哪顆芯片、配多大內(nèi)存、用什么量化精度、跑起來大概什么速度。1. 三個平臺先交底RK3588、RK3576、RK3568各是什么水平很多朋友一上來就問“RK3588能不能跑7B”但7B只是個參數(shù)規(guī)模數(shù)字真正影響部署體驗的還包括模型結(jié)構(gòu)、量化方式、上下文長度、并發(fā)數(shù)以及芯片的內(nèi)存帶寬和NPU算子優(yōu)化程度。在談選型之前先把這三款芯片的家底摸清楚。1.1 三款芯片的核心規(guī)格對比以瑞迅科技目前主推的幾款工業(yè)級ARM主板為例三款芯片的定位差異非常明顯芯片型號CPU架構(gòu)NPU算力INT8內(nèi)存支持典型接口亮點產(chǎn)品定位RK35884×Cortex-A76 4×Cortex-A556 TOPSLPDDR4/4x/5最大32GBPCIe3.0、雙千兆網(wǎng)口、HDMI2.1、多路MIPI/CSI、USB3.0旗艦邊緣算力平臺RK35764×Cortex-A72 4×Cortex-A536 TOPSLPDDR4/4x/5最大16GBPCIe2.1、雙千兆、HDMI2.0、支持8K編解碼上探邊緣AI、下壓工控RK35684×Cortex-A550.8 TOPSLPDDR4/4x最大8GB雙千兆、PCIe3.0、HDMI2.0入門邊緣計算/工控這里有個容易踩坑的點RK3576和RK3588的NPU算力標稱都是6 TOPS但CPU、GPU、內(nèi)存控制器、接口豐富度完全不是一個級別。RK3576可以理解為“把NPU核心能力下放到中端”的方案整體成本更低但7B模型的推理性價比不如RK3588。RK3568的NPU算力只有0.8 TOPS跑大模型非常吃力更適合配合輕量模型做嵌入式語音、簡單質(zhì)檢這類任務(wù)。我一直強調(diào)一個觀點選芯片不能只看NPU算力還要看整個SoC的協(xié)同能力。RK3588的優(yōu)勢在于CPU性能強跑Python推理腳本、做前后處理、甚至直接跑llama.cpp的CPU版本都不至于太難受這在研發(fā)調(diào)試階段非常關(guān)鍵。1.2 算力評估的底層邏輯TOPS、FLOPs與token生成速率的換算想要搞懂端側(cè)大模型需要多強算力先得建立一個基本概念大模型生成一個token可以粗略理解為一個漢字或一個英文單詞的一部分需要完成多少次計算。以自回歸生成模型為例每生成一個token的理論計算量大約是2乘以模型參數(shù)量即7B模型約需14 GFLOPs1.4×10^10 FLOPs。3B模型約6 GFLOPs1B模型約2 GFLOPs。這個數(shù)字是理論下限實際推理過程中還有注意力計算、采樣、內(nèi)存存取開銷通常會比這個理論值高出不少。那6 TOPS的NPU能跑多快按理論值算6 TOPS相當于每秒執(zhí)行6×10^12次INT8運算跑7B模型的理論速度上限是每秒幾百token。但實測遠達不到原因有幾點NPU算子的實際利用率通常只有峰值的20%~40%尤其是Attention算子很多芯片優(yōu)化得并不理想自回歸生成是“一次只算一個token”無法把所有計算并行塞滿大量時間浪費在內(nèi)存訪問上尤其是參數(shù)權(quán)重讀取和KV Cache讀寫int4量化模型雖然內(nèi)存減半但NPU對4bit算子的支持效率不等同于int8需要看編譯器支持情況所以我的經(jīng)驗是想要估算端側(cè)真實速度別用TOPS直接除FLOPs而是用“同平臺、同模型、同量化方式”的實測經(jīng)驗值做錨點。下面這張表是我在不同瑞迅主板上實測下來的速度區(qū)間雖然不同模型結(jié)構(gòu)、RKLLM版本和散熱狀態(tài)會有差異但數(shù)量級是可信的平臺模型規(guī)模量化方式生成速度經(jīng)驗值體驗判斷RK35880.5B~1BINT420~40 token/s流暢可做實時對話RK35883BINT48~15 token/s能接受適合問答RK35887BINT42~5 token/s可跑偏慢適合異步任務(wù)RK35761B~3BINT43B約6~12 token/s3B以下體驗尚可RK35680.5B~1BINT43~8 token/s僅適合極輕量任務(wù)看到這里你應(yīng)該已經(jīng)直觀感受到RK3568跑大模型屬于“能響但急死人”的水平RK3588是真正能承擔“可用級”端側(cè)大模型的底線平臺。至于為什么下面就從內(nèi)存和帶寬層面進一步拆。2. 內(nèi)存才是端側(cè)大模型的第一瓶頸很多選型的朋友只盯著NPU算力問但我實際調(diào)試下來發(fā)現(xiàn)內(nèi)存容量和帶寬對端側(cè)LLM的影響甚至比算力更致命。模型加載時內(nèi)存不夠直接OOM內(nèi)存帶寬不夠NPU就算算得再快也只能排隊等數(shù)據(jù)。2.1 模型、量化與內(nèi)存占用的換算模型參數(shù)量乘以每個參數(shù)占用的字節(jié)數(shù)就是權(quán)重部分的內(nèi)存占用FP1616bit半精度每參數(shù)2字節(jié)INT88bit量化每參數(shù)1字節(jié)INT44bit量化每參數(shù)0.5字節(jié)以7B模型為例FP16權(quán)重約14GBINT8約7GBINT4約3.5GB。這就是為什么端側(cè)部署首選INT4量化——只有這樣才能把7B模型塞進RK3588的16GB內(nèi)存版本里。但注意權(quán)重內(nèi)存只是“模型文件本身”的開銷。推理過程中還有激活值、KV Cache、推理中間緩沖區(qū)和運行時代碼占用。我習慣用“權(quán)重內(nèi)存 運行開銷”來估算總內(nèi)存需求經(jīng)驗上運行開銷大約是權(quán)重內(nèi)存的1.2~1.5倍還要再加系統(tǒng)內(nèi)存占用。下面是一張選型時可以直接套用的對照表模型規(guī)模量化精度權(quán)重內(nèi)存約推薦內(nèi)存檔位適用場景1BINT40.5GB2GB~4GB語音指令、文本分類1BINT81GB4GB輕量問答3BINT41.5GB4GB~8GB對話機器人、摘要3BINT83GB8GB更高精度問答7BINT43.5GB8GB~16GB知識庫問答、復雜推理7BINT87GB16GB~32GB不建議端側(cè)跑INT8我特別注意了一下目前RK3588平臺配16GB內(nèi)存是7B INT4模型的“甜點檔位”既能容納模型權(quán)重又給KV Cache和系統(tǒng)服務(wù)留了余量。如果預算緊張選8GB也不是完全不能跑但上下文長度和并發(fā)能力會被卡得很死后面細說。2.2 KV Cache一個被嚴重低估的內(nèi)存殺手KV Cache是大模型推理時緩存歷史token鍵值對的內(nèi)存區(qū)。每生成一個tokenK和V都會隨序列增長而增加所以它和上下文長度是線性關(guān)系。上下文越長KV Cache占用越大。拿7B模型舉例如果設(shè)置上下文長度2048KV Cache大約要占0.5GB到1GB如果把上下文拉到4096這個數(shù)字會漲到1.5GB到2GB。3B模型雖然小一些但長上下文同樣會吃掉幾百MB甚至1GB內(nèi)存。1B模型在短上下文下壓力不大但一旦多開幾路也會快速膨脹。這解釋了為什么端側(cè)大模型在實際產(chǎn)品里往往限制上下文長度而不是無限擴展。我調(diào)試瑞迅RK3588板子時默認把context_len設(shè)置為1024或2048既不影響大多數(shù)問答場景又給系統(tǒng)留足余量。忽略KV Cache盲目拉長上下文是端側(cè)部署最常見的內(nèi)存失控原因。內(nèi)存帶寬這方面也要多說一句。自回歸生成是“訪存密集型”任務(wù)NPU每算一個token都要把模型權(quán)重從頭到尾讀一遍。INT4量化后7B模型每次生成也要讀3.5GB權(quán)重如果內(nèi)存帶寬不夠速度瓶頸就卡在存儲而非NPU。RK3588和RK3576支持LPDDR5帶寬明顯優(yōu)于只支持LPDDR4x的RK3568這也是后者跑大模型體驗差的關(guān)鍵原因之一。2.3 結(jié)合瑞迅主板的內(nèi)存檔位怎么選瑞迅科技在RK3588、RK3576、RK3568三款平臺上都提供了不同的板型和內(nèi)存版本。以我接觸到的方案為例RK3588主板常見4GB/8GB/16GB/32GB版本。跑7B INT4模型建議直接選16GB起步8GB版本更適合3B及以下32GB版本適合跑INT8精度或多路并發(fā)場景但成本和功耗也上去了RK3576主板常見4GB/8GB/16GB版本。這款芯片NPU算力和RK3588同級但內(nèi)存帶寬和CPU性能略低跑3B以內(nèi)很舒服跑7B屬于“能跑但緊張”建議8GB起步RK3568主板常見2GB/4GB/8GB版本。跑0.5B~1B模型選4GB足夠8GB版本可以給系統(tǒng)更多余量但不建議跑3B以上的模型每次選型我都會畫一條“模型檔位-內(nèi)存檔位-芯片檔位”的三維匹配線先定模型和量化方式算出權(quán)重KV Cache系統(tǒng)的總內(nèi)存需求再反推平臺和內(nèi)存版本。這是最穩(wěn)妥的路徑比拿著芯片參數(shù)表猜半天靠譜得多。3. 用RKLLM工具鏈把模型部署到瑞迅板卡上選好了平臺和內(nèi)存接下來就是真刀真槍的部署環(huán)節(jié)。瑞芯微官方提供的RKLLM工具鏈是目前在RK3588/RK3576/RK3568上部署LLM最順手的路徑它把模型轉(zhuǎn)換、量化、板端runtime三層全部打通了。瑞迅主板作為瑞芯微方案的主流工業(yè)級落地形態(tài)同樣適用這一套工具鏈。3.1 一份可直接抄作業(yè)的部署流程整體流程大概是從HuggingFace下載開源模型在x86主機上用RKLLM Toolkit做格式轉(zhuǎn)換和量化生成.rkllm格式的模型文件然后放到板子上通過C/C或Python接口調(diào)用。模型選擇上目前在瑞迅板卡上跑得比較成熟的是Qwen系列、Llama-3.2系列、ChatGLM系列。我的推薦組合是輕量任務(wù)Qwen2.5-0.5B-Instruct、Llama-3.2-1B-Instruct中等任務(wù)Qwen2.5-1.5B/3B-Instruct、Llama-3.2-3B-Instruct偏重任務(wù)Qwen2.5-7B-InstructINT4量化轉(zhuǎn)換這一步建議在一臺內(nèi)存不低于32GB的x86主機上做因為量化和格式轉(zhuǎn)換過程本身就很吃內(nèi)存。命令行大致長這樣git clone https://github.com/airockchip/rknn-llm.git cd rknn-llm/rkllm_toolkit pip install -r requirements.txt python convert.py \ --model_path /path/to/Qwen2.5-3B-Instruct \ --output qwen2.5_3b_w4a16.rt \ --target_platform rk3588 \ --quantized_dtype w4a16其中target_platform要嚴格對應(yīng)實際板卡芯片填錯會導致模型在板端加載失敗。quantized_dtype參數(shù)里w4a16是目前端側(cè)LLM的主流配置意思是權(quán)重4bit、激活16bit我實測這個配置在精度和性能之間取得了一個不錯的平衡點。轉(zhuǎn)換完成后把生成好的.rkllm文件拷貝到板子上比如放在/data目錄下。板端集成的C接口大致是這樣#include rkllm.h rkllm_context ctx; RKLLMParam param rkllm_createDefaultParam(); param.model_path /data/qwen2.5_3b_w4a16.rt; param.top_k 40; param.top_p 0.9f; param.temperature 0.7f; rkllm_init(ctx, param, nullptr); RKLLMInput input; input.text 請用三句話介紹瑞迅科技RK3588主板; RKLLMOutput output; rkllm_run(ctx, input, output, callback, nullptr);這里有個非常重要的點rkllm_run是異步調(diào)用推理結(jié)果通過callback回調(diào)返回。所以實際產(chǎn)品里要維護好一個上下文狀態(tài)不能簡單當成同步函數(shù)處理。我一開始在這里踩過坑以為調(diào)用完直接拿output結(jié)果回調(diào)先觸發(fā)、主線程還在等邏輯就亂了。3.2 RKLLM關(guān)鍵參數(shù)怎么設(shè)兼談context_len和max_new_tokensRKLLM默認參數(shù)能跑通但不代表適合你的場景。有兩個參數(shù)直接決定內(nèi)存占用和響應(yīng)體驗第一個是context_len也就是模型能參考的歷史上下文長度。端側(cè)場景我建議設(shè)為1024或2048。設(shè)得越大KV Cache占用的連續(xù)內(nèi)存越多。曾有客戶為了“顯著高級”把context_len設(shè)為8192結(jié)果7B模型在16GB板子上頻繁崩潰后來縮到2048就穩(wěn)了。第二個是max_new_tokens也就是每次生成的最大新token數(shù)量。端側(cè)部署建議按任務(wù)類型設(shè)定比如短問答設(shè)128或256總結(jié)類任務(wù)設(shè)512。如果設(shè)成1024甚至更大一方面生成時間線性增長另一方面需要預留的KV Cache內(nèi)存也跟著漲。很多“生成到一半卡死”的現(xiàn)象其實不是推理引擎掛了而是KV Cache內(nèi)存不夠被系統(tǒng)殺掉了。還有一個容易被忽視的點temperature和top_p這兩個采樣參數(shù)會影響輸出質(zhì)量和穩(wěn)定性。如果發(fā)現(xiàn)模型輸出的內(nèi)容在各種無關(guān)主題間跳躍或者回答明顯重復可以先檢查這兩個參數(shù)而不是懷疑模型沒部署好。我一般用temperature0.7、top_p0.9作為默認值追求確定性答案時再把temperature降到0.3以下。3.3 常見內(nèi)存分配失敗與模型加載報錯部署過程中最讓人頭疼的不是模型轉(zhuǎn)換而是板端運行時報各種內(nèi)存錯誤。我整理幾個高頻問題現(xiàn)象根本原因解決辦法rkllm_init返回內(nèi)存分配失敗系統(tǒng)可用連續(xù)內(nèi)存不足檢查cma參數(shù)關(guān)閉不需要的GPU/VPU服務(wù)重啟后立即加載模型模型文件加載失敗target_platform填錯或模型文件損壞重新轉(zhuǎn)換確認平臺匹配用RKLLM驗證工具檢查推理一段時間后進程被殺KV Cache內(nèi)存超限調(diào)低context_len和max_new_tokens轉(zhuǎn)換過程主機OOM量化需要大量內(nèi)存換32GB以上內(nèi)存的機器減小batch size瑞迅主板的Linux系統(tǒng)默認可能預留了一部分內(nèi)存給GPU、VPU等硬件模塊。跑大模型時如果發(fā)現(xiàn)系統(tǒng)內(nèi)存顯示充足但加載失敗優(yōu)先檢查CMAContiguous Memory Allocator配置。我調(diào)試時習慣在啟動參數(shù)里顯式預留連續(xù)內(nèi)存比如在/boot/extlinux/extlinux.conf的內(nèi)核啟動參數(shù)中加上cma256M給模型加載留出充足空間。這里多提一句堆外內(nèi)存的問題。如果你是在Android系統(tǒng)上通過JNI調(diào)用RKLLM或者用Java/Python混合方式寫推理服務(wù)native層內(nèi)存和Java堆內(nèi)存是分開管理的。很多內(nèi)存不足問題出在native層而不是JVM堆。我的建議是端側(cè)部署優(yōu)先用純C/C或Python直接驅(qū)動RKLLM盡量減少跨語言層既省內(nèi)存又省排查負擔。4. 推理速度實測與能效表現(xiàn)哪些組合能用哪些是硬上理論算完還是得回到實測。以瑞迅RK3588主板為例我把常見的幾組模型組合跑了一遍總體感覺是1B到3B是體驗分水嶺7B屬于“技術(shù)驗證可跑、產(chǎn)品落地要謹慎”的檔位。4.1 我實測的推理速度區(qū)間測試條件瑞迅RK3588主板LPDDR5 16GBUbuntu系統(tǒng)RKLLM最新版本w4a16量化context_len2048單路請求。模型組合實測生成速度首token延遲內(nèi)存峰值占用約備注Qwen2.5-0.5B35~45 token/s約0.5s1.5GB響應(yīng)非??爝m合語音交互Qwen2.5-1.5B18~28 token/s約0.8s2.5GB日常問答流暢Llama-3.2-1B20~30 token/s約0.7s2.5GB英文任務(wù)表現(xiàn)不錯Llama-3.2-3B8~12 token/s約1.2s5GB能接受適合專業(yè)問答Qwen2.5-3B8~14 token/s約1.2s5GB中文能力均衡Qwen2.5-7B2~4 token/s約3s9GB速度偏慢適合離線異步任務(wù)這個速度區(qū)間的實際體驗可以這么理解30 token/s以上人幾乎無感知適合語音助手、交互式對話10~20 token/s能感覺到模型在“打字”但可接受適合知識庫問答、文檔摘要10 token/s以下交互會明顯卡頓適合單次生成較長的文本或者接受“提交后等一會兒再看結(jié)果”的產(chǎn)品形態(tài)。我把瑞迅RK3576也測試了幾輪3B模型的速度大約比RK3588低20%左右6~10 token/s屬于“能用但不夠爽”。RK3568我只跑了0.5B和1B的模型3~8 token/s適合做離線指令識別不適合做多輪對話。4.2 從DDR帶寬看3576和3588的差距前面提到RK3576的NPU算力和RK3588同為6 TOPS但推理速度卻有差距核心原因就在內(nèi)存帶寬。RK3588支持的LPDDR5頻率更高帶寬理論上可以達到60GB/s級別而RK3576雖然也支持LPDDR5但整體內(nèi)存控制器規(guī)格略低實際帶寬不如RK3588。為什么帶寬對大模型推理這么重要因為自回歸生成就是“一遍遍重復讀權(quán)重”的過程。7B模型INT4量化后約3.5GB權(quán)重每生成一個token就要把這3.5GB從頭到尾讀一遍。如果內(nèi)存帶寬是20GB/s光讀權(quán)重就要0.175秒再加上計算和數(shù)據(jù)搬運最終速度很容易被壓到3 token/s左右。這也是為什么端側(cè)大模型的體驗天花板往往不由TOPS決定而是由“芯片能多快地把權(quán)重喂給NPU”決定。選型時同TOPS的情況下優(yōu)先選內(nèi)存帶寬更高的平臺這是一個很關(guān)鍵的隱藏指標。4.3 能效與散熱跑大模型不只看性能還有一個選型時容易被忽略的因素功耗和散熱。RK3588在滿負荷跑7B模型時SoC功耗可以到10W以上這還沒算內(nèi)存和外圍器件。如果在密閉的工業(yè)盒子里長時間跑推理溫度會快速積累觸發(fā)降頻后速度進一步下滑。瑞迅主板一般會引出風扇供電和PWM控制引腳我建議量產(chǎn)設(shè)備一定要把主動散熱做成標配。后續(xù)章節(jié)我會專門講風扇控制和板級調(diào)優(yōu)這里先給個結(jié)論端側(cè)大模型產(chǎn)品的算力選型一定要把散熱成本算進去否則標稱6 TOPS的NPU在過熱降頻后可能連3 TOPS都發(fā)揮不出來。5. 典型應(yīng)用場景選型參考與落地建議聊完參數(shù)和實測回到最實際的選型表?;谖以诠I(yè)、商業(yè)、智能硬件項目里的開發(fā)經(jīng)驗整理了六類典型的端側(cè)大模型應(yīng)用場景對應(yīng)瑞迅三款平臺和內(nèi)存檔位的推薦配置。5.1 六類場景配置推薦應(yīng)用場景推薦平臺模型檔位內(nèi)存推薦說明智能語音交互盒子RK3576/35881B~3B INT48GB需要低首token延遲建議1B為主本地知識庫問答終端RK35883B~7B INT416GB需要檢索增強和長上下文內(nèi)存留足工業(yè)視覺AI質(zhì)檢RK3588視覺模型1B~3B8GB~16GB視覺模型和大語言模型共享算力與內(nèi)存邊緣AI網(wǎng)關(guān)/車聯(lián)網(wǎng)RK35761B~3B INT48GB側(cè)重多路接入和數(shù)據(jù)轉(zhuǎn)發(fā)低功耗嵌入式終端RK35680.5B~1B INT44GB簡單指令識別、文本分類邊緣AI開發(fā)工作站RK35883B~7B INT416GB~32GB開發(fā)者調(diào)試、多場景驗證這六類場景里我覺得第一個“智能語音交互盒子”是當前最成熟的端側(cè)大模型落地形態(tài)。它不需要那么強的上下文能力1B模型加一個語音喚醒加ASR再加TTS整個鏈路在RK3576上就能跑得很流暢成本相比云端方案有明顯優(yōu)勢。如果是做“本地知識庫問答終端”7B檔位就比較剛需因為知識庫中的文件內(nèi)容往往較長模型需要有足夠的推理能力才能生成靠譜回答。這種場景我不建議用1B或3B雖然速度更快但回答質(zhì)量會明顯下降常見表現(xiàn)是“答非所問”或者“只復述不推理”。5.2 盡量別做的事7B全精度、長上下文、高并發(fā)聊完推薦再說幾個我實際踩過的“硬上”案例第一件別做的事是在RK3588上跑7B模型的全精度FP16版本。14GB的權(quán)重加運行開銷16GB內(nèi)存基本被占滿系統(tǒng)稍微有點其他服務(wù)就被OOM killer殺掉。即使勉強跑起來速度也只有1~2 token/s實用性非常差。端側(cè)7B的現(xiàn)實路徑一定是INT4量化。第二件別做的事是把上下文長度拉到4096甚至8192。端側(cè)設(shè)備的內(nèi)存是有限資源長上下文會成倍放大KV Cache占用。我見過一個案例客戶堅持要8192上下文做“長文檔分析”結(jié)果16GB板子在生成到第幾百個token時直接重啟。后來我建議他們在應(yīng)用層做文檔切片用多次短上下文的輪詢方式替代單次長上下文問題就解決了。這個思路在端側(cè)尤其重要——別讓模型一次吃進所有內(nèi)容而是讓應(yīng)用層幫模型“分段消化”。第三件別做的事是在端側(cè)大模型上做高并發(fā)。云端GPU集群可以橫向擴展端側(cè)SoC是單芯片單內(nèi)存多路并發(fā)意味著每個請求都要分配獨立的KV Cache和推理緩沖。RK3588跑7B模型單路都只有2~4 token/s如果同時壓上3路請求每路都會被拖到1 token/s以下首token延遲更是不可接受。端側(cè)大模型產(chǎn)品應(yīng)該設(shè)計成單用戶、低并發(fā)、異步處理的形態(tài)這符合硬件能力邊界也能給用戶一個合理的預期。5.3 外設(shè)占用對推理穩(wěn)定性的隱性影響端側(cè)設(shè)備通常不只是跑大模型還要承擔攝像頭采集、串口通信、云端上報等任務(wù)。RK3588的NPU和CPU共享內(nèi)存帶寬GPU編解碼也會搶占DMA資源這些都可能導致大模型推理速度波動。我有一個實操建議量產(chǎn)階段一定要做“整機滿載測試”把所有外設(shè)同時開啟連續(xù)跑24小時大模型推理任務(wù)記錄速度波動和系統(tǒng)日志。瑞迅主板外設(shè)接口豐富但每個接口的驅(qū)動和DMA通道都有可能和RKLLM的連續(xù)內(nèi)存分配產(chǎn)生競爭。提前發(fā)現(xiàn)這些干擾因素比發(fā)貨后客戶反饋“推理變慢”要省心得多。還有一點值得注意盡量在量產(chǎn)系統(tǒng)里關(guān)閉不使用的服務(wù)模塊比如藍牙、Wi-Fi的省電模式、不必要的GPU合成等。跑LLM時系統(tǒng)越“干凈”速度越穩(wěn)定。我甚至會把桌面環(huán)境都禁掉只保留業(yè)務(wù)自啟動進程這樣內(nèi)存占用能少將近1GB。6. 板級調(diào)優(yōu)與研發(fā)期避坑到了這一章節(jié)假設(shè)你已經(jīng)選好主板、部署好模型接下來就是讓整套系統(tǒng)在工業(yè)環(huán)境里穩(wěn)定跑起來。這部分經(jīng)驗往往是最難查到的因為文檔和手冊不會寫這些細節(jié)。6.1 散熱與PWM風扇控制RK3588跑7B模型時SoC溫度上升很快不加散熱片和風扇幾分鐘內(nèi)就能沖到85攝氏度以上觸發(fā)降頻。瑞迅RK3588主板通常帶有PWM風扇接口系統(tǒng)里配置好pwm-fan節(jié)點就能實現(xiàn)溫控。在設(shè)備樹里加一個pwm-fan節(jié)點大致配置如下pwm0 { status okay; }; pwm-fan { compatible pwm-fan; pwms pwm0 0 25000 0; cooling-levels 0 64 128 192 255; #cooling-cells 2; };其中cooling-levels定義的是不同溫度梯度下的PWM占空比。我建議跑大模型的設(shè)備把最低檔位起點設(shè)高一點比如128 192 255因為大模型負載起來后是持續(xù)高溫不是偶發(fā)高負載風扇響應(yīng)太保守會導致溫度上去了轉(zhuǎn)速才慢慢拉起來。有個細節(jié)很多朋友問過怎么讀取風扇轉(zhuǎn)速瑞迅部分板卡的PWM接口旁邊還有一根FAN_TACH信號線接到主板的定時器捕獲引腳上。系統(tǒng)起來后可以通過hwmon接口查看比如cat /sys/class/hwmon/hwmon0/fan1_input如果讀不到轉(zhuǎn)速大概率是設(shè)備樹里沒有配置風扇轉(zhuǎn)速計引腳或者轉(zhuǎn)接板沒把TACH信號引出來。排查時要確認硬件連接而不是只盯著軟件配置。我實測下來RK3588跑7B模型時散熱方案至少要有鋁制散熱片加4010或5010規(guī)格風扇環(huán)境溫度35攝氏度時芯片溫度能控制在70攝氏度以內(nèi)。如果只用被動散熱長時間推理的降頻概率非常高token生成速度可能從3~4 token/s掉到1~2 token/s。6.2 刷機、Recovery與量產(chǎn)注意事項瑞迅主板用的是瑞芯微標準刷機流程開發(fā)階段我常用的是USB燒寫和SD卡燒寫兩種方式。USB燒寫的常規(guī)操作主板用USB Type-C數(shù)據(jù)線連接電腦按住Recovery鍵部分板型是MaskROM鍵再上電電腦端的瑞芯微開發(fā)工具會識別到Loader或MaskROM設(shè)備然后燒寫鏡像。這里有個關(guān)鍵點一定要用能傳輸數(shù)據(jù)的數(shù)據(jù)線而不是充電線。我遇到過幾次識別不到設(shè)備最后發(fā)現(xiàn)是線的問題白白浪費了一個下午。量產(chǎn)階段我強烈建議用瑞迅官方提供的量產(chǎn)工具做整盤燒寫或者直接做OTA升級方案。RK3588平臺的eMMC容量通常有32GB/64GB版本跑大模型的話建議至少64GB因為一個7B的INT4模型文件就要3.5GB左右再疊加系統(tǒng)和應(yīng)用32GB會顯得捉襟見肘。另外提一下RKLLM模型文件的存放位置。放在eMMC和放在外部TF卡/固態(tài)硬盤上加載速度會有明顯差異。我建議量產(chǎn)產(chǎn)品把模型文件放在eMMC或者NVMe固態(tài)盤上一方面加載速度快另一方面避免外置存儲松動導致模型加載失敗。如果放在機械硬盤上那種隨機讀取的性能跑大模型權(quán)重加載會讓人崩潰。6.3 顯示與音頻外設(shè)的兼容性經(jīng)驗調(diào)試RK3588板子時很多人會遇到一個報錯cant find suitable delayline。這個報錯通常出現(xiàn)在HDMI或DP顯示鏈路上與Uboot階段顯示控制器的delayline配置有關(guān)。如果用的是瑞迅原廠BSP最好在官網(wǎng)或FAE支持下確認Uboot版本太高或太低的版本都會造成HDMI握手異常。必要時修改屏參或顯示時序參數(shù)可以解決。音頻外設(shè)方面常見如ES8388這類Codec設(shè)備樹配置需要仔細核對尤其是I2C地址、時鐘源和DAI格式。我遇到過配置半天不出聲最后發(fā)現(xiàn)是引腳復用沖突。外設(shè)調(diào)通后建議用錄音回放工具做完整環(huán)路測試不要只測播放。跑大模型時還有一個小技巧把顯示接口的GPU合成和UI渲染盡量降到最低比如用無頭模式啟動。這樣可以把寶貴的DDR帶寬留給NPU推理。特別是7B模型任何額外的內(nèi)存帶寬競爭都會直接影響生成速度。7. 最后再分享一次真實的選型心得回到文章最開始的問題RK3588到底能不能跑7B大模型我的回答是能但前提是你能接受2~4 token/s的生成速度并且把應(yīng)用場景限制在單用戶、短上下文、異步任務(wù)當中。而如果追求“對話像真人一樣快”的體驗1B到3B才是目前端側(cè)部署最舒服的甜點區(qū)。選型這件事我最大的心得就是不要上來就盯TOPS數(shù)字也不要一聽說某芯片“跑得動7B”就上頭。先把業(yè)務(wù)場景拆清楚算出模型權(quán)重加KV Cache加系統(tǒng)開銷的總內(nèi)存再對比平臺的內(nèi)存帶寬和NPU算子優(yōu)化程度最后用實機測試數(shù)據(jù)拍板。瑞迅RK3588、RK3576、RK3568三款平臺各有各的主場沒有絕對的強弱只有適不適合你的項目。最后再提醒一句端側(cè)大模型再熱鬧落地還是要看穩(wěn)定性和成本。如果你正在做類似項目歡迎拿這份配置表做參考但一定要用真實模型、真實負載、真實環(huán)境溫度上板測一遍。紙面上算得再漂亮都不如一次長時間滿負載實測來得踏實。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香五月天AV在线 | 婷婷色五月大香蕉在线| 成人AV免费观看| 五月综亚洲| 色婷婷激情五月天| 五月天丁香婷婷网| 婷婷激情四射| 五月天天天色| 97碰碰视频在线观看免费| 五月六月丁香婷婷在线观看| 99热老网站| 大香蕉综合视频在线| 婷婷月综合| 亚洲精品一二三| 成人视频在线免费播放| 激情综合色播| 另类激情网| 这里只有精品视频视频在线观看| 久久久宗合| 人妻无码视频网| 性爱网五月天| 成人婷婷| 97五月久久丁香婷婷| 婷婷之六月丁香| 中文字幕成人| 色色色999| 黄色短视频在线观看| 涩五月婷婷| 久青操| 开心五月色婷婷综合开心网| 人妻操在线看| 五月天狠狠干| 美国天天日天天操| 色五月婷婷五月丁香五月| 五月天婷婷一起草| eeuss人妻| 啪啪六月婷婷| 成人一级片| 日本人妻操| 色五月亚洲| 免费看欧美成人A片无码| 91精品丝袜久久久久久| 成人做爰A片免费看视频| 婷香五月激情视频| 色激情五月天| 九九亚洲天堂| 91欧美日韩| 俺也去五月婷婷丁| 五月丁香亚州综合网| 国产亚洲精品久久久久久牛牛| 色婷婷导航| 色五月播五月| 超碰在线视屏| 99ri精品| 97色干在线观看| 国外亚洲成AV人片在线观看| 99热有精品在线观看| 国产亚洲精品AAAAAAA片| 五月婷婷六月丁香综合在线| 精品无码久久久久久久久| 无码任你操| 色婷婷亚洲婷婷| 黄色片区子| 五月天婷婷AV| 五月婷婷六月激情| 最新高清无码专区| 亚洲视频码| 91成人看| 色综合久久综合中文综合网| 五月丁香久久久日婷婷久久婷婷日| 天天日日天天| 韩国激情五月天综合网| 99在线精品观看99| 婷婷丁香社区| 日韩有码一区| 日本操碰碰| 久Se视频在线观看| 婷婷的激情五月| 9九热视频| AA丁香综合激情| 九九热精品| 色噜噜狠狠色综| 99热在线精品播放| 最新日本A片| 五月婷婷六月丁| 美女五月激情| 亚洲第一精品成人999久久精品| 情婷婷五月天在线| 人人人舔人人人操人人人摸人人人97 | 99久精品视频| 操碰97| 国产毛片欧美毛片久久久| 久久精品99国产精品日本| 天天碰夜夜操| 9l视频自拍9l视频自拍九色学生| 華人性愛AV在線| 日韩一66精品| 五月婷婷激情综合网 | 丁香五月激情婷婷婷婷在线观看| 丁香六月婷婷综合激情欧美| 欧美色一级色| 日本久久婷婷| 色亚洲色宗合| 色色热| 狠狠插狠狠插| 牛牛色av| 99热久久这里只有精品| 亚洲啪啪网| 日本系列_4页_777FP| 91色久| 婷婷久久夜| 丁香五月六月激情久久| 亚洲热综合| 专区无日本视频高清8| 182无码| 久久的爱大香蕉| 国产精品成人在线| 激情综合色播| 狠狠五月天| 任你搞在线观看视频| 91干| 色婷婷狠狠| 午夜一区| 激情啪啪五月天| 丁香五月情色| 玖玖五月| 欧美日韩一区二区三区四区| 如何安全看伊人婷婷| 大狠狠在线| 色五月婷婷九月| 五月开心激情| 亚洲婷婷久久综合| 岛国AV网| 一二线视频 另类| 91精品国产日韩91久久久久久国模| www.五月天婷婷.com| 色情综合网| 婷婷激情四射| 超级碰碰91| 五月丁综合在线观看| 久热这里| 五月久久| 九九视频热| 91精品在线看| 98永久精品| 日本在线免费中文com.| 丁香久月| 啪啪黄页网| 欧美va| 色色五月丁香| 五月激情网站| 97热在线精品| 先锋资源婷婷| 亚洲五月婷婷| www. 五月. com| 天天日夜夜夜操操操操| 日本欧美成人片AAAA | 久久人妻视频| 97人妻人人| 色久五月| 久草热8精品视频在线观看 | 丁香久久| 色欲婷婷五月天| 国内9l视频自拍老熟女九色| 狠狠色综合网站| 激情九月综合| www激情| 天天日天天操心| 天天干在线播放| 五月天婷综合网站| 亚洲成人免费电影| 99区视频| 男人大jjc女人免费视频| 激情桃色网| 五月天色丁香| 无码一区二区三区四区五区| 亚洲第一综合| 天天舔天天插天天干| 丁香五月婷婷天激情| 婷婷丁香在线| 婷婷激情鹿城五月天| 色情综合网| 成人婷99最新| 人人摸人人搞| 99'无码| AA丁香综合激情| 在线成人网址| av免费在线网站| 激情五月深爱婷婷| 99玖玖视频| 激情五月色综合| 婷婷伊人欧美| 久色激情| 五月久久五月激情| 禁欲电影完整版在线播放| 色情五月天视频网| 中国女人内射6XXXXX| 色婷婷五月丁香在线观看| 五月天婷婷成人网| 99热国内| 狠狠色综合无线观看| 色婷婷五月天天天干天天操天天爽 | 婷婷丁香色五月天| 狠狠xx| 亚洲热久| 伊人五月天| 婷婷五月AA五月在线| 99在线精品免费视频| 亚洲小说欧美激情| 天堂爱啪啪| 96精品久久久久久久久| 色噜噜狠狠色综合伊人| 久久五月婷综合| 日韩在线婷婷五月天综合| 色五月丁香91| 丁香五月激情综合| 五月色丁香综合| 国产欧美熟妇另类久久久| 五月天玖玖狠狠色色| 国产av网| 99热在这里只有精品| 日韩人妻无码一区二区| 91人无码久久久久久| 五月天综合久久| 五月丁香婷中文| 五月婷婷在线网站| 丁香五月网| www.天天干| 婷婷五月天日逼| 亚洲成人网址在线观看| 九月激情网| 日操| 韩国19 主播内部福利vip免费播放| 大香蕉久久久久| 五月婷俺去也| ady狠狠入| 大香蕉九九| 2w在线视频| 婷婷 伊人 久久| 亚洲婷婷免费| 天天爱天天爽| 五月丁香婷婷综合激情基地| 婷婷情色五月天| 九九热精品视频在线观看| 色色色色五月| 五月天自拍网| 婷婷丁香色五月亚洲| 日韩五月婷婷久久| 色色色综合| 丁香六月激情国产| 最新激情五月天| 中文AV在线观看| 久久精品99国产精品日本| 五月亭亭开心网| 99在线免费视| 97九色| 97超级啪啪在线观看| 欧美啪啪9| 天天色天天噜| 五月天激情网图片 - 百度| 丁香五月天激情视频| 九九久久综合| 五月丁香婷婷啪啪网| 丁香五月激情啪啪| 这里只有精品视频99| www.99成人视频| 日韩一级片| 久久五月婷综合网| 婷婷中文字幕网站| 亚洲热久久| 久久九九怡红院| 99热久| 五月丁香做爱视频| 丁香五月天资源网| xx久久| 91色吧网| 91九色首页| 天天爱天天操| 中文字幕中文有码在线| 丁香五月婷婷影视先锋| 激情五月天99色| 日本123区日韩欧美不卡在线看| 香蕉久久五月| 9久久精品视频| 影音先锋偷偷色男人站| 日本激情91| 亚洲av成人在线| 99er精品| 毛片色五月| 婷婷丁香六月天| 99这里都是精品| 秋霞A V毛片| 婷婷九月狠狠色| 五月丁香六月婷婷成人| 激情综合青草| 狠狠五月激情丁香六月| 91玖玖| 五月天激情婷婷| 中国丰满熟女A片免费观| 欧美搡BBBBB摔BBBBB| 色爽干| 超碰丁香五月| 色综合色综合网| 国产99热在线看| 99久久网站| 色婷丨日丨天丨综合久久| 丁香五月六月婷婷殴美综合| 激情五月综合| 5月丁香综合图区| 丁香五月婷婷久久久| 99人人操人人操人人精| ...婷婷国产成人亚洲日韩| 色婷五月天网站| 天天综合色| 日本色婷婷| www.com久久久久久久久久久久久久久久久| 五月激情久久| 2025中文在线视频字幕免费观看| 一丁香五月天月AV| 中文字幕乱码亚洲精品一区| 99久久久免费| 婷婷五月六月丁香综合| 久热这里只有| 久久五月婷婷丁香| 涩涩婷婷五月| 色婷婷综合网站| renrencaoav| 婷婷色五月综合| 国产精品成人在线| 五月激情久久| 色婷婷丁香五月天激情综合网| 九九在线精品| 99色爱| 色婷婷aV四虎| 婷婷在线操| 综合网啪啪| 乱精品一区字幕二区| 日韩黄色电影| 天堂草在线看www| 五月天开心网| 黄色AV日韩| WWW,五月| 天堂在线观看视频| 欧美综合激情五月丁香| 久久这里只有精品99| 亚洲乱啪| 婷婷色爱| 99色在线观看视频者| 亚洲Va成人| 欧美激情综合五月色丁香| 五月婷婷激情| 婷婷色片| 五月丁香中文| 丁香六月青青草| Va另类视频| 丁香五月天激情| 亚洲AV综合在线观看| 色五开心五月五月深深爱| 久久五月丁香| 五月丁香色婷婷伊人| 色爱99| 亚洲视频在线网| 亚洲看av的网站| 熟女激情五月天| 大香蕉免费9| 99精品免费欧美小视频| 91精品综合久久久久久五月天| 五月丁香六月激情网| 亚洲中文字幕网| 久久99热这里只有精品首| 性视频久久| 99九精品| 99啪| 久久丁香五月综合六月激情红杏视频 | 色色色色网色色网色色| 五月天大香焦| 五月天婷婷综合| 69人妻人人澡人人爽久久| 久热这里只有精品视频免费观看| 97自拍视频网| www,com,五月色色| 久久五月网| 婷婷五月天免费视频| 免费观看日韩成人av| 青青草原福利在线| 在线看黄色| 美国十月色婷婷在线观看| 婷婷丁香婷婷97| 99色色色色| 丁香花操逼| 色五婷婷在线视频| 亚洲第一黄网| 中文字幕无码人妻少妇免费视频| 五月天激情网页| 99热综合在线观看| 九色啦蜜臀| 亚洲99在线| 97干欧美| 亚洲99激情| AAA久久| 丁香五月狠狠综合欧美| 婷婷激情啪啪| 亚洲色五月婷婷| 六月婷婷视频| 去色色五月天| 五月天婷婷丁香| 婷婷激情综合无月| 青青草五月天| www,天天干| 操逼福利视频| 久久久久久久久久久97| 九九激情网| 九九热视频首页/这里只有精品| 五月天婷久久| 六月丁香久久| 丁香五月婷婷手机| 婷婷五月综合激情| 97午夜一区二区| 久草a片| 亚洲综合视频天天精品| 涩 五月 婷婷 狠狠| 天天久久狠狠色综合| 五月天快乐开心激情网| Av在线不卡一区| 五月色婷| 五月婷婷中文字幕| 五月天婷婷久色| pom538精品视频| 五月丁香激情综合| av在线免费网站 | 亚洲噜色| 人妻久久久久久久久妻久久久久久久久| 成人.在线日韩| 久久婷婷综| 欧美黑人巨大猛烈cuckold| 激情骚五月| 欧美三级A做爰在线观看| 极品人妻VideOssS人妻| 思思精品久久艹| 激情久久肏屄视频| 97成人在线视频| 夜夜躁爽日日| 婷婷无码视频| 26uuu欧美激情另类| 国产欧美日韩性爱| 五月丁香婷草| 婷婷久久在线| av一区二区电影免费在线观看| 天天综合网在线| 婷婷五月六| 九月婷婷丁香| 99热欧| 日韩一级A片黄色| 情色五月天 网站| 91Chinese在线| 五月激情小说| 很很干夜夜干| 99精品在线观看视频| 少妇人妻凹凸视频| 亚洲性爱99在线| 五月丁香婷婷福利| www99热| 一月婷婷色色| 色欧美影院| 色婷婷久久久| 人人干女人| 99热这里只有免费| 五月香六月婷| 婷婷五月天激情综合婷婷五月天激情综合| 亚洲激情亚洲激情| 9er热在线精品视频| 国产精品色婷婷99久久精品| 亚洲在线视频321| 九九久久色| 日比网免费国产| 精品夜夜澡人妻无码AV| 性欧美大战久久久久久久83| 国产精品久久久爽爽爽麻豆色哟哟 | 久久九九网| 六月丁香停| 青996青| 婷婷五月天网址| 月色色综合婷婷网| 超碰97免费在线| 另类亚洲视频| 99色天堂| 99高级会所久久| 色播五月丁香| 婷婷五月丁香婷婷| 色日本网| 中文在线成人| 日韩AAAAA| 五月天激情网站| 五月天婷婷久久| 婷婷五月av| 99免费视频| 日曰躁夜夜躁2026| 久久五月天免费网站| 99九九热视频免费| 欧美色图天堂网| 五月丁香激情综合网官网| 久久有码| 色色色色色网| 五月天偷拍| WWW.久久.COM| 婷婷伊人五月丁香天堂网| 影音先锋天天日| 久热一本| 九九热在线视频,| 激情五月天无人视频在线| 色五月婷婷九月| 激情综合五月| 精品视频网| 伊人网大香| 蜜臀A∨在线水帘洞| 五月婷婷综合色啪首页| 综合久久久| 99精品免费| 99久久欧美| 琪琪色五月天| 内射丰满人妻| 日韩在线观看亚洲| 久久精品99国产精品日本| 五月婷婷啪啪啪啪| 欧美日综合| 激情五月婷婷中文字幕| 99热偷拍| 欧美精品狠狠色丁香婷婷| www,超碰| 九九免费在线视频| 久久停停超碰| 国模狼狼| 色五月婷婷少妇人妻| 亚洲欧美一区二区三区四区爱爱动图| 91干在线| 五月婷综合激情| 性色播| 女高怪谈在线观看| 色噜噜狠狠色综无码久久合欧美| 91人人操| 日日肏天天操| 久久伊人五月天| 超碰人人99| www.夜夜夜| 久久久.COM| 九月丁香婷婷| 亚洲精品视频在线播放| 青草少妇激情| 无码成人AAAAA毛片AI换脸| 99a级片| 99热亚洲精品66| 婷婷伊人綜合中文字幕小说| 超碰人人超碰| 激情啪啪五月| 天天操精品| 色5月婷婷| 99综合视频一体| 亚洲操逼片| 六月丁香婷婷综合在线| 亚洲成人日韩无码精品| 亚洲婷婷五月草久| 深爱激情五月网| www.sebowuyue| 思思热在线免费视频| 五月丁香婷婷综合网| 久久艹网| 激情五月婷婷五月丁香五月开心五月| 黄色AAAA韩国guochansanji| 婷婷丁香五月天狠狠| 六月色色| 思思色播| 色播五月婷婷| 69精品人人人人| 伊人www22综合色| 五月婷婷之综合激情在线| 激情五月天开心网丁香无码| 人妻久热| 日木狠狠干| 五月婷婷激情综合| 久热91| 在线中文av| 欧美在线看| 日本色色网站| 91成人看片| 久久婷婷五月综合激情国产| 日韩色五月| 五月天丁香婷| 激情五月伊人婷婷| ..真实国产乱子伦对白在线_欧| 丁香色五月婷婷17C| 久色网| 婷婷久久综合久| 九九视频这里只有精品| 97色色色视屏| 色级停停| 色欧洲| 婷婷丁香成人五月天| 天天综合中文| 丁香五月天堂| 亚洲视频在线观看| 五月天深爱激情网| 丁香五月开心亚洲| 特级西西4444www无码| 丁香五月天欧洲在线| 无码人妻精品一区二区蜜桃色欲| 能直接看的AV网站| 男人的天堂97| 亚洲男女激情| 久久99久久99精品免观看软件| 五月丁香综合色婷婷| 日日夜夜婷婷| 无码激情| 青草青草视频2免费观看| 。久久久久久久久久久久久久人妻| 婷婷五月激情综合网| 九九99精品视频在线观看| 九九精品热播| www.99色| 99热天堂| 亚洲综合干| 91怕怕网| 99热手机在线精品| 五月婷婷开心亚州在线| 国产精品操| 激情综合网激情五月天| 人妻啪啪啪| 国产激情久久| 色综合久久综合| av人人干| 开心五月网| 激情五月综合网| 99re8热精品免费视频| 丁香婷婷五月综合| caopeng97日韩| 在线成人视频免费| 久在线88综合| 99热国产免费| 欧美综合激情丁香五月六月婷| 99精品在线| 亚洲综合色婷婷文学| ww久久| 开心综合激情综合| 天天爽爽日日做做| 丁香五月婷婷色偷偷| wwwss在线观看| 久热91精品| 国际国外精品欧洲南美洲专区无码不卡| 成人AV网站在线| 麻豆AV一区二区三区| 激情图片久久| 丁香五月在线观看完整版| 中文字幕综合网| 超碰啪啪网| 99精品成人无码A片观看金桔| 久久超级碰碰| 99爱在线精品视频免费观看| 亚洲无码成人性爰网| 欧洲综合视频| 亚洲超级碰| 亚洲传媒在线观看| 精品无码久久久久久久久| 婷久久| 五月婷婷丁香五月| 99热在线观看亚洲区| 天天狠天天狠| WWW.天天日| 五月婷婷九九热| 欧美性爱丁香五月| 亚洲精品V天堂中文字幕| 草草视频91| 激情综合国产| 久久狼人天堂| 亚洲旡码| 另类专区在线| 五月天激情久久| 婷婷五月情| 久久免费婷婷视频| 婷婷色Av| 99热精品9| 婷婷五月色网| 日本欧美国产| 三级片AAA久久久AAA久久久AAA| 九九99免费视频| 五月亭亭开心网| 五月丁香另类图片| 亚洲色爱综合| 五月丁香综合激情网| 国产精品VA在线| 色婷婷丁香五月天在线观看| 99热在线只有精品| 狠狠草在线观看| 五月婷婷影| 色导航色婷婷五月天在线观看| 人人做天天爱| 久久丁香久久| 国产婷婷五月天| 影音先锋噜一噜| 九色婷婷| 丁香五月激情五月| 思思久久99热只有频精品66| 久草热8精品视频在线观看| 成人无码髙潮喷水A片| 国产看真人毛片爱做A片| 人五月天婷婷喷水| 久久综合五月| 另类专区在线| 五月丁香综合激情在线观看| 操嫩逼电影| 亚洲激情.com| 丁香五月开心亚洲| 91热爆在线| 无码激情AAAAA片-区区| 91在线97视频| 99超级碰碰| 五月花综合| 婷婷一本和五月丁香| 人人人操B超碰| 久久天天| WWW99热| 色久女| 人妻 性久久久久久| 天天摸人人摸| 9热精品| 六月色婷婷| 免费三级黄色| 激情久久丁香| 69热在线| 天天插天天插天天插| 99热这里只有精品2024| 九九综合色综合| www.99热在线观看| 亚洲综合丁香五月| 亚洲五月天婷婷| 99热色精品| 婷婷亚洲在线| 青青草原亚洲天堂| 天天插天天| 成人版视频在线观看| 99只有精品| www.激情五月天.con| 丁香五月婷婷深五月| 丁香五月乱中文字幕| 六月激情婷婷| 五月丁香亭亭A片| 婷婷激情丁香五月天综合| 婷婷五月天在婷| 丁香六月综合激情| 激情网色五月| 99爱免费在线观看| 91人操人人人操人| 欧美日韩二区在线| 色综合爽| 久久与婷婷| 91色五月在线观看| 激情五月伊人婷婷| 2017人人操| 丁香婷婷成年| 日日天天天| 久草A片| 天堂网亚洲色图| 免费AV黄在线播放| 亚洲天堂啪啪| 久久久久五月丁香| 亚洲丁香五月美女| AV人人操| 婷婷狠狠18禁久久| 婷婷丁香五月高清| 99久久九九视频| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 五月亚洲激情| 99视频内射三四| www.yw色| 五月天婷婷影院影院观看| 久久五月婷6 9| www.主妇. com| 久久五月丁香| 婷婷五月丁香综合瑟瑟| 九月婷婷丁香| 日本不卡高字幕在线2019| 五月丁香综合啪啪| av久热| 激情文学第四色婷婷丁香五月| 激情五月婷婷免费视频| 成人丁香五月天| 97人人看| 国产免费AV网站| 五月丁香婷草| 国产.亚洲.欧洲视频在线| 日韩啪啪视品| 天天色综合综合| 色九四色| 六月丁AV| 99色视| 久久久久久久久久久久久久久久一道本| 国产片天天爽夜夜爽| 久久五月丁香婷婷| 久久停停超碰| 91操人| 99爱免费在线观看| 欧美私人家庭影院| 2023天天日夜夜爽| 精品9197碰| 婷婷五月天亚洲精品| 婷婷激情四射| 婷婷深爱网| 色婷小说| 色色色色色网| 久久九九re热| 五月婷婷色播| 五月婷婷啪| 超碰在线看| 婷婷激情鹿城五月天| 人妻丰满精品一区二区A片| 9999色色色色| ...婷婷五月综合不卡,国产在线手机| 狠狠五月天| 五月天婷婷綜合院| 日韩1区2区| 色婷婷国色天香综合| 超碰av在| 久久精品系列| 99精品在线| 五月天激情网图片| 九色色| 97碰人人操| 激情丁香五月天| 99视频在线观看视频| 超碰免费电影| 日韩另类| www.五月婷婷久久.com| 99久久久久久久| 思思re99视频在线观看| 狠狠色官网| 91丨九色丨老熟女激情| 丁香五月天狠狠| 五月天婷婷色在线视频免费观看 | 婷婷五月丁香亚洲| 久久五月丁香| 蜜桃婷婷五月| 国产毛片精品一区二区色欲黄A片| 九九在线免费观看| av免费在线网站| 久热只有精品| 综合五月婷婷| 色情五月丁香婷婷网| 日韩啪啪自拍| 久久丁香五月天| 成人超碰Av| 任你爽免费视频| 激情网站综合五月天| 1024成人免费看| 99热碰碰热| 97婷婷丁香五月| 99热新网址| 琪琪色综合网站| av网址在线| 天天操天天草天天草天天| 亚洲啪啪视频| 久久人人添人人爽添人人片αV | 六月丁AV| 天天色天天色天天色天天色天天色天天色| 日日操无码| 日本色道视频网站| 婷婷丁香小说| 狠狠干总合| 久久久久9999| 九九九九九九毛片| 精品欧美一区二区三区久久久| 五月天激情综合网| 久久成人精品视频| 99re这里只有精品9| 精品九九网| 久久艹 五月天| 色色亚洲视频| 色久九| 婷婷操婷婷干婷婷射| 丁香五月视频在线观看| 久久网日本| 9热在线视频精品| 色狠狠色| 天天色天天日| 欧美 日韩 成人 在线| 久久婷婷五月综合伊人| 久久九九99字幕| 综合五月丁香久久| 激情五月综合网最新| 在线播放 精品| 欧美大片| 香蕉综合网| 激情五月天婷婷| 激情五月婷婷网| 天天综合天天玩夜夜玩天天玩夜夜玩 | 亚洲不卡欧洲| 中文字幕激情综合| 婷婷综合激情| 天天爽天天摸人妻综合网| 九九热在线视频,| 激情的五月婷婷蜜桃| 九九大香视频| 色情久久久| 琪琪色热色色| 色丁香婷婷| 99视频网址| 综合色网站| 成年视频免费观看| 激情综合视频| 日本网站久久| 亚洲精品另类| 丁香婷婷五月人体| 成人免费视频一区| 超碰京东热av男人的天堂| 1234操逼网| 日韩激情网站| 九九九午夜视频| 狠狠se| 五月婷婷婷综合网| 综合色播| 天天摸天天舔在线视频| 国产 码在线成人网站| 色五月婷婷综合在线| 亚洲99在线| 玖玖色综合| 九九aV| 中国丰满熟女A片免费观| 婷婷五月天福利| 国产成人精品一区二三区熟女在线| 色婷婷狠狠| 五月天啪啪| 亚洲精品无码99热| 色播激情| 97色图片中文字幕视频在线观看 | 色色色色色色综合| 色婷婷的五月天| 偷拍91九色| 99色在线| 99精品国产在热久久| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 亚洲Av成人在线观看| 大香蕉婷婷丁香| 婷婷五月av| xxx日本东京热| 青草少妇激情| 综合网色| 国产成人一区二区三区在线观看| 亚洲综合色婷| 亚洲天堂AV综合网| 久久九九爽| www婷婷亚洲| 久久人妻伦理| 99久久婷| 99国产精品久久久久久久久久久| 五月婷婷www| 91狠狠综合久久| 国产欧美日韩一区二区三区| 婷婷开心五月| 色综合久久888| 99亚洲精品综合在线| 亚洲色夜| 丁香五月天在线直播观看| 亚洲亚洲亚洲AAAAAA| 91干视频| 国产精品男人AV不卡| 七七九色| 亚洲精品性色| 婷婷丁香97| 亚洲激情久久| 伊人婷婷综合| 99热这里只有精品 搜| 久9视频免费播放| 国产精品扒开腿做爽爽爽A片唱戏| 国产在线网址1| www.狠狠| 欧美丁香婷婷五月| 99精品在线| 69人人操人人爽| 婷婷香蕉| 另类小说五月天激情| 五月丁香无码| 国产成人精品一区二区三区视频 | 99超级碰碰| 欧美大肥婆大肥BBBBB| 亚洲AV免费国产电影| 国产婷婷五月中文字幕高清| 激情五月丁香六月综合AVXXXX| 色五月婷婷在线| 九九色色色| A网在线欧洲| 99热这里是精品| 欧美婷婷丁香社区在线播放| 久久婷婷五月国产激情综合片| www.操.com| 97caop| AV激情五月| 久久六月天| 九九视频在线观看视频6| 婷婷五月电影| 999影院成人在线影院| 五月色丁香| 五月婷婷在线丁香| 亚洲成人中心| 丁香五月成人自拍| 激情亚洲色图片丁香综合| 五月丁香六月婷综合成人综合 | 五月天婷婷婷| 99噜噜噜在线播放| 五月丁香六月婷婷综合在线| 色婷婷天堂| 99热加勒比| 99re思思久久| 精品综合网在线| 99热这里只有精品13| 亚洲操逼网| 九九干视频| 人人草开心五月天| 激情综合网激情五月丁香五月俺也去| 亚洲成人色五月婷婷综合| 色色色色热| 五月丁香婷婷啪啪| 99热国内精品| 精品亚洲国产成AV人片传媒 | 99小精品| 久久性爱视频| 五月婷丁香花| 激情丁香五月婷婷| 伊人五月天日日夜夜久久久天天| 我爱大香蕉| 另类激情五月| 五月激情影视| 天天色天天搡| 久久人人妻| 五月天激情播播网| 丁香六月啪啪| 天天日人人| 少妇高潮A片无套内谢麻豆传| 夜夜骑操AV| 天天做天天爱| 亚洲色欲欧美一区二区三区| 99碰碰| 丁香五月aV| 久久久天堂国产精品女人| 99爱免费视频| 99热一本久道| 欧美日韩成人高清在线| 伊人玖玖精品| h在线看免费版在线看| 亚洲色色爱| 超碰婷婷色| 激情小说 五月天| 丁香五月成人自拍| 婷婷五月天亚洲五码| 九九大香蕉黄色影院| 99日本精品视频热| 六月丁香婷婷五月天| 久热超碰| 色色色色色爱| 1区2区视频| 网色99| 人人色性网| 香蕉曰比| 狼人婷婷综合| 一个色的综合| 任你弄在线视频免费| 久久怕怕视频| 91操网| 懂色av粉嫩av蜜臀av| 少妇达人正片在线播放_ikun_福利吧| ′久久99一| 婷婷综合视频| 六月丁AV| 91精品在线看| 国产成人精品123区免费视频| 婷婷成人小说综合| 综合激情在线| 日韩丰满少妇无码内射| 色丁香影院| 免费亚洲婷婷中文字幕| 日韩AV免费电影在线播放| 日韩AAAAA| 99婷婷| 91九色超碰| 99色在线| 这里只有精彩视| 色综合婷婷| 亚洲妇女熟BBW| 先锋资源婷婷| 黄色99网| 婷婷五月天网址| 夜夜嗨一区二区三区直播内容 | 欧美成人va| 99热国产这里只有| 丁香综合久久| 五月丁香综合啪啪| 亚洲五月花| 99热精这里只有精品| av激情在线| 99riav 亚洲| 欧美三级欧美一级| 人人人人人人人草| 九九人人操| 国产操逼视频网站| 欧美色色色| 婷婷永久在线| 99无吗| 人妻操逼| 吊色AV男人的天堂| 婷婷欧美| 自拍偷窥99热| www99热| 爱之国产色情综合| 成人短视频在线| 五月婷婷亚洲综合在线| 五月激情小说| 97久久人人| 亚洲成人中心| 99热这里只有精品一区| 五月天婷婷久久日| 婷婷五月电影| 激情五月天色色色| 久久精品A片777777| 亚洲午夜av| 六月婷婷八月丁香| 天天插天天干天天舔| 久久99热这里只有精品首| 丁香久月婷| 色婷婷四色| 99操九九网| 国外亚洲成AV人片在线观看| 五月开心久久| 九九九九综合| 人人草人人舔| 影音先锋777xfplay色资源网站| 丁香五月天综合网| 天天粽合合合合| 日韩色色网| 五月天久久久| 亚洲成人一区| 久久人人九| 色噜久| 成人网站av免费网站推荐| 热久久这里只有三级视频| 欧美69久成人做爰视频| 大伊香蕉精品视频在线| 亚洲天堂久久| 国产毛片精品一区二区色欲黄A片| 婷婷久久色| 丁香五月综合激情性爱 | 玖玖爱综合网| 97影院一级片| 五月天久久婷婷| AV操操操| 色五月亚洲| 久久性爱视频网站| 亚洲精品在线视频| 国产激情在线| 婷婷五月天Av| 99热精品无码| 99久久网站| 色播五月丁香| 美女婷婷激情亚洲| 婷婷综合丁香| 五月丁香本色在线观看| 男女啪啪做爰高潮无遮挡| 八戒青柠影视剧在线观看| 粉嫩AV久久一区二区三区| 99re6久热只有精品6在线直播| www.狠狠| 欧美性生交xXxX久久久| 亚洲五月六月婷婷| 五月婷婷色白丝| 久热超碰91| 99在线播放视频| 婷丁香五月天| 丁香五月天在线视频| 婷婷成人在线| 久色网五月| 婷婷五月激情在线视频| 丁香六月啪| 思思久久99热只有频精品66| 亚洲精品一区中文字幕乱码| 激情玖玖sh| 色婷婷精品视频在线播放| 久久国产一区二区三区| 丁香五月激情五月色综合| 色色五月综合| 999婷婷综合| 五月综亚洲| 丁香五月综合在线观看| 99精品网| 激情图片婷婷| 婷婷综合五月| 激情五月天天| 九九色综合网| 这里只有视频精品| 激情开心五月亚洲| 自拍盗摄 另类| 在线中文字幕av| 国产国产乱老熟女视频网站97| 超碰色人妾| 色婷婷影视| 五月欧美色色五月| 午夜五月天| av九九| 日美三级| 51成人| www.五月天激情| 九九av| 久婷狼色诱惑在线| 97操碰碰无码视频| 婷婷色香六月综合激情| 久久久精品色| 五月天久久婷婷| 天天久久九九| 丁香六月中文| 激情第四色| 99久久久| 黄久久久| 亚洲五月天综合| xx久久| 天天肏天天舔AV| 人妻操逼视频。| 婷婷日日夜夜| 蜜臀AV在线观看| 久久99综合网| 天天爱天天做天天舔| 激情久久丁香| Blackedraw视频一区二区| 婷婷色色丁香五月天| 天天综合亚洲综合| 亚洲欧美婷婷五月色综合| 久久婷婷色综合老司机| 琪琪秋霞| 九九大香蕉黄色影院| 免费无码毛片一区二区A片| 黄久久久| 婷婷五月中文字幕国产| 91丨九色丨东北熟女| 久久99网址| 久久这里只有精品视频1| 色噜噜狠狠色综无码久久合欧美| 六月婷婷色色色| 丁香婷婷啪啪啪| 激情五月天婷婷五月天| 小色小蛇伊人婷婷色香五月| 色五月婷婷视频| 婷婷色五月丁香六月欧美啪| 婷婷成人在线| 视色综合| 久久精品99国产精品日本 | 天天日日夜夜| ay2区| 丁香六月啪啪啪| 中文字幕,综合,91| 亚洲va欧洲va国产va不卡| 大战熟女丰满人妻AV| 六月丁婷婷| 91色婷婷综合久久中文字幕二区| 丁香9月婷婷| 五月丁香婷婷成人综合网| 影音先锋女人AA鲁色资源| 人人干99| 97色色视频| 欧洲区自拍| 五月激情天天干| 蒲京久久无码视频| 99色精品视频| 丁香五月天啪啪|