欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

中文大模型行業(yè)落地全流程:選型、LoRA微調(diào)、vLLM部署與避坑實(shí)踐

中文大模型行業(yè)落地全流程:選型、LoRA微調(diào)、vLLM部署與避坑實(shí)踐 簡(jiǎn)介面向人工智能應(yīng)用開發(fā)者與行業(yè)技術(shù)決策者聚焦中文大語言模型向行業(yè)落地的核心環(huán)節(jié)涵蓋指令數(shù)據(jù)、安全對(duì)齊數(shù)據(jù)與說明文檔適用于構(gòu)建公司級(jí)或行業(yè)級(jí)大模型應(yīng)用場(chǎng)景。包內(nèi)共8個(gè)文件包含三個(gè)jsonl與三個(gè)json格式的數(shù)據(jù)文件以及兩個(gè)md說明文檔整體僅3.44MB便于下載與速覽。其中jsonl/json數(shù)據(jù)多與中文指令微調(diào)、安全提示及開發(fā)者指令相關(guān)md文檔則提供使用指引。該資源上線后已有208人學(xué)習(xí)/下載適合正在搭建中文大模型訓(xùn)練環(huán)境或推進(jìn)行業(yè)應(yīng)用的讀者參考。指令數(shù)據(jù)如alpaca中文數(shù)據(jù)、安全提示集等可直接用于模型微調(diào)與對(duì)齊測(cè)試說明文檔能幫助快速理解文件結(jié)構(gòu)和調(diào)用方式為落地行業(yè)大模型提供基礎(chǔ)數(shù)據(jù)支撐與排錯(cuò)參考節(jié)省自行整理數(shù)據(jù)的時(shí)間。1. 中文大模型落地行業(yè)從解壓.zip到真能交付的最后一公里很多團(tuán)隊(duì)接觸行業(yè)大模型的第一份素材就是一個(gè).zip壓縮包。解壓、翻目錄、把模型跑起來這些步驟半天就能完成但真正的交付難點(diǎn)在壓縮包之外——怎么把中文大語言模型做成公司內(nèi)部的私有化服務(wù)讓業(yè)務(wù)方愿意把生產(chǎn)數(shù)據(jù)喂進(jìn)來讓答案經(jīng)得起追問。做AI大模型應(yīng)用的同學(xué)大多有這種體會(huì)demo能跑通不是能力業(yè)務(wù)方點(diǎn)頭才是驗(yàn)收。這篇文章按行業(yè)項(xiàng)目最常見的落地路徑展開覆蓋中文基座選型、業(yè)務(wù)數(shù)據(jù)整理、LoRA微調(diào)、vLLM部署、SSE實(shí)時(shí)渲染以及那些線上才會(huì)暴露的坑。適合準(zhǔn)備做行業(yè)大模型交付的算法工程師、平臺(tái)工程師和運(yùn)維同學(xué)也適合正在評(píng)估要不要投入的技術(shù)負(fù)責(zé)人。2. 選中文基座模型先看許可證、參數(shù)量與權(quán)重格式再動(dòng)手解包行業(yè)項(xiàng)目的選型不能在壓縮包里進(jìn)行。拿到.zip先別急著做環(huán)境配置基座選錯(cuò)后面的微調(diào)、部署、評(píng)測(cè)全都要返工。選型的先后順序應(yīng)該是先看許可證再定參數(shù)規(guī)模最后確認(rèn)權(quán)重格式。順序反了大概率會(huì)在某個(gè)周五晚上發(fā)現(xiàn)模型不能商用或者部署的時(shí)候發(fā)現(xiàn)顯存差一半。2.1 基座怎么選為什么行業(yè)項(xiàng)目?jī)?yōu)先看中文基座國(guó)內(nèi)業(yè)務(wù)場(chǎng)景優(yōu)先看中文基座原因很實(shí)際。中文基座的預(yù)訓(xùn)練語料里中文占比高行業(yè)術(shù)語、中文指令遵循能力和對(duì)話模板都更貼合。英文基座在中文業(yè)務(wù)上不是不能做但往往要花更多數(shù)據(jù)去矯正語言風(fēng)格同樣的微調(diào)預(yù)算效果會(huì)打折扣。選型時(shí)第一道門檻是許可證這個(gè)必須在立項(xiàng)時(shí)確認(rèn)清楚。公司級(jí)別或行業(yè)級(jí)別的交付意味著模型要部署在多臺(tái)服務(wù)器上可能還會(huì)打包給上下游伙伴商用許可不清晰的權(quán)重文件是重大合規(guī)隱患?,F(xiàn)在常見的做法是優(yōu)先選Apache 2.0這類寬松許可的中文基座系列法務(wù)審核會(huì)順暢很多交付物也能正常走采購(gòu)流程。第二個(gè)看基座的中文SFT訓(xùn)練數(shù)據(jù)和對(duì)話模板。模板決定了后續(xù)數(shù)據(jù)整理的格式所以不要在「用哪套Prompt格式」上自己發(fā)明直接跟隨基座默認(rèn)的ChatML模板|im_start|和|im_end|圍起來的消息結(jié)構(gòu)后續(xù)接入推理框架和微調(diào)工具都不用改。如果基座模板和微調(diào)工具、推理框架三者不一致會(huì)出現(xiàn)「訓(xùn)練時(shí)正常部署時(shí)輸出亂七八糟」的玄學(xué)問題實(shí)際原因是模板錯(cuò)位。2.2 參數(shù)量級(jí)怎么定從業(yè)務(wù)并發(fā)和顯存預(yù)算反推參數(shù)規(guī)模不應(yīng)該從「越大越聰明」來定而是從「部署環(huán)境能提供多少顯存、業(yè)務(wù)需要多少并發(fā)」反推。下面這組對(duì)應(yīng)關(guān)系是行業(yè)項(xiàng)目里比較常用的參考具體數(shù)值在不同推理引擎下會(huì)有浮動(dòng)但量級(jí)是固定的。參數(shù)規(guī)模BF16推理顯存參考典型部署形態(tài)適用場(chǎng)景7B單卡24GB可跑量化后更低單機(jī)單卡vLLM或llama.cpp部門級(jí)知識(shí)問答、單業(yè)務(wù)線助手14B單卡40GB或雙卡24GB雙卡張量并行多個(gè)業(yè)務(wù)線共用一套模型服務(wù)72B多卡80GB或多卡量化多卡并行統(tǒng)一網(wǎng)關(guān)行業(yè)級(jí)底座面向全公司7B級(jí)別是目前行業(yè)落地的甜點(diǎn)位。在電氣、售后、法律這些垂直領(lǐng)域經(jīng)過良好微調(diào)的7B模型能覆蓋大量日常問答如果一次請(qǐng)求的上下文不超過兩千字單張24GB顯卡用vLLM部署7B就能扛住幾十個(gè)并發(fā)硬件成本在可接受范圍內(nèi)。14B和72B效果更強(qiáng)但對(duì)顯存、運(yùn)維的要求是指數(shù)級(jí)上升的。做這個(gè)決策時(shí)有一個(gè)容易忽視的角度業(yè)務(wù)方要的不是「最強(qiáng)模型」而是「穩(wěn)定可用的服務(wù)」。與其上72B然后因?yàn)轱@存不足把并發(fā)壓得很低不如先用7B跑通業(yè)務(wù)閉環(huán)把知識(shí)庫(kù)和提示詞工程做好等業(yè)務(wù)量明確再考慮升級(jí)。我見過不止一個(gè)項(xiàng)目死在第一步選了過大的基座導(dǎo)致推理成本超預(yù)算。2.3 拿到.zip先做三件事校驗(yàn)包、清點(diǎn)權(quán)重格式、確認(rèn)部署形態(tài)拿到別人分享的行業(yè)大模型.zip以及內(nèi)部交付的資源包先按下面的順序過一遍不要直接解壓扔進(jìn)訓(xùn)練環(huán)境。sha256sum industry_model_bundle.zip unzip -l industry_model_bundle.zip第一行是校驗(yàn)完整性第二行是列出壓縮包內(nèi)容清單。模型文件在傳輸過程中損壞并不少見損壞的權(quán)重在你訓(xùn)練或者推理時(shí)通常不報(bào)錯(cuò)而是表現(xiàn)為「生成內(nèi)容胡說八道」非常容易誤判成基座能力問題。這里多說一句zip偽加密這種解壓小坑十分鐘能解決真正花時(shí)間的是后面——確認(rèn)包里是訓(xùn)練好的完整權(quán)重還是只有一份LoRA適配器這決定了你是直接部署還是要先做權(quán)重合并。下一步是確認(rèn)權(quán)重格式。常見的有三種safetensors格式HuggingFace標(biāo)準(zhǔn)訓(xùn)練和vLLM直接加載、GGUF格式llama.cpp系引擎和端側(cè)加載、AWQ/GPTQ量化格式低顯存推理。格式本身沒有優(yōu)劣取決于你的部署形態(tài)。如果目標(biāo)環(huán)境是Linux服務(wù)器上跑vLLM選safetensors如果要做Android App集成AI大模型GGUF是端側(cè)最常用的加載格式如果只有一兩張16GB的卡還想跑7B量化格式幾乎是唯一選擇。最后建議做一次基線測(cè)試直接用未微調(diào)的基座跑20條真實(shí)業(yè)務(wù)問題把回答存下來。這組基線記錄在后面微調(diào)完成后要做對(duì)比用來判斷微調(diào)到底帶來了什么改變。這一步不要省它決定了后面所有工作有沒有參照物。3. 用Qwen2.5-7B微調(diào)行業(yè)大模型數(shù)據(jù)整理、LoRA訓(xùn)練與權(quán)重合并基座定下來后最核心的工作是微調(diào)。做行業(yè)大模型微調(diào)數(shù)據(jù)整理的優(yōu)先級(jí)永遠(yuǎn)高于訓(xùn)練參數(shù)的調(diào)整。數(shù)據(jù)不對(duì)調(diào)參只是把錯(cuò)誤答案訓(xùn)練得更流暢。如果你第一次做這個(gè)流程Qwen2.5-7B-Instruct加LLaMA-Factory是當(dāng)前走得通的組合環(huán)境配置、模型加載、數(shù)據(jù)集格式都有成熟方案周邊資料也多踩坑時(shí)容易找到對(duì)照。3.1 把行業(yè)語料轉(zhuǎn)成ChatML指令集一份最少可用的SFT樣本行業(yè)微調(diào)的數(shù)據(jù)格式直接決定訓(xùn)練能否被模型理解。中文基座大多原生支持ChatML格式也就是每條樣本包含system、user、assistant三個(gè)角色的消息序列。下面是一個(gè)設(shè)備診斷場(chǎng)景的SFT樣本這種形態(tài)在行業(yè)項(xiàng)目里非常典型。{messages: [{role: system, content: 你是恒泰設(shè)備的液壓系統(tǒng)診斷助理。只能依據(jù)維修手冊(cè)和設(shè)備參數(shù)回答不能編造壓力、流量等數(shù)值。}, {role: user, content: 液壓站壓力波動(dòng)超過多少M(fèi)Pa必須停機(jī)排查}, {role: assistant, content: 當(dāng)系統(tǒng)壓力波動(dòng)超過±1.5 MPa且持續(xù)10秒以上時(shí)應(yīng)停機(jī)排查溢流閥與蓄能器。}]}這里的關(guān)鍵是system里寫清角色邊界和禁止行為user保留業(yè)務(wù)原話assistant是人工校驗(yàn)過的標(biāo)準(zhǔn)答案。注意不要一條樣本里塞進(jìn)多輪對(duì)話歷史SFT樣本應(yīng)該是一問一答的原子記錄多輪能力后期用提示詞工程補(bǔ)。行業(yè)語料需要清洗比如維修工單里的口語表達(dá)、錯(cuò)別字、私聊信息都要處理剩下業(yè)務(wù)問答核心。樣本量上質(zhì)量遠(yuǎn)比數(shù)量重要。1000條經(jīng)過人工校驗(yàn)的高質(zhì)量業(yè)務(wù)問答效果通常好于10萬條從網(wǎng)頁(yè)或工單里直接扒出來的噪聲數(shù)據(jù)。這里的教訓(xùn)是不要追求數(shù)據(jù)量堆積行業(yè)項(xiàng)目的周期瓶頸往往卡在答案審核而不是語料采集上。每條assistant答案都要有可追溯依據(jù)——來自哪個(gè)手冊(cè)、哪份參數(shù)表——不然模型學(xué)到的是「看似合理的編造」?!感W(xué)」地說數(shù)據(jù)里有多少幻覺模型就學(xué)多少幻覺。3.2 用LLaMA-Factory跑一輪LoRA微調(diào)命令與關(guān)鍵參數(shù)數(shù)據(jù)集準(zhǔn)備好之后推薦用LLaMA-Factory做微調(diào)。它支持Qwen系列模型和ChatML模板可以省掉自己寫訓(xùn)練腳本的時(shí)間。常見做法是先用LoRA做嘗試LoRA只訓(xùn)練一小部分適配器參數(shù)訓(xùn)練快、顯存占用低效果不滿意可以快速換數(shù)據(jù)重來全量微調(diào)放在后面效果驗(yàn)證過再考慮。llamafactory-cli train \ --model_name_or_path /data/models/Qwen2.5-7B-Instruct \ --dataset industry_sft \ --finetuning_type lora \ --template qwen \ --output_dir /data/output/industry_7b_lora \ --num_train_epochs 3 \ --learning_rate 2e-4 \ --lora_rank 16 \ --lora_alpha 32 \ --per_device_train_batch_size 2 \ --gradient_accumulation_steps 8 \ --max_length 2048 \ --logging_steps 20 \ --save_steps 500 \ --bf16 True幾個(gè)參數(shù)值得細(xì)說。lora_rank和lora_alpha控制適配器的容量行業(yè)指令數(shù)據(jù)量在幾千條時(shí)rank取16到32是常用區(qū)間rank太大容易過擬合小數(shù)據(jù)集太小則學(xué)不到位。learning_rate取2e-4是LoRA微調(diào)比較穩(wěn)妥的起點(diǎn)如果你同時(shí)混入了通用指令數(shù)據(jù)可以降到1e-4。max_length要覆蓋業(yè)務(wù)中最長(zhǎng)的問題和答案行業(yè)場(chǎng)景里如果把歷史維修記錄塞進(jìn)上下文2048可能不夠要提前統(tǒng)計(jì)業(yè)務(wù)樣本的真實(shí)長(zhǎng)度分布而不是隨手設(shè)個(gè)值。訓(xùn)練過程中l(wèi)oss曲線只是第一步門檻更重要的是每訓(xùn)練幾百步就保存一個(gè)checkpoint挑幾條固定業(yè)務(wù)問題做生成對(duì)比。畫畫loss曲線的意義有限真正要觀察的是模型回答的措辭在哪個(gè)checkpoint開始穩(wěn)定。我在實(shí)際項(xiàng)目中會(huì)下載save_steps對(duì)應(yīng)的中間產(chǎn)物手工試答幾條困難問題來判斷是繼續(xù)訓(xùn)練還是提前停。不要盲目跑滿epoch數(shù)——行業(yè)場(chǎng)景里L(fēng)oRA跑了兩個(gè)epoch就想吐訓(xùn)練集原話的情況非常常見。3.3 合并與導(dǎo)出從訓(xùn)練權(quán)重到生產(chǎn)可用的BF16/GGUFLoRA訓(xùn)練完成后產(chǎn)出的是一個(gè)小體積適配器文件而不是完整模型部署前需要把它合并進(jìn)基座權(quán)重。這個(gè)步驟的常見做法是使用LLaMA-Factory自帶的export功能。llamafactory-cli export \ --model_name_or_path /data/models/Qwen2.5-7B-Instruct \ --adapter_name_or_path /data/output/industry_7b_lora \ --template qwen \ --export_dir /data/output/industry_7b_merged合并之后會(huì)得到一個(gè)完整的safetensors格式模型這個(gè)模型可以直接給vLLM加載。注意--template qwen必須和訓(xùn)練時(shí)一致模板不一致會(huì)導(dǎo)致部署后回答格式錯(cuò)亂。合并完先加載起來人工試幾條再做下一步。接下來根據(jù)部署環(huán)境決定是否量化。如果目標(biāo)服務(wù)器顯存充裕單卡24GB以上直接用BF16權(quán)重跑vLLM即可效果最好如果顯存緊張或者要做端側(cè)部署常見做法是用llama.cpp的轉(zhuǎn)換腳本把合并權(quán)重轉(zhuǎn)成GGUF格式再按需壓到Q4_K_M或Q8_0量化檔位。7B模型Q4_K_M量化后權(quán)重體積大約在5GB上下普通工作站就能跑起來。這里不要追求極致壓縮行業(yè)項(xiàng)目的推理質(zhì)量比體積重要Q4_K_M優(yōu)先Q8_0次之再低的量化檔位建議先做效果對(duì)比再?zèng)Q定。4. 公司級(jí)部署vLLM拉起本地服務(wù)、SSE實(shí)時(shí)渲染與模型網(wǎng)關(guān)微調(diào)完成的模型要變成業(yè)務(wù)方能調(diào)用的API服務(wù)通常選vLLM做推理引擎。vLLM在并發(fā)場(chǎng)景下吞吐表現(xiàn)穩(wěn)定而且自帶OpenAI兼容接口——這意味著我們不需要為它單獨(dú)設(shè)計(jì)一套協(xié)議應(yīng)用層可以直接按/v1/chat/completions的規(guī)范來對(duì)接大幅降低集成成本。整個(gè)部署鏈路是vLLM拉起模型服務(wù)、網(wǎng)關(guān)統(tǒng)一做鑒權(quán)和限流、前端走SSE流式輸出拿到實(shí)時(shí)渲染效果。4.1 vLLM最小啟動(dòng)配置模型路徑、序列長(zhǎng)度與并發(fā)參數(shù)先給一份最小可用的啟動(dòng)命令之后按業(yè)務(wù)規(guī)模調(diào)整參數(shù)。python -m vllm.entrypoints.openai.api_server \ --model /data/output/industry_7b_merged \ --served-model-name industry-7b \ --port 8000 \ --max-model-len 4096 \ --gpu-memory-utilization 0.9 \ --max-num-seqs 32--model指向合并后的模型目錄--served-model-name是客戶端請(qǐng)求時(shí)要用的模型名不必和目錄名一致內(nèi)部項(xiàng)目可以取一個(gè)業(yè)務(wù)名比如industry-7b。--max-model-len直接決定模型能接受的最大上下文長(zhǎng)度設(shè)太大占用顯存設(shè)太小長(zhǎng)文檔對(duì)話會(huì)截?cái)鄨?bào)錯(cuò)。我一般先用2048起步壓測(cè)時(shí)觀察業(yè)務(wù)方的真實(shí)請(qǐng)求長(zhǎng)度再往上調(diào)。--gpu-memory-utilization 0.9意思是允許vLLM使用90%的顯存保留一部分給CUDA上下文和其他進(jìn)程這個(gè)值在大模型本地部署配置里很常用。--max-num-seqs控制并發(fā)序列數(shù)它和顯存是強(qiáng)相關(guān)的序列數(shù)越多KV cache占用越高。啟動(dòng)后可以用curl發(fā)一個(gè)請(qǐng)求驗(yàn)證服務(wù)是否正常確認(rèn)非流式接口返回正常后再測(cè)stream: true的流式參數(shù)。4.2 通過SSE流式輸出做回答實(shí)時(shí)渲染配合AbortController處理中斷大模型回答動(dòng)輒幾百字等全部生成完再返回用戶體驗(yàn)很差。行業(yè)應(yīng)用的標(biāo)準(zhǔn)做法是SSE流式輸出服務(wù)端邊生成邊推送前端收到一個(gè)詞就渲染一個(gè)詞配合abort機(jī)制處理用戶手動(dòng)停止的場(chǎng)景。這里涉及的技術(shù)棧封裝AI交互邏輯的核心就兩塊解析SSE事件流、正確取消請(qǐng)求。以下是前端處理SSE流式輸出的一段核心JavaScript可以直接作為應(yīng)用層集成的參考。const controller new AbortController(); const resp await fetch(/v1/chat/completions, { method: POST, headers: { Content-Type: application/json }, body: JSON.stringify({ model: industry-7b, messages: [{ role: user, content: 壓力波動(dòng)超過多少需要停機(jī) }], stream: true }), signal: controller.signal }); const reader resp.body.getReader(); const decoder new TextDecoder(); let buffer ; while (true) { const { done, value } await reader.read(); if (done) break; buffer decoder.decode(value, { stream: true }); const lines buffer.split(\n); buffer lines.pop(); // 保留未完成的行等下一段數(shù)據(jù)拼齊 for (const line of lines) { if (line.startsWith(data: )) { const payload line.slice(6); if (payload [DONE]) return; // 流結(jié)束標(biāo)記 render(JSON.parse(payload).choices[0].delta.content); } } } stopBtn.onclick () controller.abort();這里的邏輯要點(diǎn)是SSE協(xié)議的數(shù)據(jù)按行分割每行以data:開頭最后以[DONE]收尾。網(wǎng)絡(luò)包不會(huì)恰好按行邊界到達(dá)所以必須聲明一個(gè)buffer變量把不完整的行留到下一次讀取時(shí)拼接這是流式渲染最容易出錯(cuò)的地方。abort的時(shí)機(jī)同樣重要用戶點(diǎn)擊停止時(shí)調(diào)用controller.abort()瀏覽器會(huì)斷開這個(gè)請(qǐng)求vLLM收到客戶端斷開后會(huì)自動(dòng)釋放對(duì)應(yīng)的KV cache資源。如果不做abort用戶反復(fù)點(diǎn)擊「停止」實(shí)際上連接還掛在服務(wù)端會(huì)占用并發(fā)序列數(shù)累積起來就會(huì)拖垮接口。4.3 私有化場(chǎng)景的模型網(wǎng)關(guān)鑒權(quán)、限流與調(diào)用審計(jì)行業(yè)部署和私有化交付最核心的差異在于模型不能直接暴露給所有業(yè)務(wù)方。vLLM本身不帶業(yè)務(wù)鑒權(quán)如果公司多條業(yè)務(wù)線共用一套模型服務(wù)必須在其前增加一層網(wǎng)關(guān)負(fù)責(zé)API Key鑒權(quán)、按調(diào)用方限流和請(qǐng)求日志留痕。常見做法是使用Nginx開放REST API風(fēng)格的服務(wù)并關(guān)閉代理緩沖以支持SSE。location /v1/ { proxy_pass http://127.0.0.1:8000; proxy_set_header Host $host; proxy_set_header X-API-Key $http_x_api_key; proxy_buffering off; proxy_read_timeout 120s; }proxy_buffering off這行很關(guān)鍵它保證SSE流式響應(yīng)不會(huì)被Nginx截留成一次性返回。如果這里不關(guān)前端收到的內(nèi)容會(huì)在整個(gè)請(qǐng)求結(jié)束后一次性到達(dá)流式效果等于沒有而且首字延遲會(huì)很高體驗(yàn)非常差。鑒權(quán)邏輯放在網(wǎng)關(guān)層對(duì)沒有正確API Key的請(qǐng)求直接返回401限流可以用Nginx的limit_req模塊實(shí)現(xiàn)按調(diào)用方的Key做每分鐘請(qǐng)求數(shù)限制防止某條業(yè)務(wù)線異常調(diào)用拖垮整個(gè)模型服務(wù)。日志審計(jì)在行業(yè)場(chǎng)景里往往被忽略但它其實(shí)是合規(guī)的前提。網(wǎng)關(guān)層記錄每次請(qǐng)求的用戶標(biāo)識(shí)、輸入摘要、模型輸出的首字延遲和完成狀態(tài)后續(xù)一旦出現(xiàn)問題能追溯到具體調(diào)用方。運(yùn)維側(cè)建議把首字延遲TTFT和每秒請(qǐng)求數(shù)這兩個(gè)指標(biāo)接到監(jiān)控上后面避坑章節(jié)會(huì)具體展開為什么TTFT比總耗時(shí)更重要。5. 行業(yè)落地避坑指南五個(gè)血淚經(jīng)驗(yàn)從顯存翻車到SSE被緩沖這里匯總一下行業(yè)項(xiàng)目里反復(fù)出現(xiàn)的五個(gè)問題每條都按「現(xiàn)象、原因、解決」來寫。這些多半在demo階段不會(huì)暴露都是上了生產(chǎn)環(huán)境之后才冒出來提前知道能省下不少排查時(shí)間。5.1 微調(diào)后「變笨」行業(yè)術(shù)語學(xué)會(huì)了通用對(duì)話能力卻崩了現(xiàn)象模型在業(yè)務(wù)問答上表現(xiàn)不錯(cuò)但大家閑聊式的提問開始答非所問甚至重復(fù)同一個(gè)句式。原因這是災(zāi)難性遺忘。SFT數(shù)據(jù)里行業(yè)樣本占比過高模型反復(fù)學(xué)習(xí)某一種回答模式把基座原本的通用能力覆蓋掉了。LoRA學(xué)習(xí)率偏高或者epoch數(shù)跑滿也會(huì)放大這個(gè)問題。解決在行業(yè)數(shù)據(jù)里混入10%到20%的通用指令數(shù)據(jù)比如日常問答、百科類對(duì)話讓模型在訓(xùn)練時(shí)同時(shí)復(fù)習(xí)通用能力。學(xué)習(xí)率從2e-4降到1e-4訓(xùn)練過程按前面說的用固定業(yè)務(wù)問題做checkpoint對(duì)比發(fā)現(xiàn)回答僵化就提前停訓(xùn)別硬跑完。這類問題一旦發(fā)生調(diào)已經(jīng)訓(xùn)練完的適配器是沒有后悔藥的只能改數(shù)據(jù)重新訓(xùn)練所以預(yù)防要比事后補(bǔ)救重要。5.2 T4上部署OOMA100卻一切正?,F(xiàn)象開發(fā)環(huán)境用的是A100部署到客戶T4 16GB顯卡上啟動(dòng)就報(bào)CUDA out of memory項(xiàng)目當(dāng)場(chǎng)卡住。原因顯存估算只算了權(quán)重體積。7B模型BF16權(quán)重大概15GB再加上KV cache、CUDA上下文和vLLM預(yù)分配顯存16GB根本不夠。這是本地部署配置時(shí)的經(jīng)典誤區(qū)——權(quán)重能塞下不代表推理過程能跑起來。解決兩條路。一是顯存緊張的機(jī)器上改用量化格式例如用GGUF的Q4_K_M檔位量化后再啟動(dòng)服務(wù)二是保留BF16權(quán)重但調(diào)低--max-model-len和--gpu-memory-utilization把序列長(zhǎng)度限制在2048以內(nèi)給KV cache留出空間。更進(jìn)一步的方法是用AWQ等量化方案在vLLM里做等效推理。選型時(shí)建議先確認(rèn)客戶機(jī)器的顯存再做規(guī)模決策別等到部署階段翻車。5.3 SSE一直轉(zhuǎn)圈接口有響應(yīng)但頁(yè)面不渲染現(xiàn)象用curl請(qǐng)求后端stream: true能正??吹綌?shù)據(jù)前端調(diào)接口頁(yè)面卻一直等像卡死一樣。原因前端代碼沒問題問題在中間的代理層。Nginx默認(rèn)開啟proxy_bufferingSSE響應(yīng)會(huì)被緩沖前端實(shí)際上要等整個(gè)流結(jié)束才拿到內(nèi)容一直在等待狀態(tài)。這類問題看起來像前端bug實(shí)際是服務(wù)器配置問題。解決在Nginx配置里加上proxy_buffering off;或者在后端響應(yīng)的HTTP頭里顯式添加X-Accel-Buffering: no。另外注意SSE對(duì)網(wǎng)關(guān)的連接超時(shí)設(shè)置proxy_read_timeout要足夠大模型生成慢的時(shí)候超過60秒就可能被切斷建議設(shè)到120秒以上。5.4 行業(yè)答案說得漂亮但數(shù)值是錯(cuò)的現(xiàn)象模型回答的語句很流利語氣也很自信但關(guān)鍵參數(shù)、法規(guī)條款、設(shè)備型號(hào)之間出現(xiàn)張冠李戴業(yè)務(wù)方一核對(duì)就發(fā)現(xiàn)問題。原因模型本質(zhì)上是「概率生成」它沒有查證能力行業(yè)知識(shí)全靠訓(xùn)練時(shí)的記憶。微調(diào)能教會(huì)它話術(shù)和表達(dá)框架但它依然會(huì)用自己的語言習(xí)慣生成讀起來像真的、實(shí)際不存在的數(shù)值。解決把檢索增強(qiáng)生成RAG接入生產(chǎn)鏈路。業(yè)務(wù)知識(shí)先入庫(kù)做向量化用戶提問時(shí)先從知識(shí)庫(kù)檢索相關(guān)片段再把檢索結(jié)果和問題一起拼進(jìn)提示詞要求模型只能依據(jù)檢索內(nèi)容回答。同時(shí)加一層兜底在提示詞里明確「如果檢索內(nèi)容里沒有答案直接回答無法確定」。模型的能力上限不是唯一的交付標(biāo)準(zhǔn)給模型提供答案依據(jù)的檢索鏈路才是行業(yè)落地的分水嶺。5.5 上線第一天就被業(yè)務(wù)方說「太慢」現(xiàn)象接口耗時(shí)曲線難看業(yè)務(wù)方反饋首字遲遲不出來并發(fā)一高直接排隊(duì)。原因看監(jiān)控時(shí)只關(guān)注了單次請(qǐng)求總耗時(shí)忽略了首字延遲TTFT和并發(fā)排隊(duì)。--max-num-seqs設(shè)置偏小會(huì)讓并發(fā)的請(qǐng)求排隊(duì)等待上一個(gè)長(zhǎng)請(qǐng)求不結(jié)束后面的請(qǐng)求就一直卡著。解決上線前用壓測(cè)工具模擬真實(shí)流量按業(yè)務(wù)預(yù)估的峰值并發(fā)打一輪關(guān)注TTFT的P95而不是平均總耗時(shí)。根據(jù)壓測(cè)結(jié)果調(diào)整--max-num-seqs和--max-model-len必要時(shí)限制單次請(qǐng)求的上下文輪次把歷史多輪對(duì)話截?cái)喑勺罱鼛纵喴钥s短生成長(zhǎng)度。模型服務(wù)的響應(yīng)時(shí)間分布本來就比普通接口寬提前給業(yè)務(wù)方一個(gè)「首字延遲目標(biāo)值」作為預(yù)期管理也可以避免上線后被動(dòng)挨告。6. 用一件小事守住交付品質(zhì)把行業(yè)評(píng)測(cè)集接進(jìn)更新流程行業(yè)模型上線后不是終點(diǎn)業(yè)務(wù)數(shù)據(jù)會(huì)增長(zhǎng)話術(shù)會(huì)變化模型需要持續(xù)迭代。這個(gè)章節(jié)不是總結(jié)而是分享一個(gè)每家做落地交付的團(tuán)隊(duì)都該有的習(xí)慣建立一份自己的行業(yè)評(píng)測(cè)集并且把每次模型更新都跑一遍評(píng)測(cè)結(jié)果留下記錄再談上線。評(píng)測(cè)集不要盲目求大200條以內(nèi)即可但必須滿足兩點(diǎn)一是全部來自真實(shí)業(yè)務(wù)樣本或高頻問題二是包含一批容易翻車的困難樣例比如數(shù)值敏感的設(shè)備參數(shù)、有明確邊界條件的業(yè)務(wù)規(guī)則、用戶常見的口語化問法。標(biāo)注格式可以用一個(gè)極簡(jiǎn)的JSONL文件每條包含問題、答案中必須出現(xiàn)的關(guān)鍵內(nèi)容、禁止出現(xiàn)的內(nèi)容。核驗(yàn)?zāi)_本用規(guī)則匹配兜底減少人工重復(fù)勞動(dòng)。import json golden [ {q: 壓力波動(dòng)超過多少必須停機(jī), must: [1.5, 停機(jī)], must_not: []}, {q: 保修期外維修怎么收費(fèi), must: [上門費(fèi), 工時(shí)費(fèi)], must_not: [免費(fèi)]}, ] def hit(pred: str, case: dict) - bool: ok_all all(k in pred for k in case[must]) bad_any any(k in pred for k in case[must_not]) return ok_all and not bad_any preds [json.loads(line) for line in open(preds.jsonl)] acc sum(hit(p[pred], golden[i]) for i, p in enumerate(preds)) / len(golden) print(facc{acc:.2%})規(guī)則腳本只能兜底每20條抽1條人工看一遍完整回答重點(diǎn)看流暢度和上下文邏輯。Checks要接進(jìn)模型更新的發(fā)布流程里模型版本發(fā)版前先跑評(píng)測(cè)集準(zhǔn)確率低于歷史平均值就攔住不發(fā)版。行業(yè)項(xiàng)目的交付穩(wěn)定比驚喜重要守住下限比追求高分更有價(jià)值。我自己的習(xí)慣是每次訓(xùn)練前把這份評(píng)測(cè)集的預(yù)測(cè)結(jié)果用git log對(duì)應(yīng)的方式存檔一份模型更新后直接對(duì)比前后差距哪些問題變好、哪些問題變差一目了然。模型微調(diào)的黑匣子特性決定了不可能每次訓(xùn)練都變好但有了這份記錄任何一次回滾都有依據(jù)。如果你正在做行業(yè)大模型落地建議從今天開始就把這個(gè)幾十條問題的評(píng)測(cè)集搭起來它會(huì)成為你的AI大模型應(yīng)用里最值錢的一份資產(chǎn)。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
2050人人操免费工开爱| 激情5月婷婷| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 另类小说五月天综合| 久久性综合| 五月婷婷开心五月| 婷婷五月天亚洲精品| 五月激情婷婷国产精品久久久久久| 99人妻碰碰碰久久久久禁片| 丁香五月欧美| 亚洲激情网站| 五月婷婷久久激情 | 色色婷| 色婷婷在线视频久| 国产一级片| 久久婷婷一级片| 日韩成人av在线| 五月婷婷综合激情| 九九99九九99九九99视频网| 无码一级片| 香蕉久久国产AV一区二区| 丁香五月婷婷色偷偷| 色愛综合网| 9999热在线观看| 这里只有精品视频| 久久婷婷网| 99热这里只有精品2024| 丁香五月六月婷婷自拍| 另类五月婷婷| 99热在线播放| 偷拍91九色| 日韩色情亚洲五月天婷婷| 丁香五月婷婷激情小说| 亚洲精品影视| 成人婷婷| 性爱网五月天| 久久99精品日本| 九热视频在线伦| 777影视理论片大全在线观看 | 婷婷综合色| 午夜婷婷五月天在线| 婷婷综合| 日韩人妻在线观看| 日韩一级A片黄色| 玖玖玖婷婷婷| 最新日韩久热免费视频看看| 免费看无码视频A级| 五月久久综合| 激情五月天.色网| 密着浓厚中出乚交尾GvG935| 婷婷五月天福利| 色五月,婷婷大香蕉| 国产精品久久久久久妇女6080| 色婷婷精品视频| 日日夜夜狠狠干| WWW,五月| 任你日视频| 婷婷中文字幕欧美| 99精品视频播放| 曰韩少妇内射免费播放| 九九九激情综合| 天天色粽合合合合合合合| 久碰视频| 99热久| 日本色色网| 97色啪| 亚洲婷婷基地| 五月婷婷丁香六月| 亚洲九N| 大香蕉婷婷| 激情丁香五月| 色无婷婷| 先锋资源婷婷| 女性自慰系列第五页| 久久久激情视频| 五月天激情图片| 丁香激情网| 九久9精品| wuyuedingxiang99| 久久这里只有精品16| 五月天精品综合| 欧美日韩一区二区三区四区| 五月婷婷激情中文字幕| 激情深爱五月天| 丁香婷婷啪啪| 丁香婷婷成年| 91人操| 亚洲人妻av| 亚洲艹网| 五月丁香激情婷婷| 久久精品这里只有精品免费首页| 少妇大叫太大太粗太爽了A片| 亚洲中文字幕在线观看| 99在线视频喷水| 超碰国产在线观看| 亚洲熟妇AV综合网五月丁香伊人 | 久久这里只有国产| 精品皮股午夜AV| 九九免费精品| 夜夜骑夜夜撸| 久久九网| 激情五月婷婷| 亚洲婷婷五月天激情| 五月天开心网| 国产真实乱了老女人视频| 亚洲AV成人无码精品| 激情啪啪五月天| 五月久熟女| 五月丁香爱婷婷深深| 亚洲色情一区二区三区四区| 97色色视频| 婷婷五月天成人| 国产乱人偷精品人妻A片| 婷五月天影院| 狠狠夜夜五月丁香| 狠狠色大香蕉| 97婷婷五月| 综合激情五月丁香| 婷婷六月啪啪| 熟妇人妻中文字幕无码老熟妇| 男人的天堂av俄罗斯热| 99视频地址| 九九热在线99| 亚洲亚洲人成综合网络| 四虎成人精品永久免费AV九九| www.日韩艹| 色99色| 国产精品涩涩涩视频网站| 色婷狠狠| 亚洲九九九九| 五月色综合| www.com任你艹| 欧美激情丁香五月| 伊人狠狠丁香婷婷综合尤物| 人妻在线观看视频| 狠狠999| 久大香蕉| 91视频久久久| 天天操天天操天天操天天操天天操天天操| 99色在线| 天天插天天插天天操| Www.激情| 久久久久9久无码视频| 99爱视频精品| 97色在线视频| 精品久久婷婷| 噜噜视频| 狠狠色丁香久久综合婷婷亚洲成人福利| 操91| 亚洲综合1024| 六月丁香大香蕉| 久久九精品| 国产一级片| 永久免费一区二区三区| 伊人五月天在线| 色色99| 变态另类9| 五月天桃色深爱网| 日本 色综合| 激情五月婷婷啪啪| 嫩BBB槡BBBB搡BBBB| 另类图片色五月| 97偷拍对白视频| 婷婷久久99| 婷婷六月丁香久| 在线观看996精品| 激情五月天之六月婷婷| 情欲禁地| AV 3P| 影音先锋女人av鲁色资源网小说免费 | 色婷婷五月天天天做| 色墦五月丁香| 丁香五月天在线观看视频| 五月婷婷在线观看黄| 精品夜夜澡人妻无码AV| 婷婷五月天com| 狠狠的日| 99这里只有精品视频在线| 九九黄色网| 欧美大香蕉视频| 日本色久| 91se在线视频| 婷婷视频网| 国产99美少妇| 这里只有在线精品| 色五月播五月| 天天操夜夜夜拍拍拍| 五月婷婷开心网| 久久97| 五夜婷婷| 天天爽—爽| 天天爽人人综合免费7799| 色婷婷久久综合| 欧洲亚洲免费视频9| 99啊精典免费视频| 欧美日韩成人在线| 丁香六月婷婷综合色| 婷婷成人综合| 亚洲激情淫网| 中文字幕成人版| 九九在线这里只有精品视频| 婷婷综合在线播放| 亚洲综合色网| 99热只有精品在线观看| 五月花激情网| 五月婷婷av| 琪琪秋霞| 91久久18| 五月婷激情| 欧洲一区二区| 99精彩视频| 五月激情网五月综合网| 日韩久综合| 操碰99| 色婷婷五月天亚洲| 97色综合| 91九色网| 五月丁香婷婷成人综合网| 欧美日韩精品一区二区三区钱| 天天久| 色婷婷伊人| 五月天伊人| 五月丁香激情综合欧美| www.久久婷婷| 婷婷五月情色| 欲求不满的人妻| 丁香婷婷九月| 思思热久久婷婷五月天| 99九九综合久久九九| 99热成人| 五月丁香五月婷婷| 色五月婷婷五月久久| 猫咪伊人AV| 亭亭玉月丁香| 婷婷五月丁香激情色情| 日韩淑女人妻luan伦激情精品一区二| 亚洲天堂热| 一级A片天天操夜夜操| 99热有精品在线观看| 五月第四色| 丁香婷婷丁香五月欧美人| 五月婷婷黄| 在线视频婷婷| 激情五月婷婷| 五月婷婷激情| 天天综合色| 日本一毛片| 天天插天天插天天插| 中文字幕婷婷五月天| 六月丁香婷婷大香蕉| 极品少妇XXXX精品少妇偷拍| 色婷婷电影| 日本系列_4页_777FP| 亚洲综合干| 思恩热国产视频右线观看| 小色小蛇伊人婷婷色香五月| www.第四色99| 五月丁香婷婷激情图片| 激情国产五月| 97在线观看| 99精品性爱| 久久久香| 五月天激情网图片| 丁香激情网| 99热亚洲| 色婷婷香蕉| 精品久久99| 久热99热| 91色久| 亚洲操b| 大香蕉五月天婷婷| 99啪啪| 91色久| 五月天另类激情在线| 婷婷天堂综合| 色婷视频| 91精品91久久久久77777| 欧美槡BBBB槡BBB少妇| 综合婷婷| 久久3级片| 31色区视频免费看| 婷婷丁香五月天操逼| 丁香操逼| 婷婷色啪| 五月天婷婷在看| www.五月天婷婷姐姐| 午夜 外网 精品 在线| 九九热这里都是精品6| 综合在线网| 五月丁香视频在线观看| 狠色狠色综合久久| 色婷婷五月天成人网| 色五月婷婷91| 久久久国产精品黄毛片| 丁香五月婷婷综合91| 九九九九成人| 色999亚洲人成色| 久久亚洲婷婷综合色五月| 色五月久久成人婷婷| 亚洲激情视频网| 五月激情网五月综合网| 丁香五月激情婷婷婷婷在线观看| 狠狠穞A片一區二區三區| 亚洲精品一区中文字幕乱码| 97操碰在线视频| 日韩欧美颜射| 99久久玖玖| 99热欧美| 精品自拍99| 色婷婷久久综| 亚洲、热| 久久性爱视频| 五月色激情综合网| 久久久久亚洲A∨成人乱码电影| 亚洲色色色色| 九九热精品视频| 久久婷婷五月天丁香| 色九九七七| 亚洲性图一区二区三区| 亚洲色图五月丁香| 九日日夜夜69| Av性爱网站| 丁香六月无码播放| 国产日产亚洲系列最新| 久久五月综合| 日韩另类在线观看| 91精选国| 热99视频| 亚洲午夜av| 五月婷婷性爱视频| 26uu| 丁香五月天啪啪| 色色色色色色色色色色色色色五月天| 色五月成人婷婷| 婷婷婷婷色| 丁香六月婷| www.九月婷婷丁香.com| 丁香5月婷婷| 97自拍视频在线| 丁香五月天社区婷婷| 亚洲热手机在线观看| www,天天干| 禁欲电影完整版在线播放| 精品女人九九九| 伊人狠狠操| 日本久久99| 综合伊人久久| 五月天天久久香| 草草女人亚洲| 丁香五月天婷婷久久综合| 九九99香蕉在线视频播放| 年轻的妺妺伦理HD中文| 色伊人婷婷| 99亚洲精品视频| 日本WwW色偷偷丁香花久久久京东热| 超碰人人操在线| 亚洲这里只有精品| 狠狠 久久| 欧洲99视频在线| 久久五月天色婷婷| 99在线视频播放| 99热激情| 日熟女| 99乱视频| 国产午夜精品一区二区| 91碰超| 激情丁香久久久久久| 久热这里只有精品99re| 五月丁香888| 色婷婷婷婷五月天| 色婷婷色九月| 丁香五月天婷婷91| 五月天色在线| 91啪啪视频| 男人天堂 久久| 无码一区二区三区四区五区| 久久最新色| 日韩少妇内射免费播放| 亚洲激情av| 婷婷五月综合亚洲| 丁香综合| 婷婷5月开心6月| 丁香久久综合| 日本久久9| 亚洲色五月天在线| 五月婷婷色五月| 日韩无码性爱| 丁香五月婷婷色播艳门照| 五月色亚洲| 在线看黄色| 激情婷婷五月黑人| 99色在线视频| 亚洲综合久| 五月婷精品| 色婷婷激情| 人妻精品在线| 五月天丁香成人| www.夜夜爱.com| 狠狠色性| 婷婷伊人綜合中文字幕| 六月99天天婷婷激情综合| 五月天激情av| 操精品9| 婷婷五月丁香高清无码| 色婷婷视频| 亚洲欧洲另类| 狠狠色综合网| 另类天堂| 色香欲综合| 久久九九国产| 超碰人人超碰| 99热伊人| 五月丁香人妻| 五月丁香久人妻中文| 伊人网碰碰| 国产操肏网站| 婷婷五月天激情电影| 色婷婷AⅤ| 国产日韩亚洲欧美在线观看| 激情电影五月婷婷| 婷婷色五月在线视频| 一级黄色片看看| 色婷婷五月天成人网| 狠狠干婷婷| 91久久久久久| 1000部毛片A片免费观看| 99热狠狠操| 色综合五月| 热996精品在线观看| 五月激情综合婷婷| 五月婷婷久草| 久久免费婷婷视频| 神马欧美精| 久久视频婷婷| 99性视频| 五月天开心网| 色五月开心开心五月激情五月| 日本不卡高字幕在线2019| 夜夜天天久久婷婷| 亚洲色区17| 99热a片免| 亚洲狠狠婷婷| 色吧五月婷婷| 五月丁香久久综合| 婷婷综合中文| 丁香婷婷色五月激情综合| 一级黄在线| 这里只有精品日韩精品| 婷婷五月精品| 五月丁香色六月激情干大屄| 天天色天天爱天天爱天天爱y| 久久久www| 综合久久久| 天天搡日日搡aaaaⅩ| 婷婷五月天av| 。久久久久久久久久久久久久人妻| 亚洲天堂婷婷| 九九热精品| 97视频.干com| 丁香五月社区| 欧美va欧美va差| 99热在线看| 91九色熟女| 性爱动图国产麻豆一区二区三区| 丁香婷婷五月香蕉91| 天天添天天摸天天天天做| 婷婷影院A成人| 天天日天天干天天天| 婷婷日本在线| 激情五月小说婷婷| 天天舔天天摸天天透| AV在线收看| 丁香五月天激情免费在线观看AV777| 99日精品视频| 亚洲国产精品VA在线看黑人| 可以免费观看的av| 六月99天天婷婷激情综合| 这里只有精品96| 天天操综合网| 五月丁香久人妻中文| 免费黄网不卡AV| 婷婷五月天六月丁香| 九九AV| 天堂成人A片永久免费网站| 丁香五月天激情免费在线观看AV777| 日韩成人电影在线播放| 久热综合| 五月丁香激情六月| 任你搞网站| CHINESE熟女老女人HD视频| 婷婷五月天精品| 99视频这里只有免费精品| 99人人爽| 啪啪一区| 色五月丁香婷婷| 久久五月激情| 久人操| 99热精品在线| 五月天丁香成人社| 人人操人人爱丁香五月| 丁香五月天激情网址| 六月色 亚洲| 看片视频在线免费日产在线看| 丁香五月六月婷婷殴美综合| 狠狠88综合久久久久噜噜噜| 4399在线观看免费高清黄色视频| 色操综合| 麻豆WWWCOM内射软件| 色色性爱视频| 天天摸夜夜爽天天做| 99热综合在线| se色综合网| 97 天堂| 五月天丁香久久| 五月天婷婷青青草| 午夜性爱影视一区77| 99热线观看9| 婷婷婷五月香蕉| 国产精品99久久久久久久女警| 丁香狠狠色婷婷| 26uuu亚洲欧美日本| 婷婷丁香久久五月综合| 亚洲激情淫网| 99视频这里只有免费精品| 97欧美在线| 涩婷婷视频快播人妻| 国产精品久久久久久久久久| 久久久激情| 97久久超碰| 丁香五月成人婷婷| 欧美这里只有精品| 99热免| 狠狠五月天婷婷激情网。| 免费色色色| 国产韩日亚洲美州欧亚综合在线| 啪啪激情网| 激情性爱五月| AV在线大香蕉| 五月丁香啪啪综合| 色五月色图| 久久99精品日本| 亚洲无码AV片| 久久综合五月| 99热在线网站| 毛v一区二区视频| 九九中文色色| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 91干婷婷| 九月色婷婷婷| 9色免费网| 婷婷六月久久| 人人搡人人| 4438国产免费看| 一起草av在线观看| 成人五月天丁香| 丝袜激情网| 台湾无码A片一区二区| 99爽视频| 六月丁香视频网站| 五月丁香六月激情狠狠| 色色综合视频| 婷婷五月色| 超碰超碰在线| 激情六月婷婷| 超碰成人黄色网| 天天射天天操天天干| 婷婷97C| 中文字幕综合色| 99热热热国产超碰| 婷婷综合欧美| 五月丁香激情综合六月涩涩爱| 五月天婷婷丁香视频| 第四色婷婷色五月| 五月天精品视频| 天天草天天爽| 天天激情站| 亚洲妇女熟BBW| 婷婷九月丁香中文| 影音先锋四区| tingting五月天亚洲| 亚洲va欧美va国产综合久久久| 五月婷婷婷| 四色永久成人网站| 韩日另类| 99干日本| 日操五月婷| 天天日天天草| 婷婷亚洲综合| 婷婷丁香五月社区亚洲| 久9久9热久热| 五月丁香另类网| 欧美成人网99网| 色婷婷亚洲精品天天综| 国产av天天插天天操天天爽| 丁香五月性| 成人狠狠成人狠狠成人狠狠成人狠狠| 婷婷色综合av| 激情五月婷婷综合秋霞| 五月丁香久久呀| 99久热在线精品| 丁香五婷婷| 天天日日| 91chinese 在线| 他改变了拜占庭| 婷婷五月六月激情| 成人午夜无码视频| 五月丁香婷婷伊人日韩| 亚洲国产婷婷色五月| 激情都市五月天| 日韩 中文 欧美| 97色干在线观看| 92国产福利| 26uuu欧美亚洲日韩| 99狠狠| 99精品偷自拍| 欧美性爱五月天| 我要看激情五月天| 婷婷六月综合激情| 97色婷婷在线观看| 日本性激情色播| 六月婷婷啪啪| 一级内射毛片| 5月丁香婷婷| AV色婷婷| 狠狠色噜噜狠狠亚洲A∨| 开心六月丁香五月婷婷| 久久五月天视频| av国产精品| 996er热| 激情深爱五月| 无码少妇高潮喷水A片免费| 天天摸人人摸| 天天日天天舔| 激情啪啪五月| 天天天天天日| 最近中文字幕2019视频1| 色狠狠999综合| 久久人妻www| 国产毛片精品一区二区色欲黄A片| 8区视频在线| www.夜夜爱.com| 婷婷丁香人妻天久久| 天天干一干| www.99精品日操伊人乱碰在线| 五月丁香怕怕综合| 91九九| 在线成人视频免费| 五月天精品| av中文网| 九九99视频精品| 五月婷六月| 九九色综合网| 婷婷激情综合| 99久扒热| AV在线免费网站| 亚洲色图五月丁香| 激情爱爱网站| 五月丁香久人妻中文| 超碰爱爱爱| 欧美人人女女精品综合五月天| 色综合射婷婷| 日本人妻久久| 色综合色色色| 9九色首页| 丁香六月婷| 免费在线a| 播播网色播播| 九色 在线| 五月丁香婷婷爱| 97碰成超视频免费视频| 免费视频无码| 9久热免费视频99| 97人人操| 91九色精品熟女内射| 色五月婷婷在线| 婷婷五月天伊人在线| 激情五月天网站| 久久精品在线| 亚洲午夜成人av电影网| va亚洲中文在线| 综合久久首页| 99热成人精品网站| 天天日天天舔天天摸| 99热99在线| 五月 丁香 欧美| 超碰国产在线播放| 九九视频这里只有精品| 2015超碰| 亚洲精品午夜国产va久久成人| 秋霞黄色一级久久| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 影音先锋91| 亚洲婷婷五月天| 99在线视频播放| 成人在线不卡| 久草五月| 五月天婷综合网站| 字幕网AV中文字幕| 五月婷婷69| 亚洲第一成人无码A片| 五月天综合视频| 激情五月天无码| 六月婷婷最新网址| 九九黄色网| 深爱激情九九五月天| 雪千夏麻豆| 伊人久久大香蕉网| 婷婷五月丁香高清无码| 综合日本婷婷| www.五月天婷婷| 免费观看的AV| 日本女人久久| 夜夜干天天操| 久久久精品婷婷五月天| 99热这里只有精品8| 99re热精品在线视频| 久久5 9视频免费观看| 九九色播五月丁香| 国内婷婷丁香社区在线播放| 五月黄色婷婷| 欧美色五月| 欧美日本一区二区三区| 五月玖玖| 婷婷五月天 丁香五月天 裸体| 另类 在线| 五月天开心色情网| 国产精品丝| 国产亚洲精品久久久久久牛牛| 综合激情站| 9色在线| 国产一级黄色影片,| 伊人碰碰碰| 天天天天做夜夜夜夜做| 婷婷五月av| 激情五月婷婷综合网| 人人草人人舔| 天天综合永久| 亚洲色婷婷| 免费成片在线观看| 少妇人妻偷人精品无码视频新浪 | 色婷婷激情五月天| 亚洲激情亚洲激情| av线电影| 免费看欧美成人A片无码| 六月丁香中文字幕| www.婷婷五月.com| 色色色热| 91色噜噜狠狠狠狠色综合| 小视频一区| 丁香六月 婷婷六月| 99亚洲视频| 日韩在线视频9色| 狠狠综合网| 色综合大香蕉| 五月婷亚洲精品| 五月丁香在线婷婷蜜桃| 99热综合在线| 激情文学第四色婷婷丁香五月| 丁香五月天大香蕉啪啪| 五月天婷婷久久| 色啪综合| 亚洲另类电影| 色天堂A| 色色色9| 天堂爱爱| 五月婷啪啪| 青青草五月天| 欧美久久久中文字幕| 中文中文在线| 五月综合视频| 久综合网| 天天日,天天干,天天操| 久超超碰| 丁香五月婷婷五月天| 婷婷五月花西瓜| 激情五月婷婷伊人| 色高清无码视频| 99热精品少| 狠狠做五月| 日夜操B| 亚洲成人网站在线| 五月天社区婷婷丁香社区| 婷婷五月欧美AA片免费| 国产在线视频1234| 在线超碰免费| 丁香婷婷五月激情四射网| 九九爱激情| 亚洲网综合在线| 91人久| 日韩AV中文在线观看| 亚洲欧洲中文日韩久久AV乱码| 这里只有精品视频在线| 丁香五月性| 国产欧美熟妇另类久久久 | 天天操夜夜夜拍拍拍| 久久五月激情网| www.日日日.com| 亚洲综合网激情小说| 丁香六月亚洲| 色A网| 六月丁香婷婷尤物| 青青草日本亚洲| 俺也去在线视频| 婷婷久久色| 99精品视频免费观看| 欧美在线视频免费播放| 99热日| 欧美日韩91| 人人操av| 男人的天堂99| 91精品国产日韩91久久久久久国模| 九九热99熟女| 久久激情视频| 伊人五月天日日夜夜久久久天天| 婷婷亚洲五月丁香综合在线| 天天操天天日天天爽| 色色色色色网站| 五月婷婷综合视频| 激情五月婷婷视频一区二区三区| 国产成人一区二区三区在线观看| 疯狂做受XXXX高潮A片动画| 99人妻碰碰久久久禁片| 久久女人九九| 日本三级日本三级99| 伦乱美欧| 色婷婷亚洲精品天天综| 九九综合色综合| 99热网站| 色综合99色| 9 99免费视频| 26uuu欧美日韩| 免费九九热| 久久思思热视频| 伊人网啪啪| 91狠狠综合久久| 国产毛片操B| 色综合中文| 婷婷在线五月天观看| 电影《战争与艾拉》免费观看| www.激情五月天com| 亚洲无码99| 久99视频| 色婷大香蕉| 五月天婷基地| 五月丁香婷婷激情视频| 丁香五月天激情视频| 97大香蕉五月天| 色娸娸综合网| 久久狠狠色| 色色色综合| 无码激情AAAAA片-区区| 探花搜索结果 - 黄上黄| 欧韩性爱| 国色天香伊人狠狠色| 日本欧美国产| 欧美日本免费一道免费视频| 五月婷婷丁香大香蕉| 九九热色视频| 无码任你操| 99ri精品| 六月婷婷视频| 91操操操| 色狠狠综合| 大香蕉婷婷婷| 色婷婷五月六月丁香综合视频| 婷婷色五月丁香六月欧美啪| 久草五月天| 任我干视频在线观看| 色五月婷婷基地| 亚洲第一精品网站| 99色在线视频| 色色色五月婷| 草婷婷在线| 99久久9| 国产色色小草视频| 日日鲁鲁夜夜爽爽| 日本综合久久| 日韩黄色电影| 九色色| 风流少妇A片一区二区蜜桃| 狠狠爱激情网| 激情综合五月色丁香婷婷 | 人人操97| 五月天亚洲色| 婷婷五月开心六月AV| 99er6| 色色色色热| 五月婷婷深深爱| 五月丁香另类图片| 色五月婷婷7777| 亚洲综合字幕色色| 婷婷娌伦网| 色婷婷丁香花五月天| 亚洲色色色色色| 天堂久久婷婷| 狠狠情色| 思思热精品在线观看| 五月婷婷 激情按摩| 亚洲成色综合网站免费观看| 五月综合视频| 五月丁香六月香香蕉| 久久色五月天| 欧美在线视频9| 青草激情综合| 久草婷婷在线| 日韩久久这里只有精品| 香蕉AV福利精品导航| 77799热| 99精品综合视频| 亚洲色情久久| 亚洲色婷婷| 丁香六月婷婷| 中文字幕成人| 九九热色视频| 久久99热这里只有精品| 色婷婷手机在线| 99精品在线观看| 日木狠狠干| 天天综合在线网| 26uuu精品一区二区| 99这里热| 在线观看欧美| 色狠狠综合网| 五月天丁香综合| 色五月超碰| 日韩成人电影在线播放| 综合激情在线| www.91九色| 激情久久五月天| 色欲天天综合| 99热9| 婷婷丁香六月五月天| 高清无码网址| 小视频在线亚洲| 蜜桃五月天| 亚洲精品性色| 成人精品网站在线观看| 99免费热视频在线| 538任你爽视频不一样的| 天天日天天爽| 色色五月天丁香婷婷| 九九热99视频| 婷婷五月激情热播| 国产全是老熟女太爽了| 婷婷五月天第四色| 久久日曰| 69久久99精品久久久久婷婷| 久久99网站| 思思热在线观看| 激情五月婷婷中文字幕| 超碰免费电影| 超碰二区| 婷婷五月色花丁香社区| 丁香五月五月婷婷欧美大香蕉| 色狠狠综合| 婷婷激情啪啪| 九九综合精品| 5月色亭亭视频| 亚洲九九99精品视频在线播放| 婷婷五月无码| 日本色99| 极品人妻VIDEOSSS人妻| 五月天激情.com| 狠狠综合区| 思思热在线播放| 狠狠擼综合| 97操资源婷婷| 玖玖99免费视频| 激情婷婷综合| www九月婷婷| 亭亭五月丁香五月天激情| 婷婷成人综合免费视频| 精品动漫 无码av| 综合久久97| 一本久久亚洲五月婷婷 | 五月婷丁香| 狠狠干青青草| 亚洲99在线| 五月婷视频| AAAA网站| 99热永久在线观看| aaaa久久| 色色丁香婷婷| 日逼免费视频| 97人人搞| 婷婷色影音天| 超碰在线人人| 婷婷 激情 五月| 五月间天堂综合| 精品久热| 人人操五月天| 色综合爱综合| WWW免费视频碰碰碰碰| 欧美私人家庭影院| 久久久久久人妻久久久久久久久久人妻久久久 | 天天爱天天狠天天透| 五月天婷基地| 操逼视频一区| 丁香婷婷成年| 五月天婷婷久久| 青青草原福利在线| 丁香五月婷婷久久久| 国产操逼网站| 国产美女无遮挡裸体毛片A片 | AV大片在线观看| 99在线免费观看| 欧美色五月| 六月婷婷视频| 伊人久久婷婷| 丁香五月激情欧美| 97高清国语自产拍| 日日噜狠狠| 91人人爽久久涩噜噜噜| 狠色狠色狠狠色综合网| 99九九在线视频| 成人免费120分钟啪啪| 五月婷婷偷拍| 久久五月天综合| 九九一综合精品| 99爱视频精品| 婷婷五月色惰| 日韩熟女啪啪视频| 99在线观看精品视频| 国产日韩欧美性爱| 亚洲免费99| 免费日韩99| 97操在线视频| 精品九九网| 97操在线| 国产成人精品一区二三区熟女在线| 99九九在线精品热动漫| 综合五月丁香六月婷婷| 九九热在这里只有精品| 亚洲综合九九| 99精品在线观看视频| 99热亚洲综合| 午夜伊人大香蕉| 五月综合久久| 色五月丁香五月| 大香蕉天堂| 色屌丝中文字幕| 人人综合五月人人婷婷| 色爱99| 琪琪秋霞| 五月丁香91| 五月婷激情影院| 亚洲综合在线网站| 婷婷六月丁综合| 日韩欧美成人一区二区三区| 亚洲爆乳无码精品AAA片蜜桃| 噜噜在线| 午夜丁香| 777精品久无码人妻蜜桃| 超碰免费人人| 五月天激情小说网| 天天操婷婷| 79精品视频在线观看,| 五月丁香六月婷婷综合网站 | 9久久久久久久久久久| 色色色综合色| 97碰碰视频在线观看免费| 99在线69| 婷婷综合色色| 色婷婷小说| 婷婷激情五月天7| 婷婷色女| 久久五月丁香六月婷| 婷婷五月天无码熟女| 26uuuavcom| 森林影视大全,最好看的2019年视频 | av在线资源| 亚洲精品视频在线| 亚洲色五月| 三十熟女| 五月丁香综合网| 亚州色综合| 色播五月婷婷| 色婷婷手机在线| 91久热| 色亚洲视频| 婷五月丁香| 极品五月天| 五月婷婷网站| 丁香五月天婷婷激情| 天天插插天天| 噜噜狠狠色综合久| 色婷婷视频在线| 五月激情影院| 人人妖人人97| 九九久久精品國產| 99在线观看精品| 1024操逼视频| 久久婷婷五月综合| 六月丁香婷婷色69| 五月婷婷网站| 色5月婷婷色| 色婷婷综合网| 人人插操| 伊人五月天97| 日本精品在线噜噜噜| 五月色婷婷AV| 99er热精品视频| 日本久久人人| 亚洲国产精品二二三三区| 开心婷婷五月综合| 97久久久久| 亚洲激情电影五月天色婷婷丁香一起草| 九九热99精品在线| 岛国av电影网站| 婷婷五月色激情欧美激情| 欧美色五月| 97人碰人操| 欧美超级视频97| 国产AV一区二区三区日韩| 婷婷中文字幕网站| 九热免费视频| 深夜婷婷五月丁香| 色激情五月| 婷婷在线精品| 草了bav视频在线观看| 国产97色在线 | 日韩| 天天综合亚洲综合网天天αⅴ| 色狠狠色狠狠| www.黄色片-久久成人国产精品在线播放-999AV | 中文字幕在线观看视频www| 婷婷丁香一月| 婷婷成人视频| 丁香五月天视频| www.爱婷婷.com| 色婷婷99| 亚洲 五月 婷婷 成人| 五月丁香激情四射| 亚洲愉拍99热成人精品| 成人 视频免费观看网站| 色五月视频无码播放| 先锋资源91| 99干日日干| 五月婷婷导航| 久久人人人人妻| 婷婷五月丁香六月| 久久您您综合网| www99热| 狠狠色综合久久| 99无码| 射久久丁香五月| 69午夜成人影片| 97人人射| 91精品视频男人的天堂| 激情五月天婷婷久久久久久久久久久 | 一区=区操屄高清大全av| 99 频99热国里只有精品| 日本爆乳片手机在线播放| 97久久综合网| 婷婷丁香熟妇综合网| 激情五月婷婷色| 麻豆WWWCOM内射软件| 久久99精品久久久久子伦| 丁香六月婷婷一区二区三区| 国产精品18久久久| 97操碰视频| 狠狠色噜噜狠狠狠狠综合| 91啪级电影| 99在线观看精品| 人碰91| 日本的α片xxxwww| 99热自拍| 碰97久久| 五月婷婷二月丁香| 丁香五月激情图片婷婷| 五月丁香婷成人网| 日本三久久| 婷婷 伊人 久久| 日韩色五月| 丁香五月天堂婷婷| 色吧五月婷婷六月丁香| 久久久久久久合一狠狠做深爱| 国产小精品| 六月激情婷婷综合| 这里只有精品在线观看视频| 日韩五月婷婷久久| 天色综合网站| 欧美色色色| 丁香六月激情综合| 99热这里只有精品1025| 色色五月丁香婷婷综合| 超碰日日操| 狠狠五月丁香色婷| 青青草五月天| 九九色综合| 99视频这里有精品| 奇米色大香蕉| 日韩高清久久| 精品婷婷丁香五| 久久视频婷婷视频| 婷婷99狠狠| 激情婷婷丁香| 丰满少妇猛烈A片免费看观看| 久er免费视频| 级情九色| 久久激情五月婷婷| 超碰97人人操| 五月丁香婷婷色播无码| 天天色综合网吨吧| avh片在线观看| 综合色综合| 久热99中文字幕| 深夜A片| 碰99在线| 亭亭五月色男人| 激情五月婷婷啪啪| 九九热最新视频| 九九青草热| 五月激情综合网| 五月婷婷色播| 99色视频| 色亚洲中文| 日本色色色| 五月天自拍视频| 99视频啪啪| 日本社区五月天激情| 涩婷婷视频快播人妻| 天天色天天| 2016日日夜夜操| 婷婷五月天小说| 久久久www| 亚洲色另类| 婷婷亚洲激情在线观看视频 | 蜜乳久AV| 人人草人| 丁香五月欧美激情| 色婷丁香| 玖月婷婷爱丁香| 色六月 婷婷| 亚亚州久久高潮| 五月天综合久久丁香91| 天天激情站| 乱女乱妇熟女熟妇综合网站| 第四色在线观看| 婷婷激情五月色综合| 色色影院黄大片| 99热亚洲| 丁香六月亚洲| 玖久久网站| 激情综合五月天| 亚洲综合在线伊人婷| 欧美顶级少妇做爰HD| 夜夜操天天爽| 久久综合无| 日本婷婷五月天| site:wpjngj.com| 婷婷色狠狠| 美欧日韩国产成人在战| 丁香五月天人体| 国产91在线视频| 欧美五月婷婷| 五月丁香在线婷婷蜜桃| 久久丁香社| 香蕉操亚洲| 午夜爱爱爱成人| 99视频在线观看视频| 色五月婷婷在线| 五月天婷婷激情春色小说| 啪啪五月综合| 综合久久99| 色婷婷六月丁香综合欲精品| 欧美操人|