欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

ms-swift零基礎(chǔ)學(xué)習(xí)教材

ms-swift零基礎(chǔ)學(xué)習(xí)教材 ms-swift 零基礎(chǔ)學(xué)習(xí)教材從推理到 LoRA 微調(diào)與部署適合剛開始學(xué)習(xí) AI 和編程的。你不需要一次看懂全部內(nèi)容也不需要死記參數(shù)。第一次只完成“第 0 關(guān) → 第 1 關(guān) → 第 2 關(guān)”成功后再學(xué)習(xí)自定義數(shù)據(jù)和參數(shù)調(diào)節(jié)。本文依據(jù) 2026 年 8 月 24 日可見的 ms-swift 4.x 官方文檔整理??蚣堋⒛P秃鸵蕾嚂氯裘钍д堃晕哪┕俜轿臋n為準(zhǔn)。0. 先知道自己在做什么0.1 一句話認(rèn)識 ms-swiftms-swift 是 ModelScope 社區(qū)提供的大模型訓(xùn)練、微調(diào)、推理、評測、量化和部署工具。你可以把大語言模型想象成一名已經(jīng)讀過很多書的學(xué)生推理inference向這名學(xué)生提問讓它回答。監(jiān)督微調(diào)SFT拿“問題—標(biāo)準(zhǔn)答案”練習(xí)冊繼續(xù)教它。LoRA不重寫整本大腦只訓(xùn)練一小組“外掛筆記”花費更少顯存。部署deploy把模型變成一個可以由其他程序訪問的服務(wù)。量化quantization降低數(shù)字精度讓模型更小、更省顯存代價可能是少量能力損失。checkpoint訓(xùn)練過程中的存檔點類似游戲存檔。ms-swift 的包名是ms-swift但安裝后使用的命令是swift。它和 Apple 的 Swift 編程語言不是一回事。0.2 這份教材的學(xué)習(xí)路線準(zhǔn)備 Python 環(huán)境 ↓ 用原始模型聊天推理 ↓ 準(zhǔn)備少量 JSONL 教學(xué)數(shù)據(jù) ↓ 用 LoRA 做 SFT 微調(diào) ↓ 加載 LoRA 檢查效果 ↓ 部署成 OpenAI 兼容接口0.3 先接受三個現(xiàn)實大模型很吃硬件。普通電腦能學(xué)習(xí)命令和運行小模型但訓(xùn)練較大模型通常需要 NVIDIA GPU 或云 GPU。第一次成功比第一次完美重要。先用小模型、少量數(shù)據(jù)、1 個 epoch 跑通全流程。微調(diào)不是給模型灌入百科知識的萬能辦法。想讓模型準(zhǔn)確查詢大量、經(jīng)常變化的資料很多時候 RAG檢索增強(qiáng)生成比微調(diào)更合適。1. 硬件與系統(tǒng)先選適合你的路線路線 ANVIDIA GPU最適合訓(xùn)練推薦 Linux NVIDIA GPU。先檢查nvidia-smi如果能看到顯卡名稱、顯存和 CUDA 信息說明驅(qū)動基本可用。顯存越大能使用的模型、序列長度和批量越大。大致理解模型規(guī)模0.6B約為 6 億參數(shù)4B約為 40 億參數(shù)。參數(shù)越多通常資源需求越大。實際顯存還受精度、序列長度、優(yōu)化器、注意力實現(xiàn)等影響不能只靠參數(shù)量精確計算。路線 BApple 芯片 Mac適合入門推理和小實驗PyTorch 可使用 MPS但 CUDA、flash_attn、vLLM 和部分量化/訓(xùn)練功能是 NVIDIA 路線不能照搬。建議先用較小模型做swift infer訓(xùn)練時從極小模型、短序列和很少數(shù)據(jù)開始遇到算子不支持或內(nèi)存不足時轉(zhuǎn)到 NVIDIA 云 GPU不要設(shè)置CUDA_VISIBLE_DEVICES。路線 C只有 CPU適合理解流程可以安裝、查看幫助、處理數(shù)據(jù)也可能運行很小的模型但速度通常很慢不建議把 CPU 當(dāng)作正式訓(xùn)練設(shè)備。安全提醒租云 GPU 會產(chǎn)生費用。設(shè)置預(yù)算和自動關(guān)機(jī)訓(xùn)練結(jié)束后停止實例。不要把平臺 Token、API Key 寫進(jìn)公開代碼或提交到 Git。2. 創(chuàng)建干凈的 Python 環(huán)境官方 4.x 主線要求 Python 至少 3.10官方當(dāng)前推薦 Python 3.12。下面二選一。2.1 使用 Condaconda create-nms-swift-studypython3.12-yconda activate ms-swift-study python--version以后每次打開新終端都先執(zhí)行conda activate ms-swift-study2.2 使用 uv在一個專門的練習(xí)文件夾內(nèi)執(zhí)行mkdirms-swift-studycdms-swift-study uv venv--python3.12source.venv/bin/activateWindows PowerShell 激活命令是.venv\Scripts\Activate.ps1如果沒有uv可先按 uv 官方說明安裝也可以使用上一節(jié) Conda 路線。3. 安裝 ms-swift 并做體檢3.1 常規(guī)安裝python-mpipinstall-Ums-swift如果正在使用 uv 創(chuàng)建的環(huán)境也可按官方推薦uv pipinstall-Ums-swift --torch-backendauto不要一開始安裝全部可選依賴。需要評測、DeepSpeed、vLLM 時再安裝對應(yīng)組件可以減少沖突。3.2 檢查是否成功swift--helpswift sft--helppython-cimport torch; print(PyTorch:, torch.__version__); print(CUDA可用:, torch.cuda.is_available()); print(MPS可用:, torch.backends.mps.is_available() if hasattr(torch.backends, mps) else False)看到swift的幫助文字就說明命令已安裝。再記錄環(huán)境方便排錯python--versionpython-mpip show ms-swift torch transformers3.3 下載來源ms-swift 默認(rèn)從 ModelScope 下載模型和數(shù)據(jù)集。若要從 Hugging Face 下載在命令后增加--use_hftrue第一次運行會下載模型可能需要較多時間和磁盤。--model既可以是 Hub 上的模型 ID也可以是已經(jīng)下載好的本地模型目錄。4. 第 1 關(guān)先讓原始模型回答問題第一次請選小模型。下面以Qwen/Qwen3-0.6B為學(xué)習(xí)示例若官方支持列表或模型頁面發(fā)生變化請換成當(dāng)前受支持的小型指令模型。NVIDIA 單卡CUDA_VISIBLE_DEVICES0swift infer\--modelQwen/Qwen3-0.6B\--infer_backendtransformers\--streamtrue\--temperature0\--max_new_tokens256Mac 或 CPU去掉第一行環(huán)境變量swift infer\--modelQwen/Qwen3-0.6B\--infer_backendtransformers\--streamtrue\--temperature0\--max_new_tokens256進(jìn)入交互模式后輸入請用高中生能理解的語言解釋什么是神經(jīng)網(wǎng)絡(luò)。常用交互命令clear清空對話歷史reset-system重置系統(tǒng)提示詞和歷史multi-line進(jìn)入多行輸入模式以#結(jié)束single-line回到單行模式quit或exit退出。參數(shù)解釋--model模型 ID 或本地目錄--infer_backend transformers使用兼容性最好的 Transformers 推理后端--stream true像打字一樣逐步輸出--temperature 0回答更穩(wěn)定--max_new_tokens 256最多生成 256 個新 token不等于 256 個漢字。如果這一步失敗先不要訓(xùn)練。把推理環(huán)境解決好再繼續(xù)??蛇x瀏覽器聊天界面swift app\--modelQwen/Qwen3-0.6B\--infer_backendtransformers\--streamtrue\--max_new_tokens256完整訓(xùn)練 Web UI 可啟動swift web-ui命令行更適合學(xué)習(xí)參數(shù)和復(fù)現(xiàn)因此本教材以命令行為主。5. 第 2 關(guān)認(rèn)識訓(xùn)練數(shù)據(jù)5.1 SFT 數(shù)據(jù)在教什么每條數(shù)據(jù)都像一道帶標(biāo)準(zhǔn)答案的題{messages:[{role:user,content:11等于幾},{role:assistant,content:11等于2。}]}user用戶說的話assistant希望模型學(xué)習(xí)的答案system可選規(guī)定身份、風(fēng)格或規(guī)則。5.2 創(chuàng)建data/train.jsonlJSONL 的規(guī)則是一行一個完整 JSON 對象不是在最外層套一個大數(shù)組。{messages:[{role:system,content:你是一名耐心的高中數(shù)學(xué)助教分步驟回答。},{role:user,content:什么是一元二次方程},{role:assistant,content:只含一個未知數(shù)并且未知數(shù)的最高次數(shù)是2的整式方程叫作一元二次方程。一般形式是 ax2bxc0其中 a≠0。}]} {messages:[{role:system,content:你是一名耐心的高中數(shù)學(xué)助教分步驟回答。},{role:user,content:如何解方程 x2-5x60},{role:assistant,content:第1步因式分解x2-5x6(x-2)(x-3)。第2步令每個因式為0x-20或x-30。因此 x2 或 x3。}]} {messages:[{role:system,content:你是一名耐心的高中數(shù)學(xué)助教分步驟回答。},{role:user,content:判別式有什么用},{role:assistant,content:對 ax2bxc0判別式 Δb2-4ac。Δ0 時有兩個不相等實根Δ0 時有兩個相等實根Δ0 時沒有實根。}]}真實訓(xùn)練不要只用 3 條這是檢查格式的最小樣例。高質(zhì)量的幾十至幾百條數(shù)據(jù)比大量錯誤、矛盾、機(jī)械重復(fù)的數(shù)據(jù)更值得嘗試。5.3 數(shù)據(jù)檢查清單每一行能單獨通過 JSON 解析使用 UTF-8 編碼messages存在且是列表對話角色順序合理最后有要學(xué)習(xí)的assistant答案答案正確、清晰、風(fēng)格一致不含密碼、身份證號、私人聊天等敏感信息訓(xùn)練集和測試問題不要完全重復(fù)??焖贆z查 JSONLpython-cimport json; pdata/train.jsonl; rows[json.loads(x) for x in open(p, encodingutf-8) if x.strip()]; print(有效行數(shù):, len(rows)); print(rows[0])ms-swift 也能自動識別常見的query/response、Alpaca、ShareGPT 格式但初學(xué)階段建議統(tǒng)一使用官方標(biāo)準(zhǔn)messages格式。6. 第 3 關(guān)第一次 LoRA 微調(diào)先做“冒煙測試”目標(biāo)只是驗證整個流程能跑通不追求模型立刻變強(qiáng)。6.1 NVIDIA GPU 入門命令CUDA_VISIBLE_DEVICES0swift sft\--modelQwen/Qwen3-0.6B\--tuner_typelora\--datasetdata/train.jsonl\--split_dataset_ratio0.1\--torch_dtypebfloat16\--num_train_epochs1\--per_device_train_batch_size1\--per_device_eval_batch_size1\--gradient_accumulation_steps8\--learning_rate1e-4\--lora_rank8\--lora_alpha32\--lora_dropout0.05\--target_modulesall-linear\--max_length512\--warmup_ratio0.05\--logging_steps1\--eval_steps10\--save_steps10\--save_total_limit2\--output_diroutput/qwen3-0_6b-math-lora如果顯卡不支持 BF16把--torch_dtypebfloat16換成--torch_dtypefloat166.2 極小數(shù)據(jù)的注意事項只有 3 條數(shù)據(jù)時--split_dataset_ratio 0.1可能無法得到有意義的驗證集。冒煙測試可以暫時改為--split_dataset_ratio0并刪除--per_device_eval_batch_size、--eval_steps。正式實驗建議準(zhǔn)備足夠數(shù)據(jù)或用獨立文件--datasetdata/train.jsonl\--val_datasetdata/val.jsonl驗證集用來檢查模型是否只會背訓(xùn)練題。它不參與參數(shù)更新。6.3 訓(xùn)練結(jié)束后去哪里找結(jié)果output/qwen3-0_6b-math-lora下通常會出現(xiàn)一次運行目錄和若干checkpoint-數(shù)字目錄。日志會打印實際路徑。LoRA checkpoint 主要保存“增量適配器”不是一份完整基礎(chǔ)模型。不要隨便移動其中的args.json等文件ms-swift 推理時會用它們恢復(fù)訓(xùn)練配置。7. 第 4 關(guān)加載訓(xùn)練結(jié)果并比較把下面路徑換成你的真實 checkpointswift infer\--adaptersoutput/qwen3-0_6b-math-lora/vx-xxx/checkpoint-xxx\--infer_backendtransformers\--streamtrue\--temperature0\--max_new_tokens256--adapters指向 LoRA checkpoint。因為目錄里有args.json通常不用重復(fù)寫--model。若不想自動加載保存的參數(shù)可顯式設(shè)置--load_args false但初學(xué)時不建議。請用完全相同的問題比較原始基礎(chǔ)模型微調(diào)后的模型訓(xùn)練集中沒出現(xiàn)過、但類型相似的問題。不要只憑“感覺不錯”判斷。準(zhǔn)備固定測試題并記錄正確性、格式、是否啰嗦、是否編造、響應(yīng)速度。8. 最常用參數(shù)意思、影響和建議8.1 模型與數(shù)據(jù)參數(shù)作用入門建議--modelHub 模型 ID 或本地模型目錄先選 0.5B1.5B 量級的小模型跑通--use_hf true改用 Hugging Face 下載默認(rèn) ModelScope 可用時不必加--dataset一個或多個訓(xùn)練數(shù)據(jù)集 ID/路徑自定義數(shù)據(jù)優(yōu)先用 JSONL--val_dataset獨立驗證集正式實驗推薦使用--split_dataset_ratio從訓(xùn)練集切出驗證集的比例官方當(dāng)前默認(rèn) 0可從0.05或0.1開始--dataset_num_proc數(shù)據(jù)預(yù)處理進(jìn)程數(shù)小數(shù)據(jù)用 1大文本數(shù)據(jù)可逐漸增加--columns把自定義列名映射到標(biāo)準(zhǔn)列名標(biāo)準(zhǔn)messages格式不需要--system命令行提供系統(tǒng)提示詞數(shù)據(jù)里的 system 優(yōu)先級更高Hub 數(shù)據(jù)集還支持--dataset數(shù)據(jù)集ID:子集#采樣數(shù)例如#500表示采樣 500 條適合冒煙測試。多個數(shù)據(jù)集可在--dataset后依次寫多個值。8.2 訓(xùn)練規(guī)模與顯存參數(shù)作用調(diào)大后通常怎樣--max_length單條樣本編碼后的最大 token 數(shù)能容納長文本但顯存和計算量明顯增加--per_device_train_batch_size每張卡一次放幾條樣本吞吐可能提高但更吃顯存--gradient_accumulation_steps累積多少次小批量再更新少占峰值顯存但每次更新等待更久--gradient_checkpointing用額外計算換顯存更省顯存但訓(xùn)練變慢實際默認(rèn)行為依模型/版本檢查--torch_dtype權(quán)重和計算精度BF16 通常更穩(wěn)定硬件必須支持SFT 中常用的有效總 batch size總 batch size 每卡 batch size × 梯度累積步數(shù) × GPU 數(shù)量例1 × 8 × 1 8。顯存不足時通常先保持每卡 batch 為 1再用梯度累積獲得更大的有效 batch。8.3 學(xué)習(xí)過程參數(shù)作用入門建議--num_train_epochs完整學(xué)習(xí)訓(xùn)練集幾遍先 1再比較 23防止過擬合--learning_rate每次更新參數(shù)的步幅LoRA 常從1e-4起全參官方默認(rèn)更低1e-5--warmup_ratio前多少比例逐漸升高學(xué)習(xí)率0.030.1示例用0.05--weight_decay對過大權(quán)重的懲罰不理解時先用默認(rèn)值--lr_scheduler_type學(xué)習(xí)率如何隨訓(xùn)練變化默認(rèn)cosine通??上缺A?-seed隨機(jī)種子固定后更方便復(fù)現(xiàn)實驗學(xué)習(xí)率過大loss 可能劇烈震蕩、出現(xiàn) NaN 或能力被破壞過小則幾乎學(xué)不到。一次只改變一個關(guān)鍵參數(shù)并記錄結(jié)果。8.4 LoRA 參數(shù)參數(shù)作用入門建議--tuner_type lora啟用 LoRA 微調(diào)初學(xué)首選--target_modules all-linear給模型中的線性層掛 LoRA官方常用通用設(shè)置--lora_rankLoRA 容量官方當(dāng)前默認(rèn) 8先用 8復(fù)雜任務(wù)可試 16/32但更吃顯存--lora_alphaLoRA 更新的縮放系數(shù)rank8 時先用 16 或 32官方示例用 32--lora_dropoutLoRA 分支隨機(jī)丟棄比例當(dāng)前默認(rèn) 0.05小數(shù)據(jù)可保留 0.05別隨意大改--lora_bias是否訓(xùn)練 bias先用默認(rèn)none不要把rank理解成“越大越好”。rank 太大意味著更多可訓(xùn)練參數(shù)、更多顯存也可能讓小數(shù)據(jù)更容易過擬合。8.5 日志、驗證與保存參數(shù)作用入門建議--logging_steps每隔多少 step 打印日志小實驗 15大實驗可更大--eval_steps每隔多少 step 驗證應(yīng)與總 step 數(shù)匹配--save_steps每隔多少 step 保存小實驗 1050--save_total_limit最多保留幾個 checkpoint23避免磁盤被占滿--output_dir輸出目錄每個實驗使用不同名字--report_to記錄到 TensorBoard/WB 等當(dāng)前官方默認(rèn) TensorBoard如果總訓(xùn)練只有 8 step卻設(shè)置save_steps100中途當(dāng)然不會出現(xiàn)第 100 步存檔。先觀察日志中的總 step 數(shù)。8.6 推理生成參數(shù)參數(shù)作用常見選擇--temperature隨機(jī)程度事實/數(shù)學(xué)用 00.2創(chuàng)作用 0.7 左右再觀察--top_p只在累計概率較高的候選中采樣常與 temperature 配合不必同時亂調(diào)--max_new_tokens最多生成多少新 token128、256、512 起步--stream true流式顯示聊天時推薦--infer_backend推理后端初學(xué)用transformersmax_length多用于限制輸入/訓(xùn)練樣本長度max_new_tokens限制新生成內(nèi)容長度。兩者不要混淆。9. 顯存不足CUDA out of memory怎么處理按照這個順序每改一項就重試降低--max_length例如2048 → 1024 → 512把--per_device_train_batch_size設(shè)為 1適當(dāng)增加--gradient_accumulation_steps保持有效 batch換更小的模型使用 LoRA不要全參數(shù)訓(xùn)練確認(rèn)沒有其他程序占用 GPU用nvidia-smi查看在理解兼容性后再學(xué)習(xí) QLoRA、DeepSpeed、FlashAttention、序列打包。不要把幾十個優(yōu)化開關(guān)一次全打開否則失敗時很難知道是哪一個造成的。10. 用 YAML 管理參數(shù)比超長命令更清楚創(chuàng)建configs/sft_lora.yamlmodel:Qwen/Qwen3-0.6Btuner_type:loradataset:-data/train.jsonlsplit_dataset_ratio:0.1torch_dtype:bfloat16num_train_epochs:1per_device_train_batch_size:1per_device_eval_batch_size:1gradient_accumulation_steps:8learning_rate:0.0001warmup_ratio:0.05max_length:512lora_rank:8lora_alpha:32lora_dropout:0.05target_modules:-all-linearlogging_steps:1eval_steps:10save_steps:10save_total_limit:2output_dir:output/qwen3-0_6b-math-lora運行swift sft configs/sft_lora.yaml還可以臨時覆蓋一個值swift sft configs/sft_lora.yaml--num_train_epochs2好習(xí)慣每個實驗復(fù)制一份配置文件名寫清變化如sft_rank16.yaml并記錄結(jié)果。11. 部署成一個 API11.1 兼容性優(yōu)先的部署swift deploy\--adaptersoutput/qwen3-0_6b-math-lora/vx-xxx/checkpoint-xxx\--infer_backendtransformers\--served_model_namemath-helper\--host127.0.0.1\--port8000\--temperature0\--max_new_tokens256這里使用127.0.0.1只允許本機(jī)訪問比直接開放到局域網(wǎng)或公網(wǎng)更安全。若需要對外提供服務(wù)應(yīng)設(shè)置鑒權(quán)、防火墻、限流和日志脫敏。11.2 用 curl 調(diào)用另開一個終端curlhttp://127.0.0.1:8000/v1/chat/completions\-HContent-Type: application/json\-d{ model: math-helper, messages: [ {role: user, content: 請分步驟解方程 x2-7x120} ], max_tokens: 256, temperature: 0 }服務(wù)端參數(shù)--max_new_tokens和 OpenAI 兼容請求中的max_tokens都在限制生成長度具體請求值可以比服務(wù)端上限更小。11.3 vLLM 是什么時候?qū)W的vLLM 能提高吞吐適合 NVIDIA GPU 部署但要額外安裝并且對 CUDA、PyTorch、模型和量化方式有兼容要求。初學(xué)先用transformers流程穩(wěn)定后再按官方版本表安裝 vLLM 并設(shè)置--infer_backendvllmQLoRA 適配器不能直接按所有 vLLM LoRA 場景處理請以當(dāng)前官方推理后端兼容表為準(zhǔn)。12. 合并、導(dǎo)出與發(fā)布LoRA 可在推理時單獨加載也可以與基礎(chǔ)模型合并。官方當(dāng)前支持在推理時用--merge_lora true或通過導(dǎo)出流程處理。合并會生成體積更大的完整權(quán)重需要額外磁盤和內(nèi)存。發(fā)布到 ModelScope 的官方命令形式swiftexport\--adaptersoutput/qwen3-0_6b-math-lora/vx-xxx/checkpoint-xxx\--push_to_hubtrue\--hub_model_id你的模型ID\--hub_token你的Token\--use_hffalse安全做法不要把真實 Token 保存進(jìn).md、腳本或 Git 歷史。先檢查基礎(chǔ)模型許可證、數(shù)據(jù)許可證和隱私要求再決定是否公開。13. 進(jìn)階地圖現(xiàn)在只需認(rèn)識名字全參數(shù) SFT訓(xùn)練所有參數(shù)資源和數(shù)據(jù)要求更高。QLoRA量化基礎(chǔ)模型后訓(xùn)練 LoRA進(jìn)一步省顯存但兼容性更復(fù)雜。DPO/KTO/GRPO 等偏好學(xué)習(xí)或強(qiáng)化學(xué)習(xí)不是零基礎(chǔ)第一課。DeepSpeed/FSDP/Megatron多卡或大規(guī)模訓(xùn)練技術(shù)。vLLM/SGLang/LMDeploy推理加速后端各自兼容性不同。AWQ/GPTQ/BNB/FP8不同量化方法。EvalScope模型評測工具。多模態(tài)微調(diào)數(shù)據(jù)還包含images、videos、audios等字段資源需求更大。推薦順序LoRA SFT → 可靠評測 → 部署 → QLoRA/量化 → 多卡訓(xùn)練 → 偏好或強(qiáng)化學(xué)習(xí)。14. 常見報錯排查swift: command not found可能沒激活正確環(huán)境或包裝到了另一個 Pythonwhichpythonwhichswift python-mpip show ms-swiftWindows 使用where python where swift模型或數(shù)據(jù)下載失敗檢查網(wǎng)絡(luò)和磁盤空間確認(rèn)模型 ID 拼寫ModelScope 不通時嘗試--use_hf true反之亦然私有/受限模型需要先在對應(yīng)平臺授權(quán)和登錄不要重復(fù)中斷大文件下載。CUDA out of memory按第 9 章的順序縮小訓(xùn)練配置并用nvidia-smi查看占用。BF16 不支持或出現(xiàn) NaN換成--torch_dtype float16或使用支持 BF16 的 GPU。若仍出現(xiàn) NaN再檢查學(xué)習(xí)率、數(shù)據(jù)異常和依賴版本。數(shù)據(jù)被丟棄或提示格式錯誤先用 23 條數(shù)據(jù)測試并增加--stricttrue它會讓錯誤樣本直接報錯便于找到壞行。檢查 JSON、角色順序、空答案和超長樣本。默認(rèn)truncation_strategydelete時超過max_length的訓(xùn)練樣本可能被刪除。訓(xùn)練沒有明顯效果數(shù)據(jù)太少或答案質(zhì)量低訓(xùn)練問題與測試問題差別太大學(xué)習(xí)率太低或訓(xùn)練步數(shù)太少模型太小任務(wù)超過其能力只測試了訓(xùn)練原題誤把背誦當(dāng)泛化生成參數(shù)不同比較不公平。訓(xùn)練后能力變差數(shù)據(jù)單一、錯誤或相互矛盾學(xué)習(xí)率過大epoch 太多導(dǎo)致過擬合訓(xùn)練模板或模型類型不匹配沒有保留通用能力相關(guān)的數(shù)據(jù)。15. 怎樣做一次像樣的小實驗準(zhǔn)備一張實驗記錄表實驗?zāi)P蛿?shù)據(jù)量max_lengthranklrepoch驗證結(jié)果備注baseline原始模型0----記錄 20 道題基線exp01Qwen 小模型10051281e-41待填寫首次 LoRAexp02同上10051285e-51待填寫只改 lr科學(xué)實驗的核心是固定一組測試題每次只改一個主要變量保存配置、日志和 checkpoint同時記錄成功與失敗不用訓(xùn)練集原題冒充測試集成績。15.1 loss 怎么看loss 是模型答案與標(biāo)準(zhǔn)答案差距的數(shù)學(xué)度量。通常訓(xùn)練 loss 下降說明正在擬合數(shù)據(jù)但它不是最終成績訓(xùn)練 loss 下降、驗證效果也提高通常是好現(xiàn)象訓(xùn)練 loss 繼續(xù)下降、驗證效果變差可能過擬合loss 不動檢查數(shù)據(jù)、可訓(xùn)練參數(shù)、學(xué)習(xí)率loss 突然 NaN檢查精度、學(xué)習(xí)率、異常數(shù)據(jù)和依賴。不要比較不同數(shù)據(jù)、不同模板下 loss 的絕對數(shù)值后直接下結(jié)論。16. 一周入門計劃第 1 天終端與環(huán)境學(xué)會cd、ls、pwd創(chuàng)建 Python 環(huán)境成功運行swift --help。第 2 天模型推理跑通一個小模型理解 model、token、temperature、max_new_tokens。第 3 天數(shù)據(jù)手寫 10 條 JSONL用 Python 檢查解析區(qū)分訓(xùn)練集與驗證集。第 4 天LoRA用 1050 條數(shù)據(jù)跑冒煙測試找到 checkpoint看懂 loss 和 step。第 5 天比較準(zhǔn)備 20 個固定問題比較原始模型和微調(diào)模型記錄失敗案例。第 6 天參數(shù)實驗只改變 epoch 或 learning_rate使用 YAML 保存配置比較實驗結(jié)果。第 7 天部署啟動本地 API用 curl 調(diào)用寫一頁學(xué)習(xí)總結(jié)。17. 最小速查表# 安裝python-mpipinstall-Ums-swift# 看幫助這是查當(dāng)前版本參數(shù)最可靠的方法之一swift--helpswift sft--helpswift infer--helpswift deploy--help# 原始模型推理swift infer--modelQwen/Qwen3-0.6B--infer_backendtransformers# LoRA 微調(diào)swift sft\--modelQwen/Qwen3-0.6B\--tuner_typelora\--datasetdata/train.jsonl\--max_length512\--per_device_train_batch_size1\--gradient_accumulation_steps8\--learning_rate1e-4\--lora_rank8\--lora_alpha32\--target_modulesall-linear\--num_train_epochs1\--output_diroutput/my-first-lora# LoRA 推理替換真實路徑swift infer--adaptersoutput/.../checkpoint-...--temperature0# 本地部署替換真實路徑swift deploy\--adaptersoutput/.../checkpoint-...\--infer_backendtransformers\--host127.0.0.1\--port800018. 官方資料與繼續(xù)學(xué)習(xí)優(yōu)先看官方資料因為命令和默認(rèn)值會變化ms-swift GitHub 與官方 READMEms-swift 中文文檔首頁安裝說明快速開始命令行參數(shù)自定義數(shù)據(jù)集預(yù)訓(xùn)練與微調(diào)推理與部署支持的模型與數(shù)據(jù)集官方 examples 目錄遇到問題時提問要附上操作系統(tǒng)、GPU 型號與顯存、python --version、pip show ms-swift torch transformers、完整命令、報錯最后 50 行、最小數(shù)據(jù)樣例。不要附 Token 或隱私數(shù)據(jù)。結(jié)語學(xué)習(xí) AI 不是智力競賽而是把大問題拆成小問題、不斷得到反饋的過程。你第一次的目標(biāo)只有四個swift --help能運行小模型能回答一句話3 條 JSONL 能被正確讀取LoRA 冒煙測試能生成 checkpoint。做到這四點你已經(jīng)完成了一個真實的大模型微調(diào)閉環(huán)。接下來不是“我會不會”而只是“我準(zhǔn)備把哪一步練得更熟”。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色情综合网| 97干在线播放| 日韩无码91| 67194中文在线| 色色欧美色色| 久久这里只有精品久久| 狠狠色婷婷丁香五月| 99热午夜精品| 色九九一二| 日比视频91| 午夜AV网| 99热久97| 色99视频| 丁香香五月激情免费视频| 精品婷婷五| 欧韩性爱| 五月丁激情| 91人妻视频| 婷婷亚洲丁香五月| 国产婷婷五月天| 伊人色综在线| 亚洲精品性色| XX色综合| BBWCUCKOLD精品熟妇| 国自产拍偷拍精品啪啪一区二区| 任你躁XXXXX麻豆精品| 欧亚成人A片一区二区| 欧美A级成人婬片免费看理论| 久久婷婷五月天丁香| 999热这里只有美国精品| 久久丁香网| 精品一区二区三区三区| 天天做天天爱天天爽| 色婷婷丁香五月在线| 综合综合色色| 天天爽天天摸| 99九九热在线观看| 色婷婷综合网| 热99色| 久久看九九90| 91亚洲免费片| 99热国产精品| 婷婷六月色情| 亚洲激情综| 五月丁香综合啪啪| 超碰人妻公开在线| 九九人人看| 国产成人亚洲综合亚洲| 色色吧综合| 极品色丁香| av在线观看免费| 五月丁香婷婷免费视频| 亚州操人在线视频| 婷婷精品| 色婷婷五月影视| 亚洲旡码| 久久婷婷亚洲五月天| 五月天婷婷丁香六月| 丁香五月天激情综合| 色婷婷导航| 五月婷婷六月色| 欧类av怡春院| 五月丁香色婷婷色| 丁香伊人综合| 91成人看片| 日逼影音先锋男人AV资源站| 免费观看全黄做爰的视频| 网站免费一站二站| 日韩成人免费电影| 九热视频| 99在线视频在线观看| 狠狠色综合网| 久操97| 五月丁香天堂网婷婷| 在线一起草av| 狠狠综合| 超碰在线免费9| 怎么样可以看免费的一级av| 九九丁香社区欧美激情| 久色资源| 丁香五月婷婷亚洲天堂| 五月花婷婷| 九月激情婷婷丁香| 色五月天丁香| 99re热久久| 丁香五月六月婷婷殴美综合| 极品人妻VideOssS人妻| 99久高清视频| 亚洲五月婷婷在线| 婷婷激情人妻| 人操综合| 色激情综合狠狠婷婷| 情久久综合五月天| 免费无码毛片一区二区A片 | 91久久久久久久久18| 丁香五月花| 98色丁香五月婷婷综合网| 天天玩夜夜操天天爽| 天天色域综合网| 日韩成人电影AV| 国产AV一区二区三区日韩| 久久九九99桃花视频| 婷婷综合五月天激情| 79精品视频在线观看,| 天天色图| 久久五月天免费网站| 六月婷婷六月天天在线免费| 婷婷午夜精品久久久| 三十熟女| 丁香六月啪啪| av在线免费播放观看| 伊人久久婷婷五月综合97色| 亚洲成人网无码| 中文av网站| 国产肥白大熟妇BBBB视频| 热久91| 99视频这里只有免费精品| 男人先锋久久| 亚洲欧洲中文日韩久久AV乱码| 97色 五月天丁香| 超碰人妻公开在线| 久草婷婷视频| 97影院一级片| 九九99精品视频| 99热在线精品观看| 色五月之第四色| 色娸娸综合网| 狠狠婷婷综合| www.五月天色色色| 九九热精品6| 操一操干一干| www.91在线观看| 欧美激情2025| 亚洲亚洲人成综合网络| 亚洲国产色婷婷| 婷婷色片| 五月天激情综合网| 欧美激情五月天婷婷| 亚洲啪啪自拍| 丁香五月天啪啪| 人妻久久久久久久久久久| 91碰碰碰| 欧韩性爱| 99操碰| 伊人9草在线观看| 婷婷丁香色五月天久久88| 五月天播播中文字幕| 91精品国产综合久久久不卡电影| 综合激情网五月激情| 久久婷婷内射| 中文字幕91,综合| 婷婷五月伦理| 激情综合丁香六| 激情五月天激情网| 大香蕉五月天| 天天射天天干天插色综合| 欧洲精品欧洲情| 婷婷成人五月天| 国产精品a无线| 婷婷激情五月视频| 婷婷五月天另类视频| yazhou seshipin| 五月丁香色停停啪啪啪| 91色涩| 日本三久久| 日韩天堂久久| 怡红院院在线导航网| 激情综合五月| 4438激情网| 日本九九九九| 九九精彩久久| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 九月丁香婷婷综合激情| 啪啪综合网| 狠狠五月激情丁香六月| 五月天丁香综合久久国产| 日本色啪| 久久在线人妻| 精品人妻在线免费观看| 丁香色情五月综合网站| 午夜微拍福利| 色丁香五月| 亚洲综合碰| 潘金莲AAAAAAAAAA| 五月婷婷成人网首页| 激情五月影院| 玖玖色综合色| 超碰免费在线| 精品国产va久久久| 五月天婷婷青青草| 五月天激情影院| 久久精品99久久久久久| 另类激情五月| 超碰97人人操| 日本久久婷婷| 任你爽精品免费视频6| 久久六月天| 99资源在线| 99热手机在线精品| 91凹凸在线| 五月色丁香| 欧美色色色色色| 久久婷婷五月天懂色| 五月天久久www| 五月婷婷草| 操B视频在线播放| 丁香婷婷六月天| 婷婷色综合| 国产成人网| 色域五月婷婷丁香| 精品人妻一区二区三区四区不卡在| 丁香五月婷婷婷桃花影院| 六月丁香婷婷开心综合基地| 日日噜噜夜夜狠狠久久丁香五月| 精品无码av丁香五月激情| 丁香婷婷久久综合在线| 777精品久无码人妻蜜桃| 久九色| 色五月激情五月| 在线播放成人网站| 日本九九网| 欧美性丁香色色五月天干干| 久久停停超碰| 91人人妻人人操| 国产成人综合在线| 丁香六月色婷婷综合| 丁香婷婷91在线观看视频| 色情婷| 99毛片| 九九久久综合| 伊人青草成人| 五月激情综合网| 在线观看玖玖资源免费观看| 丁香婷婷婷五月综合色情| 亚洲VA口| 密着浓厚中出乚交尾GvG935| er99免费视频在线| www五月婷婷88导航| 国产精女同一区二区三区久| a片在线免费观看一区| 99这里只有免费的精品| 五月天婷婷色播在线网| 丁香五月先锋| 色婷婷电影网| 婷婷久久色| 五月婷六月| 男人天堂99| 久9热视频在线| 99aese| 亭亭五月丁香五月天激情| 丁香六月毛片| 婷婷舔| 99精品热| 粉嫩AV久久一区二区三区| 天天日中文| 五月丁香六月婷婷中合网| 五月婷婷六月丁香玖玖玫瑰91| 九八Av| Blackedraw视频一区二区| 亚洲精品视频在线| 久久综合中文字幕| 婷婷情爱五月天6| 人妻VideOssS人妻高清| 色综合色色| 国产熟妇乱子伦hd| 日韩抽插操逼| 99热这里只有精品8| 99热丁香| 国产乱妇乱子伦| 色九九九九| 五月丁香六月在线| 丁香五月婷婷黑人妻黄色电影院| 丁香花五月天| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 色情五月天丁香社区| 国产精品A片| 99超超碰| 91艹人| 六月激情婷婷| 九九激情视频| www.ppypp| 麻豆AV一区二区三区| 亚洲五月天第一综合干| 五月天色婷婷综合| 中文字幕在线资源| 婷婷 丁香 精品| 9热久久| 热99在线| 丁香五月婷婷国产av| 丁香六月天婷婷色| 婷婷色色网站| AV五月丁香| 超碰熟女农村在线69| 久久五月天合网| 色停停五月,在线观看| 五月天激情丁香| 久久婷婷久久| 激情五月天天狠狠久久| 操b视频在线观看一区二区| 欧美综合激情五月天| 伊人丁香在线| 色五月天中文字幕| 五月激情丁香啪啪| 婷婷五月综合视频免费播放| 五月丁香成年黄色| 中文字幕视频在线播放| 婷婷丁香五月天熟女丝袜| 日本婷色| 精品久久9| 深爱激情五月网| 1024手机在线观看看片_日韩精品| 激情五月婷婷| 婷婷免费无视频| ...婷婷五月综合不卡,国产在线手机| 成人看片网站| 182无码| 99久久久国产大片| 色五月天丁香| 婷色五月| 99热这里只有精品9| 九九这里是免费的视频5| 5月婷婷6月六月丁香| 亚洲成人网站在线| 日韩AAAAA| 亚洲一级AV在线免费播放| 人人射人人高潮| 依人大香蕉在钱1| xx综合网| 午夜日日| 午夜丁香婷婷| 狠狠高潮精品亚洲1| 五月丁香六月香香蕉| 日本一级一级一级一级| 亚洲深喉aV| 情涩婷婷五月天| 久久涩视频| 99噜噜噜在线播放| 婷婷丁香五月天色色| 香蕉99网| 国产亚洲精品久久一区二区三区| 任你日热视频| 久久久久久欧美精品se一二三四| 欧美爆乳一区二区三区| 婷婷五月激情在线| 超碰人人艹| 最新午夜理论片| 97人人射| 蜜臀AV在线观看| 97精品人人A片免费看| 婷婷五月天性色| 99操不停| 这里只有国产精品在线| 另类小说五月天| 男人視頻站| 无码AV久久久久久久久| 中文字幕成人网站| 久草婷婷| 999激情视频| 欧美日韩AAA| 五月丁香六月婷婷免费视频| 婷婷五月天色色| 骚五月婷婷| 伊人影院久久网| 国产精品第一国产精品| 色伊人91在线视频| 亚洲春色奇米影视| 99婷五月| 亚洲色五月| 五月婷婷丁香| 亚洲精品第一色色色色色色| 日韩另类| 久久九九热38| 欧美日韩成人在线观看| 色色五月天婷婷| 综合激情在线视频| 99亚洲精品视频| 天天操狠狠操| 操一操| 婷婷丁香色五月天久久88| 婷婷午夜| 大香蕉人人网| 欧美色碰| 爱射综合| 六月丁香好婷婷| 婷婷五月草| 亚城区在线| 人妻操逼视频| 丁香色色网| 色综合久久久无码中文字幕999| 五月丁香六月婷婷色日| 亚洲国产婷婷色五月| 色情综合网| 色色影院aaaav| 五月激情综合网| 天天视频亚洲| 九九婷婷综合| 青青久久五月| 能直接看的av网站| 久久96热| 欧美五月婷婷| 2018夜夜草| 五月丁香色综合| va中文资源在线观看| 超碰99热在线观看| 成人精品视频99在线观看免费| 激情五月色综合网| 色婷婷六月| 亚洲精品激情| 五月天婷婷色在线视频免费观看 | 天天激情站| site:901-07.com| 久久综合久色欧美综合狠狠| 色玖玖综合网| 婷婷在线午夜| 色V狠狠的干| 欧美日本99| 国产精产国品一二三在观看| 久机视频这只有精品| 97在线精品| 丰满人妻妇伦又伦精品国产| 91人人操人人| www激情| 狠狠久久婷五月综合色| 中文字幕综合网| 强奸幻女毛片| 五月婷在线| 激情综合国产| 噜噜色婷婷| 五月婷婷co.m| 亚洲天天免费| 久久五月综合| 色综合中文| 久久久久久久久久久jjjj| 色婷五月| 五月www| 婷婷激情人妻| 人人操操| 97香蕉人人在线观看| AA片在线观看视频在线播放| 久青操| 无码操B| 久久99热精品a片在线观看| 久99| 色色免费网站| 97色婷婷成人综合在线观看| 激情綜合網址| 亚洲无aV在线中文字幕| 91丨九色丨国产在线| 黄色网址五月婷婷| 少妇性BBB搡BBB爽爽爽电影| 亚洲妇女熟BBW| 色色色综合网| 色色激情五月天| 色婷婷五月天偷拍| 色九网| 五月婷婷影| 久色激情| 97色永久免费视频| 操碰91| 五月婷婷影院| 三级三久久线久久99久目本WW| 天天干夜夜谢| 天天干天天插| 久久五月激情| 婷婷亚洲天堂| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 亚洲碰碰碰| 九九视屏| 先锋五月婷婷丁香草草| 91人人操人人爱| 99婷婷| 亚洲激情图文小说| 99 热国产在| 久久精品99| 色五月婷婷久久| 天天天天天天天干| 思思热99在线| 婷婷俺去也| www.maotanji.com| 综合99视频| 久久爱婷婷| 国产无人区大片| 婷婷五月综合网| 九热精品| 天天爽夜夜操| 亚洲无码 图片区| 精品九九久久| 玖玖综合玖玖| 亚洲午夜Av| 深夜男女福利刺激影院一区| 99热 免费| 五月婷婷在线观看| 91人人操人人爱| 亚洲中文av| 五月丁香综合激情| 国产精品A片在线| 天堂久久婷婷| 亚洲AV在线免费看| 亚洲天堂有码| 亚洲区,视频区,视频区免费| 色九月婷婷综合| 丁香五月停停基地| 五月婷婷六月丁香激情综合网| 亚洲欧州色情在线观看| 99超级碰免费视频| 日本44久久在线| 91精产品自偷自偷综合| 99热6这里只有精品6| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | Av九九| 人妻操在线看| www.婷婷五月天| 日日操夜夜撸| 九九热在线视频观看免费10| 中文无码婷婷| 无月播播激情在线观看视频| 亚洲碰碰碰| 丁香情色五月| 日本一级特黄大片AAAAA级| 色丁香久久| 婷婷五月天六点丁香五月| 五月丁香久久久久| 九九激情| 亚洲小说五月婷婷| 丁香五月婷婷六月丁香| 亚洲精品一区中文字幕乱码| 日韩另类| 天天干天天插| 另类五月激情| 久久婷婷五月综合色丁香花| 91无码视频| 五月丁香亚洲婷婷| 国产AV一区二区三区最新精品| 久久人人九| 色综合激情| 精国产品一区二区三区A片 | 嫩草AV久久伊人妇女超级A| 成人网丁香五月| 甈你aaaaa| 婷婷爱五月天| 国产免费AV在线| 26uuu亚洲欧美日本| 校花娇喘呻吟校长陈若雪视频| 五月丁香六月婷婷啪啪| 婷婷丁香五另类网站| 伊人网大香| 婷婷性爱五月天丁香网| 五月丁香网中文字幕| 九九黄色网| 婷婷趴趴| 丁香五月天电影| 超碰免费人人肏| 可以免费看av网站| 99热官网| 色三级色三级| 日韩aaaaa| 五月天丁香看婷婷| 国产免费一区二区在线A片视频| 99在线精品免费视频| 日本精品人妻无码77777| 天天激情综合| 亚洲操操操| 日韩99视频| 草综合14| 人妻激情综合| 青青999| 99热这只有| 亚洲午夜av| 丁香六月天婷婷在线| 大香蕉伊人久久| 久久网站免费亚洲| 亚洲国产精品SUV| aaa丁香五月天| AVDV久久| 激情亚洲五月| 国产人妻人伦精品一区二区| 激情网狠狠干| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 婷婷99中文字幕| 色XX综合网| 婷婷在线网| 森林影视大全,最好看的2019年视频| 四季8848精品成人免费网站| 久久99性爱| 婷婷99视频全集高清| 五月婷婷丁香av| 中文字幕成人网站| 99热亚洲精品| 91人人爽狠狠狠| 五月丁香六月婷综合成人综合 | www.夜夜| 性生活久久人妻| 五月丁香婷婷婷激情爱爱| 99爱爱网| 欧美视频五区| 久青草影院| 婷婷六月中文字幕| 婷婷五月丁香四射| 九色无码| 天天狠天天狠| 99热免费| 狠狠摸狠狠摸| 天天搡日日搡aaaaⅩ| 九九99九九99九九99视频网| 久久WW| 久久婷婷热| 五月色婷婷亚洲| 岛国在线观看91| 毛片色五月| 热久国产| 激情都市另类| 综合久久综合久久| 色色色99韩| 五月天激情美女久久| 无码激情精品色婷婷久久久久| 激情久久久| 日日噜狠狠色综| 激情婷婷五月丁香啪啪啪| 成人免费高清在线播放| 久久这里都是精品免费| 第四色色色色色丁香五月天 | 婷综合| 青青草视频福利| 激情开心五月天| VA日本视频| 久久99精品久| 91热在线| 日韩精品二三区| www.天天干.com| 国产在线网| 久久丁香五月| 婷婷五月天99| 人妻22p| 色网站9| 99热这里只有精品8| 婷婷五月天中文字幕| 深爱激情中文五月天av| 色婷婷亚洲综合av| 中文字幕日产A片在线看| 操操自拍| 五月天婷婷五月| 五月婷婷久久大香蕉| 在线成人va| 五月色丁香| 婷婷五月天激情综合| 密桃激情五月天综合网| 九九热这里只有精品7| 亚洲免费电影2| 精品人妻在线免费观看| 亚洲五月婷| 99re在线视频| 五月在线| 99热久草| www.日韩艹| 五月天婷a在线| 六月婷婷av| 青青操成人福利| 这里只有精品96| 九九久久精品| 久久精品视频99| 久久久久人妻| 欧美激情五月| 只有久久精品免费| 亚洲 无码 中文字幕 中出| 99精品在线| 色V狠狠的干| 狠狠99| 久热精品在看| 色婷婷a| 天天网曰日曰夜夜综合永久免费| 精品亚洲国产成AV人片传媒| 激情综合五月丁香| 丁香五月欧美| 91操操| 国产精品色| 91精品久久久久久77777| 丁香婷婷色色| 精品久久人妻| 五月丁香六月婷婷激情网| 天天激情站| 97五月天婷婷| 五月丁香五月婷婷在线观看| 99爱视频在线观看这里只有精品| 丁香婷婷成人网站| 五月天桃色深爱网| 色婷婷五月天激情在线观看| 97干婷婷| 超碰亚洲天堂| 91啪啪视频| 天天精品视频免费观看| 天天干天天操天天爽| 国产亚洲精品AAAA片APP| 黄网在线免费| 欧美A片在线视频免费观看| 亚洲不卡123| 日韩黄色电影| 五月丁香综合啪啪| 久久视频这里都是精品| 综合狠狠干| 热99re| 国产色色视频| 色墦五月丁香| 极品人妻VIDEOSSS人妻| 激情五月天。| 五月丁香色综合| 精品乱码视频| 六月婷婷狠狠做| 五月婷婷中文字幕| 日韩黄色电影| 来吧亚洲综合网| 久久艹 五月天| se婷97| 99九九视频精彩在线| 久99久视频| 亚洲色婷婷激情| 婷婷五月天激情五月天| 婷婷五月天堂| 成人无码髙潮喷水A片| 美腿丝袜AV天堂网| 91干在线| 五月婷婷六月丁香综合视频在线| 日日操天天爽| 五月丁香啪| 丁香操逼| 9久热在线视频精品| 色五月激情问网站| 99日韩| 天天综合干| 天天综合色| 久久人妻熟女一区二区| 偷拍九九五月丁香婷婷| 五月色情婷婷开心五月色情| 五月婷婷之综合激情| 激情综合色网| 五月婷丁香久久综合| 91超碰人人操| 天天做天天爱天天综合网| 五月天婷婷久久| 五月婷婷综合在线| 99久扒热| 丁香五月婷在线观看| 79精品视频在线观看,| 久久99日本精品视频免费观看| 电影《战争与艾拉》免费观看| 怡红院视频| 精品久久久人妻| 97日本操| 色五月天中文字幕| 香蕉人在线香蕉人在线 | 免费观看的av| 综合久久久| 99re热视频这里只精品5| 啪啪一区| 美欧成人视频| 国产成人+亚洲+欧洲| 婷婷五月成人| 亚洲无码播放| 99色| 91丁香色五月| 日韩AAA| 亚洲综合五月天| 久久久激情视频| 婷婷六月久久综合导航| 婷婷丁香六月天| 天天日日天天| 思思热在线| 丁香婷婷网| 婷婷五月天影院| 密臀av无码人妻精品| 天天撸夜夜爽| 五月天婷婷久久| 99自拍视频| www.yw色| 97超碰欧美中文字幕| 婷婷色情小说| 色色婷婷综合| 激情综合色五月六月婷婷| 久久婷婷成人综合色怡春院| 97资源碰碰| 婷婷五月天成人网| 大香蕉520| 99re这里只有精品国产99| 天天操天天操天天操天天操天天操| 色5月婷婷色| 色碰碰| 欧美69色| 丁香婷婷色九月| 高清成人综合| 日韩aaaaa| 丁香五月最新地址| 综合久久婷婷| 色五月综合激情| 五月激情站| 国内裸舞二区| 女人天堂AV| A√天堂网在线| 被强行糟蹋的女人A片| 99这里只有精品在线| 丰满少妇乱A片无码| 久久五月视频| 熟女少妇内射日韩亚洲| 色婷婷先锋| 五月婷婷婷色| 六九色综合婷婷五月天| 六月色播| 婷婷久久五月| 国产精品色一哟哟| 一本九九色| 婷婷综合视频| 精品九九在线观看视频| 六月综合婷婷开心伊人| 涩涩涩婷婷| 色色色1网址| 九九热最新| 五月婷啪啪| 欧美人与性动交CCOO| 五月丁香六月婷婷操操操| 乱色色色| 六月色婷婷综合影视| 色情丁香五月婷婷精品| 久久六月综合| 婷婷五月天无码熟女| 丁香婷婷天堂| 天天综合色丁香| 色婷婷五月影视| www婷婷色| 久久视频在线| 五月丁香另类图片| 欧美激情综合| 综合五月丁香六月婷婷| 九九热99免费视频| 99热这里只有精品8| 色婷婷五月综合网| 日日干天天射| 色青青五月| 精品五月花| 久久综合爱| 全国最新疫情| www.婷婷五月天| 婷婷伊人綜合中文字幕| 十月丁香九月婷婷综合| 日本综合久| 六月婷综合| 色婷婷综合视频| 人妻VideOssS人妻| 丁香六月婷婷激情综合| 婷婷五月天丁香综合网| 99精品久久| 婷婷五月天免费视频| 六月婷婷激情| 一本色道久久综合狠狠躁一二三| 日本人妻A片成人免费看片| 久久婷丁香五月| AⅤ网站在线看| 狠狠色噜噜狠狠狠狠综合| 99热精品无码| 午夜爱爱爱成人| 九月丁香亭亭| 美腿丝袜AV天堂网| 亚洲 在线 另类| 免费97碰碰| SESE无码AV| 日日操夜夜操狠狠操| 99碰网站| 大香蕉在线观看9| 操操操97| 久久久97| 99热碰碰| 五月色婷婷综合| 久久99久久99精品免观看软件 | 夜夜撸天天操| 亚洲婷婷激情综合激情999精品| 99精品视频在线| 激情五月天婷婷图| 91大神操美女| 色婷婷五月天成人网| 亚洲综合色成丁香五月色| 激情综合网激情五月天| 人妻激情综合| 日本天堂免费99| 99热无码| 97婷婷五月天| 久久九九在线视频| 亚洲操女| 毛片色五月| 这里只有精品视频在线看| 婷婷六月丁香色| 激情啪啪五月天| 991国产精选视频在线播放下载| 五月激情婷婷偷拍| WWW色五月| 91干网站| 熟妇高潮一区av| 久久久亚洲精品一区二区三区浴池| www.夜夜| 天天日天天舔| 亚洲天堂热| 97九色| 色五月综合资源推荐| 亚洲欧美丁香五月天亚洲欧美| 丰满熟女人妻一区二区三| 夜夜操天天干| 天天激情欧美美女| 五月综合视频| 成人国产综合| 天天天天天天操| 日本色婷婷| 欧美黑人巨大性生话| 99re思思热久久| 99色| 97干干干丁香| 久久激情四射| 久久国产高潮白浆免费观看99| 超碰京东热av男人的天堂| 91热久| 狠狠五月激情丁香六月| 91精品国产91久久久久青草| 五月婷婷色播视频| 中文不卡一二三区| 天天色五月| 亚洲婷婷婷| 99精品22| 日本欧美国产| 久久九九网| 亚洲国产精品SUV| 黄色高清无码| 日本WWW九九九| 天天爱天天做天天日| 无码激情精品色婷婷久久久久| 草做免费在线观看| 国产激情av| 日本片日本片祼观看网站在线看中文版网页在线看| 亚洲1区| 中文字幕操比影片| 色v综合网| 狠狠色综合777| 激情五月天婷婷丁香 | 久久五月婷综合网| 五月婷婷片| 婷婷六月综合激情| 超碰人人在线观看| 日韩成人AV在线| 天天日天天操天天干| 色爱亚洲| 99日韩| 五月丁香婷婷啪啪网| 99日本精品视频热| 五月丁香六月合| 在线观看中文字幕| 99热新网址| 少妇真实被内射视频三四区| 国产精品人妻在线网址| 丁香六月婷婷综情欧美| 五月花婷婷最新| 五月天综合图片| w婷婷五月婷婷w| 人人爽网| 另类专区在线| 色婷婷九月| 综合网色| 人妻激情视频| 涩涩五| 思思热视频| 婷婷五月天综合久久日美女| 九月婷婷久久久| 天天天操天天天日| 99操逼| 99色精品| 五月婷婷欧美激情| 五月婷婷深深爱| 色婷婷五月综合在线| 天天操夜夜肏| 五月天成人在线视频网站| 欧美超碰亚洲| 激情综合五月.....| 五月婷婷综合激情网| 日本三日本三级少妇三级66| 天天人人综合| 久久9精品| 丁香九色不卡aaa| 亚洲色婷婷激情| 五月天天综合| 久久日本wwww色| 色五月丁香一区在线| 成人精品在线| 九九热在线99| xx人人xx| www.99操| 91操操操| 国产亚洲精品久久久久久郑州| 久久9久| 91丨九色丨高潮丰满日本| 91综合色噜噜| 日韩欧美骚货| 丁香五月之久操视频| 日韩黄黄| 丰满少妇猛烈A片免费看观看| 丁香六月综合激情| 成人av免费观看| 日本婷久久| 超碰在线免费9| 懂色av蜜臀av粉嫩av永陈冠希| 99热大| 看久久性爱99视频| 婷婷综合一二三| 色色色综合色| 亚洲9久久精品| 午夜激情五月| 中文字幕日产A片在线看| 五月丁香婷婷色| 久久婷婷影院| 开心五月婷婷五月| 9久热| 激情五月深爱五月| 深爱五月婷婷| 九九热10| 激情五月天丁香| 五月情婷婷五月| 亚洲国产精品VA在线看黑人| 婷婷激情五月天亚洲综合| 激情五月婷婷| 婷婷丁香久久五月综合| 中文字幕无码AV| 能直接看的AV网站| 色色五月综合| 538在线精品| 久99精品视频| 99热在线观看| 99r久久这里只有精品| 国产精产国品一二三在观看| 99色视频在线观看| 久9精品视频在线| 五月亭亭六月天| 99久久精彩视频| 4399亚洲视频| 99久久9| 啪啪激情网| 激情无码五月天| 99在线资源视频| 五月丁香六月欧美| 丁香六月青青草| 五月婷在线播放| 99色.com| av在线激情| 色就是色婷婷五月亚洲激情| 婷婷综合| 色五月婷婷啪啪五月| 色播五月天婷婷老师| 婷色五月天| 五月天婷婷人妻| 天天操B| 超碰婷婷五月| 9色在线视频| 色情·com| 色婷综合| 久久99视频| 少妇达人正片在线播放_ikun_福利吧| 九九精品综合| 国产精品第一国产精品| 五月婷婷丁香婷婷| 在线五月婷婷小电影| 99re欧美精品| 五月天婷婷綜合院| 五月丁香婷婷人体| 久久久WWW| 疯狂做受XXXX高潮A片| 久久五月天综合| 99热这是里只有精品| 久久性爱激情| 五月天色五月| 色爱五月天| 五月婷高清视频| 色五月婷婷综合| 草榴视频黄色网| 五月天激情国产综合婷婷婷| 这里有精品| 亚洲99视频| 色婷婷久久| www.99热这里精品| 精品国产乱码久久久久久免费| 色综合五月| 久噜久噜| 天天爱天天做天天日| 91九色超碰正在播放| 99精品无码| 五月天久久婷婷| www.婷婷五月| 亚洲男人的天堂婷婷色五月| 人妻综合网| 久久sp免费视频| 丁香九月激情| 丁香五月婷婷香| 久狠日av| 婷婷成人小说综合| 五月天色五月天| 九九视频精品这里只有| 婷婷中文无码| 五月丁香 狠狠爱| 91超碰人人操| 欧美在线视频免费播放| 激情99在线视频| 99热这里只有精品2016| 久久ER视频com| 久久之人妻| 精品牛仔裤超碰| 亚洲成人九九九| txt五月激情四射网综合俺也来了 五月天婷婷丁香人人操91 | 久久综合9| 1024人妻无码中文字幕| 韩国真做片在线观看| 97色婷| 婷婷深爱五月| 亭亭五月丁香五月天激情| 99热人人| 66色在线日韩| 人人干人人操人人摸| 色情五月天A片| 五月花亭亭| 国产乱妇乱子伦| 天天操天天日天天操| 天天插天天| 激情五月激情综合网一级丸片| 亚洲狠狠狠色婷婷综合激情久久久| 梁铮版《蜘蛛女侠》在线| 婷婷的激情五月| 色小说婷婷五月天天天| 婷婷丁香成人在线视频| 秋霞学生妹一二级| 婷婷五月天在线综合导航| 丁香五月综合色婷婷| 激情婷婷亚洲五月| 丁香色播五月天| 欧美亚洲婷婷五月| 秋霞三及片| 婷婷五月深爱五月| 开心五月网| 99乱视频| 超碰二区| 精品久久久人妻| 99国产精品久久久久久久久久久 | www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 79色色免费| 久久九九热视频| 一本色道久久综合狠狠躁小说| 色99色| 天天插综合| 色色激情五月天| 精品一二三区久久AAA片| 青青久久91| 久久9久久| 五月婷婷无码| 色五月天综合| 五月天电影网| 另类激情五月在线视频欧美| 午夜爱爱网站| 五月丁香影视| 日韩啪啪自拍| 99热这里只有精品1025| 五月天亚洲最大成人| 五月丁香六月激情欧美综合| 色色亚洲视频| 九九99久久| 成人超碰网| 国产婷婷综合在线免费视频| 91色久| 中文字幕日韩无码制服诱或| 天天干天天插| 婷婷91视频| 思思久久99热只有频精品66| 六月激情网| 日韩人妻无码一区二区| 99热精品6| 久9热| 另类小说五月天| 综合亚洲AV| 狠狠干2007| 五月天伊人久久久久| 五月婷婷激情综合| 色玖玖玖| 夜夜骑日日操| 中文AV网| 男女啪啪做爰高潮无遮挡| 久久婷婷东京热大香樵| 婷婷免费精品视频| 综合五月丁香六月婷婷| 色色色色色色网站| www婷婷色| 亚洲黄色影视| 天天爽天天摸人妻综合网| 五月丁香啪啪啪| 久久99激情| 天天操天天谢| 色噜噜婷婷| 激情碰碰碰| 丁香六月激情综合网| 另类小说色婷婷| 日韩人妻AV在线| 久久狠狠欧美| 午夜丁香综合婷婷| 婷婷丁香五月天熟女丝袜| 五月综合777| 久久丁香| 五月丁香婷草| 天天色色天天| 无码色| 久久九九综合| 99热资源在线| 婷婷丁香黄色| 亭亭社区五月天| www.五月天婷婷| 9久热在线精品| www.深爱激情| 伊人99久久| 激情婷婷五月黑人| www.色99| 东京热免费视频| 五月色婷婷综合| 久久婷婷成人| 97热这里精品在线视频| 婷婷五月天丁香激情| 五月丁香 久久久| 91Chinese在线| 丁香五月花婷婷开心| 激情综合亚洲| 五月丁香婷婷综合久久| 日本色图综合| 六月婷婷最新网址| 久久999久久999久久999久久| 丁香六月青青草| 亚洲天天综合| 亚洲殴洲精品Av在线| 热99这里只有精品视频| 中文字幕在线免费看线人| 色色综合日韩| www.久久| 啪啪啪啪五月天| 婷婷不干网| 亚洲五月情| 色亭亭丁香五月天| AAAA网站| 欧美精品A片一区在线观看| 五月天色丁香| 婷婷婷久久久| 婷婷精品免费久久| 亚洲成人免费电影| 五月丁香六月色| 大香蕉AV在线| 婷婷五月天小说| 天天在线久久综合 | 亚洲婷婷丁香五月在线| 99这里有精品| 99热在线这里只有精品| 电影91久久久| 人人色婷婷| 亚洲视频二区| 深爱激情综合| 五月天小说激情| 五月天色色色网| 思思热在线| 亚洲天堂久久| 国产69久久久欧美黑人A片 | 五月激情婷婷丁香| 亚洲丁香五月深爱五月| 亚洲天堂制| 中文字幕视频在线播放| 高清不卡一区|