欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

四個(gè)開源項(xiàng)目:自動(dòng)架構(gòu)圖、Agent技能庫、本地語音與極簡LLM訓(xùn)練

四個(gè)開源項(xiàng)目:自動(dòng)架構(gòu)圖、Agent技能庫、本地語音與極簡LLM訓(xùn)練 這周的GitHub榜單一圈逛下來我有四個(gè)很值得聊的方向Archify把代碼倉庫自動(dòng)變成架構(gòu)圖、科研Agent技能庫在給Agent補(bǔ)“工具箱”、VoiceStudio把本地語音合成和識(shí)別串成了一條完整鏈路還有MiniMind這樣一個(gè)極簡項(xiàng)目只用6400萬參數(shù)演示了大模型從預(yù)訓(xùn)練到對(duì)話的完整閉環(huán)。前兩個(gè)偏開發(fā)效率后兩個(gè)偏本地化基礎(chǔ)設(shè)施但它們背后有一個(gè)共同信號(hào)開發(fā)者工具的顆粒度正在從“單個(gè)功能”變成“一整套可組裝流程”。這期周刊我干脆把四個(gè)項(xiàng)目拆開把它們各自的原理、實(shí)操思路、坑點(diǎn)一次講透你可以直接拿去用或者根據(jù)自己團(tuán)隊(duì)的情況做技術(shù)選型參考。1. Archify給遺留項(xiàng)目自動(dòng)畫架構(gòu)圖的省心方案1.1 它到底幫你解決了什么接手一個(gè)陌生倉庫尤其是那種沒有文檔、沒有架構(gòu)說明的老項(xiàng)目第一件事通常不是讀代碼而是先搞清楚整套系統(tǒng)有哪些模塊、模塊之間怎么互相調(diào)用。以前我一般打開IDE折疊目錄樹再全局搜索接口手動(dòng)畫一張粗糙的模塊圖但畫完沒過多久代碼一變圖就廢了。Archify這類自動(dòng)架構(gòu)圖生成工具解決的就是“代碼與架構(gòu)文檔永遠(yuǎn)同步”這個(gè)問題。它直接掃描倉庫里的源碼和依賴聲明把文件結(jié)構(gòu)、包與包之間的引用關(guān)系、外部依賴、技術(shù)棧信息整理成可視化的架構(gòu)圖輸出成Mermaid、HTML這類容易嵌入文檔的格式。你要做的只是在每次迭代時(shí)重新跑一遍命令圖就自動(dòng)更新了。這個(gè)價(jià)值在代碼評(píng)審、新人入職、系統(tǒng)重構(gòu)、合規(guī)審計(jì)這些場景里特別明顯尤其是當(dāng)業(yè)務(wù)系統(tǒng)規(guī)模到了一定程度人腦已經(jīng)裝不下所有依賴關(guān)系的時(shí)候。1.2 原理拆解靜態(tài)分析怎么變成架構(gòu)圖它最核心的一步是靜態(tài)代碼分析。通過解析每個(gè)源文件的抽象語法樹AST提取出import、require、include、from ... import這類語句再結(jié)合目錄結(jié)構(gòu)把文件歸屬到邏輯模塊建立起模塊間的依賴邊。這個(gè)過程不執(zhí)行程序所以對(duì)運(yùn)行環(huán)境沒有任何要求拿到源碼就能分析。除了代碼引用它還會(huì)讀各語言的依賴清單文件比如Python的requirements.txt、pyproject.toml、Node.js的package.json、Java的pom.xml用來識(shí)別項(xiàng)目用了哪些第三方庫和框架版本。有了“源碼模塊依賴 第三方依賴 文件倉庫結(jié)構(gòu)”這三層數(shù)據(jù)之后渲染層就可以按需輸出不同形式。Mermaid格式適合直接嵌進(jìn)Markdown文檔里方便在GitLab、GitHub或者內(nèi)部Wiki里展示HTML格式則適合帶交互的網(wǎng)頁能縮放、點(diǎn)擊節(jié)點(diǎn)跳轉(zhuǎn)到對(duì)應(yīng)文件。1.3 實(shí)測上手從安裝到出圖的完整流程安裝Archify只需要Python3.9以上環(huán)境直接通過pip安裝就行。我在一個(gè)中等規(guī)模的后端倉庫上實(shí)測過一次整個(gè)流程大概三步。pip install archify archify --path ./my-project --format mermaid --output arch.md archify --path ./my-project --format html --output ./dist/arch.html第一次跑的是個(gè)Python后端項(xiàng)目幾十個(gè)包、幾百個(gè)模塊輸出很快基本幾秒鐘就出來了。生成的Mermaid內(nèi)容大致是這樣一種組織方式模塊作為節(jié)點(diǎn)包與包之間的import引用作為有向邊倉庫根目錄下的關(guān)鍵啟動(dòng)文件、配置文件會(huì)自動(dòng)標(biāo)注技術(shù)棧信息。你可以把它直接放到README里團(tuán)隊(duì)其他人查看文檔時(shí)就能看到最新的調(diào)用關(guān)系。如果倉庫比較大建議先在配置文件里排除一些不需要關(guān)心的目錄。比如node_modules、dist、build、.git、__pycache__這一類的生成目錄和依賴目錄不看它們是常識(shí)但初次使用很容易忘記配置結(jié)果架構(gòu)圖會(huì)非常亂。多數(shù)工具都支持命令行直接加排除參數(shù)也可以用項(xiàng)目根目錄下的配置文件統(tǒng)一維護(hù)。1.4 幾個(gè)容易踩的坑和選型建議實(shí)操中我遇到最典型的三個(gè)問題一個(gè)是循環(huán)依賴導(dǎo)致圖特別復(fù)雜第二個(gè)是動(dòng)態(tài)語言解析不到某些間接調(diào)用第三個(gè)是大倉庫內(nèi)存占用偏高。循環(huán)依賴在業(yè)務(wù)項(xiàng)目中太常見了。模塊A引BB引CC又引A如果全畫出來圖上會(huì)多出一堆無意義的回環(huán)。我的建議是第一版先按“只畫第一層依賴”或“按包聚合”來控制粒度先看整體邊界再鉆到局部細(xì)節(jié)。動(dòng)態(tài)語言的間接調(diào)用比如Python里用字符串動(dòng)態(tài)導(dǎo)入、反射調(diào)用靜態(tài)分析是抓不到的。這類代碼本質(zhì)上也是可維護(hù)性比較差的代碼架構(gòu)圖正好能幫你暴露它們。內(nèi)存方面上百M(fèi)B級(jí)別的大倉庫掃描過程中確實(shí)會(huì)占內(nèi)存建議在CI環(huán)境里專門分配一臺(tái)小規(guī)格的機(jī)器執(zhí)行掃描任務(wù)把結(jié)果作為構(gòu)建產(chǎn)物保存而不是放在本地反復(fù)跑。如果要在多個(gè)方案里做選型我建議按幾個(gè)維度評(píng)估支持的語言范圍是否覆蓋團(tuán)隊(duì)主力語言、能不能輸出適合你文檔體系的格式、是否支持排除規(guī)則、社區(qū)維護(hù)頻率怎么樣。工具本身不解決架構(gòu)設(shè)計(jì)問題它只把現(xiàn)狀真實(shí)還原出來但有時(shí)候“看清現(xiàn)狀”恰恰是最難的一步。2. 科研Agent技能庫給大模型配工具箱的正確做法2.1 技能庫和Prompt模板到底差在哪這兩年聊Agent的人很多但我發(fā)現(xiàn)很多團(tuán)隊(duì)做出來的東西本質(zhì)上還是“加強(qiáng)版對(duì)話機(jī)器人”你把任務(wù)寫進(jìn)Prompt里模型用自身能力硬答答不出來就胡編??蒲袌鼍熬秃軐擂我?yàn)檎撐臋z索、PDF解析、數(shù)據(jù)提取、參考文獻(xiàn)格式化這些動(dòng)作每一個(gè)都需要調(diào)用外部工具都不適合讓大模型憑想象完成。技能庫就是把這類“可執(zhí)行的原子能力”沉淀成標(biāo)準(zhǔn)化模塊Agent在接到請(qǐng)求時(shí)先判斷該調(diào)用哪個(gè)技能再由技能去完成確定性的操作。把Agent比作一個(gè)大廚Prompt是菜譜里的文字描述技能庫則是案板、刀具、爐灶。你光把菜譜背得再熟也做不出菜必須有能直接操作的廚具??蒲蠥gent技能庫的價(jià)值就在于把那些重復(fù)的、確定性的、容易出錯(cuò)的操作從Prompt里剝離出來交給代碼處理。這樣既減少了大模型幻覺又大幅提高了結(jié)果的精確度。2.2 一個(gè)科研Agent的技能清單應(yīng)該怎么拆我在拆一個(gè)科研Agent的方案時(shí)通常會(huì)先把科研工作流拆成人能完成的動(dòng)作再逐個(gè)抽象成技能。大致會(huì)落到這么幾類文獻(xiàn)檢索、論文獲取、內(nèi)容解析、結(jié)構(gòu)化提取、知識(shí)管理、狀態(tài)追蹤。下面是我在項(xiàng)目里常用的一套技能劃分支持按需去掉或增加技能名稱核心功能輸入輸出search_literature檢索論文元數(shù)據(jù)關(guān)鍵詞、年份、期刊論文列表摘要fetch_pdf下載開放獲取的PDFDOI/URL本地文件路徑extract_references從PDF中抽取參考文獻(xiàn)PDF路徑結(jié)構(gòu)化參考文獻(xiàn)列表extract_table抽取論文表格數(shù)據(jù)PDF路徑、頁碼Markdown表格summarize_paper論文摘要核心貢獻(xiàn)點(diǎn)PDF路徑結(jié)構(gòu)化摘要query_knowledge_base查詢本地向量庫自然語言問題相關(guān)文本片段track_reproducibility檢查代碼/數(shù)據(jù)可復(fù)現(xiàn)性倉庫地址/數(shù)據(jù)鏈接檢查報(bào)告這套劃分有幾個(gè)好處每個(gè)技能的輸入輸出邊界清晰可以獨(dú)立測試技能之間可以組合比如先檢索再下載再解析再摘要有問題的環(huán)節(jié)能單獨(dú)替換不影響整條鏈路。2.3 技能庫的實(shí)現(xiàn)套路和代碼骨架實(shí)現(xiàn)方式并不神秘本質(zhì)上就是把每個(gè)技能包裝成一個(gè)函數(shù)給一套統(tǒng)一的輸入輸出協(xié)議然后注冊(cè)到Agent運(yùn)行時(shí)的工具清單里。下面是我常用的一種定義方式兼容OpenAI function calling和LangChain工具接口的思路。import json from dataclasses import dataclass, field dataclass class Tool: name: str description: str parameters: dict func: callable def to_openai_schema(self): return { type: function, function: { name: self.name, description: self.description, parameters: self.parameters, } } def run(self, **kwargs): return self.func(**kwargs) def search_literature(keyword: str, year_from: int None, year_to: int None): # 真實(shí)場景在這里調(diào)用論文API return {items: [{title: 示例論文, year: 2026}]} def fetch_pdf(doi: str, save_dir: str ./papers): # 真實(shí)場景在這里下載PDF return {path: f{save_dir}/{doi.replace(/, _)}.pdf} skills [ Tool(namesearch_literature, description按關(guān)鍵詞檢索科研論文, parameters{ type: object, properties: { keyword: {type: string, description: 檢索關(guān)鍵詞}, year_from: {type: integer}, year_to: {type: integer} }, required: [keyword] }, funcsearch_literature), Tool(namefetch_pdf, description通過DOI下載PDF論文, parameters{ type: object, properties: { doi: {type: string, description: 論文DOI} }, required: [doi] }, funcfetch_pdf), ] # 最終把skills列表傳給Agent框架大模型負(fù)責(zé)決策調(diào)用哪個(gè) schema_list [s.to_openai_schema() for s in skills]實(shí)際項(xiàng)目中技能函數(shù)內(nèi)部會(huì)做更多細(xì)節(jié)調(diào)用API時(shí)處理限流和重試、解析PDF時(shí)做OCR預(yù)處理、向量庫檢索時(shí)做召回率調(diào)優(yōu)。但外層協(xié)議基本都是這個(gè)模式。這里有個(gè)關(guān)鍵點(diǎn)在參數(shù)設(shè)計(jì)上參數(shù)Schema寫得越具體模型就越不容易瞎猜參數(shù)所以description字段不要省能寫多清楚就寫多清楚。2.4 skill與agent的邊界別再把概念混著用GitHub熱詞區(qū)里經(jīng)常有人搜“skill和agent的區(qū)別”說明這個(gè)混淆非常普遍。skill是可復(fù)用的原子能力比如“讀取PDF”“檢索文獻(xiàn)”“發(fā)郵件”agent是擁有決策能力的執(zhí)行主體它會(huì)不斷思考“下一步該調(diào)用哪個(gè)技能”“當(dāng)前結(jié)果夠不夠”。一句話總結(jié)就是agent是大腦skill是手和腳。還有一個(gè)相近的概念是tooltool更偏底層接口skill可以建立在tool之上。比如內(nèi)部封裝了一個(gè)send_request函數(shù)作為tool而“查論文”這個(gè)skill由多個(gè)tool組合而成。workflow則偏預(yù)定義的流程像流水線一樣按固定順序執(zhí)行而Agent代表無序、動(dòng)態(tài)決策的執(zhí)行模式。開發(fā)的時(shí)候如果分不清很容易把所有的邏輯都堆進(jìn)Prompt里或者把Agent類寫得非常臃腫。我的設(shè)計(jì)習(xí)慣是確定性操作優(yōu)先下沉為技能技能之上只保留一個(gè)輕量決策層這樣調(diào)試成本最低。3. VoiceStudio本地語音把TTS和ASR全套塞進(jìn)自己電腦3.1 為什么非要在本地跑語音現(xiàn)在很多語音API調(diào)用很方便但一涉及真實(shí)業(yè)務(wù)就暴露問題數(shù)據(jù)隱私保不住錄音內(nèi)容全要傳到對(duì)方服務(wù)器調(diào)用量大了成本高按分鐘計(jì)費(fèi)跑一個(gè)晚間批處理任務(wù)可能燒掉不少費(fèi)用網(wǎng)絡(luò)一抖延遲就起來體驗(yàn)很差。VoiceStudio這類本地語音項(xiàng)目的思路是把文本轉(zhuǎn)語音、語音識(shí)別、聲音克隆這些能力全放到自己的機(jī)器上數(shù)據(jù)不出內(nèi)網(wǎng)一次部署之后無限調(diào)用還能自己微調(diào)音色。適合本地語音方案的人很典型做播客和短視頻配音的團(tuán)隊(duì)、有聲音資產(chǎn)需要批量轉(zhuǎn)寫的媒體機(jī)構(gòu)、做智能客服但不想把客戶聲音外傳的公司、以及做個(gè)人助理類應(yīng)用又不想付API費(fèi)用的開發(fā)者?,F(xiàn)在的開源模型在中文、英文、日語等多種語言上的表現(xiàn)已經(jīng)很能打配合適當(dāng)?shù)奈⒄{(diào)音色自然度和穩(wěn)定性完全夠用。3.2 核心組件與選型一條完整的本地語音鏈路通常包含兩大部分TTS負(fù)責(zé)文字變語音ASR負(fù)責(zé)語音變文字中間還可能加一個(gè)聲音克隆模塊。TTS這塊常見的開源方案有Coqui TTSXTTS-v2、GPT-SoVITS以及老牌的VITS和FastSpeech2系列。ASR這邊主流是OpenAI Whisper系列和它在中文場景下的加速版faster-whisper中文效果口碑不錯(cuò)的還有FunASR。為了做聲音克隆經(jīng)常還要用到強(qiáng)制對(duì)齊工具M(jìn)FA來生成時(shí)間戳標(biāo)注幫助模型學(xué)會(huì)“哪段音對(duì)應(yīng)哪個(gè)字”。選型時(shí)可以按照自己的使用場景來對(duì)比組件常見方案適合場景顯存參考特點(diǎn)TTS引擎Coqui TTS XTTS-v2多語種、聲音克隆4GB以上語氣自然安裝友好TTS引擎GPT-SoVITS中文語音克隆、二次元音色6GB以上少樣本效果好要求數(shù)據(jù)清洗TTS引擎VITS/FastSpeech2固定音色合成2GB以上模型輕量適合嵌入式ASR引擎faster-whisper轉(zhuǎn)寫速度快4GB以上內(nèi)存、速度優(yōu)化明顯ASR引擎FunASR中文語音識(shí)別、熱詞定制2GB以上中文場景有優(yōu)勢強(qiáng)制對(duì)齊MFA生成音素時(shí)間戳4GB以上訓(xùn)練克隆模型的前置工具3.3 復(fù)現(xiàn)一條本地語音Pipeline的實(shí)操記錄本地語音鏈路通常分三步環(huán)境準(zhǔn)備、模型部署、串成服務(wù)。我以一臺(tái)帶NVIDIA顯卡的Linux機(jī)器為例建議用conda隔離環(huán)境。conda create -n voicestudio python3.10 -y conda activate voicestudio pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install coqui-tts faster-whisper gradio pip install gpt-sovits # 如果你要用少樣本聲音克隆環(huán)境裝好后先從TTS開始驗(yàn)證。比如用XTTS-v2做一次基礎(chǔ)合成代碼很短加載模型后直接調(diào)用。國內(nèi)網(wǎng)絡(luò)下載模型文件如果慢可以用代理或者手動(dòng)下載后放到緩存目錄這一步取決于你的部署環(huán)境。如果你沒有GPUCPU模式也能跑只是速度會(huì)慢不少建議重點(diǎn)場景還是備一張至少4GB顯存的顯卡。from TTS.api import TTS tts TTS(tts_models/multilingual/multi-dataset/xtts_v2).to(cuda) tts.tts_to_file(text這是VoiceStudio本地語音的一次實(shí)測。, file_pathoutput.wav, speaker_wavref_voice.wav, languagezh-cn)ASR部分用faster-whisper可以很短代碼實(shí)現(xiàn)加載模型后直接轉(zhuǎn)寫音頻文件。實(shí)際測試?yán)镆欢螏追昼姷囊纛l轉(zhuǎn)寫GPU上幾乎是幾秒到十幾秒的程度效果很穩(wěn)。from faster_whisper import WhisperModel model WhisperModel(large-v3, devicecuda, compute_typefloat16) segments, info model.transcribe(output.wav, languagezh) for s in segments: print([%.2fs - %.2fs] %s % (s.start, s.end, s.text))最后如果你不滿足于合成聲音想克隆某個(gè)人的音色就需要走GPT-SoVITS這一條路。它的流程一般是準(zhǔn)備5到50條干凈的人聲樣本用MFA進(jìn)行強(qiáng)制對(duì)齊生成標(biāo)注然后在項(xiàng)目里做訓(xùn)練集格式化、特征提取、微調(diào)。微調(diào)完成后輸入一段文字就能用克隆音色生成語音。樣本量不需要很大但每一條都不能有噪聲、混響、背景音樂這一點(diǎn)怎么強(qiáng)調(diào)都不過分。3.4 音色、質(zhì)量和成本的平衡經(jīng)驗(yàn)本地語音的方案調(diào)好之后很香但調(diào)試過程有幾個(gè)坑躲不掉。數(shù)據(jù)集就是最大的坑樣本不干凈模型學(xué)到的就是房間混響和電流聲合成結(jié)果出來有一種“在水缸里說話”的感覺。第二個(gè)坑是多音字和數(shù)字讀法TTS模型在中文多音字上偶爾翻車解決思路是給文本做預(yù)標(biāo)準(zhǔn)化把數(shù)字、英文符號(hào)提前轉(zhuǎn)成目標(biāo)讀音比如“2026年”在特定語境里轉(zhuǎn)成“二零二六年”還是“兩千零二十六年”取決于讀法習(xí)慣。第三個(gè)坑是顯存。Whisper large-v3加XTTS同時(shí)掛著再跑一個(gè)GPT-SoVITS的推理顯存很容易吃緊。你可以用compute_typeint8縮減顯存占用或者把推理服務(wù)用隊(duì)列串起來串行處理而不是并發(fā)避免OOM。合成速度上如果追求實(shí)時(shí)性可以考慮用更小的模型比如XTTS-v2的輕量版本或者VITS小模型犧牲一點(diǎn)音質(zhì)換速度。我的建議是正式業(yè)務(wù)里一定要加一道人工抽檢或者規(guī)則質(zhì)檢比如檢測音頻時(shí)長是否異常、靜音比例是否過高、是否出現(xiàn)爆音別讓帶病的音頻直接上線。4. MiniMind6400萬參數(shù)從零訓(xùn)練一個(gè)能對(duì)話的GPT4.1 一個(gè)小到能看懂的LLM項(xiàng)目能帶來什么訓(xùn)練大模型這件事聽上去門檻很高但如果你只是想搞懂GPT是怎么吃數(shù)據(jù)、怎么長出能力的沒必要非得上百億參數(shù)起步。MiniMind就是這樣一個(gè)項(xiàng)目它把模型壓縮到6400萬參數(shù)也就是0.064B級(jí)別用單卡就能跑通全流程代碼量非常小每一行都看得懂。6400萬參數(shù)是什么概念它比現(xiàn)在動(dòng)輒幾十B、上百B的大模型小了幾百倍但它具備了完整的Transformer語言模型結(jié)構(gòu)詞嵌入層、多層自注意力、前饋網(wǎng)絡(luò)、層歸一化、殘差連接一個(gè)不少。用它的意義不在于拼效果而在于用最小成本驗(yàn)證你對(duì)整個(gè)訓(xùn)練管線的理解。訓(xùn)練數(shù)據(jù)、分詞器、預(yù)訓(xùn)練、監(jiān)督微調(diào)、偏好對(duì)齊、推理采樣這些環(huán)節(jié)全都能端到端跑一遍以后你再去看千億參數(shù)模型的訓(xùn)練框架思路會(huì)清晰非常多。4.2 核心配置與訓(xùn)練數(shù)據(jù)設(shè)計(jì)一個(gè)典型的6400萬參數(shù)左右的模型我按常見極簡GPT結(jié)構(gòu)給你拆一下配置你可以根據(jù)自己的理解調(diào)整配置項(xiàng)參考值說明詞表大小16384中文場景用BPE詞表不需要太大上下文長度512小模型適合短文本起步隱藏層維度512代表embedding和每層輸出的維度層數(shù)8Transformer解碼器層數(shù)注意力頭數(shù)8每頭維度64參數(shù)量約6800萬具體計(jì)算包含embedding和輸出層這個(gè)配置在下游任務(wù)上可能提升空間有限但它做訓(xùn)練實(shí)驗(yàn)完全夠用。數(shù)據(jù)方面建議選干凈的公開數(shù)據(jù)源比如中文維基、開源網(wǎng)頁語料、代碼片段混合。數(shù)據(jù)處理有幾個(gè)看似不起眼但特別關(guān)鍵的步驟去重去噪、統(tǒng)一標(biāo)點(diǎn)、按上下文長度切塊、去掉過短和空文檔。有些人在小模型上折騰半天loss不降最后發(fā)現(xiàn)是原始語料里混了大量亂碼和HTML標(biāo)簽?zāi)P鸵恢痹趯W(xué)噪聲。訓(xùn)練時(shí)還涉及到顯存估算。6400萬參數(shù)用float16存模型權(quán)重大約是128MB梯度也要一份AdamW優(yōu)化器狀態(tài)還要額外存一份加上激活值整體大概幾個(gè)GB所以一張24GB顯存的消費(fèi)級(jí)顯卡非常寬裕。這意味著你可以把絕大部分精力放在調(diào)數(shù)據(jù)、調(diào)超參和理解訓(xùn)練過程上而不是跟資源斗智斗勇。4.3 預(yù)訓(xùn)練、SFT、DPO三階段實(shí)操流程流水線一般分三個(gè)階段。預(yù)訓(xùn)練階段目標(biāo)最簡單就是讓模型學(xué)會(huì)“接下一句話”。用標(biāo)準(zhǔn)cross entropy預(yù)測下一個(gè)token把所有的數(shù)據(jù)轉(zhuǎn)成input_ids序列每個(gè)樣本做成形狀為(seq_len,)的向量整理成固定batch。這里有一個(gè)細(xì)節(jié)要注意通過設(shè)置ignore_index-100把padding部分的損失屏蔽掉否則模型的大部分精力都花在學(xué)預(yù)測空字符上。SFT階段是把模型從“能續(xù)寫”變成“會(huì)對(duì)話”。你需要準(zhǔn)備問答對(duì)把指令和回答拼成模板比如“用戶問...\n助手答...”。關(guān)鍵在于把用戶問題部分的token對(duì)應(yīng)的損失也mask掉只計(jì)算回答部分的損失這樣才能逼模型學(xué)會(huì)回答而不是復(fù)述問題。DPO階段則是讓模型學(xué)會(huì)“哪種回答更符合人類偏好”需要構(gòu)造偏好數(shù)據(jù)對(duì)同一個(gè)問題一個(gè)更好的回答一個(gè)較差的回答讓模型在訓(xùn)練中拉開兩者的概率差距。DPO實(shí)現(xiàn)起來相比RLHF精簡很多適合小項(xiàng)目里跑通邏輯。下面是預(yù)訓(xùn)練階段最簡主循環(huán)的示意基本可以套用import torch def train_step(model, batch, optimizer, scheduler): model.train() input_ids batch[input_ids] labels batch[labels] outputs model(input_idsinput_ids, labelslabels) loss outputs.loss loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() scheduler.step() optimizer.zero_grad() return loss.item()訓(xùn)練完以后推理階段用自回歸解碼。最樸素的采樣就是從當(dāng)前上下文開始預(yù)測下一個(gè)token再把token拼回去繼續(xù)預(yù)測下一個(gè)。top_p和temperature這兩個(gè)參數(shù)對(duì)輸出風(fēng)格影響最直接temperature偏高容易發(fā)散偏低容易帶重復(fù)top_p則是在累計(jì)概率閾值內(nèi)保留候選詞配合使用效果比較好。我自己的習(xí)慣是temperature設(shè)0.7到0.9top_p設(shè)0.8到0.9在創(chuàng)造性和穩(wěn)定性之間取平衡。4.4 訓(xùn)練過程的典型翻車現(xiàn)場與排查清單我猜你大概率也會(huì)遇到幾個(gè)問題。Loss不降第一反應(yīng)查學(xué)習(xí)率太小學(xué)不動(dòng)太大會(huì)震蕩建議0.0001到0.0003附近起步然后查數(shù)據(jù)確認(rèn)沒有大段亂碼再查分詞器確認(rèn)詞表沒有全是未登錄詞。Loss降了但生成的都是重復(fù)內(nèi)容要么是數(shù)據(jù)量太小模型過擬合了要么是采樣參數(shù)太貪心可以調(diào)大temperature、降低訓(xùn)練epoch數(shù)或者加一點(diǎn)dropout。顯存OOM多半不是因?yàn)槟P痛蠖羌せ钪堤?。解決順序是先降batch size再降seq_len再用gradient accumulation湊回有效batch大小。DPO階段如果在reference model和policy model都加載的情況下爆顯存可以把reference model的logits預(yù)先緩存下來省掉一大部分顯存開銷。訓(xùn)練過程記得定期保存checkpoint不光保存最終模型也要保存優(yōu)化器狀態(tài)這樣中斷了能恢復(fù)不用重新跑。我自己的習(xí)慣是至少每500到1000步存一次訓(xùn)練日志里記錄loss、lr、token吞吐量后面分析問題都有據(jù)可查。5. 本周開源趨勢的幾個(gè)共性觀察5.1 四件事其實(shí)在說同一個(gè)方向把Archify、科研Agent技能庫、VoiceStudio、MiniMind放在一起看你會(huì)發(fā)現(xiàn)它們有一個(gè)共同點(diǎn)都在幫開發(fā)者把原本依賴黑盒、依賴云端、依賴昂貴服務(wù)的事情變成本地可運(yùn)行、可調(diào)試、可定制的東西。Archify把“讀懂代碼”自動(dòng)化Agent技能庫把“讓大模型干活”從玄學(xué)變成工程VoiceStudio把語音能力從API依賴變成基礎(chǔ)設(shè)施MiniMind把大模型訓(xùn)練從神話變成可動(dòng)手的實(shí)驗(yàn)。說白了整個(gè)行業(yè)正在把AI能力從“調(diào)用”往“自建”方向推這對(duì)手上愿意花時(shí)間折騰的開發(fā)者是很大的紅利。5.2 繼續(xù)挖下去我建議你這樣用面對(duì)這種趨勢我建議別光看star數(shù)和README。拿到項(xiàng)目以后先把demo跑起來再讀它的實(shí)現(xiàn)和依賴最后嘗試改一個(gè)小功能比如讓Archify忽略某個(gè)自定義目錄、給VoiceStudio加一種新的提示音、給MiniMind加一段自己的數(shù)據(jù)。改一個(gè)東西的過程中你對(duì)這個(gè)項(xiàng)目的理解會(huì)遠(yuǎn)超你讀十遍文檔。5.3 判斷一個(gè)開源項(xiàng)目值不值得用的個(gè)人標(biāo)準(zhǔn)最后分享一個(gè)我選開源項(xiàng)目時(shí)的判斷套路。第一看維護(hù)活躍度重點(diǎn)看commit頻率和issue回復(fù)速度star多不代表活躍第二看依賴重不重一個(gè)想做簡單的架構(gòu)圖工具如果引入幾十個(gè)依賴后續(xù)維護(hù)會(huì)很痛苦第三看文檔和示例的完整度文檔寫不寫得清楚直接影響你把它集成到業(yè)務(wù)里的成本。我用這個(gè)標(biāo)準(zhǔn)淘汰過很多看著很熱鬧但根本落不了地的項(xiàng)目。這周的四個(gè)項(xiàng)目在這幾個(gè)維度上都還算健康至少值得你花一個(gè)周末親手跑一遍。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产人妻777人伦精品HD| 天天综合色99| 天天日天天色| 九九热黄色| 久久免费精彩视频| 欧美日韩成人高清在线| 这里只有国产精品在线| 亚洲欧洲国产精品| 久久精品五月| 婷婷综合丁香| 亭亭五月丁香五月天激情| 五月天久久成人| 91免费看片| 亚洲精品99| 天天日天天色| 婷婷5月九九| 99玖玖免费视频| 亚洲久热| 91精品久久久久久久久久久久| 狠狠操狠狠操| 亚洲视频在线观看| 丁香婷婷色五月| 啪啪婷婷五月天激情| 91九色精品女同系列| 六月婷婷网站| 五月丁香啪啪拍| 婷婷五月丁香99| 超碰人人操在线| 亚洲激情97五月天| 色综合网综合| 色欲香综合网| 丁香五月激情站| 色婷婷综合综合网| 9视频1在线| 成 人片 黄 色 大 片| 六月丁香网| 久热视频这里只有精品68| 狠狠色狠狠| 色欲色香综合网站| 五月天丁香看婷婷| www.激情五月天.con| 色综合色| 天天色情站| 91丨九色丨熟女高潮| 99亚州综合精品成人网| 深夜激情网| ss99热| 激情久久五月天| 婷婷丁香色女人| 色五月天婷婷| 狠狠爱综合网| 色爱综合网| 人妻激情综合| 天天插天天射| 六月婷婷激情| 国产精品VIDEOSSEX久久发布| 午夜丁香| 五月色网| 综合天堂AV久久久久久久| 久久久久9| 激情小说五月天| 成人av在线网址| 婷婷开心五月| 欧美精品18| 日本成人噜噜噜噜噜| 日本久久人人| 思恩热国产视频右线观看| 色婷婷久久综合久色综| 色激情综合| 玖玖婷婷五月| Av狠狠色丁香婷| 操操操操操操婷婷五月天| 久操激情| 色综合久久五月| 色色综合无码| 日日射天天射| 思思久久精品| 日日爱678| 久9视频| 久久与婷婷| www.91婷婷| 综激情网| 精品人妻伦| 婷婷色女| 26uuu欧美宗合| 九九性视频| 五月综合婷婷久久在线| 天天干天天爽天天爽| 91精品91久久久中77777| 九九精品网站| 五月丁香婷中文字幕| 婷婷在线操| 人妻久久久久久久久| 天天干天天 亚洲| 久久成人综合五月天| 99热这里只有精品96| 青青草视频福利| 五月丁香婷在线| 久热在线观看视频9| 丁香色影院| 亚洲综合999| 亚洲不卡| 5月丁香六月婷婷| 四色AVwww| 第五色婷婷| 丁香六月激情| 亚洲成AV人片在线观看| 五月丁香另类图片| 99只有这里是精品| 欧美啪啪9| 操逼巨乳91| 五月丁香婷中文| 婷婷激情图片| 欧美综合五月丁香六月婷| 婷婷久久大香蕉| 97干在线视频精品店| 丁香五月伊人| 久操无码| 色狠狠综合网| 99热偷拍| 男人的天堂在线婷婷| 午夜婷婷久久| 思思久久思思| 欧美内射AA| 丁香色婷婷| AV网址大全在| 五月激情久久综合| 天天狠天天叉| 99色在线观看视频| 精品一二三区久久AAA片| www亚洲无码| 激情网第九色| 久久久免费精彩视频| 天天干 夜夜爽| 午夜]香婷婷深深爱| 国产综合视频婷婷| 激情五月婷婷五月丁香五月开心五月 | site:feetmall.com| 丁香五月天啪啪| 99综合| 激情综合五月丁香| 五月婷婷日| 婷婷六月激情小说网| 欧洲精品欧洲情| 99热大片| 在线观看免费视频| 9精品在线| 婷婷丁香五月精品| 97色色网| 色呦呦免费观看| 噜噜久| 久久三级视频| 激情骚五月| 久久综合丁香五月| 五月天婷婷伊人| 狠狠狠狠狠干| 亚洲天堂99| 天天色天天舔天天爱天天爽| 99re8在这里只有精品| 九九美女视频| 天天操夜夜橾| 九九99视频精品| 久久激情综合| 久久综合婷婷| 久久久性爱视频| 香蕉人妻AV久久久久天天| 五月丁香 啪啪| 很很干天天干| 成人网页在线观看| 色色哒五月婷婷六月丁香| 久久五月丁香| 草榴视频网| 天天干夜夜欢| www.五月天色色.com| 丁香深五月婷婷| 色婷婷丁香五月在线| 91九色精品女同系列| 九九精品9| 五月丁香啪啪激情| av国产精品| 性韩日色婷婷五月天激情啪啪XXX| 婷婷激情小说| A1片久久久| 深爱五月网| 激情性爱五月天网页| 婷婷亚洲天堂| 久久曰曰| 六月婷五月丁香| 欧洲色区| 色婷婷五月天不卡| 激情五月婷婷色色| 超碰男人色| 五月天婷婷綜合院| 91久久久久久| 精品欧美一区二区三区久久久 | 精品一二三区久久AAA片| 99久热在线精品| 婷婷社区五月天| 丁香伊人网| 日本超碰在线| 婷婷五月花| 午夜成人天堂久久无码日韩久久| 99日韩| 久操操| 99久久久国产大片| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 中文字幕成人版| 99亚洲大片精品永久在线观看| www.婷婷| 久久视频这里有精品99| 午夜丁香| 啪啪日本欧美| 97视频91| 桔色成人官方网站| 操人精品| 色色婷婷五月| 99热99色| 性色欲情 网站| 丰满老熟妇BBBBB搡BBB| 天天干天天干天天操| 色综合色| 秋霞黄色一级久久| 欧美黄色一级录像| 激情五月天综合网| 色婷婷99| 久久婷婷青青| 超碰猛烈的性猛交| 亚洲色五月天是什么| 日本色啪| 五月亭亭六月天| 五月天综合缴情网网站0| 91九色|疯狂|高潮|对白|| 狠狠干综合网| 91九色在线| 四LLL少妇BBBB槡BBBB| 日日干干天天干| 97性高潮久久久| 久久激情五月天| 五月天另类小说亚洲| αv中文字幕在线观| 99久久极情精品一区| www久久久久久久97| 丁香六月啪啪| 天堂五月婷婷| 丁香五月狠狠综合欧美| 日韩AV中文字幕在线| 五月天综合色| 丁香五月综合在线| 五月婷婷啪啪啪| 强壮公让我夜夜高潮A片视频| 天天天天爽爽天干| 做爱夜夜干天天操| 婷婷色中文| 九九久久精品| 成人一级片| 激情黄色五月天| 婷婷丁香综合| 亚洲视频在线网站| 中文AV网站| 热成人网| 五月天激情Av| 激情五月综合网| 亚洲成人av在线观看| 色噜噜狠狠一区二区三区| 五月婷婷六月开心| 狠狠干狠狠干狠狠干狠狠干| 丁香无月在线观看| 天天久久狠狠色综合| 91国产精品视频播放| 婷婷五月天开心网| 五月色婷| 色色狼人综合| 五月丁香婷婷深深爱| 日韩欧美四五区| 色综合九九色综合88| 日本韩国视频在线观看社区免费的9| 丁香九月婷婷| 九九色影视| 日日爽日日| 亚洲Av入口| 91久久久久久| 99ri精品| 久色激情| 大香久久伊人网| 久久在线视频免费观看| 丰满人妻一区二区三区| 国产99热| 婷婷久久五月天| 97操碰在线视频| 婷婷五月久久| 婷婷九月丁香久久| www.狠狠干com| 99r久久这里只有精品| AV在线中文| 五月婷婷九九热| 婷婷丁香五月天色色| 国产乱子轮XXX农村| 五月激情六月综合| 色五月天综合网| 色综合久久44| 婷婷五月天精品| 天堂综合久久| 五月婷婷色影院| 中文成人在线| www.婷婷五月| 9久久精品| 五月天婷婷社区| 久久只有18视频| 久久色区| 亚洲综合五月天婷婷丁香| av大香蕉| 亚洲超碰在线| www.五月天| 久久98| 99色色网| AA片在线观看视频在线播放| 在线视频九色97| www久久久久久久久久久| 色色欧美。| 五月J香蕉婷婷| 九九亚洲天堂| 在线一起草av| 五月色色网| 色色五月天激情| 深爱婷婷基地| 伊人丁香婷婷东京| 欧美激情综合五月色丁香| 九九色热| 99热这里只有精品5| 26uuu精品一区二区| 激情小说婷婷| 99色人| 成人在线免费网址| 伊人干综合| 国产伊人五月天| 激情五月综合ì香亚洲| 怡红院一二三| 91免费看片| 综合网亚洲| 精品国产乱码久久久久久免费| 性爱久久| 99燥99日| 99热这里有精品首页10| 五月丁香激情片| 色婷婷在线视频久| 看久久性爱视频| 性天天中文网| 97在线/亚洲| 亚洲操操| 狠狠爱丁香婷| 日本超碰在线| 婷婷视频在线| 天天干狠狠| 91精品激情9| 九月丁香八月婷婷久久综合久97| 五月色综合| 色亚洲婷婷| 5月婷婷激情在线| 久久久激情视频| 国产精品一区在线观看你懂的| 九九精品9| 激情五月婷| 丁香婷婷免费| 欧美啪啪9| 精品人妻伦九区久久AAA片| 婷婷色资源| 色狠狠色综合久久久绯色AⅤ影视| 激情文学天天| 夜夜操夜夜操| 丁香五月五月婷婷欧美大香蕉| Caop在线| 久久99久久99精品免观看软件| 性热视频99精品| 日本欧美成人片AAAA| 亚洲色图日韩网址| 激情网第四色| 免费视频99| 激情综合丁香| 丁香五月大片| 久久九九综合| 99久久五月婷婷| 欧美网站视频4399| 久99久热只有精品国产99| 久久婷婷五月丁香网| 国产在线网| 亚洲av成人在线| 亚洲成人电影aaaa| 色婷婷五月天偷拍| 成人婷婷| 激情激情激情网| 综合色99| 婷婷久久精品| 九九这里有精品| 91啪啪视频| 九九色黄色| 日本熟女视频一区二区| 日韩人妻无码精品| 色婷婷性爱| 色五月五月天| 蜜桃人妻无码AV天堂三区| 久热欧美| www.yw色| 五月天婷婷丁香导航| 综合六月久久| 啪啪干伊人婷婷| 99精品自拍| 丁香六月av| 韩国久久少妇视屏| WWW色五月| 性色播| 99啪99| 久草婷| 婷婷六月激情丁香| 色婷插| 久久这里面只有精品视频| 色五月天丁香婷婷| 国产.亚洲.欧洲视频在线| 五月丁香淫淫婷婷婷| 变态 另类 在线| 婷婷五月天色综合翘| 欧美日韩aaa| 老司机伊人| 伊人色五月| 欧州色色| 六月丁香狠狠爱| 婷婷亚洲欧美丁香五月| 一区二区三区XXXXXX| 99热成人在线观看| 丁香五月欧美婷婷| 99爱视频在线播放| 色婷婷瘦婷婷日韩| 亚洲人人操| 色婷婷久久视屏| 日本色视| 99九九精品视频| 人妻九九九九| 五月婷婷在线短视频| 免费视频99| 久久九九怡红院| 开心激情综合| 九九九九九无码| 亚洲免费婷婷| 99热爱爱干干日| 97干欧美| 激情深爱婷婷网| 久综合网| site:feetmall.com| 亚洲一二三网| 丁香婷婷色色| 丁香午月AV中文字幕| 久99热| 丁香六月婷婷高清| 五月丁香A片| 天天干天天干天天干天天干天天干| 老师把我爽高潮了免费A片| 婷婷婷婷婷婷婷婷| 九九亚洲综合| 国产亚洲精品久久久久久豆腐| 丁香五月狠狠综合欧美| 超碰色人妾| 91色逼| 夜夜夜天天操| 婷婷五月天99综合网站| 亚洲激情综合| 538在线| 五月丁香六月激情网站| 激情婷婷五月天| 五月天伊人综合| 九九热这里| 五月天欧美 另类小说| 欧美97超碰| 五月天成人在线视频网站| 久久久8| 亚洲色久| 夜夜爱网站| 黄网网站在线播放| 中文字幕在线免费观看视频| 五月草影视| 亚洲无码yw| 91蜜桃婷婷狠狠久久综合9色| 色综合色综合网| 六月丁香色色| Aaa久久| 另类综合激情| 五月综合缴情网| 99久久久免费| www99精品亚| 亚洲激情AV| 色综合综合色| 快乐激情五月色婷婷| 伊人99久久| 99操碰| 五月天久久丁香| 日本色道视频网站| 六月丁香开心婷婷欧美| 人人操av| 日屌日日操日日色| 激情五月伊人婷婷| 国产97色在线 | 日韩| 六月丁香网| 亚洲激情另类| 丁香六月激情蜜桃| 99热在线观看免费中文| 国产伊人大香蕉| 东京热免费视频| 五月婷婷六月色| www.狠狠干| 91肏| 日韩啪图| av免费在线看不卡无毒| 囯产精品久久欠久久久久久九大| 久久六月天| 激情婷婷五六月天| 九九AV| 久草免费福利视频| 天天干天天干天天干| 中文av网| 天天操夜夜橾| 我要射综合| 婷婷五月成年人| 激情久久久久久久久| se色婷婷视频| 日本人妻伦在线中文字幕| 久月婷婷| 丁香色成人| 激情五月天激情小说| 色视五月天婷婷| 人人爱干人人爱草| 99综合免费视频| 日韩日比视频| 五月丁香婷婷婷激情爱爱| 成人国产欧美大片一区| 99re免费精品视频| 婷婷五月丁香啪啪| 五月激情婷婷国产精品久久久久久| 色婷婷欧美在线| 色综合夜夜| 4399在线日本A片| 99九九视频| 丁香五月婷婷婷桃花影院| 久综合4| 午夜伊人大香蕉| 成人无码髙潮喷水A片| 99热地址| 丁香五月色情| 久久小说| 国产精品久久久久久喷浆| 天天射影院| 狠狠狠狠狠干| 丁香五月激情婷婷| 欧洲色| 中文字幕网伦射乱中文| 国产日韩精品SUV| 色久综合| 在线观看免费人成视频无码| 色情成人五月天| www.99热| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 伊人久久婷婷| 五月丁香婷婷六月| 天天插天天插| 成人精品视频99在线观看免费 | 开心五月婷婷| 极品精品一区二区三区在线| 97人人操人人插| 丁香五月之久操视频| 国产精自产拍久久久久久蜜| 曰韩五月丁香色婷婷无码| 亚洲狠狠终合停停终合| 百度4399有码精品V在线观看| 伦99热| 99热新网址| 色婷婷电影网| www天天干| 色色免费网战视频| 大香蕉久久婷婷精品综合| 国产avapp 网| 97人人射| 91国产精品视频播放| 亚洲另类AV| 99久久97久久欧美综合网| 伦乱天堂| 97色伦另类图片小说视频| 深爱激情九九五月天| 五月天婷婷久色| 伊人五月成人| 综合色99| 久久五月婷婷综合网| www.婷婷五月天,com| 久99久热| 六月香五月婷| 天天操天天干天天日| 成人AV在线网站| 欧美成人精品A片免费一区99| 国产乱妇乱子在线播视频播放网站| 丁香五月综合狠狠| 五月天综合久久丁香91| 日韩一级A片黄色| 青草性爱视频| 色婷婷亚洲六月婷婷中文字幕| 91seav| 亚洲中文字幕在线观看| 久久丁香婷婷五月| 五夜婷婷| 婷婷五月综合激情免费视频| 91热久久| www.99.色| 久9久9久9久9久9久9| 色999亚洲人成色| 婷婷丁香亚洲五月天| 噜噜狠狠色| 九九Av| 亚洲视频综合网| 丁香五月手机在线| 日日狠狠久久偷偷四色综合免费 | 九月激情综合婷婷| 99热日韩这里只有精品| 思思久久精品| 国产精品天天狠天天看| 97人人操| 免费播放99性爱视频| 日韩成人AV在线| 五月久久综合| 亚洲精品成人| 99这里只有精彩视频| 婷婷五月激情综合| 九九99偷拍视频| xxxx五月| 99精品热| 久操97| 99热99这里有免费的精品| 啪啪操超碰| 六月成人网| 丁香五月激情啪啪| 一级二级色大片| 影音先锋AV资源男人站| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 丁香五月婷婷五月基地| 深爱 五月天| 91丁香五月| 久久99激情五月天| 婷婷五月天AV激情| 色播五月网| 婷婷丁香五月91| 久久一热| 五月天久久小说| 五月丁香综合久久| 99精品热| 中文无码婷婷| 色停停五月,在线观看| 99婷婷狠狠成为人免费视频| 狠狠草天天草| 天天肏夜夜肏| 五月婷婷六月丁香免费| 变态另类9| 99久精品| 五月天成人综合| 在线免费观看激情视频| 婷婷深爱色五月| 九九综合久久| 99久久九九| 91ncom.色| 97精品在线| 婷婷激情六月视频| 色婷婷色| 五月天色婷婷综合| 久久蜜臀婷婷| 五月色色激情网| 九九色婷婷Av| 热热久久99| 大香蕉视频99| 亚洲成人婷婷| 1024成人在线观看| 91视频精品99| 996er热| 99在线视频播放| 97在线/亚洲| 91九色无码日韩| 欧美婷婷精品激| 久久精热| 99色视| 婷婷欧美| 丁香五月另类色婷婷麻豆| 色情丁香五月婷婷精品| 黄色AV日韩| 久久久思思热| 色色色欧美| 狠狠草婷婷| 色欲一区二区三区精品A片 | 日韩中文欧美| 开心五月婷| 99艹精品在线观看| 五月天成人在线播放| 青青久久大香蕉| 天天肏高清在线| 九九九热精品| 欧美交换配乱吟粗大25P| 爱草视频在线| 99热99日天天干| 婷婷久久综合| 成久综合视频| 中文字幕中文有码在线| 丁香婷婷在线| 爱99干99| 美女五月天| 91人碰| 天天色宗合| www.91有码.com| 狠狠色丁香久久综合婷婷亚洲成人福利| 天天爱综合网| Av九九| 99精品视频在线观看| 影音先锋人妻出差| 天天综合 99久久婷婷| 激情亚洲网| 第一区久久网站| 色五月欧美| 日日干天天| 99热这里只有精品最新| 亚洲成人AV在线播放| 高清无码网址| 天天色天天日天天舔| 五月丁香亚洲校园欧美| 性爱111111| 色婷婷操逼| 99热日本| 久久久大香蕉| 爱操天堂| 久久婷婷激情| 成年人99热| www,色婷婷| 99热欧| www91久久| 大香蕉九九| 99热这里有精品| 人人澡天天色天天做| a毛片二逼wwwwwwwwww| 伊人网大香| 五月婷婷狠天天色综合| A级毛片高清免费不卡播放谢谢谢谢| 色偷偷综合| 99无吗| 26uuu淫色| 人妻激情视频| 国产视频色色色色色色色 | 深爱开心激情| 99在线观看精彩视频| 性爱网六月丁香| 丁香六月婷婷开心| 成人在线高清| 综合色播| 色偷偷综合| 色国产五月| 欧洲一区二区| 超碰人人插| 67194国产| 超碰免费大香蕉| 丁香五月欧美激情| 五月天色婷婷av| 日韩另类| 九九色播五月丁香| chaopeng在线人人| 禁欲电影完整版在线播放| 99乱视频| 可以直接看的av| 深爱激情五月天婷婷网| 色婷婷狠狠| 亚洲色人妻| 影院久久久| 五月综合激情久久| 色五月亚洲| 97操碰| 99热只有| 99热费观看| 激情九九综合网| 五月天播播综合| 五月丁香六月在线欧美| 亚洲AV电影美洲AV电影| 九九热视频精品999| 一本道在线电影| 五月婷婷婷婷| 亚洲99热| 91丨九色丨国产打屁股| 丁香五月激情网| 色色色色色色色色网站| 国产成人+亚洲+欧洲| 狠狠狠人妻| 五月丁香成人日| 日本女天天爽| 丁香五月香蕉在线| www久| 91狠狠色| 欧美熟妇一区二区三区| 婷婷综合九色伊人| 色色色色网站| 人妻久久久| 久久这里有精品| 九九色综合九九色| 五月婷丁香| www.色99| 九月婷婷| BBWCUCKOLD精品熟妇| 亚洲中文字幕av| 操91| 日本操B视频| 成人五月天综合网| 亲子乱AV-区二区三区| 久cao香蕉影院| 亚洲中文AV| 黄色AAAAAAA| www.久久色.com| jiuse91在线| 人人肏逼视频在线一区二区| WWW、日本色丁香、co m| www.99免费视频| 99热在线资源| 秋霞丝袜啪啪啪| 在线观看欧美| 激情六| 婷婷五月天直播| 五月综合激情视频| 久久成人天| 色色色免费视频| 天天爽综合| 丁香五月成人社区| 亚洲旡码| 91久久久久久| 99精品综合| 激情骚五月| 蜜臀av粉嫩av懂色av| 日韩啪啪视频| 成人五月天在线视频在线观看| 丁香婷五月| 五月天网站亭亭| 99热这里只有精品在线| 另类专区在线观看| 噜噜在线| 综合久久十| 丁香五月www| 91玖玖| 五月天天天开心激情网| ji'qi'luan'ren'lun| 91视频精品99| 亚洲中文字幕在线观看| 五月婷综合| 日韩黄色电影| 久久6这里只有精品| 五月色丁香激情| 色婷另类| 欧美性生交A片免费看| 亚洲av电影在线| 97人人操人人| 热久久66| 性色天| 99精品在线| 伦乱人妻| 激情AV| 亚洲丁香五月| 午夜一区| 免费一区二区三区| 久热久| 79色色色色| 99视频这里有精品| 成人无码髙潮喷水A片| 少妇婷婷五月天| 天天日综合网射| 色射婷婷五月天| 99九九久久| 99五丁香月| 天天干,天天舔| 自拍盗摄 另类| 99无码视频| 琪琪色网址| 色热久资源| 四月丁香五月婷婷久久| 婷婷国产成人| 久久久精品色| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 五月婷婷开心网| 色综合久网| 99热久只有| 九九综合色综合| 欧美在线ee日韩| 精热在线综合网| 六月婷婷色综合| 99网| 亚洲操操| 激情综合网激情五月天| 午夜在线成人网站免费观看| 深爱丁香网| 综合网亚洲| 色色色九九九五月婷婷| 亚洲五月丁香综合网| 色五月婷婷小说亚洲中文字幕组| 中文字幕日产A片在线看| 一区二区三区四区牛| 婷婷五月免费在线| 四虎成人精品永久免费AV九九| 婷婷五月丁香四射| 婷婷五月情色| 婷婷激情图片| 啪啪综合| 99热66| 色亭亭丁香五月天| 欧爱综合视频| 婷婷五月天成人网| 色偷偷色婷婷| 另类激情网| 丁香五月婷婷啪啪| 97碰在线视频| 热久国产| 人人九色| 热99在线精品| 五月婷久久综合| 五月婷综合网| 乱岳熟女50岁| 婷婷五月丁香影院| 五月亭亭六月天| 亚洲综合九九| 99激情网| 丁香六月激情| 婷婷激情性爱| 色婷婷丁香AV综合| 综合色综合| 久久婷婷五月综合色欧美| 天天肏天天插| 免费观看全黄做爰的视频| 色婷婷五月天av在线| av在线观看网站| 97视频.干com| 丁香婷婷五月天在线视频| 亚洲视频码| 深爱五月激情| 日韩无码91| 久久精彩免费视频| 偷偷操99| 色婷婷伊人| 99狠狠色| 九月丁香亭亭| 超碰成人免费| 色情五月综合婷婷| 狠狠 婷婷| 无人区码一码二码三码医生系列| 婷婷激情蜜桃玖玖丁香| 欧美69久成人做爰视频| 五月丁香六月停停| 欧美性色A片免费免费观看的 | 九九综合| 深爱激情久久| 久久久久五月丁香| 婷婷五月婷婷| 六月久久婷婷| 国产成人99久久亚洲综合精品| 婷婷激情五月综合| 婷婷五月丁香五月| 六月综和久久| 玖玖九九超碰| AV天堂婷婷五月天| 天天综合色99| 亚洲啪啪网| 婷婷六月丁香激情| 老美AA片| 色五月天婷婷| 99久热在线精品| 五月丁香六月婷婷久久肏| 91vip在线观看| 日日夜夜天天| 亚洲视频图片婷婷五月| 六月激情丁香一道本7777| AAA久久久| 国产在线6| 1级欧美日韩| 亚洲激情97五月天| 超碰97免费在线| 久久九九色| 快乐激情五月色婷婷| 亚洲深喉aV| 久久久天天啊| 婷婷五月激情网站| 新激情婷婷| 香蕉操亚洲| 亚洲视频丁香网va| 99久久高清视频| 伊人五月天在线| 热久久国产视频| 4399在线观看免费毛片| 丁香婷婷影院| 97五月天婷婷| 国产一区18| 丁香五月性| 日韩久久这里只有精品| 亚洲热久| 91狠狠色丁香婷婷综合久久| 精品皮股午夜AV| 中文字幕人妻在线| 亚洲午夜成人av电影网| 五月婷婷亚洲| 五月丁香九九九综合| 婷婷色基地在线看 | 无码中文一区二区三区| 亚洲人妻电影| 日韩九九| 日韩五月丁香| 天天爱天天日| 色婷六月| 婷婷丁香五月天中文字幕| 任你操精品免费| 97在线观视频免费观看| 噜噜操操| 天天干天天射综合网| 欧美日综合| 色色色色色日韩午夜激情 | 久久综合丁香激情五月| 丁香五月自拍| 色九月欧美| 日本不卡一区二区三区| 91精品久久久久久| 久久久久久人妻久久久久久久久久人妻久久久 | 99ER热精品视频| 久久精品99久久久久久| 日本人妻丁香婷婷久久寝取熟女五月| 新男人天堂人妻| 日韩黄色电影| 天天干天天射综合网| 嫩草AV久久伊人妇女超级A| 31色区视频免费看| 五月综合视频| 五月激情网站| 日韩AV大全| 中国AV性爱观看| 色一情一乱一乱一区91Av| 91九色无码内射| 婷婷99视频在线| 九九热在线精品| 亚洲综合婷婷六月丁香五月| 啪啪综合| 婷婷中文字幕在线| 色五月色开心开心五月| 91九色在线| 婷婷六月天| 婷婷五月天激情五月天深爱五月天| 热的国产,热的综合,热的有码| 六月婷婷久久| 五月天久久激情| 超碰在线免费观看日韩| 97色在线| 91超碰人人操| 婷婷金品综合视频| 九九热在线视频观看| 久8色色| 五月五丁香婷婷| 第四色色六月色综合| 婷婷五月丁香综合| 久久久精品AV| 久热AA| 欧美在线视频免费播放| 99热久久日本| 卡视频1区2区| 成人网站高清无码| 亚洲日本韩国| 777精品久无码人妻蜜桃| 婷婷六月综合激情| 99热国产精品| 久久久无码精品成人A片小说| 激情五月,激情综合网| 丁香五月丁香伊人| 日韩AAA| 69堂午夜视频最新地址| 欧美成人Va| 99久久9| 另类视频一区| 深爱激情中文五月天av| 亚洲AV网站在线观看| 99re在线观看| 99热免费网站| 91艹人| 婷婷六月插屄激情| 青青草日本亚洲| 亚洲综合狠狠艹| caopeng97日韩| 六月婷婷狠狠| 婷婷激情五月天综合| 婷婷精品视频| 综合丁香婷婷五月天| 五月婷婷黄色| 色综合xx| 天天拍久久| 婷婷情色激情| 五月丁香性| 热久精品| 久久九九爽| 99热这里只有精品1025| 日本色婷婷| 91啪啪| 日韩成人影片网站| #NAME?| www,com,五月色色| 丁香五月激情啪啪啪| 色五月超碰| 五月天日日操夜夜操| 婷婷六月丁香激情综合| 五月婷在线视频免费播放| 九九精品热| 久久9久| 五月香婷婷| 性做久久久久久久免费看| 99自拍视频| 婷婷综合中文字幕| 97日本在线| 欧美久久网| 色很很96| 狠狠干伊人| 色婷婷精品视频| 色五月婷婷五月| 婷婷丁香九色| 激情久久久久久久久| 8区视频在线| 99这里精品| 欧美VA在线| 色色色色五月天| 久久久国产精品黄毛片| 色吊丝中文字幕| 久久人人九九| 色亚洲色宗合| 播五月开心婷婷欧美综合| 激情综合网址| site:901-07.com| 婷婷娱乐丁香综合网| 影音先锋91资源站| 六月丁香啪啪| 五月丁香六月天| 热99热久| 婷婷久草| 丁香婷婷偷拍| 人人做人人看人人摸| 欧美色97| 亚洲乱码日产精品BD| 人妻Av在线| 开心五月婷婷激情| 久色国产| 国产无套精品一区二区| 91黄色五月天视频| 久99热在线观看| 婷婷午夜激情| 午夜青草资源| 婷婷丁香花五月天| 影音先锋高清无码资源网| 任你擦免费视频| 操日本人妻视频| 任你搞网站| 激情内射人妻1区2区3区| 婷婷婷久久久| 五月天激情网图片 - 百度| 九九热精品| 97精品人人A片免费看| 成人电影AV在线观看| 久久婷婷丁香六月天| 色色色色五月| 高清国产一级婬片a免费| 色五月激情五月丁香五月婷婷啪啪综合| 婷婷五月天干干| 日本99在线| 狠狠色综合图片| 久久久久久18| 日韩按摩二区| 婷婷激情图片| 亚洲色人妻| 五月天影院婷婷在线观看| 五月激情啪啪啪| 99综合成人视频在线观看 | 99这里只有精品| 粉嫩AV久久一区二区三区| 欧美精品99| 婷婷综合激情| 丁香婷婷五月色综合| 六月丁香成人| 99成人| 99热在线极品极品| 五月色综合| 中文字幕在线日亚洲9| 色五月婷婷一二| 国产毛片精品一区二区色欲黄A片| 欧美久久婷婷| 97色啪| 大香蕉天堂色| 婷婷五月天视频小说| 六月丁香啪啪啪| 91九色 熟| 另类小说五月天综合网| 在线另类| 激情欧美婷婷| 色色热| www,setingting| 99热这里只有精品2016| 日韩婷婷| 九九综合视频在线观看| 婷婷五月综合色拍| 1024成人免费看| 5月丁香六月情| 亚洲乱码日产精品BD| 亚洲99综合| 五月天婷婷成人| 免费无码毛片一区二区A片 | 久久婷婷桃花五月天| 日韩操| 婷婷丁香综合网| 天天噜天天爱| 色婷婷五月综合| 婷婷五月天成人五月天| 激情亚洲网| 97久久久免费福利网址| 噜噜视频| 欧美婷婷九月| 开心激情网五月天| 人人超碰99| 日韩爱操视频| 99热在线看| 五月婷婷综合在线| 六月婷婷视频| 婷婷色啪| 久久五月天免费网站| 99视频在线精品| 先锋资源婷婷| 国产婷婷五月天| 99久在线观看| 九九色色网| 99久久婷婷| 色色色色综合网| a69在线视频| 精品国产一区二区三区四区阿崩| 人妻久久久久久久久妻久久久久| 综合天堂AV久久久久久久| 综合色综合| 天天干天天av天天射 | 人人人操 超碰| 天天操天天日天天爽| 日本在线播放97| 99性色| 美女精品一级不卡视频| 欧美久热| 秋霞学生妹一二级| 草草色情综合网| 婷婷成年人免费视频| 五月婷婷深深爱| 大香蕉婷婷| 丁香五月第四色88| WWW.久久99| 天天操无码| 欧美日韩大黄| 欧美六月| 久久人妻爱爱| 五月婷婷综合成人| 色五月天成人| AV在线免费播放| 色香蕉影院| 五月丁香婷婷久久| 玖玖九九超碰| 欧洲激情精品婷婷| 婷婷六月视频| 99热亚洲精品| 婷婷色五月噜噜| 久久综合99| 激情婷婷狠狠干| 殴美日韩成人| 五月婷婷综合在线| 色综色五月天婷婷|