欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

OctoLong:Mid-Training 如何增強(qiáng)跨倉庫代碼長上下文建模

OctoLong:Mid-Training 如何增強(qiáng)跨倉庫代碼長上下文建模 做代碼生成、倉庫級(jí)問答、長鏈路 Bug 排查時(shí)一個(gè)非常典型的瓶頸是模型在單個(gè)文件內(nèi)的局部語義理解已經(jīng)不錯(cuò)一旦需要跨文件、跨模塊甚至跨倉庫組合上下文輸出質(zhì)量就明顯下滑。這個(gè)問題的根源往往不在模型結(jié)構(gòu)本身而在于訓(xùn)練數(shù)據(jù)的形態(tài)以及訓(xùn)練階段的安排方式。OctoLong 這個(gè)研究方向正是從這個(gè)角度切入通過 Mid-Training中期訓(xùn)練在跨倉庫代碼上下文上繼續(xù)訓(xùn)練讓模型的長上下文建模能力得到針對(duì)性增強(qiáng)。本文會(huì)圍繞這條技術(shù)路線拆解它的核心概念、數(shù)據(jù)構(gòu)建思路、訓(xùn)練方法并給出可落地的工程實(shí)操示例幫助你理解并復(fù)現(xiàn)類似方案。這篇文章適合以下幾類讀者正在做代碼大模型訓(xùn)練、微調(diào)和評(píng)測的算法工程師。想給已有模型增加長上下文能力的開發(fā)者和研究者。對(duì)代碼數(shù)據(jù) pipeline 感興趣想搞清楚“跨倉庫上下文”到底怎么構(gòu)造的技術(shù)人。做 Code Review 助手、倉庫級(jí)問答、項(xiàng)目級(jí)代碼生成的后端開發(fā)者。讀完本文你將掌握OctoLong 要解決什么問題Mid-Training 在訓(xùn)練流程中的定位。跨倉庫代碼上下文的數(shù)據(jù)構(gòu)造思路。如何用常見工具鏈搭建一條可運(yùn)行的長上下文訓(xùn)練與評(píng)測鏈路。實(shí)際訓(xùn)練中的效率問題、評(píng)測方法和避坑清單。1. 背景與核心概念1.1 長上下文建模的價(jià)值在真實(shí)軟件開發(fā)中一個(gè)功能的實(shí)現(xiàn)往往散落在多個(gè)文件和倉庫中。比如一個(gè) Java 后端接口通常包含 Controller、Service、Mapper、Entity、配置文件、數(shù)據(jù)庫表定義而工具類或公共 SDK 可能來自另一個(gè)內(nèi)部倉庫。如果模型不能同時(shí)“看到”這些跨倉庫的代碼片段它就只能靠記憶補(bǔ)全準(zhǔn)確性會(huì)受到很大影響。長上下文建模Long-Context Modeling要解決的正是這種“輸入長度超過模型默認(rèn)訓(xùn)練長度”時(shí)的信息利用問題。它的價(jià)值體現(xiàn)在幾個(gè)典型場景倉庫級(jí)代碼補(bǔ)全與生成根據(jù)整個(gè)倉庫的代碼風(fēng)格、依賴關(guān)系和相似實(shí)現(xiàn)來生成新代碼??缥募{(diào)試給出報(bào)錯(cuò)信息時(shí)模型需要理解多個(gè)文件之間的調(diào)用關(guān)系。項(xiàng)目文檔生成從分散在多個(gè)模塊的代碼中總結(jié)出系統(tǒng)設(shè)計(jì)。代碼 Review需要同時(shí)看主倉變更、依賴 SDK 的接口定義、歷史修改記錄。這些場景都要求模型能處理幾千到幾十萬 token 的輸入并且能夠在長輸入中準(zhǔn)確定位關(guān)鍵信息。1.2 現(xiàn)有代碼模型的短板目前很多代碼大模型包括一些知名開源模型在實(shí)際評(píng)測中仍然有幾個(gè)明顯短板。第一有效上下文遠(yuǎn)低于宣傳窗口。很多模型宣稱支持 128K 甚至 200K 上下文但實(shí)際測試中當(dāng)關(guān)鍵信息位于長文本中段時(shí)準(zhǔn)確率會(huì)大幅下降。這在學(xué)術(shù)上常被稱為“l(fā)ost in the middle”問題。第二訓(xùn)練數(shù)據(jù)以單文件為主。通用代碼預(yù)訓(xùn)練語料通常來自公開倉庫的單個(gè)文件模型沒有充分見過“多個(gè)倉庫、多個(gè)文件拼成一個(gè)長序列”的樣本形態(tài)。因此即使把窗口長度撐大模型也不知道該如何利用跨文件信息。第三短上下文和長上下文能力不一致。模型可能在 8K 以內(nèi)表現(xiàn)良好但一旦超過訓(xùn)練長度注意力計(jì)算、位置編碼、相對(duì)位置推斷都會(huì)出現(xiàn)退化。OctoLong 這類工作想證明的核心觀點(diǎn)是通過 Mid-Training專門用結(jié)構(gòu)化的跨倉庫代碼上下文去訓(xùn)練模型可以顯著改善上述短板而且不需要重新做完整預(yù)訓(xùn)練。1.3 OctoLong 的核心思路從標(biāo)題可以看出OctoLong 的關(guān)鍵詞是三個(gè)Mid-Training中期訓(xùn)練介于預(yù)訓(xùn)練和指令微調(diào)之間的一個(gè)訓(xùn)練階段。Cross-Repository Code Contexts跨倉庫代碼上下文。Long-Context Modeling長上下文建模。把三者串起來OctoLong 的做法可以理解為在基礎(chǔ)模型已經(jīng)具備一定代碼能力的條件下構(gòu)建專門的數(shù)據(jù)集這些數(shù)據(jù)不是簡單從單個(gè)文件里截取而是按照倉庫依賴、符號(hào)引用、模塊調(diào)用等關(guān)系把多個(gè)倉庫中相關(guān)的代碼片段組合成超長訓(xùn)練樣本。然后在這個(gè)數(shù)據(jù)上繼續(xù)訓(xùn)練讓模型學(xué)會(huì)在長跨度上關(guān)聯(lián)信息。這種做法的本質(zhì)是把“長上下文能力”當(dāng)成一個(gè)可以定向增強(qiáng)的技能而不是天然從預(yù)訓(xùn)練中長出來的能力。2. Mid-Training一個(gè)被低估的訓(xùn)練階段2.1 從預(yù)訓(xùn)練到微調(diào)訓(xùn)練流程的四階段當(dāng)前大語言模型的主流訓(xùn)練流程可以分成四個(gè)階段階段目標(biāo)數(shù)據(jù)特點(diǎn)典型成本預(yù)訓(xùn)練學(xué)習(xí)通用語言與知識(shí)海量、低質(zhì)量、無標(biāo)注極高M(jìn)id-Training / 繼續(xù)預(yù)訓(xùn)練強(qiáng)化某一領(lǐng)域能力領(lǐng)域語料、中等規(guī)模中高指令微調(diào)學(xué)會(huì)遵循指令高質(zhì)量指令數(shù)據(jù)低對(duì)齊RLHF/DPO符合偏好與安全要求偏好數(shù)據(jù)低Mid-Training 在很多開源模型里也被叫做 “domain-adaptive continued pretraining” 或“二次預(yù)訓(xùn)練”。它的位置正好在預(yù)訓(xùn)練和指令微調(diào)之間。2.2 Mid-Training 的定位與作用Mid-Training 要解決的問題是基礎(chǔ)模型在通用語料上學(xué)習(xí)了大量知識(shí)但這些知識(shí)在特定領(lǐng)域的組織方式、術(shù)語體系和推理模式與通用場景差異很大。直接在通用模型上做指令微調(diào)效果往往有限因?yàn)槟P透緵]有見過足夠多的領(lǐng)域長文本結(jié)構(gòu)。舉個(gè)例子。一個(gè)模型可能理解“函數(shù)”“調(diào)用”“異?!边@些詞但它不一定見過“某個(gè)項(xiàng)目的 service 層大量依賴另一個(gè)倉庫的 common 模塊且異常類型要統(tǒng)一處理”這種真實(shí)的跨倉庫代碼模式。通過 Mid-Training模型先把這種模式學(xué)進(jìn)來之后再做指令微調(diào)任務(wù)表現(xiàn)會(huì)穩(wěn)定很多。OctoLong 選擇在代碼領(lǐng)域做 Mid-Training而且專門使用跨倉庫上下文數(shù)據(jù)。這樣做有兩個(gè)好處訓(xùn)練數(shù)據(jù)與推理場景一致推理時(shí)需要長輸入訓(xùn)練時(shí)也喂給模型長輸入。強(qiáng)化信息關(guān)聯(lián)能力模型學(xué)會(huì)在長文本中維護(hù)多文件引用關(guān)系而不是只做局部建模。2.3 為什么代碼場景特別適合 Mid-Training代碼和自然語言有一個(gè)非常大的區(qū)別代碼有嚴(yán)格的結(jié)構(gòu)和明確的引用關(guān)系。一個(gè)函數(shù)是另一個(gè)文件里定義的這個(gè)關(guān)系是可以從語法分析、依賴圖中精確抽取出來的。因此代碼領(lǐng)域可以“主動(dòng)構(gòu)造”出高質(zhì)量的長上下文訓(xùn)練樣本而不是簡單地把隨機(jī)文本拼接在一起。自然語言領(lǐng)域也要做長上下文增強(qiáng)比如拼接多篇文檔但段落之間的邏輯關(guān)系往往較弱。代碼不同跨文件調(diào)用是強(qiáng)邏輯關(guān)系。模型如果能學(xué)到這種關(guān)系長上下文能力會(huì)有質(zhì)的提升。所以O(shè)ctoLong 選擇代碼場景實(shí)踐 Mid-Training不只是因?yàn)榇a數(shù)據(jù)好獲取更重要的是代碼本身提供了“可驗(yàn)證的上下文關(guān)聯(lián)信號(hào)”。3. 跨倉庫代碼上下文數(shù)據(jù)與建模思想3.1 從單文件到跨倉庫數(shù)據(jù)形態(tài)的跨越大多數(shù)代碼預(yù)訓(xùn)練語料處理流程是這樣的把每個(gè)文件看成一個(gè)獨(dú)立文本切分成 token 序列加入訓(xùn)練。這種處理方式忽略了三個(gè)層面文件內(nèi)函數(shù)之間的調(diào)用關(guān)系。同一倉庫內(nèi)文件之間的 import 關(guān)系。不同倉庫之間通過依賴管理工具建立的引用關(guān)系。跨倉庫代碼上下文就是把第三個(gè)層面納入訓(xùn)練樣本。一個(gè)典型的訓(xùn)練樣本可能長這樣[倉庫A] /payment-service/src/main/java/com/example/PaymentController.java [倉庫B] /common-lib/src/main/java/com/example/Result.java [倉庫B] /common-lib/src/main/java/com/example/ResultCode.java [倉庫A] /payment-service/src/main/java/com/example/PaymentService.java這些文件并不是隨機(jī)拼接而是因?yàn)镻aymentController調(diào)用了PaymentService且返回類型使用了Result所以在同一個(gè)上下文窗口中出現(xiàn)。3.2 跨倉庫依賴的構(gòu)建方式要構(gòu)建這種樣本核心是構(gòu)建“代碼依賴圖”。步驟可以拆解如下克隆或拉取目標(biāo)倉庫集合。解析每個(gè)文件的 import / require / include 語句。解析符號(hào)定義和使用關(guān)系函數(shù)定義、類定義、函數(shù)調(diào)用、類型引用。建立文件到文件的引用邊。建立倉庫到倉庫的依賴邊通過包名、模塊名、命名空間。做反向依賴查詢找出“誰用了誰”。這一套邏輯在 GitHub 上有很多現(xiàn)成工具支持比如 tree-sitter 可以做語言級(jí)語法解析部分語言可以通過編譯數(shù)據(jù)庫拿到更精確的依賴。3.3 上下文打包策略得到依賴關(guān)系后還需要把相關(guān)文件組裝成訓(xùn)練樣本。這里有兩個(gè)關(guān)鍵設(shè)計(jì)點(diǎn)樣本長度分布和樣本格式。在樣本長度上建議按混合比例構(gòu)建讓模型同時(shí)見到不同長度的樣本。比如一部分樣本控制在 4K 到 8K一部分在 8K 到 32K還有一部分超過 32K。這樣模型既不會(huì)丟失短文本能力又能逐步適應(yīng)長序列。在樣本格式上需要設(shè)計(jì)清晰的文件邊界標(biāo)記。一種常見做法是使用特殊 token 標(biāo)記文件路徑和文件內(nèi)容。下面是一個(gè)簡化的樣本格式示例repo namepayment-service file pathPaymentController.java ...代碼... /file /repo repo namecommon-lib file pathResult.java ...代碼... /file /repo這樣的格式可以讓模型在長上下文中區(qū)分出“哪個(gè)倉庫、哪個(gè)文件、哪段代碼”避免文件邊界混亂。4. 環(huán)境準(zhǔn)備與工具鏈4.1 環(huán)境要求實(shí)際的 OctoLong 訓(xùn)練規(guī)模取決于基座模型大小和 GPU 資源。本文以復(fù)現(xiàn)實(shí)驗(yàn)和學(xué)習(xí)驗(yàn)證為目的以 7B 到 13B 級(jí)別的代碼模型為例推薦環(huán)境如下操作系統(tǒng)LinuxUbuntu 20.04 或 22.04GPU至少 4 張 24GB 顯存顯卡如 RTX 3090 / 4090 / A10G建議使用 A100 或 H800CPU16 核以上內(nèi)存64GB 以上磁盤至少 200GB 剩余空間用于存放模型權(quán)重和數(shù)據(jù)集需要強(qiáng)調(diào)的是具體資源要結(jié)合模型大小、序列長度和訓(xùn)練策略調(diào)整。如果只是跑通驗(yàn)證流程也可以使用更小的 1B 級(jí)模型和小規(guī)模語料。4.2 工具清單本文的實(shí)戰(zhàn)環(huán)節(jié)會(huì)用到以下工具它們都是當(dāng)前生態(tài)中比較通用的選擇Python 3.10PyTorch 2.xTransformersDatasetsAcceleratePEFT用于 LoRA 訓(xùn)練tree-sitter用于代碼解析networkx用于依賴圖構(gòu)建vllm用于推理加速可選版本需要根據(jù)你的項(xiàng)目實(shí)際情況調(diào)整本文示例以常見環(huán)境為例重點(diǎn)演示配置思路。4.3 示例項(xiàng)目結(jié)構(gòu)建議按下面的結(jié)構(gòu)組織項(xiàng)目octolong-lab/ ├── configs/ │ └── train.yaml ├── data/ │ └── raw_repos/ # 存放克隆的倉庫 │ └── processed/ # 存放構(gòu)建好的訓(xùn)練樣本 ├── scripts/ │ ├── build_dependency.py │ ├── build_context.py │ └── train_lora.py ├── src/ │ └── octolong/ │ ├── dependency_graph.py │ └── sample_builder.py └── output/ └── checkpoints/這樣一個(gè)結(jié)構(gòu)可以支持從數(shù)據(jù)構(gòu)建到模型訓(xùn)練的全流程便于后續(xù)擴(kuò)展。5. 實(shí)戰(zhàn)構(gòu)建跨倉庫訓(xùn)練樣本5.1 解析倉庫結(jié)構(gòu)我們先用 tree-sitter 做 Python 代碼的 import 解析。這個(gè)步驟的目標(biāo)是從每個(gè)源碼文件中提取出它導(dǎo)入了哪些模塊。下面是一個(gè)最小示例代碼路徑為scripts/build_dependency.pyimport os import glob from tree_sitter import Language, Parser # 這里假設(shè)你已經(jīng)編譯好了 python.so 語言文件 PY_LANGUAGE Language(build/python.so, python) parser Parser(PY_LANGUAGE) def extract_imports(file_path): with open(file_path, r, encodingutf-8, errorsignore) as f: source f.read().encode(utf-8) tree parser.parse(source) imports [] def walk(node): if node.type import_statement: # 拿到 import 后面的模塊名 text node.text.decode(utf-8) imports.append(text) elif node.type import_from_statement: text node.text.decode(utf-8) imports.append(text) for child in node.children: walk(child) walk(tree.root_node) return imports def scan_repository(repo_root): all_imports {} for file_path in glob.glob(os.path.join(repo_root, **, *.py), recursiveTrue): rel_path os.path.relpath(file_path, repo_root) try: imports extract_imports(file_path) all_imports[rel_path] imports except Exception as e: print(f解析失敗: {file_path}, 錯(cuò)誤: {e}) return all_imports if __name__ __main__: repo data/raw_repos/example_project result scan_repository(repo) for file, imports in result.items(): print(file, -, imports)這段代碼演示了最基礎(chǔ)的 import 提取。實(shí)際使用中還需要對(duì)相對(duì)導(dǎo)入、別名導(dǎo)入做歸一化處理并且對(duì) Java、TypeScript、Go 等語言分別配置 tree-sitter 語法。5.2 提取依賴關(guān)系得到所有文件的 import 之后下一步是把這些 import 映射到具體文件建立“文件到文件”的依賴圖。import networkx as nx import os def build_dependency_graph(repo_root, import_map): graph nx.DiGraph() # 先把所有文件作為節(jié)點(diǎn)加入 for rel_path in import_map.keys(): graph.add_node(rel_path) # 建立模塊名到文件路徑的映射 module_to_file {} for rel_path in import_map.keys(): module_name rel_path.replace(os.sep, .).replace(.py, ) module_to_file[module_name] rel_path # 解析 import 關(guān)系 for rel_path, imports in import_map.items(): for imp in imports: # 簡單提取 import 后的第一個(gè)模塊名 # 真實(shí)場景需要處理 from x import y, import x.y.z 等情況 for candidate, target_file in module_to_file.items(): if candidate in imp and candidate ! rel_path.replace(os.sep, .).replace(.py, ): graph.add_edge(rel_path, target_file, typeimport) return graph # 使用示例 # graph build_dependency_graph(data/raw_repos/example_project, import_map) # print(nx.info(graph))這個(gè)階段的產(chǎn)出是一個(gè)有向圖節(jié)點(diǎn)是文件邊是依賴關(guān)系。之后可以在圖上做 BFS 或 DFS找出與某個(gè)文件強(qiáng)相關(guān)的文件集合。5.3 組裝跨倉庫上下文樣本假設(shè)我們需要為PaymentService.java構(gòu)造一個(gè)訓(xùn)練樣本可以按照依賴關(guān)系找到它依賴的公共類文件再按順序拼接到一起。這里給出一個(gè)簡化版樣本構(gòu)建腳本的核心邏輯路徑為scripts/build_context.pydef build_training_sample(anchor_file, graph, repo_roots): anchor_file: 主文件路徑 graph: networkx 依賴圖 repo_roots: 倉庫根路徑到文件路徑的映射 # 使用 BFS 找與 anchor_file 相關(guān)的文件限制遍歷深度為 2 related_files [] for depth, nodes in enumerate(nx.bfs_layers(graph, anchor_file)): if depth 2: break related_files.extend(nodes) # 組裝上下文 sample_parts [] for file_path in related_files: repo_name get_repo_name(file_path, repo_roots) rel_path get_rel_path_in_repo(file_path, repo_roots) with open(file_path, r, encodingutf-8, errorsignore) as f: code f.read() sample_parts.append(frepo name\{repo_name}\\n) sample_parts.append(ffile path\{rel_path}\\n) sample_parts.append(code) sample_parts.append(\n/file\n/repo\n) return .join(sample_parts)這里需要注意BFS 遍歷深度需要控制否則樣本會(huì)過大。最終樣本長度需要通過 tokenizer 做截?cái)嗷蚱唇涌刂圃谀繕?biāo)上下文窗口內(nèi)。需要做樣本去重避免模型在訓(xùn)練集和評(píng)測集之間發(fā)生數(shù)據(jù)泄漏。6. 實(shí)戰(zhàn)Long-Context 模型訓(xùn)練6.1 模型與長度擴(kuò)展選擇對(duì)于已有的開源代碼模型直接做長上下文訓(xùn)練通常需要解決位置編碼問題。常見處理方式有兩種如果模型本身支持 RoPE可以通過調(diào)整 RoPE 的 base 頻率來擴(kuò)展窗口例如把 base 從 10000 改成 500000 或 1000000。如果模型支持 ALiBi 或相對(duì)位置編碼本身對(duì)長度外推比較友好擴(kuò)展成本更低。在 Transformers 中加載模型時(shí)可以通過rope_scaling參數(shù)做長度擴(kuò)展。下面是一個(gè)基于 Llama 架構(gòu)的示例from transformers import AutoModelForCausalLM, AutoTokenizer model_path your-code-model-path tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained( model_path, torch_dtypeauto, device_mapauto, rope_scaling{type: linear, factor: 2.0}, )這里把 RoPE 的縮放因子設(shè)為 2.0可以支持大約 2 倍于原始窗口的長度。實(shí)際生產(chǎn)環(huán)境建議對(duì)縮放方式做實(shí)驗(yàn)對(duì)比。6.2 LoRA 訓(xùn)練腳本Mid-Training 如果從頭訓(xùn)練全部參數(shù)成本非常高。更常見的是先用 LoRA 或 QLoRA 做參數(shù)高效微調(diào)驗(yàn)證數(shù)據(jù)效果。下面給出一個(gè)可運(yùn)行的訓(xùn)練腳本核心片段路徑為scripts/train_lora.pyfrom transformers import ( AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer, DataCollatorForSeq2Seq, ) from datasets import load_dataset from peft import LoraConfig, get_peft_model model_path your-code-model-path data_path data/processed/train.jsonl model AutoModelForCausalLM.from_pretrained( model_path, torch_dtypebfloat16, device_mapauto, rope_scaling{type: linear, factor: 2.0}, ) tokenizer AutoTokenizer.from_pretrained(model_path) tokenizer.pad_token tokenizer.eos_token # LoRA 配置 lora_config LoraConfig( r32, lora_alpha64, target_modules[q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj], lora_dropout0.05, biasnone, task_typeCAUSAL_LM, ) model get_peft_model(model, lora_config) def preprocess_function(examples): texts examples[text] model_inputs tokenizer( texts, max_length32768, truncationTrue, paddingFalse, return_tensorsNone, ) model_inputs[labels] model_inputs[input_ids].copy() return model_inputs dataset load_dataset(json, data_filesdata_path, splittrain) tokenized_dataset dataset.map(preprocess_function, batchedTrue, remove_columnsdataset.column_names) training_args TrainingArguments( output_diroutput/checkpoints, per_device_train_batch_size1, gradient_accumulation_steps8, learning_rate2e-4, warmup_steps100, logging_steps10, save_steps500, num_train_epochs1, bf16True, gradient_checkpointingTrue, optimadamw_torch, ) trainer Trainer( modelmodel, argstraining_args, train_datasettokenized_dataset, data_collatorDataCollatorForSeq2Seq(tokenizer, paddingTrue), ) trainer.train()這段代碼有幾個(gè)關(guān)鍵點(diǎn)max_length32768是訓(xùn)練時(shí)的目標(biāo)序列長度需要根據(jù)顯存調(diào)整。gradient_checkpointingTrue能顯著降低顯存占用但會(huì)帶來一點(diǎn)訓(xùn)練速度損失。per_device_train_batch_size1長序列訓(xùn)練下通常只能做到這種級(jí)別要靠梯度累積來模擬大的 batch size。LoRA 的target_modules需要根據(jù)模型架構(gòu)調(diào)整不同模型名稱可能不同。6.3 訓(xùn)練時(shí)的效率與穩(wěn)定性長序列訓(xùn)練最直接的挑戰(zhàn)是顯存。即使 batch size 為 132K 長度、7B 模型的激活值也可能超過單卡 40GB。這里有幾個(gè)工程手段使用 FlashAttention-2 替代標(biāo)準(zhǔn) attention顯存占用和速度都會(huì)有明顯改善。使用序列打包sequence packing把多個(gè)短樣本拼成一個(gè)長序列減少 padding 浪費(fèi)。使用 DeepSpeed ZeRO-2 或 ZeRO-3 做參數(shù)分片。數(shù)據(jù)加載時(shí)使用 memory-mapped dataset避免把整個(gè)數(shù)據(jù)集讀入內(nèi)存。訓(xùn)練過程中要重點(diǎn)觀察兩個(gè)指標(biāo)loss 是否穩(wěn)定下降以及梯度范數(shù)是否出現(xiàn)異常放大。如果 loss 突然升高優(yōu)先檢查是否有樣本長度分布不合理的問題。6.4 評(píng)測驗(yàn)證Mid-Training 的效果不能只看訓(xùn)練 loss還需要做針對(duì)性的評(píng)測。長上下文代碼評(píng)測可以分為三類評(píng)測類型說明示例通用長文本評(píng)測檢驗(yàn)長文本理解基本能力LongBench、L-Eval代碼推理評(píng)測檢驗(yàn)跨文件理解和修復(fù)能力CrossFileBench、RepoBench代碼生成評(píng)測檢驗(yàn)長上下文下的生成質(zhì)量HumanEval、MBPP如果只做最簡單的驗(yàn)證可以構(gòu)造一組“跨文件問答”測試集。比如給定兩個(gè)文件的內(nèi)容問模型第二個(gè)文件中的某個(gè)函數(shù)被誰調(diào)用或者某段邏輯的返回類型是什么。這類問題對(duì)模型的跨文件關(guān)聯(lián)能力非常敏感。下面給一個(gè)簡單的評(píng)測腳本思路from transformers import AutoModelForCausalLM, AutoTokenizer model_path output/checkpoints/your-lora-checkpoint tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained(model_path, device_mapauto) prompt repo namepayment-service file pathPaymentController.java ...代碼... /file /repo repo namecommon-lib file pathResult.java ...代碼... /file /repo 請(qǐng)回答PaymentController 中調(diào)用 PaymentService.createOrder 時(shí)返回的 Result 對(duì)象中code 字段在什么情況下為 500 inputs tokenizer(prompt, return_tensorspt).to(cuda) output model.generate(**inputs, max_new_tokens256) print(tokenizer.decode(output[0], skip_special_tokensTrue))這種評(píng)測方式不夠系統(tǒng)但能很直觀地看出模型在跨倉庫上下文上的表現(xiàn)差異適合在訓(xùn)練過程中做快速回歸。7. 常見問題與排查思路在復(fù)現(xiàn)和訓(xùn)練過程中很容易遇到各類問題。下面整理一張排查表。問題現(xiàn)象常見原因解決思路訓(xùn)練時(shí) OOM序列過長、batch size 太大、attention 顯存過高開啟 gradient checkpointing使用 FlashAttention-2降低 max_length增大梯度累積步數(shù)loss 快速下降后震蕩學(xué)習(xí)率過高、樣本長度分布不均勻降低學(xué)習(xí)率檢查數(shù)據(jù)集中超長樣本占比做長度分層采樣位置編碼外推后效果差RoPE 縮放方式不適配當(dāng)前模型用 NTK 或 YaRN 替代 linear scaling做小規(guī)模消融實(shí)驗(yàn)評(píng)測時(shí)模型忽略中間內(nèi)容模型沒有真正學(xué)到長距離關(guān)聯(lián)增加長樣本占比強(qiáng)化樣本中的文件邊界信息數(shù)據(jù)集樣本重復(fù)率高依賴圖構(gòu)建過于簡單同一批文件反復(fù)組合增加隨機(jī)采樣策略限制每個(gè)文件被選為 anchor 的次數(shù)跨倉庫文件路徑解析錯(cuò)誤倉庫克隆結(jié)構(gòu)不一致路徑映射錯(cuò)誤統(tǒng)一倉庫目錄結(jié)構(gòu)建立 repo 到根目錄的映射表訓(xùn)練速度過慢attention 計(jì)算量過大數(shù)據(jù)加載成為瓶頸使用 FlashAttention-2開啟多進(jìn)程數(shù)據(jù)加載使用預(yù)分詞緩存最常被忽視的問題是數(shù)據(jù)質(zhì)量。很多情況下模型表現(xiàn)不佳不是訓(xùn)練參數(shù)不對(duì)而是訓(xùn)練樣本本身沒有體現(xiàn)真正的跨倉庫依賴關(guān)系只是把多個(gè)文件機(jī)械地拼在一起。這種樣本對(duì)模型來說就像一段亂序文本學(xué)不到有效信息。8. 最佳實(shí)踐與工程建議8.1 數(shù)據(jù)質(zhì)量優(yōu)先先做小規(guī)模驗(yàn)證跨倉庫樣本的構(gòu)建質(zhì)量直接決定 Mid-Training 的效果。建議先用 500 到 2000 條樣本做小規(guī)模實(shí)驗(yàn)對(duì)比訓(xùn)練前后模型在跨文件任務(wù)上的表現(xiàn)。只有數(shù)據(jù)構(gòu)建邏輯驗(yàn)證通過后再擴(kuò)大規(guī)模。驗(yàn)證時(shí)可以人工檢查樣本同一個(gè)樣本中的文件之間是否有真實(shí)的調(diào)用關(guān)系文件邊界標(biāo)記是否清晰樣本是否覆蓋了不同層級(jí)的長上下文4K、8K、16K、32K是否存在訓(xùn)練集與真實(shí)任務(wù)分布不一致的問題8.2 訓(xùn)練策略窗口長度逐步拉升不要在訓(xùn)練一開始就使用 32K 的長序列。比較穩(wěn)定的做法是分階段第一階段以 8K 為主讓模型適應(yīng)跨文件樣本格式。第二階段混合 8K 和 16K逐步加入更長樣本。第三階段加入 32K 以上的樣本鞏固極端長度下的表現(xiàn)。這個(gè)思路和人類學(xué)習(xí)類似先掌握結(jié)構(gòu)再應(yīng)對(duì)更長的信息跨度。同時(shí)每階段訓(xùn)練結(jié)束都要做一次評(píng)測回歸防止災(zāi)難性遺忘。8.3 評(píng)測與回歸建立長上下文基線訓(xùn)練前后要固定同一套評(píng)測集。建議包含三類數(shù)據(jù)單文件代碼生成任務(wù)用來監(jiān)測短上下文能力是否退化??缥募a理解任務(wù)用來驗(yàn)證 Mid-Training 的核心收益。超長輸入壓力測試檢測模型在長文本中定位關(guān)鍵信息的能力。每次實(shí)驗(yàn)只改一個(gè)變量比如只改數(shù)據(jù)構(gòu)建方式或只改訓(xùn)練長度。這樣才能定位出真正影響效果的因素。8.4 生產(chǎn)落地的邊界跨倉庫上下文訓(xùn)練開銷較大落地上要關(guān)注幾個(gè)問題模型推理時(shí)的 KV Cache 顯存長輸入會(huì)有很大的 KV Cache生產(chǎn)環(huán)境要配合 vllm 等推理框架管理顯存。數(shù)據(jù)更新頻率倉庫代碼變化快訓(xùn)練數(shù)據(jù)不能一成不變需要設(shè)計(jì)定期的數(shù)據(jù)重建流程。權(quán)限與合規(guī)使用真實(shí)業(yè)務(wù)倉庫數(shù)據(jù)做訓(xùn)練時(shí)必須遵守代碼保密協(xié)議確保有合法授權(quán)。涉及敏感代碼的場景建議使用脫敏后的代碼片段進(jìn)行訓(xùn)練?;貪L機(jī)制Mid-Training 后的模型如果在下游任務(wù)上出現(xiàn)退化要能快速回退到訓(xùn)練前版本。建議在發(fā)布流程中保留原模型和中間 checkpoints。8.5 可復(fù)現(xiàn)性為了讓實(shí)驗(yàn)可復(fù)現(xiàn)建議在項(xiàng)目里固定三樣?xùn)|西依賴的 commit hash 或版本號(hào)。數(shù)據(jù)構(gòu)建腳本的版本。訓(xùn)練配置文件的完整參數(shù)。每次數(shù)據(jù)更新或訓(xùn)練配置變化都打一個(gè)版本號(hào)。長期實(shí)驗(yàn)多了之后這能幫你快速定位是哪一次變更導(dǎo)致的效果波動(dòng)。9. 總結(jié)OctoLong 給我們展示了一條清晰的路線在通用預(yù)訓(xùn)練和指令微調(diào)之間增加一個(gè)針對(duì)性的 Mid-Training 階段用跨倉庫代碼上下文數(shù)據(jù)來增強(qiáng)模型的長上下文建模能力。這個(gè)思路的核心不在于“把窗口撐大”而在于讓模型真正學(xué)會(huì)利用分布在不同文件、不同倉庫中的信息。如果要在自己的項(xiàng)目中復(fù)現(xiàn)類似方案優(yōu)先級(jí)是這樣先做好數(shù)據(jù)構(gòu)建真實(shí)的依賴圖組裝有邏輯關(guān)系的跨倉庫樣本。再選好訓(xùn)練策略用 LoRA 先驗(yàn)證再?zèng)Q定是否做全參數(shù)訓(xùn)練。最后完善評(píng)測設(shè)計(jì)能體現(xiàn)跨文件能力的評(píng)測集避免只盯著訓(xùn)練 loss。實(shí)際落地中最值得花時(shí)間的不是訓(xùn)練本身而是數(shù)據(jù)構(gòu)造和評(píng)測設(shè)計(jì)。訓(xùn)練代碼和參數(shù)都有成熟模板但“哪些文件應(yīng)該出現(xiàn)在同一個(gè)上下文里”這個(gè)問題需要結(jié)合真實(shí)的代碼依賴關(guān)系去回答。如果你正打算給代碼模型做長上下文增強(qiáng)建議先克隆幾個(gè)真實(shí)項(xiàng)目跑一遍依賴構(gòu)建流程看看能產(chǎn)生多少有價(jià)值的跨倉庫樣本。這個(gè)實(shí)驗(yàn)本身成本不高但對(duì)后續(xù)訓(xùn)練方案的設(shè)計(jì)會(huì)很有幫助。如果你在實(shí)際操作中遇到其他問題歡迎在評(píng)論區(qū)留言交流。也可以把本文收藏起來在做跨倉庫上下文訓(xùn)練時(shí)隨時(shí)翻閱。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月色丁香激情| 79成人网| 日韩国产在线精品| 99精品在线| 丁香五月婷婷啪| 天天综合色| 亚洲激情综合五月婷婷啪啪| 激情五月天在线观看色婷婷| www91久久| 欧洲色色| 日韩成人免费电影| 婷婷激情社区| 日本99视频| 亚洲五月天婷婷综合| 99re青青草| 青青草五月天| 久久婷婷成人| 婷婷六月丁香五月| 中文不卡一二区| 国产亚洲99久久| 91日本在线观看| 久久这里只有精品1| www.henhenl| 疯狂做受XXXX高潮A片动画| 久热免费| 久久99精品久久只有精品| 久久久激情视频| 91精品激情9| 欧美婷婷丁香五月社区| 丝袜激情网| 日韩av干| 五月婷婷之激情五月| ww超碰在线| 成人 在线 日韩| 99免费视频在线观看爱| 五月丁香欧美在线| 欧美成人精品老美女噜噜噜| 91精品国产综合久久密臀| 五月婷视频| 国产暴力强伦轩1区二区小说| 99久久高清视频| 久久婷婷五月天| 婷婷六月伊人| 丁香五月激情五月开心五月| 五月丁香啪啪综合| 日本婷婷色日| 五月婷婷丁香婷婷| 狠狠色噜噜狠狠| 九九机热| 99热这里只有精品22| 婷婷丁香第一页| 啪啪激情网| 色色色色色色色色色色色色色五月天| 欧美性色视频| 色五月婷婷天天操夜夜操| 色热久资源| 日韩不卡DvD| 五月天婷婷丁香花| 操99| 99 色色吧| 99久.| 秋霞AV美国| 丁香五月激情综合久久| 99热大| 五月婷婷综合在线视频| 五月伊人婷婷999| 99久久五月婷婷| 色婷婷五月综合激情中文字幕| www.9操| 久草热在线视频| 亚洲国产成人综合| 性爱久久| 中文字幕人妻AV| 丝雨一区二区| 久久资源网五月婷| 国产裸舞福利资源在线视频| 战争与艾拉电影免费观看| 天天爱天天做天天爽| 思思热性操| 色婷婷丁香五月天在线视频| 日本人妻伦在线中文字幕| 久操人妻| A片试看50分钟做受视频| 五月丁香影院| 久久久久九九九九视屏小说88| 色狠狠色噜噜AV天堂五区 | 91大神操美女| 亚洲五月婷婷| 九九成年视频| 久久激情视频| 天天操天天日天天爽| 五月婷婷五月天亚洲无码| 快色t v在线入口| 五月天激情图| 丁香综合网| 久久a热| 欧美经典片免费观看大全| 婷婷丁香五月天综合在线日韩| 五月丁香综合啪啪| 99久久.www| 激情五月丁香五月| 色五婷婷开心缴| 久大香蕉| 超碰一区二区| 狠狠va| 婷婷五月天成人网站| 五月丁香香蕉| 尤物一区二区| 婷婷五月69| 99色热综合| 色婷六月| 欧美黄色一级| 激情精品久久| 91欧美日韩综合| 97很鲁在线视频| 99免费青青蜜臀| 色九月欧美| 五月六月丁香激情视频| 久久久五月五丁香| 2015在线中文字幕| 久久婷婷五月综合激情国产| 91九色在线| 在线视频区| 婷婷激情在线| 五月婷婷在线视频| 久久这里只有精品视频15| ′久久99一| 色狠狠伊人久久五月丁香| 67194中文字幕| 亚洲V国产V欧美V久久久久久| 丁香5月婷婷| 五月丁香久久| 九九亚洲无码| 天天日天天操心| 无码成人AAAAA毛片AI换脸| 五月天丁香成人| 天天粽合合合合| 99爽视频| 超碰com| 激情综合网激情五月丁香| 五月丁香狠狠爱| Www.se.久久| 综合激情开心五月| 久草五月天| 日本大逼91| 插插插色综合网| 三级三久久线久久99久目本WW| 操逼电影免费看| 一区二区三区四区五区| 激情久久久| 中文字幕综合| 丁香五月区| 97涩婷婷婷婷基地| AV操一操| 激情五月天色播| 亚洲成人在线观看网址| 思思热在线免费视频| 久久激情五月| www.五月天婷婷.com| 日本五月天激情| 综合色播| 丁香六月激情毛片| 色狠久| 国产精品色| 六月婷婷香蕉| 五月婷婷久久大片| 日日夜夜爽爽| 五月天久久激情| 五月婷婷福利| 天天综合网~91| 另类激情五月在线视频欧美| 欧美经典片免费观看大全| 吊色AV男人的天堂| 99免费视频| 成人毛片在线免费观看| aV直接看| 激情网 五月天| 六月丁香网| www.97碰碰com| 丁香激情五月少妇| 热久国产| 狠狠操天天干| 色色成人網| 伊人激情AV一区二区三区| 婷婷色激情网| 熟女少妇内射日韩亚洲| 亚洲 五月 婷婷 成人| 久久AV无码精品人妻系列试探| 激情开心五月婷婷| 色欲AVV| 九九久久99| 日日干夜夜干| 五月开行婷婷色五月| 婷婷激情欧美| 亚洲六月综合激情久久下卡| 日日做天天操夜夜爽| 欧美电影在线观看| 婷婷五月天欧美图片在线播放电驴| 精国产品一区二区三区A片| 丁香婷婷综合精品六月初| 久青草影院| 女性自慰系列第五页| 五月丁香成人网| 99久久66| 影音先锋男人AV资源站| 精品人妻一区二区| 1024人妻| 操逼五月婷婷| 少妇人妻人伦A片| 色综合天堂| 五月丁香啪综合| 色五月天堂| 狠狠狠狠狠狠| 六月丁香好婷婷| 大香蕉伊然在亚洲90| 五月丁香成人小说| 五月天婷婷日日爱| 7777久久亚洲中文字幕| 色色五月婷| 怕怕av| 97在线99| 视频一二区| 亚州精品色情无码A片| 五月天大香蕉| 蜘蛛女侠2003满天星免费观看| 五月丁香综合影院| 五月天激情国产综合婷婷婷| 激情五月天小说| 五月丁香色婷婷色| 五月婷三级片| 国产成人AV在线| 中文人妻主播久久| 铁牛TV人妻| 亚洲这里只有精品| 激情五月婷婷五月丁香五月开心五月| 国产欧美日韩性爱| 久热爱大香蕉在线蜜臀悦色 | 久久久久综合激动五月天| 久久99久久99久久99| 天天爽天天干| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 激情六月婷婷| 性生生活大片又黄又| ji'qi'luan'ren'lun| 九九亚洲综合| 91久久18| 久久久精品人妻| 色婷五月| 色婷婷狠狠干| 亚洲精品视频电影| 99色免费观看全部| 亚洲成人在线播放| 欧美激情综合色综合啪啪五月| 婷婷五月天成人娱乐| 91在线精品一区二区| 色99在线| 可以看的av| 精品国产人人爱人人| 久久丁香九| 99精品久久| 大婷婷色呦呦噜噜色呦呦噜噜| 99高级会所久久| 色五月婷婷青娱乐| 任我干视频在线观看| www色五月| 色婷婷五月在线| 婷婷日| 激情爱爱网站| 亚洲av午夜精品一区二区| 色色五月天激情| 日本狠狠干| 日日干夜夜撸夜夜骑| 五月激情射| 99久操视频| 亚洲中文字幕av| 极品另类| 婷婷激情五月| 婷婷九月丁香| 中文av网| 色五月欧美| 色婷婷丁香五月天激情综合网| 欧美日本黄色| 神马欧美精| 99视频免费播放| 中国丰满熟女A片免费观| 超碰人人超碰| 婷婷五月天综合久久| 国产高清精品色| 亚州激情在线视频| 色综合色综合色综合高潮| 99热自拍| 婷婷激情肏屄网| 久久看婷婷| 久久综合五月婷婷| 久操人| 99热最新国内| 久久天堂女人| 色婷婷久久视屏| 色噜婷婷| av线电影| 婷婷97碰碰| 第四色五月婷婷| 婷婷综合偷拍| 丁香五月天.com| 超级碰碰碰碰视频| 五月婷婷三级| 亚洲精品乱码久久久久久按摩观| ...婷婷国产成人亚洲日韩| 婷婷 久综合| 五月丁香网av| Jh7Uf088VHafNm| 婷婷五月永远18免费久久久| 激情五月六月丁香| 色综合色综合色综合| 开心五月婷婷在线| 99精品视频网站| se影音资源在线观看| 九九久热| 超碰免费99| 久久伊人婷婷| 午夜不卡久久精品无码免费 | 97涩婷婷| 黑人无码一区| 国产五月丁香在线| AAA亚洲AV| 五月婷婷免费看| 五月婷婷亚洲| 淫视馆aV二区一区| av亚洲国产小电影| 九九热99久久99| 天堂综合久| 色婷丁香| 久久久久久草黄色片AV在线观看| 丁香网五月网| 九九大香蕉黄色影院| 亚洲成人一区| 午夜天天精品视频| 啪精品| 久久网日本| 热九九在线| 婷婷五月天影视| 99青青草| 婷婷激情性爱| www.97视频| 亚洲色图五月丁香五月婷婷| 久久久久久久97| 激情网五夜婷婷| 99re这里只有精品首页| 久久婷婷亚洲| 亚洲亚洲人成综合网络| 99re热在线视频观看| 97av在线视频| 五月丁香六月激情啪| 91打屁股视频网站| ri电影在线| 五月开心深深爱激情综合| 蜜桃人妻无码AV天堂三区| 中文资源在线a | 97色色婷婷五月天| 99色热视频| 激情五月天婷婷五月天| 性做爰1一7伦| 色综合天堂| 狠狠五月丁香色婷| www.99日本| 亚洲五月天激情| 日本人妻操| 色五月婷婷婷婷婷婷婷婷婷婷| 丁香五月天精品| 色播五月综合网| 99re在线播放| 另类A片| 九九免费在线视频| 99操99| 亚洲av电影在线| 99日本精品视频热| 久久怕怕视频| 熟妇高潮一区av| 婷婷五月花| www色中色综合| 五月婷啪| 激情婷婷五月少妇| 丁香 婷婷 亚洲 熟女| 丁香五月婷婷基地| 欧美三级黄色片久久| 激情婷婷狠狠干| 色吧综合网| 91刘玥视频在线观看| 伊人五月天日日夜夜久久久天天| 成人在线视频网| 亚洲黄色操逼| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 激情网第九色| 97操视频| 99热热这里只精品996小说| 婷婷色日本| 级情九色| 日本一级特黄大片AAAAA级| 99热这里只有精品 搜| 亚洲九九夜夜| 激情九九六月激情免费视频| 五月丁香六月婷婷综合网站| 色涩视频久久| 五月婷婷无码专区| 被强行糟蹋的女人A片| 日韩啪| 狠狠色噜噜狠狠狠狠综合| 这里只有精品96| 性爱先锋AV| 97色热| 九九99在线视频| 99er6热在线观看精品6| 色综合综合综合| 久婷婷五月激情| 99热这里只有精品8| 99精品久久久久| 色啪久| 91视屏在线观看com.wwwvv| 深爱激情五月网| 一起草Av| 人妻精品一区二区三区| 异能之下短剧免费观看全集| 婷婷五月婷婷| 99国产er热视频| 日韩婷婷| 色婷网| 亚洲综合网 665566| 色综合香蕉| 亚洲成人网站在线播放| 色综合中文| 人妻aV在线| 在线视频99| 97超碰在线免费观看| 五月丁香成年黄色| 五月天啪啪视频| 婷婷五月激情欧美| 婷婷五月天影院| 国产精品国产| 久久综合婷婷| 26uuu.| 五月丁香网站| 色五月婷婷久久大| 欧美三级视频下载| 99热这里| 天天日夜夜高潮| 久久精品99国产精品日本| 激情综合网五月天天| 国产毛片欧美毛片久久久| 伊人婷婷激情| 国产一级黄色影片,| 日本色色色| 激情五月天婷婷色色色色色色色色色色色 | 超碰碰碰碰| 泰州成人视频| 五月天色婷婷视频| 一级无码作爱片| 超碰人人99| 激情久久五月天| 99成人在线观看| 色婷婷丁香五月丁香| 色色色九九九五月婷婷| 99九九视频精彩在线| 99九九热在线观看| 免费看欧美成人A片无码| 五月丁香婷婷啪啪综合网| 亚州第一黄网| 91久久久久久久久| 亚洲精品小视频| WWW色色色COM| 91丨九色丨大屁股| www.色擼擼.com| 久热亚洲| 综合色色网| 开心五月综合激情综合五月| 五月天婷综合| 国自产拍偷拍精品啪啪一区二区| 五月婷婷六月情| 久久久18| 久在热99| 丁香婷婷影院| 丁香五月欧美激情| 香蕉久久国产AV一区二区| 99热这里有精品| 亚洲无码色色| 深爱丁香网| AV中文字幕夜夜操b天天摸bb | 超级碰碰视频无码| 97在线视频观看| AV天堂婷婷五月天| 激情五月天在线观看婷婷| 五月天婷婷婷| 99久久极情精品一区| 五月天欧美激情| 91丨九色丨熟女|新版| AA片在线观看视频在线播放| 天天搡日日搡aaaaⅩ| www.婷婷,com| 久久久久久久综合狠狠综合| 97精品自拍视频| 成人精品视频99在线观看免费| 六月激情久久| 东北婷婷五月天| 香蕉视频91| 亞洲自怕| 亚州美女| 亚洲六月色| 五月丁香性| 另类图片五月天婷婷| 五月天婷婷激情在线色图| 五月婷婷深深爱| 超碰人人干| 激情亚洲婷婷六月| 天天上天天爽| 啪啪综合网| 久久婷婷草| 欧美私人家庭影院| 天天色视频| 无码99| 丁香久久五月天视频在线观看 | 日本精品人妻无码77777| 婷婷伊人久久| 色激情五月天| 五月丁查人人| 成人色色视频| 丁香六月天婷婷开心综合| 激情五月综合网| 99伊人性爱在线影院| 91a片爽| 色噜噜狠狠色综无码久久合欧美| 九九热在线视频| 丁香婷婷基地| 色一情一乱一乱一区91| 九色七七| 久久婷婷五月综合激情国产| 蜜臀99精品| 思思热高清在线观看| 久久九九在线视频| 婷婷五月图片小说网| xxx日本东京热| 99激情视频热| 黄色99网| 五月丁香色婷| 丁香婷婷啪啪啪| 婷婷五月天伊人网在线观看视频| 777精品成人a v久久| 99re这里只有精品国产99| 婷婷色色网| 99色天堂| 《诡秘之主》在线观看| 色婷丁香五月| 丁香婷婷人妻综合网| 亚洲久热| 色色99色色| 一區四區歐美日韓| 能看的AV网站| 我爱va亚洲va52| 天天干天天干天天干天天干天天| 天天干天天干天天干天天干天天干天天干天天| 婷婷玉月丁香五月在线视频| 日本激情五月天‘| 丁香五月成人社区| 色色色干| 色色操| 麻豆WWWCOM内射软件| 粉嫩AV久久一区二区三区| 4399啪啪视频| 99久久婷婷综合| 婷婷影院欧美| 99久久久免费| 深爱五月天婷综合| 五月色网| 99精品热视频| 色色五月天婷婷| 风流少妇A片一区二区蜜桃| 五月婷婷影视| 另类丁香综合| 婷婷九月色| 欧美激情Va| 大地资源色婷婷视频在线| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | 99热这里只有精品青草| 五月天成人综合| 五月婷婷香| 96精品成人无码A片观看金桔| 亚洲av另类在线观看| 91大神在线免费看视频全集男男一起操| 久久中国毛毛片爱久久| 大香蕉人妻| 26uuu欧美亚洲日韩| 这里只有精品免费观看网占| 婷婷午夜精品久久久| 天天做天天爽| 久久免费少妇高潮99精品| 97人人看一| 99色激| 色五月婷激情| 婷婷的99视频网站| 9色91视频| 2022人人操人人看| 日日天天天| 综合伊人狠狠| 色综合久久888| 亚洲色就是色色色| 亚洲操精品| 丁香六月婷婷综合网| 韩国激情五月天综合网| 日韩啪啪视频| 婷婷五月色惰| 亚洲 在线 性爱| 九九人人精品| 五月婷婷很很色| 最新久久网址| 五月天婷婷视频30| 欧美婷婷五月丁香| se.久久视频在线观看| 综合欧美五月婷婷| 丁香婷婷色五月激情综合| 久久婷婷视频| 六月婷婷最新网址| 婷婷五月激情基地| 亚洲国产成人在线| 97色干在线观看| 日韩一级A片黄色| 嫩草AV久久伊人妇女超级a| 久9热| 97操男人的天堂| 国产99精品免费视频| 国产亚洲精品久久一区二区三区| 色.五月综合网| 婷婷丁香在线| 久久久久久久合一狠狠做深爱| 婷婷金品综合视频| 哇嘎成人久久| 99热99热| 农村熟妇高潮精品A片| 五月丁香色色| 久久丁香五月天| 激情内射人妻1区2区3区| 亚洲另类婷婷综合| 开心久久网婷婷| 色色色99韩| 91性高潮久久久久久久久| 久久综合综合综合| 婷婷五月天伊人网在线观看视频| 亚洲综合99| 狼人狠狠操| 久久久国产精品黄毛片| 久久ab| 丁香美女五月天婷婷| 六月狠狠综合| 精品久久久人妻| 婷婷激情五月天色| 综合网五月| 五月丁香婷婷激情影院欧美| 婷婷丁香人妻天天久久| 婷婷丁香五月综合网| 婷久看人爽| 婷婷五月天堂| 色综合色五月| 久久丁香综合| 东北黄色一级| 26UUU精品一区二区| 丁香影院五月综合| 亚洲第一视频 久久| 欧亚成人A片一区二区| 久久色在线视频| 久色视频| 91色五月| 中文字幕在线日亚洲9| 91青娱乐青青草| 丁香五月婷婷视频| 夜色综合网| 久久久久婷| 亚洲视频操| 久久综合影院| 欧美在线看| 五月丁香啪啪综合| 婷婷在线精品| 五月天婷婷久久视频| 五月天激情综合在线| 97久久久| 色五月丁香五月五月婷婷| 五月婷婷丁香六月| 五月天婷婷在看| 一级黄在线| 久久只这里有精品| 91日婷婷在线| 亚洲人人操| 99日逼视频| 九九伊人网| 99惹| 婷婷五月激情基地| 亚洲综合五月天婷婷| 六月综合婷婷开心伊人| 狠狠综合色网| 操人91| 婷婷五月花免费视频在线| 开心五月天激情网| 天天草天天日| 五月天激情啪啪| 色爱亚洲| 六月天无码网址| www.色欲丁香婷婷| 伊人玖玖精品| 婷婷色导航| 99国产精品白浆在线观看免费| 思思热久久爱| 91免费看片| 久99热| 色99欧洲色19| 伊人激情综合网| 97干在线视频| 五月开心婷婷| 9999热在线观看| 91九九| 丁香婷五月| 99色.com| 1024日韩| 俺去也在线www色官网| 婷婷久久影院| 四色永久成人网站| 天天婷婷操| 色婷婷综合电影| 99热这里只有精品99| 五月停停激情网| 狠狠香蕉| YW无码| 26uuu| 五月丁香综合久久| 热99久| 99碰碰| 最新丁香六月婷婷| 日日夜夜狠狠婷婷色| Caoub青青超碰 | 日本久热| 噢美99| 五月丁香婷婷综合网| 激情五月婷婷中文字幕| 日夜操B| 丁香九色不卡aaa| 99热官网| 色色热| 九九热99精品| 欧美日本VA| 六月婷婷操逼| 专区无日本视频高清8| 午夜丁香综合婷婷| 丁香狠狠| 大香蕉五月天婷婷| 国产高潮白浆一区二区| 思思99热| 51XX午夜影福利| 久热网在线视频| 夜夜涩涩涩| 99自拍视频网站| 亚洲啪啪自拍| 播丁香五月婷婷欧美| 天天骑天天操| 91人人网| 丁香婷婷色五月| 日日爽日日操| 五月婷婷干干干| 91精产品自偷自偷综合| 日本操B视频| 色色五月丁香| 91色久| 人人草人人舔| 五月激情综合深爱| 综合网激情五月天| 六月五月丁香五月欧美| 久久9久| 久婷婷五月综合欧美| 亚洲成人av在线观看 | 五月天另类小说| 天天开心AV色综合婷婷五月天| 六月丁香花婷婷| 五月丁香啪啪婷婷| 久久婷婷内射| 91无码高清| 94干大香蕉| 欧美日本国产| 日本一级淫| 俺去也五月| 色噜噜婷婷| 成人短视频在线| 99色色| 精品99在线| 天天干,天天日| 天天爽天天摸天天爱| 狠狠色噜噜狠狠| 天天综合五月| 六月色色婷婷| 日本不卡五月婷婷丁香| 婷婷丁香五月天狠狠| 亚洲VA在线| 婷婷99狠狠躁天天躁中文| 久久综合五月| 狠狠干在线| 丁香五月天狠狠操| 五月丁香六月成人| 五月丁香啪啪综合网| 99在线精品视频| 色综合久久88色综合天天99| 超碰人人操在线| 无码啪啪| 26uuu国自产精品| 韩国情人在线电视剧免费观看高清版全集 | 丁香六月婷婷综合激情欧美| 人人操婷婷| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 四射综合网| 色色色色色五月丁香| 99热免费精品| 婷婷激情伍月网| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 亚洲激情亚洲激情| 久久久er热| www 五月天 com| 丁香五月无码| 亚洲中文乱字字幕在线永久| www激情| 丁香婷婷九月| 色一情一乱一乱一区91Av| 少妇被下春药玩弄A片| 青青草原亚洲久| 97婷婷五月激情六月丁香伊人| www,com,五月色色| 深夜男女福利刺激影院一区| 丁香五月AV在线| 97好吊操| 天天操屄网| 狼人狠狠操| 中文字幕在线免费观看视频| 男人先锋久久| 中文字幕五月久久婷| 这里只有精品视频222| 色国产五月| 天天干com| 黄色三级日本| 99久久66综合| 九九综舍久久| 激情婷婷五六月天| 99热在线只有精品| 亚洲无码99| 婷婷色五月大香蕉在线| 99久久超级| 99在线视频播放| 九九亚洲小视频| 99色中文| 丁香五月五月婷婷欧美大香蕉 | 久久男人网婷婷| 久久丁香五月天| 国产婷婷综合| 91碰碰视频| 国产做爰视频免费播放| 琪琪色热色色| www天天干| 丁香婷五月天开心六月| 天天做天天爱天天爽| 操婷婷久久| 日韩 欧美 国产 一区 二区| 99精品亚洲| 激情五月婷婷| 最新日韩久热免费视频看看| 欧美又粗又大一区二区在线观看| 综合久久五月天| 婷婷丁香六月天| 久久婷婷色综合老司机| 操笔无码| 五月丁香激情综合| 成人.在线日韩| 久久免费9| 天天爽夜夜爽| 婷婷五月天av| 免费V片在线| 色之综合网| 五月婷婷在线观看黄| 99热精品在线观看| 91丨九色丨白浆| 日日肏天天操| 色色色999| 91精品国产色猫| 色婷婷五月天天天天天天天天天| 九九人人精品| 91人无码久久久久久| 操笔无码| 九九RE视频在线精品| 九九视频在线观看视频在线播放69| 成人操呦av| 五月天丁香综合| 免费观看高清无码| 婷婷四月 成人 狠狠干| 色五月婷婷老师| 97色精品视频 | 激情av在线| 天天视频精品9| 五月色综合| 91婷婷丁香五月| 久久人视频| 狠色狠色综合久久| 免费做A爰片77777| 天堂AV三级| 五月丁香婷中文| 99碰在线视频| 热99这就是精品视频| 色色六月| 一本综合丁香日日狠狠色| 大陆极品少妇内射AAAAAA| 婷婷月五天在线在线看| 五月丁香| 色综合久久综合中文综合网| 婷婷情色五月天| 综合久久五月天| 亚洲成人无码网站| 67194中文字幕| 五月婷婷丁香俺日污视频| 亚洲视频久久| 五月天色丁香| 丁香五月综合激情久久潮喷| 激情丁香六月| 亚洲图色五月天| 夜夜操天天干| 狠狠色丁香婷婷| 人人爱人人草| 婷婷五月综合色拍| 欧美人妻一区二区| 婷婷五月娱乐在线| 日本色五月婷婷| 日本在线视频播放91| 九九综合色综合| 婷婷色在线观看| 九色婷婷| 久久99激情| 欧美日韩二区在线| 婷婷综合五月色播| 九九九九中文字幕| 日日操夜夜爽| 激情综合五月天| 亚洲综合激情五月久久| 99热新网址| 久久久久人妻精品| 激情五月网站| 色吧网综合| 狠狠五月激情婷婷直播片| 午夜成人av在线| 日本婷婷| 久操人妻| 91九色国产熟女| 丁香六月婷婷综合| 超碰v| 婷婷五月天黄色小说| 激情综合五月丁香六月婷婷| 色日本综合| 伊人久久激情图区五月| 日本WwW色偷偷丁香花久久久京东热| 人人视频色| 色色色地址| www五月| 五月婷导航| 91打屁股视频网站| 色色亚洲五月天| 热99re| 激情五月天啪啪| 日本狠狠干| 丁香 婷婷 亚洲 熟女| 五月婷婷九| 99热国产| 深爱激情婷| 激情综合网五月丁香| A片试看50分钟做受视频| 久99热| 久99久视频| 久久婷婷五月综合色丁香花| 九九無妻| 人妻系列久久久久久久久久久| 激情婷婷22月间| 一区二区三区视频| 婷婷色情小说| 99丁香五月婷| 久久五月婷天天干| 另类A片| 丁香五月激情六月| 秋霞AV淫| 青青久久五月| 亚洲综合视频网| 日韩精品色| 天天操天天曰天天射| 在线观看国产高清视频免费网站| 六月综合婷婷开心伊人| 丁香色六月| www.com在线操视频免费观看| 九九AV| 丁香五月天啪啪激情综合网| 97人人搞| 日本天堂网站99| 亚洲九区| 天天日天天干天天爽| 激情网五夜婷婷| 9热在线视频| 人妻少妇色综合| 99久精品视频| 99久久久国产精品免费蜜乳tv| 婷婷五月激情欧美| 九九成年视频| 国产成人精品亚洲线观看| 99只有精品| 婷婷五月天激情在线观看| 香蕉国产2013| 九一九九黄色| 97色色视频| 九九碰九九爱97超| 久久人妻视步| 欧美色骚婷婷五月天| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 成人丁香| 人人草人人舔| 99热这里只要精品免费| XXXX岛国| 五月丁香啪啪网| 99综合成人视频在线观看| 婷婷久久综合| 九九热在线99| 成人在线视频一区| 婷婷香五月综合激情| 亚洲第一色色色色| 天天艹天天综合网| 99碰视频| 九色亚洲| 被男人添B超爽视频| 激情五月丁香五月| 色99视频| 日日色综合| 深爱丁香激情| 婷婷丁香色五月亚洲| 五月天婷婷免费| 丁香五月综合久久综合| 国产69久久久欧美黑人A片| 丁香九月激情| 9色视频在线| 99久热这里只有精品| 激情网婷婷婷| 99色在线| 日本人妻A片成人免费看片| 人人干99| 激情久久肏屄视频| 丁香五月婷婷Av| 久久婷婷五月综合色丁香花| 激情五月综合| 五月丁香成人网| 久草热在线视频| 泰州成人视频| 成人丁香五月| 国产精品大香蕉| 五月丁香影院| 99热九九热| 天天色天天| 天天干夜夜想| 欧美五月婷婷| 99婷婷国产最新视频| 丁香五月综合| 天堂色婷婷| 五月天丁香婷| www999日韩精品| 亚洲婷婷91丁香| 91热爆在线| www夜夜操| 亚洲综合色网| A片试看120分钟做受视频红杏| 激情五月婷婷| 综合久久丁丁香婷| 一本婷婷丁香久久| 婷婷桃色网| 99精品丁香五月| www.色色色com| 亚洲免费电影2| 色色五月综合| 六月婷欧美| 国产成人综合网| 夜夜骑操AV| 五月激情网五月综合网| 亚洲va欧美va国产综合久久久| 丁香五月六月激情| 九九色综合视频| 91久久五月天| 色婷久久| 综合激情站| 蜜桃成语时李时珍 免费| 亚洲欧美在线观看| 人操综合| 青草五月天| 5月婷婷激情在线| 久热91精品| 五月激情婷婷在线| 中文字幕按摩做爰| 热婷婷av| www.99精品在线| 影音先锋一区| 天天综合久久| 俺也去综合| 丁香五月av| 六月 丁香 视频| 亚洲精品久久久无码| 影音先锋五月天婷婷丁香在线观看| 丁香五月很很肏| 成人在线网址| 九九99视频精品| 五月开心激情网| 色色色在线观看| 日日干天天| www.seqingwuyuetian| 婷婷婷久久久| 日日天天天| 丁香五月激情鲁| 99re热在线视频| 97超碰,人人舔,人人操,人人摸| 五月天综合色| 欧美日韩成人在线网| 天天插天天插天天操| 婷婷丁香视频| 黄色成人网站在线播放| 欧美性生交XXXXX无码小说| 激情文学 综合 九月| 久99视频| 婷婷丁香五月综合网上 | 日本熟女三区| 丁香五月激情网| 九九99精品| 99精品久久久久久久久| www.夜夜騎夜夜狠| 丁香五月日啪| 五月婷婷婷| 婷婷色婷婷| 第四色色六月色综合| 亚洲AV成人片无码网站| 婷婷中文字幕版| 亚洲欧洲午夜成人精品av| 国外亚洲成AV人片在线观看| 第四色五月婷婷| 亚洲网站在线鸭子av| 成人va在线播放| 九九综合精品| 国产九月婷婷| 成人色五月天婷婷| 夜夜操夜夜操| 久久天天| 六月激情网| 天天人人天天爽| 网色99| 色色综合日韩| Av狠狠色丁香婷| 91啪啪网| 丁香情色五月| 99精品视频偷拍| 激情综合网激情五月丁香| 五月天色综合| 停停综合色色| 天天做天天要天天爽| 婷婷综合| 香焦网五月天| 日韩色情亚洲五月天婷婷| 97精品综合| 久久精品五月| 亚洲五月天狠狠| 久久精彩视频| Www99热| 婷婷五月天综合久久| 日本精品久久久久中文字幕| 97人妻碰碰碰久久香蕉| 亚洲色婷婷视频| 色噜噜狠狠一区二区三区| 激情啪啪五月| 色婷婷AV久久久久久久| 色婷婷先锋| 97操女视频| 99在线看片| 亚洲日韩一页精品发布| 亚洲综合在线伊人婷| 婷婷内射视频在线| 日本在线观看aaa 99| 麻豆五月丁香婷婷| 99热这里只有精品8| 成人看片网站| 丁香久久综合| 久操人| www,婷婷| 97操碰人免费| 思思热在线精品视频网站| 噜噜噜久久| 激情综合婷婷| 色婷| 一级AV片| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 五月丁香六月激情在线| 成片免费播放| 日本一级特黄大片AAAAA级| 五月婷婷综合社区| 婷婷五月天激情网站| 99热黄| 久久五月激情| 97成人在线视频| 米奇影视资源777狠狠色婷婷五月天激情网| 做爰丰满少妇1313| 亚洲 日韩色色| 久久久GOGO无码啪啪艺术| 精品婷婷五| 婷婷久久五月天| 色五月婷色彩免播放器| www.久久久久| 九九视频网| 一本大道嫩草AV无码专区| 婷婷国产日本欧美| www.夜夜操| 色综合色综合色综合高潮| 99久久99综合| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 国产精品久久..4399| 丁香五月区| 亚洲AV成人精品日韩在线播放| 日本一道久久| 久99| 99热这里有精品| 夜夜操夜夜爽| 色视五月天婷婷| 久久综合九色综合97婷婷| 99热骚货| 色网站9| 五月婷婷之综合激情| 九九精品热播| 武则天精品久久| 久久婷婷成人视频| 97高清国语自产拍| 丁香 婷婷 亚洲 熟女| 九九综合五月欧美| 婷婷五月激情欧美| 丁香婷婷大香蕉| 免费无码毛片一区二区A片 | 婷婷激情五月| 99精品久久| 九九国产视频| 97人人超| 大香蕉九九| 色五月综合网| 伊人五月天婷婷| 五月丁香趴趴| 亚洲精品大片| 97婷婷丁香五月天激情图片| 9色操| www久久久久久久97| 人妻系列久久久久久久久久久| 99精品偷自拍| 99热99热在线| 亚洲中文字幕AV| AA片在线观看视频在线播放| 久色国产| 91九色在线视频| 婷婷色综合| 亚洲色情在线| 久9热视频在线观看| 日本精品人妻无码77777| 色婷婷社区| 99久久精品色老| 天天插天天射| 色五婷婷| 久热69| 桃色成人网| 免费AV在线|