欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

從API調(diào)用到RAG與Agent:happy-llm帶你跑通大模型應(yīng)用開發(fā)

從API調(diào)用到RAG與Agent:happy-llm帶你跑通大模型應(yīng)用開發(fā) 今年很多開發(fā)者的卡點(diǎn)已經(jīng)不是“大模型能做什么”而是“我明明調(diào)通了 API卻依然不知道怎么把它變成真正的應(yīng)用”??戳艘淮蠖芽蚣芪臋n收藏了十幾個(gè)教程最后面對(duì)一個(gè)最簡(jiǎn)單的知識(shí)庫(kù)問(wèn)答需求還是不知道從哪里下手。這個(gè)問(wèn)題的根源不是缺少學(xué)習(xí)資料而是缺少一條“能親手跑完”的路徑。datawhalechina/happy-llm 這個(gè)開源項(xiàng)目恰好就是為這條路徑設(shè)計(jì)的。它把大模型應(yīng)用開發(fā)拆成一個(gè)個(gè)很小的節(jié)點(diǎn)每個(gè)節(jié)點(diǎn)都用最小可運(yùn)行代碼去驗(yàn)證一個(gè)知識(shí)點(diǎn)從“一句話調(diào)用大模型”開始一直走到 RAG、Agent、Web 應(yīng)用部署。這篇文章不打算簡(jiǎn)單復(fù)述項(xiàng)目介紹而是想結(jié)合 LLM 應(yīng)用開發(fā)的實(shí)際痛點(diǎn)把 happy-llm 背后的設(shè)計(jì)思路、技術(shù)鏈路、環(huán)境準(zhǔn)備、代碼實(shí)現(xiàn)和常見坑位完整梳理一遍。如果你正在學(xué) LLM 應(yīng)用開發(fā)或者準(zhǔn)備用大模型 API 搭一個(gè)真實(shí)項(xiàng)目這篇文章應(yīng)該能幫你少走很多彎路。1. 為什么 LLM 應(yīng)用開發(fā)總卡在“入門到放棄”先聊一個(gè)現(xiàn)象。很多開發(fā)者掌握 Python也了解神經(jīng)網(wǎng)絡(luò)的基本概念但一進(jìn)入大模型應(yīng)用開發(fā)領(lǐng)域就陷入三種典型困境。第一種困境是“只逛概念不動(dòng)手”。Token、temperature、system prompt、上下文窗口、微調(diào)、RAG、Agent每個(gè)詞都聽過(guò)每個(gè)詞都能聊兩句但真要寫代碼時(shí)腦子里只有一個(gè)client.chat.completions.create后面怎么做完全沒(méi)概念。第二種困境是“一上來(lái)就上框架”??吹?LangChain、LlamaIndex 很火直接去讀框架文檔結(jié)果被 Chain、Agent、Tool、Memory 這些抽象概念繞暈??蚣鼙旧頉](méi)有錯(cuò)但框架是給已經(jīng)理解底層邏輯的人用的加速器。如果你還沒(méi)親手調(diào)通過(guò)一次原生 API沒(méi)有自己拼過(guò) messages 數(shù)組沒(méi)有手動(dòng)處理過(guò)一次工具調(diào)用返回框架只會(huì)變成另一層黑盒。第三種困境是“代碼能跑但只會(huì)跑”。網(wǎng)上可以找到大量現(xiàn)成的 DEMO復(fù)制下來(lái)確實(shí)能運(yùn)行但換一個(gè)需求就不知道怎么改。這說(shuō)明沒(méi)有理解 API 請(qǐng)求和響應(yīng)結(jié)構(gòu)背后的工程邏輯上下文是狀態(tài)、輸出格式是契約、工具調(diào)用是循環(huán)、檢索質(zhì)量決定回答質(zhì)量。LLM 應(yīng)用和傳統(tǒng)軟件開發(fā)的本質(zhì)區(qū)別在于傳統(tǒng)接口的輸入輸出是確定的結(jié)構(gòu)而大模型 API 的輸出是概率性的文本。這意味著你必須額外做結(jié)構(gòu)化約束、上下文管理、結(jié)果校驗(yàn)和異常兜底。這一整套方法不是背概念能學(xué)會(huì)的必須通過(guò)一個(gè)接一個(gè)的最小可運(yùn)行代碼去練習(xí)。happy-llm 的意義就是幫你把這條路走通。2. HAPPY-LLM 是什么項(xiàng)目定位與設(shè)計(jì)理念happy-llm 是 Datawhale 社區(qū)維護(hù)的一個(gè)開源學(xué)習(xí)項(xiàng)目。Datawhale 在國(guó)內(nèi)開源社區(qū)里比較特殊它不只是發(fā)代碼還會(huì)組織大家一起學(xué)強(qiáng)調(diào)“開源學(xué)習(xí)”這件事本身。這個(gè)項(xiàng)目的名字里就帶著學(xué)習(xí)理念保持一個(gè)自己能堅(jiān)持的節(jié)奏用小的正向反饋把學(xué)習(xí)持續(xù)下去而不是一次性吞下全部知識(shí)。從項(xiàng)目設(shè)計(jì)來(lái)看它沒(méi)有追求大而全的理論覆蓋而是把目標(biāo)設(shè)定得非常明確讓一個(gè)有一定 Python 基礎(chǔ)的開發(fā)者通過(guò)一段不長(zhǎng)的學(xué)習(xí)時(shí)間親手跑完一條完整的 LLM 應(yīng)用開發(fā)主鏈路。從調(diào) API 開始到提示詞設(shè)計(jì)、結(jié)構(gòu)化輸出、流式輸出、多輪對(duì)話、RAG 檢索增強(qiáng)生成、Agent 工具調(diào)用最后落在一個(gè)可交互的 Web Demo 上。這里要做一個(gè)重要區(qū)分happy-llm 不是生產(chǎn)級(jí)框架不是 LangChain 的替代品也不是一個(gè)大模型推理引擎。你學(xué)完它不會(huì)得到一個(gè)可以直接上生產(chǎn)的高并發(fā)服務(wù)但你會(huì)得到比讀十篇科普文章更扎實(shí)的東西——對(duì) LLM 應(yīng)用開發(fā)主鏈路每個(gè)環(huán)節(jié)的真實(shí)體感。用一個(gè)表格來(lái)對(duì)比它和傳統(tǒng)學(xué)習(xí)方式、框架文檔的區(qū)別對(duì)比維度傳統(tǒng)理論教程直接啃框架文檔happy-llm 這類實(shí)戰(zhàn)學(xué)習(xí)項(xiàng)目學(xué)習(xí)起點(diǎn)從注意力機(jī)制講起從框架抽象概念講起從一行能跑的 API 調(diào)用講起代碼量少以原理圖為主多但零散每個(gè)節(jié)點(diǎn)一個(gè)完整小程序反饋速度慢學(xué)完未必會(huì)寫慢概念太多快每跑通一個(gè)都有正反饋?zhàn)罱K目標(biāo)理解原理使用框架理解主鏈路并具備擴(kuò)展基礎(chǔ)適合人群想深入原理的研究者已有應(yīng)用經(jīng)驗(yàn)的開發(fā)者剛?cè)腴T應(yīng)用開發(fā)的工程師這個(gè)定位非常關(guān)鍵。如果你現(xiàn)在最需要的是快速建立對(duì) LLM 應(yīng)用開發(fā)的整體認(rèn)知并且希望每一步都有代碼可跑那么這類項(xiàng)目比純理論書和純框架文檔都更適合你。3. LLM 應(yīng)用開發(fā)的核心概念先分清幾個(gè)關(guān)鍵詞在動(dòng)手之前先花一點(diǎn)時(shí)間把后面代碼里會(huì)反復(fù)出現(xiàn)的幾個(gè)概念講清楚。這些詞不是拿來(lái)背的是拿來(lái)對(duì)應(yīng)代碼的。第一個(gè)是 Chat Completion API。這是目前大模型應(yīng)用開發(fā)最常用的接口形態(tài)。你傳一個(gè)消息列表給它它返回模型生成的文本。消息列表里每條消息都帶角色通常有 system、user、assistant 三種。system 負(fù)責(zé)設(shè)定模型身份和行為邊界user 是用戶輸入assistant 是模型歷史回復(fù)。多輪對(duì)話就是不斷往這個(gè)列表里追加消息。第二個(gè)是 Token。Token 是模型處理文本的最小單位可以粗略理解成“模型眼里的單詞碎片”。文本長(zhǎng)度、上下文窗口、計(jì)費(fèi)都以 Token 計(jì)算。你傳入的 messages 和模型輸出的完整內(nèi)容總 Token 數(shù)不能超過(guò)模型的上下文窗口。第三個(gè)是 Temperature。它控制輸出的隨機(jī)性數(shù)值越高回答越發(fā)散越低越確定。需要穩(wěn)定解析結(jié)果時(shí)通常設(shè)置低一些需要?jiǎng)?chuàng)意文案時(shí)可以設(shè)高一些。第四個(gè)是 Embedding。它把一段文本轉(zhuǎn)換成一個(gè)高維向量讓語(yǔ)義相近的文本在向量空間里距離更近。RAG 里的“檢索”本質(zhì)上就是計(jì)算用戶問(wèn)題和文檔向量之間的相似度。第五個(gè)是 Function Calling。它是讓模型具備“行動(dòng)能力”的關(guān)鍵。你在請(qǐng)求里聲明一個(gè)函數(shù)的結(jié)構(gòu)模型判斷需要調(diào)用它時(shí)會(huì)返回結(jié)構(gòu)化的調(diào)用參數(shù)由你的代碼真正執(zhí)行函數(shù)再把結(jié)果回傳給模型生成最終回答。第六個(gè)是 RAG。RAG 全稱是 Retrieval-Augmented Generation檢索增強(qiáng)生成。核心思路是外部文檔切分成塊向量化后存入向量數(shù)據(jù)庫(kù)用戶提問(wèn)時(shí)先檢索相關(guān)內(nèi)容再把檢索結(jié)果和問(wèn)題一起拼進(jìn)提示詞讓模型基于參考材料回答。它解決的是模型不懂私有知識(shí)、知識(shí)更新成本高、容易產(chǎn)生幻覺(jué)的問(wèn)題。這些概念可以用一張表映射到傳統(tǒng)軟件工程LLM 應(yīng)用概念傳統(tǒng)軟件類比核心作用system prompt配置中心控制行為邊界messages請(qǐng)求參數(shù)傳遞會(huì)話上下文結(jié)構(gòu)化輸出接口契約讓文本可被程序解析Embedding索引把文本變成可計(jì)算語(yǔ)義距離的數(shù)據(jù)Function CallingAPI 網(wǎng)關(guān)讓模型觸發(fā)真實(shí)操作RAG外部數(shù)據(jù)源查詢補(bǔ)充模型不知道的知識(shí)理解了這些映射后面寫代碼時(shí)就不會(huì)覺(jué)得大模型應(yīng)用開發(fā)是另一套完全陌生的東西。它就是“模型做語(yǔ)義理解和決策代碼做確定性的計(jì)算和 IO”的結(jié)合。4. 環(huán)境準(zhǔn)備與前置條件開始寫代碼之前先把環(huán)境準(zhǔn)備好。這里不會(huì)寫死版本號(hào)因?yàn)椴煌瑫r(shí)間安裝的依賴版本會(huì)有差異但整體思路是通用的。建議使用 Python 3.9 或更高版本。如果你本地已經(jīng)裝了 Anaconda 或者 Miniconda可以直接用 conda 創(chuàng)建一個(gè)新環(huán)境如果習(xí)慣用原生 Python用 venv 也足夠。python -m venv llm_env source llm_env/bin/activate # Windows 下使用 llm_env\Scripts\activate然后安裝核心依賴。這里以 OpenAI SDK 為例國(guó)內(nèi)很多大模型服務(wù)商都提供 OpenAI 兼容接口所以代碼結(jié)構(gòu)可以復(fù)用只需要換 base_url 和 api_key。pip install openai python-dotenv numpy gradio把這些依賴寫入requirements.txt也方便后續(xù)重建環(huán)境openai1.0 python-dotenv1.0 numpy1.24 gradio4.0接下來(lái)需要準(zhǔn)備一個(gè) API Key。如果你是第一次接觸優(yōu)先使用你所在環(huán)境容易訪問(wèn)的模型服務(wù)商。注冊(cè)后創(chuàng)建 Key填入項(xiàng)目根目錄下的.env文件LLM_API_KEY你的_API_KEY LLM_BASE_URLhttps://api.openai.com/v1 LLM_MODELgpt-4o-mini EMBEDDING_MODELtext-embedding-ada-002這里強(qiáng)烈建議使用.env文件管理密鑰而不是把 Key 硬編碼在代碼里。后續(xù)涉及任何分享代碼的場(chǎng)景硬編碼 Key 都是高危行為。代碼結(jié)構(gòu)上建議按主題分成獨(dú)立文件不要把所有代碼堆在一個(gè)腳本里。參考結(jié)構(gòu)如下happy-llm-practice/ ├── .env ├── requirements.txt ├── 01_basic_chat.py ├── 02_structured_output.py ├── 03_stream_chat.py ├── 04_rag_demo.py ├── 05_agent_demo.py └── 06_web_demo.py每個(gè)文件都是一個(gè)可以獨(dú)立運(yùn)行的最小示例這本身就是 happy-llm 提倡的學(xué)習(xí)方式一次只關(guān)注一個(gè)知識(shí)點(diǎn)跑通了再進(jìn)下一個(gè)。5. 第一個(gè) LLM 小程序API 調(diào)用與基礎(chǔ)對(duì)話從最簡(jiǎn)單的程序開始。新建01_basic_chat.py先實(shí)現(xiàn)一次最基本的對(duì)話補(bǔ)全。# 文件路徑happy-llm-practice/01_basic_chat.py import os from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( api_keyos.getenv(LLM_API_KEY), base_urlos.getenv(LLM_BASE_URL) ) response client.chat.completions.create( modelos.getenv(LLM_MODEL), messages[ {role: system, content: 你是一個(gè)樂(lè)于助人的中文助手。}, {role: user, content: 用一句話解釋什么是大語(yǔ)言模型。} ], temperature0.7 ) print(response.choices[0].message.content)這段代碼做了三件事讀取環(huán)境變量、初始化客戶端、發(fā)起一次對(duì)話請(qǐng)求。注意messages是一個(gè)列表列表里是消息字典。system 消息用來(lái)約束模型行為user 消息是用戶提問(wèn)。這是 LLM 應(yīng)用開發(fā)最核心的數(shù)據(jù)結(jié)構(gòu)后面所有復(fù)雜功能本質(zhì)上都在圍繞這個(gè)列表做文章。運(yùn)行方式很簡(jiǎn)單python 01_basic_chat.py如果一切正常會(huì)看到一行模型生成的回答。如果出現(xiàn)401說(shuō)明 API Key 不正確如果出現(xiàn)超時(shí)檢查 base_url 和網(wǎng)絡(luò)連通性如果提示模型不存在檢查環(huán)境變量里的模型名是否和服務(wù)商提供的一致。這里有一個(gè)初學(xué)者容易忽略的點(diǎn)response是一個(gè)結(jié)構(gòu)化的響應(yīng)對(duì)象不是純文本。.choices[0].message.content才是最終文字內(nèi)容。理解和熟悉這個(gè)響應(yīng)結(jié)構(gòu)比背文檔更有用因?yàn)楹竺孀隽魇捷敵觥⒐ぞ哒{(diào)用時(shí)都要操作這個(gè)結(jié)構(gòu)。6. 工程化第一步結(jié)構(gòu)化輸出、流式輸出與多輪對(duì)話能完成一次基礎(chǔ)對(duì)話之后接下來(lái)要把“模型聊天能力”工程化。這就要處理三個(gè)問(wèn)題模型輸出怎么被程序穩(wěn)定解析用戶體驗(yàn)怎么更流暢多輪對(duì)話的上下文怎么管理。6.1 結(jié)構(gòu)化輸出模型返回的是自然語(yǔ)言文本但程序需要的是 JSON、字典、列表這類結(jié)構(gòu)。比如做一個(gè)信息抽取功能你希望模型返回“公司名、金額、日期”而不是一段口語(yǔ)化描述。解決方案就是結(jié)構(gòu)化輸出?,F(xiàn)在不少模型服務(wù)商支持response_format參數(shù)# 文件路徑happy-llm-practice/02_structured_output.py import os import json from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( api_keyos.getenv(LLM_API_KEY), base_urlos.getenv(LLM_BASE_URL) ) response client.chat.completions.create( modelos.getenv(LLM_MODEL), response_format{type: json_object}, messages[ {role: system, content: 你是信息抽取助手。只輸出嚴(yán)格 JSON不要輸出任何解釋。}, {role: user, content: 從這句話中抽取公司名稱和融資金額北京某科技公司宣布完成 5000 萬(wàn)元 A 輪融資。 輸出格式{\company\: \\, \amount\: \\}} ] ) content response.choices[0].message.content data json.loads(content) print(data[company], data[amount])這里真正容易踩坑的地方是JSON 解析失敗。模型偶爾會(huì)輸出多行解釋或者把 JSON 包在代碼塊標(biāo)記里。穩(wěn)妥做法是在 system 消息里反復(fù)強(qiáng)調(diào)“只輸出嚴(yán)格 JSON”并在解析時(shí)加入異常處理失敗就重試一次。如果服務(wù)商不支持response_format參數(shù)退而求其次也可以用強(qiáng)約束的提示詞來(lái)引導(dǎo)輸出格式再配合正則或字符串清理來(lái)做兜底。6.2 流式輸出普通請(qǐng)求要等模型把完整內(nèi)容生成完才返回體驗(yàn)上像卡頓。流式輸出可以邊生成邊推送讓用戶看到逐字出現(xiàn)的效果。代碼改動(dòng)很小# 文件路徑happy-llm-practice/03_stream_chat.py import os from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( api_keyos.getenv(LLM_API_KEY), base_urlos.getenv(LLM_BASE_URL) ) stream client.chat.completions.create( modelos.getenv(LLM_MODEL), messages[{role: user, content: 寫一段關(guān)于學(xué)習(xí)大語(yǔ)言模型應(yīng)用開發(fā)的 50 字總結(jié)。}], streamTrue ) for chunk in stream: delta chunk.choices[0].delta if delta and delta.content: print(delta.content, end, flushTrue)對(duì)比普通請(qǐng)求這里只是加了streamTrue然后遍歷返回的 chunk。生產(chǎn)環(huán)境中流式輸出還要考慮客戶端連接斷開、超時(shí)中斷等情況但作為學(xué)習(xí)項(xiàng)目跑通這個(gè)最小示例就足夠了。6.3 多輪對(duì)話與上下文管理大模型 API 本身是無(wú)狀態(tài)的。第二次請(qǐng)求時(shí)模型不會(huì)記得第一次請(qǐng)求說(shuō)了什么。所謂“多輪對(duì)話”其實(shí)是把歷史消息重新全部傳給模型。history [ {role: system, content: 你是一個(gè)中文助手。} ] def chat_with_history(user_input): history.append({role: user, content: user_input}) response client.chat.completions.create( modelos.getenv(LLM_MODEL), messageshistory ) answer response.choices[0].message.content history.append({role: assistant, content: answer}) return answer每次對(duì)話把整個(gè)history數(shù)組傳給模型。這就是為什么上下文窗口很重要?dú)v史越長(zhǎng)消耗的 Token 越多早晚會(huì)超出模型的窗口限制。工程上常用兩種策略一是滑動(dòng)窗口只保留最近 N 條消息二是對(duì)歷史做摘要把早期對(duì)話壓縮成一段概述。至于是不是需要引入專門的消息存儲(chǔ)取決于你的真實(shí)業(yè)務(wù)場(chǎng)景。7. RAG 開發(fā)實(shí)戰(zhàn)讓模型擁有私有知識(shí)模型是在某個(gè)時(shí)間點(diǎn)訓(xùn)練完成的它不知道你公司的內(nèi)部文檔、最新政策、私有產(chǎn)品手冊(cè)。RAG 是目前解決這類問(wèn)題的主流方案。它的核心流程是外部文檔切分成塊 - 每塊文本做向量化 - 向量存入向量數(shù)據(jù)庫(kù)或索引 - 用戶提問(wèn)時(shí)檢索最相關(guān)的若干塊 - 把檢索結(jié)果拼進(jìn)提示詞。下面用一個(gè)最小示例演示完整鏈路。為了不引入額外框架這里直接用 OpenAI 的 Embedding 接口和 NumPy 做相似度計(jì)算。生產(chǎn)環(huán)境請(qǐng)換成真正的向量數(shù)據(jù)庫(kù)但學(xué)習(xí)階段跑通這個(gè)例子更重要。# 文件路徑happy-llm-practice/04_rag_demo.py import os import numpy as np from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( api_keyos.getenv(LLM_API_KEY), base_urlos.getenv(LLM_BASE_URL) ) documents [ HAPPY-LLM 是由 Datawhale 社區(qū)維護(hù)的開源學(xué)習(xí)項(xiàng)目。, 它強(qiáng)調(diào)每天一小時(shí)從最小可運(yùn)行代碼開始學(xué)習(xí)大模型應(yīng)用開發(fā)。, RAG 通過(guò)檢索外部知識(shí)來(lái)增強(qiáng)模型的回答能力。, Agent 通過(guò) Function Calling 讓模型具備調(diào)用外部工具的能力。, 多輪對(duì)話需要自行維護(hù)歷史消息列表。 ] def get_embedding(text): resp client.embeddings.create( modelos.getenv(EMBEDDING_MODEL), input[text] ) return resp.data[0].embedding doc_vectors [get_embedding(doc) for doc in documents] def search(query, top_k2): q_vec get_embedding(query) scores [] for i, doc_vec in enumerate(doc_vectors): score float(np.dot(q_vec, doc_vec) / (np.linalg.norm(q_vec) * np.linalg.norm(doc_vec))) scores.append((score, i)) scores.sort(reverseTrue) return [documents[i] for _, i in scores[:top_k]] query 我該怎么學(xué)習(xí)大模型應(yīng)用開發(fā) related search(query) context \n.join(related) prompt f請(qǐng)根據(jù)以下參考資料回答用戶問(wèn)題。 參考資料 {context} 用戶問(wèn)題{query} 如果參考資料不足以回答問(wèn)題請(qǐng)直接說(shuō)明。 response client.chat.completions.create( modelos.getenv(LLM_MODEL), messages[{role: user, content: prompt}] ) print(檢索到的資料) for doc in related: print(-, doc) print(\n模型回答) print(response.choices[0].message.content)這段代碼的核心是search函數(shù)。它把用戶問(wèn)題轉(zhuǎn)換成向量和每條文檔向量計(jì)算余弦相似度取最相似的兩條作為上下文。真正影響 RAG 效果的關(guān)鍵點(diǎn)有兩個(gè)。第一是文檔切分。切得太碎每塊語(yǔ)義不完整切得太大檢索出來(lái)噪音多還浪費(fèi) Token。第二是檢索質(zhì)量。向量相似度并不總是語(yǔ)義相關(guān)有時(shí)候需要加入重排環(huán)節(jié)。學(xué)習(xí)階段先用最樸素的方案跑通理解全流程再逐步引入更高級(jí)的預(yù)處理和檢索策略。這個(gè)例子也解釋了為什么 happy-llm 這類項(xiàng)目強(qiáng)調(diào)“最小可運(yùn)行”RAG 本身不是一個(gè)函數(shù)而是一條數(shù)據(jù)鏈路。如果不從頭到尾親手走一遍只靠讀文檔很難真正理解“切分 - 向量化 - 檢索 - 注入”之間的因果關(guān)系。8. Agent 與 Function Calling從“回答問(wèn)題”到“執(zhí)行任務(wù)”對(duì)話能力和知識(shí)庫(kù)問(wèn)答本質(zhì)還是“回答問(wèn)題”。但很多應(yīng)用場(chǎng)景需要的是“執(zhí)行任務(wù)”用戶問(wèn)“北京今天天氣怎么樣”你需要先去查天氣接口再組織語(yǔ)言回答。模型本身不聯(lián)網(wǎng)、不執(zhí)行代碼所以需要一套機(jī)制讓模型調(diào)用外部工具。這個(gè)機(jī)制就是 Function Calling。過(guò)程可以拆成四步第一步在請(qǐng)求里聲明工具函數(shù)的結(jié)構(gòu)。第二步模型判斷需要調(diào)用工具時(shí)返回一個(gè)tool_calls對(duì)象包含函數(shù)名和參數(shù)。第三步你的代碼真正執(zhí)行這個(gè)函數(shù)拿到結(jié)果。第四步把工具結(jié)果以roletool的消息追加到 messages再讓模型基于工具結(jié)果生成最終回答。下面用一個(gè)查詢天氣的最小示例演示。真實(shí)項(xiàng)目中函數(shù)體內(nèi)部應(yīng)該是請(qǐng)求天氣服務(wù) API這里用本地返回模擬。# 文件路徑happy-llm-practice/05_agent_demo.py import os import json from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( api_keyos.getenv(LLM_API_KEY), base_urlos.getenv(LLM_BASE_URL) ) def get_weather(city: str) - str: # 實(shí)際項(xiàng)目中在這里調(diào)用天氣服務(wù) API return f{city} 今天多云氣溫 22 攝氏度。 tools [ { type: function, function: { name: get_weather, description: 查詢指定城市的實(shí)時(shí)天氣, parameters: { type: object, properties: { city: { type: string, description: 城市名例如 北京 } }, required: [city] } } } ] messages [ {role: user, content: 你好請(qǐng)問(wèn)北京今天天氣怎么樣} ] response client.chat.completions.create( modelos.getenv(LLM_MODEL), messagesmessages, toolstools, tool_choiceauto ) msg response.choices[0].message if msg.tool_calls: # 模型決定調(diào)用工具 call msg.tool_calls[0] print(模型要求調(diào)用工具, call.function.name) print(工具參數(shù), call.function.arguments) args json.loads(call.function.arguments) result get_weather(args[city]) # 把工具結(jié)果回傳給模型 messages.append(msg) messages.append({ role: tool, tool_call_id: call.id, content: result }) final_response client.chat.completions.create( modelos.getenv(LLM_MODEL), messagesmessages, toolstools ) print(最終回答, final_response.choices[0].message.content) else: print(模型直接回答, msg.content)這段代碼體現(xiàn)了 Agent 的雛形模型負(fù)責(zé)理解意圖、決定調(diào)用哪個(gè)工具、生成傳給工具的參數(shù)外部代碼負(fù)責(zé)真正執(zhí)行。模型的角色更像是一個(gè)路由器或編排器而不是答案的來(lái)源。初學(xué)者最容易忽略的是工具結(jié)果的回傳格式。tool_call_id必須和模型返回的call.id保持一致否則模型無(wú)法把工具結(jié)果和之前的請(qǐng)求關(guān)聯(lián)起來(lái)。Agent 應(yīng)用開發(fā)真正復(fù)雜的地方在于循環(huán)控制。一個(gè)任務(wù)可能需要連續(xù)調(diào)用多個(gè)工具每次調(diào)用結(jié)果都會(huì)改變后續(xù)步驟。生產(chǎn)環(huán)境還需要考慮設(shè)置最大工具調(diào)用輪數(shù)防止死循環(huán)對(duì)工具輸入做校驗(yàn)對(duì)工具異常做兜底確保工具權(quán)限最小化。所有這些都是 Agent 從 Demo 走向可用的必經(jīng)之路。9. 用 Gradio 把腳本變成 Web 應(yīng)用學(xué)習(xí)到這里你已經(jīng)掌握了 API 調(diào)用、結(jié)構(gòu)化輸出、RAG、工具調(diào)用這幾塊能力但都是在命令行里跑。要讓一個(gè)非技術(shù)的同事或者朋友也能體驗(yàn)可以做一個(gè) Web 頁(yè)面。Gradio 是目前非常方便的工具幾行代碼就能搭出一個(gè)可交互界面。# 文件路徑happy-llm-practice/06_web_demo.py import os import gradio as gr from openai import OpenAI from dotenv import load_dotenv load_dotenv() client OpenAI( api_keyos.getenv(LLM_API_KEY), base_urlos.getenv(LLM_BASE_URL) ) def chat(message, history): history history or [] messages [{role: system, content: 你是一個(gè)友好的人工智能助手。}] for user_msg, assistant_msg in history: messages.append({role: user, content: user_msg}) messages.append({role: assistant, content: assistant_msg}) messages.append({role: user, content: message}) response client.chat.completions.create( modelos.getenv(LLM_MODEL), messagesmessages ) return response.choices[0].message.content demo gr.ChatInterface(fnchat) demo.launch()運(yùn)行python 06_web_demo.py終端會(huì)輸出一個(gè)本地地址通常是http://127.0.0.1:7860瀏覽器打開即可開始對(duì)話。Gradio 的ChatInterface已經(jīng)幫你處理了歷史消息的展示和記錄你只需要關(guān)心如何調(diào)用模型。這個(gè)階段的重點(diǎn)不是把界面做得復(fù)雜而是理解從純函數(shù)到 Web 交互中間發(fā)生了什么用戶輸入進(jìn)入回調(diào)函數(shù)函數(shù)調(diào)用模型返回值渲染成界面消息。后面如果再接入前端的聊天組件、記憶持久化、用戶鑒權(quán)都是在同一套邏輯上擴(kuò)展。10. 常見問(wèn)題與排查思路把學(xué)習(xí)過(guò)程中最常遇到的問(wèn)題整理成一張表方便你快速定位。問(wèn)題現(xiàn)象可能原因排查方式解決方案調(diào)用報(bào)401API Key 錯(cuò)誤或失效檢查.env中 Key 是否正確重新生成 Key確認(rèn)環(huán)境變量已加載提示module沒(méi)有ChatCompletionopenai SDK 版本過(guò)舊執(zhí)行pip show openai升級(jí)到 1.x 版本請(qǐng)求超時(shí)base_url 配置錯(cuò)誤或網(wǎng)絡(luò)不可達(dá)單獨(dú)請(qǐng)求服務(wù)商接口測(cè)試連通性修改 base_url或調(diào)整超時(shí)時(shí)間JSON 解析失敗模型輸出了多余文本打印原始 response content增加 system 約束解析失敗時(shí)重試上下文超限歷史消息過(guò)長(zhǎng)查看 Token 消耗做滑動(dòng)窗口截?cái)嗷驓v史摘要RAG 檢索結(jié)果不相關(guān)文檔切分不合理或向量檢索不準(zhǔn)打印檢索命中的文本塊優(yōu)化切分策略增加 top_k嘗試重排Gradio 界面打不開端口被占用或未安裝完整查看終端日志更換端口或升級(jí) gradio 版本工具調(diào)用反復(fù)循環(huán)缺少最大輪數(shù)限制觀察日志中的調(diào)用鏈設(shè)定最大循環(huán)次數(shù)校驗(yàn)工具輸入表格之外再補(bǔ)一個(gè)最重要的原則任何時(shí)候模型返回了你不期望的結(jié)果第一件事都是打印原始響應(yīng)內(nèi)容而不是猜。大模型應(yīng)用的調(diào)試靠的是看真實(shí)輸入輸出而不是靠記憶。11. 最佳實(shí)踐與學(xué)習(xí)路線建議如果你決定沿著 happy-llm 這條路系統(tǒng)學(xué)下去下面幾條建議可以幫你走得更穩(wěn)。第一API Key 永遠(yuǎn)不要硬編碼也永遠(yuǎn)不要提交到 Git 倉(cāng)庫(kù)。.env文件要加入.gitignore。如果密鑰已經(jīng)泄露第一時(shí)間去服務(wù)商后臺(tái)吊銷并重新生成。第二結(jié)構(gòu)化輸出一定要做異常兜底。模型不是數(shù)據(jù)庫(kù)不能保證每次都返回合法 JSON。在實(shí)際項(xiàng)目中需要在解析失敗時(shí)設(shè)計(jì)重試、修正或降級(jí)邏輯。第三RAG 項(xiàng)目先評(píng)估檢索質(zhì)量再優(yōu)化生成效果。很多 RAG 應(yīng)用效果不好問(wèn)題不在模型而在文檔切分不合理、檢索命中的內(nèi)容不相關(guān)。上下文再?gòu)?qiáng)喂進(jìn)去的參考材料是錯(cuò)的回答也不會(huì)對(duì)。第四Agent 工具調(diào)用要設(shè)置邊界。真實(shí)項(xiàng)目里工具背后都是真實(shí)操作。查詢接口還好如果是刪除、寫入、轉(zhuǎn)賬這類敏感操作必須做權(quán)限校驗(yàn)、參數(shù)白名單和人工確認(rèn)機(jī)制。第五學(xué)習(xí)路線上建議遵循“先原生后框架”的順序。先用原生 OpenAI SDK 跑通 API 調(diào)用、結(jié)構(gòu)化輸出、RAG、Function Calling理解每一步在做什么再去看 LangChain 這類框架你會(huì)更容易看懂它的設(shè)計(jì)意圖。反過(guò)來(lái)一上來(lái)就用框架很容易被抽象概念繞暈。第六驗(yàn)證每個(gè)節(jié)點(diǎn)時(shí)不要只打印“運(yùn)行成功”要觀察實(shí)際輸出是否符合預(yù)期。學(xué) LLM 應(yīng)用開發(fā)和傳統(tǒng)開發(fā)的另一個(gè)區(qū)別是模型行為有隨機(jī)性同一個(gè)輸入可能得到不同輸出。所以測(cè)試時(shí)不要只看一次結(jié)果要跑幾次觀察穩(wěn)定性。12. 總結(jié)這篇博客從 LLM 應(yīng)用開發(fā)的真實(shí)痛點(diǎn)出發(fā)圍繞 datawhalechina/happy-llm 這個(gè)開源項(xiàng)目梳理了一條從零到一的學(xué)習(xí)和技術(shù)實(shí)踐路徑基礎(chǔ) API 調(diào)用、結(jié)構(gòu)化輸出、流式輸出、多輪對(duì)話、RAG 檢索增強(qiáng)生成、Agent 工具調(diào)用和 Gradio Web 應(yīng)用。最大的收獲不是記住某個(gè)函數(shù)而是理解 LLM 應(yīng)用開發(fā)的主鏈路模型提供語(yǔ)義理解和生成能力工程代碼負(fù)責(zé)上下文管理、輸出約束、外部檢索和工具執(zhí)行。學(xué)完這一條鏈路再去看任何框架或生產(chǎn)系統(tǒng)都不會(huì)覺(jué)得它們不可理解。建議你現(xiàn)在就照著第 4 章搭好環(huán)境跑通第 5 章的第一個(gè)小程序然后每天只推進(jìn)一到兩個(gè)節(jié)點(diǎn)。這種方式看起來(lái)慢但每一步都有真實(shí)的代碼反饋比收藏幾十篇教程然后在收藏夾里吃灰要有效得多。后面有機(jī)會(huì)可以繼續(xù)深入提示詞技巧、RAG 的重排序與評(píng)估、Agent 多工具協(xié)作、模型微調(diào)以及生產(chǎn)級(jí)部署。LLM 應(yīng)用開發(fā)還在快速演進(jìn)但核心鏈路是穩(wěn)定的值得親手跑一遍。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
成人视频在线免费播放| 精品久久99码| 久热这里只有精品6| 裸体美女丁香五月天。| 亚洲精品午夜国产va久久成人| 色婷婷五月天在线观看| 丁香深五月婷婷| 男人視頻站| 91婷婷搞| 九九成人高清视频| 六月婷婷久久| 99久视频| 婷婷五月天你懂的| wwxx日本| 欧美五月婷婷| 极品少妇高潮啪啪AV无码| 99操九九网| 婷婷色中文| 狠狠五月激情在线| 免费五月婷婷网| 99热大香蕉| 精品一二三区久久AAA片| 性爱综合网| 日本九九九九| 另类亚洲2| 激情五月天激情综合网| 99色热综合| 97操碰视频| 在线观看中文字幕| 亚洲欧美婷婷五月色综合| 1024婷婷综合久久五月天| 久热超碰91| 99热这里只有精品2024| 丁香色色色| 少妇被躁爽到高潮无码文| www.cao.com久久| 超碰人人艹| 丁香六月婷婷综合激情欧美 | 免费AAAAA网| av在线色五月丁香婷区久| 婷婷五月天开心网| 操人妻AV| 五月情丁香色| 热99精品视频五月| 91干99| 天天综合网~91综合网| 婷婷久久亚洲| 国产黄大片在线观看画质优化 | 日韩有码一区| 久草五月天电影网| 日本三级大片| 九色 在线| 亚洲XX日本| av在线观看网站| 久久久久久久11111111111| 丁香婷婷色色| 五月色色激情网| 热久久这里只有精品| 99久久激情视频| 丁香五月综合高清在线| 午夜色丁香| 丁香五月Av| 久艹久| 亚洲国产婷婷色五月| 国产综合网在线| 日本人妻伦在线中文字幕| 五月天丁香婷| 激情五月天网| 一区二区传媒视频| 六月米奇色综合| 五月色网| 婷婷五月色色| 激情五月婷婷老师| 这里只有精品视频| 狠狠色噜噜狠狠狠狠综合| 五月丁香婷婷俺| 五月香婷婷| WWW.久久久久久久久久久久久| 五月天中文字幕在线婷婷| 亚洲色久| 伊人婷婷综合| 日本美女上人| 五月丁香色婷婷久久| 丁香婷婷综合激情五月色| 人妻久久久久久| 99在线视频精品| 五月天婷婷视频| 曰韩五月丁香色婷婷无码| 思思99热这里只有精品| 亚洲色久| 婷婷啪啪| 丁香六月欧美| 婷婷六月综合激情| 丁香五月激情久久麻豆| 99精品久| w婷婷五月婷婷w| 婷婷区日本| 激情五月天综合| 人人色AV| 亚洲AV第二区国产精品| 丁香五月开心婷婷| 伊人久久丁香婷婷六月五月综合| 天天综合天综合久久网| 天天se在线视频| 91丨九色丨东北熟女| 99久在线精品| cc精品国产性传播| 97视频久久| 婷婷色婷婷| 亚洲成色综合网站免费观看| 丁香色六月婷婷| 婷婷五月天另类视频| 久久激情五月婷婷| 久久久久亚洲AV成人无码电影| 伊人五月天在线| 久久久精品免费啪啪国| 丁香五月婷久久| 亚洲123区高清入口| 色综合久久天天综合网 | 激情綜合網址| 91人人爽狠狠狠| 色婷久九| 欧美综合123区| 国产精品视频免费看| 99热色婷婷| 99性爱精品| 久久婷婷综合五月| 玖玖福利视频资源| 丁香五月 激情文学| 涩婷婷五月天| 日韩高清久久| 99色综合| 天天撸夜夜爽| 91呦呦呦| 久久婷婷丁香| 九九久久99精品免费观看www| 九九热视频99| 播五月婷婷开心| 激情综合区| 久热九九| 三年高清大片免费观看国语| 拳交大逼| 99热婷婷| 伊人久久婷婷| 色综合色欲综合天天免费| 日韩av一区二区在线/日产精品久久久| 久超超碰| av在线观看网站| 五月天婷婷小说| 婷婷久久五月天丁香| 综合五月天| 色99在线观看| 人妻丰满精品一区二区A片| 天天爽天天弄| www.久9| 日韩在线一级| 99久久国产宗和精品1上映 | 五月天婷婷色综合| 亚洲中文字幕AV| 色综合九九| 狠狠干综合| 天天干天天干天天干天天干天天| 9999热在线观看| 色色色99| 五月激情丁香| 色综合综合色| 国产午夜成人免费看片无遮挡| 欧美爆乳一区二区三区| 丁香婷婷六月天| 五月天偷拍| 99爱视频在线免费观看| 国产精品操| 综合网激情| 五月婷婷综合激情| 久久婷婷五月综合色天| 色五月婷婷五月天| 婷婷五月丁香六月| ss五月天激情| 五月天快乐开心激情网| 久久色情| 色婷婷丁香五月| 91综合色| 丁香婷婷狠狠97| 激情无码网| 啪啪啪大香蕉| 五月丁香久久激情综合| www色色色com| 丁香五月综合AV在线| 日韩精品一区二区亚洲AV观看| 丁香五月五月婷婷| www.99热. com这里只有精品| 欧美日比视频| 99国产精品久久久久久久久久久| 深爱五月日韩| 五月激情婷婷图片基地| 92国产福利| 国产做A爰片毛片A片美国| 日韩色色视频| 九九草热在线观看| 久久综合干| 人妻丰满精品一区二区A片| 五月婷婷色| 九九热a| 色操综合| 亚洲精品久久久无码| 99∨VTV| 91精品91久久久中77777久久玖玖九九| 国精产品一区一区三区免费视频| 婷婷性爱影院| 婷婷天天婷婷天天澡| 成年AAAA色情| 狠狠综合网| 99久久人人| www,com,五月色色| 人妻久久久久久久久久久| 五月天丁香六月综合| 热婷婷av| 亚洲亚洲人成综合网络| 一起草av| pom538精品视频| 色久婷婷网| 色久天| 天天干天天干天天干| 婷婷在线免费| 五月熟妇婷婷久久| 五月丁香九九| 无码激情AAAAA片-区区| 日良久久| 五月激情在线| 久久伊人五月天| 五月天色综合服务平台| 99热精品网| 国产激情在线| 五月婷婷色啪| 色呦精品| 五月丁香六月激情综合| www99在线观看视频| 99热成人在线| 欧美色色色| 激情综合五月激情XXXX| 五月天婷婷综合久久| 热久69| 欧美搡BBBBB摔BBBBB| 91碰碰碰久久久久| 亚洲视频丁香网va| 五月久久婷婷成人网| 色综合99| 久久久久99精品成人网站| 开心五月婷婷六月丁香| 丁香久久| 婷婷亚洲丁香五月| 色噜噜狠狠插综合| 丁香五月成人社区| 精品乱码视频| 色啦啦视频| 丁香婷婷激情| 99热10在线高清播放| 婷婷五月天激情文学| 天天爽夜爽| www,999日本色| 国产精品五月丁香| 国产精品视频免费看| 成人免费网站免费看| 色色色综合网| 国产肥白大熟妇BBBB视频| 欧美成人精品A片免费一区99| 91男同| 涩涩婷婷五月| 人人爽亚洲| 热99这里只有精品视频| 99热亚洲精品66| 桃色激情婷婷伊人网| 丁香五月婷婷久久久| 日本老女人黄页在线播放| 婷婷五月天综合网| 色情五月天小说| 色婷婷五月天激情| 激情婷婷人妻| 天天 日综合| 亚洲激情高潮| 久99热| 成人视频婷婷| 天堂综合久| 干一干xxxx| 538在线精品| 人人播| 九一99| 五月天色婷婷基地| 可似看的AV| 色五月激情五月| 五月色综合| 亚洲色图五月丁香| 大香伊人久色| 丰满少妇猛烈A片免费看观看| 少妇2做爰HD韩国电影| 久久9视频| 婷婷五月花| 熟女少妇内射日韩亚洲| 91啦丨九色丨刺激中文| 91色综合网| 久久久久久综合88| 色色色色色级无码| 久久婷婷五月综合色丁香| 天天精品视频在线观看视频| 激情开心五月天| 亚洲午夜视频| 极品少妇高潮啪啪AV无码| 婷婷91视频| 国产综合A片| 色婷婷综合电影| 97视频.干com| 婷婷六月天精品| 99热免| 久久婷网| 天天噜噜| 婷婷五月丁香四射| 男人天堂99| 久久久精品99亚洲综合| 五月婷婷激情四月| 综合性爱网| 亚洲色五月天| 婷婷六久久| www,com,五月色色| 色宗合,宗合网| 婷婷五月综合激情免费视频| 99久久婷婷国产综合精品草原| 婷婷五月天影院| 久久99免费视频网站| 久久超级碰视频| 26uuu青青| 99爱免费视频在线观看| 国产亚洲精品久久一区二区三区| 91精品久久久久久综合五月天| 五月丁香婷婷成人网| 色婷婷内射| 丁香婷婷五月天网站| 国产精品色一哟哟| 丁香五月91| 97精品人人A片免费看| 亚洲无码免费看| 99自拍网| 天天婷婷色六月| 丁香婷婷久久 | AV在线大香蕉| 春色激情| 五月丁香婷婷色| 久久aaaa片一区二区| 99精品色| 久久精品一区二区三区四区| 九九狠狠干| 丁香亚洲婷婷五月| 操久久网| 999热这里只有美国精品| 久久婷婷综合网| 天天射夜夜骑| 99无码视频| 亚洲AV成人无码电影| 综合丁香婷婷五月天| 激情综合五月婷婷六月丁香| 激情小说在线视频| 国产肏屄大片| 国产资源91在线| 小视频久久久aaa| 婷婷狠狠青青| www.夜夜夜| 六月婷婷久久| 97久久精品视频| 丁香五月婷婷婷婷欧美综合| 97操碰碰无码视频| 激情六月丁香综合| 天天爽天天草| 精品国产AV色一区二区深夜久久| 黄色三级日本| 六月婷婷色综合| 国外亚洲成AV人片在线观看| 久久99网站| 丁香五月婷婷色情综合| 丁香五月婷婷综合啪啪| 色噜噜狠狠色综合伊人| 丁香五月91| 91seAV| 欧美激情丁香五月天久久婷婷一区| 伊人五月综合网| 狠狠操狠狠色| 丁香激情合作五月| 日本99久久| 91狠狠色色丁香婷婷综合久久| 色丁香五月综合网| 日本黄 色 片| 五月丁香激情综合网官网| 99超级碰免费视频| 伊人色欲五月天| 丁香五月性爱| 久久xxxx| 狠狠色丁香| 激情六月婷婷啪啪| 26UUU亚洲欧美| 五月天婷婷视频| www.五月天色色色| 天天噜噜| 操操操91| 精品亚洲VA网站| 日本一级黄色片。| www.丁香黄色五月天人与| 狠狠搞狠狠操| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 俺也去婷婷五月天第五色| 激情六月色| 婷婷丁香花五月天| 色色色色色色色色色色色色色色,网站| 欧美顶级少妇做爰HD| 丁香久久| 久久综合人妻| 欧美日韩91| 久久作爱| 91偷拍视频| 精品99在线| 丁香五月婷婷五月| 九九色播五月丁香| 9操在线| 五月开心网| 丁香五月天天| 99操免费视频| 五月婷婷激情| 色婷婷久久| 在线99热| 天天操天天插| 久热这里有精品视频| 伊人网大香| 欧美日韩国产一区| AA久久| 色婷婷丁香综合中文字幕| 婷婷五月色激情欧美激情| 丁香六月婷婷社区| 99热这里只有精品免费观看| 色播激情婷婷| 狠狠色成人影片| 久热婷婷在线视频| 99热亚洲| 97色色-99久久| 狠狠综合网| tingtingjiqingwuyue| 婷婷99| 夜夜天天久久婷婷| 丁香五月婷婷社区| 色色色色色色色色综合网| 丁香五月很很肏| 久色| 婷婷色中文字幕| 久久九九色| 人人草公开操| 国产黄色在线观看| 99re这里| 久草A片| www色色com| caobi四区| 97色 五月天丁香| 色久五月天| 欧美123区免| 亚洲视频操| 天天射综合网站| 婷婷五月天小说| 国产裸舞福利资源在线视频| 青青草原亚洲久| 欧美精品熟女一区二区| 色综合久久中文| 老司机伊人| 六月婷婷狠狠| 综久久久| 九热视频| 丁香五月亚洲婷婷| 激情四射婷婷色色色| 激情五月婷婷| 欧美综合婷婷网| 天色色综合网| 久久婷婷五月| 国产日日操夜夜操的肉棒视频| 五月婷婷色白丝| www久久99| 五月亭亭六月激情| 香蕉97碰碰碰超视精品| 深爱激情五月网| AV国产有码| 久久久久久久五月| 亚洲五月婷婷| 丁香五月乱中文字幕| 久久久久网站| 久热这里只有精品3| 色噜噜狠噜噜视频| 另类图片激情五月天| 狠狠色综合久久久久| 99色在线| www.色窝| 天天操天天曰天天射| 婷婷色六月| 婷婷丁香激情| 99碰碰| 综合久久十三| 五月天色图| 婷婷成人丁香色情基地30 | 婷婷开心久久| 丁香六月婷月91婷月| 色色色丁香| 色五月天激情| 色情综合网| 99re99在线看| 亚洲精品成人片在线播| 粉嫩AV久久一区二区三区| 五月天婷婷激情综合| 天天射影| 丁香五月激情综合婷综| 夜夜爽77777妓女免费下载| 饮料下药迷倒漂亮女同事强干| 综合久久9| 性爱网五月婷婷| 91热久久| 五月丁香六月婷婷操操操| 久这里只有精品99| 99人人精品| 92久久精品一区二区| 日本久久性| 五月婷在线视频免费播放| 五月天激情四射| 婷婷D区| 成人丁香五月天| 可以免费看的AV网站| 777久久综合视频| 日本久久人| 少妇AB又爽又紧无码网站| 天天爽夜夜操| 天天精品视频免费观看| 99热这里只有国产精品| 黄色99视频| 99热碰碰| 亚洲电影在线观看| 开心五月深爱五月| 久操大| 日日操,天天操| 视频这里只有精品| 黄色成人网站在线播放| 五月天丁香啪啪啪啪| 极品少妇XXXX精品少妇偷拍| 婷婷午夜天| 五月丁香综合在线| 婷婷精品性性性性性性性| 色五月激情问网站| www一起操| 91 久热| 色伦专区97中文字幕| 九九视频这里只有精品| 色呦呦美女| 丁香桃色网| 婷婷激情五月综合丁| 丁香六月 婷婷六月| 91黄操| 色婷婷影| 丁香五月婷婷激情完整版| 无码成人AAAAA毛片AI换脸| 99性视频| 婷婷色色五月| 99热99在线| 亚洲啪啪网| 日韩三级高清无码| 婷婷久久综合久色| 日本 @ va 免费| 久久机只有这里精品| 影音先锋xfplay资源男人网| 五月丁香六月综合情在线观看 | 婷婷六月综合基地| 五月丁香综合激情| 五月丁香六月激情在线| 久久爱婷婷| 亚洲精品午夜国产va久久成人| 国产综合色婷婷精品久久| 天天射夜夜骑| ,99视频久久| 激情深爱婷婷网| 啪啪啪大香蕉| 五月丁香六月久久| 五月丁香婷婷福利| 亚洲第一色网站| 婷婷成人网五月天| WWW·天天操·视频?| 婷婷综合| 国产精品久久久99视频| 婷婷五月天视| 天天色综合色| 99热这里只有精品69| renrencaoav| 亚洲综合视频一下| 婷婷爱婷婷| 日日夜夜天天爽| 丁香婷婷成人在线播放| 伊人AV五月婷| 一级黄色尤物综合视频手机在线观看| 天天做夜夜爽| 日韩在线99| 99ri在线| 久久人人看| EEUSS鲁片一区二区三区| 狠狠色噜噜狠狠狠狠综合| www.五月天婷婷| 九九99精品| 六月婷婷综合| 精品人妻午夜一区二区三区四区 | 狠狠干狠狠干狠狠干狠狠干| 色狠狠色狠狠| 五月激情婷婷在线| 99干视频| 免费精品99| 亚洲亚洲人成综合网络| 国产精品久久久久久喷浆| av大片在线| 99视频这里有精品| 欧美偷偷操| 99热狠狠操| 日日干天天射| 色婷婷五月天激情在线播放| 99热亚洲精品66| 激情五月天小说网| 日本色色色| 天天日天天插| 亚洲色婷婷久久99精品91| 欧美日本韩国亚洲| 97超喷视频在线观看| 啪啪操操| 99热99ai| 天天干天天爽天天爽| 欧美色色色色色| 欧美久久婷婷| 午夜成人片400| 大香久久综合网| 无码yw| 丁香婷婷人妻| 亚洲国产色色| WWW99热| 激情五月婷婷| 中文av在线观看| 亚洲精品成人| 丁香五月天婷婷久久| 久播影院免费观看电视剧大全最新网| 久久狠狠干| 免费视频WWW在线观看网站| 另类五月激情| 91操在线视频| 欧美综合丁香网| 思思热99在线视频| 97操操操| 五月天操逼激情| 色婷婷丁香九月| 婷婷五月蜜桃成人桃色丁香| 九九99精品视频在线观看| 99热自拍| 伊人久久丁香狠狠婷婷综合香蕉| 婷婷五月激情的图片| 草美女在线观看视频在线播放| 婷婷干五月综合在线播放| 久操大香蕉| 色五月婷婷在线观看第一页舔| 激情人妻综合| 久久婷婷操| 五月天伊人久久久久| 99精品在线| 色原狠狠综合| 日韩狠狠色婷婷| 婷婷五月色激情欧美激情| 69精品人人人人| 91九九精品| 丁香五月婷婷六月婷婷| 日本五月婷婷| 久草热8精品视频在线观看| 99久久五月丁香野外| WWW.五月天9999| 色色a| 激情第四色| 超碰在线9| 激情网婷婷婷| 伊人超碰| 青青操日本摸摸看看| 99精品视频免费在线播放| 欧美啄木乌丝袜人妻系列| 热99在线| 丁香婷婷超碰 | 丁香五月 综合| 亚洲熟妇无码乱子AV电影| 99热在线观看| 婷婷伊人久久| 第五色色色婷婷| 日日天天操| 五月天啪啪| 玖玖综合网| 丁香五月婷婷基地| 99综合视频一体| 色色亚洲五月天| 亚洲人成网亚洲欧洲无码久久| 婷婷深爱五月天| 激情五月激情综合网一级丸片| 噼里啪啦完整版中文在线观看| 2015超碰| 五月天婷婷丁香社区| 亚洲第一色网站| 九九色热| 亚洲综合网 665566| 激情五月,色播五月| 秋霞午夜理论| 91人人操人人爱| 婷婷五月丁香99| 2050人人操免费工开爱| 色欲久久综合| 国产精品人妻在线网址| 久久婷婷五月天综合| 国自产拍偷拍精品啪啪一区二区| 亚洲综合久| 国产成人亚洲综合A∨婷婷| 琪琪布丁香社区激情五月天| 久久九九色| 日本欧美成人片AAAA| 91狠狠综合网| 丰满人妻一区二区三区| 9999综合99综合人| 丁香激情婷婷网| 国产古装妇女野外A片| 入口五月婷婷六月香| 婷婷亚洲影院| 97香蕉久久超级碰碰高清版| 久久婷婷亚洲| 99久久天堂婷婷| 激情综合亚洲色婷婷五月| 熟妇无码乱子成人精品| 影音先锋女人av鲁色资源网小说免费| 26uuu亚洲| 天堂色婷婷| 婷婷五月,偷窥偷拍网| 人操人人| 婷婷六月色开 | 操日视频| 国产精品色婷婷久久久精品| 婷婷九月在线| 超碰网站在线观看| 日本久久99久久| 十一月婷婷激情四射| 性色综合网| 天天综合网在线| 久热伊人9| 欧美性色视频| 超碰在线免费9| 亚洲综合在线播放| 久热 91| 色色日本欧美| 国产操B视频| 五月天久久婷婷| 综合久| 日日操日日撸| 99热这里只有精品手机在线观看| 国产亚洲精品AAAA片APP| 操逼123网| 五月美女婷婷风骚| 色丁香久综合在线久综合在线观看| 久久小说| 青青草六月丁香| 中文不卡av| 五月丁香六月情婷婷久久| 99热在线播放精品| 久久婷婷五月天蜜桃| 九九色院| 五月婷婷九| 九九九九毛片| 婷婷国产五月天17c| 五月婷婷激清网| 婷婷丁香婷婷97| 99色精品| 激情久久久| 婷婷在线播放| 五月婷婷之激情五月| 久久久久久久久18久久| 色婷婷久久综合久色综| 狼友视频在线观看18| 级情九色| 五月天六月天| 五月天激情色色| 九九热只有精品| 成人在线免费网址| 六月婷婷综合激情| 六月丁香花婷婷| 99精品视频在线观看| 婷婷丁香五月亚洲综合网在线视频观看| 操婷婷久久| 97超碰在线免费观看| 伊人网欧美在线男人天堂五月丁香| 五月天婷婷小说| 国产毛片欧美毛片久久久| 久久六月天| 五月天婷婷青青| 涩涩激情五月婷婷| 久久色婷婷| 狠狠色激情在线| 91啦丨九色丨刺激中文| 色五月超碰| 六月丁香五月婷婷首页| 激情内射人妻1区2区3区| 五月激情偷拍| 大香蕉啪啪网| BBWCUCKOLD精品熟妇| 丁香六月欧美| 国产乱码久久| 丁香五月婷婷国产在线| 综合久久9| 综合五月亭亭9| 九九九九九九毛片| 99九九精品| 久久婷婷一级片| 激情五月瑟瑟| 26uuu日韩| 久久激情五月天| 婷婷人人操| 精品9197碰| 国产热精品| 91丨九色丨熟女|新版| 无码激情AAAAA片-区区| 这里只有精品视频在线| 热久久77777| 久久九九re热| 亚洲另类在线观看| 在线只有精品| 五月激情开心婷婷| 欧洲亚洲午夜| 亚洲超碰中文字幕| www,天天干| 亚洲欧美一区二区三区爱爱动图| 中文网AV| www.久久婷婷| 思思久久99热只有频精品66| 任你日视频| 婷婷综合成人五月天| 丁香五月欧美色综合| 一区二区成人电影免费播放| 亚洲av网站| 99热日韩| 天天操夜夜夜夜爽| 日本久久超碰| a级毛片一区二区免费视频| 精品久久人妻| 99色视频| 五月丁香青草综合啪啪| 日韩中文欧美| 久久影视婷婷五月| 久九男女天堂| 色色性爱视频| 亚洲激情另类| 日本性激情色播| 色六月天天激情综合网| 天天肏高清在线| 五月天婷婷青青草| 超碰碰碰碰| 婷婷日欧美在线观看| 五月天激情Av| 色愛综合网| 激情婷| 成人无码髙潮喷水A片| 九九热精品视频| enecarbon-materials.com污K127封锁请涟系@wip1688 | 男人的天堂在线婷婷| 丁香六月婷| 丁香六月色婷婷| 亚州色色色| 久久人妻情侣| 欧美婷婷六月丁香综合色连续高潮抽搐| 另类婷婷五月天啪帕帕| 成人精品视频99在线观看免费| 婷婷五月天激情四射| 色播播五月天| 99re思思久久| 五月天停停基地| 色爱99| 婷婷性爱| 九月丁香亭亭| 亚洲色夜| 久婷自拍视频| 欧美偷偷操| 亚洲人妻av伦理| 五月婷婷色色| 婷婷五月天激情综合| 99热日韩| 丁香网五月网| 深爱五月婷婷开心中文字幕| 婷婷激情综合网| 狠狠干综合网| 丁香五月综合久久综合| 婷久久综合| 99九九热播在线免费视频| 欧美日韩二区在线| 成人国产欧美大片一区| 日本久久99| 色婷婷五月在线| 在线99热| 色综合色五月| 4399在线日本A片| 中文AV在线观看| 99热国产免费| 天干夜夜操| 99热这里只有免费精品| 九九热这里只有精品一| www夜夜操wwwcon| 丁香五月天激情AV| 激情婷婷丁香色五月| 激情二色月| 91啪级电影| 天天综合天天做天天综合| 热的国产,热的综合,热的有码 | 久99热| 丁香五月婷在线观看| 五月婷婷视频ab| www.人人操人人看人人想人人摸 人人人人操,COM| 五月丁香久久综合| 五月丁香婷成人网| 天天激情综合| 久久在这里有精品| 久久婷婷五月天激情| 开心激情久久久久久久| 日逼免费视频 | 大香蕉婷婷色| av中文在线| 思思精品视频| 亚洲色婷婷| 99在线精品免费视频| 97很鲁在线视频| 熟女人妻一区二区三区免费看| 嫩草AV久久伊人妇女超级A| 国产成人精品一区二三区熟女在线| 中文毛片无遮挡高潮免费| 日本强伦片中文字幕免费看| 五月丁香婷婷欧美色图视频五月丁香777电影| 久久久全国免费视频| 丁香五月大香蕉在线99| 成人综合视频网址| 九九热99在线视频| 色婷婷五月天偷拍| 99视频内射三四| 99这里精品| 九九久久综合网站| 情久久综合五月天| 五月丁香婷草| 五月天激情久久| 色婷婷狠狠| 亚洲乱码日产精品BD| 婷婷九月丁香中文| 丁香五月天天| 五月天天综合| 超碰成人在线观看| 狠狠色五月激情| 五月激情网络| 99色色网| 日日爽日日| 最近韩国日本免费高清观看| 91色五月在线观看| 性爱五月丁香| 99在线观看视频免费| 色综合开心五月深爱五月| 丁香婷婷五月基地| 玖玖五月| 丁香五月婷婷啪啪| 色99久草在线| 日韩99视频| 99re66热这里只有精品| 手机激情网| 婷婷五月天电影区小说区| 五月综合丁香婷婷| 久久丁香| 香蕉视频性爱BB做爱| 婷婷五月精品中文字幕| 五月婷婷高清| 色婷婷五月天天天干天天操天天爽| 桃色五月天| 激情五月天婷婷五月天| 婷婷狠狠干| 99热丁香| 五月亚洲激情| 五月激情综| 天天综合网91| 99热国品| 五月天婷婷色情| 人人色婷婷五月天| 五月婷婷开心综合| 婷婷性爱网| 婷婷香草网| 超碰在线99热| 丁香六月婷婷高清| 荷兰av一级| 99综合视频| 成人国产网站| 激情小说五月丁香在线视频观看视频| 天天操综合网站| 亚洲精品视频在线播放| 婷婷激情五月呦呦| 五月丁香福利| 天天日夜夜草进麻麻的子宫| 色婷婷久久| 午夜精品人妻无码一区二区三区| 久久综合影院| 人妻肉射免费观看| 久久三级视频| 婷婷五月综合中文字幕| 日韩黄黄| 欧美婷婷色五月| 中文字幕永久在线| 九九无毛| 婷婷久久综合| 橾逼网| 天天综合网站| 婷婷趴趴| 色五月激情基地| 久久ww| 91碰操| WWW丁香五月| 国产精品色色| 婷婷丁香熟女| www.色五月| 九九热在线视频观看| 免费精品99| 任你爽精品免费视频6| 五月天激情子轮| 日韩成人电影AV| 五月丁香色婷基地综合久久| 开心激情久久久久久久| 婷婷五月婷婷| 操逼巨乳91| 夜丁香五月婷婷| 日韩婷婷| 九九热10| 五月丁香六月激情欧美综合| 天天日天天干天天操| 99热狠狠操| 99性爱精品| 99热综合| 大香蕉精品视频| 天天日 天天草| 婷婷在线五月综合| 玖玖伦理电影| 色五月色五天色情网| 日韩精品一区二区刘| 日韩人妻操逼视频| 国产精品涩涩涩视频网站| 亚洲成人综合在线| 先锋资源婷婷| 91丁香色五月| 婷婷五月丁香色情| 丁香五月性| 亚洲网视屏| 五月激情站| 激情国产五月| 色综合开心五月深爱五月| 另类在线| 久久大香蕉| 综合色五月天| 丁香五月大香蕉AV| 狠色色狠网| 精品二区| 婷婷丁香五另类网站| 综合网亚洲| 97碰超级人人看| 久久久无码精品成人A片小说 | www色婷婷| 日本色五月婷婷| 丁香婷婷激情四射五月| 国产精品久久久60086| 狠狠操狠狠插| 丁香五月天欧美成人| 国产67194| 超碰97干| 色欲久久久久久综合网综合网| 伊人丁香五月婷婷潮吹| 天天色综合网吨吧| 人人人操 超碰| 亚洲婷婷开心五月| 亚洲综合色网| 99在线爽| 欧美电影在线播放| 天天激情视频| 天天天天干| 超碰人人91| 伊人玖玖婷婷| 99婷婷国产最新视频| 婷婷五月综合体验看| 五月丁香888| 丁香婷婷影院| 日本97久久久精品| 久久综合人妻| 五月婷婷丁香网| 天天操婷婷| 色五月自偷自拍婷婷婷婷| 日本五月天网站| 六月婷婷色色色| 天天爱天天狠天天透| 大香蕉中文| 久久婷婷91| 色色五月天婷婷| 亚洲五月天激情| 久久99精品视频| 久久只有18视频| 五月开心婷婷极品激情| 激情五月天色色网| 激情久久久| 日韩另类| 掩去也综合五月视频| 91精品久久久久久77777| 亚洲丁香五月天在线视频| 亚洲亚洲人成综合网络| 五月丁香欧美综合免费视频| 日韩成人精品中文字幕电影| 日夜夜天天| 丁香影院五月综合| 婷婷激情小说| 97亚洲婷婷| 九九碰九九爱97超碰| eeuss人妻| 成人美女网| 丁香五月婷婷激情中文| 丁香六月婷婷激情| 久久九九免费视频| www.日本91| 色色色色热| 色。 婷婷婷| www.久99| 五月婷婷婷婷| 综合婷婷久久| 亚洲成人在线播放| 日逼免费视频| 一本九九色| 中文AV在线播放| 五月婷婷综合热| 精品一区久热| 色欲资源网| 国产日韩av片| 97香蕉碰碰人妻国产欧美| 97久久香草精品视频| 九月色婷婷婷| 激情人妻综合| 丁香色情五月综合激情| 亚洲视频在线观看| 激情VA视频| 少妇高潮一区二区三区99欧美| 最新激情五月天| 婷婷五月综合激情| 思思久久思思| 亚洲av无码影院| 婷婷午夜| 99 这里只有精品| 碰碰碰91| 婷婷丁香十月| 99久久成人| 操操操91| 六月天婷婷| 啪啪啪啪五月天| 日韩无码人妻一区二区| 色色婷婷五月| 天插天啪天啪天啪| 日本人人干| 99婷婷| 婷婷狠狠干| AV堂狠狠干| 99热草草| 男人天堂99| 99精品网站| 激情爱爱网站超大免费| 婷婷六月天| 丁香五月婷老师| 亚洲综合激情五月久久| 久久五月婷婷综合网| 日本WWW九九九| www.精品99| 久久九九囯产| 丁香五月综合| 亚洲成人五月| 久久婷婷成人视频| 丁香六月激情国产| 夜夜撸夜夜骑| 婷婷丁香五月亚洲| 免费AAAAA网| 五月激情婷婷四射| 五月成人网站| 婷婷五月天电影区小说区| 色婷婷XXXXX| 亭亭丁香97| 久久精彩视频| 色色日本欧美| 色婷婷色五月丁香| 六月综合婷婷开心伊人| av亚洲国产小电影| 久久婷五月综合| 综合视频五月| 丁香五月开心亚洲| 一本大道伊人AV久久综合| 婷婷五月色情天| 婷婷开心久久| 79精品在线视频| 五月天伊人久久久久| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 色婷婷天堂| 激情黄色小说五月天| WWW久久久| 五月天婷婷色色首页| 99国产精品久久久久久久久久久| 99热主页日本| 国产成人+亚洲+欧洲| 色久婷婷五月| 偷偷操99| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 丁香六月色婷婷| 一区操| 久久激情视频| 狠狠色97| 开心婷婷五月中文字幕组| 久久综合激情五月天| 另类激情码| 日本在线wwww| 男同91 | 色五月丁香婷婷综合| 狠狠色丁香婷婷久久综合| 99综合97| 欧美大片| 久久视频婷婷视频| 激情丁香五月| 99国产性感视频| 丁香五月六月久久综合| 97在线视频人妻九色| 69精品无码一区二区三区| 久久国产一区二区三区| 99热精品中文字幕| 精品在线网站| 色色色色综合| 久久这里只有精品视频1| 开心深爱五月天| 色亚洲无码| 亚洲免费av观看| 91在线资源| 五月婷婷黄色网址| 天天干天天做| 色婷婷操逼| 99久久6| 婷婷五月情天| 日日爽天天| 俺五月| 狠狠色丁婷婷日日,伊人激情综合网 | 久久久久er热| 激情五月婷婷丁香综合网| 五月丁香在线国产 | 天天肏天天肏| 亚洲成人丁香花| 26uuu成人网| 大色鬼综合| 亚洲精品久久久久久久久久吃药| 99性视频| 婷婷五月天综合在线| 综合色色网| 日韩狠狠色| 亚洲另类婷婷综合| 五月丁香六月| 国产欧美va| 亚洲激情另类| 国产无套精品一区二区| 久热精品视频| 99热精品一| 色婷婷激情视频| 青青福利网| 日本va视频| 狠狠五月天激情|