欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

用LiteLLM統(tǒng)一多模型調(diào)用:部署、配置與生產(chǎn)避坑指南

用LiteLLM統(tǒng)一多模型調(diào)用:部署、配置與生產(chǎn)避坑指南 先交代一下背景吧。最近一年多我接手的幾個項目都繞不開大模型調(diào)用這件事。有的模塊要用海外閉源模型做復(fù)雜推理有的要用國內(nèi)開源模型走私有化部署還時不時有人提“能不能順手把某個本地小模型也接進來做個兜底”。最讓我頭疼的不是模型效果而是每個服務(wù)都有自己的SDK、鑒權(quán)方式、請求體和響應(yīng)結(jié)構(gòu)。業(yè)務(wù)代碼里塞滿了針對不同供應(yīng)商的分支邏輯換一個模型要改好幾處日志格式也不統(tǒng)一線上出問題根本沒法快速定位。后來我把這些調(diào)用全部收斂到一個開源網(wǎng)關(guān)層來處理也就是標題里寫的litellm。它做的事情可以用一句話說清楚把各種模型提供方的API統(tǒng)一成同一個協(xié)議格式對外暴露一套標準接口。這樣一來業(yè)務(wù)端只需要對接一次后續(xù)換模型、加模型、做負載均衡和自動重試全都在網(wǎng)關(guān)層完成不用再改業(yè)務(wù)代碼。這篇文章就圍繞這個工具把我從部署、配置到生產(chǎn)環(huán)境踩坑的完整過程梳理一遍給同樣被多模型調(diào)用折騰的人一個參考。1. 先搞清楚litellm到底解了什么難題1.1 多模型調(diào)用格式不統(tǒng)一的真實痛點先說一個最常見的場景。很多團隊一開始只接了一家模型服務(wù)代碼寫得很順。等第二個項目要換另一家模型供應(yīng)商時就會發(fā)現(xiàn)事情遠沒有想象中簡單。表面上大家都是“發(fā)一個HTTP請求、傳一段提示詞、拿回一段生成結(jié)果”但細節(jié)上的差異非常磨人。我用一個表格來對照一下不同供應(yīng)商常見的差異點你就明白為什么需要一層統(tǒng)一的處理差異維度供應(yīng)商A的典型行為供應(yīng)商B的典型行為鑒權(quán)方式請求頭帶指定前綴的密鑰使用獨立的訪問令牌過期需刷新請求地址路徑中包含版本號路徑中不區(qū)分版本靠參數(shù)區(qū)分請求體字段參數(shù)名較長需要嵌套結(jié)構(gòu)參數(shù)平鋪命名更簡潔模型參數(shù)溫度和采樣數(shù)等參數(shù)齊全部分參數(shù)不支持傳了會報錯響應(yīng)體結(jié)構(gòu)生成內(nèi)容嵌在多層嵌套字段中生成內(nèi)容直接在頂層字段中返回報錯信息返回標準錯誤碼加說明返回自定義錯誤結(jié)構(gòu)錯誤碼含義不同流式輸出數(shù)據(jù)幀格式統(tǒng)一數(shù)據(jù)幀格式有差異需要單獨解析這些差異一旦疊加在同一個代碼庫里就會變成大量適配代碼。比如我在一個項目里同時接了三家服務(wù)光是請求體的組裝函數(shù)就寫了六七個版本每個版本還帶自己的異常處理邏輯。后面為了排查一次“生成結(jié)果為空”的問題我不得不分別打開三套文檔對著三家不同的返回結(jié)構(gòu)做比對前前后后花了大半天。這些時間本來不應(yīng)該花在“連接口都調(diào)不通”這種體力活上。litellm這種工具的存在本質(zhì)上就是為了消除這層重復(fù)勞動。它把“不同供應(yīng)商的差異”集中在一個配置層解決讓下游業(yè)務(wù)永遠只面對一套穩(wěn)定的協(xié)議。1.2 它本身不是什么魔法請求代理的運轉(zhuǎn)邏輯我第一次接觸litellm時一度以為它是個復(fù)雜的模型調(diào)度框架需要在項目里引入重型依賴。實際了解下來它的核心邏輯比我預(yù)想的簡單直接它是一個請求代理。用一個生活化的比喻來說它就像前臺接待員。你不需要知道公司里每個具體部門的人長什么樣、坐在哪個工位只需要把需求告訴前臺前臺會根據(jù)你的需求去找對應(yīng)的部門溝通再把結(jié)果帶回來交給你。litellm扮演的角色就是那個前臺業(yè)務(wù)方永遠用同一套方式“提需求”至于后面到底是哪家模型服務(wù)在真正響應(yīng)業(yè)務(wù)方完全不感知。這個“前臺”在技術(shù)實現(xiàn)上就是一個常駐的代理服務(wù)。啟動后它會在本地監(jiān)聽一個端口對外提供與主流模型服務(wù)高度兼容的HTTP接口。業(yè)務(wù)代碼只要把請求發(fā)到這個地址網(wǎng)關(guān)層會負責解析、鑒權(quán)、轉(zhuǎn)發(fā)、接收響應(yīng)再把響應(yīng)換算成統(tǒng)一格式返回給調(diào)用方。很多人可能會問多加一層網(wǎng)絡(luò)請求是不是意味著性能損耗這個損耗確實存在但通常非常小。請求本身只有一次額外的本地轉(zhuǎn)發(fā)內(nèi)網(wǎng)環(huán)境下基本在毫秒級。相比它帶來的“業(yè)務(wù)代碼零適配”收益這點開銷幾乎可以忽略。我在生產(chǎn)環(huán)境實際壓測過加了這層代理之后單次請求的延遲增加大約在個位數(shù)毫秒用戶體驗上完全無感。2. 從零部署虛擬環(huán)境、配置文件和第一次代理啟動2.1 安裝與最簡單的啟動方式litellm的安裝官方推薦使用Python環(huán)境安裝命令也很簡單pip install litellm[proxy]這里要注意一個細節(jié)安裝包名稱后面帶了[proxy]后綴這表示要安裝帶代理功能的完整版本。如果只裝litellm本體你只能使用Python SDK的調(diào)用能力起不了代理服務(wù)。不少第一次上手的人就是在這踩了坑裝了之后發(fā)現(xiàn)沒有l(wèi)itellm --port這個命令。安裝完成后最簡單的啟動方式是這樣litellm --model 某海外大模型服務(wù)/某模型名 --port 8000直接通過命令行指定模型和端口litellm就會啟動一個最基本的代理。這種模式適合快速驗證工具本身好不好用。但說實話我在項目里幾乎不會用這種方式跑生產(chǎn)因為它所有配置都靠命令行參數(shù)時間長了根本記不住哪條命令對應(yīng)哪個環(huán)境。更推薦的做法是寫配置文件。還有一個比較重要的事我建議用虛擬環(huán)境來裝。因為litellm的依賴比較多而且和很多AI相關(guān)的Python庫存在版本交集直接裝到系統(tǒng)環(huán)境里很容易和項目里的其他庫相互干擾。我后來就把所有模型網(wǎng)關(guān)相關(guān)的東西統(tǒng)一放到了獨立的虛擬環(huán)境中需要升級或者排查依賴問題時直接重建虛擬環(huán)境干凈利落。2.2 config.yaml里的關(guān)鍵字段說明生產(chǎn)環(huán)境部署時我的習(xí)慣是把所有模型供應(yīng)商信息寫進一個YAML配置文件。這樣做的好處是模型增刪改都只需要改配置文件然后重啟代理即可不需要改動任何業(yè)務(wù)代碼。一個最基礎(chǔ)的配置文件長這樣model_list: - model_name: gpt-like litellm_params: model: 某海外大模型服務(wù)/某模型名 api_key: os.environ/某海外服務(wù)密鑰 - model_name: gpt-like litellm_params: model: 某國內(nèi)開源模型服務(wù)/某模型名 api_key: os.environ/某國內(nèi)服務(wù)密鑰 api_base: https://某國內(nèi)服務(wù)地址/v1 litellm_settings: drop_params: true set_verbose: true general_settings: master_key: sk-1234 database_url: os.environ/DATABASE_URL逐項解釋一下。model_list是整個配置的核心它定義了這個網(wǎng)關(guān)能代理哪些模型。注意每一項里都有model_name和litellm_params兩個部分。model_name是對外暴露的名稱業(yè)務(wù)方調(diào)用時只知道這個名字litellm_params則是實際轉(zhuǎn)發(fā)時需要用到的參數(shù)包括真正的模型標識、供應(yīng)商的密鑰、請求地址等。這里有個很關(guān)鍵的設(shè)計點model_name可以重復(fù)。也就是說你可以讓兩個不同的真實模型共用同一個對外名稱。這個特性后面在做自動切換和負載均衡時非常有用先記著。litellm_settings里我比較關(guān)注drop_params這個選項。前面說過不同供應(yīng)商支持的超參數(shù)種類不一樣如果把供應(yīng)商A的參數(shù)傳給供應(yīng)商B對方可能直接報錯。開啟drop_params之后litellm會自動過濾掉目標供應(yīng)商不支持的參數(shù)避免請求失敗。這個選項在接入多家供應(yīng)商時幾乎必開。general_settings里的master_key是網(wǎng)關(guān)的管理密鑰客戶端請求時需要在請求頭帶上這個密鑰才能訪問。database_url是可選配置用于持久化請求日志和預(yù)算數(shù)據(jù)。生產(chǎn)環(huán)境建議配上數(shù)據(jù)庫否則網(wǎng)關(guān)重啟后日志就丟了。2.3 用curl驗證代理轉(zhuǎn)發(fā)是否正常配置寫好后用一條curl命令就能驗證整個鏈路是否打通curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -H Authorization: Bearer sk-1234 \ -d { model: gpt-like, messages: [ {role: user, content: 你好請用一句話介紹你自己} ] }如果一切正常你會收到一段結(jié)構(gòu)完整的響應(yīng)里面有生成的內(nèi)容、使用的模型、token用量等信息??吹竭@段響應(yīng)說明代理服務(wù)已經(jīng)成功把你的請求轉(zhuǎn)發(fā)給了真實的模型服務(wù)并拿到了結(jié)果。第一次驗證時如果遇到問題優(yōu)先看兩個地方。一是啟動代理的那個終端窗口有沒有輸出錯誤日志大多數(shù)轉(zhuǎn)發(fā)失敗的原因都會直接打在那里二是確認配置文件里的密鑰和模型名是否真實有效。我曾經(jīng)因為復(fù)制配置時多了個空格導(dǎo)致認證一直失敗排查了半天才發(fā)現(xiàn)是YAML解析后的值尾巴上帶了個不可見字符。2.4 只需改base_url業(yè)務(wù)代碼幾乎不動代理跑通之后業(yè)務(wù)代碼的改動可以說小到令人驚訝。以官方SDK風(fēng)格的調(diào)用方式為例改之前是這樣的from 某海外大模型服務(wù) import Client client Client(api_key真實密鑰) response client.chat.completions.create( model某模型名, messages[{role: user, content: 你好}] )改之后是這樣from 某海外大模型服務(wù) import Client client Client( base_urlhttp://localhost:8000/v1, api_keysk-1234 ) response client.chat.completions.create( modelgpt-like, messages[{role: user, content: 你好}] )看到區(qū)別沒有業(yè)務(wù)代碼幾乎原封不動唯一變化的是base_url指向了本地代理api_key換成了網(wǎng)關(guān)的密鑰model換成了網(wǎng)關(guān)里配置的對外名稱。這一點極其重要。這意味著你不需要為litellm引入任何新的SDK不需要重寫調(diào)用邏輯甚至連已有的調(diào)用代碼都可以直接復(fù)用。我接手的一個老項目里原來的調(diào)用代碼還停留在比較舊的參數(shù)寫法上我本來以為要花大力氣改造結(jié)果只是把base_url和api_key兩個配置項替換掉接口就跑通了這個體感真的很爽。3. 統(tǒng)一響應(yīng)格式一份日志和一套錯誤碼帶來的連鎖便利3.1 響應(yīng)體結(jié)構(gòu)統(tǒng)一后下游處理簡化了多少調(diào)用跑通只是第一步真正讓業(yè)務(wù)代碼變清爽的是響應(yīng)格式的統(tǒng)一。在沒有網(wǎng)關(guān)時不同供應(yīng)商返回的JSON結(jié)構(gòu)五花八門。有的把生成內(nèi)容放在一個多層的嵌套結(jié)構(gòu)里有的放在頂層的某個字段里還有的在返回內(nèi)容的同時附帶一堆你根本用不到的信息。業(yè)務(wù)端為了兼容這些差異往往會寫好幾個解析函數(shù)每個函數(shù)負責一種結(jié)構(gòu)再通過分支判斷決定走哪個解析邏輯。接入litellm之后所有響應(yīng)都會轉(zhuǎn)換成標準結(jié)構(gòu)生成內(nèi)容統(tǒng)一放在固定位置token用量統(tǒng)一放在另一個固定位置整個響應(yīng)體的層次結(jié)構(gòu)完全一致。我原來有七八個分支的解析函數(shù)直接刪掉絕大部分只保留了一個針對標準結(jié)構(gòu)的解析邏輯。代碼量一下子少了很多可讀性和可維護性都上來了。更重要的是新同事接手項目時不用再逐個了解每家供應(yīng)商的響應(yīng)結(jié)構(gòu)了只需要看一份文檔——就是litellm對外輸出協(xié)議的標準說明上手成本大幅降低。3.2 錯誤碼與重試邏輯的統(tǒng)一處理響應(yīng)格式統(tǒng)一之外錯誤碼體系的統(tǒng)一是我一開始沒預(yù)料到的增值點。未引入網(wǎng)關(guān)前不同供應(yīng)商的報錯風(fēng)格差異很大有的會返回HTTP層錯誤有的會在響應(yīng)體里放自定義錯誤碼有的錯誤信息是一大段英文描述很難直接映射到業(yè)務(wù)邏輯里。這就導(dǎo)致我在業(yè)務(wù)代碼里寫重試邏輯時得針對不同錯誤類型分別判斷哪些值得重試、哪些不重試規(guī)則亂成一團。litellm把所有錯誤都映射成了一套統(tǒng)一的錯誤類型。比如上游模型服務(wù)被限流時即使原始報錯五花八門通過網(wǎng)關(guān)出去的標準響應(yīng)里業(yè)務(wù)端看到的都是統(tǒng)一的限流錯誤標識這是一個非常關(guān)鍵的收斂。業(yè)務(wù)端重試策略只需要判斷這一種錯誤即可統(tǒng)一限流錯誤說明上游資源暫時不足可以保守重試統(tǒng)一超時錯誤說明請求處理時間過長可能需要調(diào)整超時時間或改用更快的模型統(tǒng)一鑒權(quán)錯誤說明密鑰或配置有問題這類錯誤重試沒有意義直接告警。我把這套邏輯用在了項目里的一個批處理任務(wù)上。之前對接多家供應(yīng)商時重試參數(shù)五花八門現(xiàn)在全部收斂成統(tǒng)一策略批處理任務(wù)的失敗率肉眼可見地下降了。3.3 流式輸出來回切換的實際效果除了普通響應(yīng)流式輸出的一致性也值得一提。很多應(yīng)用在做打字機效果時需要用到流式輸出也就是數(shù)據(jù)一段段實時返回。不同供應(yīng)商的流式輸出格式差別同樣很大有的按行返回有的按事件塊返回有的還夾雜心跳包和額外元數(shù)據(jù)解析成本非常高。通過litellm做流式轉(zhuǎn)發(fā)后業(yè)務(wù)端收到的就是統(tǒng)一的流式格式。我在項目里寫了一個簡單的測試分別用三家模型跑同一段流式輸出然后對比收到的每一幀數(shù)據(jù)結(jié)果前綴部分完全一致幀結(jié)構(gòu)也相同。這意味著前端展示邏輯只寫一套流式解析就能通用不用再針對不同供應(yīng)商做特殊處理。我還試過在同一個請求里來回切換普通模式和流式模式只要在請求參數(shù)里改一個布爾值就可以網(wǎng)關(guān)層會正確處理不需要業(yè)務(wù)端做任何額外的適配工作。4. 多模型自動切換、負載均衡與失敗重試的配置策略4.1 把三個模型配置成一個“虛擬模型組”的具體寫法前面提到model_list里的model_name可以重復(fù)這個特性可以用來實現(xiàn)“多模型對外暴露為同一個名稱”的效果。我把三個不同供應(yīng)商的模型配置成了同一個對外名稱業(yè)務(wù)方完全無感知但網(wǎng)關(guān)層已經(jīng)具備了三選一的能力。配置寫法大致如下model_list: - model_name: unified-model litellm_params: model: 供應(yīng)商A/模型A api_key: os.environ/密鑰A - model_name: unified-model litellm_params: model: 供應(yīng)商B/模型B api_key: os.environ/密鑰B - model_name: unified-model litellm_params: model: 供應(yīng)商C/模型C api_key: os.environ/密鑰C三個真實模型共享同一個對外名稱。你可能會問它們效果完全不同對外暴露同一個名字業(yè)務(wù)方怎么知道用哪個答案是業(yè)務(wù)方不需要知道。這種配置方式通常搭配路由策略使用由網(wǎng)關(guān)層決定每次請求實際轉(zhuǎn)發(fā)給哪個模型。這樣配置之后想要在三個模型之間切換不再需要改業(yè)務(wù)代碼只需要調(diào)整網(wǎng)關(guān)層的策略就行。我在一個內(nèi)部工具項目里就是這么配的。不同時候不同模型的可用性、效果、成本都在變化有了這層虛擬模型組我可以隨時把某個表現(xiàn)不好的模型從路由池里摘掉或者調(diào)低它的權(quán)重全部在配置文件里完成整個過程業(yè)務(wù)方無感知。4.2 負載均衡與重試的細節(jié)參數(shù)配置好多個模型之后litellm會默認按順序輪詢分發(fā)請求但真正生產(chǎn)環(huán)境肯定要做更精細的控制。我實際使用的配置里加了這樣幾項參數(shù)litellm_settings: num_retries: 3 request_timeout: 30 fallbacks: [{ unified-model: [供應(yīng)商A/模型A, 供應(yīng)商B/模型B] }] allowed_fails: 3 cooldown_time: 60逐項說下我的理解。num_retries是同一個請求在遇到暫時性錯誤時的重試次數(shù)我設(shè)為3次。注意這里有一個值得注意的機制超過指定次數(shù)后如果仍然失敗litellm會按照fallbacks配置的順序把請求轉(zhuǎn)發(fā)給備用模型。比如主模型限流了重試幾次都不行就直接切換備用模型這個機制對線上可用性提升非常明顯。request_timeout是網(wǎng)關(guān)等待上游模型響應(yīng)的最長秒數(shù)。設(shè)得太短大模型思考時間長一點就會被判定為超時設(shè)得太長上游如果卡住了業(yè)務(wù)端會一直干等。30秒是一個比較折中的值大家可以根據(jù)實際請求長度調(diào)整。cooldown_time是熔斷冷卻時間。當某個模型連續(xù)出錯達到一定次數(shù)后litellm會在一段時間內(nèi)自動把它標記為不可用不再往它上面分發(fā)新請求。這個機制能有效避免一個故障模型持續(xù)拖垮整個網(wǎng)關(guān)。4.3 權(quán)重策略在真實項目中的使用心得除了默認的輪詢方式litellm還支持按權(quán)重分配流量。我比較常用的一種策略是按照成本來分配便宜模型分到的流量多一點貴的模型只在必要時使用。具體寫法是在每個模型的litellm_params里加一個權(quán)重字段配好后每次請求按權(quán)重做隨機選擇。比如我給模型A配置了較高的權(quán)重意味著平均每十次請求有較多次打給它剩余次數(shù)打給模型B。權(quán)重策略在我實際使用時主要解決了兩個問題。一個是成本控制如果某個模型雖然效果好但貴我會給它一個較低的權(quán)重讓便宜的模型分擔大部分簡單請求。另一個是灰度驗證新接入一個模型時先給它一個小的權(quán)重讓它承接一小部分流量觀察一段時間沒有問題后再逐步調(diào)高權(quán)重相當于一種流量灰度機制。不過這里要提醒一句權(quán)重策略無法保證同一用戶的不同請求特性被保留比如希望某個用戶的所有請求都打到同一個模型上權(quán)重模式做不到這種情況需要按其他維度做路由最好提前想清楚自己的業(yè)務(wù)是否需要會話級或用戶級一致性。5. 生產(chǎn)環(huán)境必踩的坑與我的修復(fù)過程5.1 版本重復(fù)安裝帶來的兼容性問題這個坑我印象很深。最開始我是圖省事直接用系統(tǒng)Python環(huán)境裝了litellm后面有一個項目引入了另一個依賴庫安裝時順便把litellm的依賴版本升了一下。結(jié)果整個網(wǎng)關(guān)直接起不來了報了一個很長的依賴沖突錯誤關(guān)鍵信息藏在日志中間不仔細看根本發(fā)現(xiàn)不了。后續(xù)排查發(fā)現(xiàn)系統(tǒng)環(huán)境里同時存在兩個版本的litellm相關(guān)文件一個被舊項目引用一個新項目又在用另一個版本兩個版本之間互相覆蓋導(dǎo)致加載時出現(xiàn)了錯亂。這個問題最終的解決辦法有兩條缺一不可。第一條給litellm單獨建一個虛擬環(huán)境和項目環(huán)境隔離。第二條在虛擬環(huán)境里固定litellm的版本號安裝不輕易升版本。后續(xù)每次要升級時先在測試環(huán)境跑一遍主要流程確認沒有兼容性問題后再更新生產(chǎn)環(huán)境。這看起來是常識但我在這個坑上花掉的時間一點都不少寫出來是希望后來者別再重復(fù)一次。5.2 流式輸出超時與keep-alive參數(shù)另一個讓我折騰比較久的問題是流式輸出偶爾會“卡住”。具體現(xiàn)象是打字機效果剛開始時一切正常輸出到一半突然停住過了一段時間前端報超時錯誤。剛開始我以為是模型生成太慢調(diào)大了請求超時時間問題依舊。后來我去翻了網(wǎng)關(guān)的日志發(fā)現(xiàn)請求其實一直在正常轉(zhuǎn)發(fā)上游也有數(shù)據(jù)陸續(xù)返回但客戶端和網(wǎng)關(guān)之間的連接被斷開了。原因在于流式請求的處理時間較長而承接業(yè)務(wù)端與網(wǎng)關(guān)之間的連接服務(wù)在空閑一段時間后主動關(guān)閉了連接。前端沒有收到任何數(shù)據(jù)自然就認為請求超時了。解決辦法是在網(wǎng)關(guān)和業(yè)務(wù)端的連接層配置保持活躍參數(shù)確保長連接不因空閑被回收。同時在流式請求的協(xié)議層約定一個心跳機制每隔一段時間發(fā)送一個空消息提醒連接不要關(guān)閉。改完之后再長的輸出也能穩(wěn)定跑完。這個坑比較隱蔽因為報錯信息看起來像模型問題實際卻是網(wǎng)絡(luò)連接層面的問題。排查鏈路值得記錄先確認上游是否有數(shù)據(jù)再確認數(shù)據(jù)是否到達網(wǎng)關(guān)最后確認網(wǎng)關(guān)到業(yè)務(wù)端的連接是否穩(wěn)定一環(huán)一環(huán)拆開看很快就能定位到問題出在哪個環(huán)節(jié)。5.3 并發(fā)額度較低時的隊列表現(xiàn)第三個坑比較讓人頭疼和上游模型服務(wù)的并發(fā)限制有關(guān)。我當時部署的某個開源模型的推理服務(wù)并發(fā)能力比較有限而網(wǎng)關(guān)這邊的請求量又不小導(dǎo)致大量請求打到上游后被限流拒絕。由于網(wǎng)關(guān)本身有重試機制這些請求會進入重試隊列重試又繼續(xù)被限流最終形成了一種請求雪崩網(wǎng)關(guān)的線程池被占滿所有請求都在排隊等待重試包括那些原本可以正常處理的請求。發(fā)現(xiàn)問題后我做了三個調(diào)整。第一在litellm的配置里給這個模型設(shè)置了一個每分鐘請求速率上限給上游一個喘息空間。第二關(guān)閉了對限流類錯誤的自動重試讓這類請求快速失敗而不是反復(fù)打上去。第三在業(yè)務(wù)端加了一個信號量限制同時進行的請求數(shù)量避免一次性涌入太多。調(diào)整之后整個系統(tǒng)的穩(wěn)定性明顯好轉(zhuǎn)正常請求的響應(yīng)時間也降下來了。這個坑的本質(zhì)是重試機制和限流疊加產(chǎn)生了放大器效應(yīng)理解了這個因果鏈條許多并發(fā)場景下的類似問題都能看穿。5.4 啟動后找不到配置文件的排查鏈路最后這個小坑很基礎(chǔ)但幾乎人人都會遇到我在某個目錄下啟動litellm時用了相對路徑指定配置文件啟動時報找不到文件。單獨看這條命令一點問題沒有但換到另一個目錄去啟動時相對路徑指向的位置就不存在了。這不算什么高深問題但解決思路值得總結(jié)。我把配置文件的路徑改成了絕對路徑同時在啟動腳本里顯式指定配置文件位置避免依賴“當前所在目錄”這個隱式狀態(tài)。后來我干脆把啟動命令封裝成了一個固定的啟動腳本腳本里固定好虛擬環(huán)境路徑、配置文件路徑、日志輸出路徑每次直接執(zhí)行腳本即可。實踐下來這樣不僅避免了路徑問題還大大降低了誤操作的概率。6. 預(yù)算、密鑰與審計日志網(wǎng)關(guān)該管的事別交給業(yè)務(wù)代碼6.1 把密鑰管理收斂到config.yaml之后多模型時代密鑰管理是個容易被忽視的問題。假設(shè)業(yè)務(wù)代碼直接調(diào)用了供應(yīng)商的密鑰那這些密鑰就會散落在各個項目的環(huán)境變量里、配置文件里甚至可能被提交到代碼倉庫。一旦泄露風(fēng)險和排查成本都很高。把litellm當作統(tǒng)一入口之后所有供應(yīng)商的密鑰都集中存放在網(wǎng)關(guān)配置層業(yè)務(wù)代碼只認網(wǎng)關(guān)的密鑰。這就把密鑰的暴露面從“多份”收斂到了“一份”。我在項目里配合密鑰管理服務(wù)來存放配置里的敏感信息整個系統(tǒng)對供應(yīng)商密鑰的引用全部通過環(huán)境變量注入不在任何明文配置文件里出現(xiàn)。這里要特別提一下業(yè)務(wù)端使用的網(wǎng)關(guān)密鑰和上游供應(yīng)商密鑰最好嚴格分離。業(yè)務(wù)端只需要擁有調(diào)用網(wǎng)關(guān)的權(quán)限而真實的供應(yīng)商密鑰只存在網(wǎng)關(guān)側(cè)。這樣即使某個業(yè)務(wù)端的密鑰泄露影響范圍也僅限于這個業(yè)務(wù)端能調(diào)用的模型不至于把上游供應(yīng)商的全部賬戶權(quán)限都暴露出去。6.2 預(yù)算限制字段與實際觸發(fā)效果litellm還提供了預(yù)算控制能力可以在配置里限制單個密鑰、單個模型或整個網(wǎng)關(guān)的月度消耗上限。我在項目里給內(nèi)部工具配置過一個月的總預(yù)算設(shè)置方式是在general_settings里加預(yù)算字段general_settings: master_key: sk-1234 max_budget: 100 budget_duration: 30d意思是30天內(nèi)總消耗預(yù)算為100美元。當累計消耗達到這個上限時網(wǎng)關(guān)會自動拒絕新的請求并返回預(yù)算超限錯誤。測試時我特意用一個臨時密鑰配置了極低的預(yù)算觸發(fā)之后觀察到的現(xiàn)象是業(yè)務(wù)端收到的是統(tǒng)一格式的預(yù)算錯誤日志里也能看到網(wǎng)關(guān)記錄了預(yù)算超限的審計信息。這個功能最大的價值在于給業(yè)務(wù)方一個“安全墊”。特別是那些對成本敏感的自動化任務(wù)如果因為模型調(diào)用失控而產(chǎn)生高額賬單預(yù)算限制能避免損失擴大。我個人建議每個接入網(wǎng)關(guān)的內(nèi)部項目都設(shè)置預(yù)算上限哪怕設(shè)置得寬松一些也好過完全沒有防線。6.3 用請求日志定位線上問題的流程最后說說審計日志。litellm支持把每一次請求的詳細信息記錄到數(shù)據(jù)庫包括請求時間、調(diào)用的模型、消耗的token數(shù)量、響應(yīng)耗時、狀態(tài)碼等。這些日志在線上問題排查時價值極高。有一次線上反饋某個功能變慢了我通過日志篩選出那個時間段內(nèi)的請求記錄按響應(yīng)耗時排序發(fā)現(xiàn)耗時長的主要集中在某個特定模型上而其他模型基本正常。進一步分析之后確認是那個模型的推理服務(wù)負載過高導(dǎo)致的于是我把網(wǎng)關(guān)里該模型的權(quán)重降低把流量分流到其他模型上問題很快緩解。整個過程大概花了十分鐘如果沒有日志排查這個問題的鏈路會漫長得多。建議不要等出問題了再考慮加日志從一開始就配上數(shù)據(jù)庫存儲日志養(yǎng)成看日志的習(xí)慣。日志就是系統(tǒng)的黑匣子關(guān)鍵時刻能幫你省下大量時間。最后分享一個我個人的小習(xí)慣每次修改配置文件前都先備份一份帶日期的副本再動原文件。這個習(xí)慣幫我避免了好幾次“改壞配置但不知道改了什么”的尷尬。另外升級litellm前我會先跑一個測試腳本把常用的模型調(diào)用、流式輸出、錯誤重試全部走一遍確認沒有回歸再正式切換版本。這些看起來不起眼的細節(jié)長期累積下來是讓整個網(wǎng)關(guān)穩(wěn)定運行的重要保障。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
狠狠色狠狠色综合日日91| 日本精品干| 天天色视频| 九九精品系列| 婷婷综合五月天| 97色婷婷| 5月丁香美女影院| 五月丁香六月综合激情无码软件亮点 | 嫩草AV久久伊人妇女超级A| 激情久久五月网| 人操综合| 天天色图| 免费久久这里只有精品99| 日本三级第一页| 天天色99| 五月情四婷婷| 色综合久久无码| 婷婷在线播放| 丁香婷婷丁香五月欧美人| 天天日色情| 五月六月丁香激情| 五月婷婷激情综合在线| 色情婷婷久久五月天| 夜夜操夜夜操| 色婷婷基地在线| 色色欧美。| 激情欧美五月丁香| 成人网址在线观看| 99热热热天天人人人超超碰| 色综合色五月| 狠狠草综合网| 婷婷五月色情天| 国产偷人爽久久久久久老妇APP| 婷婷五月中文在线视频| 91久操| 日产精品一线二线三线芒果| 久99久精品| 这里只有精品,日韩视频| 97涩婷婷| 婷婷狠狠操| 婷婷五月丁香成人| 色三级色三级| 亚洲日本三级片| 五月丁香操婷逼| 色婷婷丁香五月高清在线| 久久99免费视频| 丁香五月天在线直播观看| av不卡网站| 成人综合AV| 婷婷丁香六月影视| 久久在线92| 久久久久婷婷| 色五月亚洲| 色婷婷五月天天天天天| 免费看片在线观看| www.夜夜操| 五月丁香欧美在线| 26uuu视频欧美| 色www99| 欧美久久婷婷| 人妻久久久久久久久久| 综合色久| 五月天综合色| 国产精品一区在线观看你懂的| 深爱激情六月天| 五月天激情小说| 亚洲啪啪自拍| 五月天社区| 五月草视频| 狠狠色丁香| 五月婷婷综合天天操| 99热久草| 婷婷开心激情五月激情网| 五月综合久久| 麻豆精品| Www.sesese丁香| 婷婷视频网| 久久AV电影| 激情五月综合| 久久婷婷丁香五月宗合| 国产五月视频| 五月综合视频| 五月丁香综合在线| 在线观看日韩12345区| 超碰精品在线| 五月婷在线观看| 狠狠爱综合网| 色婷久九| 亚洲成人综合网在线免费观看| 九九视频在线| 九九99九九99| 99爱视频在线| 婷婷五月天论坛| 99久久久免费| se婷97| 久久久激情| 婷婷内射视频在线| 久久视频在线| 2023天天日夜夜爽| 黄色99视频| 六月婷婷青青青视频| 99热久久这里只有精品| 99精品久久| 五月开心深爱激情网| 日日噜狠狠色综| 99久久视频| 啪啪日本欧美| 色婷婷成人做爰A片免费看网站 | 99爱视频| 色五开心五月五月深深爱| 精品一区二区三区四区五区六区介绍 | 99色热视频| 午夜无码精品色综合久久| 色香久久| 国内在线99视频| 超碰人人色| 久久性爱视频| 激情五月婷婷开心网| 狠狠999| 色五月超碰| AV在线二十六页| 五月天婷婷综合网| 婷婷五月天AV| 亚洲中文字幕网| 五月激激激情综合网| 五月婷庭丁香在线| 这里只有精品在线视频精品| 久久五月视频| 日韩av在线电影| 激情碰碰碰| 色五天综合| 激情综合五月| 激情小说五月天| 人妻精品在线| 99色热视频| 色狠狠婷婷| 亚洲五月情| 久久婷婷五月国产激情综合片| 欧美 日韩 成人 在线| 色爱综合五月| 绿色小导航AV| 中文字幕+中文在线| 丁香五月婷婷社区| 欧美A级成人婬片免费看理论| 久久久中文| 91啪啪视频| 色综合久久88色综合天天99| 深爱激情丁香| 噜噜吧天天爱| 99爱在线视频| 丁香六月婷婷综合缴| 五月丁香婷婷激情澎湃四射| 亚洲国产色色| 99久久久国产精品免费蜜乳tv| 五月婷婷综合色啪| 人人人人人人人人人草| 午夜精品久久久久久久爽| 九九成人| 可以看的av| 婷婷五月色播| 狠狠干,狠狠操| 五月丁香激情四射| 婷婷五月天影院| 98色花堂98t.R| 激情五月婷| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 91精品久久久久| 五月丁香综合成人社区| 色情五月天。| 久久资源网五月婷| 在线看片av| 久9热视频在线观看| 91九色中文字幕女在线观看| 99自拍视频网站| 色碰碰| 丁香五月性爱爱五月| 色色色五月天激情资源| 嫩草国产| 91碰碰视频| 九热...av| 久9热视频| 国产97色在线 | 日韩| 99热资源在线| 99ri在线观看视频| 婷婷五月天色色| 色九月婷婷| 9久久精品| 乱乱av| 国产成人精品一区二区三区视频| 最近免费中文字幕大全高清大全1| 强辱丰满人妻HD中文字幕| 97高清国语自产拍| 久久九九思思| 91pornav在线| 五月色婷婷中文字幕| www.91操| 九九色色网| 亚洲色五月| 99热99成人| 9九热视频| 丁香香五月激情免费视频| 五月天激情小说电影| 丁香五月婷婷呀| 五月婷婷久久内射| 美女妹子后射视频网站在线观看| 六月色播| 婷婷丁香激情综合色情| 狠狠色综合网站久久久久| 97人人超| 五月丁香综合精品欧美| 亚洲爱婷婷| 欧美日韩成人一区二区| 色综合综合色| 热99视频精品| 久久这里有| 另类视频五月天| 欧美日韩123| 色婷婷影院| av国产精品| 99热 精品在线| 玖玖婷婷五月天毛片| 青青草网武则天| 91精品人妻少妇无码影院| 97色片| 欧美激情五月天婷婷| 色五月av伊人| 色情婷婷。| 爱操人妻| 国熟女视频| 久热视频这里只有精品| 亚洲婷婷丁香| 天堂成人A片永久免费网站| 丁香六月婷婷缴情欧美| 中文字幕av亚洲| 五月停亭六月,六月停亭的英语| 综合欧美五月婷婷| 亚洲 五月 婷婷 成人| 泰州成人视频| 俺去也综合| 99riav 亚洲| 1囯产午夜仑鲁鲁| 97在线刺激| 欧美激情五月天婷婷| 伊人综合网4| 丁香六月无码播放| www超碰| 成人精品一区日本无码网| 蒲京久久无码视频| AV在线中文| 天天在线久久综合 | 色播播五月| 我爱大香蕉| 成人精品视频99在线观看免费 | 日日夜夜天天| av中文在线| 天天久久九九| av网址在线播放| 97超碰欧美中文字幕| 五月丁香久久| 久久婷婷五月综合伊人| 欧美人妻一区二区| 天天日日| 午夜一区| 色5月婷婷| 97碰碰在线观看视频| 久久丁香五月天| 高清资源站日A美A欧亚…| www,色综合| 99re思思| 亚洲九九视频| 婷婷导航| 免费亚洲成人电影AV| 久久丁香五月综合六月激情红杏视频| 国语精品探花| 天天色视频| 97人人妻人人艹| 久热黄色| av免费人人| 日本久久婷| av在线播放网站| 成人电影在线免费试看| 狠狠干 狠狠操| 在线成人视频免费| 亚洲日韩久久婷婷伊人| 在线99热| 青草少妇激情| 夜精品无码A片一区二区蜜桃| 青青日韩| 狠狠干在线视频| 五月丁香影视| 夜夜骑天天操| 国产XXXX搡XXXXX搡麻豆| 亚洲无码www| 99热国内| 91丨九色丨熟女|新版| AⅤ网站在线看| 国产成人高清| 深爱1激情网| 狠狠干无码| 狠狠爱丁香婷| 91精品电影18T| 99色| 99亚洲精品综合在线| 久久精品视频99| 五月天婷婷五月| 另类天堂| 91婷婷在线观看| 天天爽曰日爽| 久久99网| 久99久视频免费观看| 五月天中文字幕在线婷婷| 99视频在线播放大全| 久久艹 五月天| 91丨九色丨国产打屁股| 草综合14| 久久婷婷五月丁香蜜桃网| 色啪影院| 天天爱天天狠天天透| 狠狠CAO日日穞夜夜穞AV| www色五月| 五月开心深深爱激情综合 | 中文资源在线a | www久久艹| 五月天天综合| 国产激情一区| 五月婷人妻| 亚洲网视屏| 97热超碰| 麻豆五月丁香婷婷| 五月丁香综合激情| 久婷婷| 婷婷免费视频| 久热久69| 五月丁香啪啪拍| 狠狠综合网| 国产小网站| 丁香激情合作五月| 天天插天天射| 91大神操美女| AV人人操| 亚洲99精品九九在线| 色婷五月婷婷| 九九激情综合| 狼人婷婷综合| 99色视频在线| 涩涩激情五月婷婷| 九色视频这里只有精品| 六月丁香五月婷婷| 综合五月草 | 色色色色五月| 欧美色久| 日韩黄色电影| 亚洲精品中文字幕成人片| 99热99这里有免费的精品| 爱射综合| 秋霞黄色一级久久| 久久久久9999| 亚洲第一成人无码A片| www99热| 欧洲电影在线观看免费版英语版 | 婷婷五月天色色| 思思99久久| 91oumei| 色播五月丁香| 97人人妻人人艹| 6080av| 激情开心五月天| 午夜婷婷丁香| 99久久9| 丁香五月情| 色色色色色网| 综合 蜜月 婷婷| 丁香五月在线视频黑人| 中文字幕乱码亚洲精品一区| 激情五月天综合图片小说网站| 99在线观看精品视频| 色综合久久天天综合网| 大香蕉五月婷婷| 十区AV| 五月色影院| 99久久久精品| 日日爽日日爽| 亚洲色频| 九九精品热| 超碰永久在线| 99热在线观看精品免费| 婷婷色色色| 天天日日爽| 美女久久婷婷| 久久久五月婷婷| av亚洲国产小电影| 春色激情第四色| 日本天天操| 激情婷婷五月亚洲| 国产亚洲在线| 天天舔天天摸天天射| 六月婷婷综合| 日日干日日s| www超碰| 激情五月天综合网站网站网站| 能看的av网站| 婷婷五月天色丁香| 无码少妇高潮喷水A片免费| 开心激情色婷婷五月天| 午夜69成人做爰视频| 天天粽合合合合| 日日躁夜夜躁狠狠久久AV| 五月丁香婷色| 日本操B视频| 久久网思思| 激情6月| 日韩十国产极品久久| 97在线日韩| 丁香色五月婷婷| 91美女啪啪| 五月天婷婷在线AN| 久久9热| 国产成人高清| 亚洲精久久| 色色婷| 天天干,天天舔| 91久久婷婷| 激情5月婷婷狠狠干| 欧美顶级少妇做爰HD| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 久久99热这里只有精品| 久草久青福利| 亚洲宗合激情| 五月婷婷片| 日韩三及成人AV片| 精品激情| 欧美亚洲999| Av狠狠色丁香婷| 九九视频这里只有精品| 久久精品99久久久久久| 激情五月天婷婷| 热热久久久久久久久| www超碰com| 天天摸天天做天天爱天天爽| 婷婷久久丁香五月| 天天做天天爱天天爽| 人妻系列久久久久久久久久久| 青草视频在线播放| 五月丁香六月婷婷综合网站| 久久精品91视频| 丝袜大香蕉| 99r这里只有精品哦| av高清无码| 五月婷婷网五月在线| 中文字幕性爱视频| 1024日韩| 丁香久久五月天视频在线观看| 丁香操逼| 超碰色综合| 色播丁香| www,婷婷,com| 丁香五月天激情综合| 久久久久久综合88| 成人无码精品1区2区3区免费看| 九九机热| 狼友超碰| 欧洲色| 五月天六月婷婷电影| 国产精品丝| 色情综合| 天天碰天天插天天操| 丁香五月婷婷影院| 大香蕉综合| 69五月天视频| 99视频在线啪| 色色色热热热| 久久欧洲综合网| 97婷婷五月丁香| 久9热视频| 立川无码av| Y11111111111少妇电影院| 欧美久久婷婷| 五月天色在线| 五月婷婷激情久久| 人人爽网| 97视频91| 婷婷综合在线观看视频| www.久久爱.com| 人人摸人人干| 九九热精品视频在线观看| 色激情综合狠狠婷婷| 五月激情久久| 色色五月丁香| 丁香五月色| 五五月丁香花激情综合网| 1769在线观看欧美国产| 99色在线视频| 久久激情五月婷婷| 婷婷五月天777| 国产永久一黄| 99热这里是精品| 婷婷亚洲五月| 最新激情五月天| 超碰国产AV| 亚洲视频在线观看| pom538精品视频| www。五月天。com| 91无码视频| 色婷婷五月天av在线| 丁香五月综合婷婷| 噜噜噜噜噜色| 婷婷综合另类小说| 婷婷色偷拍| 99精品偷自拍| 色五月五月婷婷| 激情狠狠丁香月| 99久在线| 超碰A V在线| 五月丁香色婷婷| 黄色激情五月天| 丁香色六月婷婷| 香蕉伊人综合| 秋霞AV吧| 成人va在线播放| 第五色色色婷婷| 蜜臀av无码久久久久久久久| www.婷婷,com| 黄色网址五月婷婷| 婷婷综合五月天| 天天综合网在线| 深爱五月中文字幕| 婷婷精品免费久久| 先锋男人91资源| 亚洲无AV在线中文字幕| 久久伊人婷婷| 色五月婷婷色五月婷婷色五月婷婷| 月月AV| 丁香婷婷九月| 日本丰满久久| 内射人妻视频国内| 东京热免费视频| AV人人操| 狠狠久综合| 无码九九| 欧美色久| www:99热视频| 狠狠色丁香乆乆| 能看的av| 久久久99久久| 色色色热热热| 五月婷婷开心丁香| 日韩一区二区三区无码| 99成人网一区| 超级碰碰碰97免费| 天天综合网色欲香| 狠狠婷婷色| 久久性爱视频| 人妻人人操| 国产色色视频| 深爱激情网综合| a v色婷婷| 天天综合网、天天综合色 | 色婷婷五月视频| 欧美日韓成人亚洲精品另类| 91狠狠色丁香婷婷综合久久| 超碰成人av| 七七久久婷婷| 99综合五月免费视频色婷婷| 欧美日韩欧美| 五月成人网站| 久月婷婷| 91免费看片| 五月婷精品| 国产精品国产VA片国产| 色99视| 五月丁香啪啪啪| 黄色精品五月婷婷| 久久狠婷婷| 97成人丁香| 国产精品久久久久9999小说 | 99色播| 色色色99韩| 日本老女人黄页在线播放| 国产精品色婷婷99久久精品| 懂色av蜜臀av粉嫩av永陈冠希| 五月天色色色网| 蜜乳av一级av| 日本精品人妻无码77777| 99视频精品| 婷婷色五月天在线| 激情五月天视频| 97婷婷丁香| 九九热视频这里只有精品| 婷婷五月丁香网| 色情免费视频播放| 天天cha成人综合网| 人人人人人人人人人草| 99人这里只有精品| 五月婷婷五月丁香综合| 玖月婷婷爱丁香| 操操操操操操婷婷五月天| 久久综合激情| 91精品久久久久久77777| 婷婷97碰碰| 亚洲色人妻| 91视频综合网| 欧美操逼天堂| www.色九月| 99ri视频在线播放| av无码电影| 激情婷婷九月| 大香蕉Av在线| 98永久精品| 丁香密臀AV激情网| 91九色国产熟女| 综合伊人久久| 中文字幕97超级碰| 99热国内精品| 综合色情网| 亚洲精品视频在线播放| Av大香蕉| 色婷婷丁香网| 色五月无码| 97丁香五月天| 亚洲AV无码久久精品色欲| 99热久久最新地址| 亚洲99在线| 久久开心五月婷婷| 婷婷五月天在线观看第二页| 欧美xx激情视频在线观看| 婷婷五月六月| 九九热婷婷| 99干视频| 激情六月综合| www.天天干| 日本熟妇乱妇熟色A片蜜桃| 黑人巨粗进入警花疼哭A片| 艹B高清无码| 亚洲传媒在线观看| 激情婷婷丁香色五月| 正宗黄色毛片| 日本久热| 日本色噜| 五月天成人手机在线视频| 丁香六月视频免费观看| 五月婷婷在线播放| 99精品视频在线观看| 日韩啪| 色情五月婷婷| 91一起操| av操逼网| 久久九九亚洲| 久久婷婷久久| 丁香五月在线人妻| 五月天婷婷激情干干| 色五月成人在线| 婷婷久久亚洲| 六月婷婷久久| 亚洲中文乱字字幕在线永久| 国产小精品| 91人妻人人操| a色婷婷| 五月丁香免费视频| 99热6这里只有精品6| 99热这里只有精品一| www色五月天| 日本丁香五月| www.狠狠| 国产69久久久欧美黑人A片| 日本44久久在线| 99婷婷五月天激情| 九热视频| 五月丁香婷婷激情在线| 深爱激情六月天| www.久久久久久久| 丁香五月色| 久久婷婷五月综合色区| 99热只有精品在线| 婷婷五月天成人网| 午夜爱爱爱成人| 99亚洲日韩| 超碰二区| 色婷婷久久| 丰滿爆乳一区二区三区| 99久久玖玖| 涩涩涩,com| 色五月成人在线| 色色色综合网| 色婷婷五月天| 亚洲成人日韩无码精品| WWW.久久久久久久| 激情五月婷婷欧美极品| 五月婷婷中文| 99这里只有精品|v| 婷婷综合九色伊人| 91丨九色丨熟女丰满| 六月色日韩| 91久久婷婷人人澡草| 97人妻碰碰碰久久香蕉| 一本道在线电影| 99视频极品在线香蕉| 色99视频| 狠狠色 综合色区| 亚洲一区二区无遮挡A片| 色五月综合| 午夜激情四射影院| 东京热伊人| 超碰renrenai| 久久狠狠干| 中文成人在线| 婷婷激情综合色五月久久图片| 久久色频| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 99热精品综合| 五月丁香久| 香蕉久久国产AV一区二区| 玖玖婷婷视频| 99热这里只有精品21| 五月婷六月| 亚洲激情五月天| 婷婷六久久| 99人妻碰碰碰久久久久禁片| 五月丁香黄色| 国产成人+综合亚洲+天堂| 婷婷六月丁香五月图区| 亚洲国产成人在线| 99久久久国产精品免费蜜乳tv| 欧美丁香五月97色| 激情涩播| 9久精品视频| 激情五月天www| 亚洲人妻av| www.韩日视频| 九九热这里有精品视频| av狠狠操| 午夜性做爰电影| 我去色色网五雨天| 婷婷五月丁香基| 中文字幕,综合,91| 人人艹艹艹| www.91操| 久热视频这里只有精品| 深爱激情综合| 百度4399有码精品V在线观看| 婷婷五月天激情偷拍| 午夜丁香综合婷婷| 五月天婷久久| 丁香五月亚洲AV| 天天婷婷| 日本精品人妻无码77777| 色综合中文| WWW.99热| 99热精品在线播放| 色欲影香| 天天色综合综合| 五月天婷婷基地| 婷五月天丁香婷五月| 综合狠狠五月婷婷| 亚洲网视屏| 色婷婷aV四虎| 色青青五月| 99热日韩| 婷婷综合另类| 密乳视频| 婷婷五月成人| 九月婷婷激情| 中国激情网| 五月婷婷色色| 97人人操在线| 五月婷婷之综合激情| 欧美精品中文字幕亚洲专区| 日本色婷婷| 综合婷婷都市激情| 黄网在线免费| 婷婷丁香六月五月天| 国产激情在线| 亚洲天堂AV综合网| 五月婷婷伊人网| 99热婷婷| 99久久97久久欧美综合网| 中文国产五月天| 色播综合| 丁香五月婷婷激情网| 色综合色综合色综合色综合| 丁香六月婷婷缴情欧美| 成人精品一区二区三区四区五区 | 五月激情婷婷色| 天天做夜夜爽| www.色色五月天.com| 婷婷涩涩五月天| 一级AV片| 777久久综合视频| 成人片在线播放| 欧美WW在线网| 97丁香五月| 99视频这里有精品| 婷婷色五月噜噜| 婷婷精品免费久久| 99视频在线观看网址| 激情五月狠狠| 韩国中文字幕91| 蜜臀A∨在线水帘洞| 久久婷婷热| 六月婷婷色色色| 五月丁香人妻| www五月婷婷88导航| 亚洲视频在线观看99| 97干在线| 99在线视频播放| 色无码| 五月丁香婷婷色播无码| 婷婷五月激情在线| 中文字幕 中文字幕明步| 久婷婷五月激情| 性爱视频99| 五月天色综合| 91激情五月开心| 操操日韩| 夜夜操天天干| 97色碰碰公开视频| 色婷婷狠狠久久综合五月| 熟妇人妻中文字幕无码老熟妇 | 五月综亚洲| www.夜夜操| 六月亚洲婷婷6月中文字幕| 超碰在线91| 婷婷射丁香| 久久综合影院| 久操97| 99热这里是精品| 久热99久热| 天天做天天爱天天综合| 665566 无码| 丁香激情婷婷网| 九九色婷婷五月天| 亚洲 无码 中文字幕 中出 | 综合久久首页| 亚洲操b| 人人操人人添人人摸97| 五月激情综合美女久久| 第四色色六月色综合| 久久aaaa片一区二区| 99久热视频在线| 亚洲免费99| 色欲久久99精品久久久久久| aaa日韩| 99爱在线| 五月激情久久| 色色色五月| 亚洲综合色色色| HD久久精品视频| 五月婷综合| 久久日九九| 婷婷色综合| 97亚洲婷婷| 久久婷狠狠色| 五月婷婷六月天| 国产成人综合网| 怡红院 久久| 婷婷五月在线观看| 狠狠色婷婷7| 成人精品视频99在线观看免费| 五月婷婷丁香伦理网| 好激情在线综合网| 美女久久天堂| 亚洲六月色| 九九超碰人人| 99综合自拍| 大香蕉婷婷五月天| 99爱视频免费| 99热国产在| 精品国产一区二区三区四区阿崩| 丁香五月天欧美在线| 色综合久久久无码中文字幕999| 婷婷丁香综合成人| 日韩成人无码片| 精品人妻伦一二三区久久| 久久天堂| 久久99久久99久久99人受| 99婷婷五月天| 亚洲V国产V欧美V久久久久久| 五月开心啪啪| 色婷婷aV四虎| 99热成人精品网站| 婷婷精品在线| 99热这里都是精品| 伊人六月丁香婷婷| 色天使久久综合| 狠狠操狠狠操AV| 99riAv1国产在线观看| 大香蕉综合网| 婷婷五月丁香综合激情小说| 婷婷五月天免费99| 免费观看的婷婷五月视频在线| 丁香六月婷| 色婷婷五月综合| 欧美美女国产日韩一区二区久| AV片一区在线观看| 九九热只有精品| 色婷婷激情| 狠狠狠狠狠干| 久久婷婷五月综合色播| 狠狠狠狠青草| 99色中文| 久1色色| www天堂99| 天天爱天天狠天天透| 大香蕉五月天| 嫩草AV久久伊人妇女超级A| 日操夜撸| 婷婷综合97| www久| 丁香五月av在线| 婷婷九九视频| 日本色五月| 俺去也在线官网| 色五月自偷自拍婷婷婷婷| 99啪啪视频| 久久五月网| 五月天堂六月丁香亚州中文字幕久久| 激情综合99| 青青草原中文字幕| 免费视频WWW在线观看网站| 国产黄大片在线观看画质优化| 色综合爽| 人人综合久| 人妻久久久久久久久妻久久久久久久久 | 日韩99视频| 这里只有精品免费在线视频| 99视频| av网站中文| 色婷婷啪啪啪啪啪啪| www.91色| 婷婷色成人| 丁香 亚洲 久久| 激情五月影院| 五月丁香欧美综合| ay2区| 九九精品系列| www.色五月| 五月婷婷亚洲色视频| 五月天婷婷一起草| 九九www| 亚洲亚洲人成综合网络 | 综合九九日本| 婷婷丁香六月天| 91视频五月丁香| 色综合五月婷婷狠狠干| 婷婷欧美综合| 丁香五月婷婷激情97| 99久久99久久综合| 色婷婷狠狠18| 色99视| 久久婷婷婷| 国内精品99| 九九色色| 色久丁香五| 婷婷久久夜| 97碰人人操| 超碰成人黄色网| 丁香婷婷大香蕉| 天天做天天摸| 这里只有精品日韩精品| 久久丁香五月| 国内熟女黄色系列| 99在线精品视频| 久久五月六月| 国产操肏网站| 无码视频国内精品久久久| 久久五月视频| 狠狠干在线| 久久人妻情侣| www.色综合| 久久码久久无清| 国产肥白大熟妇BBBB视频| 人妻熟妇国产精品| 五月丁香六月婷婷姐| 五月色无码| 欧美日韩99| 婷婷久久在线| 亚洲情综合五月天| 丁香五月Av| 性色天| 九九热视频免费| 99超在线| 五月丁香色色| 日韩xx在线| 丁香婷婷欧美综合| 五月婷婷色| 91碰| 99热这里只有精品搜| 色播五月丁香婷婷| 成人在线日韩| 4438成人电影| 男人的天堂99| 免费看成人AA片无码视频吃奶| 婷婷久草| 手机旧版看人妻1025| 91wwmm导航| 六月丁香婷婷亚洲中文玖玖| 久色网| 欧美色色色色色色| 婷婷综合国产| 一本色道久久88加勒比| 中文av网| 亚洲无码另类| 五月天播播中文字幕| 青草热视频这里只有精品| peg 2区三区四区的| 99热精品在线播放| 夜夜爱影院| 亚洲激情六月| 超碰免费人| 色婷婷在线视频| 夜夜爱网站| 婷婷丁香九月| 久久五月天婷婷| 99小视频网站| www.伊人天堂偷偷婷婷| 婷激情五月天视频导航| 性一交一乱一交A片久久四色| 日韩淑女人妻luan伦激情精品一区二 | 婷婷色色五月天| 99碰网站| 亚洲婷婷欧美婷婷| 久久99免费视频| 丁香五月网在线观看| 欧美综合丁香网| 六月丁香五月激情亚洲AV| 97干在线| 超碰成人在线观看| 日本人人草草| 久久婷婷综合拍| 婷婷五月欧美AA片免费| 大香蕉 婷婷| 免费无码毛片一区二区A片| 深爱五月天| 99热免费在线| 五月天婷婷在线AN| www色婷婷| 99热综合在线| 色99色| 少妇性按摩无码中文A片| 日本色色色| 五月深爱激情网| 国产热精品| 丁香婷婷久久激情| 日本狠狠爽| 婷婷97狠狠干| 丁香五月六月久久综合| 99久久精彩视频。| 亚洲九九夜夜| 九九99精品视频在线观看| 中文字幕婷婷| 色噜噜狠狠色综合成人网| 丁香久久五月婷综合| 日本九九视频| 91精品又长又大又粗又爽又猛| 99热热热国产超碰| www色婷婷com| 五月丁香最新| 日韩无码系列| 日韩一级网站| www.久久9| 香蕉大综综综合久久| av线电影| 九九九午夜视频| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 九九这里是免费的视频5| 99九无网码| 午夜爱爱网站| 97色在线视频| 色玖玖| 99热九九热| 国产日韩欧美性爱| 丁香久久| 综合五月天| 青草视频在线观看视频| 亚洲中字AV电影在线网站| 91|疯狂丨高潮丨对白| www.色色色com| 五月刺激丁香月综合| av五月天婷婷丁香| 超碰永久在线| 亚洲免费av观看| se色综合网| 五月天基地| 91九色小视频| 91超碰人人操| 思思99热这里只有精品| 色八月婷婷| 管管補管管紱| 蜜臀九九九九| 天天综合网网欲色| 久久免片| 另类激情五月在线视频欧美| WWW99热| 五月丁香人妻| 五月天婷婷综合| 亚洲成av人影院| tingtingcaobi| 依人大香蕉在钱1| 五月婷婷欧洲| 婷婷色六月| www91在线| 玖玖综合色| 激情综合五月激情XXXX| 天天人人天天爽| 色婷婷香蕉丁丁网| 天天色,天天日,天天做| 99热免费在线| 一级精品999WWW| www.minyis.com【JT】实力收量可预付QQ2101460746 | 久久er99热精品一区二区| 99久久九九视频| 久久综合9| 欧美激情中文字幕| 五月天成人综合| 五月婷六月综合在线观看| 色亚洲色宗合| 91一起操| 日韩a热| 日日夜夜爽爽| 激情五月狠狠| 日本九九网| 97色在线| 做爰丰满少妇1313| 90色免费视频| 激情九色| 亚洲成人网站在线观看| 免费色色色| 色偷偷狠狠| 五月丁香综合中文| 久久六月天| 久久99国产综合精品免费| 色情网综合| 九月婷婷激情| 丁香六月开心| 九九爱看亚洲| 成人丁香五月天| 丁香五月综合激情性爱| 亭亭玉月丁香| 婷婷丁香综合网| 丁香花成人区| 久久五月丁香婷婷| 久久狠色噜噜狠狠狠狠97| 五月天狠狠草| 天堂综合久| 婷婷综合五月| 99综合97| 大香线蕉伊人| 九九蜜臀精品| 亚洲小视频| 97碰碰在线看视频免费| 九九在线视频| 91午夜婷婷狠狠久久综合9色| 五月婷婷日本| 狠狠五月激情在线| 九九久久综合网站| 开心五月激情网| 久热只有精品| 美女久久婷婷| 中文字幕欧美久久| 久这里只有精品99| 欧洲第一久色| 91ncm视频| 免费观看18视频网站| OUMEIRIHANCHENGREN| 久久婷婷五月天蜜桃| 开心久久爱五月天| 婷婷五月天久久| 开心五月深爱五月| 2050人人操免费工开爱| 色婷婷综合亚洲| 噜色精品| 狠狠狠狠狠干| 色五月播五月| 亲子乱AV-区二区三区| 久久9视频欧美| 337p午夜影院| 狠狠操狠狠| av九九| 超级碰碰视频无码| 日本欧美在线| www.26uuu.com亚洲电影| 99在线资源| 国产美女无遮挡裸体毛片A片| 去色色五月天| 色五月婷婷婷婷婷婷婷婷婷婷| 久久这里只有精品1| 五月天婷婷操逼视频| 无码激情AAAAA片-区区| 少妇婷婷五月天| 99国产小视频免费观看| 亚洲热久久| 亚洲色热| 国产女人十八水真多1| 人人爱操| 精品免费99| 综合色久| 97婷婷五月丁香| 99精品国产在热久久| 色5月婷婷| 啪啪一区| 91黄色五月天视频| 91互操| 精品99网站| 欧美在线操| 丁香六月婷婷基地| 久热中文字幕| 爱婷婷五月| 激情五月综合网| 亚洲天堂制| 久久之人妻| 五月亭亭六月天| 色婷婷久久| 五月婷婷六月丁香首页| 久久成人性爱| 婷婷六月综合基地| 大香蕉220| 九九热中文| www色中色综合| 日韩无码色色| 激情五月天福利| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 五月婷婷之综合激情| 99视频免费播放| 久久久人妻不卡| 99精品亚洲| 久久综合五月天| 碰碰碰91| 五月激情偷拍婷婷| 亚洲愉拍99热成人精品| 99精品综合| 九九久久99| 天天插插天天| 99色视频| 日韩色五月| 精品久久久久久久久久久久人妻| 九九色影院| 丝雨一区二区| 六月丁香婷婷综合色播| 开心婷婷中文字幕| 99在线精品免费视频| 99热在线精品观看| 美女妹子后射视频网站在线观看| 色综合色色| 四月婷婷五月丁香| 六月丁香激情婷婷| 亚洲色频| 99精品97| 婷婷五月天亚洲精品| 亚洲国产精品VA在线看黑人| 正宗黄色毛片| 五月婷六月天| 开心激情网五月天| 亚洲在线视频321| 日本va视频| 色狠狠综合| 九月婷婷综合网| 天天综合网亚洲综合网| 久久久18| 国产ava| 九九免费视频| 偷偷与邻居做爰完整视频| 免费看欧美成人A片无码| 91碰碰视频| 久久久久久人妻久久久久久久久久人妻久久久| 91丨九色丨东北熟女| 亚洲精品国产setv| 天天插综合网|