欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

AI變笨了嗎?構(gòu)建用戶體感驅(qū)動(dòng)的AI體驗(yàn)指數(shù)追蹤方法

AI變笨了嗎?構(gòu)建用戶體感驅(qū)動(dòng)的AI體驗(yàn)指數(shù)追蹤方法 在 Hacker News 上看到“Is AI Dumber Today?”這個(gè)展示項(xiàng)目時(shí)我先被它的標(biāo)題抓住了。不是因?yàn)樗苯咏o出了“是或否”的答案而是它想從普通用戶的觀點(diǎn)里做一個(gè) AI 模型體驗(yàn)指數(shù)專門(mén)回答很多人最近常問(wèn)的一句話AI 是不是真的變笨了類似的做法是去收集社區(qū)討論、社交平臺(tái)、應(yīng)用商店評(píng)論里的抱怨和表?yè)P(yáng)再按模型、時(shí)間段、任務(wù)類型拆開(kāi)看用戶體感到底是往下走還是往上走。這個(gè)方向比單純跑分更有意思??赐赀@個(gè)項(xiàng)目我的整體判斷是它不一定要替代模型能力排行榜真正的價(jià)值在于給“用戶覺(jué)得模型變笨”這種模糊抱怨提供了一套可跟蹤、可比較的結(jié)構(gòu)化指標(biāo)。適合做模型評(píng)測(cè)、AI 應(yīng)用開(kāi)發(fā)、模型選型和客服體驗(yàn)優(yōu)化的人關(guān)注。下面我會(huì)先拆清楚這個(gè)指數(shù)到底在度量什么再按數(shù)據(jù)來(lái)源、指標(biāo)計(jì)算、干擾排除和實(shí)踐落地的順序展開(kāi)。1. 先搞清這個(gè)指數(shù)要回答的是“體驗(yàn)問(wèn)題”不是“智商問(wèn)題”1.1 用戶嘴里說(shuō)的“變笨”其實(shí)包含了好幾種完全不同的狀態(tài)這是整個(gè)項(xiàng)目最容易被誤解的地方。用戶說(shuō)“今天模型變笨了”可能是以下任一情況模型本身在某個(gè)任務(wù)上的能力確實(shí)下降了。模型沒(méi)有變但當(dāng)前上下文的長(zhǎng)度太長(zhǎng)導(dǎo)致模型忘記前文。服務(wù)端在做模型版本切換、負(fù)載均衡或臨時(shí)限流用戶被分到了較弱的實(shí)例??蛻舳伺渲谩⒔涌趨?shù)或模型名稱寫(xiě)錯(cuò)請(qǐng)求根本沒(méi)到目標(biāo)模型上。產(chǎn)品層增加了安全規(guī)則、格式限制或免責(zé)聲明回答變得更謹(jǐn)慎用戶誤認(rèn)為“不會(huì)思考了”。用戶自己的預(yù)期提高了。昨天能答對(duì)今天問(wèn)更難的問(wèn)題答錯(cuò)了也會(huì)被歸到“變笨”。如果不把這些狀態(tài)分開(kāi)最后得到的指數(shù)會(huì)非常混亂。所以“Is AI Dumber Today?”這個(gè)題目準(zhǔn)確說(shuō)應(yīng)該是“用戶感受到的 AI 體驗(yàn)是否正在下降”。它是一個(gè)體驗(yàn)指數(shù)不是一個(gè)智商測(cè)試。項(xiàng)目標(biāo)題用了 Experience 這個(gè)詞也暗示了這一點(diǎn)。1.2 為什么“用戶觀點(diǎn)”不能被模型跑分替代模型跑分適合衡量靜態(tài)能力比如推理、代碼、數(shù)學(xué)、多語(yǔ)言理解。它的優(yōu)點(diǎn)是穩(wěn)定、可復(fù)現(xiàn)、能橫向比較。但跑分很難覆蓋真實(shí)使用場(chǎng)景里的問(wèn)題多輪對(duì)話是否會(huì)丟失信息、長(zhǎng)時(shí)間任務(wù)是否穩(wěn)定、接口是否頻繁報(bào)錯(cuò)、回復(fù)是否因?yàn)楫a(chǎn)品策略變得過(guò)分保守。用戶觀點(diǎn)恰好能補(bǔ)上這塊空白。一個(gè)模型跑分再高如果用戶在實(shí)際界面里動(dòng)不動(dòng)就遇到連接失敗、模型不可用、上下文超長(zhǎng)報(bào)錯(cuò)體驗(yàn)分也會(huì)很低。用戶觀點(diǎn)的問(wèn)題同樣明顯噪音大、情緒偏激、樣本量小、容易被特定事件帶節(jié)奏。一個(gè)技術(shù)社區(qū)集中討論某次服務(wù)故障當(dāng)周評(píng)論里就會(huì)塞滿“模型變蠢了”但真實(shí)原因可能只是服務(wù)端過(guò)載。這個(gè)項(xiàng)目的核心工程難點(diǎn)就是把體驗(yàn)感受從情緒噪音中抽出來(lái)而不是簡(jiǎn)單統(tǒng)計(jì)“夸還是罵”。1.3 先確認(rèn)自己是否需要這樣一個(gè)指數(shù)如果你只是日常用模型看到一兩條批評(píng)帖子不需要指數(shù)直接換模型或換提示詞就行。但如果你在做以下事情那么一個(gè)體驗(yàn)指數(shù)會(huì)很有價(jià)值給公司選模型擔(dān)心評(píng)測(cè)集和真實(shí)用戶感受不一致。開(kāi)發(fā) AI 應(yīng)用想知道用戶吐槽的是模型能力還是產(chǎn)品功能。長(zhǎng)期使用某個(gè)模型 API想觀察版本更新和配置變更是否帶來(lái)體驗(yàn)波動(dòng)。維護(hù)模型接入層需要區(qū)分模型變差、服務(wù)故障和配置錯(cuò)誤。這個(gè)項(xiàng)目做成 Show HN本質(zhì)上是把想法公開(kāi)出來(lái)讓用戶試用、糾偏。在看它時(shí)不應(yīng)該把它當(dāng)成已經(jīng)成熟的權(quán)威指標(biāo)更合理的態(tài)度是關(guān)注它的問(wèn)題定義和數(shù)據(jù)口徑然后自己上手驗(yàn)證。2. 用戶觀點(diǎn)類數(shù)據(jù)從哪里來(lái)怎么聽(tīng)得夠真2.1 每種渠道都有自己的偏差不能只盯一個(gè)平臺(tái)如果一個(gè)體驗(yàn)指數(shù)只從一個(gè)地方采集數(shù)據(jù)結(jié)果很容易失真。技術(shù)論壇里的討論偏主觀、愛(ài)玩梗產(chǎn)品評(píng)論區(qū)則更直接客服工單更接近真實(shí)故障。常用的渠道類型和特點(diǎn)可以參考這張表數(shù)據(jù)渠道優(yōu)點(diǎn)需要注意的偏差技術(shù)社區(qū)帖子討論深入能發(fā)現(xiàn)具體場(chǎng)景愛(ài)玩梗反諷多容易夸張社交平臺(tái)短評(píng)更新快能捕捉突發(fā)問(wèn)題情緒噪聲大樣本代表性弱應(yīng)用商店評(píng)論用戶真實(shí)且聚焦產(chǎn)品體驗(yàn)評(píng)論數(shù)量可能很少官方反饋工單信息完整故障描述清晰通常是問(wèn)題用戶指數(shù)天然偏負(fù)博客和專題文章能提供詳細(xì)案例時(shí)效性差更新慢聊天群組和論壇貼近普通用戶真實(shí)用法隱私和授權(quán)問(wèn)題要優(yōu)先處理個(gè)人項(xiàng)目最容易犯的錯(cuò)是只抓某一個(gè)社區(qū)的帖子。結(jié)果只能代表這個(gè)社區(qū)的氛圍。社區(qū)喜歡黑某個(gè)模型其他人也跟著玩梗指數(shù)就會(huì)失真。我更建議先選定兩到三個(gè)互補(bǔ)渠道一個(gè)偏技術(shù)討論一個(gè)偏產(chǎn)品評(píng)論一個(gè)偏工單或問(wèn)答記錄。等數(shù)據(jù)跑通后再擴(kuò)大渠道。2.2 數(shù)據(jù)采集時(shí)要把合規(guī)問(wèn)題放在前面采集用戶公開(kāi)觀點(diǎn)不能無(wú)視平臺(tái)規(guī)則。優(yōu)先使用平臺(tái)官方 API。如果官方接口不支持歷史搜索或關(guān)鍵詞過(guò)濾選擇清晰標(biāo)注來(lái)源和作者的公開(kāi)數(shù)據(jù)集。用爬蟲(chóng)抓網(wǎng)頁(yè)前先檢查平臺(tái)的服務(wù)條款、robots 文件、接口訪問(wèn)頻率限制。個(gè)人項(xiàng)目一般量不大但也要做好請(qǐng)求限速不要給目標(biāo)網(wǎng)站造成壓力更不要抓取非公開(kāi)內(nèi)容。另外用戶觀點(diǎn)往往包含個(gè)人信息。做指數(shù)不需要保留用戶名、頭像、聯(lián)系方式。格式化數(shù)據(jù)時(shí)最好只保存必要字段例如發(fā)布時(shí)間、來(lái)源渠道、文本內(nèi)容、涉及的模型名、情感標(biāo)注。敏感信息能刪就刪。2.3 靠關(guān)鍵詞篩選數(shù)據(jù)必須先建立“模型實(shí)體映射表”原始評(píng)論里很少規(guī)規(guī)矩矩寫(xiě)“模型 A 在某任務(wù)上表現(xiàn)下降”。常見(jiàn)表達(dá)是“我用 A 寫(xiě) Python今天一直報(bào)錯(cuò)?!薄爸滞蝗蛔兊锰貏e啰嗦邏輯還沒(méi)有上周清楚?!薄巴瑯拥膯?wèn)題昨天還會(huì)今天怎么不會(huì)了。”為了把評(píng)論關(guān)聯(lián)到具體模型需要一張實(shí)體映射表。這張表至少包含三層官方名稱和別名比如某個(gè)模型的完整版本號(hào)、簡(jiǎn)稱、社區(qū)常用外號(hào)。產(chǎn)品名和底層模型的對(duì)應(yīng)關(guān)系。很多用戶只會(huì)說(shuō)自己在用某款聊天產(chǎn)品而不知道底層是什么模型。時(shí)間線。模型會(huì)升級(jí)、下線、改名映射表也要跟著維護(hù)。沒(méi)有這張表再好的自然語(yǔ)言處理模型也無(wú)法把評(píng)論對(duì)應(yīng)到該對(duì)應(yīng)的對(duì)象上。3. 從原始評(píng)論到“可比較的體驗(yàn)指數(shù)”中間要過(guò)幾道關(guān)3.1 清洗和去重是第一道關(guān)采集到的評(píng)論不會(huì)直接可用。常見(jiàn)問(wèn)題包括同一句話在多個(gè)渠道重復(fù)出現(xiàn)。短評(píng)論沒(méi)有足夠上下文無(wú)法判斷模型名和任務(wù)類型。大量反諷、夸張、玩梗內(nèi)容。包含錯(cuò)誤日志、配置片段和代碼塊容易被當(dāng)成模型能力的負(fù)面證據(jù)。我先建議從數(shù)據(jù)字段開(kāi)始處理。每條樣本至少保留字段說(shuō)明timestamp發(fā)布時(shí)間必須統(tǒng)一時(shí)區(qū)source來(lái)源渠道m(xù)odel映射后的模型實(shí)體如 model-a、model-btask_type任務(wù)類型如數(shù)學(xué)、代碼、長(zhǎng)文總結(jié)、閑聊complaint_category問(wèn)題類別如可用性、配置、能力、上下文、限制sentiment_score體驗(yàn)分例如 -1、0、1或更細(xì)的 1 到 5raw_text原始文本或摘要去重不能只看文本是否一樣還要看同一條事件是不是在多個(gè)渠道被多人轉(zhuǎn)發(fā)。如果發(fā)現(xiàn)同一時(shí)段內(nèi)大量相同措辭的評(píng)論很可能是在跟帖玩梗直接刪除這批重復(fù)句保留最早的一條原文即可。3.2 情感標(biāo)注不能只用“正面/負(fù)面”二分類簡(jiǎn)單的正面負(fù)面標(biāo)注不夠用。用戶罵“模型不回我了”和“模型回答太保守”都是負(fù)面但前者是可用性問(wèn)題后者是產(chǎn)品策略問(wèn)題?!斑@個(gè)模型真傻”和“這個(gè)模型太聰明讓我害怕”在情感上都是負(fù)面但在體驗(yàn)指數(shù)里含義完全不同。所以我更建議在標(biāo)注時(shí)增加類別維度。情感分只負(fù)責(zé)方向類別分負(fù)責(zé)解釋為什么會(huì)這樣。類別可以包括能力問(wèn)題推理、數(shù)學(xué)、代碼、寫(xiě)作等具體能力不足。上下文問(wèn)題多輪回答不記得之前信息。可用性問(wèn)題服務(wù)不可用、響應(yīng)慢、連接斷開(kāi)。配置問(wèn)題模型名不對(duì)、密鑰錯(cuò)誤、參數(shù)不合法。體驗(yàn)風(fēng)格問(wèn)題回答過(guò)于啰嗦、過(guò)于保守、格式混亂。用戶預(yù)期問(wèn)題任務(wù)本身超出模型能力邊界。只有同時(shí)記錄情感和類別才能回答“是變笨了還是變難用了”。3.3 單條評(píng)論打分后要做時(shí)間聚合和任務(wù)拆分體驗(yàn)指數(shù)不該是“所有評(píng)論總體平均分”。因?yàn)椴煌瑫r(shí)間段、不同任務(wù)類型的用戶比例會(huì)變化。如果這周代碼問(wèn)題集中爆發(fā)整體平均分下降但數(shù)學(xué)任務(wù)沒(méi)變差就會(huì)誤判。把數(shù)據(jù)按周或雙周聚合再拆成不同任務(wù)類型是比較穩(wěn)妥的做法。下面是一個(gè)最小可運(yùn)行的分析流程適合先用一兩百條樣本測(cè)試import pandas as pd df pd.read_csv(sample_user_opinions.csv) # 去重按文本和渠道 df df.drop_duplicates(subset[source, raw_text]) # 統(tǒng)一時(shí)間字段按周切分 df[published_at] pd.to_datetime(df[published_at], errorscoerce) df df.dropna(subset[published_at]) df[week] df[published_at].dt.to_period(W).astype(str) # 只看某個(gè)模型的數(shù)據(jù) model_df df[df[model] example-model] # 按周、任務(wù)類型聚合 weekly ( model_df.groupby([week, task_type]) .agg( avg_score(sentiment_score, mean), sample_count(sentiment_score, size) ) .reset_index() ) print(weekly.tail(10)) # 如果需要看趨勢(shì)可以畫(huà)圖 weekly.pivot(indexweek, columnstask_type, valuesavg_score).plot()這段代碼不是完整項(xiàng)目只用來(lái)理解數(shù)據(jù)處理鏈條。注意當(dāng)樣本量很小時(shí)按天聚合會(huì)非常抖。我一般建議至少按周聚合每個(gè)分組里的有效評(píng)論低于 5 條時(shí)不展示分?jǐn)?shù)只顯示樣本數(shù)。內(nèi)部使用可以看原始數(shù)字對(duì)外展示必須帶樣本量否則容易誤導(dǎo)。3.4 讓大模型來(lái)打標(biāo)可以提高效率但不能代替人工抽檢給大量評(píng)論分類和定情感可以調(diào)用另一個(gè)大模型來(lái)做。這個(gè)思路目前很常見(jiàn)。讓模型閱讀一條評(píng)論輸出模型實(shí)體、任務(wù)類型、問(wèn)題類別、體驗(yàn)分效率比人工高得多。但大模型打標(biāo)會(huì)有自己的偏見(jiàn)。它可能把反諷當(dāng)真可能把配置錯(cuò)誤直接歸因到模型能力。所以正確的做法是先人工標(biāo)注一百條左右樣本再用大模型批量打標(biāo)最后每批次隨機(jī)抽二十到三十條做人工復(fù)核。如果一致率低于一定水平說(shuō)明打標(biāo)提示詞還需要調(diào)整。打標(biāo)提示詞里要特別寫(xiě)清楚如果評(píng)論中出現(xiàn)的是配置錯(cuò)誤、模型名不存在、上下文超長(zhǎng)這類信息不要把問(wèn)題記為“模型能力下降”要?dú)w到配置或可用性類別。4. 判斷模型體驗(yàn)下降前先排除四類常見(jiàn)干擾4.1 很多“模型變笨”實(shí)際上是客戶端配置錯(cuò)誤用戶并不總能區(qū)分“模型本身答錯(cuò)”和“請(qǐng)求根本沒(méi)發(fā)到正確的模型上”。我在很多討論里見(jiàn)過(guò)這樣的報(bào)錯(cuò)模型名不支持、模型不存在、配置缺失、上下文長(zhǎng)度超過(guò)上限。這些信息本質(zhì)上是接入或配置問(wèn)題不是模型智力問(wèn)題。如果指數(shù)系統(tǒng)把這類報(bào)錯(cuò)都當(dāng)成負(fù)面能力評(píng)論那模型永久不可能翻身因?yàn)榕渲脝?wèn)題會(huì)持續(xù)存在。實(shí)操建議是從原始日志中找出屬于“錯(cuò)誤碼類”的內(nèi)容單獨(dú)存到可用性表里不進(jìn)入能力評(píng)分。等積累足夠數(shù)據(jù)后再分析配置問(wèn)題是否導(dǎo)致用戶體感下降。這類分析其實(shí)反映的不是模型能力而是產(chǎn)品接入體驗(yàn)。4.2 產(chǎn)品策略調(diào)整經(jīng)常被誤認(rèn)成模型變笨有些模型本來(lái)可以給出較長(zhǎng)回答產(chǎn)品方為了控制成本或安全風(fēng)險(xiǎn)增加了輸出長(zhǎng)度限制、敏感話題引導(dǎo)或過(guò)度免責(zé)聲明。用戶實(shí)際感受到的是“怎么感覺(jué)模型變敷衍了什么都說(shuō)不清”。這在博文和數(shù)據(jù)流里很容易被歸為模型變笨。但從模型能力角度講權(quán)重沒(méi)變推理鏈路沒(méi)變只是產(chǎn)品策略變了。體驗(yàn)指數(shù)如果要客觀就必須區(qū)分“模型層能力分”和“產(chǎn)品體驗(yàn)分”。如果混在一起當(dāng)產(chǎn)品策略恢復(fù)后指數(shù)上升會(huì)被誤以為是模型進(jìn)步這是不準(zhǔn)確的。4.3 長(zhǎng)上下文帶來(lái)的記憶下降會(huì)制造偽趨勢(shì)用戶聊到一半說(shuō)“我剛才已經(jīng)告訴過(guò)你了”如果模型確實(shí)忘了那就屬于上下文管理問(wèn)題。這更常見(jiàn)的原因是總 token 超過(guò)模型當(dāng)前支持的最大長(zhǎng)度或系統(tǒng)為了性能做了摘要壓縮。在評(píng)論里用戶不會(huì)寫(xiě)“模型的最大上下文長(zhǎng)度只有多少”只會(huì)寫(xiě)“它越來(lái)越笨失憶了”。如果樣本主要集中在長(zhǎng)對(duì)話場(chǎng)景體驗(yàn)指數(shù)就會(huì)在某一周突然下跌但這不代表所有任務(wù)都變差。因此無(wú)論原始數(shù)據(jù)是否包含對(duì)話長(zhǎng)度指數(shù)都要單獨(dú)給“長(zhǎng)會(huì)話記憶”建一個(gè)維度。這樣才能把一次性長(zhǎng)上下文失敗和全局能力下降區(qū)分開(kāi)。4.4 社區(qū)規(guī)模偏差會(huì)導(dǎo)致指數(shù)天然偏負(fù)技術(shù)討論社區(qū)里的用戶通常更愿意發(fā)“模型出錯(cuò)了”“這個(gè)版本真差”這類帖子很少有人專門(mén)發(fā)“今天模型回答很好”。這會(huì)導(dǎo)致體驗(yàn)指數(shù)在任何時(shí)間點(diǎn)都偏負(fù)。要解決這個(gè)問(wèn)題不能只統(tǒng)計(jì)評(píng)論的絕對(duì)值可以考慮比較同一渠道內(nèi)部的時(shí)間變化而不是跨渠道比高低。記錄總發(fā)帖量計(jì)算負(fù)面評(píng)論占比而不是只看負(fù)面評(píng)論數(shù)量。定期加入用戶主動(dòng)反饋的正向數(shù)據(jù)比如調(diào)查問(wèn)卷、產(chǎn)品內(nèi)點(diǎn)贊點(diǎn)踩數(shù)據(jù)。如果只有抱怨數(shù)據(jù)對(duì)外展示時(shí)要明確說(shuō)明“這是問(wèn)題反饋指數(shù)不是用戶體驗(yàn)總分”。做好這些前置處理指數(shù)才有可能不變成一群用戶的情緒宣泄面板。5. 動(dòng)手搭一個(gè)最小可復(fù)現(xiàn)的體驗(yàn)指數(shù)流程5.1 最小環(huán)境準(zhǔn)備不需要特別高配的機(jī)器。處理幾千條文本評(píng)論一臺(tái)普通電腦就能跑。我建議先按這個(gè)環(huán)境驗(yàn)證Python 3.9 或更高版本。pandas、matplotlib 用于數(shù)據(jù)處理和畫(huà)圖。如果要做大模型打標(biāo)準(zhǔn)備一個(gè)能調(diào)用的模型接口或本地模型地址。準(zhǔn)備一個(gè) CSV 文件至少包含字段發(fā)布日期、渠道、文本、模型名。原始數(shù)據(jù)不需要很大。先取 200 到 500 條評(píng)論完成從清洗、標(biāo)注到畫(huà)趨勢(shì)圖的閉環(huán)。能把小樣本跑通再考慮擴(kuò)大數(shù)據(jù)量。5.2 用兩條樣例理解標(biāo)注口徑假設(shè)有兩條真實(shí)評(píng)論第一條“今天用 example-model 寫(xiě)一個(gè)數(shù)據(jù)清洗腳本同樣的需求昨天一次就寫(xiě)對(duì)今天連續(xù)寫(xiě)錯(cuò)三次還給了我一個(gè)只刪文件不保留備份的方案?!钡诙l“example-model 報(bào)錯(cuò) model not found檢查以后才發(fā)現(xiàn)是配置文件里的名字寫(xiě)錯(cuò)了改完就正常了。”第一條應(yīng)該標(biāo)成task_type: codecomplaint_category: abilitysentiment_score: -1第二條不能當(dāng)成模型能力下降應(yīng)該標(biāo)成task_type: configcomplaint_category: configurationsentiment_score: 0如果不單獨(dú)區(qū)分第二條會(huì)讓模型體驗(yàn)指數(shù)下降一分。但模型本身并沒(méi)有任何能力問(wèn)題。這是最容易干擾指數(shù)準(zhǔn)確性的點(diǎn)。5.3 體驗(yàn)分的計(jì)算方式不一定要復(fù)雜剛開(kāi)始做不需要用復(fù)雜的觀點(diǎn)挖掘模型??梢韵扔靡?guī)則加人工復(fù)核搭一個(gè)基線負(fù)面詞命中錯(cuò)誤、變笨、回復(fù)差、邏輯混亂、瞎編。正面詞命中準(zhǔn)確、聰明、穩(wěn)定、符合預(yù)期、進(jìn)步。中性詞命中且無(wú)明確情緒記錄但不記分。出現(xiàn)配置錯(cuò)誤、模型名不存在、超時(shí)、不可用只記可用性不計(jì)能力分。之后可以用統(tǒng)計(jì)方法定期校驗(yàn)。比如比較某模型在數(shù)學(xué)任務(wù)上的負(fù)面率是否在統(tǒng)計(jì)意義上顯著高于前兩周。如果還沒(méi)有顯著變化就不要在結(jié)論里寫(xiě)“模型變笨了”最多寫(xiě)“用戶對(duì)數(shù)學(xué)任務(wù)的抱怨有所增加”。5.4 可驗(yàn)證的輸出形式我建議最終輸出四類內(nèi)容整體趨勢(shì)圖按周展示平均體驗(yàn)分。分任務(wù)趨勢(shì)圖代碼、數(shù)學(xué)、寫(xiě)作、長(zhǎng)會(huì)話記憶分別看??捎眯允录戆巡豢捎?、超時(shí)、配置錯(cuò)誤做成獨(dú)立時(shí)間線。異常樣本列表高置信度且情感強(qiáng)烈的典型評(píng)論做成摘錄方便回溯。如果某周指數(shù)明顯下降不要直接發(fā)結(jié)論先打開(kāi)異常樣本列表。如果你能回答出“哪個(gè)任務(wù)、哪個(gè)產(chǎn)品層策略、哪個(gè)模型版本改動(dòng)了”再判斷是不是真下降。5.5 項(xiàng)目上線后可以繼續(xù)擴(kuò)展的方向小閉環(huán)跑通后可以逐步增加自動(dòng)按月生成體驗(yàn)變化報(bào)告。把每周負(fù)面率做成類似警報(bào)表的單頁(yè)。當(dāng)某模型在特定任務(wù)上出現(xiàn)大幅波動(dòng)時(shí)發(fā)送告警。引入人工抽檢流程定期校正自動(dòng)打標(biāo)。這些擴(kuò)展做起來(lái)不難但每加一個(gè)都要問(wèn)自己這個(gè)新指標(biāo)是服務(wù)“模型能力判斷”還是“產(chǎn)品體驗(yàn)判斷”混到后面自己都會(huì)分不清。6. 從 Show HN 走向長(zhǎng)期可用的幾個(gè)現(xiàn)實(shí)問(wèn)題6.1 一次展示很容易持續(xù)更新才是難點(diǎn)很多類似項(xiàng)目在發(fā)布第一版時(shí)能獲得不錯(cuò)反饋但過(guò)了兩個(gè)月就停止更新。原因是數(shù)據(jù)采集和打標(biāo)不是一次性工作。模型會(huì)更新社區(qū)熱點(diǎn)會(huì)轉(zhuǎn)移用戶討論的語(yǔ)句會(huì)變化。你需要維護(hù)關(guān)鍵詞表、模型映射表、任務(wù)分類規(guī)則。如果每周沒(méi)有固定時(shí)間更新數(shù)據(jù)和復(fù)核標(biāo)注指數(shù)很快就會(huì)停留在過(guò)去某個(gè)時(shí)點(diǎn)反而誤導(dǎo)后來(lái)用戶。要想長(zhǎng)期有用最好從一開(kāi)始就設(shè)計(jì)成可增量更新的流程。日志、標(biāo)注結(jié)果、人工修改記錄都保留下來(lái)方便重跑歷史結(jié)論。6.2 “沒(méi)有顯著變化”也是一種有價(jià)值的結(jié)果這個(gè)項(xiàng)目最容易犯的錯(cuò)是把所有波動(dòng)都解釋成“上升”或“下降”。多數(shù)時(shí)候模型用戶體感并不會(huì)有顯著變化。真正負(fù)責(zé)任的指數(shù)應(yīng)該允許自己說(shuō)“本周沒(méi)有顯著變化樣本量不足暫不判斷”。在對(duì)外展示時(shí)也可以加入一個(gè)明確口徑只有當(dāng)樣本量超過(guò)一定閾值、負(fù)面率變化超過(guò)置信區(qū)間時(shí)才會(huì)標(biāo)記為異常。這樣能避免被少數(shù)極端觀點(diǎn)帶偏。6.3 平臺(tái)屬性和社區(qū)文化會(huì)讓分?jǐn)?shù)不可直接比較不同渠道的用戶說(shuō)話方式完全不同。技術(shù)社區(qū)里大量使用反諷“這模型真能編太厲害了”明顯是批評(píng)應(yīng)用商店評(píng)論里“太厲害了”可能就是真夸。如果指數(shù)把所有渠道混在一起計(jì)算會(huì)得到互相抵消的平均值。所以處理時(shí)最好按渠道單獨(dú)計(jì)算分?jǐn)?shù)再考慮做加權(quán)合并。權(quán)重怎么定可以從每個(gè)渠道對(duì)真實(shí)故障的準(zhǔn)確覆蓋程度去調(diào)而不是拍腦袋。6.4 要在結(jié)果表達(dá)上留足余地避免標(biāo)題黨“AI 是不是變笨了”天然有流量但也天然容易帶節(jié)奏。個(gè)人項(xiàng)目可以展示結(jié)論但結(jié)論旁邊至少要寫(xiě)清楚當(dāng)前統(tǒng)計(jì)的樣本量是多少。覆蓋了哪些渠道和任務(wù)類型。不覆蓋哪些方向比如企業(yè)內(nèi)部模型、私有部署、非公開(kāi)接口。當(dāng)前版本的數(shù)據(jù)截止時(shí)間。一句話結(jié)論越醒目數(shù)據(jù)口徑越要保守。如果這個(gè)項(xiàng)目能把“發(fā)現(xiàn)體驗(yàn)變化”和“歸因到具體原因”分開(kāi)它會(huì)是一個(gè)很好的觀察工具。如果只是把用戶抱怨聚合后打上“模型變笨了”的標(biāo)簽?zāi)撬囊饬x會(huì)大打折扣。我在梳理這個(gè)方向時(shí)最大的體會(huì)是普通用戶關(guān)心的不是跑分高了多少而是自己打開(kāi)對(duì)話窗口后模型到底有沒(méi)有上一次好用。這個(gè)體驗(yàn)指數(shù)把模糊的“感覺(jué)”變成了能長(zhǎng)期追蹤的時(shí)間序列這個(gè)思路本身值得借鑒。真正落地時(shí)最該盯住的不是前端頁(yè)面做得有多炫而是數(shù)據(jù)清洗、樣本量、模型映射和錯(cuò)誤分類這些后臺(tái)基礎(chǔ)工作。把這些基礎(chǔ)做扎實(shí)哪怕指數(shù)暫時(shí)不更新也能隨時(shí)把歷史數(shù)據(jù)拿出來(lái)重新分析。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久中文人妻系列| 五月丁香免费看| 激情精品久久| 婷婷六月成人| 激情五月天网页| 99热超碰在线| 日逼免费视频 | 婷婷五月天AV| 美女要搞搞天天搞搞搞网站| 真实的国产乱XXXX在线91| 99r这里| 天天色天天操天天射| 色色婷五月天| 97碰91| 婷婷五月天成人基地| 婷婷丁香日韩五月| 五月婷婷色五月| 久久午夜丁香| 成人丁香五月| 激情伊人五月婷婷久久| 激情五月天情色| 久久精品视频在这里有| 4399亚洲视频| 大陆极品少妇内射AAAAAA| 伊人超碰| 97热久久| 777精品久无码人妻蜜桃| 亚洲激情五月丁香久久久久| 色综合狠狠色| 色婷婷五月综合| 91热er| 久99久视频精品| 色婷婷狠狠| 97视频.干com| 99视频在线观看地址| 97色伦另类图片小说视频 | 色99久草在线| 色色色婷婷五月天| 婷婷四色五月| 丁香五月另类色婷婷麻豆| 九九免费视频| 五月丁香色婷婷色| 任你草| 深爱开心激情网| 色婷婷呢狠禁久禁| 九月激情综合| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 色五月综合网站| AA久久| 九九熱最新視頻| 免费看成人AA片无码视频吃奶| 天天操天爱综合| 天堂综合久| 丁香五月婷久久| 日韩一66精品| 91超级碰在线视频| 91碰免费视频| 色99在线| 99操免费视频| 婷婷五月天成人综合网| 国产xxxxx在线观看| 五月激情综合网婷婷| 噜噜网免费视频| 大香蕉综合| 欧美色一级色| 1024人妻| 五月天开心激情综合网| 婷婷丁香久久五月综合| 国产1区2区3区| 97精品人人A片免费看| 国产欧美va| 自拍偷窥99热| 成人国产网站| 五月婷婷六月激情| 六月丁香啪啪啪| 天天日,天天插| 久久精品爱爱| 91ncm视频| 无码91中文字幕| 丁香婷婷性久久| 日韩欧美四五区| 五月丁香 啪啪| 不卡在线超碰| 久久婷婷五月| 五月天狠狠| 久久99激情丁香婷婷小说网| 白天AV月月| 婷婷色色欧美| 亚洲不卡123| 亚洲色五月| 久久性爱视频| 色播五月丁香| 日逼免费视频| 岛国av网| 五月激情精品视频| 日日天天天| 正宗黄色毛片| 精品九九九久| 国产五月视频| 99在线精品免费视频| 97干97色| 丁香狠狠色婷婷| 五月天激情小说婷婷基地| 国产亚洲99久久精品| 久久九九九九| 人妻在线网站| 亚洲天堂九九九| 免费无码毛片一区二区A片| 五月丁香啪啪啪综合网| 2017人人操| 欧美色爱五月天| 色色色在线播放| 丁香五月情| www.亚洲激情.com| 五月丁香六月婷婷激情视频在线观看免费 | 伊人久久大香蕉网| 日韩色五月| 中文字幕簧片| 天天干天天操天天上| 成人深爱丁香五月| 亚洲性图一区二区三区| 五月熟妇婷婷久久| 六月丁香婷婷尤物| 热的无码综合视频| 久99热| 日本特黄aaaaa| 五月天久久久| 五月色婷婷亚洲 | 极品人妻VideOssS人妻| 天天色天天日| 91九色精品女同系列| 另类精品视频在线观看| 看片视频在线免费日产在线看| 黄色成人网站在线播放| 99热最新| 久久婷婷亚洲| 国产FREESEXVIDEOS性中国 | 这里只有九九精品| 性生活久久朋友人妻| 69午夜成人影片| 婷婷六月丁香激情综合| 青青草青青草五月天| AV九九| 午夜69成人做爰视频| 激情文学综合婷婷五月天丁香花| 色原狠狠综合| 91人妻色色网| 亚洲丁香五月| 久久九色| 五婷婷综合网| 韩国19 主播内部福利vip免费播放| 激情五月婷婷视频一区二区三区| 色噜噜狠狠色综合日日| 激情二色月| 伊人五月丁香| 色五月天激情| www.91五月| 性爱五月婷| 伊人久久大香蕉网| 国产26uuu视频| 亚洲欧美999| 欧美色色色色色色色色色色| 内射爽无广熟女亚洲| 岛国在线观看91| 国产在线视频1234| 综合综合色色| 99这里只有精品视频| 中文资源在线a | 91操黄| 98色花堂98t.R| 91丨九色丨大屁股| www.com在线操视频免费观看| 狼友超碰| 色五月综合网| 婷婷金品综合视频| 国产探花一片区| 久热人妻| 色婷婷基地| 色综合久久综合中文综合网| 丁香婷婷狠狠97| 婷婷精品综合| 日韩精品色| 丁香五月激情综合| 99婷五月| 九九精品片一| 91九色熟女| 中文毛片无遮挡高潮免费| 超碰99热在线观看| 丁香激情合作五月| 人妻熟妇国产精品| 色玖玖玖| 五月婷婷视频ab| 久久多色| 激情综合在线播放| 婷婷四色成人综合色视| 五月丁香色婷婷| 777久久久| 操逼福利视频| 伊人久久婷婷| 大香蕉啪啪| 五月婷婷天| 777精品久无码人妻蜜桃| 丁香婷婷午夜| 五月开心深深爱激情综合| 五月丁香婷婷色| 91成人看| 久久五月婷天天干| 99热免费| 天天色天天搡| 五月天激情久久| 亚洲av另类在线观看| 任你草| 在线综合网| 拍真实国产伦偷精品| 色私五月婷婷| 激情五月天在线免费美女视频| 疯狂做受XXXX高潮A片| 久久狠狠干| 性生活视频98791| 久久婷婷色| 欧美图片丁香五月天| 狠狠草综合网| 久久综合婷婷激情| 色高清无码视频| 六月婷婷中文字幕| 国产成人综合网| 五月欧美丁香在线观看| 伊人久热91网| 99热无码首页| 日本玖玖在线| 色婷婷五月天视频在线| 香蕉综合在线| 欧美成人网99网| 欧美S码亚洲码精品M码| 天天色综合色色色色色。| 五月婷婷综合在线亚洲视频| 亚洲色婷婷五月天| 97碰碰视频| 亚洲激情网| 婷婷深爱五月| 亚洲男人的天堂婷婷色五月| 婷婷八月激情| 色色丁香婷婷综合| 青青操成人福利| 五月天色综合| 99操逼| 色欲影香| 91丨九色丨丰满人妖| 色天五月天在线观看视频| 97碰碰叉| 五月婷天天搞视频| 中文成人在线| 香蕉人在线香蕉人在线 | 91亚洲视频| 色五月视频,小说| 天天干在线播放| 日日爽日日操| 91操人人操| 五月熟妇婷婷久久| 国产99久久久国产精品免费看| 五月天国产成人| 欧美成人A片AAA片在线播放| 丁香五月婷婷久久久| 99色在线视频| 日日夜夜青青草| 桃色成人网| 婷婷激情六月综合| 日韩国产AV播放| 日日日天天干| 亚洲综合999| 日日夜夜狠狠| 97操在线视频| 九九视频在线观看视频6 | 婷五月天在线草| 日本精品久久久久中文字幕| 激情五月天色婷婷综合| 99热999| 天天干一干| 26.uuu丁香五月婷婷| 丁香五月综合激情啪啪| 亚洲 综合中文| 最近中文字幕大全免费版在线| 色婷婷五月基地在线| 青草青草视频2免费观看| 无码激情精品色婷婷久久久久| 国产精品天天狠天天看| 婷婷五月天成人小说| 五月天基地| 久久久无码精品成人A片小说| 色呦呦美女| 色五月婷婷中文字幕| 就要去操亚洲成人精品五月天丁香婷婷| 婷婷六月天| www.狠狠干| 婷婷五月丁香青青草在线| 天天爽天天日天天舔| 99色日本| 91超级碰碰| 国产99视频永久免费| 丁香五月婷婷香| 狠狠色婷婷777| 国产44页| 色欲久久综合| 婷婷五六日| 五月丁香婷婷人体| 真实亲子乱子伦高清在线观看| 五月丁香啪啪综合| 久操福利| 北京熟妇搡BBBB搡BBBB| 香蕉曰比| 色综合久久88| 深爱激情中文五月天av| 丁香5月啪啪| 夜夜操天天爽| 亚洲婷婷91丁香| 欧美日韩一区二区三区四区| 国产欧美性成人精品午夜| WwW色婷婷| 婷婷色综合中心站| 六月丁香综合| 六月天无码网址| 99成人精品视频| 狠狠高潮精品亚洲1| 超碰日日操| 高清无码网址| 色五月激情综合网站| 国产激情在线观看| 日本色婷婷综合| 日韩乱玛久久| 91精品婷婷国产综合久久| 人人摸人人| 国产乱人偷精品人妻A片| 久久婷婷超碰| 99色综合网| 国内婷婷丁香社区在线播放| 伊人五月天在线| 日韩九区| 在线色婷婷| 9l视频自拍9l九色9l成人| 久热精品视频在线观| 狠狠狠狠狠狠狠狠草| 操啊操av| 激情五月丁香五月| 玖玖五月| 久久性爱激情| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 婷婷五月天伊人| 狠狠五月天| 色欲日日躁| 人人综合久| 综合久久婷婷99| 五月婷婷片| 天天插综合| 我爱宗和色| 欧亚洲在线高清视频| 色综合久久8| 精品无码久久久久久久久| enecarbon-materials.comWu染请涟系Bao护@wip1688| 狠狠色情婷婷| va中文资源在线观看| 无码啪啪| 亭亭五月天成人| 丁香 亚洲 久久| 欧美槡BBBB槡BBB少妇| 色婷婷亚洲在线观看| 五月丁香久久网| 狠狠插狠狠操| 久久受www免费人成| 亚洲中文字幕AV| 国色天香伊人狠狠色| 激情av| 极品五月天| 天天摸天天舔天天爽| 久久丝袜婷婷| 婷婷丁香综合| 丁香五月天网友自拍啪啪啪视频| 内射人妻视频国内| 异能之下短剧免费观看全集| 久9视频免费播放| 五月婷婷久草| www,欧美干干干干干干| www婷婷| 91肏| 99久久玖玖| 男女av免费看| 欧美亚洲婷婷五月| 香蕉AV777XXX色综合一区| 超碰人人艹| 五月天色区| 亚洲AV成人精品网站在线播放| 激情五月天啪啪视频| 五月婷婷亚洲| 99热在线观看精品| 色情久久久| 色色色色色综合| 丁香婷婷色五月天| 99久99久| 五月天涩涩| 精品欧美性爱超级爽| 五月丁香婷婷无码中文| 久久久久久人妻| 97干在线| 日韩无码成人电影| 秋霞三级影视资源| 欧美成人精品A片免费一区99| 婷婷五月丁香基地在线视频官网| 婷色五月| 五月天激情站| 免费做A爰片77777| 三十路磁力链接| 香蕉久久av一区二区三区| 欧美狠狠草| 五月天色不卡| 激情综合网五月天天| 天天艹夜夜艹| 99热这是里只有精品| 99ri在线视频| 伊人狠狠狠综合| 丁香五月天天久久综合小说| 天天色综合网1| 天堂呦 呦百度搜索-百度搜索| 91精品国产综合久久密臀| 天天日日| 97色97干| 色婷婷五月影视| 日日杆天天| 成人va在线观看视频| 大香蕉伊人久久| 婷婷五月俺要去| 精品9197碰| 五月婷婷欧美激情| 丁香五月婷婷天堂大香蕉| 成人丁香| 欧美在线视频99| 九九久久精品| 这里只有精彩亚洲视频推荐| 97综合色片| 99精品亚洲| 欧美亚洲999| 色噜噜丁香| 99在线精品在线视频| 丁香六月综合激| 国产精品色婷婷99久久精品| 爱爱色五月天| 日本在线观看aaa 99| 丁香六月婷婷综合| 性一交一乱一交A片久| 插插网爽妇五月丁香| 久久se 综合网| 天天久综合| 激情六月婷婷| 韩国中文字幕91| 激情五月丁香亭亭| 婷婷五月成人有| 丁香六月婷婷缴情欧美| 综合久久高清| 9久热这里只有精品视频| ady狠狠入| 久久婷婷色色| 天天天日天天天干| 久草 天堂| 免费看欧美成人A片无码| 久热视频这里只有精品| 日本人妻A片成人免费看片| 熟妇无码乱子成人精品| 丁香五月天婷婷激情| 色色精品色| www.久99| 亚洲综合五月天婷婷| 国产日日操夜夜操的肉棒视频| 丁香五月网| 色色婷婷五月| 成人五月天视频| 99色精品| 婷婷香蕉精品| 婷婷色色狠狠| 天天日夜夜操五月| 激情国产综合| 亚洲精品V天堂中文字幕| 99热免费观看| 大香蕉院线| 婷婷久久亚洲| 99日在线观看视频| 超碰在线观看三级片| 超碰不卡在线| 五月成人综合| 亚洲激情无码久久| 中文色婷婷| 成人婷婷色综合| 9久久婷婷国产综合精品性色| 26UUU精品一区二区c〇m| 琪琪色五月天| 婷婷丁香先锋资源网站| 婷婷丁香五月天综合在线日韩| 婷婷五月综激情| 五月婷婷九月婷婷九月婷婷| 久久性爱视频免费| 热九九精品| 五月婷婷狠狠久久| 久久久婷丁香五月| 成人国产欧美大片一区| WWW.婷婷| 人人操91| 九九色色| 日日噜狠狠色综合久| 亚洲看av的网站| www.超碰| 在线成人网站| 亚洲婷婷丁香| 九九热免费视频| 色www久视频| 婷婷五月丁香综合| AV人人操| 久久久久人妻精选| 99性色| 牛色色碰| 午夜大香蕉| 日韩AV大全| Jh7Uf088VHafNm| 26uuu色噜噜精品一区| 秋霞成人毛片一级A片| 丁香六月婷婷社区| 久久免费干| 五月天丁香久久综合 | 97极品在线| 色综合色综合色综合| 欧美综合婷婷网| sS丁香五月婷婷| 99久久久久| 性爱网五月天| 亚洲国产成人在线| 久操人妻| 婷婷丁香五月天婷婷| 色色激情五月天| 免费亚洲婷婷中文字幕| 中文字幕AV在线播放| 九月激情综合| 9久热| 激情综合色网| 久婷婷五月丁香在线观看| 激情网第九色| 日本va欧美va精品发布视频 | 欧美性爱特黄一级aaaassss| 米奇影视资源婷婷狠狠色激情欧美五月丁香| 国内婷婷丁香社区在线播放| 开心日韩丁香婷婷五月| 五月婷婷网五月在线| 欧美啄木乌丝袜人妻系列| 婷婷五月天香蕉| 五月天色社区| 热99免费在线| 夜夜谢天天干| 中字幕视频在线永久在线观看免费 | 丁香五月激情无码视频| 婷婷狠狠操| 五月丁香久久| 欧美日韩一区二区三区四区| 专区无日本视频高清8| 屁股翘好撅高迎合跪趴| 97热超碰| 激情五婷网| 激情丁香婷婷六月天| 色综久久久| 色高清无码视频| 99热这里只有精品在线播放| 久久综合影院| 激情五月天婷婷| 久久久婷婷五月天| 九九九九大香蕉| 九九精品网站| SS丁香五月婷婷| 噜噜视频| 91超级碰| av超碰在线| 激情六月婷婷| 日韩av干| 婷婷五月综合色拍| 午夜天堂一区人妻| 亚洲AV无码影院| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 九九Y精品热播| 91婷婷搞| 在线观看玖玖资源免费观看| 日本天堂免费99| 色综合婷婷| jiujiuxiangjiaowang| 五月天综合激情网| 国产五月婷| 综合性爱网| 成人综合网站| 色久影院| 色噜综| 亚洲网视屏| 国产精品天天狠天天看| 天堂色婷婷| 99这里只有精品在线观看| 亚洲秘 无码一区二区三区妃光/1| 激情图片五月天| 字母不卡码人逼| 四色综合网| 五月婷亚洲精品| 日韩人妻无码专区| 色五月婷婷综合在线| 婷婷五六日| 国产性爱一级| 在线中文字幕免费视频| 狠狠色噜噜狠狠色噜噜噜999| 思思热AV| 99国产精品久久久久久久久久久| 男人天堂99| 99热99热不卡| 成人午夜视频精品一区| 日韩黄黄| 婷婷婷久久久| 亚洲av综合在线| 五月色婷婷亚洲| 97碰人人操| 九色99视频| 五月丁色AV| 99亚洲视频| 丁香五月激情啪啪啪啪| 婷婷五月激情片| 色爱五月天| 精品人妻在线| 99这里只有精品视频| 91精品久久久久久久久久| 四月婷婷五月色综合| 五月婷婷六月丁香五月| 色9999综合久久| 亚洲激情99| 九九九九这里只有精品| 超碰免费大香蕉| 五月天.com| 26uuu成人网| 激情婷婷丁香色情五月天| 欧美色婷婷| 中文字幕AV在线| 激情九九六月激情免费视频| se.久久视频在线观看| 99热这里只有精品 搜| 少妇高潮A片无套内谢麻豆传| 五月婷婷激情综合| 久九色| 91肏| 综激情网| 六月丁香av| 色碰碰| 日本三久久| 综合网啪| www.日韩国产| 色五月婷婷在线| 婷婷九九视频| 久久伦乱| PORNY九色9l自拍视频成人| 99热综合色图| 色婷婷操逼| 国产精品久久..4399| 日本97在线| 狼友超碰| 啪啪91| 五月天亭亭俺也| 亚洲性受XXXX五月丁香| 五月天大香蕉| 99精彩视频在线观看| 日本二级毛片二级毛片| 人人视频色| 色约约视频一区二区三区四区五区 | 天天撸天天干天天插| 9|在线观看视频| 日韩AAAAA| 日韩久综合| 大香蕉久久婷婷| 成人av中文字幕| www.五月丁香| 婷婷五月天99| 嫩草视频。| 国内外色色色色色成人视频| 国产1区2区3区| 色色激情| 色综合久久伊伊婷婷五月| 婷婷五月天综合亚洲| 激情五月丁香六月| 成人五月天丁香婷| 玖玖婷婷五月天| 丁香六月爱综合| 超碰在线94| 久操大| 丁香五月婷婷久久久| 天堂成人A片永久免费网站| 天天日婷婷| 综合色色综合| 五月婷婷六月天| 99热这里有精品2| 亚洲综合成人网站| 99免费在线| sewuyuejiqingwang| 亚洲AV电影美洲AV电影| 国产 码在线成人网站| 五月婷免费视频久久久| 热婷婷av| 人妻久久久久久久| 色婷婷九月| 9精品在线| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 五月婷婷在线视频观看| 九九99在线观看视频| 97久久婷婷色| 色婷婷丁香| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 免费啪啪亚州视频| 69午夜成人影片| 99人人操人人爱久久久| 天天射影院| 欧美成人日韩| 九九热思思热| 欧洲不卡视频| 超碰人人摸AV| 天天干,天天日| 五月天综合在线观看| 99久久99久久综合| 婷婷色色宗合网| 婷婷五月天福利| 玖玖精品视频| 妻久久久久| AAA久久久AAA久久久AAA| 国精产品一区一区三区免费视频| www,超碰| wwwC0maV五月花| 国产日产成人亚洲欧美国产VA| 婷婷综合在线网| 五月天综合色| 久久久无码精品成人A片小说 | 久久大香蕉同僚| 百度一下国产精品A| 99热啪啪| 激情六月色| 99色热视频| 欧美久热| 久久新地此| 九九精品免费视频99| 狠狠色成人影片| 久婷五月| 思思热AV| 五月天精品综合在线| 秋霞黄色一级久久| 五月激情婷婷综合| 色99免费视频中文| 日本在线观看99| 亚洲日韩一页精品发布| 激情五月天在线视频| 五月婷婷综合在线| 婷婷色丁香六月| 开心日韩丁香婷婷五月| 五月激情丁香六月狠狠干| 丁香五月手机在线| 五月婷婷草| 青青操日本摸摸看看| 丰满少妇乱A片无码| 97热这里只有精品| 九九色99| 丁香五月欧美激情| 综合五月丁香六月婷婷| 五月天久久婷婷| 久久综合丁香激情五月| 日本AAAAAAAAAAAAAA片| 五月丁香婷婷人体| 另类丁香五月天区图| 亚洲人人96@| 无码地址| 丁香亭亭久久| 丁香六月激| 婷婷色五月丁香六月欧美啪| 9精品在线| 中文字幕AV网址| 九久久精品视频99| 99久久久久久www| 五月天婷综合| 色女人久久| 五月丁香久| 色狠狠色综合久久久绯色AⅤ影视| 综合九九久久| 97热久久五月婷婷| 韩国19 主播内部福利vip免费播放| 9久操| www.久9| 中文字幕五月久久婷| 久久加勒比| 久久在线92| 操操国产| 久久99热这里只有精品首| 91人妻PORNY九色大屁股| 免费黄色视频网址| 草综合网| 天天草天天爱| 日韩小视频在线99| 天天碰夜夜爽| 色播播五月天| 大香蕉婷婷五月天| 丁香六月啪| 香蕉AV福利精品导航| 少妇被躁爽到高潮无码文| 一级操逼大片| 亭亭丁香97| 激情人妻综合| 亚洲性受XXXX五月丁香| 久久精品在线| 婷婷五月天免费视频在线观看| 五月婷婷丁香在线| 99久在线精品99re5热视频| 综合久久久| 人人爽天天爽| 91.www综合| 中文字幕欧美精品久久| 色婷婷五月天成人网| 日本一级一级一级一级| 色在线五月天免费| 五月草视频| 影音先锋一区| 久久人妻视频| 丁香婷婷六月| 丁香狠狠色婷婷| WWW色综合| 婷婷五月综合视频| 91久久电影| 日韩婷婷| 日本在线观看aaa 99| 成人网在线视频| 欧美成人无码一区二区三区| 狠狠撸激情综合丁香五月天俺来啦| 色色性爱视频| 天天干天天操天天拍| 99ree6| 色婷婷五月影院| 色色综合成人网| 91小黄书网址在线观看| 亚洲综合另类| 欧美成人AAA片一区国产精品 | 五月天激情小说| 久久久九九视频精品18| 综合色久| 久久婷婷五月综合色和| 91精品久久久久久综合五月天| 亚洲精品一区无码A片| 六月激情丁香一道本7777| 99在线观看亚洲| 色婷婷九月| 五月丁香啪| 一区二区无码视频| 怡红院 久久| 久久这里有精品视频| 婷婷丁香五月亚洲17cao| www.久久久久久久久久.com| 五月天日日操夜夜操| 深爱五月婷| 天天爽天天爽| 超碰高清在线| 免费观看的AV| 久久99网| 影音先锋 一区| 丁香婷婷人妻综合网| 久re热视频| 潘金莲AAAAAAAAAA| 天天操夜夜爽天天操| 久久综合五月| 国产AV影片| 99开心五月五月丁香激情| 五月色综合网| 专区无日本视频高清8| 99热免费精品| 深爱激情婷| 久久久天堂国产精品女人| 久久九九网| 九九在线精品| 日本在线播放97| 亚洲激情淫网| 色欲天天综合网| 九九久久免费视频44| 日韩久久这里只有精品| 亚洲午夜AV| 在线成人网站| 久久看婷婷| 91综合在线观看| 蜜臀九九九九| 狠狠精品干练久久久无码中文字幕| 亚洲视频二区| 亚洲婷婷久久综合| 婷婷人妻激情| 黄色AAAAA| 色五月综合激情网| 激情综合网,五月| 五月婷婷五月| 五月婷婷综合激情网| 激情爱爱网站| 99视频久久久| 丁香综合婷婷五月天| 色色网站日本91| 深爱激情五月天婷婷网| 国产亚洲成AV人片在线观黄桃| 无码色色色色色| 97啪啪| 久草五月婷婷| 天天综合网91| 99热1| 久操激情| 激情婷婷五月| 亚洲第一黄网| 99热这里| 色狠狠色| 色 免费网站视频| 五月婷婷综合激情| 99热九九这里只有精品| 久草婷婷| 99re熱| 九九久久精品| 激情综合五月色在线| 激情五月天婷婷| 婷婷黄色五月天在线视频| 精品无码久久久久久久久| 婷婷久久久久久久| 四虎国产精品永久在线国在线| 九月婷婷综合八月丁香在线观看| 欧美大肥婆大肥BBBBB| 天天更新天天亚洲| 色婷婷丁香女女| 五月网网站| se婷97| 五月激情婷婷国产精品久久久久久| Av在线资源| 丁香六月婷婷综合欧美| 天久久久久| 婷婷五月天奸女| 欧美99热| 激情综合亚洲| 婷婷免费无视频| 十二区无码| 婷婷五月天美女21p| 五月天丁香综合久久国产| 九九热av| 色色综合日韩| 超碰操日| 欧美色性色好| 九九久久五月天| 五月天婷婷色色| 久久婷婷亚洲五月天| 日噜噜色| 激情综合在线观看| 思恩热国产视频右线观看| 香蕉人妻AV久久久久天天| 巴基斯坦粉嫩无码视频| 激情五月婷婷她| 久九色| 26uu| 丁香五月激情综合婷综| 99热在线精品观看| 最新精品视频99| 99热www| 精品久久99码| 少妇口诉沐足视频播放器网址| 色播色丁香五月| Av九九| 色五月天天| 五月丁香六月婷婷的女人| 99热欧美| 丁香欧美| 激情六月婷婷| 97caop| 先锋资源婷婷| 丁香狠狠| 超碰色女| 99re在线播放| 人妻久久久| 九九热99re8热免费观看| 色五月天 丁香| 色婷婷色99国产综合精品| 丁香六月高清视频| 91热久| 色狠狠色| 亚洲va欧美va天堂v国产综合| 9久热| 欧美三级视频| 五月激情六月宗合| 有哪些A片网站| 色五月综合网| 伊人喵咪a V| 久久丁香| 五月丁香综合在线| 九九综合精品| 欧美日韩成人在线观看| 狠狠爱青青草| 综合婷婷久久| 五月天色裸体视频| 狠狠舔| 超碰成人AV| 嫩BBB搡BBBB榛BBBB| 五月天丁香婷婷社区| 色婷婷色五月色丁香| 九九re精品视频在线观看| 超碰成人公开| 99精品在这里| 99视频只有精品| 九九视频在线观看视频6 | 欧美婷婷精品激情| 色综合色欲综合天天免费 | 五月花综合视频| 欧美日韓成人亚洲精品另类| 国产激情在线| 狠狠爱丁香婷| 97在线观视频免费观看| 久久HD| 99re热视频这里只精品| 日本精品。999| 天天射综合网站| 激情综合婷婷久久| 婷婷丁香色五月天| 91精品久久久久久77777| 99九九热视频| 五月婷婷激情久久| 丁香五月人妻熟女| 免费AV黄在线播放| 1024人妻| 激情五月天综合网| 伊人激情网| 激情内射人妻1区2区3区| 夜夜爱网站| 激情综合九月| 人人操AV| Www.激情| 99色免费视频| 天天做综合网色综合| 久er7久热| 1024人妻| 亚洲五月婷婷| 婷婷天堂综合| 99热在线精品观看| 久久精品婷婷五月丁香| 97人妻人人| 婷婷综合伊人| 久久38视频| 久9热视频在线| 七月丁香五月婷婷在线| 亚洲爆乳无码精品AAA片蜜桃| 色色色com| 亚洲色综合| 99操碰| 六月丁香激情网| 色婷婷小说| 中文AV网站| 99热免费在线| 天天精品视频免费观看| 日韩视频99| 色色色色五月| 九九热在线观看视频| 亚洲激情网| 狠狠干综合| 久色激情| 亚洲亚洲人成综合网络| 少妇AB又爽又紧无码网站| 亚洲A片成人无码久久精品青桔| 日日做A爰片久久毛片A片英语| 最近免费中文字幕大全高清大全1 免费看欧美成人A片无码 | 日韩操逼大片| 亚洲中文字幕网| 第四色五月天| 婷婷丁香五月综合| 免费视频WWW在线观看网站| 丁香网五月天| 国产原创视频91九色| 婷婷丁香先锋资源网站| 亚洲人人操| 久久大香蕉同僚| www激情| 婷婷五月天最新综合你懂的| 怕怕av| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 久久五月丁香婷婷| 综合激情五月综合激情五月激情1| 五月色欧洲| 亚洲激情精品| 日日爽夜夜爽| 狠狠干综合| 激情小说五月天| 婷婷色五月大香蕉在线| 久久99免费视屏| 1024婷婷综合久久五月天| 久久久999精品| 九九热这里有精品23| 欧美日本一区二区三区| 色色色热热热| 99综合免费视频| 强辱丰满人妻HD中文字幕| 五月丁香狠狠爱婷婷综合| 色九月婷婷丁香| 99er这里只有精品| 五月婷婷九| 超碰网站在线观看| 亚洲色婷婷五月天| 五月婷婷啪啪啪啪| 久久大香免费| 久久婷婷六月天| 操射国产日本| 99久在线视频| 少妇AB又爽又紧无码网站| 五月丁香天堂| 九久9精品| www.热99热| 激情丁香九九五月综合网| 丁香五月天视频| av人人操| 五月丁香六月久久| 丁香美女主播视频在线观看| 久草视频一,二三四| 亚洲熟妇AV综合网五月丁香伊人| 五月婷婷色| 99热99热| 五月丁香婷婷综合久久| 日韩成人无码| 99亚洲精美视频在线观看| 激情精品久久| 99热这里只有精品55| www.99视频| 六月丁香成人| 五月天 综合 在线| 99re热在线视频观看| 激情五月婷婷| 97丁香五月| 东北婷婷五月天| 国産精品| 67194线路二在线观看| 色情五月综合婷婷| 亚洲五月色| 丁香六月婷婷综合| 狠狠色大香蕉| 激情 婷婷 丁香五月天| 久久婷五月| 激情五月婷婷色色| 草操AV在线| 久久免费操| 超碰人人摸AV| 五月综合视频在线| 婷婷五月天激情网| 五月婷婷很很色| 九九国产视频| 99激情| 日B日潘金莲BB| 丁香六月婷婷综合色| www.色五月| 五月婷婷电影院| 亚洲综合网区| 伊人久久大香线蕉av一区| 色婷婷五月天av在线| 无码地址| 九九精品综合| 91大神在线免费看视频全集男男一起操| 99热精在线九九久久保| 91黄址| 丁香五月天堂网AV| 亚洲色欲AAAAAA| 久久9视频| 97操碰碰无码视频| 色五月婷婷色五月婷婷色五月婷婷| 欧美精品中文字幕亚洲专区| 亚洲AV成人精品日韩在线播放| XX色综合| 九九热狼人| 翔田千里aV中文字幕| 欧美在线干| 六月久久婷婷| 99爱在线免费视频| 一本久久婷婷| 九九亚洲小视频| 丁香六月激情| 日木狠狠干| 97色婷婷成人综合在线观看| 天久久久久| 99热亚洲精品| a级毛片一区二区免费视频| 狠狠操天天操天天操| 日韩另类| 色色综合无码| 久久XX| 五月停亭六月,六月停亭的英语| 天天爱天天操| 五月丁香久久婷| 五月丁香六月婷婷久久| 噢美99| 天天色天天色天天色天天色天天色| 国产熟妇的荡欲午夜视频| 亚洲激情图文小说| 第2色五月婷| 色五月激情婷婷| 九九RE视频在线精品| 日本啪啪天堂| 玖玖99免费视频| 永久免费视频| 91视频一起草| 久热中文字幕| 欧美在线操| 97综合在线| 色婷久久| 99re这里| 六月丁香五月激情亚洲AV| 成片免费播放| 色婷婷在线视频久| 国产AV一区二区三区最新精品 | 久9久9热久热| 婷婷99中文字幕| 成片免费播放| 六月婷婷天天操夜夜爽视频| www久久99| 人妻videos人妻高清| 中文字幕成人网站| 丁香婷五月| 久久免费高| 五月天婷久精视频| 成人午夜免费电影| 久草五月| 成人va在线观看视频| 少妇真实被内射视频三四区| 思思色综合网站| 五月丁香久久激情综合| 婷婷久久色| 五月婷婷啪啪网| 色婷婷九月| 婷婷五月天激情综合深爱| 丁香五月激情啪啪啪啪| 激情综合五月婷婷| 久激情网| 激情五月综合网| 99色免费视频| 成人网在线视频| 六月婷婷五月天| 人人综合五月人人婷婷| 色婷婷播放| 日韩成人AV在线播放| 久久视这里只有精品| 欧美日韩成卜| 99激情视频| 五月天无码| 亚洲偷| 丁香五月婷婷五月| 丁香五月婷婷狠狠色| 黄色热99| 色五月婷婷网| 台湾综合丁香五月蜜桃| 一本久久婷婷| 五月天综合激情网| 操人妻90p| 婷五月天| 26uuu精品国产| 天天干天天色天天干| 久久五月婷婷丁香| 欧美激情五月天| 激情五月,婷婷五月,丁香五月| 色欲天天综合| 9精品久久999| 五月天天久久香| 久久人妻乱子伦| 九色porny在线观看激情四射| 99热日本| 97好吊操| 超碰91av| 9九九久久精品无码专区| 色综合天堂| 涩涩网五月天| 五月婷婷黄色| 操逼电影免费看|