欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

AI作曲的短期記憶:決定生成質(zhì)量的關(guān)鍵機制

AI作曲的短期記憶:決定生成質(zhì)量的關(guān)鍵機制 AI作曲這幾年火得不行從隨手哼兩句變成完整的編曲再到給短視頻配BGM幾乎每個環(huán)節(jié)都有模型的身影。但真正上手做過音樂生成項目的人都會撞上同一個尷尬開頭兩小節(jié)驚艷八小節(jié)之后開始原地轉(zhuǎn)圈到十六小節(jié)基本已經(jīng)忘了前面在寫什么。旋律不停重復(fù)、和弦走向莫名其妙突變、主題動機走著走著就丟了問題并不在“模型不會寫曲子”而在于模型根本“沒記住自己寫過什么”。這篇文章想聊的就是AI作曲里那個經(jīng)常被忽視、卻決定生成質(zhì)量上限的關(guān)鍵機制——短期記憶。標題里的“秘密”不是故弄玄虛。過去兩年我先后做過幾次音樂生成方向的嘗試從最早基于規(guī)則拼接的MIDI生成到后來用序列模型做旋律續(xù)寫再到帶注意力結(jié)構(gòu)的生成方案越到后面越發(fā)現(xiàn)決定一首AI曲子是“能聽”還是“沒法聽”的往往不是生成網(wǎng)絡(luò)有多深、訓(xùn)練數(shù)據(jù)有多大而是它在生成過程中怎么處理和保留已經(jīng)輸出的歷史信息。這個機制放到深度學(xué)習里多數(shù)時候表現(xiàn)為注意力窗口、緩存狀態(tài)或者隱向量放到音樂層面它就是模型的短期記憶。它能決定模型是死守著一兩個動機反復(fù)倒帶還是有能力讓音樂在幾十秒內(nèi)流動起來、發(fā)展下去。這篇內(nèi)容適合正在做音樂生成、旋律續(xù)寫、AI編曲相關(guān)項目的朋友參考也適合那些好奇“為什么AI寫的歌總有股莫名其妙的重復(fù)感”的人。我會從記憶機制的本質(zhì)講起結(jié)合自己做過的幾個實驗把這套東西拆開揉碎包括模型結(jié)構(gòu)上的取舍、實際訓(xùn)練中的參數(shù)策略以及那些不跑幾個通宵絕對發(fā)現(xiàn)不了的坑。1. 音樂生成里的“記憶”到底指什么很多人第一次接觸AI作曲以為模型是“理解”了音樂才寫出來的。實際上到目前為止主流的生成模型本質(zhì)上做的是條件概率預(yù)測也就是給定前面已經(jīng)生成的音符序列預(yù)測下一個最合理的音符是什么。聽起來好像很簡單但這里有一個隱藏前提為了讓“下一個音符”合理模型必須知道“前面的音符”到底發(fā)生了什么。這個“前面”的范圍有多大信息能被記住多少就是短期記憶要回答的問題。1.1 從人的創(chuàng)作習慣理解短期記憶的必要性人類作曲家作曲的時候短期記憶的作用太明顯了。隨便寫一段八小節(jié)的旋律你會發(fā)現(xiàn)第一小節(jié)和第二小節(jié)往往存在某種呼應(yīng)第三、四小節(jié)會有一點發(fā)展到了第七、八小節(jié)可能又回到開頭的元素。這不是偶然而是創(chuàng)作者在落筆的時候腦子里始終保留著前面音樂片段的“余音”知道現(xiàn)在這句是從哪來的、要往哪去。專業(yè)的說法叫主題發(fā)展或者動機貫穿翻譯成大白話就是創(chuàng)作者記得自己寫了什么。AI模型呢如果模型架構(gòu)里沒有足夠的記憶能力那它本質(zhì)上就是一個隨時“失憶”的創(chuàng)作者。它生成第100個音符的時候可能完全不記得第1個音符長什么樣只能靠最近一小段信息瞎猜。結(jié)果就是旋律不停地在局部打轉(zhuǎn)——因為最近的幾個音符可能剛好構(gòu)成了一個穩(wěn)定的進行模型覺得“這地方很安全”就反復(fù)往相似的方向走。這就是大家常說的AI音樂“幾秒鐘后開始復(fù)讀”的根本原因。1.2 短期記憶和長期記憶在技術(shù)上的分界順著這個思路往下模型記憶能力的討論通常會分成兩個層次。短期記憶一般指模型在生成當前音符時能直接“看到”或“讀取”到的上下文信息。在Transformer類模型里就是這個意思生成的時候前面生成的所有token都會通過注意力機制參與當前步的計算。窗口有多長記憶就有多大。長期記憶則不一樣它更接近于“模型從訓(xùn)練數(shù)據(jù)里學(xué)到的規(guī)律”比如大調(diào)里導(dǎo)音傾向于解決到主音比如四小節(jié)通常構(gòu)成一個樂句。這些東西已經(jīng)不依賴具體某一次生成的上下文了是沉淀在權(quán)重里的經(jīng)驗。這兩者很容易被混淆。經(jīng)常有人跟我說“我的模型學(xué)了很多莫扎特為什么生成的東西還是不像”問題往往出在短期記憶不夠模型學(xué)到了莫扎特的和聲規(guī)則卻記不住自己在前八小節(jié)里已經(jīng)用了什么素材。1.3 為什么音樂比其他序列任務(wù)更依賴短期記憶文本生成也依賴上下文但音樂生成對短期記憶的要求有它非常特殊的地方。音樂的核心結(jié)構(gòu)特征在于“重復(fù)中的變化”——同一個動機反復(fù)出現(xiàn)每次出現(xiàn)都要有細微的變化這需要模型既記得動機的原型也記得每次變化后的差異。這和語言不同語言里一個詞錯了語義可能就偏了但音樂里同一個旋律原樣重復(fù)多遍或者變化得離譜都可能成為“聽感崩塌”的元兇。具體到數(shù)值上一段120BPM的四四拍音樂一小節(jié)大約兩秒一個典型的樂句是四小節(jié)也就是八秒。要讓模型生成的音樂聽起來有結(jié)構(gòu)感它至少需要記住過去四到八小節(jié)的素材換算成音符數(shù)量大概就是64到128個音符假設(shè)每拍兩個音。這是非常高的記憶要求比大多數(shù)文本生成的上下文要密集得多因為音符相對簡單信息熵卻靠排列組合撐得很高。2. 藏在Transformer和RNN里的記憶機制聊完了“為什么需要記憶”再說說當前主流模型到底是怎么實現(xiàn)記憶的。這里繞不開兩種最常見的架構(gòu)路徑一種是以自注意力為核心的Transformer方案另一種是更早期的循環(huán)神經(jīng)網(wǎng)絡(luò)方案。兩種方案對短期記憶的理解完全不同實現(xiàn)方式也各有優(yōu)劣。我個人的經(jīng)驗是了解這兩條路才能在實際項目里做出合適的選擇。2.1 Transformer的注意力窗口就是顯式的短期記憶現(xiàn)在音樂生成用得最多的一般是Transformer家族。它的短期記憶機制非常直觀生成第t個音符的時候模型會把第1到第t-1個音符的表示全部拿出來跟當前步做注意力計算。理論上只要窗口夠長模型就能“記住”從樂曲開頭到現(xiàn)在的所有信息。這個設(shè)計非常優(yōu)雅也讓訓(xùn)練過程變得簡單直接。但“理論上”三個字后面通常跟著一個“不過”。注意力窗口長不代表模型真的會用這些信息。如果訓(xùn)練數(shù)據(jù)里大部分曲子并不需要特別遠距離的依賴模型學(xué)到的注意力權(quán)重會自然地偏向相鄰音符遠端的信息雖然在那里注意力卻很少分配過去。這就好比一個學(xué)生桌上擺了一整套教材但他復(fù)習的時候只看最近兩頁那遠端教材對他考試成績的影響幾乎為零。所以不少團隊在Transformer之外還要引入一些機制來“強制”模型看重遠處的信息這個后面會詳細說。2.2 KV Cache工程實現(xiàn)里最容易被忽略的記憶載體如果真正去實現(xiàn)過基于Transformer的自回歸生成大概率會遇到一個叫KV Cache的概念。它的全稱是Key-Value Cache作用是緩存已經(jīng)計算過的注意力鍵值對避免每一步都從頭算一遍前面的內(nèi)容。在推理解釋上這就是Transformer的“短期記憶倉庫”生成第10個音符時前9個音符的K和V向量都存在緩存里直接取出來參與計算。這里有一個很多初學(xué)者容易忽略的事實窗口長度決定了KV Cache的大小而KV Cache的大小直接跟延遲和顯存掛鉤。在音樂生成場景里如果序列很長比如生成一整首鋼琴曲的子旋律可能有幾千個音符KV Cache會持續(xù)膨脹推理速度越來越慢。我自己跑實驗的時候出現(xiàn)過生成前幾十個音符飛快、后面越來越慢的情況一開始還以為是模型出問題了后來才發(fā)現(xiàn)就是KV Cache吃滿了顯存。為了控制這個問題的常見做法是限制注意力窗口長度或者用滑動窗口注意力只讓模型關(guān)注最近N個token。# 偽代碼示例限制注意力窗口的KV Cache保留范圍 def generate_with_sliding_window(model, token_ids, window_size128): cache_k, cache_v [], [] for t in range(len(token_ids)): start max(0, t - window_size) context token_ids[start:t 1] k, v model.encode(context) cache_k.append(k) cache_v.append(v) if len(cache_k) window_size: cache_k.pop(0) cache_v.pop(0) logits model.decode(cache_k, cache_v) next_token sample(logits) return next_token2.3 RNN的隱狀態(tài)另一種形態(tài)的短期記憶Transformer流行之前音樂生成領(lǐng)域其實走過很長一段RNN的路。LSTM和GRU這類循環(huán)網(wǎng)絡(luò)沒有顯式的注意力窗口它們的記憶全部裝在一個固定維度的隱狀態(tài)向量里每生成一個音符隱狀態(tài)被更新一次。如果說Transformer的短期記憶是一本可以被隨意翻閱的筆記本那RNN的短期記憶就像一個人腦中的印象容量有限而且越久遠的內(nèi)容越容易被壓縮、變形。這就帶來了一個非常有意思的對比RNN因為隱狀態(tài)容量有限天然會把遠近信息做壓縮處理早期信息很容易被后續(xù)信息“覆蓋”生成出來的旋律后段離前段越來越遠而Transformer因為保留全部歷史token理論上可以做到“每一頁都被記得清清楚楚”但也正因為記得太清楚反而可能讓模型偷懶——它發(fā)現(xiàn)只要參考最近幾個音符就能把下一個音符預(yù)測得差不多就不會刻意去挖掘遠端的結(jié)構(gòu)線索。說句實在話這兩種模型在音樂生成上各有各的難纏。2.4 為什么說位置編碼是短期記憶的坐標系統(tǒng)理解了注意力機制之后還有一個細節(jié)不能跳過位置編碼。注意力計算本身是不分先后順序的它把序列當成一個集合來處理。如果沒有位置信息模型就分不清“前面出現(xiàn)過的主旋律”和“剛過去的那一下裝飾音”在時間上的差別。所以幾乎所有的Transformer模型都會在輸入里加入位置編碼讓每個token帶上“我是第幾個出現(xiàn)的”這個信息。在音樂生成任務(wù)中位置編碼還有一個比較特殊的意義它不僅標記順序還直接影響模型對節(jié)奏和時值的感知。不同的音符有不同的時值同樣的音高出現(xiàn)在第一拍和第三拍含義完全不同。如果把音樂token化之后再加上絕對位置編碼模型等于拿著一個刻度尺去丈量記憶里的事件這對生成穩(wěn)定的節(jié)奏律動非常重要。我見過一個實驗把絕對位置編碼換成相對位置編碼之后模型生成的三連音明顯更穩(wěn)定了因為相對位置讓模型在記憶里更容易識別“從這個音往后推多少拍是下一個重音”這類規(guī)律。3. 我踩過的短期記憶工程坑這一節(jié)說說實操。我做過幾次嘗試踩過不少坑。有些問題看起來是模型能力不行結(jié)果排查到最后發(fā)現(xiàn)問題出在對短期記憶機制的理解上。挑幾個印象深刻的跟大家聊聊都是真實遇到過的場景。3.1 復(fù)現(xiàn)某開源作曲模型時發(fā)現(xiàn)生成永遠停在三小節(jié)有一次我復(fù)現(xiàn)一個開源的旋律續(xù)寫模型訓(xùn)練了很久一到生成階段就出問題模型最多生成三小節(jié)新內(nèi)容之后就開始無限循環(huán)第一小節(jié)的節(jié)奏型偶爾換一兩個音但整體上已經(jīng)完全失去推進感。一開始我懷疑是訓(xùn)練數(shù)據(jù)的毛病后來檢查了推理代碼才發(fā)現(xiàn)問題出在我使用的窗口長度上。在那個模型的設(shè)計里訓(xùn)練時序列被切成了固定長度片段每個片段內(nèi)的信息最多跨越16小節(jié)但我的推理代碼把窗口長度錯設(shè)成了4小節(jié)等于模型只能看到過去1秒的內(nèi)容。打個比方一個只看了前兩頁書的人讓他續(xù)寫整本小說的后續(xù)情節(jié)他除了反復(fù)描述前兩頁出現(xiàn)的人物之外確實也沒什么別的辦法。這個排查過程提醒我短期記憶的窗口設(shè)置必須跟訓(xùn)練時保持一致不能只看模型文檔里寫的“支持長序列”還得自己確認推理階段的有效記憶范圍是多少。3.2 位置編碼類型選錯導(dǎo)致的“節(jié)奏崩潰”還有一個印象更深的坑出現(xiàn)在位置編碼的選擇上。當時我對比了兩種位置編碼方案一種是絕對位置編碼另一種是相對位置編碼。實驗結(jié)果顯示用絕對位置編碼訓(xùn)練出來的模型在短句子上表現(xiàn)不錯但生成長句子時逐漸出現(xiàn)節(jié)奏混亂——原本均勻的八分音符跑著跑著變成不均勻的附點節(jié)奏又莫名其妙地變回八分音符整個律動像喝醉了酒。翻論文的時候看到一個解釋說絕對位置編碼在長距離外推時會失去精度模型對“隔了多遠”這件事的感知會變得模糊。音符時值本身就是靠位置關(guān)系定義的信息距離感知一模糊節(jié)奏自然要出問題。換用相對位置編碼之后類似情況明顯減少。這里想給的建議是如果項目里的音樂對節(jié)奏穩(wěn)定性要求高優(yōu)先考慮相對位置編碼或者能處理任意長度外推的編碼方案不要為了省事直接用絕對位置編碼。3.3 部分記憶單元失效導(dǎo)致的主題丟失還有一種情況更隱蔽模型的記憶機制本身是完整的但訓(xùn)練過程沒有讓模型學(xué)會有效利用記憶。我做過一次對比實驗兩組訓(xùn)練數(shù)據(jù)完全相同唯一區(qū)別是一組在訓(xùn)練時給loss加了一個“對遠端token注意力權(quán)重”的正則化約束另一組不加。結(jié)果顯示加了正則化約束的那組生成結(jié)果的樂句結(jié)構(gòu)明顯更完整主題動機能在16小節(jié)后重新出現(xiàn)而不加的那組前8小節(jié)和后8小節(jié)聽起來像是兩首不同的曲子。這讓我意識到對很多序列模型來說短期記憶不只是“有沒有”的問題更重要的是“模型有沒有被訓(xùn)練去用它”。如果訓(xùn)練數(shù)據(jù)的句子普遍偏短模型就會形成一種惰性只關(guān)注近處信息就能把loss降得很低遠端的記憶通道雖然技術(shù)在但根本沒有被激活。后面我在設(shè)計訓(xùn)練策略時會專門構(gòu)造一些需要“回溯遠處主題”的訓(xùn)練樣本逼著模型學(xué)會使用短期記憶里的遠程信息。3.4 訓(xùn)練與推理窗口不一致帶來的性能鐵幕這個問題在工程上非常容易踩。很多模型在訓(xùn)練時用的是128 token的窗口但到了生成階段理想情況下想讓它一次性生成幾百上千個音符。如果你直接把推理窗口拉長到512甚至更長模型表現(xiàn)往往會斷崖式下降。原因也不難理解——模型在訓(xùn)練時根本沒看過那么長的上下文你讓它在一個陌生的“記憶長度”下工作它當然不知道該把注意力放在哪里。我個人的習慣是訓(xùn)練階段就至少準備兩檔窗口一檔用于常規(guī)訓(xùn)練另一檔偶爾用長窗口做一次“預(yù)熱式”微調(diào)這樣到了推理階段長窗口生成時的表現(xiàn)會穩(wěn)定很多。有人管這招叫窗口一致性訓(xùn)練也有人叫它課程學(xué)習本質(zhì)上都是在做一件事讓模型習慣在一個足夠長的短期記憶范圍里工作。4. 把短期記憶用到極致的幾個實戰(zhàn)做法聊完踩坑說說哪些做法在實際項目中是有效的。下面這些策略有的是從論文里看來的有的是我自己試出來的都在不同程度上解決過“AI記不住自己寫了什么”的問題。為了方便對照我用一個模擬的旋律續(xù)寫項目來串起這些方案。4.1 用“主題token”做顯式的記憶錨點第一個做法是在輸入序列里增加一個特殊的主題token用來表征整段音樂的核心動機。具體來說在生成每一段新音樂之前先把目前的“主題摘要”作為特殊token拼在序列的開頭。模型生成每個音符時除了能看到最近的內(nèi)容還能時不時注意到開頭那個代表主題的token相當于給短期記憶加了一個“書簽”。實現(xiàn)上并不復(fù)雜。在tokenization階段可以用一個小型的編碼器去壓縮前8小節(jié)的內(nèi)容得到一組向量然后把這組向量映射成一個或幾個special token插入到輸入序列的最前面。音樂生成時模型每走一步都會回頭“看”一眼這個錨點相當于逼著短期記憶留存最核心的信息。即便注意力窗口內(nèi)部的普通音符已經(jīng)被沖得很遠主題token仍然能被頻繁訪問起到一種壓縮記憶的作用。4.2 局部重復(fù)建模讓短期記憶自動形成結(jié)構(gòu)第二種做法更貼近音樂的本質(zhì)——重復(fù)。音樂好聽很大程度上是因為有呼應(yīng)與重復(fù)而這種重復(fù)發(fā)生后短期記憶里的信息密度會更高??梢詫iT設(shè)計一種輔助任務(wù)訓(xùn)練模型預(yù)測“當前這個小節(jié)是否與前面某一個小節(jié)相似”或者“當前旋律應(yīng)該在哪個位置回到前面的素材”。這種輔助任務(wù)不需要改動模型主體架構(gòu)只需要在訓(xùn)練loss里加一個額外的分類頭或者在數(shù)據(jù)構(gòu)造時做一下類似對比學(xué)習的采樣。效果非常明顯因為模型一旦學(xué)會“識別重復(fù)”它生成的時候就更容易主動構(gòu)建短距離的呼應(yīng)結(jié)構(gòu)樂句之間的黏合感會強很多。路徑依賴的角度看這也等于在引導(dǎo)模型主動去短期記憶里翻找以前的素材而不是每次都憑空創(chuàng)造新內(nèi)容。4.3 讓記憶窗口做“分段滑動”而不是“整體滑動”傳統(tǒng)滑動窗口是丟掉最老的token保留最近的N個token。這種做法有一個問題如果一首曲子的主題出現(xiàn)在第1小節(jié)而當前生成到第40小節(jié)滑動窗口早就把主題沖掉了。雖然理論模型可以通過位置編碼回溯但工程上很多實現(xiàn)會把窗口外的信息直接截斷。一種更穩(wěn)妥的做法是分段滑動。窗口分成兩部分固定長度的“全局段”和滑動更新的“局部段”。全局段始終保留開頭若干小節(jié)的摘要信息局部段則存放最近生成的細節(jié)信息。生成時模型同時看這兩部分相當于既有“長期的主題記憶”又有“短期的細節(jié)記憶”。我在模擬項目里試過這個方案生成60小節(jié)以上的曲子時前后結(jié)構(gòu)的一致性提升非常明顯遠勝于單純的整體滑動窗口。4.4 用Midi編碼的字段信息增強記憶強度還有一個偏數(shù)據(jù)層面的做法容易被技術(shù)文章忽略但效果很實在處理好MIDI事件本身的編碼密度。很多音頻/MIDI編碼方案會把音符的“位置、時值、力度、音高”全部分開成不同的token甚至有些方案會把休止符也切成多個邏輯碎片。這會導(dǎo)致一個問題同樣一段四小節(jié)的信息被拆成了一大串token短期記憶里裝的“噪音”太多有效音樂信息反而被稀釋。如果能把MIDI事件編碼成更緊致的token序列比如一個音符包含“起始位置、時值、音高”三元組一段四小節(jié)的旋律可能只需要32個token而分開編碼可能需要100多個token。同樣窗口容量下緊致編碼等于把短期記憶的有效容量翻了倍這對前文提到的高密度音樂信息需求是非常友好的。我一般會先用一個統(tǒng)計腳本來跑一下訓(xùn)練集平均每小節(jié)的token數(shù)再決定窗口大小這個習慣幫我避開了不少容量規(guī)劃上的坑。5. 生成時的記憶衰減診斷與調(diào)參建議實操到后面你會發(fā)現(xiàn)一個更折磨人的問題就算模型架構(gòu)和訓(xùn)練都沒問題生成時還是會遇到“記憶衰減”。這里說的衰減并不是顯存或者緩存問題而是生成過程中的累積誤差導(dǎo)致模型逐漸偏離初始主題越到后面越不知道自己在干什么。診斷這類問題需要一些可量化的手段而不是靠耳朵聽。5.1 用自相似矩陣量化檢查記憶留存檢查模型有沒有在“正確回憶”之前的素材一個好用的工具是自相似矩陣self-similarity matrix。把生成的一段MIDI轉(zhuǎn)成特征序列比如每個小節(jié)的音高輪廓或節(jié)奏向量然后計算兩兩之間的相似度畫成一張熱力圖。如果曲子存在主題重現(xiàn)熱力圖里會看到清晰的塊狀結(jié)構(gòu)如果模型已經(jīng)失憶熱力圖會呈現(xiàn)一片模糊的漸變或者完全散亂的結(jié)構(gòu)。我自己每次調(diào)整完配置都會拿這個矩陣看一眼再決定是否繼續(xù)訓(xùn)練或推理。它比單純聽音頻靠譜得多也方便橫向?qū)Ρ炔煌瑓?shù)下的生成結(jié)果。有一次我把訓(xùn)練窗口從128提升到256其他什么都不變生成的曲子自相似矩陣里明顯多出很多塊狀結(jié)構(gòu)說明模型確實開始利用更長的記憶跨度了。5.2 溫度與采樣策略對記憶利用的影響同樣一個模型溫度參數(shù)不同生成結(jié)果對短期記憶的利用程度會差很多。溫度偏低時模型傾向于選擇概率最高的token通常會緊緊跟隨最近的上下文容易出現(xiàn)局部循環(huán)溫度偏高時模型隨機性大容易脫離記憶約束寫一會兒就跑到陌生的區(qū)域。理想值取決于項目和風格但我建議以0.8到1.0為起點做小范圍網(wǎng)格搜索。還有一個容易被忽略的參數(shù)是top-p或top-k采樣。如果采樣范圍限制得太窄模型在選擇下一個音符時幾乎只看最近幾個音符給出的高概率候選遠端記憶對當前步的影響會被壓縮。稍微放寬采樣范圍等于給模型更多機會去檢索不同位置的記憶信息。這里面有一個平衡要摸索采樣太寬會亂采樣太窄會復(fù)讀找到那個臨界點生成質(zhì)量會上一大截。5.3 從損失曲面反推訓(xùn)練窗口是否合適訓(xùn)練階段的損失曲線也能透露短期記憶問題。如果訓(xùn)練loss下降很快但驗證loss一直偏高大概率是模型過度依賴局部上下文沒有學(xué)會使用更遠的記憶信息。這種情況有一個特征把驗證集里的序列截斷成更短的片段loss會明顯下降而如果用完整長度序列評估loss就很差。一旦出現(xiàn)這種情況最簡單的干預(yù)是人為構(gòu)造一些“遠期依賴”的訓(xùn)練樣本比如把一首曲子的開頭兩個小節(jié)拼接到結(jié)尾前面再要求模型預(yù)測“結(jié)尾應(yīng)該接什么”迫使它回去翻看序列前面的信息。這種做法雖然粗暴但效果直接。做過幾次之后模型的驗證loss通常會有可見的改善生成的樂曲結(jié)構(gòu)感也會上一個臺階。5.4 參數(shù)速查我常用的短期記憶相關(guān)設(shè)置最后整理一份我實際操作中常用的參數(shù)速查表給想動手試的朋友一個起點。這些參數(shù)不是標準答案但作為基線基本能跑通參數(shù)推薦起點調(diào)整方向說明注意力窗口長度256 token窗口過短時樂句會失去結(jié)構(gòu)過長則訓(xùn)練成本明顯上升滑動窗口分段比例全局段25%/局部段75%偏重主題一致性就加大全局段偏重細節(jié)豐富性就加大局部段位置編碼相對位置編碼對節(jié)奏穩(wěn)定性要求高時優(yōu)先選這類方案溫度0.8 - 1.0風格偏古典可以更低偏即興爵士可以更高top-p0.9 - 0.95采樣范圍過窄時主題重現(xiàn)有明顯下降訓(xùn)練窗口128與256混用以128為主按比例摻入256的樣本讓模型適應(yīng)長窗口主題token數(shù)量4 - 8個太少可能表達力不足太多會占用普通音符的記憶空間6. 未來方向短期記憶之外還缺什么短期記憶解決了AI作曲就順了嗎還遠遠不夠。我自己跑完這些實驗后有一個比較清醒的認識短期記憶解決的是“記得住”的問題但在音樂創(chuàng)作里比“記得住”更難的是“知道什么時候該忘掉什么”。人類作曲家寫一曲子的過程中不會事無巨細地保留每一個裝飾音的記憶他們會有選擇地記住主題、和聲走向、節(jié)奏骨架忽略那些無關(guān)緊要的細節(jié)。這種“選擇性記憶”機制目前的Transformer窗口式記憶是做不到的。業(yè)界也在往這個方向探索。記憶增強的Transformer把外部存儲跟模型結(jié)合模型學(xué)會從一個大內(nèi)存里讀取與當前最相關(guān)的片段而不只是盯著固定窗口。還有人在嘗試用分層結(jié)構(gòu)來處理記憶把音樂先壓縮成樂句級、段級的高層摘要再在低層生成細節(jié)信息。這些做法的共同點是開始把“記憶”當成一個可以主動控制的目標而不是結(jié)構(gòu)帶來的副產(chǎn)品。我相信接下來一兩年這個方向會有更多實用成果出來。7. 最后分享兩個實際使用中的小技巧作為收尾分享兩個我在實踐中覺得特別有用的技巧都很簡單但經(jīng)常被忽略。第一個技巧是生成后做“回看校驗”。當模型生成完一整段音樂后把最開始幾個小節(jié)的旋律抽出來跟中間某幾個小節(jié)的旋律做相似度對比如果相似度低于某個閾值就自動加一個懲罰項重新生成那一段。這相當于給短期記憶上了一道保險哪怕模型生成時忘了后處理也能把它拉回來。第二個技巧是刻意把主題動機放在訓(xùn)練序列的“中段”而不是“開頭”。很多模型對序列開頭的記憶都很好但對中間部分的記憶最差。如果訓(xùn)練時經(jīng)常讓主題動機構(gòu)出現(xiàn)在中段模型就會被逼著練出更強的中段記憶能力。這個做法有點反直覺但我試過幾次后生成長曲子的穩(wěn)定性確實好了不少。說到底短期記憶在AI作曲里的作用遠不止是技術(shù)指標層面的“上下文長度”那么簡單。它直接決定了一個模型到底是在“創(chuàng)作”還是在“碰運氣”。今天寫這篇文章也是希望更多做音樂生成的朋友能少走我曾經(jīng)走過的彎路。如果你們在實踐中也遇到過其他跟記憶相關(guān)的坑歡迎一起交流。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
中文字幕人妻AV| 国产毛片精品一区二区色欲黄A片| 婷婷丁香九色| 麻豆五月丁香婷婷| 日韩精品一曲二曲三曲四曲五曲| 深爱婷婷网| 日韩AV在线免费| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | www夜夜操com| 五月天综合在线网| 天天摸天天高潮天天爽| 98热精品| 久久婷五月综合| 99综合熟女| 人人爱人人添| www.激情五月天.com| 天天日天天操天天干| 中文成人在线| 欧美综合五月丁香六月婷| 蜜桃婷婷丁香综合久久开心亚洲| 五月丁香六月婷婷在线观看| 丁香久色| 玖玖资源站中文| 成 人片 黄 色 大 片| 99区视频| 丁香激情五月少妇| 激情六月日韩| 97搞在线| 六月丁香婷婷色69| 五月丁香婷婷狠狠操| 操逼123网| 婷婷五月天成人| 丁香五月视频在线观看| 婷五月天| 婷婷婷婷婷婷婷五月丁香| 欧韩性爱| 日本性视频| 婷婷狠狠干| 99热国产婷婷| 精品一二三区久久AAA片| 亚洲五月天综合| 婷婷伊人激情婷婷| sewuyuejiqingwang| 久久AV无码精品人妻系列试探| 影音先锋激情网| 色婷婷五月天| 99热免| 激情美女五月天| 婷婷五月丁香综合激情小说| 五月丁香 啪啪| 激情丁香五月婷婷啪啪| 色色五月婷婷久久| 99视频只有精品| 男人天堂99| 色婷婷六月激情| 操日视频| 免费的日逼视频| 丁香五月自拍| 色狠狠色噜噜AV天堂五区| 天天干肏夜夜| 国产免费av在线| 久久免片| 婷香五月激情视频| 丁香五月日本| www.五月婷婷| 天天干com| 无码se| 色视频2025| 四川女人毛多水多A片| 久久久久久久久久人妻| 综合啪啪| 人人综合91网| 狠狠爱深色婷婷综合| 激情综合五月婷婷| 天天日天天舔天天摸| www激情| 欧美日韩成人一区二区| 玩熟女五十AV一二三区| 人妻久久久久久久| 六月丁香啪啪啪| 色婷婷视频| 91丨九色丨老农村| 99色综合久久| 欧洲色区| 精品九九在线观看| 激情丁香网| 亚洲成片在线观看| 高清一区二区三区日本久| 五月天激情婷婷小说| 亚洲色激情| 亚洲精品一区中文字幕乱码| www.minyis.com【JT】实力收量可预付QQ2101460746 | 久久人妻久久| 日韩按摩二区| 激情五月天婷婷图| 丁香五月91| 亚洲精品影视| 俺也去在线视频| 无码se| 六月婷欧美丁香综合| 久久综合干| 战争与艾拉电影免费观看| 伊人久久艹| 九伊人网| 91久久久久久久久久| 无码AV免费精品一区二区三区| 丁香九月综合激情| yirenjiqingshiping| 欧美日韩99| 丁香六月婷婷综合欧美| 婷婷射婷婷舔| 婷婷五月天影院| 色色色色色网站| 天天日天天爱天天噪| 精品亚洲国产成AV人片传媒| 丁香五月在线播放| 九九热免费| 欧美乱码国产一级A片| 九九精品在线网| 秋霞三级影视资源| 五月丁香综合网色欲| 五月丁香好婷婷A片网| 伊人青涩网| 亚洲AV网址| 99视频在线| 日本成人噜噜| 99热在线观看精品免费| 五月开心色| 国产性色蜜乳| 久久久18| 丁香 亚洲 久久| 99re在线观看视频| 色香五月天| 九月婷婷综合八月丁香在线观看| 激情的五月婷婷蜜桃| 久久综合中文| 精品视频这里只有精品| 日韩欧美一区二区三区四区| 久热这里只有精品在线观看| 天天日夜夜草进麻麻的子宫| 人妻熟妇六区| 欧美天天搞| 日本玖玖在线| 久久婷视频| 五月香蕉婷婷| 久婷| 综合激情开心五月| 久久这里只有精品1| 丁香五月激情澎湃一区| 夜丁香五月婷婷| 婷婷色播色五月五色五月天色妇| 婷婷综合五月天| 五月天婷婷激情小说电影| 亚洲成人av在线| 久久xxxx| 狠狠精品干练久久久无码中文字幕| 亚洲人妻AV| 另类天堂| 婷婷综合仓库中文| 99免费青青蜜臀| 精品国婬伦V无码久久久| 成人国产网| 亚洲精品白浆高清久久久久久 | 天天狠狠夜夜狠狠2023| 无码一级片| 丁香五月婷婷99| 无码动漫AV| 久久综合婷婷激情| 午夜日日| 色婷婷黄色网络| 亚洲综合激情五月天婷婷| 丁香六月婷月91婷月| 激情五月天激情综合网| 激情久久综合网| 热久久思思热思思| 激情综合激情五月一起草| 伊人五月天综合网| 婷婷五月天偷拍| 超碰在线人妻| 激情另类综合| 一本久道综合色婷婷五月| 色狠狠色| 日本久久久97| 五月婷婷之综合激情| 好看的国产精品| 九九综合久久| 天天干天天日日| 91丨九色丨熟女| 99在线资源| caop在线视频| 这里只有精品视频在线看| 亚洲在线操| 色情五月丁香婷婷网| 激情综合网丁香| 五月丁香婷婷啪啪综合网| 五月天另类图片| 狠狠色大香蕉| 亚洲激情在线| 五月婷天堂视频| 99婷婷国产最新视频| 久鲁鲁色网| 99热99热99热99热| 激情性爱五月天| 国产精品VIDEOSSEX久久发布| 人人操人人妻| 六月婷婷五月丁香首页| 亚洲色五月| 99热精品免费| 久久九九婷婷| 日韩六六久久电影| 色婷婷电影网| 亚洲狠狠色丁香婷婷综合久久| 日韩黄色AV无码| 人人色人人摸人人看| 五月天婷婷无码视频| 日韩亚洲视频| 免费看片操逼| 天天热夜夜操| 大香蕉啪啪啪| 99在线看片| 九九热精品99| 伊人五月天在线| a在线观看| 91窝窝| 五月天激情站| 日本超碰在线| www.91在线看| 99久久大片| 99热亚洲精品| 五月丁香久久呀| 婷婷五月天无码熟女| 久久丁香综合| 五月丁香婷婷色播无码| 99视频热| 国产偷人爽久久久久久老妇APP | www.五月丁香| 成人欧美日韩| 婷婷五月天丁香社区| 丁香五月婷婷国产av| 激情AV中文| 日日鲁鲁夜夜爽爽| 一本道在线电影| 色婷久| 亚洲99视频| 人人播| 中文字幕网站在线观看| 激情小说婷婷五月| 玖玖九九9999在线观看视频精品| 五月噜噜| 少妇真实被内射视频三四区| 九九热精品99| 日本五月天网站| 国产乱子轮XXX农村| 婷婷91| 丁香五月影院| 99热久97| 丁香五月天啪啪| 黄桃AV无码免费一区二区三区| 91五月天| 五月天婷婷在线播放| 99玖玖视频| 久久99成人性爱高清视频| 亚洲国产精品二二三三区| 99热这里是精品| 婷婷五月天开心激情网| 欧美69色| 色五月av| 亚洲婷婷丁香| 免费亚洲婷婷中文字幕| 色五月91| 天天在线XXX| 五月婷久草| 亚洲欧美999| 久热超碰| 26UUU精品一区二区c〇m| 丁香五月激情综合| 国产综合激情五月久久| 亚洲综合五月天婷婷| 亚洲熟妇AV乱码在线观看| 丝袜大香蕉| 人人操AV| 熟女激情网| 九九精品综合| 五月五婷婷网| 婷婷天堂综合| 婷婷久久五月| 日99网站| 九一99| 婷婷五月天桃花网| 凹凸操Av| 六月大香蕉| 日本美女五月天| 五月间天堂综合| 综合伊人久久| 欧美群妇大交乱婬网| 五月丁香啪啪啪综合网| 69堂午夜视频最新地址| Av狠狠色丁香婷| 无码色色| 在线观看亚洲视频影院| 五月天综合色| 五月婷婷欲色| 激情婷婷五月社区| 色婷婷导航| 欧洲毛片基地c区| 成人AV中文字幕| 婷婷色网站| 亚洲国产色婷婷| 777米奇影视第四色| 激情婷婷综合| 人人操大| 无码人妻电影| 午夜丁香| 欧美性猛交AAAA片黑人 | 色五月婷婷视频| 中文字幕高清av| 日日干日日| 六月婷婷色综合| 91超碰在线播放| 丁香五月天在线视频| 久久9热好| 无码 色| 色综合香蕉| 噜噜色五月| 五月天激情四射| 亚洲乱码日产精品BD| 久久人妻高清中文| 亚洲AV综合在线观看| 久久性爱视频| 人人摸人人干| 97色色色色色色色色色色色色色| 99久久精彩视频| 色婷婷小说网| 婷婷五月色天| 六月婷伊人| 大香蕉啪啪啪啪啪啪| 黄网在线免费观看| site:feetmall.com| www98日本小时间到了| 99热99干| 五月丁香欧美综合免费视频| 婷婷伊人综合中文字幕| 少妇人妻偷人精品无码视频新浪 | 五月激情天| 精a品a| 久久久久9| 婷婷五月18永久免费视频| 久久99精品久久久| 免费观看全黄做爰的视频 | 5月婷婷6月丁香aV| 九九精品亚洲| 少妇被下春药玩弄A片| 人人爱人人草| 久久五月婷婷开心网| 日韩99视频| 久久精品一区二区三区四区| 色综合久久久久| 婷婷五月综合视频| 国庆精品久久| 五月婷久久草| AV片在线观看| 激情五月综合| 五月丁香亭亭操逼| 五月天色丁香| 丁香婷婷五色月| 亚洲最大在线| 丁香狠狠色婷婷久久无码视频| 色哟哟精品| 人人人va亚洲视频在线| 中文字幕精品在线观看| 午夜福利8055| 9九九久久精品无码专区| 成人精品在线| 丁香五月成人婷婷| av操一操| 婷婷四色成人综合色视| 五月婷婷视频啪啪美女| 亚洲国产婷婷色五月| 蜜桃婷婷狠狠久久| 五月天成人综合| 日日骑夜夜撸| 成人亚洲精品| 另类精品视频在线观看| 97香蕉人人在线观看| 搡BBBB搡BBB搡18| 五月丁香六月婷婷久久| 亚洲欧美婷婷五月色综合| 狠狠干青青草| 色综合五月婷婷狠狠干| Xx色综合| 99热在线精品观看| 亚洲AV免费国产电影| 男人天堂亚洲综合| 狠狠色综合网| 亚洲色五月天在线| 日韩亚洲视频| 婷婷色情五月| 九九热在线精品| av超碰在线| 97碰碰久久| 丁香婷婷啪啪| 六月婷婷五月丁香首页| 91狠狠综合久久| 九九中文字幕九| 日韩精品呦呦va| 久久婷婷青青草| 免费看欧美成人A片无码| 久久综合五月天| 五月婷婷五月天| 色五月婷婷在线观看| 精品福利911| 色婷婷五月基地在线| 色之综合网| 五月丁香亭亭操逼| 99久久久久| 99九九中文字幕视频| 九九综合五月欧美| 天天干天天曰天天射| 伊人久久大香天蕉亚洲特级| 日韩av网站在线观看| www,setingting| 亚洲精品V天堂中文字幕| 91婷婷| 狠狠综合网| 97干视频在线| 超碰AV成人| 天天爽—爽| 99热精品在线观看| 婷婷九月激情| 五月丁香六月婷婷,婷| 婷婷五月天中文字幕.| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 婷婷伊人五月丁香天堂网| 久久网址99热| 99福利导航| 99re免费精品视频| 天天摸天天舔天天爽| 爱草视频在线| 色婷五月天网站| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 日本乱子人伦在线视频| 大香蕉人妻| 国产激情久久久| 国产偷人爽久久久久久老妇APP| 国产午夜伦鲁鲁| 婷婷丁香无码专区| 国产综合丁香五月天| 夜夜躁婷婷AV| www.主妇. com| 色青青视频| 久久激情五月网| 综合网五月| 婷婷99狠狠躁天天躁中| 五月婷婷综合网| 国产成人AV不卡| 欧在线一区| 激情色情五月天| 九色91国产| 五月婷婷中字在线| 五月婷婷就去色| 香蕉AV777XXX色综合一区| 99在线免费视频| 色五月欧美| 另类小说五月天| 九色在线五月婷婷网址| 丁香九月综合| 玖玖婷婷色五月| 婷婷久久综| 操骚货在线| 久久97久久99久久综合欧美| 五月婷婷六月丁香首页| 久久久久9999| 亚洲免费成人电影AV| 丁香亚洲色综合| 五月丁香六月婷婷综合免| 婷婷六月色开| 99久久精| 激情小说视频图片网| 亚洲熟女色| 亚洲精品白浆高清久久久久久| 二区成人视频| 五月天六月丁香| 欧美激情-区二区三区| 久热黄色| 婷婷视频在线碰| 久久丁香五月| 日韩另类在线观看| 五月激情综合网| 这里只有精品久久| 99热久久日本| 天天爽天天弄| 久久婷婷五月天激情| 国产精品色色| 日韩操逼大片| 亚洲色激情| 天天干夜夜想| 开心五月婷婷综合在线精品素人| 一区二区三区四区五区| 国产三级片91| 亚洲精品一区中文字幕乱码| 亚洲中文字幕网| 99热这里只有精品18| 婷婷丁香十月| 爆乳熟女-区二区三区| 五月天合网| 五月丁香色婷婷| 日本4399天堂中出| 婷婷久久五月丁香| 色五婷婷开心缴| 国产精品18久久久| 色婷婷综合久色AV五色最新| 色性五月天| 婷婷色影院| 久久天堂婷婷五月| 天天综合天天玩夜夜玩天天玩夜夜玩 | 婷婷五月激情五月激情| 久久性爱视频| 超碰人人摸AV| 五月婷婷 激情按摩| 俺去也婷婷| 1024国产在线| 婷婷丁香18| 91AV婷婷| 久久国产高清| 99热99热99热99热| 9色91视频| 天堂AV三级| 日本色99| 铁牛TV人妻| 激情五月天www| 高清无码网址| 天天肏屄夜夜爽| 九色无码| 亚洲天堂有码| 色婷婷狠狠| 人妻免费网站| 天天天天色天天天天天干| 在线看的免费网站| 婷婷六月网| 婷婷五月成人| 丁香五月性爱| 成人AV在线电影| 超碰人人91| 99热精品在线观看| 婷婷五月色图| 五月成人综合| 99视频在线看| 天天综合网网欲色| 超碰只有精品在线| 综合色色婷婷| 激情色中文| 五月婷婷无码| 色婷五月| 色444综合网| 97碰在线视频| 99色热| 色婷婷五月天综合网| 亚洲精品视频在线| 九九热精品6| 香蕉久久国产AV一区二区| 91九色精品| 玖玖热视频| 丁香婷停五月激情综合深爱| 丁香九月激情| 久久人人超| 色色日本欧美| YW无码| 激情五月婷婷色综合| 五月开心播播网| 欧美99热| 欧美性丁香色色五月天干干| 午夜丁香婷婷| 97人人操| 婷婷五月婷婷| 51国精产品自偷自偷综合| 可似看的AV| 婷婷五月丁香久久| 99热色在线精品| 99视频在线观看视频| 99热99日…..| 国产成人AV人人爽人人澡Va| VA国产在线综合网站| caopeng超碰| 丁香五月婷婷六月婷婷| 毛片网站谁有| 开心六月婷| 精品久色| 98毛片| 人人亚洲| 99极品视频| 久久99热这里只有精品23| 五月丁香六月婷婷精品| AV堂狠狠干| 日日干五月天婷婷| 精品无码av丁香五月激情| 丁香五月在线人妻| 婷婷激情另类| 日本久久人人| 丁香五月综合在线播放| 丁香色综合| 婷婷 伊人 久久| 久色| 国产亚洲精品久久久久久豆腐| 狠狠噪| 97五月天婷婷综合激情网| 一区二区传媒视频| 99五月婷| 久久免费少妇高潮99精品| 色。 日日日| 五月丁香婷婷人体| 五月激情婷婷开心五月| 色丁香五月天射婷婷爱婷婷| 337p大胆噜噜噜噜噜91Av| 婷婷婷婷色| 五月婷婷开心网| 日本高清综合网五月丁香| 九九热免费视频| 六月婷婷av| 久久久久久9| 婷婷色操| 色综合天天综合成人网| XX色综合| 天啪天啪天啪天啪| 91九色超碰正在播放| 在线另类视频| 这里只精品| 九九热区一区二区三区| 开心深爱激情网| www.夜夜操| AV在线免费播放| 97香蕉碰碰人妻国产欧美| 久久国产色| 影音先锋美国A| 色婷婷狠狠久久综合五月| 天天日P天天射P| 玖玖婷婷综合| 五月婷婷六月丁香激情综合网| 天天拍久久| 色99在线观看| 国产免费一区二区在线A片视频| 五月综合视频| 5Www色5夜| 激情久久久久久久久久久| www.99色| 性天天中文网| 五月丁香啪啪啪| 人人爱人人草| 七七色综合| 婷婷色啪| 思思色综合网站| 久久五月丁香| 狠狠香蕉| 超碰99热精品在线| 色婷网| 开心五月丁香啪| 五月天天久久香| 丁香五月天堂网| 综合99在线| WWW,色五月| 99av视频| 少妇综合网| 99视频日韩| 丁香五月婷婷久久综合激情网 | 六月天六月婷| 五月丁香成人| 免费观看欧美成人AA片爱我多深| 久草a片| 五月天欧美 另类小说| 深爱综合网| 中文字幕日产A片在线看| ai97re99一本| 永久思思热在线| 亚洲五月花| 色色操| 丁香久月| 婷婷五月开心中文字幕色| 第四色大香蕉| 久久婷婷七月丁香| 久久婷婷五月天激情新地址| 五月丁香六月成人| 亚洲精品视频在线| 在线你懂的亚洲欧| 欧美婷婷色五月| 夜夜爽天天爽| 亚洲色夜| 五月婷婷激情中心| 六月丁香久久| 射区导航| 这里只有精品9| 亚洲无码99| 日本 色综合| 五月婷婷中文网| 五月婷在线观看| 久热9热| 婷婷六月插屄激情| 久久久久这里只有精品| 色五月婷婷AV| 成人 在线观看国产| 色色色激情| 桃色五月天| 桃色五月婷婷| 99这里只有免费的精品| 五月婷婷成人| 91av无码| 五月人妻婷婷| 深爱激情综合| 九九综合| 九九热精品99| 久久久久久久久久婷婷| 丁香婷婷在线| 欧亚成人A片一区二区| 成人永久免费视频在线观看| 色婷婷裸体色性在线| www.99热| www:99热视频| 天天日夜夜帕| 国产真实乱对白精彩| 久热久操久热久草国产91| 3www激情| 久久久天堂国产精品女人| 97久久久久| 97色色综合| 激情五月天婷婷色色色色色色色色色色色| 99成人精品| 91chinese在线| 久久久久久久丁香五月天婷婷| 99∨VTV| 激情五月狠狠喔| 色区域网站视频| 99国产精品白浆在线观看免费 | 丁香六月成人| 四色五月婷婷| 99.色| 亚州在线中文字幕| 初夜av| 亚洲亚洲人成综合网络| 五月丁香怕怕综合| 激情网五月天| 丁香五月中文字幕| 日本91在线| 999久久久国产精品| 大香蕉99热| 色综合九九| 久久久这里都是精品| 99亚洲视频| 婷婷五月天网址| 99热久久这里只有精品2010| 婷婷性爱五月天丁香网| 成人超碰Av| 伊人激情网| 天天爽夜夜爽| 欧美三级大片AA在线看| 很很干五月天| 国产亚洲色婷婷久久99精品91| 日韩婷婷| 丁香五月AV| 天天搞夜夜叫| 色婷婷婷婷| Av狠狠色丁香婷| 九九这里只有精品| 视色网在线播放| 欧洲第一无人区观看| 五丁香激情综合| 五月婷丁香| 5月婷婷性视频| 日本黄色三级片内射| 五月丁香色婷婷综合| 99热亚州综合| 丁香激情五月| AV在线免费网站| 99热最新| 激情五月综亚网| 天天爽夜夜操| 日日夜夜噜噜爽爽| 五月四色激情| 色播五月婷婷| 六月丁香色色| 色婷婷久久| 六月婷婷俺也去| 国产精品久久久久久喷浆| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 九九久久偷拍| 激情六月色| 天天操加勒比| 亚洲永久免费| 凹凸探花电影| 丁香六月成人| 久久99精品日本| 欧美中文五月天| 久久怕怕视频| 大香蕉五月天婷婷| 五月天色婷婷激情综合| 国产肥白大熟妇BBBB视频| 五月婷婷九月婷婷九月婷婷| 色五月在线| 色五月综合网| 思思久日精品视频| 日本在线wwww| 七七色色综合| 天天日日人| 99热个人在线| 99综合网| 999婷婷综合| 九九热视频在线观看| 久久小片| 67194成I人在线观看线路1| 性一交一乱一交A片久| 激情五月com| 色色丁香五月天社区| 五月婷婷综合激情网| 色久五月| 九色 在线| 丰满人妻一区二区三区| 中文字幕婷婷五月天在线观看| 91久久综合亚洲噜噜成人在线| 五月天激情综合| 天天舔天天| 人人操操| 疯狂做受XXXX高潮A片动画| 综合久久五月天| 9l视频自拍9l九色成人| www.久99| 五月婷婷综合网| 色色婷婷综合网| 久久久91精品| 婷婷五月天播播| 激情的五月婷婷蜜桃| 色99综合色88| 九九精品99| 五月丁香色婷婷| 潮汕成人AV片在线| 色五月激情五月天| www.十八禁不禁AV.com| 九色PORNY在线精品酒店| 亚洲综合激情五月天婷婷| 人人妖人人97| 久热伊人| 综合色色婷婷| 爱射综合| 97性高潮久久久| 99久视频| 伊人啪啪网| 五月丁香日本片| 久久图色4| 国产亚洲成AV人片在线观黄桃| 色婷婷精品视频| 五月婷婷就去色| 色色激情五月| 久久久久久久91| 久久这里有精品| 五月丁香啪啪| 色婷婷香蕉丁丁网| 久99久在线观看| 99热精品在线在线| 色噜噜狠狠色综合网| 五月天婷婷深深爱| 精品国产va久久久久| 9超碰在线| 乱精品一区字幕二区| 九九热视频99| 日日爽日日| 天天射射夜| 婷婷99狠狠躁天天躁| 久草网大香视频| 日本一級黃色一級片| 丁香色婷婷| 在线成人视频免费| 午夜丁香五月天综合| 99热思思在线观看| 91热在线| 色婷婷色综合激情91| 欧美婷婷丁香社区在线播放| 天天日天天爽| 狠狠色狠狠| 久久九九免费视频| 国产xxxxx在线观看| 九九人人精品| 综合久久综合综合| 中文字幕永久在线| 婷婷综合婷婷| 日亚二欧美| 五月婷婷色丁香| 天天干,天天舔| www.六月丁香看AV| 天天做天天爽| 99久久玖玖| 97色女人在线| 五月婷婷偷拍| 九九久久五月天| 91疯狂操操操操| 五月丁香婷婷俺| www超碰com| 99色热视频| 丁香花社区av| 涩婷婷五月天| 色呦呦在线| 六月丁香五月激情亚洲AV| 色天五月天在线观看视频| 色五月激情五月天| 成人版视频在线观看| 色区久久| 99操逼| 五月婷婷导航| 五月婷婷亚洲| 婷婷五月丁香伊人| 欧美成人精品一区二区| 国产熟女日日骚五月丁香爱| VA国产在线综合网站| 久久久久久天天日天天爱| 在线99热| 婷婷九月色| 成人在线网| 综合网色| 丁香成人五月天| 国产片天天爽夜夜爽| 五月天社区| 久99热| 人人爱操| 久久婷婷青草五月天| 热久国产| 97丁香婷婷| www.婷婷六月天| 色婷婷偷拍| 色噜噜综合网| 亚洲va欧美| 日韩成人无码人妻| 丁香五月自拍| 六月丁香花婷婷| 色欲婷婷五月天丁香| 久热AA| 91热在线| 色综合婷婷| 激情六| av婷婷丁香 六月| 久久婷婷啪啪视频| 婷婷五月网图片区| 久久精品噜噜噜成人A∨色欲| 婷婷五月欧美综合| 婷婷碰碰| 激情五月婷婷色色| 成人国产网| 激情婷婷黄色五月| 色蜜婷婷| 天堂综合久久| 亚洲欧美综合7777色婷婷| 激情欧美婷婷| 大狠狠在线| 99热这里只有精品官网| 99热精品无码| 国精产品一区一区三区有限公司杨 | 激情伍月 欧美| 丁香五月激情婷婷激情| 激情5月天天天| 九九视频这里只有精品| 色播五月综合网| 91蜜桃婷婷狠狠久久综合9色| 色综合色综合网| 精品色色| 婷婷丁香综合网| 色五月色五天色情网址| 91人人澡人人爽人人看| 综合天天综合| 五月婷婷婷婷婷婷艺术| 538在线精品| 久9热在线视频| 色综合99| 色色色色色色综合网| 国产精品人妻在线网址| 91欧美| 婷婷开心综合人妻小说网址| 无码任你操| 久久久97| 青草青草视频2免费观看| 绿色小导航AV| 婷婷综合五月| 深爱女色婷婷丁香五月亚洲图区| 激情美女五月天激情在线| 婷婷丁香五月天激情| 欧美婷婷日本| 国产美女无遮挡裸体毛片A片| 九一九九黄色| 大香蕉久久草| 天天做天天双| 99热这里只有精品4| 久久伊人大香蕉| 九九婷婷五月天| 97亚洲婷婷| 激情婷婷丁香色情五月天| 色久丁香五| 色色色网站| 五月婷婷综合色啪首页| 色婷婷香蕉| 五月在线婷色| 99国产视频网| 亚洲激情AV| 天海翼中文字幕高| 97久人人| 全国最新疫情| 99a级片| 国产69久久久欧美黑人A片| 91热久| 天天弄天天爽| 成人免费va| 五月婷婷啪啪啪| 在线看片h站| 婷婷丁香九月| site:publishdd.com| 女同激情久久av久久| www.97视频| 色婷婷香蕉| 婷婷精品综合| 99爱精品| 久久婷婷五月天丁香| 日本色色图| 一级操逼内射在线视频| 久久久久人妻| 天堂亚洲 在线| 天天摸天天舔在线视频| 五月丁香中文| 欧美性生交A片免费看| 日本婷久久| 性色99| 丁香婷婷色五月激情综合| 一起草av在线观看| 五月天婷婷激情网| 五月天婷婷乱论小说| 秋霞少妇AV网站| 婷香五月| 成人狠狠成人狠狠成人狠狠成人狠狠| 五月丁香亭亭操逼| 沈娜娜av| 99区视频| 碰超99| 婷婷六月丁综合| 国产夫妻操逼内射视频| 婷婷五月丁香综合激情| 成人国产欧美大片一区| 无码se| 婷婷五月天影院| 四川女人毛多水多A片| 操97| 九九热最新| 国产三级在线播放| 开心婷婷五| 色综合久久99色| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 精品国产va久久久久久久| 久热黄色| 自拍视频99| www.五月天。com| 亚洲va综合va国产va中文| 色综合久久88色综合天天99| 26uuu精品国产| 天天色综网| a色色色色色| 狠狠人妻色综合| 日韩成人综合| 99亚洲色| 中文中文在线| 亚洲精品国产成人AV在线| 狠狠五月激情丁香六月| 久久一伦| 欧美va| 少妇熟女视频一区二区三区| 91狠狠综合久久| 激情綜合網址| 中文字幕+中文在线| 人人爽人人爽人人爽人人爽| 激情色播| 婷婷色婷婷亚洲成人| 婷婷综合视频| 青996青| 五月天亭亭俺也| 五月丁香A片| 五月色婷婷综合丁香精品无遮挡| 狠狠操综合| 色色色色色五月| www.99情趣网| 久久久潮喷-久久久九九-成人AV| 激情综合激情五月| 影音先锋女人AA鲁色资源| 99久久丝| 可以直接看的av| 婷婷综合激情| 亚洲不卡| 亚洲综合1024| 国产成人av在线播放| 综久久久| 激情亚洲网| 综合久久8| 久久婷婷丁香六月天| 逼特逼在线免费播放| www好屌操| 天天日中文| 人妻尝试久久久久久久久久久久| 夜夜操加勒比| 五月婷婷激情综合视频| 亚洲成人日韩无码精品| 婷婷四色五月| 激情综合色五月丁香| 亚洲色色精品| 老师高潮流白浆喷水的A片| 丁香色五月婷婷91桃色| 五月天激情网站| 久久这里只有精品无码| 色一情一乱一伦一区二区三区| 99er免费在线观看| 四川女人毛多水多A片| 99热这里只有精品热| 日韩欧美不卡| 欧美成人精品一区二区| 九九激情| 色婷婷丁香香香蕉视频| www.99操| 久热这里只有精品6| se婷97| 五日激情综合| 91青娱乐青青草| 99爱视频免费| 五婷婷六月合| 青青草伊人婷婷| 综合久久五月天| 激情九九六月激情免费视频| 天天操夜夜操| 色婷婷久久久| 五月天色综合| 另类激情五月| 日日操天堂| 天天日天天干天天爽| 九九精品热播| 色人久久| 国产色色网站网址| 91九色最新视频| 欧美VA在线| 日本免费91| 丁香六月激情综合| 他改变了拜占庭| http://www.com久久久精品一区| 五月激情天天干| www.婷婷,com| 伊人婷婷五月天| 天天射射夜| 五月丁香婷婷综合网色欲| 婷婷丁香花五月天| 亚洲欧洲99| 久久久久久久91| 中文字幕成人影视| 99在线热| 国产精品久久久久久喷浆| 丁香六月无码播放| 久久五月婷婷视频| 玖玖在线视频| 白天AV月月| 色 噜噜 九月 婷婷| www.91九色| site:minyis.com| 婷婷丁香五月视频| 成人一级片| 大香蕉婷婷| 日韩丁香涩| 91九色中文| 婷婷丁香77777| 色呦呦在线| 久热这里只有精品99re| 婷婷久久亚洲| 99色爱| 天天日日夜夜| 五月丁香五月丁香| 伊人大香久久| 丁香五月影院| 开心五月婷婷99| 影音先锋偷偷色男人站| 激情五月天色色| 五月丁香在线婷婷美女| 五月丁香福利| 欧美色一级色| 五月天伊人网| 亚洲国产色婷婷| 97人人操人人拍| 婷婷久久丁香五月| 秋霞电影理论| 婷婷五月天情色| www.99在线| 996er热| 色狠狠色噜噜AV天堂五区| 99视频在线观看网址| 亚洲av网站| 伊人网色婷婷五月天| 婷婷九月丁香| 99er这里只有精品视频| 92久久久| 思思热在线| 日本五月婷婷| 婷婷六月丁香综合| 亚洲精品无码A片一区二区| 丁香五月六月综合激情| 99爱免费视频在线观看| 激情综合九月| 六月婷综合| www.精品99| 五月情婷婷| 思思视频这里是精品| 婷婷中文字幕网站| 91操人视频| 婷婷五月丁香手机在线视频| 人人爽天天莫| 色综合香蕉视频| 亚洲亚洲人成综合网络| 亲子乱AV一区二区三区下载| 五月天基地| 五月婷成人| 日韩无码乱轮| 九九视频在线观看视频6| 成人在线日韩| 五月丁香成人视频| 亚洲激情丁香五月天色| 亚洲一区国产传媒| 婷婷国产五月天17c| 精品一二三区久久AAA片| 殴美激情综合网| 日本成人噜噜噜| 五月丁香人人婷婷在线观看| 婷婷综合激情| 啪啪九九色| 六月成人网| 丁香五月成人社区| 欧美日韩成人高清在线| 日日夜夜狠狠干| 丁香五月婷婷亚洲综合精品在线| 婷婷四色五月| 99啪啪网| 亚洲av网址| 五月天婷婷狂暴白浆| 国产人妻人伦精品一区二区| 99精品性爱| 久久与婷婷| 美女五月天| 婷婷六月视频| 熟女五月天久久综合| 99热综合| 久久人操| 人人操人人爽成人AV| 97日日碰碰| 五月天sesese| 欧美人与性动交CCOO| 久热欧美| 狠狠干在线| 丁香婷婷噜噜| 99热这里只有精品搜| sewuyue第四色| 色五月婷婷五月丁香五月激情五月视频| 色v综合网| 97色永久免费视频| 色色色色色综合| 久久综合婷婷激情| 精品国产AV色一区二区深夜久久| 久久久噜噜噜久久人妻| 国产成人av在线播放| 五月丁香婷婷AV| 色色婷婷综合网| 五月综合婷婷网| 丁香蜜臀黄色婷婷五月天| 玖玖婷婷五月天| 天天操天天曰天天射| 久久人视频| 激情五月九九九|