欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

LSTM輸入輸出維度圖解:從input_size到hidden_size一次說清

LSTM輸入輸出維度圖解:從input_size到hidden_size一次說清 群里有朋友發(fā)來一張截圖說“LSTM輸出輸出維度怎么看都看不懂”。我猜是“輸入輸出”四個字打重了可問題本身一點(diǎn)都不含糊模型明明能跑但中間張量到底長什么樣很多人完全說不清。LSTM的維度問題幾乎每個入門者都會卡一下因?yàn)樗臄?shù)據(jù)不是一次性算完而是按時間步滾動更新再加上不同框架的默認(rèn)排列順序還不一樣input_size、hidden_size、seq_len、batch_size幾個概念攪在一起確實(shí)容易繞暈。這篇文章就用表格、簡單示意和幾段能直接復(fù)制的小代碼把LSTM的輸入輸出維度一層層拆開。從單層到多層從單向到雙向從多對一到多對多最后把常見的維度報錯也一并解決掉。讀過之后你會發(fā)現(xiàn)LSTM的維度沒那么玄關(guān)鍵是把“時間步”“隱藏層大小”“批大小”這三件事對應(yīng)到張量的具體軸上。1. 先搞清楚三個數(shù)字input_size、hidden_size、seq_lenLSTM的維度問題九成是這三個數(shù)字混在一起造成的。它們都叫“大小”但含義完全不同。1.1 input_size 是“每個時間步的特征數(shù)”不是序列長度input_size指的是單個時間步里攜帶的特征數(shù)量。比如一段文本經(jīng)過詞嵌入后每個詞可能用8維向量表示那input_size8再比如你預(yù)測一只股票每個歷史時刻只有“收盤價”一個數(shù)字那input_size1如果有5個傳感器的讀數(shù)那input_size5。很多從全連接網(wǎng)絡(luò)轉(zhuǎn)過來的朋友會下意識把input_size理解成“輸入神經(jīng)元個數(shù)”這個類比在LSTM里其實(shí)不太準(zhǔn)確。LSTM每個時間步都是一個小型計算單元它接收的是一整個向量而不是一個標(biāo)量。這個向量的長度就是input_size。它跟序列長度完全無關(guān)。長度是“有多少個時間步”特征數(shù)是“每個時間步里有多少個數(shù)字”。一個句子有10個詞每個詞用8維向量表示那么seq_len10input_size8。這兩個數(shù)字一旦搞反模型肯定報錯。1.2 hidden_size 是“內(nèi)部記憶的寬度”不是層數(shù)hidden_size表示LSTM單元內(nèi)部狀態(tài)向量的長度你可以把它理解為“這個單元記憶有多寬”。它不是神經(jīng)元的個數(shù)而是每一組狀態(tài)向量的維度。例如hidden_size16意味著在內(nèi)部會產(chǎn)生一個16維的隱狀態(tài)向量h_t和一個16維的細(xì)胞狀態(tài)向量c_t。這兩個狀態(tài)向量會在每個時間步不斷被更新用來攜帶上下文信息。hidden_size和input_size不需要相等。哪怕輸入特征只有1維內(nèi)部狀態(tài)也可以設(shè)成128維。這就像一個人接收到的外部信息可能很簡單但他腦子里可以反復(fù)琢磨、展開很多內(nèi)部細(xì)節(jié)。hidden_size越大表達(dá)能力越強(qiáng)但計算量和過擬合風(fēng)險也更大。1.3 seq_len 是“循環(huán)的次數(shù)”不是數(shù)據(jù)維度seq_len是時間步的數(shù)量它決定LSTM要按順序處理多少個輸入。它不體現(xiàn)在單個向量的長度上而是體現(xiàn)在張量的一個軸以及內(nèi)部循環(huán)次數(shù)上。把這三個數(shù)字放回張量里看就清楚多了。一個標(biāo)準(zhǔn)的LSTM輸入是三維張量三個軸分別對應(yīng)軸0批次大小batch_size軸1序列長度seq_len軸2每個時間步的特征數(shù)input_size所以一個[batch_size, seq_len, input_size]的輸入經(jīng)過LSTM層之后一般會得到[batch_size, seq_len, hidden_size]的輸出。這層變換的本質(zhì)就是“把每個時間步的特征向量從 input_size 映射到 hidden_size”同時借助內(nèi)部狀態(tài)把整個序列的信息累積起來。2. 單層LSTM的維度圖示輸入輸出到底怎么變這一節(jié)是全文的基礎(chǔ)。搞懂單層單向LSTM后多層、雙向、各種變體的維度都是在這個基礎(chǔ)上加的。2.1 最常見輸入形態(tài)是三維張量框架默認(rèn)順序不一樣LSTM輸入一定是三維張量但同一個數(shù)據(jù)在不同框架里擺放順序不一樣。這是很多新手疑惑的重災(zāi)區(qū)??蚣?參數(shù)輸入張量形狀說明PyTorch 默認(rèn)[seq_len, batch, input_size]時間軸放在最前面time-majorPyTorch 開啟batch_firstTrue[batch, seq_len, input_size]批量軸放最前更直觀TensorFlow/Keras[batch, seq_len, input_size]默認(rèn)就是批量軸在前PyTorch 默認(rèn)不把 batch 放前面是因?yàn)長STM類最初是從論文習(xí)慣里的“時間步優(yōu)先”風(fēng)格繼承過來的訓(xùn)練時可能在某些并行計算場景下更快。但大多數(shù)業(yè)務(wù)代碼里數(shù)據(jù)讀進(jìn)來通常都是batch在前的所以 PyTorch 也提供了batch_firstTrue來切換。我建議你在寫代碼時統(tǒng)一加batch_firstTrue至少能少一半軸順序方面的糾結(jié)。注意一點(diǎn)這個參數(shù)只影響輸入和輸出張量中“時間軸和批量軸”的位置不影響隱狀態(tài)h_n和細(xì)胞狀態(tài)c_n的排列方式。2.2 輸出其實(shí)有兩種全部時間步輸出和最終隱狀態(tài)LSTM層會返回兩類東西很多人只盯著其中一類然后就蒙了。第一類是“所有時間步的輸出”通常叫output或者out。在 PyTorch 里它的形狀是batch_firstTrue[batch, seq_len, hidden_size]batch_firstFalse[seq_len, batch, hidden_size]第二類是“最后一個時間步的隱狀態(tài)和細(xì)胞狀態(tài)”通常叫h_n和c_n。它們的形狀是[num_layers, batch, hidden_size]注意即使你設(shè)置batch_firstTrueh_n的形狀也不會變成[batch, num_layers, hidden_size]。它的第一維永遠(yuǎn)是層數(shù)。為什么會不一樣因?yàn)閛ut保存的是“每個時間步的最后一層輸出”而h_n保存的是“每一層在最后那個時間步的隱狀態(tài)”。單層單向時out[:, -1, :]和h_n[-1]在數(shù)值上是同一個東西。多層時h_n里面還裝著前面層的最終狀態(tài)out里面則是每一時間步的最后一層輸出兩者不能直接畫等號。2.3 一個可復(fù)現(xiàn)的維度打印實(shí)驗(yàn)與其空想不如直接打印維度。下面這段代碼在 PyTorch 里驗(yàn)證單層單向LSTM的輸入輸出形狀import torch import torch.nn as nn # 輸入特征8維隱狀態(tài)16維batch_firstTrue lstm nn.LSTM(input_size8, hidden_size16, batch_firstTrue) # 4句話每句話5個詞每個詞8維向量 x torch.randn(4, 5, 8) out, (h_n, c_n) lstm(x) print(out.shape:, out.shape) # torch.Size([4, 5, 16]) print(h_n.shape:, h_n.shape) # torch.Size([1, 4, 16]) print(c_n.shape:, c_n.shape) # torch.Size([1, 4, 16]) # 所有時間步輸出里的“最后一步” 和 h_n最后一層數(shù)值一致 print(torch.equal(out[:, -1, :], h_n[-1])) # True在 Keras 里對應(yīng)的參數(shù)是return_sequences和return_statefrom tensorflow.keras.layers import LSTM # return_sequencesTrue返回所有時間步輸出 [batch, seq_len, hidden_size] # return_stateTrue額外返回最后隱狀態(tài) h 和細(xì)胞狀態(tài) c lstm_layer LSTM(16, return_sequencesTrue, return_stateTrue)Keras 的返回值順序容易記混依次是output,h_state,c_state。其中h_state的形狀是[batch, hidden_size]不是[1, batch, hidden_size]。這就跟 PyTorch 不一樣換框架時一定要重新打印一下。3. 維度流動的內(nèi)部邏輯從 input_size 到 hidden_size知道形狀以后還得理解它為什么會這樣流動。否則下次遇到[batch, seq_len, input_size]變成什么還是只能靠猜。3.1 時間步是“循環(huán)”不是廣播LSTM不是像卷積那樣在整個序列上一次性滑完而是嚴(yán)格按時間順序循環(huán)處理。理論上LSTM單元在每個時間步只處理一個“長度為input_size”的向量然后更新內(nèi)部狀態(tài)。這個過程可以用一個手動展開的循環(huán)來理解h torch.zeros(batch, hidden_size) c torch.zeros(batch, hidden_size) for t in range(seq_len): x_t x[:, t, :] # 取出第t個時間步的數(shù)據(jù)形狀 [batch, input_size] h, c lstm_cell(x_t, (h, c)) # 內(nèi)部狀態(tài)更新h仍然是 [batch, hidden_size]所以seq_len是循環(huán)的次數(shù)它決定張量中“時間軸”的長度。每個時間步的輸入和輸出向量長度分別由input_size和hidden_size決定。循環(huán)次數(shù)和向量長度是兩回事這也是很多人搞混的根源。3.2 權(quán)重矩陣把外部特征映射到內(nèi)部記憶空間LSTM單元內(nèi)部有一組門控機(jī)制輸入門、遺忘門、輸出門、候選記憶每個門本質(zhì)上都是一次線性變換加激活函數(shù)。線性變換的輸入是“當(dāng)前輸入向量”和“上一個隱狀態(tài)”拼接在一起然后乘上權(quán)重矩陣。忽略掉具體門控細(xì)節(jié)后可以簡化理解為input_size 維向量 - 線性變換 - hidden_size 維隱狀態(tài)input_size和hidden_size不相等完全沒問題因?yàn)橹虚g有一個hidden_size x (input_size hidden_size)的權(quán)重矩陣在做維度轉(zhuǎn)換。換句話說LSTM把“外部世界的特征表達(dá)”映射到“內(nèi)部記憶空間”里。為什么需要這個差異因?yàn)橥獠刻卣骺赡芎芟∈琛⒑芏潭鴥?nèi)部記憶需要足夠?qū)挷拍艹休d長期上下文。比如一個單詞的詞向量只有8維但句子里的語法角色、情感傾向、指代關(guān)系都需要被記憶這就不止8維能裝下。3.3 文本分類任務(wù)的維度流動全過程用文本分類舉個例子。假設(shè)要判斷4句話的情感句子已經(jīng)切好了詞每句話最多5個詞每個詞用8維的詞向量表示。流程大致是這樣原始文本[我 愛 深 度 學(xué) 習(xí), 這 部 電 影 好 看, ...] 分詞后變成 token id[4, 5] 經(jīng)過 Embedding(詞表大小, 8) 變?yōu)閇4, 5, 8] 經(jīng)過 LSTM(input_size8, hidden_size16, batch_firstTrue) 變?yōu)閇4, 5, 16] 取最后一個時間步 out[:, -1, :] 變?yōu)閇4, 16] 接 Dense(2) 輸出分類概率[4, 2]這里的[4, 5, 8]就是標(biāo)準(zhǔn)三維輸入。5是時間步數(shù)8是每個詞向量維度4是批量大小。LSTM層輸出[4, 5, 16]每個詞都有一個16維的隱狀態(tài)表示。如果任務(wù)是句子級分類只關(guān)心整句話的情感那就取最后一個時間步。如果任務(wù)是詞性標(biāo)注需要每個詞都輸出標(biāo)簽?zāi)蔷椭苯佑肹4, 5, 16]接全連接層對每個時間步做分類。3.4 時間序列預(yù)測任務(wù)的維度流動全過程再舉一個完全不同領(lǐng)域的例子用過去10個時刻的傳感器數(shù)據(jù)預(yù)測下一時刻的溫度。原始數(shù)據(jù)是一維的總共10000個時刻。為了喂給LSTM需要做滑動窗口切樣本。假設(shè)每個樣本取10個歷史時刻每個時刻只有1個溫度值批量大小取32。此時輸入張量是[32, 10, 1]32是批量大小一次處理32個窗口10是時間步數(shù)即過去的10個時刻1是每個時刻的特征數(shù)即溫度lstm nn.LSTM(input_size1, hidden_size32, batch_firstTrue) out, (h_n, c_n) lstm(x) # out.shape [32, 10, 32] # 預(yù)測下一個溫度取序列最后一步再接一個全連接層 last_step out[:, -1, :] # [32, 32] pred fc(last_step) # [32, 1]如果每個時刻有多個傳感器比如溫度、濕度、風(fēng)速三個值那input_size3輸入形狀就是[32, 10, 3]。LSTM內(nèi)部會自動把每個時間步的3維特征映射到hidden_size維空間。4. 不同任務(wù)形態(tài)下的輸出維度變體LSTM的輸入輸出形態(tài)并不只有一種。根據(jù)任務(wù)需要大體分為多對一、多對多、一對多三類。維度選擇完全取決于任務(wù)目標(biāo)。4.1 多對一、多對多、一對多的形狀對照表任務(wù)形態(tài)典型任務(wù)輸入形狀常用輸出多對一文本分類、時間序列點(diǎn)預(yù)測[batch, seq_len, input_size][batch, hidden_size]取最后一步多對多同步序列標(biāo)注、逐幀分類[batch, seq_len, input_size][batch, seq_len, hidden_size]多對多異步機(jī)器翻譯、摘要生成編碼器輸入[batch, seq_len_enc, input]解碼器輸入逐個生成解碼器輸出長度不定一對多圖像標(biāo)題、文本生成條件向量 逐步輸入生成seq_len_out步輸出“一對多”這個詞容易讓人誤以為LSTM原生支持一個輸入、多個輸出。實(shí)際它并不是一個LSTM層就能完成的而是靠“把同一個條件向量重復(fù)送到每個時間步”或者“把條件向量作為初始隱狀態(tài)”來構(gòu)造的。4.2 多對一任務(wù)取“最后一步”的兩個等價方式多對一任務(wù)最后都需要把一整條序列壓縮成一個向量。最常用的是取序列最后一個時間步的隱狀態(tài)。在 PyTorch 里有兩種寫法本質(zhì)等價# 方式一從 out 里取最后一步 feature out[:, -1, :] # [batch, hidden_size] # 方式二從 h_n 里取最后一層 feature h_n[-1] # [batch, hidden_size]單層單向時這兩個結(jié)果完全相同。不過有一個小坑如果開了batch_firstTrueout[:, -1, :]是最后一步如果沒開就應(yīng)該是out[-1, :, :]。所以每次寫之前都要先確認(rèn)你的輸入軸順序是什么。多層時更需要注意。out是最后一層在每個時間步的輸出h_n是每一層的最終隱狀態(tài)。如果你要的是“最后一層的最終狀態(tài)”h_n[-1]是對的如果你要的是“倒數(shù)第二層的最終狀態(tài)”就得用h_n[-2]。只看out時你拿不到中間層的輸出。4.3 一對多任務(wù)靠“重復(fù)輸入”和“初始狀態(tài)”實(shí)現(xiàn)一對多任務(wù)最常見的是文本生成和圖像標(biāo)題輸入一個條件向量輸出一串序列。LSTM本身沒有“一個輸入產(chǎn)生多個時間步輸出”的固定接口實(shí)際操作中有兩種常見構(gòu)造方式。方式一是把條件向量作為LSTM的初始隱狀態(tài)然后在每個時間步把上一時間步的輸出當(dāng)作當(dāng)前輸入。這種方式最接近“自回歸生成”的邏輯但訓(xùn)練時要費(fèi)心處理“強(qiáng)制教學(xué)”和“自由生成”之間的差異。方式二更簡單把同一個條件向量復(fù)制seq_len份組成一個[batch, seq_len, condition_dim]的輸入送入LSTM。比如訓(xùn)練圖像標(biāo)題時可以把圖像特征向量復(fù)制10次輸出10個詞的預(yù)測condition img_feature.unsqueeze(1) # [batch, 1, hidden_size] condition_repeat condition.repeat(1, 10, 1) # [batch, 10, hidden_size] out, (h_n, c_n) lstm(condition_repeat) # out: [batch, 10, hidden_size]方式二在訓(xùn)練時很好寫但生成階段仍然要改成逐步預(yù)測因?yàn)槟繕?biāo)長度不固定。無論哪種方式一對多任務(wù)里“輸出序列長度”是你自己決定的LSTM不會自動判斷。4.4 return_sequences 和 return_state 到底怎么配合在 Keras/TensorFlow 里return_sequences和return_state這兩個布爾參數(shù)經(jīng)常把人繞暈。return_sequencesFalse初始默認(rèn)返回最后一步隱狀態(tài)形狀[batch, hidden_size]return_sequencesTrue返回所有時間步隱狀態(tài)形狀[batch, seq_len, hidden_size]return_stateTrue不管上面那個額外返回最后隱狀態(tài)h和細(xì)胞狀態(tài)c在 Keras 中LSTM(return_sequencesTrue, return_stateTrue)的返回值是三元組output, h, c。其中output和h在最后一步是重合的但維度不同output包含完整的時間軸h只代表最后一步。這個細(xì)節(jié)非常容易踩坑我見過不少同事把output和h當(dāng)成一回事結(jié)果后續(xù)全連接層維度怎么都對不上。5. 雙向和多層LSTM的維度疊加單層單向是基礎(chǔ)但實(shí)際項(xiàng)目里經(jīng)常要上雙向、上多層。維度這時候會發(fā)生變化但規(guī)則很清晰。5.1 雙向LSTM輸出維度直接翻倍雙向LSTM用兩條獨(dú)立的LSTM分別處理原始序列和反向序列然后把它們的輸出拼接起來。所以不管hidden_size設(shè)多少最終每個時間步的輸出維度都是2 * hidden_size。在 PyTorch 里lstm nn.LSTM(input_size8, hidden_size16, bidirectionalTrue, batch_firstTrue) out, (h_n, c_n) lstm(x) print(out.shape:, out.shape) # torch.Size([4, 5, 32]) print(h_n.shape:, h_n.shape) # torch.Size([2, 4, 16]) print(c_n.shape:, c_n.shape) # torch.Size([2, 4, 16])out最后一維是32正好是正向16維和反向16維拼起來的結(jié)果。h_n的排列要注意單層雙向時h_n第一維是2第一個是正向最后時間步的隱狀態(tài)第二個是反向最后時間步的隱狀態(tài)。如果你想拿“整個序列的壓縮表示”不要把h_n直接抻平更好的做法是把正向和反向分別取出來拼接h_forward h_n[0] # [batch, 16] h_backward h_n[1] # [batch, 16] h_concat torch.cat([h_forward, h_backward], dim-1) # [batch, 32]Keras 里用Bidirectional(LSTM(...))也是一樣merge_mode默認(rèn)是concat所以輸出維度是2 * hidden_size。如果不想要翻倍可以把merge_mode設(shè)成sum、mul或ave但實(shí)際效果要看任務(wù)。5.2 多層LSTMh_n按層排布o(jì)ut只表達(dá)最后一層多層LSTM也叫堆疊LSTM上一層每個時間步的輸出作為下一層的輸入。因?yàn)槊恳粚拥膆idden_size通常設(shè)成相同值所以out的形狀不會隨層數(shù)變化仍然是[batch, seq_len, hidden_size]。變化的是h_n和c_n。它們的第一維會等于num_layers如果雙向則等于num_layers * 2。這意味著每層都有自己獨(dú)立的最終隱狀態(tài)互不混雜。lstm nn.LSTM(input_size8, hidden_size16, num_layers2, batch_firstTrue) out, (h_n, c_n) lstm(x) print(out.shape:, out.shape) # torch.Size([4, 5, 16]) print(h_n.shape:, h_n.shape) # torch.Size([2, 4, 16])第一層和第二層的隱狀態(tài)各有各的含義。取最后一層的最后一時間步可以用out[:, -1, :]或者h(yuǎn)_n[-1]。取第一層的最后一時間步只能用h_n[0]out里拿不到。如果你在雙層的 h_n 里看到第一維是2別以為那是“方向”它可能是“層”。更復(fù)雜的模型里“層”和“方向”同時存在時第一維會是num_layers * num_directions順序一般是按層排每層內(nèi)部再按方向排。想準(zhǔn)確知道打印驗(yàn)證最穩(wěn)妥。5.3 常見維度拼接和池化操作實(shí)際項(xiàng)目里拿到LSTM的輸出后往往不會直接接分類器而是會做各種聚合。這些操作的維度變化也很規(guī)律。操作輸入形狀輸出形狀說明取最后一步[batch, seq_len, hidden][batch, hidden]適合分類任務(wù)全局平均池化[batch, seq_len, hidden][batch, hidden]對時間軸取平均全局最大池化[batch, seq_len, hidden][batch, hidden]突出最強(qiáng)信號拼接正反向最后狀態(tài)[batch, hidden]兩個[batch, 2*hidden]雙向表示拼接多層最終狀態(tài)[num_layers, batch, hidden][batch, num_layers*hidden]不常見但可用接全連接層之前一定要確保張量已經(jīng)變成二維[batch, feature_dim]。把[batch, seq_len, hidden]直接塞進(jìn)全連接層是最常見的報錯來源。6. 常見維度報錯與排查技巧實(shí)錄最后分享一些實(shí)際排查經(jīng)驗(yàn)。下面這些報錯和信息提示是我見過的最高頻幾類。6.1 五條高頻報錯信息對照報錯提示通常原因解決思路size mismatch/got ... expected ...輸入最后一維不等于input_size檢查數(shù)據(jù)和LSTM構(gòu)造參數(shù)是否一致尤其是Embedding輸出維度和input_sizeExpected hidden[0] size (..., num_layers, ...)傳入初始隱狀態(tài)h0的層數(shù)維度不對確認(rèn)h0第一維是num_layers或num_layers * num_directionsInput tensor should have 3 dimensions輸入不是三維張量把二維[batch, features]改成[batch, seq_len, features]mat1 and mat2 shapes cannot be multiplied全連接層吃到了三維張量先用out[:, -1, :]或池化降到二維再接全連接Given groups1, weight size ...常見于Conv和LSTM混用時維度理解偏差檢查卷積層和LSTM層之間是否做過正確的維度調(diào)整這些報錯里最坑的是第三種。有人把[batch, features]當(dāng)成LSTM輸入以為再加一維就完事結(jié)果時間步維度是1模型不報錯但效果很差。還有人以“反正模型能跑就行”的心態(tài)忽略維度警告結(jié)果訓(xùn)練出的模型毫無泛化能力。6.2 用隨機(jī)輸入打印維度的自檢法結(jié)構(gòu)越復(fù)雜越應(yīng)該在接真實(shí)數(shù)據(jù)前先用隨機(jī)輸入把維度驗(yàn)證一遍。我自己養(yǎng)成的習(xí)慣是寫一個小函數(shù)import torch import torch.nn as nn def check_lstm(input_size8, hidden_size16, seq_len5, batch4, num_layers1, bidirectionalFalse): lstm nn.LSTM( input_sizeinput_size, hidden_sizehidden_size, num_layersnum_layers, bidirectionalbidirectional, batch_firstTrue, ) x torch.randn(batch, seq_len, input_size) out, (h_n, c_n) lstm(x) print(input :, x.shape) print(out :, out.shape) print(h_n :, h_n.shape) print(c_n :, c_n.shape) check_lstm() check_lstm(bidirectionalTrue) check_lstm(num_layers2)用隨機(jī)數(shù)做驗(yàn)證可以先把“結(jié)構(gòu)錯誤”和“數(shù)據(jù)錯誤”拆開。真實(shí)數(shù)據(jù)里常有填充、掩碼、變長序列維度問題混在里面會很難判斷。先用隨機(jī)數(shù)跑通結(jié)構(gòu)再套真實(shí)數(shù)據(jù)能省下大量排查時間。6.3 給新手的維度記憶口訣和自查清單我自己平時喜歡用幾句口訣快速判斷LSTM維度輸入永遠(yuǎn)是三維batch、seq_len、input_size。hidden_size管的是輸出向量長度管不了你有多少個時間步。拿“最后一步”用out[:,-1,:]前提是batch_firstTrue。h_n第一維一定是層數(shù)不是批量也不是序列長度。雙向就是hidden_size翻倍多層就是h_n變厚。接全連接前先降到二維。自查的時候按這個順序問一遍“我的數(shù)據(jù)是不是三維三個軸分別是什么batch_first開沒開我想要每個時間步的輸出還是最后一步如果是雙向維度翻倍了嗎如果是多層h_n的層數(shù)對嗎”這套問題過完絕大多數(shù)維度問題都能定位到具體那一行。最后再分享一個實(shí)操小習(xí)慣。我的代碼里第一版 forward 一定會加一句print(x.shape, out.shape, h_n.shape)等整個模型結(jié)構(gòu)確認(rèn)無誤再刪掉。別小看這個土辦法LSTM維度問題在紙面上推十遍不如拿一個隨機(jī)張量跑一遍打印出來的形狀就是最誠實(shí)的答案??ňS度不用慌把“時間步、hidden_size、batch”三個數(shù)對到具體軸上剩下的都是重復(fù)推演。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲第一精品成人999久久精品| 成年人看Va免费视频| 99热香港| 五月激情精品视频| 久热这里只有精品66| 天天日夜夜草进麻麻的子宫| 国产色五月| 狠婷婷五月| 这里只精品热在线18| 丁香婷婷啪啪啪| 开心五月丁香婷婷| 99热这里只有精品免费观看| 香焦网五月天| 五月婷婷AV| 91丨九色丨熟女|新版| 综合久久久| 五月激情婷婷综合| 久久小视频| 丁香久久| 天天久久九九| 婷婷婷久久久| 久久久18| 亚洲99视频| 黄色99网| 五月丁香六月婷婷在线观看| 99热免费精品| 久久久人妻| 在线观看免费人成视频无码| 欧亚中文A V| 久久成人亚洲欧美电影| 婷婷五月六月丁香| 看全色黄大色大片| 婷婷欧美偷拍综合| 丁香五月在线观看完整版| 天堂草在线看www| 婷婷五月六月丁香| 激情综合区| 天天爱天天做天天操| 狠狠干狠狠干| 琪琪狠狠干| 天天综合91入口| 午夜丁香综合婷婷| 无码一区二区日韩| 深爱激情av| 色色亚洲视频| 色婷婷成人| 操操碰| 五月婷婷激情综合| 日韩无码性爱| 久热这里只有精品在线观看| www夜夜操com| 99无码视频| 亚洲妇女熟BBW| 九九色黄色| 超碰人人91| 99综合免费视频| 丁香五月亚洲无码| 五月丁香影院| 男女啪啪做爰高潮无遮挡| 五月天丁香婷婷视频网址 | 五月婷婷深爱六月| 丁香五月六月综合激情| 国产亚洲精品AAAAAAA片| 2018夜夜草| 亚洲第二AV| 另类专区在线观看| 激情综合亚洲色婷婷五月| 婷婷五月色天| 免费视频无码| 涩九九九九| 夜夜躁狠狠 | 91久草五月天婷婷| 人妻久久久久久久久妻久久久久久久久| 思99热精品久久只有精品| 99热色精品| 久久五月丁香| 天堂网色色| 五月天色狠狠| 激情五月婷婷网| 婷婷色色网| 97啪在线观看视频| 狠狠色噜噜狠狠狠狠综合| 天天爽—爽| 婷婷五月天激情诱惑| 在线99热| 日本99婷婷| 丁香色情五月综合激情| 久久这里只有精品99| 99热这里只有精品在线观看| 色婷婷丁香社综合| 啪啪操网| 天天舔天天插天天爱| 深爱五月天天| 另类视在线| 伊人无码高清| 成人综合AV| 99热这是里只有精品| 激情五月色播五月| 久久久国产精品黄毛片| 色 免费网站视频| 天天做 天天爱| 97人人超| www.精品久9| 丁香五月AV在线| 亚洲激情网| 精品人妻伦一二三区久久| 99久久久精品| 成人婷婷桔色| 激情综合五月天| 成熟妇人A片免费看网站| 激情图片久久| 操操操AV| 婷婷视频在线| 亚洲性爱干干| 色五月大香蕉| 无码动漫av| 婷婷丁香激情五月| 夜夜操天天干| 色五月婷婷自拍| 中出内射的人妻视频| 色五月婷婷基地| 91日本在线免费| 六月丁香五月婷婷首页| 五月天婷婷免费| 天天揷综合网| 色综合播放| 欧美色宗和激情| 99热午夜精品| 天天粽合合合合| 人人干人人操人人摸| 大陆极品少妇内射AAAAAA| 国产精品99久久久久久猫咪| 丁香五月婷婷五月| 九九成年视频| 玖玖色资源站| 色婷婷香蕉| 综合久久婷婷| 丁香蜜臀黄色婷婷五月天| 色狠狠色综合| 无码少妇高潮喷水A片免费| 亚洲超碰在线| 色婷婷19| 久久超级碰碰| 激情五月天com| 丁香五月大香蕉在线99| 夜夜噜夜夜奇| 国产肥白大熟妇BBBB视频| 色婷婷色99国产综合精品| 成人综合伍月天| 香蕉婷婷| 国产色丁香| 超碰在线视屏| 超碰在线视屏| 五月久久婷婷| 任你爽精品免费视频6| www.婷婷.com| 久久艹网| 五月亭亭直播| 99热精品超碰| 久久偷拍综合五月天| 国产精品人人做人人爽人人添| 91人妻PORNY九色大屁股| 99啪99| 日韩欧美性爱| 天天干狠狠艹| 亚洲成人精品三区| 99热只有精| 天天日中文| 亚洲婷婷月丁香五月| 婷婷色中文字幕| 丁香婷婷色五月| 丝袜人妻| 97人人超| 丁香五月综合婷婷| 大香蕉av在线| 成久综合视频| 久99| 欧洲激情五月天| 国产精品久久久久久久久久| 26uuuu精品一区二区| 91久热| 激情com| 成人午夜无码视频| 色插综合网| 99在线精品免费视频| 日韩抽插操逼| 色爆五月| 九九热在线观看视频网站| 色色无码| www夜夜操wwwcon| 五月婷婷六月激情| 丁香五月婷婷激情蜜桃| www.九九婷婷| 亚洲久久激情| AV五月丁香| 另类激情五月| 欧美极品999| 激情五月丁香五月| 激情婷婷五六月天| ..真实国产乱子伦毛片| 五月丁香龟婷婷| 7777久久亚洲中文字幕| 婷婷伊人网| 综合一啪| 婷婷久久综| 色久九| 99热18| 另类的婷婷| 99在线观看| WWW五月天| 亚洲愉拍99热成人精品| 五月丁香黄色| 男人天堂 久久| 天天影视天天爽天天草| 天天操中文字幕| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 色情五月婷| 六月丁香综合| 99国产精品久久久久久久久久久| 天天擼久久擼在线| 丁香九月激情久久| 成人永久免费视频在线观看| 综合色图区| 婷婷91| 婷婷五六日| 五月丁小婷婷激情四射| 婷婷五月色激情欧美激情| 丁香五月婷婷激情尤物| 日韩另类| 26uuu另类亚洲欧美日本一| 日韩婷久| 激情综合网五月天| 这里只有九九精品| 亚洲色夜| 开心五月天激情网| 婷婷丁香五月在线播放| 亚洲在线资源| 怡红院AV亚洲一区二区三区H | 欧美操综合| 九九久久五月天| 那里有AV网址| 激情五月婷婷丁香综合网| 色香久久| 热的国产,热的综合,热的有码| 婷婷99综合| 天堂草在线观看| 久久色五月天| 青草视频在线观看视频| 久久色这里只有精品| 操操碰| xxx日本东京热| 国产中文字幕在线视频免费观看| 伊人激情| 欧美婷婷色五月| 九九人人自拍| 99网| 婷婷五月天激情开心网| 色丁香五月婷婷婷| 丝袜熟女一区二区三区| 婷婷色五月天在线观看| 99爱免费视频| 婷婷综合五月| 久久久高清| 久久3p| 99re思思在线视频| 欧美日韩国产一区二区| 91丨九色丨东北熟女| 五月WWW| 综合激情在线| 丁香五月综合狠狠| 久久综合五月| 狠狠草狠狠草| 午夜美女人啪最红院| 久热AⅤ| 五月婷婷激情网| 色色哒五月婷婷六月丁香| 99热这里都是精品| 久久综合66| 日本久久婷| 大狠狠在线| 日本WWW九九九| 天天干天天拍| 婷婷97碰碰| 婷婷五月天深爱| 九九久久精品| 天天人人人人人人人人人人人| 丁香无五月网| 99乱视频| 91聚色综合网| 性一交一乱一交A片久久四色| www.久久av.com| 五月丁香六月婷婷亚洲天堂网站| 色色色五月| 婷婷久热| 婷婷欧美综合| 天堂草在线观看| 99色在线视频观看| 亚洲性爱电影| 1024AV视频| 99热在线观看免费精品| 六月丁香啪啪啪| 97婷婷丁香五月天激情图片| 五月伊人网| 99视频综合网| 性av| 精品人妻一区| 激情综合国产| 国产婷婷五月在线视频| 婷婷成人五月天一区| 9操在线| 91伦| 琪琪布丁香社区激情五月天| 狠狠操狠狠插| 激情综合网址| 五月丁香激情综合久久| 色情免费视频播放| 热99精品视频观看| 伊人99热| 五月做爱| 亚洲深喉AV| 国产成人va在线| 久色网| 亚洲xx网| 超碰色人妾| 欧美色图片88| 婷婷五月天成人| 丁香婷婷六月天| 色婷婷色婷婷五月| 成年人99热| 就要去操亚洲成人精品五月天丁香婷婷| 亚洲色图81p| 色99久草在线| 日韩人妻AV在线| 婷婷成人视频| 天天干天天干天天干天天干天| 99伊人婷婷在线| 91超级碰在线视频| 五月丁香天天| 五月丁香综合啪啪啪啪啪| 激情五月色在线播放| 六月丁香婷婷天堂| 26.uuu丁香五月婷婷| 国产欧美大香蕉一区| 精品亚洲国产成人A片在线鸭王| 99久久久免费| 香蕉婷婷色五月| WWW五月| WWW.桔色成人.COM| 五月丁香激情综合欧美| 色狠狠五月天| 五月丁香婷婷综合| 成人婷99最新| 另类专区在线| 久久99久久99精品免观看粉| AV动漫不卡无码免费| 婷婷五月丁香99| 丁香伍月婷电影全集| 国产精品婷婷午夜在线观看| 爱草视频在线观看| 啪啪婷婷五月天激情| 熟女婷婷网站一婷婷五月一丁香婷婷一婷婷激情网 | 天天肏视频| 婷婷五月丁香色综合| 天天做夜夜爽| 狠狠插狠狠插| 久碰婷婷视频| 4399在线日本A片| 七七九色| 久草大| 超碰在线人妻| 成年人丁香五月| 色婷视频| 激情综合五月天| www.激情五月| 精品一二三区久久AAA片| 九九99精品视频在线观看| 激情五月天影院| 天天爽天天干| 成人做爰高潮A片免费视频| AV大香蕉| 少妇人妻偷人精品无码视频新浪| 欧美A级成人婬片免费看理论| 五月婷视频| 五月丁小婷婷激情四射| 九九99偷拍视频| 欲求不满的人妻| 丁香色情五月综合激情| 4438国产免费看| 综合色色综合| 色琪琪一综合久久激情五月视频| 激情综合亚洲| 五月婷婷久久开心网| 丁香五月婷婷成人色区| 这里只有精品久| 五月丁香六月花| 99久久免费精品| 色XX综合网| 五月丁香激情综合网| 丁香五月激情婷婷婷婷在线观看| 亚洲熟妇无码乱子AV电影| 日本久久婷| 九九热99热| 99久久99九九99九九九| 色欧美一级| 日韩精品呦呦va| 五月天婷婷色情| 日本一级一片免费视频| 中文精品久久久久人妻不| 五月婷婷激情四季| 色五月丁香婷婷综合| 99热这里只有免费| 色五月激情综合| 色综合久| 久久五月婷6 9| 国产高潮白浆一区二区| 亚州操操| 操笔无码| 五月婷婷激情综合视频| 婷婷99热| 国产99久久久国产精品免费看| 无码少妇高潮喷水A片免费| 九九九九热99超碰| 狼人狠狠操| 婷婷亚洲日本| 99精品爱| 久热99热| 国产精品久久久久久久久久| 久青草大香蕉| 97操操| 丁香五月大片| 婷婷五月激情中文字幕| 国产激情综合五月久久| 丁香婷婷狠狠97| 久99精品视频| 深爱五月激情综合| 日本色色色| 中文字幕,综合,91| 六月激情综合| 超碰丁香五月| 亚洲va欧美| 亚洲色色色色| 五月丁香六月激情综合| 国产AV熟妇人震精品一品二区 | 色亭亭丁香五月天| 久草天堂| 99久久精品网| 久久人人九九| 九月丁香婷婷基地| 久久婷婷色情7777网站| 五月丁香六月激情狠狠| 激情综合五月| 熟女人妻视频| 精典久久| 丁香五月天激情小说| 停婷丁五月在线| 99色在线| 无码A片一区二区免费| 狠狠做五月| 五月天激情婷婷五月天久久| 丁香六月婷婷综合激情欧美| 久久大国产香蕉| 久操干| 91热er| 一丁香五月天月AV| 精品人妻伦九区久久AAA片| 亚洲婷婷丁香五月| 九九爱这里只有精品| 久久这里有精品| 久久婷婷亚洲| 激情婷婷五月少妇| 五五月五月| 99热这里只有精品1025| 五月久久丁香| 欧洲激情网站| 五月天成人网在线观看| 免费看欧美成人A片无码| A级毛片高清免费不卡播放谢谢谢谢| 欧美va亚洲va| 婷婷六月天| 成人超碰网| 九九久久99精品免费观看www| 亚洲国产精品成人va在线观看| 超碰人人艹| AV亚洲在线| 最新热中文字幕| 色导航色婷婷五月天在线观看| 六月天婷婷| 五月亭大香蕉| 五月婷婷网久久| 超碰色综合| 国产毛片操B| 人妻久久做| 狠狠五月天| 丰满少妇猛烈A片免费看观看| 色婷婷777狠狠| 五月丁香色婷| 91操人| 色丁香五月| 丁香五月六月欧美| 婷婷激情社区| 久青操| 夜夜做夜夜愛| 亚洲视频在线观看| www.激情.com.| 狠狠操综合| 亚洲精品a成人在线播放| 99re在线观看| 五月丁香六月激情综合| 二区成人视频| 夜夜夜叫天天天做| 伊人久久婷婷| 大香蕉五月丁香| 这里只有精品2| 成人无码精品1区2区3区免费看| 亚洲天堂99| 五月天婷婷综合| 久久99人人| Av性爱网站| 久久婷婷影院| 区美毛片子| 婷婷五月天在线综合| 熟妇人妻中文字幕无码老熟妇| 91九九| 啪啪操超碰| 九色激情| 亚洲噜色| 这里只有精品96| 激情五月丁香综合蜜桃| 26uuu欧美日本| 精品牛仔裤超碰| 久久爱婷婷| 波多野结衣不卡AV| 26UUU亚洲欧美| 激情五月天色色| 婷婷五月天AV| 九九精品99| 色婷婷四色| 色视频五月天| 久久丁香婷| 婷婷丁香五月六月激情| 免费观看全黄做爰的视频| 丁香婷婷精品视频| 五月天播播| 国产欧美第五十五页| 久久天堂网| 丁香五月天天| 五月激情婷婷国产精品久久久久久| 一本色道久久综合狠狠躁一二三| 天天操天天谢| 丁香婷婷天堂| caopeng97日韩| 夫妇交换刺激做爰| 色综合五月婷婷狠狠干| 三人荫蒂添的好舒服A片| 丁香女人五月天| 久久曰曰| 色色色在线播放| 亚洲五月婷婷| 18av天堂| 国产亚洲成AV人片在线观黄桃| 激情五月丁香综合蜜桃| 99热综合| 婷婷成人丁香色情基地30| 国产精品人人做人人爽人人添| 激情综合网络插| 色婷久久| www.伊人天堂偷偷婷婷| 影音先锋日本三级资源| 色情免费视频播放| 久9热插入| 97色色在线视频| 五月天激情日色在线| 婷婷六月天激情| 色婷婷丁香社综合| 神马欧美精| 久99久热| 丁香婷婷色五月激情综合| 天天想夜夜爽天天爽| 欧美日韩aaa| 五月婷婷五月天激情视频| 九九热超碰| 五月情四婷婷| 久热超碰| 婷婷五月婷婷五月| 激情性爱婷婷| 狠狠综合网| 99精品一二三四视频| 婷综合| 五月开心婷婷网| 婷婷久草| 99久久99热这里只有精品| 五月婷婷av在线| 五月天婷婷婷| 久久精品五月天| 六月丁香久久| 99re在线观看视频| 九九热10| 男女99免费视频| 天天爽天天日| 婷婷五月天,影院| 开心色色五月天综合| 久久色这里只有精品| 免费成人网在线观看| 亚洲综合视频网| 成人日韩欧美| 少妇被下春药玩弄A片| 玖久精品视频9| 99在线播放| 久久婷婷五月天激情四射| 丁香五月久久| 久操欧美在线观看97| 91精品综合久久久久久五月丁香| 97人操人免费视频| 激情五月综合网| 婷婷激情啪啪| 亚洲无aV在线中文字幕 | 深爱激情丁香| 91性高潮久久久久久久久| 99久久婷婷国产综合精品草原| 五月婷六月丁香| 啪精品| 99在线精品免费视频| 丁香五月激情综合在线观看| 国产婷婷五月| 久久99久久99精品免视看婷婷| 男人天堂亚洲综合| 日韩精品一区二区刘| www.色99| 亚洲激情五月丁香久久久久| 亚洲视频码| 婷婷九月色| 在线综合婷婷| 懂色av蜜臀av粉嫩av永陈冠希| 99热综合网| 色综合久久久久久久久五月| 久久综合影院| 人与禽A片啪啪| 色五月AV| 26uuu色噜噜精品一区| 天天操天天插天天射| 婷婷黄色| 久久网思思| 玖玖激情五月天| 国产肥白大熟妇BBBB视频| 亚洲成人婷婷| 亚洲夜五月| 狠狠综合久久综合| 色香欲综合| 丁香婷婷中文字幕| 五月丁香六月在线欧美| 狠狠色综合无线观看| 亚洲av免费在线| 久久婷婷五月草视频| 香焦网五月天| 美国少妇性做爰| 日本高清久| 婷婷五月激情片| 丁香密臀AV激情网| 婷婷在线网| 九九色综合网| 五月天成人手机在线视频| 亚洲乱码在线观看| 日韩ww| 色婷婷久久综合| 这里只有精品在线免费视频| 91九色首页| 亚洲9久久精品| 婷婷丁香久久| 超碰1999| 婷婷五月天在线观看av| 色综合狠狠色| 激情文学综合婷婷五月天丁香花| 久久婷婷网站| 九九99视频| 色五月涩涩婷婷蜜桃| 天天网曰日曰夜夜综合永久免费| 99精品视频免费| 九九热这里只有精品23| 996热re视频在线观看视频| 婷婷精品免费久久| 五月天婷婷亚洲| 婷婷伊人激情婷婷| 色九月婷婷综合| 97超级免费无码| 狠狠综合| 五月婷婷熟女| 99热精品无码| 五月婷在线色视频| 超碰人人操人人干| 99碰碰中文| 91 影音先锋| 超碰99在线观看| 婷婷五月天六月丁香| 色婷婷AV五月天| 九九综合九九| 91人人妻人人操| 大战熟女丰满人妻AV| 99在线精品免费视频| www.五月天婷婷| 五月天成人在线| 久久久er热| 五月丁香福利| 久久一级片| 丁香婷婷浪潮AV久久综合| 色色色综合网| 99在线观看| 99色视频| 日日夜夜久| 婷婷综合网伊人| 激情深爱婷婷网| 成人五月天丁香婷| 综合超碰熟| Www.久久| 色色色com| 99热精品在线观看| 夜夜操夜夜操| 天堂久久精品| 亚洲色婷婷| 丁香五月成人社区| 99色 色| 九九视频这里只有精品在线播放 | 婷婷五月天激情网| 人人爱人人摸人人澡| 日韩av干| 日本在线免费中文com.| 99热99成人| 成人在线网| 开心激情站| 91日韩在线| 99视频35精品视频在线观看| 99视频| 婷婷婷婷色| 99热这里只有精品在线播放| 久久成人天| 深爱丁香激情| 婷婷五月天色网久| 婷婷丁香五月精品| 狠狠操天天操天天操| 五月丁香婷婷无码中文| 九九热在线观看6| 啪啪91| 超碰成人在线观看| 丁香五月日韩| 五月丁香久久综合| 久久久久激情| 91色五月| 成人短视频在线| 97干免费视频| 97碰在线视频| jiujiu热在线视频| 婷婷激情五月综合| 亚洲视频a| 一起草无码视频| 丁香婷婷五月天网站| 色色自拍视频网站| 五月天丁香啪啪综合| 人人操Av| 狠狠色官网| 丁香六月激情综合网| 欧洲激情五月天| 六月五月久久丁香| 日日操夜夜爽天天天| 五月婷婷在线网站| 日日做天天操夜夜爽| 天天做天天爱天天玩夜夜爽| 天天干天天射色综合| 丁香婷婷视频一区二区| 色播激情五月天| 天天摸天天做天天爱天天爽| 久久人妻人人| aa久久| 97人人干人人操| 色婷婷五月在线| 五月丁香综合网| 欧美色色色| 欧美槡BBBB槡BBB少妇| 丁香六月婷婷缴情欧美| 色色色色色色色五月| 六月丁香成人| 中文字幕丰满人妻无码专区| 99热99色| 天天爽夜夜爽夜夜爽精| 久久五月丁香六月婷| 五区毛片七区毛片| 裸体美女丁香五月天。| 久久人人妻| 92久久| 99视频在线| 无码免费人妻A片AAA毛片西瓜| 丁香婷婷成年| 精品视频网| www99在线观看视频| 99在线观看| 欧美天天干五月丁香| 日本性激情色播| 夜夜撸天天操| 成人av在线电影| 五月丁香六月婷婷网| 国产亚洲精品久久久久久牛牛| 婷婷综合中文| 怡红院成人AV| 丁香五月天网站| 26uuu美女三级视频| 涩涩网五月天| 99国产精品久久久久久久久久久| 色五月激情综合网| 亚洲亚洲人成综合网络| 色9999综合久久| 99热天堂| 五月花综合网| 天天射夜夜骑| 人妻久久久久久久 | 天天cha成人综合网| 五月婷婷丁香俺日污视频| 久久六月天| 色五月av| www九月婷婷| 丁香五月婷婷色情综合| 成人婷婷色五月天| www色婷婷com| 婷婷天堂综合| 又大又粗九一在线| se99热久久一本| 色色五月天婷婷| 五月婷婷激情69| 26uuu成人网| 色婷婷六月| 日韩99无码| 人人干人人操外国| 丁香亭亭久久| 激情五月深爱婷婷| 97人人草| 波多野结衣不卡AV| 99九九在线| 天天狠狠色噜噜| 五月丁香六月婷婷色情| 五月丁香| 久久伊人婷| 欧美噜噜久久久XXX| 手机免费福利视频| 欧美色图天堂网| 热99色| 综合大香蕉| 色婷婷五月亚洲| 激情丁香九九五月综合网| 天堂成人A片永久免费网站 | AV电影在线播放| 9九九久久精品无码专区| 婷婷九月综合| 初夜av| 97人人操人人| 五月天开心色色网| 九九久久五月天综合伊人| 开心五月色婷| 超碰在线9| 激情九月婷婷九月| 色玖玖爱| 欧美啄木乌丝袜人妻系列| 国产激情视频在线观看| 日本天堂网站99| 九九99免费理论| 五月天激情网页| 色啪综合| 色色综合热| 天堂婷婷五月在线| 国产精品爽爽久久久久久| 亚洲人妻av伦理| 百度4399有码精品V在线观看| 狠狠操天天操综合| 庭庭久久内射| 影音先锋男人av资源站| 狠狠干狠狠色| 激情五月婷婷五月| 欧美成人AAA片一区国产精品| 操操精品| 欧美性爱5月天天天看| 淫视馆aV二区一区| 亚洲蜜乳AV| 天天粽合合合合| 丁香五月综合| 精品国婬伦V无码久久久| 久久99这里只有精品| 欧美色性色好| 亚洲国产精品二二三三区| 91久久| 99热这里只有精品2| 五月天婷婷综合网| 成人网站免费在线播放| 色色五月婷婷丁香| 国产毛片精品一区二区色欲黄A片| 99久re热| 丁香五月色欲| 国产99久久久国产精品免费看| 婷婷午夜精品久久久| 久热网在线视频| 色五月综合| 在线成人网站| 五月婷婷六月丁香色| 疯狂做受XXXX高潮A片| 五月婷久久| 丁香五月婷婷大香蕉| 狼人伊人天堂| 色五月激情五月丁香五月婷婷啪啪综合| 久久多色| 欧美日本高清视频99| 日日懆天天懆| 深爱激情五月天| 亚洲五月婷婷| 69色婷婷| 91九色PORNY中文啦| 婷婷六月中文字幕| www.国产色| 婷婷丁香亚洲色综合91| 九九精品视频在线观看| 91夫妻视频| 日日日日做夜夜夜夜无码| 99色色网| 久久久久久久久久久97| 青青草激情网| 亚洲九九99精品视频在线播放| 少妇丁香婷婷 | 91碰视频| 丁乡久久| 五月激情久久综合网| 九九成人电影婷婷| 99在线观看免费精品视频| 深爱五月激情| 丁香婷婷五月色成人网站| 月婷婷婷婷五月| 97午夜一区二区| 涩五月丁香| 亚洲乱码日产精品BD| 丁香综合伊人| 久热伊人| 婷婷久久久久| 五月婷婷中文字幕| 国产综合81p| 色婷婷五月天偷拍| 99操不停| 五月天婷婷丁香社区| 亚洲欧洲另类图片| 美女主播野战视步页| 99热这里只有精品99| 99精品热| 久操热| 97碰碰视频在线观看免费| www.色婷婷.com| 激情久久丁香| 五月天另类激情在线| 亚洲AV永久无码影院黑人| 成人丁香婷婷| 国产精品24r| 色色COm| 激情影院69| 色播五月丁香| 九色综合五月天婷五月| 五月丁香龟婷婷| 操精品9| 天天爱天天做综合| 亚洲欧洲中文日韩久久AV乱码| 99热这里只有精品21| 五月天大香蕉| 激情涩涩网| 精品人妻伦一二三区久久| 精品无码av丁香五月激情| 婷婷久久综合久| 超黄亚洲瑟瑟网站| 国产精品18久久久| 五月色导航| 丁香五月花影院| 亚洲精品色色色| 久久婷婷免费| 色色色.COM| 五月婷综合| www,天天干| 欧美激情伊人| 婷婷激情人妻| 日韩av在线电影| 涩五月婷婷| 亚洲视频a| 五月丁香婷婷综合| 五月色 亚洲| 99精品丁香五月| 这里只有精彩视| 色综合色综合色综合| 99热6这里只有精品| 天天综合91入口| 久久五月天色婷婷| 九月丁香| 97色干| 狠狠操在线视频| 99久久超级| 色狠狠婷婷| 天堂爱啪啪| 亚洲激情av| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | www.婷婷,com| 99色婷婷视频| 久久婷婷亚洲| 五月丁香婷中文| jiujiuxiangjiaowang| 亚洲天堂aaaa| 中文字幕,综合,91| 无码操B| 日日色五月天| 亚洲成人电影在线免费观看| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 欧美交换配乱吟粗大25P| 五月丁香六月婷婷婷婷| 天堂网亚洲色图| 天天搞天天色综合| 五月婷丁香| 精品一二三区久久AAA片| 欧美激情五月| 97五月婷婷| 99思思| 最新亚洲色色网| 婷婷五月综合免费在线| 五月丁香好婷婷A片网| 2015好吊操| 亚洲三A| 五月丁香六月激情欧美综合| 大香蕉久久久久| 色婷婷影视| 五月婷婷六月丁香在线视频| 99九九在线视频| 色婷婷综合网站| 婷婷五月天激情综合深爱| 日韩成人电影av| 五月天丁香网| 伦99热| 99久久.www| 日日噜噜夜夜狠狠久久丁香六月| 激情丁香五月激情婷婷| 国产婷婷久久| 五月丁香啪啪网| 五月丁香婷中文字幕| 久久天堂色| 狠狠插狠狠操| 五月天激情无码高清| 婷婷色在线视频| 超碰在线成人| 婷婷五月天在线综合| 婷婷伊人综合中文字幕| 亚洲乱码日产精品BD| 丁香六月婷婷色XXXXX| 色噜噜狠狠色综合无码久久欧美| 国产SUV精品一区二区883| 青草五月天| 狠狠色丁香久久久婷| 色综合网页| 天天摸天天肏| 第一区久久网站| 综合激情在线观看| 超碰在线99| 人妻精品一区二区三区| 日本va欧美va欧美va精品| 665566 无码| 五月丁香色色| 99.色| 超碰二区| 大香蕉色婷婷伊人在线| 丁香久久综合| 五月噜噜| 97人人搞| 久久精品A片777777| 亚洲六月婷婷| 婷婷六月丁香开心深深爱| 九九综合网| 丁香六月婷| 丁香五月天天高清在线| 九九亚洲视频| 久久日婷婷| 伊人久久婷婷| 久噜久噜| 亚洲成人AV在线观看| 97色五月婷婷在线| 九九久久五月天| 亭亭五月天黑人2014| 大香蕉久艹| 性爱激情五月| 激情综合网五月天| 国精产品一区二区三区| 色婷婷久久| 精品九九婷婷| 成功精品影院| 猫咪伊人久久| 亚洲激情综合五月婷婷啪啪| 91精品婷婷国产综合久久| 婷婷五月激情黄色| 91一起艹| 思思精品热在线| 婷婷色色综合激情| 婷婷 伊人 久久| 屁股翘好撅高迎合跪趴| 色婷婷久久综合| av中文网站| 性爱AV天堂| 久久婷婷激情四射五月天| 激情玖玖sh| 亭亭色色五月天| 婷婷六月激情综合| 激情婷婷五六月天| 久久精品4| 97色碰碰公开视频| www超碰| 色综合久久99色| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 26UUU欧美激情一区二区| 亚洲成人网在线观看| 男女av免费看| 激情丁香五月| 激情四射网| 涩五月色婷婷| 另类图片五月天婷婷| 91久久久久久久久18| 91无码色色| 丁香五月电影| 99re热在线视频观看| 欧美综合五月丁香六月婷| 五月天无码| 久久999久久999久久999久久| 午夜AV网| 精品人妻伦九区久久AAA片| 婷婷导航| 五月婷婷综合在线| 亚洲 五月 婷婷 成人| 日日日,com| 久久婷婷色情7777网站| 婷婷综合另类| 激情综合丁香六| 噼里啪啦在线观看免费完整版视频 | 激情床戏| 婷婷五月激情图片| 大香蕉院线| 天天天操天天天爰| 色婷婷基地| 91艹人| 亚洲色频| 九九综合九| 欧美性生交XXXXX无码小说| 丁香五月婷婷超碰在线| 天天草天天摸| 美女激情婷婷| 久热这里这里有精品| 91日本在线观看| 亚洲久久日| 美女91一起草| 中文字幕在线视频播放| 亚洲乱码日产精品BD| 色五月网址| 九九色色| 久久多色| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 99在线观看视频蜜臀| 五月天婷婷六月激情网| 丁香五月最新地址| 中文字幕欧美久久| 香蕉大综综综合久久| 黄色aa观看aaguochan| 色五月亚洲| 极品少妇高潮啪啪AV无码| 色婷婷九月| 91丨九色丨东北熟女| 开心五月深爱五月婷| 欧美精品999| 97久久人人操| 九九精品热播| 99热 在线播放| 日噜噜色| 91精品久| 国产亚洲成人综合| 67久久| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 97五月天婷婷综合激情网| 激情文学 综合 九月| 日日夜夜九九| 婷婷五月激情基地| 国产免费一区二区三州老师F1……| 婷婷在线播放| 五月丁香网站| 欧美人与性动交CCOO| 色色热| 天天综合色| 色九九综合| 国产成人网址| 无码少妇高潮喷水A片免费| 日本天天操| 亚洲精品久久久无码| 亚洲精品久久久久久久久久飞鱼 | 99九九玖玖| 色婷婷综合亚洲| 久久婷丁香五月| 9久精品视频| 婷婷色丁香五月| 色色日本| 久久婷婷亚洲| 日日撸夜夜操| 亚洲人妻av伦理| 九九成人| 色婷婷基地 | 丁香五月激情图片婷婷| 色五月丁香91| 97操碰98| 男人的天堂99| 久99精品视频| 日本在线视频播放91| 久久作爱| 青青.com| 婷婷五月天堂网| 人人舔人人色人人高潮| 另类激情五月| 五月花婷婷丁香| 日狠狠| 久热 91| 五月综合久久| 亚洲欧美成人在线| 国产亚洲精品AAAAAAA片| 成AV人片一区二区三区久久| 欧美三9久九观看| 日韩AV中文在线观看| 刘玥精品一区| 日韩伊人大香蕉| 婷婷久久性爱| 五月丁香综合激情| 亚洲色激婷| 丁香五月丁香伊人| 婷婷五月天激情文学| 五月天激情国产综合婷婷婷| 99爽视频| 婷婷五月天激情网| 国产古装妇女野外A片| 激情婷婷护士激情| 青青久久大香蕉| 99热大香蕉| 日韩无码一区二区三区四区| 五月婷婷久久网| 日屌日日操日日色| 丁香五月激情啪| 久久伊人大香蕉| 激情AV网| 久久婷婷五| 91久久五月天| 思思久久99热| 99.色| 五月丁香婷婷AV| 综激情网| 最近中文字幕大全免费版在线 | 99精品丁香五月| 色色婷婷婷丁香五月天| 五月丁香亭亭操逼| 亚洲综合色网站| 日本九九热| 婷婷国产成人| www.操.com| 操碰色一区就去操| 人人操大| 色五月婷婷综合在线| 九九日本视频| 亚洲99手机免费看视频| 丁香五月天在线观看| 色999五月色| 八戒青柠影视剧在线观看| 超碰永久在线| 97人人超| 久色五月婷婷综合|