欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

FPGA加速CNN卷積計算:從行緩存到乘累加陣列的硬件實現(xiàn)

FPGA加速CNN卷積計算:從行緩存到乘累加陣列的硬件實現(xiàn) FPGA做CNN說白了就是把卷積神經(jīng)網(wǎng)絡里最耗時的計算部分從GPU或者CPU手里搶過來用硬件邏輯的并行性去硬算。我在這個項目里做的就是在FPGA上實現(xiàn)了一個能對實時視頻流做CNN卷積計算的加速器輸入是普通的攝像頭圖像數(shù)據(jù)輸出是經(jīng)過卷積特征提取后的結果整條鏈路跑在硬件上不依賴上位機。這個項目適合兩類人參考一類是剛接觸FPGA但想往AI方向靠的開發(fā)者另一類是已經(jīng)在用GPU做推理、但被功耗和延遲卡住想看看FPGA方案到底能不能打的算法工程師。我會把整個設計思路、卷積計算的硬件拆分、實時性怎么保證、以及我踩過的坑全部攤開來講盡量讓每個環(huán)節(jié)都能直接抄作業(yè)。1. 項目核心設計思路為什么要用FPGA算卷積1.1 卷積計算的計算特征與硬件匹配分析CNN里的卷積層本質上就是一組乘累加運算。一個3x3的卷積核滑過整張圖像每個輸出像素需要做9次乘法和8次加法再加上偏置和激活函數(shù)。假設輸入是1080p分辨率30幀每秒第一層卷積是3x3x3的核輸出通道64個那一秒鐘的運算量大概是1920乘以1080乘以30乘以9乘以3乘以64算下來接近1000億次乘累加操作。這個量級用CPU做實時基本沒戲GPU能做但功耗和體積在嵌入式場景里往往受不了。FPGA的優(yōu)勢在于它的邏輯資源可以按照數(shù)據(jù)流的形狀去定制硬件結構。卷積運算天然是數(shù)據(jù)并行的——不同輸出像素之間沒有依賴關系不同輸出通道之間也沒有依賴關系。GPU是SIMT架構同一時刻執(zhí)行同一指令遇到分支或者訪存沖突就會浪費計算單元FPGA不一樣我可以把卷積核拆成一組并行的乘累加流水線再用行緩存把圖像數(shù)據(jù)按滑動窗口的方式喂進去每個時鐘周期都能吐出一個有效的輸出結果。這里有一個關鍵認知需要糾正FPGA做CNN并不是去和GPU拼峰值算力而是拼計算效率。GPU的算力很高但數(shù)據(jù)搬運和調度開銷也大FPGA可以為特定的卷積層結構定制數(shù)據(jù)通路數(shù)據(jù)從DDR讀進來之后在片上SRAM里循環(huán)復用盡可能減少對外部存儲的訪問次數(shù)。在我這個項目里片上行緩存的命中率做到90%以上,整體有效算力利用率能拉到60%左右,這在FPGA平臺上已經(jīng)是個相當不錯的數(shù)字了。1.2 軟硬件任務劃分哪些計算放在FPGA哪些留在ARM實際的圖像CNN處理系統(tǒng)往往不是純FPGA單芯片就能搞定的。以Xilinx Zynq系列為例芯片上同時有ARM核和FPGA邏輯。我的方案是把CNN推理的卷積層主體全部下沉到PL端也就是FPGA邏輯部分ARM端只負責三件事一是通過DMA把圖像數(shù)據(jù)從DDR搬到FPGA的行緩存里二是配置卷積核權重和偏置參數(shù)三是處理CNN最后一層輸出的后處理邏輯。任務劃分的核心原則是計算密集型的、數(shù)據(jù)流規(guī)整的操作放在FPGA控制邏輯復雜、分支多、數(shù)據(jù)量小但對靈活性要求高的操作放在ARM。比如卷積、池化、激活函數(shù)這些都是FPGA的強項而像非極大值抑制、目標框解碼、分類結果的softmax這些在FPGA上寫起來很別扭邏輯資源消耗大而且靈活性差留在ARM上跑更合理。我建議在做軟硬件劃分時先用軟件仿真把整個CNN模型的每層耗時跑一遍。比如某個模型一共20層其中卷積層占了95%的耗時那FPGA就把這20層里面計算量最大的15層全部硬件化剩下幾層全連接或者特殊的歸一化層根據(jù)數(shù)據(jù)量大小決定要不要也放進去。我的經(jīng)驗是如果一層的數(shù)據(jù)量小于1MB且計算量小于100萬次乘加就不值得放在FPGA上搬來搬去的開銷比計算本身還大。1.3 技術選型用Verilog手寫還是用HLS高層次綜合這是FPGA做CNN項目里第一個要做的選擇。HLS就是用C/C寫算法邏輯然后工具自動轉換成RTL代碼手寫Verilog則是直接從寄存器傳輸級開始搭。我在這個項目里選擇了Verilog手寫卷積核心但用HLS工具做了一版原型驗證。手寫Verilog的好處是可控性強。卷積計算的數(shù)據(jù)通路每個寄存器在哪一拍打入、每個乘法器和加法器怎么組合我心里都有數(shù)。通過Vivado的分析結果我可以精確控制時序和資源利用率。壞處是開發(fā)周期長尤其是并行優(yōu)化的時候控制信號之間的時序關系很容易搞亂。HLS的好處是開發(fā)效率高算法工程師寫起來沒有心理負擔一個for循環(huán)嵌套就能表達卷積。我在做原型驗證時用Vitis HLS寫了一個基本的卷積函數(shù)加#pragma HLS PIPELINE和UNROLL指令大概一天時間就能跑通功能仿真。但HLS生成的代碼在時序優(yōu)化上經(jīng)常需要反復調指令和約束而且出現(xiàn)問題的時候不好定位debug起來比手寫代碼痛苦得多。給個實操建議如果你做的是工業(yè)級產(chǎn)品、需要長期維護我建議核心卷積模塊手寫Verilog控制邏輯和接口部分可以用HLS快速生成如果只是做算法驗證和學術研究全用HLS就夠了。兩條路我都走過最終項目交付時核心計算模塊用的是手寫VerilogHLS版本作為功能參考留在了仿真環(huán)境里。2. 卷積計算的硬件核心實現(xiàn)從行緩存到乘累加陣列2.1 圖像數(shù)據(jù)的片上緩存策略行緩存與滑動窗口CNN卷積計算在硬件上要解決的第一個問題是圖像數(shù)據(jù)的復用。一個3x3卷積核計算輸出像素時需要用到輸入圖像中3行3列共9個像素。如果每次都從DDR里讀9個像素數(shù)據(jù)帶寬會被迅速打爆。正確的做法是在FPGA的片上SRAM里維護一個行緩存結構。具體做法是這樣的對于3行輸入行緩存用三塊獨立的BRAM塊隨機存取存儲器分別存儲第n行、第n1行、第n2行的數(shù)據(jù)。當計算輸出第n行時數(shù)據(jù)流按列推進每個時鐘周期從三塊BRAM中各讀出一個像素組成一個3x3窗口。窗口在水平方向滑動一個像素后就讀下一列。當整個第n行計算完畢三塊BRAM同時移位丟掉第n行讀入第n3行。整個行緩存的深度只需要等于圖像寬度比如1920個像素。如果圖像是RGB三通道那需要三組這樣的行緩存每組對應一個顏色通道。這樣做的好處是DDR帶寬的壓力被降到了一個很低的水平——每個輸入像素只需要從DDR讀一次之后的所有復用都在片上進行。我實測下來1080p圖像數(shù)據(jù)從DDR搬運到行緩存的帶寬需求只有約200MB/s而DDR3/4的實際可用帶寬通常有幾個GB/s完全不是瓶頸。滑動窗口的具體生成邏輯里還要考慮邊界像素的填充問題。比如卷積核尺寸是3x3在圖像最左邊一列窗口會越界到圖像外面。通常做法是補零或者復制邊緣像素。我在設計里加了一個信號padding_mode通過一個多路選擇器控制窗口邊緣數(shù)據(jù)源的切換支持零填充和邊緣復制兩種策略這樣既適配了常見的CNN模型也為上層算法留了靈活性。2.2 乘累加陣列的并行度設計輸出通道拆分與循環(huán)展開有了窗口數(shù)據(jù)接下來就是卷積計算的核心——乘累加陣列。陣列的規(guī)模直接決定了吞吐量。一個設計原則是用FPGA的DSP切片資源來搭建乘累加單元而不是用邏輯查找表實現(xiàn)乘法和加法。Xilinx 7系列的DSP48E1切片一個就能完成18x25位的乘法和48位的累加速度可以跑到幾百兆赫茲。我用的芯片是Zynq-7045一共900多個DSP切片理論上可以搭建大量乘累加單元。我的設計采用的是輸出通道并行策略。假設輸入通道數(shù)是3輸出通道數(shù)是64我一次同時計算4個輸出通道。這意味著同一時刻我需要從行緩存中讀取3個通道的窗口數(shù)據(jù)分別送入4組乘累加單元組每組內有9個乘法器和8個加法器用于完成一個輸出像素的計算。這樣總的DSP用量是4乘以9等于36個每個時鐘周期可以產(chǎn)生4個輸出像素值。這里有一個關于循環(huán)拆分的技巧。傳統(tǒng)的卷積實現(xiàn)是遍歷輸出通道、遍歷輸入行、遍歷輸入列、遍歷輸入通道、遍歷卷積核行、遍歷卷積核列六重循環(huán)。在硬件上我需要把這六重循環(huán)中的一部分展開成并行結構。我的經(jīng)驗是把輸出通道循環(huán)展開把輸入通道和卷積核尺寸循環(huán)合并成一個串行累加過程。展開哪個維度、串行哪個維度要根據(jù)DSP資源和數(shù)據(jù)復用率來選擇。如果并行度太高比如一次計算16個輸出通道雖然吞吐量上去了但BRAM的端口數(shù)量可能不夠用。我的行緩存是三通道同時讀BRAM的讀寫端口是有限的當并行輸出通道數(shù)超過BRAM端口能提供的數(shù)據(jù)帶寬時就得做數(shù)據(jù)復制這又會增加資源消耗。所以并行度是一個需要整體權衡的指標不能一味往大了選。我這個項目里4輸出通道并行、3輸入通道同時讀取、9個窗口位置并行計算組合起來是36個乘法器同時工作已經(jīng)完全滿足了1080p30fps的實時要求。2.3 定點數(shù)據(jù)格式與精度分析卷積計算的乘法累加結果需要存儲在特定的數(shù)據(jù)格式里。GPU上跑CNN多用FP32浮點但在FPGA上浮點計算消耗的資源大約是定點的4到5倍。為了節(jié)省資源提高頻率我選擇了INT16定點格式作為主要的存儲格式乘法過程中使用INT16乘以INT8的混合精度。權重我用INT8量化輸入特征圖也用INT8表示但累加器用INT32。原因很簡單兩個8位定點數(shù)相乘結果是16位多個16位結果累加過程中可能溢出到32位所以累加器至少要32位。最后經(jīng)過ReLU激活函數(shù)之前再從INT32截斷回INT16。這個截斷可以用算術右移實現(xiàn)我通過一個scale參數(shù)來控制右移位數(shù)這個scale是在訓練后量化階段標定出來的。很多第一次做FPGA CNN的人會擔心定點化以后精度下降太大。我的實際測試結論是在圖像分類這種任務上INT8量化后Top-1精度損失通常小于0.5%比如在ImageNet上從72.4%降到72.0%左右在目標檢測任務上mAP損失會在1到2個點之間。如果任務對精度特別敏感可以考慮INT16甚至混合精度——但代價是DSP資源翻倍。我踩過一個坑量化時只關注了權重的量化誤差忽略了特征圖的動態(tài)范圍。實際上CNN的中間層特征圖分布差異很大有的層數(shù)值集中在0附近有的層數(shù)值跨度很大用同一個scale值可能讓某一層嚴重失真。我的解決方案是在量化階段逐層統(tǒng)計特征圖的數(shù)值分布為每一層單獨確定scale參數(shù)硬件上為每層配置一個scale寄存器在層切換時更新即可。這塊工作量說大不大但能明顯改善量化后的精度值得認真做。2.4 池化層與激活函數(shù)的硬件化CNN里卷積層之后通常跟著池化層和激活函數(shù)。池化有最大池化和平均池化兩種硬件實現(xiàn)都不復雜。最大池化就是在2x2窗口里取最大值我用4個寄存器暫存一個2x2區(qū)域的像素再用比較器樹分兩級比較得出最大值平均池化則是4個值相加右移2位更簡單。激活函數(shù)我用的是ReLU判斷最高符號位如果是負數(shù)就輸出0正數(shù)就直接透傳。整個邏輯只需要一個多路選擇器加一個符號位判斷一個LUT就能搞定。如果要實現(xiàn)LeakyReLU或者Swish這類更復雜的激活函數(shù)在FPGA上就麻煩一些。LeakyReLU需要乘一個小系數(shù)可以用一個DSP切片Swish需要計算sigmoid這個在FPGA上一般用查找表加分段線性逼近來做開銷會增加不少。我的建議是在設計CNN模型時優(yōu)先選擇ReLU系列激活函數(shù)不僅訓練簡單硬件實現(xiàn)也幾乎是零成本。如果必須用復雜激活函數(shù)盡量放在CPU上處理只在最后幾層用不要在卷積層中間插入太多非線性變換。3. 實時性系統(tǒng)設計與性能優(yōu)化3.1 實時性指標計算與數(shù)據(jù)流規(guī)劃實時性是這個項目的硬指標。我設定的目標是輸入1080p30fps的YUV420圖像整個CNN處理鏈路達到30幀每秒的吞吐率。這意味著每一幀圖像的處理時間必須小于33毫秒。我設計的數(shù)據(jù)流是這樣的DMA從DDR讀取一幀2560x1440的原始圖像數(shù)據(jù)經(jīng)過格式轉換模塊把YUV轉為RGB這一步用流水線加法器和乘法器實現(xiàn)然后送入卷積計算模塊。卷積模塊按行處理每次處理3行窗口輸出一路特征圖。整個過程采用幀級并行流水線——當DMA在搬運第N1幀時卷積模塊正在計算第N幀而后處理模塊正在處理第N-1幀三級流水同時工作每幀的實際處理時間取決于最慢的一級。卷積模塊本身的處理延時是主要瓶頸。即使主頻跑到200MHz每個時鐘周期輸出4個像素一幀1920x1080的圖像需要1920乘以1080除以4約52萬個時鐘周期也就是2.6毫秒。再加上多層卷積串行的累計延時單幀處理時間可以控制在20毫秒以內。33毫秒的預算其實是留了充足余量的。實際規(guī)劃數(shù)據(jù)流時要注意一個容易忽略的點卷積層的輸出特征圖分辨率。很多CNN為了提高精度會在中間層做二分之一或四分之一下采樣特征圖變小了但通道數(shù)變多了。通道數(shù)增加對FPGA的處理能力提出了新要求。我的方案是在特征圖分辨率較小、單層計算量相對減少的情況下可以通過時分復用機制讓同一組乘累加單元分時處理不同的輸出通道提高DSP的利用率。3.2 乒乓緩存與DMA搬運的時序協(xié)同實時系統(tǒng)里最大的坑是數(shù)據(jù)斷流。一旦DDR數(shù)據(jù)搬運跟不上卷積模塊的消費速度整個流水線就會空轉幀率直接跳水。我的解決方法是乒乓緩存。乒乓緩存的意思是把片上的幀緩存分成兩個區(qū)當一個區(qū)在被DMA寫入新數(shù)據(jù)時卷積模塊從另一個區(qū)讀取數(shù)據(jù)。當DMA寫滿一個區(qū)、卷積模塊讀完另一個區(qū)兩個區(qū)進行切換。這樣避免了讀寫同一塊存儲時的仲裁沖突。DMA的搬運和卷積的讀操作在時間上是重疊的數(shù)據(jù)流可以保持連續(xù)不間斷。DMA搬運本身也要做精心的調度。我的做法是使用Xilinx的AXI DMA IP核配置為Scatter-Gather模式把一幀圖像分成多個512字節(jié)的描述符每個描述符指定一段連續(xù)的物理地址。DMA會連續(xù)搬運整個描述符鏈表搬運完成時產(chǎn)生中斷通知ARM核ARM核對下一個描述符鏈表進行重新配置。這樣的好處是DMA連續(xù)工作不需要每次搬運都重新啟動。實操中的時序協(xié)同經(jīng)驗需要讓DMA的突發(fā)傳輸長度匹配DDR的頁大小。比如DDR3的頁大小是8KB突發(fā)傳輸配置為16個256bit的數(shù)據(jù)正好能湊滿一個頁。這樣讀寫DDR時的效率最高不會因為頻繁換行造成額外的懲罰周期。這個細節(jié)我當時是看了Vivado的寄存器讀寫統(tǒng)計才發(fā)現(xiàn)的之前傳輸效率一直上不去后來改成頁大小對齊后帶寬直接提升了30%。3.3 時序約束與關鍵路徑優(yōu)化FPGA設計的最后一步是時序收斂。CNN卷積模塊因為乘累加鏈比較長關鍵路徑往往出現(xiàn)在兩個地方一個是行緩存到乘累加陣列的組合邏輯路徑另一個是累加器鏈上多個DSP串行級聯(lián)的路徑。對于行緩存到乘累加的路徑我的優(yōu)化方法是插入寄存器打拍。行緩存輸出的數(shù)據(jù)經(jīng)過對齊以后先存入寄存器再進入乘法器。這樣一來BRAM的輸出到DSP的輸入就是寄存器到寄存器的路徑布線壓力小很多。代價是增加了一個時鐘周期的延遲但卷積計算是流水線的一個周期的額外延遲完全無所謂。對于累加器鏈問題在于多個DSP級聯(lián)時前一個DSP的輸出直接作為后一個DSP的輸入路徑很長。我的做法是用DSP的DSP48E1內部級聯(lián)功能通過CASCADEIN/CASCAEOUT端口把多個DSP串起來這樣累加過程在DSP內部完成不走通用布線資源延遲可以大幅降低。在Vivado里做約束的時候我建議給卷積核心模塊單獨設置時鐘。如果整個系統(tǒng)只有一個200MHz時鐘卷積模塊、DMA、DDR控制器共用一個時鐘域任何一處時序不收斂都會導致整個設計失敗。更穩(wěn)妥的做法是用PLL生成兩個時鐘一個150MHz給 DDR和DMA使用一個200MHz給卷積核心使用中間通過異步FIFO做跨時鐘域數(shù)據(jù)交換。這樣可以分別優(yōu)化各自的時序收斂的難度會降低不少。3.4 系統(tǒng)級驗證從仿真到板級調試驗證是整個項目里最磨人的階段我把它分成三個層次。第一層是功能仿真用Vivado自帶的仿真器驗證卷積模塊的RTL邏輯是否正確。我準備了兩種測試激勵一種是用C模型生成的隨機數(shù)據(jù)作為輸入比對硬件計算結果和軟件仿真結果是否一致另一種是用PyTorch跑通一個真實的小模型把每一層的輸出導出成二進制文件作為硬件仿真里的參考數(shù)據(jù)。第二層是邏輯綜合加時序仿真。綜合完成后看資源利用率和時序報告確認工作頻率能達到設計要求。時序仿真是帶布線延遲的仿真比功能仿真更接近真實情況。這個階段最容易發(fā)現(xiàn)的問題是復位信號的時序問題——異步復位信號如果有毛刺會導致寄存器進入未知狀態(tài)系統(tǒng)里檢測邏輯經(jīng)常在這種階段出錯。第三層是板級調試。我一直用ILA集成邏輯分析儀作為主要的調試手段。在關鍵信號上插入探針比如行緩存的控制狀態(tài)機、乒乓緩存的切換信號、DMA的搬運完成中斷。有一次在板子上發(fā)現(xiàn)輸出的圖像有規(guī)律性的條紋用ILA抓取數(shù)據(jù)后發(fā)現(xiàn)是行緩存切換時讀地址延遲了一個周期導致行數(shù)據(jù)錯位。這個bug在仿真里不好復現(xiàn)因為仿真用的是理想時鐘真實板子的時鐘相位噪聲會暴露這類問題。板級調試還要注意電源的穩(wěn)定性。CNN計算全速運行的時候FPGA內核電壓的電流需求會突然增大如果電源的紋波過大可能導致DSP單元的計算結果出錯。我給核心電壓加了幾個大容量去耦電容并且用示波器確認了動態(tài)壓降在50mV以內才敢放心跑全速。4. 常見問題與排查技巧實錄4.1 數(shù)據(jù)路徑問題圖像花屏、錯位、顏色混亂這類問題在FPGA圖像處理項目里幾乎必然遇到。我經(jīng)歷過的主要有幾種現(xiàn)象對應不同的根因問題現(xiàn)象圖像顯示錯位水平方向隔一段就有一條錯開的線。大概率是行緩存讀地址或DMA搬運的突發(fā)長度與圖像寬度不匹配。比如圖像寬度是1920像素但DMA搬一次突發(fā)傳輸了2048像素多出來的128像素會導致后續(xù)行數(shù)據(jù)錯開。解決辦法是在DMA描述符里精確配置圖像的線性緩沖長度并逐行對齊。問題現(xiàn)象顏色通道錯亂紅的變藍、藍的變綠。這是YUV422或YUV420轉RGB時的采樣位置沒對齊導致的。YUV420的UV分量分辨率只有Y的一半UV采樣位置錯一個像素就會導致整個畫面顏色偏掉。我寫了一個專門的測試圖樣比如純紅、純綠、純藍的色塊逐塊確認轉換結果。問題現(xiàn)象圖像閃爍或偶發(fā)花屏。這類隨機性問題先查DMA的地址連續(xù)性和DDR的訪問沖突。我在DMA中斷處理里加入了幀計數(shù)和地址回讀確認每一幀的搬運源地址和預期一致。另一個常見原因是DDR控制器的刷新周期和DMA的實時帶寬要求沖突調整DDR控制器的仲裁策略可以緩解。4.2 時序收斂問題關鍵路徑超時和布局布線的博弈Vivado的時序報告經(jīng)常讓人頭大。報紅色的路徑可能長達幾十納秒遠超時鐘周期。我的經(jīng)驗是先看報告里是哪一段路徑再決定處理方式。如果關鍵路徑是LUT到LUT的組合邏輯通常是因為邏輯層級太深。比如計算窗口均值時累加器鏈超過了5級就要考慮改用DSP切片或者重新做運算樹的平衡。乘累加陣列的求和樹我一般用4輸入加法器構成平衡樹而非簡單的串行加法這樣邏輯深度從9級降到3級。如果是DSP到BRAM的路徑超時可能是數(shù)據(jù)位寬太大導致布線延遲增加。比如累加結果是32位但BRAM輸入只需要16位就應該在數(shù)據(jù)寫入BRAM之前做截斷寄存避免大位寬信號走太遠。另外值得一提的是Vivado的物理綜合選項比如phys_opt_design的INSERT_SLL選項有時候效果奇好用一下可能直接讓時序過線。4.3 資源沖突問題BRAM和DSP的合理分配FPGA里的BRAM和DSP數(shù)量有限設計過程中經(jīng)常出現(xiàn)資源不夠或者利用率極低的情況。我的建議是先用綜合報告看各個模塊的資源消耗找出最吃資源的模塊。BRAM資源不夠的常見原因是緩存圖像數(shù)據(jù)的行緩存過深。比如4K分辨率的行緩存每行3840像素16bit寬度三個通道再加雙緩沖需要的內存就非??捎^。如果芯片BRAM不夠用可以把行緩存改小用分塊處理的方法比如把圖像分成上下兩個半幀分別卷積再拼接結果。DSP資源不夠的時候優(yōu)先檢查有沒有在不需要的地方用了乘法器。比如計算卷積結果使用了乘法器的同時如果某個控制信號的計算也用了乘法器就會出現(xiàn)浪費??刂菩盘柕某朔梢愿挠靡莆患臃ǖ男问焦?jié)省DSP給真正的卷積計算。4.4 實現(xiàn)精度和實測性能的對賬方法最后養(yǎng)成一個習慣每個版本都能對照實測結果和理論預測的差距。如果實測幀率比理論值低很多先從數(shù)據(jù)斷流找原因如果實測功耗比預測值高很多先從數(shù)據(jù)翻轉率找原因。我在完成當前版本后對著Vivado的報告把整體項目的資源利用率、DSP利用率、BRAM利用率、時鐘頻率、整幀處理時延記錄在一張表里方便后期做性能基準和版本對比。5. 項目優(yōu)化過程和后續(xù)演進方向5.1 第一版到第三版的性能迭代記錄這個項目我一共經(jīng)歷了三版大的迭代。第一版用HLS快速原型主頻能跑到150MHz處理1080p30fps勉強夠但資源利用率很高DSP幾乎占滿沒有留下任何余量。第二版換成手寫Verilog重構核心模塊主頻提升到180MHzDSP利用率降到60%并且加入了乒乓緩存和DMA分塊搬運數(shù)據(jù)流順暢了很多。第三版進一步優(yōu)化了累加器樹的邏輯深度和BRAM的使用策略主頻穩(wěn)定在200MHz整幀處理時間控制在15毫秒以內已經(jīng)完全滿足實時性要求。每一次迭代我都會更新一個性能對比表把主頻、資源、幀率、功耗的記錄保存下來。這樣后期如果要換芯片做國產(chǎn)化替代也可以直接參考這些數(shù)據(jù)。5.2 從單模型到多模型模型切換與動態(tài)配置項目后期的一個新需求是同一個硬件平臺支持多個CNN模型切換。比如一個模型做圖像分類一個模型做物體檢測系統(tǒng)根據(jù)應用場景動態(tài)加載對應模型。硬件上卷積模塊本身是通用的切換模型只需要更新權重存儲器的內容。我在DDR里劃分了一個模型區(qū)ARM啟動時把模型文件解析成權重二進制通過DMA寫到FPGA的權重BRAM中。整個模型切換時間控制在200毫秒以內不影響業(yè)務邏輯的實時性。權重存儲是個容易被忽略的細節(jié)。一個典型的CNN模型5層卷積的權重可能有幾十MBFPGA片上BRAM放不下只能放在DDR。我的做法是把權重也按行緩存的思路組織卷積計算到某一層時才把該層權重從DDR預取到片上權重緩存中。這樣既保證了計算連續(xù)性又不浪費BRAM資源。5.3 關于后續(xù)可以嘗試的新方向如果繼續(xù)往深處做我建議關注這幾個方向一是模型壓縮配合硬件設計比如對權重做剪枝后硬件的計算和存儲都能進一步節(jié)省二是嘗試更先進的封裝架構比如把多個FPGA組成集群做更大模型的并行推理三是在FPGA上集成更多AI算子比如目前CNN中常見的卷積層之外的注意力機制和Transformer模塊。FPGA的優(yōu)勢在于靈活自定義這些新方向的硬件化實現(xiàn)都是可以持續(xù)深挖的課題。說句實在話FPGA做CNN并不輕松比起調包調參的軟件玩法它的每個細節(jié)都需要硬件工程師親自打磨。但當你看到攝像頭拍進來的畫面經(jīng)過自己寫的硬件管線實時輸出識別結果的那一刻那種成就感是純粹的軟件實現(xiàn)給不了的。如果這個項目讓你對FPGA加速深度學習產(chǎn)生了興趣建議先從一個最簡單的單層卷積開始把行緩存和乘累加陣列調通再逐步加層、加優(yōu)化這條路走下來收獲會非常大。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷六月天精品| 日本一道久久| 婷婷激情五月| 丁香六月婷婷色播| 婷婷五月天成人综合网| 亚洲婷婷在线播放十月| 久久五月天色婷婷| 五月丁香狠狠爱婷婷综合| 五月色婷| 97欧美在线| 五月天合网| 99热精品超碰| 大香蕉AV电影在线| 国产又粗又大又爽又黄| 欧美三级欧美一级| 一起草AV入口| 丁香五月激情网| 26uuu最新地址| 只有精品视频在线观看| 大香蕉婷婷丁香视频在线| 日韩人妻AV在线| 色五月超碰| 日本va视频| 狠狠色色| 亭亭五月丁香综合欧美| 亚洲av免费在线| 久久44| 五月天天天色| 丁香五月综合| 伊人五月婷婷| 超碰97免费在线| 99热精品9| 久久色五月| 99黄色在线视频精品熟女| 久久五月婷天天干| 极品精品一区二区三区在线| 天天插天天干| 中字幕视频在线永久在线观看免费| 美国十月色婷婷在线观看| 热这里| 五月色婷婷亚洲| 超级碰碰碰碰视频| 久久婷婷丁香| 99人妻碰碰碰久久久久禁片| 亚洲丁香花色| 天天爽成人综合网站| 人妻视频在线| 婷婷丁香五另类网站| 超级碰碰视频无码| 国产黄色av| 99cao婷婷| 97干欧美| 五月天成人综合| 综合色影院| 欧美这里只有精品| 色婷婷19| 五月婷婷性爱| 五月丁小婷婷激情四射| 亚洲视频在线网| 免费无码毛片一区二区A片| 日韩色久| 五月丁香六月色| 亚洲AV成人在线| 91婷婷色 | 99九九视屏| 亚洲欧洲色色| 色青五月天| 全国最新疫情| 开心激情网在线| 丁香婷婷激情网站| 五月婷婷亚洲色视频| www.热99热| 99re这里有精品手机在线| 国产阿姨日皮艹逼内射视频| 亚洲小视频| 婷婷五月天在婷| xfplayav在线| 日本va欧美va国产激情| 色色免费网站| 六月丁香啪啪啪| 伊人激情AV一区二区三区| 色久综合| 欧美日本高清视频99| 九九精品re免费视频| 丁香五月婷婷激情中文| 丁香五月大香蕉| 大香蕉伊人久久| 精a品a视a频| 五月天久久婷婷婷| 美女五月狠狠| www.99视频| 成人亚洲精品久久久久| 黄色91在线观看| 丁香九九九九| www国产亚洲色婷婷com| 人人操97| 婷婷丁香九色| 欧洲毛片基地c区| 亚洲天堂久久| 狠狠 久久| 久久一品区| 91操网| 91精品电影18T| 婷婷五月精品中文字幕| 国产成人网| 狠狠狠狠狠狠| 色综合狠狠色| 99热这里精| 色色射| 婷婷无码视频| 在线观看日韩12345区| 国产黄色一级片| 婷婷五月色| 成人婷婷五月| 精品激情| 六月丁香成人| 婷婷五月天激情综合深爱| 俺去也五月天婷婷| 极品人妻VIDEOSSS人妻| 99碰碰视频| 99热综合在线观看| 97干在线| 中文字幕丰满人妻无码专区| 色性日本| 图片区 小说区 区 亚洲五月| 九色亚洲| 丁香亚洲婷婷五月| 99热精品中文字幕| 激情久久丁香| 久久久久人妻中文| 亚洲精品无码一区二区| 国产精品久久久久久白浆色欲| 亚洲激情丁香五月基地| 色99在线观看| 人人操人人添人人摸97| 色五月婷婷丁香婷婷| 日韩色久| 久久久五月四色| 成人婷99最新| 日日日日日| 99热精品在线播放| 综合网啪啪| 69激情小说| 婷婷色婷婷| www.夜夜爱.com| 4399在线观看免费高清电视剧| 丁香五月婷婷色情综合| 爆乳熟妇一区二区三区四区| 99免费成人网| 99婷婷| 久久9RE热视频精品98| 99热日韩这里只有精品| 色色婷婷五月| 大香蕉婷婷| 俺去也五月| 青青久在线视频免费观看| 久热综合| 婷婷色中文字幕| 91视频久久久| 婷婷丁香五月天激情| 三级毛片视频| dingxiangtingtingliuyue| 亚洲欧美成人在线| 亚洲综合激| 综合久久综合久久| 欧美超碰人人| 久久丁香五月天| 91色呦哟| 五月激情五月婷婷五月天在线| 中文人妻AV久久人妻18| 五月色无码| 五月丁香激情综合| 亚洲婷婷五月草久| 婷婷五月激情黄色| 久久久精品人妻录| 亚洲视频久久| 91青娱乐青青草| 婷婷丁香五月基地| 精品网站:999WWW| 久久艹网| 日韩成人中文字幕| 激情五月激情综合俺也去婷婷小说| 色99视频| 伊人色综合影院视频| 丁香五月偷拍| 色色激情| 九九婷婷网五月天| 免費亭亭成人| 伊人爱爱日本| 狠狠色综合网| 亚洲另类在线观看| 农村熟妇高潮精品A片| 婷婷五月天激情四射五月天激情| 国产精品人成A片一区二区| 色墦五月丁香| 可以直接看的AV网站| 天天爱天天天射AV| 久9免费视频| 激情綜合網址| 思思久久99| 久热这里只有精品在线观看 | 五月天涩涩| 伊人影院久久网| 久久婷婷五月| 婷婷五月天AV网| 欧洲色| 丁香欧美| 天天综合网~91综合网| 婷婷久久五月| 噜噜网免费视频| 婷婷五月综合色中文字幕| 欧美va在线观看| 久久刺激网| 天天综合精品| 丁香五月乱中文字幕| 青青日韩| 亚洲激情网| 丁香网五月网| 97碰| 97色射| 99热只有这里有精品| 另类精品视频在线观看| 大战熟女丰满人妻AV| 天天干天天射色综合| 国产97色在线 | 日韩| 99精品在这里| 天天碰夜夜爽| 日日天天天| 五月婷婷视频| 五月婷婷综合激情| 79精品视频| 任你操精品免费| www.日日夜夜.com| 99精品在这里| 激情5月婷婷狠狠干| 久久久久久久久久久久63| 婷婷欧美综合| 天天操天天草天天草天天| 九九十99视频| 天天碰夜夜爽| 麻豆科斗777| 久久男人网婷婷| AV在线免费播放| 久香草视频在线观看| 五月五月婷婷| 五月丁香六月激情网站| 九九这里都是精品| 另类激情综合| www五月天激情com| 激情深爱五月婷婷| 丁香天堂夜| 中文av网站| 亚洲bt丁香五月天婷婷激情小说| WWW·天天操·视频?| 色综合色综合色综合| 91成人性爱视频| 久久久精品人妻录| 9999热精品在线免费播放| 色色影院黄大片| 五月丁香久久| 青青草成人网| 色婷婷丁香五月在线观看| 成人色站,在线视频,看片-SS1AV| 日本欧美国产| 毛v一区二区视频| 免费看欧美成人A片无码 | 日日鲁鲁鲁夜夜爽爽狠狠视频97| 激情五月婷婷五月| 超碰91在线| 性爱视频99| 五月婷色丁香| 香蕉婷婷色五月| 国产成人AV在线播放| 99热人人艹| 亚洲色热| 久热大香蕉| 中文av网站| 婷婷五月丁香婷婷| 中文字幕簧片| www.狠狠操.con| 久久五月丁香婷婷| 任你擦免费视频| 超碰永久在线| 91啦丨九色丨刺激中文| 午夜AV网| 色都都狠狠色都都色综合色| 五月色情精品| 97成人在线视频| 免费看欧美成人A片无码| 色99视频| 天天日天天爽| 天天干天天插| 97精品人人A片免费看| 九九伊人网| 综合五月婷婷| 99热99色| αv中文字幕在线观| 激情五月丁香五月| 色999亚洲人成色| www.射伊蕉婷婷| 人人摸人人| 亚洲激情婷婷| 97色天堂| 丁香五月色网| 丁香婷婷久久 | 色情五月天首页| 丁香伊人综合| 五月婷婷丁香色吧网| 婷婷的五月天另类视频| 精品九九久久| 亚洲AV无码一区二| 色综合久久88色综合天天99| 婷丁五月| 热久久国产视频| 99精品视频在线免费观看| 色丁香五月天射婷婷爱婷婷| 亚洲 在线 性爱| www.色窝| www,天天干| 五月丁香啪啪| 久久久婷婷婷| 69精品人人人人| 国产AV熟妇人震精品一品二区 | 91精品综合久久久久久五月丁香| 五月婷婷,六月激情| 丁香五月成人在线| 日日干日日| 日韩操逼大片| 婷婷激情五月| 人妻视频一区而且二区| 色综合中文| 99久久99久久综合| 天天色情站| 婷婷五六日| 欧美噜一噜| 丁香婷婷色情社区成人小说| 丁香五月手机在线| 人人操av| 精品九九网| 亚洲AV综合网| 九六五月天婷婷| 色五开心五月五月深深爱| 五月激情六月综合| 色色色综合| 2025超碰| 99日本在线| 99在线免费视| 色99色| 超碰在线人妻| 三十路磁力链接| 丁香婷婷基地| 涩五月婷婷| 色五月丁香A欧美com| 激情丁香久久| 99热首页在线30| 色五月婷婷亚洲| 91人人爽狠狠狠| 99精品偷自拍| 日本成人综合| 另类图片婷婷五月天| 五月婷婷色综图片| 婷婷综合九色伊人| 色色婷| 婷婷五月综合啪| 99色综合| 99久热视频在线| www.色色五月天.com| 色狠狠激情五月| 99热这里只有精品免费观看| 天天日天天色| 激情五月婷婷啪啪| 欧美猛片| 色婷婷五月综合| 天天视频精品9| 9精品视频在线观看| 丁香五月激情天AV无码| 天天肏高清在线| 中文字幕在线免费看线人| 超碰人人99| 狠狠999| 99视频九九热| 久久久久五月丁香| 69激情小说| 五月丁香啪啪激情| 久久婷婷草| 色五月婷婷、老熟女| 热99精品视频五月| 大香蕉视频99| 甈吧vv| 日本三级韩三级99久久| 国产成人在线不卡AV| www.五月天。com| 操碰97| 婷婷伊人五月丁香天堂网| 亚洲亚洲激情| 五月天久久久| 激情综合网五月在线播放| 日日噜狠狠色| 五月婷狠狠| 激情五月婷婷欧美极品| 91ncom.色| 丁香花操逼| 99久久综合精品五月天| 乱岳熟女50岁| 色狠狠五月天| 欧美色五月| 影音先锋 一区| 五月天色视频| 大香焦A∨| 狠狠操天天日| 超碰免费人| 亚洲精品操一操、噜一噜、摸一摸、爽| 色碰碰| 99人人操| 九九99九九99九九99视频网| 婷婷午夜精品久久久| 日亚二欧美| 四川操逼站| 五月婷婷婷婷| 亚洲色综久久五月| 成人在线日韩欧美| 2017狠狠干| 五月婷婷综合在线| 97色在线观看视频| 日本精品99网站| 九九色院| 五月婷婷啪啪| 五月综合激情久久| 欧美美女视频| 色婷婷五月天堂资源| 成人免费120分钟啪啪| 这里只精品| 亚洲高清在线| 艹| 在线中文字幕免费视频| 婷婷六月久久综合导航| 午夜丁香六月婷| 激情五月天综合网| 91久久综合| 亚州色婷婷| 91丨九色丨大屁股| 中文字幕网伦射乱中文| www.六月丁香看AV| WWW·色色色·COM| 色色色色五月| 天天色综合色| 亚洲人人艹| 色狠狠婷婷| 超碰99热精品| 天天日,天天插| 26uuu.| 亚洲V国产V欧美V久久久久久| 3p日韩网站视频| 天天插操| 天堂综合久| 91狠狠综合久久| 99欧美| 九九久久五月天综合伊人| 丁香五月97视频| 91狠狠色丁香| 看婷婷五月天网| 性av| 久久久五月五丁香| 天天日日天天| 影音先锋91资源站| 99日韩| 丁香五月婷在线观看| 五月天婷婷色情| 99亚洲精品视频| 婷婷成人丁香色情基地30 | 日本99视频| 亚洲国产无线乱码在线观看| 狠狠干无码| 天天操无码| 丁香网站| 激情综合色婷婷啪啪六月天| 97干婷婷五月天| 国产九月婷婷| 99色色视频| 99热精地址| 婷婷免费无马| 人人妖人人97| 色色色综合色| 激情六月天婷婷| 五月丁香啪啪| 999九九九久久久99HD| 婷婷久久综合久| 99视频这里只有久久精品 | 日本啪啪天堂| 另类亚洲电影| 国色天香成人网| 亚洲综合色网| 国产热精品| 色99热| 五月丁香六月片| 色婷婷偷拍| 99er在线观看| 婷婷爱在线观看| 国产伊人大香蕉| 婷婷五月综合激情| 五月婷婷色综图片| 婷婷五月激情视频| 色婷婷综合五月| 日本97在线视频| 丁香婷婷狠狠97| 97精品综合| 人人摸人人干人人做| 操人91| 五月婷婷丁香五月| 丁香五月婷婷国产av| 天天干天天色综合| 久热综合| 第四色大香蕉| 五月天亚洲综合网| 五月天激情啪啪| 九九热10| 丁香五月花婷婷开心| 丁香五月性爱爱五月| 精品一二三区久久AAA片| 99性爱视频| 色天天综合成人网| 青青草护士中出内射-欧美电影在线天堂新版 | 影音先锋秋秋五月婷婷| 91狠狠色丁香婷婷综合久久精品| 久久综合爱| 欧美性丁香色色五月天干干| 99re思思久久| 999热成人在线综合网| www。狠狠干。com| 99在线观看视频免费| 欧美大香蕉视频| 丁香五婷| 超碰国产在线观看| 色婷婷四色| 激情五月婷色| 9色在线视频精品观看| 色99视频| 天天综合精品| 久久99国产综合精品免费| 在线看片av| 婷婷五月天综合在线| 婷婷五月无码| 五月婷婷香| 午夜丁香五月天综合| 婷婷五月天a| 99视频精品8 | 超碰超碰在线| 九九色播五月丁香| 99在线热| 五月天激情图片| 国产精品色色| 亚洲六月婷| 五月丁香色婷婷熟女| 五月婷婷色吧!| 婷婷五月天另类网站| 婷婷五月天首页| 天天干、天天日日| 欧美色婷婷| 久久天天| 久热综合| 在线综合网| 狠狠干婷婷| 亚洲免费看片| 91 影音先锋| 欧美A片在线视频免费观看| 婷婷五月色播天| 伊人激情综合| 超碰猛烈的性猛交| 亚洲综人色综网| 深爱五月综合网| 新99色色色色色色| 婷婷五月天干干| 激情五月天影院| 久久视频婷婷| 五月六月丁香婷婷在线观看| 婷婷六月激情丁香| 五月婷婷69| www.色色五月天.com| 五月综合丁香婷婷| 五月天激情视频| 婷婷激情久久| 久久艹网| 青青.com| 久热这里只有精品99re,久热这里只有精品7| 丁香五月综合亚洲| 美国十月色婷婷在线观看| 综合久久人妻| 色综合婷婷| 欧美色五月| 影音先锋男人av资源站| 9191avse| 色婷激情网| 五月丁香六月在线| 五月丁香综合啪啪| 毛片九九九九九九| 亚洲精品99| 九九亚洲小视频| 天天爱天天吃狠天天透| 久热婷婷| av操逼网| 黄色AV日韩| 伊人婷婷五月| 狼人久草| 玩熟女五十AV一二三区| 久天综合| 蜜乳中文字| 色婷五月天激情| 丁香婷婷黄网站| 婷婷丁香五月亚洲欧美| 婷婷五月AA五月在线| 99热久只有| 五月婷婷真爱激情网| 亚洲热综合| 五月色亭丁香| 激情综合五月激情XXXX| 五月丁香六月婷婷综合网缴情| 久久新地址| 国产av网| 婷婷五月在线免费| 欧美五月婷婷| 中文字幕日产A片在线看| 人妻激情视频| 人人操人人爱丁香五月| 久久久久久人妻| 五月婷婷丁香网| 激情五月丁香色婷婷| 99综合激情久久精品久久| 色情五月婷婷| 99丁香五月婷婷在线| 婷婷开心青青草| 丁香五月婷婷AV| 日韩av在线播放综合网| 一根材五月婷成人| www.久久99热地址发布| 超PEN精品在线| 九九热这里只有精品556| www,天天干| 婷婷中合| 色婷婷成人在线| 五月婷婷六月丁香| 五月丁香激| 久机视频这只有精品| 免费视频WWW在线观看网站| 婷婷射综合| 五月丁香六月综合激情无码软件亮点 | 久久综合五月天激情小说网站| 婷婷五月激情的图片| 日本天堂免费99| 91n啪啪| 色色色色色色色色色999| 丁香成人五月天| 96精品久久久久久久久| 在线观看婷婷5月| 超碰人人摸人人操| 色综合五月在线| 五月丁香综合网| 伦乱天堂| 在线观看欧美| 99在线综合视频| 男女啪啪视频久 9| 婷婷久久六月天| 拍真实国产伦偷精品| 激情婷婷丁香五月天小说| 91超碰在线观看| 综合 蜜月 婷婷| 天天谢天天操| 91综合网| 亚洲VA口| 日韩 中文 欧美| 日韩精品一品二区三区的使用体验| 少妇性按摩无码中文A片 | 激情综合六月| 久草视频大香蕉99| 丁香婷婷基地| 九九综合网色全集 | 超碰成人电影| 亚洲综合1024| 久久人妻久久| 日本va欧美va精品发布视频| 国产精品久久久久久久久久免费| av在线免费播放| 99啪啪| 99久久久国产大片区| 婷婷五月成人| 婷婷五月天深爱| 激情五月天。| 色五月在线播放| 久久久久久久8| AV在线免费网站| 久久激情视频99| 婷婷亚洲综合| 日日艹思思热| 久久玖玖综合| 午夜丁香婷婷| 色之综合网| 亚洲第一成人无码A片| 丁香婷在线| 综合另类激情| 色99在线观看| 激情桃色网| 国产午夜精品一区二区三区四区| 婷婷五月天亚洲综合| 壅壅儕家a| 丰满人妻一区二区三区| 色婷五月| 99婷婷精品推荐在线视频| 天天久久综合| yw国产AV| 丁香五月香蕉| 五月天婷婷色小说| 99久热精品在线| 国产亚洲99久久精品| 五月激情精品视频| 97在线/日本| 可以看的AV| 五月激情丁香六月狠狠干| 五月丁香婷婷钟和色图| 伊人婷婷色| 婷婷精品在线| 婷婷五月天99综合网站| 啪啪婷婷五月天激情| 99er6免费视频热播| 玖玖福利视频资源| 亚洲啪啪精品| 激情五月综合网| 精品久久艹| 五月天色导航婷婷资源婷婷| 九热视频在线伦| 日韩成人免费电影| 99色视频免费在线规看| 337p大胆噜噜噜噜噜91Av| 大色鬼综合| 色综合久久88色综合天天看| 婷婷五月天激情文学小说| 九九99九九精品免费 | 五月激情精品视频| 超碰国产av| 五月天开心网| 思思热视频在线| 亚洲久久视频| 97九色视频| 丁香五月婷婷社区| 日日.c| 欧美色色网| 五月天AV大香蕉| 亚洲亚洲人成综合网络| 日本在线视频www色| 超碰狠狠色| 国产亚洲99久久精品| 久久日婷婷| 99操99| 天天综合精品| 午夜电影网VA内射| 性色欲情 网站| 色99在线看| 97人人干视频| 涩五月婷婷| 超碰超碰在线| 天天插天天爽| 日本激情五月天‘| 色八月婷婷| 热久国产| 欧美色色日韩| 成人做爰A片免费看视频 | 成人做爰A片免费看网站找不到了| 嫩草视频在线观看| 四月丁香五月婷婷久久| 五月天激情开心网| 美女100%露全身无挡网站| 在线播放中文字幕| 五月婷婷丁香大陆免费| 91精品综合久久久五月天| 强辱丰满人妻HD中文字幕| 噜噜在线| 色色色色综合| 综合色99| 亚洲另类婷婷综合| 操日视频| 日日夜夜干| 六月丁香六月婷婷欧美| 亚洲夜夜操| 五月丁香六月婷婷久久久综合| 六月综和久久| 伊人影音无码一区二区三区| 欧美日韩成人免费在线| 六月丁香六月婷婷欧美| 干一干xxxx| 2016日日夜夜操| 4399高清无码视频| 九九热婷婷| 日韩色色一区| 97日本在线| 久操人| 人人妻人人澡人人爽| 丁香六月综合| 五月婷婷丁香综合,亚洲天堂| 26uuu成人网| 亚洲黄色操逼| 98热精品| 激情五月色综合网| 激情中文在线| 色色免费网站| 丁香九月婷| 日韩啪啪视频| 精品视频这里只有精品| 久久五月视频| 97色五月天| 六月婷伊人| 97色伦另类图片小说视频 | 久久这里只有国产视频| 日本va欧美va欧美va| 99无码黄色视频| 色综合伊人网| 精品99视频| 久久婷婷啪啪视频| 日日爽夜夜爽| 九九热在线视频观看| 91色色色| 色色综合网www| 亚洲视频在线网| 九九偷拍网| 婷婷五月香蕉| 欧美激情综合色综合啪啪五月| 男男野外做爰全过程69| 99热每日| 五月天婷综合| 亚洲欧美综合7777色婷婷| 99精在线| 婷婷五月丁香亚洲| 亚洲4区国产欧美| 久久久WWW| 啪啪啪啪五月天| 丁香五月婷久久| 99在线观看精品| 超碰99在线观看| 色狠狠婷婷| 1区2区视频| 五月天婷婷综合久久| 久色中文| 色七七九九| 大香蕉综合在线| 丁香情色五月| 天天肏在线观看| 操操啪| 亚洲婷婷丁香五月视频| 五月丁香欧美综合| 色情五月婷婷| 色综合色香蕉网| 婷婷丁香九月| www·五月天| 另类小说五月天| 这里只有精品视频| 91丨九色丨国产在线| 综合狠狠伊人| 六月色播| 人妻久久久| 99伊人婷婷在线| 热99精品视频观看| 99热综合网| 无码少妇高潮喷水A片免费| 色婷青青| 婷婷色中文字幕| 天天做天天爱天天爽综合网| 色一情一乱一乱一区91Av| 婷婷综合日本| 丁香久久五月天视频在线观看| 丁香六月久久| 激情五月婷色| 婷婷五月天色网久| 伊人激情综合网| www.玖玖婷婷在线| 国产伊人五月天| 另类A片| 久久丁香婷| 5月婷婷视频网站综合| 天天插天天爱| 五月天婷婷丁香成人网| 超碰9| www激情婷婷com| 丁香六月天| 日韩啪| 五月丁香啪啪网| 婷婷五月天免费99| 妻久久久久| 天天婷婷综合亚洲亚洲| 国产黄大片在线观看画质优化| 激情av在线| 狠狠插日日干撸| 熟女人妻一区二区三区免费看| 五月婷婷与六月丁香图片激情| 国产精品色婷婷AV综合色色| 777精品久无码人妻蜜桃| 丁香色色色| 激情五月天网站| 国产高清视频91九九九久久久| 91艹人| 91综合在线| 婷婷婷久久久| 中文在线视频久1| 久久五月婷综合| 激情综合网,五月| 丁香六月啪啪| 激情九九六月激情免费视频| 99热精品中文字幕| 九九热视频在线观看| 狠狠爱综合网| 久久色婷婷| 亚洲视频操| 久久久久久久久99精品| 成人人操| 色五月婷婷五月天| 激情综合网站| 久色| 99热在线看片| 思思99久久| 特级操b片| 九九热免费视频| 久xxxx| 亚洲色频| 综合玖玖偷拍| 欧美这里只有精品| 国产色香蕉精品五夜婷| 99精品视频网站| 五月丁香综合影院| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 国内裸舞二区| 激情深爱五月天| 美女亚洲五月丁香| 精品人妻伦一二三区久久| 狠狠色噜噜狠狠色噜噜噜999| 97人人干人人操| 亚洲欧美成人在线| 欧美色图天堂网| 琪琪色热色色| 五月丁香好婷婷A片网| 欧美啪啪9| 在线不卡视频| 色五月开心婷婷| 9色在线| 五月天久久婷婷婷| 成人草榴视频| 五月婷丁香在线视频在线| 五月开心激情| 丁香婷婷综合五月天| 免费视频在线观看的网站| 情涩婷婷五月天| 大香蕉天堂色| 丁香五月激情五月| 久久婷婷激情四射五月天| 亚洲无码99| 伊人五月天综合网| 777精品久无码人妻蜜桃| 久久综合天天综合| 九月丁香欧美综合| 欧美精品99| 天天做天天爰天天爽天天无遮挡| 成人龟情网丁香五月| 狠狠狠色激情综合适合| 婷婷的99视频网站| 91人人人人人| 丁香婷婷五月综合影院| 久久青青日本视频| 色色免费网站| 欧美日韓成人亚洲精品另类| av电影在线播放| 欧美日韩成人免费在线| 五月综合激情图片 | 狠狠色性| 丁香六月婷婷久久亚洲天堂| 97久久精品| 色噜噜伊人| 色色亚洲99com| 婷婷大乡焦噜噜| 色VA| 超级碰 久久9| 97久久久| 久热这里只有精品66| 婷婷五月色惰| 久久99视频| 久久思思精品| 九玖视频这里只有精品| 操B无码视频国语| 狠狠爱婷婷爱| 亚洲色情激情丁香五月| 久久一品区| AA丁香综合激情| 婷婷五月激情在线| 99综合网| 99热九九九九| 婷婷综合五月| 综合激情视频| 99热思思在线观看| 97香蕉人人在线观看| 久久激情网| 5五月综合网亚洲| 亚洲亚洲激情| 久久婷婷激情四射五月天| 九月丁香婷婷| 婷婷色导航| 丁香久色| 日韩色五月| 国产午夜精品一区二区三区四区| 日本色天堂| 天天情色五月天| 色欲婷婷五月天| 伊大人久久| 成人va在线播放| 婷婷色丁香六月| 97色色色色| 大香蕉久热| 99热个人在线| 香蕉狠狠爱视频| 日日撸日日操| 天天噜天天插| 色 五月 天 婷婷 丁香 九月| 深爱激情五月天| 色欲午夜无码久久久久久张津瑜| 99热这里只有精品96| 99久久久久| 婷婷五月天天激情| 国产乱子轮XXX农村| 91热爆在线| 五月天播播| caopeng97日韩| 在线99热| 五月婷中文字幕| 任你搞在线观看视频| 成人国产欧美大片一区| 五月天婷婷影院| 99热在线中文字幕| 色播播五月天| 极品 少妇 内射| 外国碰视频网站97| 五月天婷婷激情在线色图| 久久大大香| 狠狠CAO日日穞夜夜穞AV| 超碰91人人操| 久久九九色| 日韩在线婷婷五月天综合| 亭亭丁香久久五月| 五月丁香婷婷综合| www.sebowuyue| 亚洲第二AV| 秋霞av不能| 九九亚洲天堂| 久久精品99国产精品日本| 偷拍五月丁香| 婷婷五月色情天| 久久久999精品| 五月天开心婷婷激情网站| 五月综合缴情网| 操丝袜视频影院导航| 色欲五月天| 5月丁香婷婷| 久婷婷五月激情| 五月丁香怕啪啪| 五月天日日操夜夜操 | 亚洲色综合性| 色丁香影院| 这里只有精品9| 六月丁香婷婷在线波多 | 婷婷色综合| 欧美色五月| 五月天色色色| 国产精品久久久爽爽爽麻豆色哟哟| 538在线精品| 伊人在线视频| 亚洲AV成人无码精品| 99超碰欧美| 亚洲啪啪精品| 99视频在线播放大全| 99碰| www.久久爱| 99开心五月五月丁香激情| 婷婷色激情网| 成人色情五月天婷婷丁香| 99热这里只有在线播放| 久草五月天电影网| 亚洲色欲AAAAAA| 亚洲色A| 深爱激情六月天| 99热亚洲| 婷婷无码视频| 激情五月天网| 国产毛片精品一区二区色欲黄A片| 99视频在线| 综合AV网| 黄色短视频在线观看| 任我肏视频精品| 99热99操| 亭亭玉立国色天香| 天天摸,天天爽| 婷婷色五月天综合网| av狠狠操| 日韩av在线电影| 色婷婷综合网| 91色噜噜狠狠狠狠色综合| 国产精品大香蕉| 日本色色影片| 超碰99热在线观看| 影音先锋一区| 日韩欧美四五区| 天天日日综合| 久草五月婷婷| 亚洲激情综合| 国产做爰视频免费播放| 婷婷WWW久久| 久9免费视频| 伊人春天av| 97韩国久久电影院| 综合五月丁香六月婷婷| 日日天天干| 色色色五月天婷婷| www久久艹| 丁香香五月激情免费视频| 99国产性感视频| 任你草| 成熟妇人A片免费看网站| 大香蕉在线观看9| 婷婷久久大香蕉| 五月丁香直播| 色婷婷超碰| 中文字幕按摩做爰| 日韩激情网站| 色五月激情问网站| 看国产探花操逼三级片| 国产成人av在线播放| 五月婷婷香蕉| 色色五月天网站| 五月婷婷香蕉| 婷婷丁香五另类网站| 超碰在线日夜| yellow视频在线观看91| 婷婷综合六| 九九色综合网| 日逼AV影音先锋男人资源站| 热久久这里只有三级视频| 久久婷婷精品| 久久久久久久合一狠狠做深爱| 超碰在线人妻| 日韩小视频在线99| 色色激情| www.99情趣网| 亚洲无AV在线中文字幕| 色色色99| 五月丁香六月激情综合欧美| 久久五月综合| 五月天激情久久| 99热精品一| 五月丁香啪啪啪| 天天色丁香| 色噜噜婷婷| 三十熟女| 99热免费网站| 日屌日日操日日色| 99免费超碰在线| 99国产小视频2013| 五月丁香婷婷深深爱| 91精品激情9| 五月婷婷偷| 色九亚洲| 日噜噜色| A色色| 丁香九月激情| WWW色色色COm| 色色a| 热久综合| 久久这里只有精品视频26| 99性色| AV操一操| 五月天婷婷影院影院| 丁香午夜天| 色色五月天com| 六月亭亭久久综合激情| 综合久久婷婷| 99九九精品视频| 丁香五月天成人网站| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 九月婷婷激情久久| 五月天婷婷色色| 欧洲毛片基地c区| WWW.久久久久久久| 狠狠狠五月婷婷六月丁香| 99热久| 色婷婷A| 婷婷综合亚洲| 大香蕉狠狠爱主页| 激情综合五月色丁香婷婷 | 精品婷婷| 亚洲黄色影视| 午夜激情婷婷| 婷婷色五月大香蕉在线观看| 五月花综合视频| 色吧网91| 亚洲性图一区二区| 99国产精品白浆在线观看免费| 久久视频这里都是精品| 五月天激情网图片| 久久综合婷婷| 99这里有精品| 亚洲婷婷在线播放十月| 啊V视频在线观看| 丁香五月久久| 天天干天干| 超碰99在线观看| 久久98| 日本一级黄色电影| 婷婷综合视频| 九九亚洲综合| 色婷婷狠狠| jiujiu热在线视频| 99热这里只有精品在线| 九色PORNY9l原创自拍| 超碰av在线| 综合激情伊人影视在线| 日韩 中文 欧美| 色99自拍| 另类视频综合| 丁香五月天偷拍| 开心激情婷婷| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 狠狠干,狠狠操| 99精品偷自拍| 夜夜爽日日躁| 偷拍丁香九月激情| 五月综合激情综合久| 91丁香色五月| 丁香婷婷视频| 亚洲无码11| 色婷婷99| www.sd-xiangsu.cpm| AA片在线观看视频在线播放| 第一区久久网站| 超碰精品国产首页| 日韩三级高清无码| 任你搞网站| 婷婷五月丁香基地| www.91.com处女在线直播| 色狠狠色噜噜AV天堂五区| 精品无码视频| 久久思思99| 天天插综合网| 婷婷五月激情欧美大胆视频| 久婷婷久草| 婷婷六月天| 第四色五月激情网| 色综色网| 天天插天天日| 丁香婷婷综合精品六月初| 伊人免费视频9| 99精品视频网| 色婷婷久久综合| 成 人片 黄 色 大 片| 亚洲行行色色| 欧美WW在线网| 99热这里只| 五月涩涩网| 亚洲av另类在线观看| 另类 在线| 色综合色综合婷婷热| 久久性综合| 日本黄色精品| 97人人干| 久婷五月| 五月婷婷啪啪网| 成人午夜无码视频|