欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

PYNQ上跑BNN手寫數(shù)字識別:從模型訓(xùn)練到FPGA部署全流程

PYNQ上跑BNN手寫數(shù)字識別:從模型訓(xùn)練到FPGA部署全流程 簡介這是一份圍繞PYNQ平臺實現(xiàn)二值神經(jīng)網(wǎng)絡(luò)BNN數(shù)字識別的完整工程資源包適合研究FPGA加速深度學(xué)習(xí)、嵌入式AI以及Zynq異構(gòu)計算的開發(fā)者與學(xué)習(xí)者也適用于數(shù)字識別、低功耗推理等應(yīng)用場景。資源共1843個文件整體約82.12MB內(nèi)容涵蓋大量bin權(quán)重文件、Python腳本py、ipynb notebook、Tcl/C工程源碼、bit/hwh硬件比特流與so動態(tài)庫直觀覆蓋BNN模型定義、訓(xùn)練、部署及FPGA加速鏈路文件中既有訓(xùn)練好的模型參數(shù)也有可直接運(yùn)行的推理腳本和硬件配置。附帶多個訓(xùn)練權(quán)重文件便于在PYNQ上直接加載復(fù)現(xiàn)實驗并結(jié)合FPGA并行計算與定制邏輯提升識別速度。目前已有2085人學(xué)習(xí)下載適合作為理解BNN低精度推理、FPGA硬件加速的工程范例也是開展相關(guān)課程設(shè)計或科研項目的有力參考。 別人問我為什么要在PYNQ上跑BNN識別手寫數(shù)字我一時間還真不知道怎么簡短回答。CPU和GPU跑MNIST已經(jīng)非常成熟了用TensorFlow寫個LeNet幾分鐘就能達(dá)到99%的準(zhǔn)確率。但如果你把同樣的問題放到邊緣端、放到功耗只有幾瓦的FPGA板卡上情況就完全變了——這時候BNN二值化神經(jīng)網(wǎng)絡(luò)幾乎是天然適配的選擇。這篇文章記錄的是我用PYNQ-Z1實現(xiàn)BNN手寫數(shù)字識別的完整過程從模型訓(xùn)練、二值化量化、硬件生成到板卡部署所有踩過的坑和最終的實現(xiàn)結(jié)果都會交代清楚。如果你也想在FPGA上跑AI推理或者想找個能完整摸一遍“訓(xùn)練→量化→部署”鏈路的小項目這篇應(yīng)該能幫你省下不少時間。這篇文章面向兩類讀者一是自學(xué)FPGA但被Verilog勸退的Python開發(fā)者PYNQ這套玩法能讓你用純Python觸碰可編程邏輯二是已經(jīng)在做邊緣AI、想把手頭CNN模型進(jìn)一步壓縮部署到嵌入式設(shè)備的人。我會把關(guān)鍵原理、代碼、參數(shù)和避坑點(diǎn)全部鋪開盡量做到拿過去就能照著跑。1. 為什么是PYNQ和BNN邊緣端數(shù)字識別的選型邏輯1.1 PYNQ的核心價值把FPGA變成Python工具PYNQ的全稱是Python Productivity for ZYNQ由Xilinx官方維護(hù)。它解決的痛點(diǎn)非常直接FPGA開發(fā)門檻高、工具鏈重、調(diào)試鏈路長。PYNQ把ZYNQ SoC上的ARM處理器和FPGA可編程邏輯統(tǒng)一包裝成了一個Python運(yùn)行環(huán)境FPGA邏輯部分被預(yù)編譯成Overlay一個包含bitstream、硬件描述文件和Python驅(qū)動庫的封裝你只需要在Jupyter Notebook里調(diào)用Overlay(xxx.bit)就能把硬件加載進(jìn)去再用類似讀寫內(nèi)存的方式操作硬件IP。我用的PYNQ-Z1開發(fā)板搭載的是Zynq-7020雙核ARM Cortex-A9加一塊85K邏輯單元的FPGA板上512MB DDR3這配置在今天的AI硬件里看著毫不起眼但對BNN來說完全夠用。ARM核跑Linux系統(tǒng)負(fù)責(zé)Python解釋、數(shù)據(jù)預(yù)處理和控制FPGA部分專心做卷積、全連接這類計算密集操作。這個異構(gòu)架構(gòu)決定了它的定位不是去跟GPU比浮點(diǎn)算力而是在幾瓦功耗內(nèi)、以極低延遲完成特定模型的推理。1.2 BNN和FPGA是天作之合的底層原因BNNBinarized Neural Network把神經(jīng)網(wǎng)絡(luò)里的權(quán)重和激活值全部約束成兩個值1和-1。這個限制在GPU上看起來像自廢武功因為GPU的強(qiáng)項是浮點(diǎn)矩陣乘你把它變成位運(yùn)算TensorCore反而不舒服。但在FPGA上情況完全顛倒過來。FPGA最擅長什么查表LUT、位操作、并行流水線。BNN的計算恰恰就是這三件事的集合。權(quán)重只有1bit意味著不用在外存和片上邏輯之間反復(fù)搬運(yùn)浮點(diǎn)數(shù)組乘法變成XNOR邏輯門累加變成popcount位計數(shù)整個卷積層可以用一長串LUT和布線直接搭成流水線數(shù)據(jù)像流水一樣從輸入流到輸出幾乎沒有等待開銷。而常規(guī)CNN需要的DSP乘法器在BNN里大量空閑資源可以全部讓位給存儲和路由邏輯。從工程角度再看一組對比對比項普通CNNfloat32二值化CNNBNN權(quán)重位寬32bit1bit單次卷積計算浮點(diǎn)乘加XNOR popcount存儲占用高可降低約32倍FPGA資源依賴DSP、BRAMLUT、FF為主典型功耗高極低這個差距在MNIST這種小模型上也許不明顯但放到大規(guī)模網(wǎng)絡(luò)和邊緣硬件上就是能不能部署、部署成本高低的本質(zhì)差別。1.3 MNIST為什么是最好的入門載體手寫數(shù)字識別是深度學(xué)習(xí)世界的“Hello World”。它的數(shù)據(jù)簡單直觀28×28像素的灰度圖輸出是0到9的分類。很多人覺得這題目太簡單、不夠有挑戰(zhàn)性但從項目落地角度看它恰恰是驗證“訓(xùn)練到硬件部署”全鏈路的最佳規(guī)模。模型太小的話環(huán)境配置和工具鏈調(diào)試的時間會遠(yuǎn)多于訓(xùn)練本身模型太大硬件資源又會成為干擾項讓你分不清問題出在網(wǎng)絡(luò)設(shè)計還是板卡能力。所以在PYNQ上跑BNN識別數(shù)字核心目的并不是去刷MNIST的精度榜而是建立一套可復(fù)用的方法論怎么用量化感知訓(xùn)練保住精度、怎么把ONNX模型編譯成FPGA數(shù)據(jù)流、怎么在板卡上做內(nèi)存對齊和數(shù)據(jù)搬運(yùn)。這條鏈路跑通之后換成CIFAR-10、換成更深的網(wǎng)絡(luò)、換成別的邊緣芯片都是同一套打法。2. BNN的二值化原理從浮點(diǎn)乘加到XNOR位運(yùn)算2.1 二值化的數(shù)學(xué)本質(zhì)傳統(tǒng)卷積對每個輸出點(diǎn)的計算是y sum(w_i * x_i) bw和x是浮點(diǎn)數(shù)乘加是真正的乘法器操作。BNN把w和x限制為1或-1后四個組合的乘積變成一張極簡真值表1×11、1×(-1)-1、(-1)×1-1、(-1)×(-1)1。細(xì)看會發(fā)現(xiàn)這其實就是XNOR同或邏輯門加上一個正負(fù)號映射。硬件實現(xiàn)時我們通常把1編碼成二進(jìn)制1、把-1編碼成二進(jìn)制0這樣兩個二值向量對應(yīng)位做XNOR得到的結(jié)果里1的個數(shù)就反映了內(nèi)積大小。再通過公式內(nèi)積 2 * popcount(XNOR(a, b)) - 長度還原出數(shù)值整個過程沒有一次乘法全是位邏輯和計數(shù)。放到具體硬件里popcount可以用查找表和加法樹實現(xiàn)一個時鐘周期就能完成幾十個bit的統(tǒng)計。這種特性讓BNN天然適合FPGA的高并行結(jié)構(gòu)也正是它跑得快的根本原因。2.2 精度不崩的三個關(guān)鍵設(shè)計既然把權(quán)重壓到只剩正負(fù)號肯定會有人質(zhì)疑精度不會崩嗎早期實驗確實會后來大家摸索出三個關(guān)鍵設(shè)計第一訓(xùn)練時用STEStraight-Through Estimator做反向傳播。前向傳播時sign()函數(shù)把實數(shù)映射成1/-1但梯度無法通過sign函數(shù)傳回STE的做法是讓梯度在實數(shù)域直接穿透即把sign函數(shù)的導(dǎo)數(shù)近似當(dāng)作恒等函數(shù)處理。這個技巧雖然簡單粗暴卻是BNN能正常訓(xùn)練的基石。第二BatchNorm層放在二值激活之前。BNN里的BatchNorm不是一個可選優(yōu)化而是必需品。sign函數(shù)對輸入分布極其敏感沒有BatchNorm把特征分布拉回合適的均值與方差網(wǎng)絡(luò)很快會飽和到所有激活值坍縮成同一個符號梯度消失。正確順序是卷積輸出 → BatchNorm → sign激活這能讓網(wǎng)絡(luò)自動學(xué)習(xí)尺度避免信息過早損失。第三網(wǎng)絡(luò)通道數(shù)通常要加寬。單個二值權(quán)重的表達(dá)能力不如浮點(diǎn)權(quán)重但通過增加通道數(shù)、讓網(wǎng)絡(luò)變“胖”可以在維度上彌補(bǔ)單bit精度的損失。這也是為什么BNN論文里推薦的網(wǎng)絡(luò)結(jié)構(gòu)普遍比同任務(wù)普通CNN寬1到2倍的原因。2.3 為什么FPGA能把這些運(yùn)算做到極致你可以在CPU或GPU上模擬XNOR和popcount但模擬畢竟是模擬最終還是比特邏輯在跑數(shù)據(jù)依然要按32位或64位放在寄存器里。FPGA不同F(xiàn)PGA的自由在于你能把數(shù)據(jù)位寬、電路結(jié)構(gòu)、時序流水全部定制成符合算法本身的樣子。BNN的卷積核可以生成在LUT陣列里權(quán)重直接硬化成查找表的輸入連接圖像一行一行地流進(jìn)流水線根本沒有取指令、緩存讀寫的開銷。更直白地說通用計算平臺是“先造好一個通用發(fā)動機(jī)再讓不同算法去適配它”FPGA是“按算法本身的結(jié)構(gòu)去布線造一條專用流水線”。BNN把算法簡化到極致FPGA也就能把電路壓縮到極致二者在數(shù)學(xué)結(jié)構(gòu)和物理實現(xiàn)上高度同構(gòu)所以才會說這是天作之合。3. 訓(xùn)練與硬化Brevitas建模到FINN生成Overlay3.1 工具鏈版本選擇整個流程需要三套東西Brevitas做量化感知訓(xùn)練QAT、FINN做模型編譯和硬件生成、PYNQ做板卡運(yùn)行環(huán)境。工具鏈的版本匹配問題值得單獨(dú)提醒因為Brevitas和FINN都在快速迭代版本不匹配會導(dǎo)致ONNX模型編譯失敗這是新手最容易卡住的地方。我用的是PyTorch 1.10配合Brevitas 0.6對應(yīng)的一套容器鏡像。FINN官方發(fā)布也是以Docker鏡像為主建議直接拉取官方鏡像而不是自己從源碼編譯鏡像內(nèi)部已經(jīng)鎖定了ONNX、PyTorch和FINN的兼容版本。PYNQ板卡端相對獨(dú)立只要燒錄官方PYNQ鏡像推薦v2.5以上它自帶完整Python開發(fā)環(huán)境。這里有個經(jīng)驗所有版本信息要記錄在項目文檔里。暢快跑通一周后如果你需要重建環(huán)境面對一堆含糊的“我裝了這個那個”會非常痛苦。我后來養(yǎng)成的習(xí)慣是每個項目根目錄放一個env.yaml或versions.txt把當(dāng)前環(huán)境的所有關(guān)鍵依賴版本釘死。3.2 網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練代碼MNIST的BNN結(jié)構(gòu)不需要太復(fù)雜參考FINN官方示例的common network設(shè)計我用的是兩層卷積加兩層全連接import torch import torch.nn as nn import brevitas.nn as bnn class BNN_MNIST(nn.Module): def __init__(self): super(BNN_MNIST, self).__init__() self.features nn.Sequential( bnn.QuantConv2d(1, 32, kernel_size3, padding1, weight_bit_width1, biasFalse), nn.BatchNorm2d(32), nn.ReLU(), nn.MaxPool2d(2), bnn.QuantConv2d(32, 64, kernel_size3, padding1, weight_bit_width1, biasFalse), nn.BatchNorm2d(64), nn.ReLU(), nn.MaxPool2d(2) ) self.classifier nn.Sequential( bnn.QuantLinear(64 * 7 * 7, 128, weight_bit_width1, biasFalse), nn.BatchNorm1d(128), nn.ReLU(), nn.Dropout(0.5), bnn.QuantLinear(128, 10, weight_bit_width1) ) def forward(self, x): x self.features(x) x x.view(x.size(0), -1) x self.classifier(x) return x注意QuantConv2d里我顯式設(shè)置了weight_bit_width1這就是二值化的開關(guān)。biasFalse是為了方便FINN后續(xù)折疊與量化。訓(xùn)練代碼幾乎是標(biāo)準(zhǔn)流程model BNN_MNIST().cuda() optimizer torch.optim.Adam(model.parameters(), lr1e-3) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max30) criterion nn.CrossEntropyLoss() for epoch in range(30): model.train() for images, labels in train_loader: images, labels images.cuda(), labels.cuda() optimizer.zero_grad() loss criterion(model(images), labels) loss.backward() optimizer.step() scheduler.step()數(shù)據(jù)集直接用torchvision的MNIST加上隨機(jī)仿射變換做簡單增廣。實測訓(xùn)練30輪測試集準(zhǔn)確率能到98.5%左右。對MNIST來說BNN的精度已經(jīng)接近浮點(diǎn)CNN的水平而參數(shù)量只有約5萬字節(jié)量級折疊壓縮后更小。訓(xùn)練階段的幾個經(jīng)驗Adam初始學(xué)習(xí)率設(shè)在1e-3附近太大會直接不收斂太小會讓訓(xùn)練變得很鈍。BatchNorm的momentum保持默認(rèn)不用調(diào)整。如果發(fā)現(xiàn)訓(xùn)練過程中準(zhǔn)確率震蕩特別厲害優(yōu)先考慮降低學(xué)習(xí)率而不是改網(wǎng)絡(luò)結(jié)構(gòu)。3.3 導(dǎo)出ONNX與FINN編譯訓(xùn)練完成后把模型導(dǎo)出成ONNX格式這是把PyTorch網(wǎng)絡(luò)送進(jìn)FINN的標(biāo)準(zhǔn)接口model.eval() model.cpu() dummy_input torch.randn(1, 1, 28, 28) torch.onnx.export(model, dummy_input, bnn_mnist.onnx, opset_version11, input_names[input], output_names[output])導(dǎo)出時有三個細(xì)節(jié)容易踩坑一是模型必須切成eval模式否則BatchNorm里那些小buffer會直接影響ONNX結(jié)構(gòu)二是dummy_input的尺寸要與實際推理尺寸完全一致FINN后續(xù)會按這個形狀做數(shù)據(jù)流布局三是ONNX的opset_version需要和FINN容器里ONNX Runtime匹配通常11以上即可我去掉了動態(tài)軸的設(shè)置固定batch size為1這樣FINN處理起來最省心。接下來進(jìn)入FINN容器編譯硬件docker pull xilinx/finn:latest docker run -it --rm -v $(pwd):/workspace xilinx/finn bash在容器里運(yùn)行FINN的構(gòu)建腳本核心邏輯是from finn.builder.build_dataflow import build_dataflow build_dataflow( model_filename/workspace/bnn_mnist.onnx, output_dir/workspace/output, steps[step_qonnx_to_finn, step_tidy_up, step_streamline, step_convert_to_hls, step_synthesize, step_stitch, step_make_pynq_driver] )這里的每一步都對應(yīng)一個完整的處理階段step_streamline會把浮點(diǎn)BatchNorm等算子折疊成量化算子step_convert_to_hls把張量算子轉(zhuǎn)成硬件邏輯描述step_synthesize用Vivado HLS生成RTL并綜合step_stitch把各個模塊拼接成最終數(shù)據(jù)流step_make_pynq_driver輸出PYNQ驅(qū)動。整個編譯過程從ONNX到bitstream大約需要40到60分鐘取決于網(wǎng)絡(luò)規(guī)模和電腦性能。中途如果報錯最常見的原因就是ONNX里有FINN不支持的算子比如某些高維Reshape或者非量化裁減解法是回到Brevitas模型里把結(jié)構(gòu)改成FINN兼容的標(biāo)準(zhǔn)化模式。4. PYNQ板卡部署Overlay加載與推理代碼4.1 文件傳輸與Overlay加載編譯結(jié)束后output目錄里會生成三個關(guān)鍵文件.bitFPGA比特流、.hwh硬件描述、driver相關(guān)的Python文件。把這三個文件放到PYNQ板卡上我的做法是直接用scp傳scp output/bnn_mnist.bit xilinx192.168.1.100:/home/xilinx/bnn_mnist/ scp output/bnn_mnist.hwh xilinx192.168.1.100:/home/xilinx/bnn_mnist/ scp output/driver/*.py xilinx192.168.1.100:/home/xilinx/bnn_mnist/然后通過板卡自帶的Jupyter或SSH連接到PYNQ執(zhí)行from pynq import Overlay overlay Overlay(bnn_mnist.bit)PYNQ會讀取同名.hwh文件自動識別bitstream里包含哪些IP核并建立內(nèi)存映射。加載完成后FPGA里的BNN計算模塊就已經(jīng)待命了剩下的就是怎么把數(shù)據(jù)喂進(jìn)去、把結(jié)果拿出來。4.2 完整推理腳本FINN生成的driver結(jié)構(gòu)可能因版本而異但核心交互方式是一致的分配一塊連續(xù)的物理內(nèi)存緩沖區(qū)把輸入圖像數(shù)據(jù)寫進(jìn)去啟動加速器再從輸出緩沖區(qū)讀出分類結(jié)果。下面這段是我整理過的可運(yùn)行示例from pynq import Overlay, allocate import numpy as np import cv2 overlay Overlay(bnn_mnist.bit) accel overlay.bnn_mnist_0 # 分配DMA一致內(nèi)存緩沖區(qū) in_buf allocate(shape(784,), dtypenp.uint8) out_buf allocate(shape(10,), dtypenp.uint32) # 讀取并預(yù)處理一張手寫數(shù)字圖 img cv2.imread(digit_7.png, cv2.IMREAD_GRAYSCALE) img cv2.resize(img, (28, 28)) img_normalized (img 127).astype(np.uint8).flatten() in_buf[:] img_normalized accel.execute(in_buf, out_buf) pred int(np.argmax(out_buf)) print(識別結(jié)果:, pred)allocate不是普通numpy數(shù)組它分配的是物理地址連續(xù)的內(nèi)存這樣才能和FPGA里的AXI DMA進(jìn)行數(shù)據(jù)交換。普通numpy數(shù)組位于虛擬內(nèi)存物理地址不連續(xù)DMA會直接傳輸錯誤數(shù)據(jù)甚至page fault。這個細(xì)節(jié)如果不注意跑出來的結(jié)果會非常離譜。execute方法內(nèi)部做的是把輸入緩沖區(qū)的地址傳給DMA控制器啟動FPGA里的數(shù)據(jù)流處理等計算完成后輪詢中斷或寄存器狀態(tài)最后把輸出DMA結(jié)果搬回out_buf。整個調(diào)用從Python層看就一行但底層控制時序全都封裝在PINN生成的驅(qū)動里。4.3 輸入預(yù)處理最容易翻車的環(huán)節(jié)如果你照上面的代碼跑下來發(fā)現(xiàn)識別準(zhǔn)確率慘不忍睹那不是模型壞了而是輸入預(yù)處理和訓(xùn)練時不匹配。訓(xùn)練階段我們把像素值除以255歸一化到0到1之間并做了標(biāo)準(zhǔn)化而部署時如果直接拿0-255的原始值塞給網(wǎng)絡(luò)分布完全對不上精度掉到接近隨機(jī)也算正常。雖然BNN在全連接層之前有一個二值激活但它前面的量化卷積層對輸入幅度仍然有預(yù)期。我在這個項目里采用的方式是既然MNIST手寫數(shù)字本身是灰度輪廓而BNN的輸入層也接受二值化后的比特表示干脆在預(yù)處理階段把圖像閾值化成0/1?;叶戎荡笥?27的像素視為前景映射成1低于127視為背景映射成0。這樣輸入數(shù)據(jù)在硬件管線里占用極小推理速度也最快。但要注意這個閾值策略需要和你在訓(xùn)練時對輸入的處理保持一致否則訓(xùn)練和推理的輸入分布依然不一致。如果你想保留灰度信息也可以不做閾值化直接把歸一化的浮點(diǎn)值量化到8bit傳給硬件。前提是你的FINN編譯流程里輸入層保留了非二值量化這需要在build_dataflow里額外增加量化配置。對我這個部署目標(biāo)來說閾值化為0/1是最省事、性能最好的方案。5. 實測數(shù)據(jù)與踩坑復(fù)盤5.1 資源與性能實測數(shù)據(jù)編譯完成后我查看了Vivado的實現(xiàn)報告這組數(shù)據(jù)是基于Zynq-7020芯片的實際占用資源類型已用可用利用率LUT321685320060%Flip-Flop2377610640022%BRAM18Kb122804%DSP48E42201%URAM000%資源大頭消耗在卷積層的LUT陣列上DSP幾乎閑置這正是BNN的典型特征。BRAM使用率不高說明中間特征圖完全可以通過片上邏輯緩存不需要頻繁訪問外部DDR。延遲方面我在板卡上做了100次推理取平均圖像讀取加預(yù)處理0.35msDMA數(shù)據(jù)搬入0.62msFPGA IP計算0.028ms28微秒DMA數(shù)據(jù)搬出結(jié)合結(jié)果解析0.21ms端到端平均約1.4ms也就是說一張28×28的數(shù)字圖從進(jìn)入C到Python程序拿到分類結(jié)果總共在1.5毫秒以內(nèi)其中FPGA純計算時間只有30微秒左右剩下全被Python層和DMA搬運(yùn)吃掉了。如果進(jìn)一步優(yōu)化用C語言直接寫在ARM核上、用雙緩沖DMA隱藏傳輸開銷端到端延遲可以再壓到幾百微秒。5.2 延遲剖析到底快在哪兒慢在哪兒這個延遲分解很有代表性FPGA計算本身快到極致但ARM端和DMA的搬運(yùn)開銷變成了瓶頸。FPGA數(shù)據(jù)流的吞吐能力可以達(dá)到每秒幾十萬張圖片但你用Python一層層地調(diào)用驅(qū)動接口每次調(diào)用的固定開銷就有幾百微秒這產(chǎn)生了一個矛盾——硬件很快軟件管線卻很慢。如果你追求極致性能思路是讓數(shù)據(jù)在DMA和FPGA之間流式循環(huán)避免每個Batch都做一次新的內(nèi)存分配和地址配置。比如一次把幾百張圖連續(xù)搬運(yùn)到內(nèi)存緩沖區(qū)FPGA流式處理完連續(xù)輸出再用一次DMA把所有結(jié)果搬回。這樣單張平均延遲幾乎完全由硬件流水線決定可以得到一個非常漂亮的數(shù)字。我做批量測試后發(fā)現(xiàn)把1000張圖打包輸入平均單張耗時能降到0.1ms左右但這不是單張延遲而是批量吞吐的體現(xiàn)工時預(yù)算和測試目標(biāo)需要分清楚。5.3 五個高頻坑及解決方案圍繞這條鏈路我實際踩過不少坑揀五個最典型的分享出來第一Brevitas和FINN版本不匹配導(dǎo)致ONNX算子無法識別。現(xiàn)象是FINN構(gòu)建到step_streamline時報Unsupported ONNX node。解決方法是嚴(yán)格使用官方容器鏡像不要自己在本地分別升級兩個庫版本只要差一個minor版本生成的OP結(jié)構(gòu)就可能不同。第二訓(xùn)練時BatchNorm的位置搞錯。把ReLU放在了BatchNorm前面網(wǎng)絡(luò)死活不收斂。BNN的訓(xùn)練對BatchNorm位置極其敏感標(biāo)準(zhǔn)范式就是卷積輸出直接接BatchNorm再接激活中間不要插其他層。第三第二層全連接層忘了加bias導(dǎo)致導(dǎo)出ONNX后FINN在折疊量化時結(jié)構(gòu)不匹配。量化感知訓(xùn)練里bias和BatchNorm的折疊有其固定假設(shè)建議所有QuantLinear和QuantConv2d都統(tǒng)一設(shè)置為無偏置biasFalse把可學(xué)習(xí)偏置留給BatchNorm去表達(dá)這是FINN編譯器最期望看到的拓?fù)洹5谒腜YNQ板Jupyter內(nèi)存爆了。PYNQ-Z1的內(nèi)存只有512MB我在Notebook里面分配多個大numpy數(shù)組做實驗執(zhí)行到一半整個內(nèi)核崩潰。后面改用腳本方式運(yùn)行并且每次只保留必要緩沖區(qū)好很多。如果不小心開了多個Notebook內(nèi)核也會導(dǎo)致內(nèi)存疊加耗盡勿要同時開太多。第五最隱蔽的坑驅(qū)動生成后沒有加載xrt環(huán)境或者權(quán)限問題導(dǎo)致allocate報錯。PYNQ官方鏡像里一般自帶所需內(nèi)核模塊但如果你手動更新過系統(tǒng)或者換了Linux發(fā)行版需要確認(rèn)/dev/xdma等設(shè)備節(jié)點(diǎn)存在且有讀寫權(quán)限否則底層DMA調(diào)用必然失敗。這個問題會在accel.execute那一步突然冒出來前面一切看起來都正常排查起來確實需要一點(diǎn)內(nèi)核設(shè)備知識。關(guān)于后續(xù)擴(kuò)展我在項目里把單張圖片推理封裝成HTTP接口用Flask跑在PYNQ的ARM核上手機(jī)上傳一張手寫數(shù)字照片板卡返回識別結(jié)果整個響應(yīng)時間在10ms左右包含網(wǎng)絡(luò)傳輸。這個演示效果很好也讓這塊FPGA板卡的定位更清楚它不是萬能加速器但在“特定模型 極低功耗 極低延遲”這個組合下它比任何通用處理器都更合適。如果你打算復(fù)現(xiàn)這個項目我的建議是第一次不要改任何結(jié)構(gòu)先按默認(rèn)參數(shù)把閉環(huán)跑通再去研究網(wǎng)絡(luò)寬度、折疊倍數(shù)對資源占用和吞吐的影響。等你真正理解了FINN每一步在做什么再動手去替換模型、調(diào)整位寬會順利得多。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
精品国产乱码久久久久久免费 | 国产一级片| 丁香五月天激情五月天激情五月天激情网 | www.91色| 五月激情综合网| 日本激情ⅩXX免费视频| 五月综合激情| 91精品综合久久久久久五月丁香| 草草操操| 激情丁香婷婷五月天| 91精品久久久久| www.com.色色| 成人av中文字幕| 亚洲性爱AV| 婷婷五点亚洲| a在线免费v| 九九热在线观看视频| Caoporn公开| 欧美精品熟女一区二区| 玖玖婷婷婷丁香五月| www,天天干| 99精品网址| 久机视频这只有精品| 97超喷视频在线观看| 激情五月婷在线精品| 婷五月天影院| 99啪啪网| 日日骑夜夜撸| 黄桃AV无码免费一区二区三区| 艹| 夜色热久| 亚洲欧美综合7777色婷婷| 狠狠艹狠狠艹| 日日.c| 五月激情基地| 思99热精品久久只有精品| 丁香五月激情综合久久| 干亚洲天堂| 亚洲第一成人无码A片| 日韩六十路91性交电影| 色站9/| 激情五月丁香亭亭| 丁香午月AV中文字幕| 国产做A爰片毛片A片美国| 巴基斯坦粉嫰无码视频| 97精品自拍视频| 超碰在线观看99| 另类的婷婷| 久久久网站| 亚洲婷婷激情888精品久| 色色色色色九九九九九| 五月天激情视频| 色欲丁香| 99欧美热| 激情五月综合网| 日本色噜| 日韩国产在线免费观看| 五月激情综合网| 激情五月深爱婷婷| 另类色视频| 婷婷五月天成人视频| 99热久草| 免费五月婷婷网| 五月香婷婷| 国产人妻人伦精品一区二区| 色色色在线观看| 色狠狠五月天| 丁香九月激情久久| 亚洲超碰在线| 天天操夜夜操| 综合图区激情| 激情小说婷婷小说| 骚五月婷婷| 午夜69成人做爰视频| 99精品在这里| 六月丁香啪| 狠狠久久婷| 综合激情五月天| 婷婷五月色亚洲| 九色婷婷| 天天干,天天操,天天射| 精品热九九| 色欲婷婷五月天丁香| 99色最新在线视频| 91精品91久久久中77777| 五月婷婷综合在线视频| 三男玩一女三A片| 99热亚洲精品| 天堂婷婷五月在线| 天天日综合| 99综合视频在线| 色综合中文综合网| 色五月激情五月| 婷婷五月天影院| 深爱激情AV| 玖玖婷婷婷丁香五月| 五月婷婷六月丁香| 99热这里只有精品1| 色色欧美色色| 亚洲麻豆乱码国产2028| 久热这里这里有精品| 五月丁香怕怕综合| 中文字幕AV网址| 五月婷婷婷婷婷婷艺术| 婷婷丁香五月天色播网站| 亚洲国产精品VA在线看黑人| 色婷婷19| 开心婷婷五月中文字幕组| 久99视频| 另类专区在线| 69综合在线| 无遮挡国产高潮视频免费观看| 操操天堂| 天天操综合网| 色欲一区二区三区精品A片| 日木狠狠干| 丁香五月123| 久在热99| 九久久九精品视频| 五月婷婷 婷婷五月 一区二区 久久久| 五月婷色| 99爱这里只有精品免费视频| 色婷婷丁香五月天| 青青草成人网| 色婷婷五月综合| 国产欧洲欧洲精品久久| 五月丁香五月综合欧美| 天天干天天做| 99视频精品在线| 久草A片| 亚洲操b| 丁香五月第四色88| 丁香五月婷婷手机| 五月天涩涩| a v色婷婷| 欧美丁香五月97色| 91丁香五月| 色爱综合网| 色播婷婷五月天| 国产一级婬片毛片| 三级大香蕉网| 婷婷丁香五月色| 九九久久五月天综合伊人| 五月婷成人网| 思思热99er在线视频| 久久五月综合| 99超在线| 日日狠夜夜狠| 色99视频| 91男同| 五月婷婷视频在线观看| 国産精品| 天天天天操| 91狠狠色丁香婷婷综合久久| 中文字幕免费高清电视剧| 国产精品色色| 日本黄 色 片| 五月天激情黄色网址| 桃色五月婷婷| 青青草Avb在线| 91视频一起草| 成年人丁香五月| 五月激情综合网| 思思热在线视频精品| www.久久99| 国产亚洲精品AAAAAAA片| 99热国品| 日韩野外 无套| 五月天丁香看婷婷| 丁香激激情网| 91ncm视频| 天天日夜夜爽| 91操人人操| 任你搞免费视频观看| 色综合77777| 91av色色乱视频| 婷婷终合色图| 色婷丁香五月| 丁香色播五月天| 丁香婷婷综合五月天| 99这里只有免费的小视频在线观看| 久久免费丁香| 丁香五月天婷婷在线视频| 视色网在线播放| jiujiu无码五区| 五月丁香成人版| 色婷婷丁香| 日本一级特黄大片AAAAA级| 九九99精品视频在线观看| 天天天天干| 五月婷婷影视| 激情五月婷婷| 婷婷五月天在线观看第二页| 婷婷五月天综合网| 免费看欧美成人A片无码| 日本久久九| 日本99色| 99爱视频在线免费观看| 婷婷五月在线观看| 国产免费性爱| 色色丁香婷婷| 激情五月天www| 婷婷色导航| 91操碰| 欧美性生交xXxX久久久| 免费在线观看av网站| 九九99九九99| 六月丁香影院| 九九Av| 亚洲天堂制| 天天开心天天色| 丁香五月丁香伊人| 色色色9| 九九草草逼| 五月丁香精品| 91精品丝袜久久久久久| 色综合网综合| 综合久久99| 国产原创视频91九色| 丁香五月综合婷婷| 一起草性爱不卡视频| 五月丁香综合啪啪| www.久久爱.c n| 婷五月天在线草| 婷婷五月天影视首页| 天天插天天狠| 91美女啪啪| 激情五月婷婷综合| 99无码精品| 婷婷综合五月| 超碰99在线观看| 久久这里只有精品视频1| 激情人妻综合| 欧美超碰亚洲| 久久网思思| 99日在线视频| 中文字幕成| 精品久久久久久久久久久久人妻| 久久久网站| 九热视频在线精品15| www.99热| 婷婷激情五月天综合| 99人这里只有精品| 91久久婷婷| 五月丁香亭亭A片| 另类小说五月天| 成年人夜夜喷水| 婷婷色日本| 99免费在线| 日本三级大片| 九九大香蕉黄色影院| 能看的AV网站| 另类小说五月天| 天天操加勒比| 99爱爱网| 五月天婷婷基地| 热99久| 六月五月婷婷| 中文字幕中文有码在线| 精品无码人妻一区| 丁香六月啪啪| 丁香五月日啪| 欧美搡BBBBB摔BBBBB| 色婷婷av在线观看| 99视频在线| 丁香五月婷婷亚洲综合精品| 中文字幕,综合,91| H亚洲| 丁香五月激情综合网激情五月| 99在线精品免费视频| 丁香五月综合激情性爱 | 永久精品| 97香蕉久久超级碰碰高清版| 久久伦乱| 91精品久久久久久久久| 91九色 婷婷| 色婷婷亚洲婷婷在线观看| 日日操夜夜操中国无码| 五月丁香六月色| 香蕉中文在线| 99热天堂| 九九人人操| 久久婷婷网| 天天干天天曰天天射| 5月婷婷五月天| xxx日本东京热| 亚洲欧洲99| 激情五月天婷婷五月天| 青青操avbb| 99re这里只有精品免费| 欧美日韓成人亚洲精品另类| 五月天婷婷丁香蜜桃91| 玖玖色综合色| 婷婷激情蜜桃玖玖丁香| 97caop| 能看的av片| 99久久国产宗和精品1上映| 丁香六月激情综合网| 国产XXXX搡XXXXX搡麻豆| 99久久综合| 色五月在线观看| 国产欧美婷婷| 婷婷99视频全集高清| 狠狠搞亚洲| 狠狠爱婷婷五月天| 五月天婷婷乱论小说| 六月婷婷网| 五月天婷婷偷拍| 99精品成人无码A片观看金桔| 性爱网久久| 九月婷婷综合| 激情五月婷婷色播网| 久久综合9| 久久欧洲综合网| 五月天伊人久久| 黄色成人网站在线播放| www.第四色99| 777精品久无码人妻蜜桃| 66久久视频在线| 久草大| 久99精品视频| 99久在线精品99re8| 婷婷第六色| 天天艹天天色| 五月婷婷色播| 婷婷六月激情| 丁香婷婷天堂| 久久五月网| 怕怕視頻| 五月婷婷9| 996热| WWW色五月天| 国产69精品久久久久999小说| 日韩在线aaa| 97碰碰在线观看视频| 可以免费看的av网站| 91传媒无码人妻精| 伊人色综合网| 五月天婷婷视频小说| 91丨九色丨东北熟女| 九九9久九9国产视频| 99性爱| eeuss人妻| 超碰A V在线| 玖玖综合网| 日日婷婷不卡| 日韩一级A片黄色| 99热久| 亚洲视频99| 六月99天天婷婷激情综合| 婷婷丁香激情五月天色色色| 在线视频另类| 热99这里只有精品视频| 五月丁香久久| 狠狠插.com| 99在线69| 五月色综合网| 91dy.av| 免费成片在线观看| 婷婷五月丁香色色| 激情AV| site:feetmall.com| 伦乱人妻| 午夜69成人做爰视频| www激情| 中文字幕日韩无码制服诱或| 亚洲综合成人网站| 激情丁香五月综合| 亚洲婷婷综合视频| 色五月婷婷五月天| 婷婷五月天小说网| 九九色影院| 婷婷五月天视频| 日本va欧美va精品发布视频| 香蕉99网| 亚洲中文字幕在线观看| www.99精品日操伊人乱碰在线| 久久这里这里有精品免费视频| 99色色爰| 久久亚洲婷婷| 久久天堂女人| 国外亚洲成AV人片在线观看| 婷婷综合视频| av超碰在线| 丁香大香蕉| 五月丁香欧美在线| 香蕉97碰碰碰超视精品| 97精品在线| 六月婷婷狠狠做| 4438亚洲欧美| 久久网日本| 天天综合.com| 五月婷婷丁香啪啪| www..999热久| 欧美久久婷婷| 亚洲五月天综合| 激情综合色图| 欧美日韩中文国产一区发布| 国产偷人爽久久久久久老妇APP| www.色五月| 婷婷五月花| 777精品久无码人妻蜜桃| 曰曰久久| 国产精品激情AV久久久青桔| 久久婷婷视频| 色热久资源| 久久99精品久久久| 色五月婷婷影视| 91丨九色丨国产打屁股| 99亚洲精品综合在线| 久久综合网免费视频| 五月间天堂综合| 人妻精品久久久久久久| 五月丁香琪琪| 五月婷婷玖玖综合玖玖爱| 99久在线精品99re8热| 日韩黄黄| 性生活久久人妻| 丁香九月综合在线| 9 9热这里有精品| 刘玥精品一区| 六月婷婷色综合| 99er6| 丁香五月婷婷激情尤物| 婷婷五月激情五月丁香五月| 51XX嘿嘿午夜无码| 在线观看996精品| 97综合视频在线| 欧洲永久精品| 亚洲天堂热| 成人五月天综合网| 五月婷婷激情四季| 亚洲乱码日产精品BD| 丁香婷婷久久| 少妇口诉沐足视频播放器网址| 新激情五月天| 九九热只有精品| 久久久精品AV| 婷婷丁香五月天综合AV| 激情网第四色| 九九久久综合网站| 99视频在线| 天天色视频| 99精品视频在线观看| 狠狠色综合图片| 色99在线视频| 婷婷涩涩网| 婷婷色情网| 91人人人人人人人| 另类激情五月| 成人丁香五月| 99热在线播放精品| 99久久99视频只有精品| 久久伊人婷婷| 综合色播| 99久久成人| 六月婷婷综合| 色婷婷五月天av在线| 欧美性二区| 精品无码久久久久久久久| 成人国产网| 在线18av | 五月情涩综合婷婷| 淫荡家庭AV| 99在线看片| 91成人性爱视频| 婷婷中文无码| 婷婷六月激情综合| 91日日日| 久热精品视频在线观| 黄色热99| 亚洲性图一区二区三区| 亚洲色情免费网| 天天摸人人摸| 婷婷中文在线| 色热久资源| 性生生活大片又黄又| 五月丁香va| 色婷婷av综合网| 亚洲激情另类| 超碰在线人妻| 久久看九九90| xx久久| 二人电影免费版在线观看| 99国产精品白浆在线观看免费| 激情婷婷五月天日本系列 | 亚洲在线操| 26UUU精品一区二区| 激情五月色综合国产精品| 亚洲热久| 久久久中文| 丁香五月停停av| 久热69| 婷婷六月色| 色久五月天| 婷婷99视频精品| 国外亚洲成AV人片在线观看| www.夜夜| 人人人人人人人人人草| 狠狠草网| 第四色在线观看| 第五色色色婷婷| 粉嫩av懂色av蜜臀av熟妇| 久草婷婷网| 伊人玖玖精品| 午夜精品777| 久久婷婷五月综合色丁香| 色色色综合网| www.五月丁香| 婷婷舔| 高清成人综合| 色色色综合网| 五月丁香成年黄色| 开心五月色婷| 97人妻碰碰中文无码久热丝袜| 久久婷婷五月天激情新地址| 在线中文av| 五月丁香婷婷激激激综合网色播| 五月天社区| 91九九九九九九| 天天影院色| 婷婷亚洲色| 婷婷五月天成人网| 久久伦乱| 99热99日天天干| 丁香六月婷婷综合| 日韩aaa| 五月永久激情| 精品婷婷五| 性爱激情小说AV五月丁香花| 国产毛片精品一区二区色欲黄A片| 五月丁香啪啪啪啪| 99热.com| 2023天天日夜夜爽| 另类亚洲2| 亚洲永远av在线播放| 九九热精品在线| 激情六月婷婷| 五月天成人在线播放丁香| www.激情五月天。com| 久久全色| 青青草伊人婷婷| 中文字幕 码精品视频网站| 欧美色婷婷| 九九久久这里只有精品XB| 色婷久久| 在线色色| 区美毛片子| 六月综合婷婷开心伊人 | 九九热区一区二区三区| 色五月婷婷激情综合网| 成人精品人妻| 伊人九九热| 欧美一级毛卡片无码| 成人国产欧美大片一区| 久久六月综合| 色五月色五天色情网| 丁香五月香蕉| 天天爽天天爽视频| 婷婷激情综合色五月久久91| 人妻无码精品一区| 日韩无码91| se色婷婷视频| 丁香五月婷婷啪啪| www.婷婷.com| 少妇激情五月天| 97人妻碰碰碰久久香蕉| 天天操婷婷| 天天干天天射色综合| 五月丁香AV、伊人业余、性色熟妇| 国产亚洲色婷婷久久99精品91| 婷婷中文字幕网| 九色视频入口91| 亚洲V国产V欧美V久久久久久| 久热免费视频| 天天综合网在线| 色色综合网站| 性爱视频99| 久久精彩视频| 99只有这里有精品在线视频| 天天色亚洲| 色情五月停停丁香| 99热这里只有免费精品| 欧美VA在线| 欧美爆乳一区二区三区| 99热日韩| 色狠狠色噜噜AV天堂五区消防| 色爱终和网| 另类国产综合| 天堂婷婷丁香六月网| 色丁香综合影院| 激情丁香淫荡婷婷| 一个色的综合| 五月婷婷婷婷婷婷艺术| 思思久热| 婷婷五月天狠狠搞干| 五月丁香欧美综合| 国产激情婷婷| 亚洲成人高清在线| 99自拍视频在线| 丁香婷婷久久| 免费看欧美成人A片无码| 日本欧美成人片AAAA| 久久久亚洲精品一区二区三区浴池| 婷婷丁香在线| Blackedraw视频一区二区| 乱精品一区字幕二区| 99热国品| 激情五月婷黄版| 91碰碰视频| 五月激情综合网| 狠狠操狠狠插| 玖玖精品视频| 9久国产| 超碰97干| 久久这里只精品| 五月天激情综合网| 成人精品网站在线观看| www一起操| 色久九| 少妇丁香婷婷| 久久婷婷操| 丁香五月激情五月开心五月| 婷婷丁香六月天| 99久久综合网| 狠狠综合网| 成人做爰高潮A片免费视频| 国产婷伊人| www.色色com| 99噜噜| 天天骑日日爽| 思思re视频在线| 色小说五月天| 日夜操B| 色色网站免费| 国产色网站| 99亚洲视频| 五月开心播播网| 婷婷五月丁香激情图片 | 色碰97| 色色五月天丁香婷婷| 在线中文字幕视频| 伊人超碰| 婷婷丁香人妻天天爽| 超碰人妻在线| AⅤ网站在线看| 日韩无码性爱| 九九热这里只有精品7| 五月丁香好婷婷A片网| 婷婷丁香五月在线播放| 婷婷五月天成人网| 婷婷久综合| 91人操人人人操人| 色天天综合色| 9热在线观看| 91丨九色丨大屁股| 综合久久首页| www.综合久久| 五月天婷婷色播综合在线| 99色免费观看全部| 天天插天天射| 日韩天堂久久| 五月天婷综合网站| 97五月久久丁香婷婷| 中字幕视频在线永久在线观看免费| 人人操大| 欧美综合婷婷欧美综| 99热6精品| 九九99精品| 久久日九九| 中文字幕永久在线| 久久精彩免费视频| 免费观看全黄做爰的视频| 91人妻人人做人碰人人爽九色| 色五月激情视频在线综合| 日韩综合大黄| 婷婷精品| 亚洲热久| 色 丁香婷婷| 色五月天丁香婷婷| 久久综合26p| 婷婷伊人综合中文字幕| 丁香六月激情网C0W| 五月婷婷,六月丁香| Av在线不卡一区| 婷婷四月 成人 狠狠干| 国产精品美女| 五月四色激情| 丁香久色| 夜夜骑夜夜撸| 日日操夜夜操无码免费| 五月婷婷丁香色吧网| 成人 在线 日韩| 白度黄视频| 99超在线| 久久a热| 中文字幕网站在线观看| 五月天夜夜爱夜夜操| 天天操天天操天天操天天操天天操| 丁香五月婷婷操逼| 26uuu美女三级视频| 91激情五月开心| 国产av一区二区三区| 久久婷婷影院| 丁香五月欧美色综合| 丁香五月天影院| 加勒比色色| 婷婷激情五月综合| 五月丁香婷婷成人版| 五月天伊人综合| 青青久在线视频免费观看| 欧美综合123区| 丁香五月激情在线| 欧美情色电影一区二区| 99热这里只有精品亚洲| 成人短视频在线观看| 婷婷玖玖丁香| 久久亚洲婷婷| 久久综合首页| 9999综合99综合人| 丁香五月天啪啪激情综和网| 欧美成人AAA片一区国产精品| 婷婷欧美综合| 婷婷激情五月色综合| 少妇水多A片太爽了| www.五月天婷婷.com| 中文字幕永久免费| 思思99久久| 这里只有精品视频在线| 9 9热这里有精品| 九九免费在线视频| 亚洲亚洲人成综合网络| 99热丁香五月| 九九婷婷网五月天| 久热超碰| 大香伊人久色| 99视频自拍| 精品一区二区三区木瓜| 91婷婷丁香五月| 99婷婷国产最新视频| 激情五月天激情五月天| 97碰 在线视频观看| 亚洲婷婷丁香五月视频| 国产精品第一国产精品| 天天上天天爽| 精品亚洲国产成人A片在线鸭王| 激情精品久久| 538在线精品| 日本特黄aaaaa| 少妇高潮呻吟A片免费看软件| 天天色情站| 婷婷六月天| 婷婷永久在线| 99热这里是精品| 99久久视频| 天天日天天爽| 超碰资源在线| 久久新地址| 婷婷五月激情综合| AAA久久| 激情文学天天| 成人国产欧美大片一区| 精品九九视频| 4399啪啪视频| 色五狠狠| 色五月,婷婷大香蕉| 97色色视频| 手机在线日韩视频中文字幕| 五月天色不卡| 五月丁香六月激情综合| 久久九九99| 欧美激情五月综合| 99视频| 婷婷激情五月天在线| 在线超碰免费| 欧美性丁香色色五月天干干| 男人的天堂五月丁香| www.99视频| 综合亚洲五月天| 98国产精品综合一区二区三区| 99色一| 97碰碰人人视频| 91九色欧美| 99热老司机| www.99在线| 五月婷婷久久内射| 31色区视频免费看| 久热人妻| 激情色中文| 亚洲欧洲中文日韩久久AV乱码 | 久热99| 99精品网| 婷婷五月天偷拍| 无码一级片| 丁香五月婷婷超碰在线| 性小说五月天| 91成人看| WWW久久久| 狠狠操天天操综合| 日操夜操天天操不卡| 99热成人| 亚洲 综合中文| 丁香五月之久操视频| 狠狠的日| 亚洲美女婷婷五月天| 久久加勤综合| 婷婷丁香五另类网站| 丁香五月婷婷动漫视频| 牛牛色av| AV性爱网| 婷婷久久亚洲| 久热无码| 95精品区一区二| 丁香五月婷婷综合精品素人| 久久网站免费亚洲| 五月J香蕉婷婷| 激情五月丁香六月综合AVXXXX| 欧洲永久精品| 深夜婷婷 丁香| 久9无码视频| 色婷婷五月天天天做| 黑人无码一区| 色五月激情五月| 婷婷五月天久久| 99国产小视频2013| 婷婷五月欧美AA片免费| 色色日本| 婷婷性色| 丁香午月AV中文字幕| 久久综合网桃花| 久久久97| 久久WW| 天天综合亚洲综合| 噜噜干日本| 五月婷婷黄色网址| 五月天堂婷婷| 俺去也在线视频| 99在线精品观看99| 激情五月天.色网| 久色视频| 老司机日日夜夜青草| 99丁香五月婷| 婷婷综合网性| 色激情网| 色墦五月丁香| 久久九九爽| 开心婷婷五月中文字幕组| 97香蕉碰碰人妻国产欧美| 婷婷丁香五月天激情四射| 色色色综合网| 亚洲综合99| www.色窝| 91Chinese在线| 丁香五月成人自拍| 婷婷五月天色| 天天肏在线观看| 色色免费网战视频| 日日爽日日操| 色婷婷综合网站| 97人人爱人人操| 91嫩草国产线观看亚洲一区二区| www久久99| 婷婷情色五月天| 五月婷六月丁香| 激情丁香婷婷六月天| 久久久久网站| 在线日本www| 亚洲欧洲中文日韩久久AV乱码| 久久视频婷婷视频| 色色日本| 乱女乱妇熟女熟妇综合网站| 人人摸人人操人人爽| 99婷婷色| 操逼视频网址| 三年高清大片免费观看国语| 亚洲色久| 大香蕉九九| 91人人网| 五月丁香六月天| av色色国产| 99re这里只有精品在线观看| 丁香五月另类小说在线阅读| 操B五月天| 狠狠综合色网| 日B日潘金莲BB| 欧美精品中文字幕亚洲专区| 久久久www| 天天综合五月| 欧美α√| 婷婷六月情| 99色丁香婷婷综合网| 激情综合青草| 99精品在线| 午夜色婷婷| 任你擦免费视频| 亚洲美女裸体被操在线观看| 五月开心播播网| 国产亚洲精品久久久久久豆腐| 99色性爰网络| 五月婷婷天| 99热免费精品| 91凹凸在线| 色色激情五月| 99视频九九热| 亚洲av综合网| 色色免费网站| 欧美激情VA永久在线播放| 丁香六月在线| 婷婷播5月| 五月婷婷综合潮喷| 色婷婷六月天在线| 亚洲精品激情| 情趣视频66| 99国产视频网| 成人五月天视频| 九九热这里只有精品31| 婷婷综合在线观看视频| 成年人99热| 日日激情网| 9久热这里只有精品| 五月天婷婷黄色| 婷婷五月伦理| 婷婷色5月激情网| 开心激情网五月| 五月婷婷丁香综合| 精a品a| 丁香六月婷婷色XXXXX| 亚洲最大视频| 婷婷五月在线视频| 97色97干| 三级黄网站| 综合色播| 99国产精品久久久久久久久久久| 五月婷婷久久大香蕉| 人妻中文在线| 婷婷色五月激情| 日韩综合成人| 色都都狠狠色都都色综合色| 金品在线视频99| 五月婷婷六月丁香玖玖玫瑰91| 色色综合激情| 超碰人人干| 婷婷五月天成人五月天| 五月婷婷成人网首页| 婷婷亚洲在线| 色射婷婷五月天| 久超超碰| 久久婷婷五月免费视频| 婷婷五月在线观看| aa久久| 无码色| 丁香婷婷激情网站| 欧美精品A片一区在线观看| 国产色网站| 丁香六月婷婷开心| 丰满人妻一区三区三区| 亚洲99在线| 可以看的AV网站| 91成人看片| 99热.com| 丰满少妇乱A片无码| 97人人操人人拍| 香蕉伊人综合| 丁香女人五月天| 99激情视频热| 另类小说五月天综合网| 狠狠狠狠狠狠狠狠| 激情六月婷婷| 婷婷丁香六月| 婷婷丁香精品视频在线观看| 欧洲亚洲免费视频9 | 97热这里精品在线视频| 欧美久热| 狠狠色噜噜狠狠狠狠狠色综合久久| 日韩另类在线观看| 五月天色色网站| 青青夜夜狠狠夜夜狠狠| 色人妻五月| 丁香色婷婷五月天| 婷婷激情综合| 国产99久久久国产精品免费看| 99久久色| av九九| 精品皮股午夜AV| 婷婷的色色五月天| 2018国产大陆天天弄| 婷婷丁香黄色| 久久9精品| 久久有码| 色99日韩| 九八Av| 中文在线成人| 激情影院内射| 五月综合色播播丁香婷婷| 乱码操操| 亚洲欧洲另类图片| www久久99| 人人干Av| 天天肏视频| 色欲五月丁香| 东京热伊人| 久久九九大香蕉电院| 婷婷五月天激情综合| 少妇人妻丰满做爰XXX| 婷婷久久免费| 五月色情婷婷开心五月色情| 五月丁香婷草| 欧美A级成人婬片免费看理论| 久大香蕉| 婷婷五月天激情影片| 五月婷婷av| 丁香六月婷婷久久亚洲天堂| 九九国产精视频| 亚洲五月花| 深爱激情综合| 中文字幕黄色电影网址| 亚洲中文丁香| 丁香五月AV| 男女啪啪做爰高潮无遮挡| 99热销国产这里有精品| 婷婷六月网| 色情五月丁香| 色五月色情| 狠狠色激情综合| 91啪啪视频| 午夜九九九九九九| 婷婷激情另类| 超碰免费在线| 1024亚洲| 99re这里有精品手机在线| 成人日韩欧美| 九九偷拍网| 99爱免费在线视频| 激情五月天婷婷五月天| 丁香久月| 自拍盗摄 另类| 成人做爰A片免费看视频| 一本色道久久88综合日韩精品| 色人久夂| 另类综合婷婷五月天欧美视频| 亚洲综合在线视频| 综激情网| 激情五月影院| 色婷婷色综合| 婷婷丁香视频| 99热精品在线观看| 色婷婷欧美| 狠狠干天天日| 抽插特写| 九九视频精品在线免费| 天天插天天插天天插天天插| 97久久精品| 伊人综合网4| 玖玖午夜视频| 色色日本欧美| 丁香婷婷久久老熟女综合网| 五月婷婷激情综合| 亚洲愉拍99热成人精品| 欧美色性色好| 天天色凹凸| 五月丁香欧美综合免费视频| 六月丁香五月婷婷| 99re热精品在线视频| 久久99精品久久久久久噜噜| 黄色短视频在线观看| 五月丁综合在线观看| 亚洲天堂热| 久热9| 成人综合AV| 五月丁香婷婷啪啪综合| 婷婷五月草| 婷婷五月在线| 天天操屄网| 成人做爰黄A片免费看直播室男男 久草热8精品视频在线观看 | 久久怡红院| 久久五月视频| 综合激情站| 96丁香六月婷婷蜜桃综合久久| 五月婷婷啪啪啪| 激情五月天第四色| 五月天影院| 青吴乐视频| www.26uuu.com亚洲电影| 欧美槡BBBB槡BBB少妇| 色婷婷色五月丁香| 中文字幕日产A片在线看| 婷婷五月色花丁香社区| 青草激情综合| 久久婷婷六月| 五月丁香黄色视频| 日韩成人av在线| www久| 亚洲激情综合色站| 五月婷婷,六月丁香| 色婷五月婷婷| 草五月| 99视频网址| 色婷婷五月天天天天天天天天天| 日本狠狠干| www。狠狠干。com| 色情五月婷婷| 色,激情五月天| 99综合视频一体| 国产精品五月丁香| 久久久国产精品黄毛片| 色婷婷狠狠久久综合五月| 国产婷婷婷| 欧美va在线| 青青久久大香蕉| 另类视在线| 婷婷成人综合| 婷婷基地爱| 狠狠色丁香综合| www天堂99| 噜一噜免费视频| 五月天大香蕉| 丁香五月天婷婷久久| 乱岳熟女50岁| 色五月综合婷婷| 91久久久久| 色色婷婷丁香五月天| 五月婷婷AV| 午夜丁香婷婷| 丁香五月另类小说在线阅读| 成人免费120分钟啪啪| 天天操夜夜爽| 97超碰在线观看免费| 天天日天天操心| 九九亚洲无码| 色五月五月婷婷| 五月综亚洲| 日韩三级视频一区二区| 狠狠爱婷婷丁香| 日韩黄黄| 欧美韩国日本| 婷婷 月 丁香| 91精品婷婷国产综合| 色五月综合激情| 激情五月综合网最新| 可以免费观看的AV| 91啪级电影| www.9色色色| 97热精品| 日日干综合| 丁香五月天成人| 五月天婷婷小说| 97人人操人人爽| 亚洲色五月| 亚洲色综久久五月| 丁香五月123| 五月丁香啪综合| 五月丁香激情综合啪| 亚洲AV无码成人电影| 美女天天爽| 二色AV| 婷婷成人基地| 丁香婷婷月| 丁香无月在线观看| 97超喷视频在线观看| 中文AV网| 五月丁香久人妻中文| 大鸡巴伊人网| 先锋资源婷婷| 99无码免费视频| 人人操碰| 99ri精品视频在线观看| 夜夜天天久久婷婷| 五月天狠狠色| 色婷五月| 99热这里只有精品2| 五月丁香久人妻中文| 97日本操| 99re这里只有精品国产99| 亚洲第一成人AV| 激情欧美五月丁香| 六月丁香激情婷婷| 91久久精品无码一区二区三区| 97在线观视频免费观看| 少妇性按摩无码中文A片| 婷婷五月天.com| 热996精品在线观看| 五月激情综合网| xxx.色婷婷| 包操45分钟网站| 五月天婷婷激情网| CHINESE熟女老女人HD视频| 久操97| 79成人网| 成人电影在线免费试看| 综合久久丁丁香婷| 欧美丁香五月97色| 伦99热| 大香蕉久艹| 婷婷色五月大香蕉在线| 日韩精品999| 欧美成人精品一区二区 | 婷婷色中文字幕| 99热这里只有的精品视| 久久婷婷影院| 丁香综合久久| 久久久天堂国产精品女人| 91久久精品无码一区二区三区| 婷婷五月天成人导航| 91窝窝| 日本三级成人秘书精品片| 激情五月婷| 婷婷五月六月丁香| 色女伊人| 开心五月激情| 五月天婷婷色色网| 夜夜嗨一区二区三区直播内容 | 久99久视频精选| 国产精产国品一二三在观看| 色婷婷先锋| 亚洲人妻五月丁香婷婷| 日韩成人av在线| 99精彩视频在线观看| 色999;丁香五月| WWW,五月| www.99久久久| 亚洲精品国产成人AV在线| 色亚洲视频| 2005天天干天天1| 久久小视频| 大香蕉网站,大香蕉综合| 天天久| 六月天无码网址| 天天色月| 日韩日比视频| 亚州精品成人片| 婷婷五月天激情小说| 性生活视频98791| 99久久这里只有精品| 狠狠狠狠狠草| 九九家庭影院| 久久3p| 玖玖色资源| 亚洲日韩久久婷婷伊人| 91丨九色丨大屁股| 深爱婷婷网| 射久久丁香五月| 婷婷五月中文在线视频| 99九九视屏| 婷婷爱综合| 大香蕉婷婷丁香视频在线| 99久免费视频| 九九精品婷| 99欧美三级视频| 91热网址| 波多野结衣成人作品在线| 天天拍天天操| www婷婷| 欧美乱码国产一级A片| 激情色色色| 婷婷五月AV| 99在线观看视频蜜臀| 欧美va亚洲va| 色婷婷基地| 欧美在线97| 九月丁香欧美综合| 久久网婷婷| 免费看欧美成人A片无码| 91超级碰| 国色天香成人网| 欧美成人精品A片免费一区99| 99在线观看|