欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

ARM Mali GPU開發(fā)實戰(zhàn):架構、驅(qū)動與AI部署全解析

ARM Mali GPU開發(fā)實戰(zhàn):架構、驅(qū)動與AI部署全解析 Mali GPU 這顆藏在 SoC 里的“計算心臟”這些年我折騰過的架構、驅(qū)動和部署問題值得好好梳理一遍。這篇文章我打算從一個實際開發(fā)者的視角把 ARM Mali GPU 相關的資源、開發(fā)工具鏈、驅(qū)動調(diào)試和 AI 部署經(jīng)驗一次性講透文中涉及的鏈接和關鍵詞希望幫你少走點彎路。1. 認識 Mali GPU架構演進與開發(fā)者的第一課1.1 從 Utgard 到第五代你手里的 Mali 到底是哪一代很多新手拿到一塊開發(fā)板第一件事就是cat /proc/cpuinfo看 CPU 型號卻常常忽略 GPU 的架構代次。這個信息直接決定了你能用哪個版本的驅(qū)動、支持什么圖形 API、能不能跑 OpenCL 通用計算。Mali GPU 家族大概分成這幾代Utgard 架構代表作 Mali-400、Mali-450廣泛用在老款手機和入門級工控板。只支持 OpenGL ES 2.0OpenCL 支持非常有限如果沒有特殊需求不建議在這類 GPU 上折騰通用計算。Midgard 架構代表作 Mali-T720、T760、T820、T860、T880。這是目前二手市場和低成本方案里最常見的一代支持 OpenGL ES 3.1 和 OpenCL 1.1/1.2 的部分特性。我最早做 GPU 調(diào)試就是在這代架構上印象最深的是它的 CoreLink 互聯(lián)設計多核擴展時緩存一致性做得不錯。Bifrost 架構代表作 Mali-G71、G72、G51、G76。從這代開始Mali 引入了“quad-based”的 warp 調(diào)度思想Shader Core 內(nèi)部以 16 線程為一組執(zhí)行指令對計算著色器的友好度明顯提升。支持 Vulkan 1.0。Valhall 架構代表作 Mali-G57、G77、G78、G68。這代把指令集從 32 位統(tǒng)一到了 64 位調(diào)度器對分支發(fā)散的處理更高效。如果搞 AI 推理Valhall 的 FP16 算力非常可觀。第五代Immortalis 系列代表作 Immortalis-G715主打硬件光線追蹤但這跟大多數(shù)嵌入式開發(fā)者關系不大看看就好。1.2 為什么說 Mali 的驅(qū)動模型和 PC 顯卡完全不同在 x86 平臺上NVIDIA 或 AMD 顯卡有獨立的顯存驅(qū)動是一整套完整的二進制棧。而 Mali GPU 用的是統(tǒng)一內(nèi)存架構UMAGPU 和 CPU 共享同一片物理內(nèi)存中間沒有顯存顆粒。這個特性帶來兩個直接影響功耗低、成本低適合 SoC 集成但也意味著 GPU 運算會和 CPU 搶占內(nèi)存帶寬。實測經(jīng)驗是在 4K 分辨率下GPU 密集任務會把 DDR 帶寬吃滿CPU 側(cè)表現(xiàn)會肉眼可見地變卡。驅(qū)動不是一個“萬能 .exe”。Mali 的 Linux 驅(qū)動通常分成三塊內(nèi)核態(tài)的DPPDisplay and Pixel Processor相關模塊、內(nèi)核態(tài)的MMU 和 job manager通常編譯進內(nèi)核或作為模塊加載以及用戶態(tài)的libmali.so。用戶態(tài)庫需要針對具體的 GPU 型號和 DDK 版本匹配隨手找一個.so拷進去最典型的結果就是gpu crash dump triggered。我見過太多項目的坑都出在這條鏈路上板子供應商給的內(nèi)核是 4.19用戶態(tài)庫卻是按 4.4 內(nèi)核編譯的跑起來毫無征兆地黑屏。排查到最后居然是 libmali.so 的 EGL 入口和內(nèi)核模塊的 ioctl 版本對不上。2. 驅(qū)動與用戶態(tài)工具鏈交叉編譯、庫路徑和真實部署細節(jié)2.1 Linux 環(huán)境下 Mali 驅(qū)動的整體結構在 Linux 系統(tǒng)上Mali 驅(qū)動的典型加載路徑是這樣的內(nèi)核側(cè)/sys/module/mali/目錄存在說明 Mali 內(nèi)核模塊已加載。設備節(jié)點/dev/mali0是 GPU 的用戶態(tài)訪問入口沒有這個設備節(jié)點用戶態(tài)庫再全也白搭。用戶態(tài)庫通常位于/usr/lib/aarch64-linux-gnu/或/usr/lib/arm-linux-gnueabihf/重點文件包括libmali.so集成了 EGL/GLES/OpenCL 多個入口、libEGL.so、libGLESv2.so。說到這要提一個熱搜詞里反復出現(xiàn)的命令export LD_LIBRARY_PATH/usr/lib/aarch64-linux-gnu/mali:$LD_LIBRARY_PATH這條命令本身沒什么問題就是讓動態(tài)鏈接器優(yōu)先去 Mali 庫所在的目錄找?guī)煳募?。但我必須提醒一句不要盲目敲這條命令。如果當前系統(tǒng)的 Mali 庫實際在/usr/lib/aarch64-linux-gnu/下一個層級而/usr/lib/aarch64-linux-gnu/mali/這個子目錄根本不存在export 完反而可能因為庫路徑順序問題加載到錯誤的 libmali。正確的做法是先確認目錄存在ls /usr/lib/aarch64-linux-gnu/mali/如果確實沒有這個目錄但系統(tǒng)里的 GPU 能正常工作那就說明庫文件直接放在了通用搜索路徑里這時不需要額外設置 LD_LIBRARY_PATH。真正需要設置的場景是交叉編譯后把庫放在非標準路徑運行時才需要告訴系統(tǒng)去哪里找。2.2 交叉編譯工具鏈選型從 ARM Compiler 5 到 GCC熱搜詞里出現(xiàn)的“arm compiler 5.06u7 下載”是 ARM 自家提供的商業(yè)編譯器有歷史包袱的項目特別是一些閉源第三方庫還在用它。ARM Compiler 5 系列最后的版本是 5.06 update 7之后的官方支持轉(zhuǎn)向了 ARM Compiler 6基于 LLVM。如果你的項目不強制要求 AC5我強烈建議直接用 GCC 交叉工具鏈比如aarch64-linux-gnu-gcc省心得多。選工具鏈時有個點要注意ARM Compiler 5.06 編譯出來的代碼默認針對 ARMv7 或 ARMv8 的老 AArch32 模式而 Mali GPU 用戶態(tài)驅(qū)動多數(shù)是 AArch64 庫?;煊脮r最好統(tǒng)一目標架構否則鏈接階段會出現(xiàn)莫名其妙的cannot find -lEGL或 ABI 不匹配的報錯。一個實用的排查技巧是使用file /usr/lib/aarch64-linux-gnu/mali/libmali.so看看輸出是ELF 64-bit LSB shared object, ARM aarch64還是ELF 32-bit。如果返回的是 32 位而你的用戶程序是 64 位那么無論怎么配 LD_LIBRARY_PATH 都無濟于事。2.3 銀河麒麟系統(tǒng)上安裝軟件的實操SSH 升級包示例熱搜詞里出現(xiàn)“銀河麒麟 ssh 10.3 rpm升級包arm”其實指向一個典型場景國產(chǎn)化替代環(huán)境里的 ARM 服務器系統(tǒng)自帶 OpenSSH 版本偏舊想升到 10.3只能找 rpm 包。這類系統(tǒng)通常是 ARM64 架構基礎安裝命令我實測過一套sudo rpm -Uvh openssh-10.3p1-1.ky3.arm64.rpm這里的關鍵在于-Uvh它表示升級-U、顯示詳細輸出-v、顯示進度-h。直接rpm -ivh安裝舊版本沒卸載干凈時可能生成兩個 sshd 服務導致 ssh 端口綁定沖突。另外在麒麟這類系統(tǒng)上如果用非 root 用戶執(zhí)行后出現(xiàn)error: cant create transaction lock on /var/lib/rpm/.rpm.lock多半是權限問題加 sudo 重試即可。升級完 OpenSSH 后請一定重啟sshdsudo systemctl restart sshd不要直接斷開當前的 ssh 連接先另開一個終端驗證新版本 sshd 能正常監(jiān)聽 22 端口再退出否則可能把自己鎖在門外。2.4 ARM 系統(tǒng)常用命令工具的補齊很多從 x86 遷過來的朋友會發(fā)現(xiàn)ARM 板子上iftop、iotop、htop、iperf3這類工具往往沒裝。這里給一個比較通用的操作思路對于 Debian/Ubuntu 衍生系統(tǒng)樹莓派 OS、Ubuntu Mate、麒麟也是基于 Debian 體系sudo apt update sudo apt install -y htop iotop iftop iperf3對于使用 yum/dnf 的 ARM 系統(tǒng)部分 CentOS 移植版、OpenAnolis ARM 版sudo dnf install -y htop iotop iftop真實遇到的問題往往是源里沒有對應 ARM64 的 rpm 包這時候可以去 EPEL 的 aarch64 倉庫找或者直接從源碼編譯。uname -m 看一下輸出aarch64就是 ARM64armv7l是 32 位 ARM。3. GPU 計算與 AI 推理部署Mali 在真實項目里的邊界3.1 Mali 跑 GPGPU 的幾條路線OpenCL、OpenGL ES Compute、Vulkan Compute很多做嵌入式視覺的朋友都問過Mali GPU 能不能像 NVIDIA 那樣跑 CUDA很遺憾CUDA 是 NVIDIA 的封閉生態(tài)Mali 上一條都走不通。Mali 可選的通用計算路線大致三條OpenCLMidgard 以上架構支持不錯適合圖像處理、卷積類的并行任務。Mali OpenCL 驅(qū)動對 buffer 的分配有嚴格要求頻繁創(chuàng)建/釋放大批量 buffer 會引發(fā)嚴重抖動正確姿勢是復用 buffer。OpenGL ES Compute Shader如果已經(jīng)有 GLES 渲染管線混入 compute shader 成本最低適合后處理特效不太適合超大計算量。Vulkan ComputeValhall 架構上效率最高但開發(fā)門檻也最高需要自己管理 Command Buffer 和 Pipeline。如果你跑 NCNN 推理框架它可以直接切換到 Vulkan 后端來利用 Mali GPU這也是目前邊緣設備上最主流的做法。用 NCNN 的時候編譯命令關鍵參數(shù)這樣寫cmake -DCMAKE_TOOLCHAIN_FILE../../toolchains/aarch64-linux-gnu.toolchain.cmake \ -DNCNN_VULKANON \ -DNCNN_OPENMPON ..如果編譯好以后運行ncnn_benchmark報錯vkCreateInstance failed大概率是 GPU 驅(qū)動和 Vulkan Loader 不匹配可以用vulkaninfo先檢查。3.2 PyTorch 與 PaddleOCR 的 GPU 部署哪些能跑哪些別折騰很多朋友問我“ARM 板子上能不能像 x86 一樣裝 PyTorch GPU 版”。說實話PyTorch 在 ARM 平臺上對 Mali GPU 幾乎沒有官方支持。主打推理場景時更現(xiàn)實的方案是TensorFlow Lite對 Mali 支持較好通過gpuDelegate可以在部分算子下調(diào)用 OpenCL。NCNN / MNN國內(nèi)開源框架對 ARM Mali 的適配比較積極。ONNX Runtime有 OpenCL execution provider但算子覆蓋有限。如果在搜 PyTorch GPU 安裝教程注意一點不要看到 NVIDIA 的教程就往 ARM 上套如果發(fā)現(xiàn)要裝 CUDA那大概率是 x86 教程。真正的 ARM 平臺部署推理模型的路線是 onnxruntime arm 版 so或者直接用 TFLite。關于 PaddleOCR 的 GPU 模式它在 ARM Mali 上最靠譜的一條路是走 NPU如果 SoC 里有GPU 模式需要 cudnn 8.5 之類的前提那都是面向 NVIDIA 的。我實測下來在 RK3588Mali-G610上跑 PaddleOCR 的 ARM CPU 版用 ONNX Runtime 加多線程效果比折騰 GPU 穩(wěn)定且 ROI 更高。3.3 大模型微調(diào)里的 GPUMali 的無奈與出路熱搜詞里“gpu微調(diào)大模型”也指向當前很火的場景。現(xiàn)實很骨感Mali GPU 不適合做大模型微調(diào)。原因不復雜大模型微調(diào)需要超大顯存、高帶寬和成熟的張量核心Mali 統(tǒng)一內(nèi)存架構撐不起來。但 Mali 可以做兩件事部署量化后的推理模型比如在手機上跑 7B 模型走 4bit 量化通過 Vulkan compute 調(diào)用 Mali 算力速度雖然沒法說“流暢”但能接受?;旌险{(diào)度把部分算子放在 GPU部分放在 NPU剩下放 CPU用 NCNN 的流水線做并行。這個對開發(fā)者的調(diào)度功底要求很高新手不建議一上來就碰。3.4 ollama 指定 GPU 和 GPU 租用的經(jīng)驗ollama 指定 GPU 的場景主要在 Linux x86 服務器上但這不代表 ARM 完全沒機會。如果在 ARM 板子上跑 ollama我建議直接用官方的 linux-arm64 安裝腳本安裝安裝完默認走 CPU。如果板子的 NPU 有額外的 runtime也可以嘗試配置但不要指望 Mali GPU 能直接被 ollama 調(diào)用——它沒把 OpenCL/Vulkan 納入主流后端。GPU 租用這一塊補充一句如果你是做 AI 訓練租帶有獨立顯卡的云主機比本地淘 ARM 板子靠譜得多成本低、免維護。真正需要本地 Mali 的場景還是邊緣推理和圖形渲染。4. 常見問題與排查技巧實錄從 crash dump 到性能調(diào)優(yōu)4.1 “gpu crash dump triggered”到底是什么這條讓我最頭疼也最熟悉Mali 驅(qū)動檢測到 GPU 執(zhí)行出錯后會打印一系列寄存器狀態(tài)和 dump 信息。觸發(fā)原因集中在幾個點shader 數(shù)組越界最常見。比如 compute shader 里訪問 buffer 時下標超出了分配范圍。排查手段是使用Mali Offline Compilermalioc靜態(tài)分析或者打開報錯時附帶的 shader 索引核對對應 shader。非法指令或浮點異常LLVM 編譯 OpenCL kernel 時如果優(yōu)化級別過高某些中間表示會引入 GPU 不支持的指令。調(diào)低優(yōu)化級別或者用-cl-fast-relaxed-math之外的保守編譯選項。非法內(nèi)存訪問用戶態(tài) glBufferData 分配的 buffer 太小shader 訪問越界直接命中未映射區(qū)域。出現(xiàn)gpu crash dump triggered后第一步不是改代碼而是先把 dump 完整保存下來。Mali 驅(qū)動會給出類似這樣的信息示意Mali: gpu crash dump triggered Mali: Job fault 0x0013Job fault后面的十六進制數(shù)很關鍵不同值對應不同故障類型。查內(nèi)核頭文件mali_kbase_gpu_fault.h能定位到具體錯誤碼。比如 fault 0x0004 是讀寫非法地址0x0005 是總線錯誤0x0013 是 job 超時。應對策略一般三步走升級用戶態(tài)驅(qū)動到與內(nèi)核匹配的 DDK 版本。用malioc檢查 shader 的資源占用和非法行為。簡化場景二分排查哪個 draw call / dispatch 觸發(fā)崩潰。4.2 那臺 Linux 板子上的“三個 GPU 同時測試”怎么落地熱搜詞“l(fā)inux 三個 gpu同時測試”聽起來像是服務器多卡場景但 ARM 平臺上也可能遇到多核 Mali 或 MaliNPUGPU 的組合。我分享一個通用方法論用/dev/mali0的設備句柄區(qū)分 GPU 實例但 Mali 通常是一個 SoC 只有一個 GPU 設備節(jié)點。如果是多個 SoC 組成的集群比如一臺主板上集成了多塊 RK3588那就按進程綁定不同的/dev/mali0用glmark2-es2等工具做并行壓力測試然后通過mali_util和mali_pmu有性能計數(shù)器的板子看利用率。如果想同時跑 CPU/GPU/NPU 的負載需要關注總內(nèi)存帶寬建議用perf stat或likwid這類工具先摸一下 baseline。如果只是測試單顆 Mali GPU 的穩(wěn)定性就用glmark2-es2連續(xù)跑幾小時配合溫度監(jiān)控判斷散熱是否達標while true; do glmark2-es2 --run-forever; done并在另一個終端跑watch -n 1 cat /sys/class/thermal/thermal_zone0/temp如果溫度超過 85°C散熱就要加強。4.3 Linux 禁用 GPU、驅(qū)動黑名單和 GPU 調(diào)度有些場景下我們反而要禁用 GPU。比如在服務器環(huán)境里Mali GPU 的圖形功能用不上還占內(nèi)存帶寬最簡單的做法是sudo sh -c echo blacklist mali /etc/modprobe.d/blacklist-mali.conf sudo reboot如果想臨時卸載驅(qū)動模塊而不重啟sudo rmmod mali不過需要確認沒有進程占用 GPU。另外“GPU調(diào)度”在 Mali 語境下一般指 job scheduler 的優(yōu)先級策略Mali 驅(qū)動默認是按提交順序排隊但可以通過dma_fence相關機制或者用戶態(tài)設置優(yōu)先級。實際調(diào)優(yōu)經(jīng)驗是在實時視覺場景里盡量把 GPU job 切小避免單個大 job 霸占所有 shader core。4.4 學習資源和“l(fā)inks”的整理說了這么多最后把真正有價值的資源鏈接整理一下以官方文檔名和社區(qū)名稱為主搜索時認準這些名字Mali GPU 官方文檔ARM 官網(wǎng)的 “Mali GPU” 文檔中心包括Arm Mali GPU Best Practices Guide和Mali Offline Compiler User Guide。Mali 驅(qū)動源碼與 DDK如果從 vendor BSP 里拿不到最新驅(qū)動去 ARM 官網(wǎng)的 “Arm Driver Development Kit (DDK)” 頁面注冊下載。工具鏈Arm Compiler 5.06在官網(wǎng)的下載中心頁注冊后可以下載歷史版本免費替代用 Linaro 的gcc-arm-9.2-2019.12。調(diào)試工具Android 平臺可以用Mali Graphics DebuggerMGDLinux 平臺可以用開源工具MaliGPU或配合perf使用內(nèi)核導出的 PMU 事件。框架層面NCNN 官方 GitHub 的 README 對 Vulkan 后端有詳細編譯說明TFLite 官方文檔里有 GPU Delegate 的 ARM 支持列表。性能分析Streamline Performance Analyzer配合gatord守護進程可以采集 GPU 的硬件計數(shù)器這是調(diào)優(yōu)比較標準的路徑。GPU 模型與規(guī)格速查Ardunix Mali GPU數(shù)據(jù)庫按 Mali 型號查最大頻率、核心數(shù)和 API 支持級別做方案選型時很有用。5. 從 ARM 匯編到系統(tǒng)級優(yōu)化用底層視角理解 Mali 生態(tài)5.1 ARM 匯編入門對 Mali 開發(fā)的隱藏價值很多人覺得寫 ARM 匯編和 GPU 開發(fā)八桿子打不著。其實 GPU 的 shader 最終也要編譯成 GPU 指令而驅(qū)動和用戶態(tài)庫里的 CPU 部分也跑在 ARM 指令集上。懂一點 ARM 匯編至少有三個實際好處能看懂 crash dump 里的 PC 寄存器和調(diào)用棧快速定位是驅(qū)動死循環(huán)還是應用層非法跳轉(zhuǎn)。調(diào) NEON 優(yōu)化時能識別編譯器生成的低效指令序列手動改進向量化策略。理解 AArch64 調(diào)用約定x0-x7 傳參x30 存返回地址排查 JNI/OpenCL host 端代碼時不容易懵。入門路線我建議先看 ARM 官方《ARM Architecture Reference Manual》的 AArch64 章節(jié)然后找《ARM 匯編語言實戰(zhàn)從零到精通》這類偏實戰(zhàn)的書刷一遍最后拿objdump -d反匯編實際的 C 代碼對比驗證。5.2 教師視角與“期末復習”關鍵詞扯點閑篇熱搜詞里有“arm 期末復習”“arm處理器體系結構及其應用 電子科技大學”說明不少學生朋友也在查資料。如果你想快速建立知識框架我建議按“體系結構 → 指令集 → MMU/Cache → 異常模型 → 啟動流程BL31/U-Boot→ 外設/GPU”這條鏈路復習。后面提到的arm bl31 uboot就是啟動流程中非常關鍵的兩個環(huán)節(jié)BL31 是 ARM Trusted Firmware 的運行時 EL3 固件U-Boot 負責拉起內(nèi)核。學習過程中多數(shù)人都會在 MMU 這塊卡殼。Mali GPU 在這方面其實給了很好的參照物GPU 也有自己的 MMU叫Mali MMU它負責把 GPU 的虛擬地址翻譯成物理地址和 CPU 側(cè) MMU 的原理高度相似。5.3 使用 malioc 分析 shader找到性能瓶頸Mali 平臺和 NVIDIA 不一樣沒有 nsight 這類圖形化分析工具但Mali Offline Compilermalioc是命令行神器。它可以不跑真機直接編譯 shaderGLSL/OpenCL C輸出寄存器占用率、workgroup 大小建議、內(nèi)存訪問模式分析等。一個典型的分析命令malioc -v shader.frag關鍵輸出項Work register count每個線程占用的寄存器數(shù)。太高會降低 occupancy太低可能導致 spilling。Uniform register countuniform 緩存占用。Stack size如果過大需要減少局部變量或拆小函數(shù)。Cycle estimates不同 Mali 架構下的模擬時鐘周期數(shù)。實測中我發(fā)現(xiàn)很多性能問題根本不是 shader 數(shù)學太復雜而是寄存器溢出導致本地內(nèi)存訪問暴漲。malioc 一下就能看出端倪。5.4 一例真實優(yōu)化圖像模糊濾鏡的 OpenCL 提速以 3x3 均值模糊為例最容易寫出的一種寫法是每個像素都去讀周邊 9 個點這會讓內(nèi)存讀取量是理論值的 9 倍。簡單優(yōu)化是改用行緩存line buffer每個 work-item 處理一行像素把讀到的數(shù)據(jù)緩存到 local memory橫向滑動時只讀新像素。在 Mali GPU 上這個改動通常能把性能提升 3~5 倍。原因是 Mali 的 L1 cache 對線性訪問比較友好local memory 有專門的高速通路。優(yōu)化前大量隨機訪問L1 cache miss 率高。優(yōu)化后順序訪問 local memory 復用吞吐量大幅提升。這個過程需要的知識正好是所有熱搜詞串聯(lián)起來的理解 Mali 的架構第 1 章、會編譯和部署驅(qū)動第 2 章、有 OpenCL 開發(fā)經(jīng)驗第 3 章、會做性能分析和排查第 4 章。6. 實操心得把零散知識串成可落地的開發(fā)流程6.1 必備工具包和軟硬件清單我通常在接觸一個新的 ARM Mali 板卡時會按下面這個清單準備環(huán)境交叉編譯工具鏈aarch64-linux-gnu-gcc9.3 或 linaro 版本。圖形測試工具glmark2-es2es2gears。計算測試工具clinfo檢查 OpenCL 平臺和設備信息vulkaninfo。性能監(jiān)控工具maliocstreamlineperf。AI 推理框架NCNN、TFLite。遠程管理OpenSSH升級到新版rsynctmux。不要輕視clinfo的輸出它能一次性把 Mali OpenCL 支持到什么版本、有多少計算單元、最大 workgroup 多大、本地內(nèi)存多大全部列出來。拿到新板子第一件事就跑clinfo看看Device Name是不是預期型號Max compute units是否符合規(guī)格Max work group size是不是 1024 或以上。如果顯示不出 device驅(qū)動棧肯定有問題。6.2 在板子上建立高效的 GPU 開發(fā)循環(huán)在 ARM 板子上開發(fā) GPU 應用和 x86 有個很大不同編譯速度和調(diào)試工具拉胯。我的經(jīng)驗是在 x86 主機上交叉編譯生成二進制后通過 scp/sftp 拷到板子。板子上只放運行時庫和測試腳本把 sshfs 用起來代碼目錄直接掛載到板子本地。每次修改 shader 或 host 代碼后用一條腳本直接編譯、拷貝、運行、收集日志??梢詤⒖歼@樣一條自動化腳本思路偽代碼#!/bin/bash # 在 x86 主機上運行 aarch64-linux-gnu-g -o test_app test.cpp \ -I/path/to/OpenCL/include -L/path/to/libmali -lOpenCL scp test_app userboard:/home/user/ ssh userboard /home/user/test_app關鍵心得在 ARM 板子上安裝的編譯器未必比交叉編譯器差對于小項目甚至直接板端編譯更省心。但大項目強烈建議交叉編譯。6.3 可靠性優(yōu)先Mali 的電源管理可不是鬧著玩的Mali GPU 的功耗管理由內(nèi)核態(tài)的mali_devfreq控制。如果板子的 devfreq 策略沒配好高負載任務一上來頻率會劇烈波動帶來畫面卡頓甚至 crash。檢查當前 GPU 頻率cat /sys/class/devfreq/ff9a0000.gpu/cur_freq如果這個路徑不存在說明驅(qū)動可能沒有啟用 devfreq或者設備樹里的 GPU 節(jié)點沒有正確描述。想限制最大頻率以降低發(fā)熱可以echo 600000000 /sys/class/devfreq/ff9a0000.gpu/max_freq單位是 Hz這里的 600000000 就是 600MHz具體數(shù)值取決于板卡的頻率表。經(jīng)驗之談做穩(wěn)定性測試時一定要在真實散熱條件下壓測至少 24 小時因為 Mali GPU 在高溫下會觸發(fā)降頻和 job timeout這兩種情況的表現(xiàn)截然不同降頻是性能下降timeout 是直接 crash。7. 常見問題速查表與避坑清單以下是我實際項目里最常碰到的問題和解決方案匯總做成一張速查表方便查閱現(xiàn)象可能原因解決思路程序啟動報libmali.so: cannot open shared object fileLD_LIBRARY_PATH 未設置或庫路徑不對用find / -name libmali.so 2/dev/null找實際位置再 export系統(tǒng)啟動后屏幕黑屏或閃爍內(nèi)核模塊與用戶態(tài) DDK 版本不匹配從 BSP 供應商獲取統(tǒng)一驅(qū)動包不要混用clinfo顯示不了 Mali 設備OpenCL ICD 未注冊檢查/etc/OpenCL/vendors/下是否有 mali.icd 文件內(nèi)容應為libmali.so的絕對路徑Vulkan 初始化失敗Vulkan loader 與驅(qū)動不匹配裝vulkan-tools后運行vulkaninfo --summary確認 driver 版本GPU crash dump 頻繁shader 越界或驅(qū)動超時用 malioc 靜態(tài)分析 shader降低優(yōu)化等級檢查 buffer 大小推理框架跑起來比 CPU 還慢算子沒有真正走 GPU或者走了但拷貝開銷過大用GpuDelegate/NCNN_VULKAN的 debug 版本打印實際后端檢查 buffer 是否做了零拷貝系統(tǒng)卡頓CPU 占用不高但整體響應慢GPU 內(nèi)存帶寬占用過高降低分辨率減少重復紋理讀取優(yōu)化 shader 帶寬訪問交叉編譯程序在板子上段錯誤工具鏈 ABI 或庫版本不匹配readelf -A 程序查看 Tag_ABI_VFP_args確認浮點 ABI銀河麒麟升級 openssh 后無法登錄sshd 配置文件權限或上下文不對恢復/etc/ssh/sshd_config權限為 600restorecon -v /etc/ssh/sshd_config高溫下長時間跑 GPU 作業(yè)崩潰散熱不足觸發(fā)降頻或 job timeout優(yōu)化散熱設計限制 max_freq或加大驅(qū)動 watchdog 超時參數(shù)還有一些值得寫進項目記錄的避坑經(jīng)驗不要在用戶態(tài)庫版本不明的情況下直接替換 libmali.so。建議備份并用strings查看內(nèi)嵌版本號。OpenCL buffer 的分配要一次性到位。Mali 的 user pointer 方式?jīng)]法保證物理連續(xù)共享內(nèi)存場景下性能衰退嚴重。盡量少在 GPU 和 CPU 之間做頻繁同步。每次 clFinish 都是一次全局屏障把多個 kernel 串成一個 pipeline用 event 來做依賴管理。RGBA8888 紋理不一定比 RGBA4444 慢。Mali 對非 8 位格式的壓縮支持很糟純性能考慮反而推薦標準格式。設備樹里 GPU 的 interrupt 配置錯了驅(qū)動能加載但跑任務必崩。拿到板子先確認 dmesg 里沒有mali: IRQ 63 cant request IRQ這種字樣。我在實際使用中發(fā)現(xiàn)花時間搞清楚設備和驅(qū)動棧的匹配關系比盲目優(yōu)化 shader 收益大得多。Mali GPU 的 26 條經(jīng)驗踩坑一半都跟驅(qū)動版本有關。最后再分享一個小技巧每次拿到新開發(fā)板我都習慣先記錄三樣東西——內(nèi)核版本uname -a、Mali 內(nèi)核模塊版本modinfo mali | grep version、用戶態(tài)庫的 md5 值md5sum /usr/lib/aarch64-linux-gnu/mali/libmali.so。后面不管出了什么問題拿著這三個信息去搜效率高得不是一點半點。ARM Mali 這套體系只要掌握了架構脈絡、驅(qū)動匹配、工具鏈選型和計算資源邊界就能在邊緣設備上做出穩(wěn)定可用的東西。希望這篇能幫你少流幾次汗有具體問題歡迎在評論區(qū)繼續(xù)聊。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
www.婷婷亚洲基地| 国产日韩亚洲欧美在线观看| 国产成人精品一区二三区熟女在线| 日韩有码一区| 九色无码| 99久热精品在线| 婷婷五月丁香伊人| 操日本三片99| 激情伊人五月天| 少妇激情基地| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 亚洲精品操一操、噜一噜、摸一摸、爽 | 激情AV中文| 欧美人人草| 激情婷婷22月间| 丁香五月天啪啪a日本| 久久9热综合| 精品丁香五月天在线播放| 99日在线观看视频| 狠狠色丁香| 超碰9在| 欧美成人va| 五月99久久| 99热播放| 人人人人人人人人人草| 婷婷五月超碰| 婷婷天堂站| 九九99精品| 国产亚洲精品人人| 免费观看高清无码| 婷婷色五月丁香六月欧美啪| 色五月婷婷大| www.9797国产| 国产亚洲精品久久久久久郑州| 激情欧美婷婷| 97涩婷婷婷婷基地| 99综合网| 丁香六月婷婷一区二区三区| 怡红院 久久| 99色婷婷| 亚洲另类日本| 久热这里只有精品在线观看 | 中文字幕精品在线观看| 欧美成人精品A片免费一区99| 五月丁香六月激情综合网| 午夜天堂一区人妻| 亚卅毛片| 色综合网综合| 欧美在线干| 国产成人精品一区二三区熟女在线| 思思99精品视频| 影音先锋五月婷婷| 色综合天天综合成人网| 丁香五月色| 人妻少妇色综合| 激情网站综合五月天| 色婷婷aV四虎| 91精品久久久久久77777| 久久综合性| 欧类av怡春院| 色狠狠综合| 丁香五月激情六月| 婷婷在线播放av| 丁香六月婷婷缴情欧美| 五月天成人小说| 免费播放99性爱视频| 任你操精品免费| 伊人久久大香线蕉av最新| 激情五月无码| 九九热av| 激情九九六月激情免费视频| 丁香激情综合| 99热精品免费| 久久伊人婷婷| 亚洲操B| 天天搞天天色综合| 伊人久久大香线蕉亚洲五月天,| 婷婷八月丁香激情综合| 五月天狠狠干| 69五月天视频| 日本妈妈乱| 狠狠狠狠青草| 天天射综合网夜夜操| 99干日本| 玖玖精品婷婷| 久久国产AV| 亚洲精品色| 色色色色色色色色色色色色色97| 婷婷六月丁香激情综合| 九九色中文| 国产伦亲子伦亲子视频观看| 色啪网| A1片久久久| 精品人妻久久久久久久| 五月人人丁香婷婷五月人人丁香| 欧美久久久中文字幕| 91欧美| www.99热这里精品| 色狠狠色噜噜AV天堂五区消防| 综合色影| 亚洲色夜| 99人人操人人操人人精| 琪琪布丁香社区激情五月天| 国产AV一区二区三区最新精品| 欧美成人性爱网| 日韩无码人妻一区二区三区综合| 2017狠狠干| 中文字幕综合色| AA片在线观看视频在线播放 | 久99| 99热国品免费| 五月丁香成人| 色播五月丁香综合| 九月av在线| 日本一级黄色片。| 色五月婷婷在线观看第一页舔| 丁香五月六月激情久久| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | WWW.99热| 啊V视频在线观看| 91九色中文| 六月丁香激情网| 极品人妻videosss人妻| 99这里只有精品在线观看| 色五月婷婷 成人| 色五月丁香五月| 另类国产区| 99热九九九九| 色婷婷操逼网| 99色色| 六月婷婷综合久久| 色约约视频一区二区三区四区五区 | 狠狠色丁香乆乆| 日本精品久久久久中文字幕| 日韩黄色中文字幕| 丁香婷婷综合影院| 色综合99无码 | 噜噜网免费视频| www夜夜操com| 激情五月天天狠狠久久| 婷婷五月天堂网| 天天色图| 久久小视频免费| 丁香五月天激情婷婷丁香六月 | 97操碰日本女人| 丁香五月桃花在线激情综合| 色哟哟性爱av| 五月天婷婷色在线视频免费观看| 91操片| 91狠狠色丁香| 色很很96| 久热最新视频| 五月综合婷婷久久在线| 五月天精品| 天天做天天爽| 久久久精品色| 综合AV网| 婷婷激情五月天桃花网| 午夜九九九九九九九九九九九九九| 久热精品9999| 人妻视频在线| bbwcuckold精品熟妇| 国产va在线视频| 天天干天天干天天干天天干天天干天天| 99小视频在线| 亚洲AV无码久久精品色欲| 天天舔天天摸天天透| 天天日,天天射,天天舔| 国产亚洲在线| 色狠狠色噜噜AV天堂五区| 新激情五月天| 超碰在线视屏| 欧洲日韩一区二区三区| 激情五月天小说视频| 在线可以看的av网址| 麻豆五月丁香婷婷| 99热碰碰热| 亚洲国产精品VA在线看黑人| 男女啪啪做爰高潮无遮挡| www.激情| 亚洲成人网站在线| 六月米奇色综合| 另类激情网| 色婷婷天堂| 亚洲精品婷婷| 日韩精品一区二区刘| 日本啪啪天堂| 色综合色综合色综合| 国产亚洲精品久久一区二区三区| 欧美日韩一区二区三区四区| 91人人妻人人操人人爽| 99热这里只有精品26| 色综合播放| 五月开行婷婷色五月| 97欧美在线| 天天爽天天| 色婷婷中文| 婷婷成人在线| 夜夜涩涩涩| 亚洲欧美另类在线23p| 五月天综合视频| 久久婷婷伊人| 97日日碰碰| 天搞天天天天天| 深爱女色婷婷丁香五月亚洲图区| 欧洲第一久色| 丁香色色网| 色五月色综合| 色九九综合| 人妻VideOssS人妻| 欧美色色色| 操逼五月婷婷| 国产色网站| 天天综合干| 99男人的天堂| 无码一级片| 婷丁香久综合| 婷婷久久免费| 成人视频免费观看高清完整版在线观看| 婷婷色基地在线看| 乱抡小BB| 九九热超碰| 就去色色五月丁香婷婷久久久| 日韩AV在线免费| 色五月丁香总合网| 色播五月婷婷| 99九九热在线观看| nvrentiantang av| 免费色婷婷| 91九色熟女| 亚洲人妻五月丁香婷婷| 性做久久久久久久免费看| 九九性爱网| 99热骚货| a网站免费观看| 91人人操人人爱| 婷婷色激情五月天| 五月天久久婷| 狠狠操天天操天天操| 九九操操| 天天久综合网永久入口17v| 婷婷六月激情在线视频| 色综合久久久无码中文字幕999| 人操人人| 六九色综合婷婷五月天| 91精品国产色猫| 精品色色网| 婷婷娌伦网| 激情婷婷在线| 五月天久久丁香| 天天玩夜夜操| 亚洲sesesese| 另类激情综合| 五月丁香婷婷无码中文| 丁香婷婷六月| 色五月天天在线观看资源站| 亚洲精品婷婷| 色色网站免费在线视频| 亚洲精品亚洲人成人网| 婷婷五月综合婷婷| 午夜大香蕉| 五月婷婷xxx| 91精品无码| 大香蕉 伊人夜| 色情五月婷婷| 久久视频婷婷| yellow视频在线观看91| 99热人人| 激情綜合W W W,激情五月天| 操笔无码| 免费超碰在线观看| 婷婷五月天成人网站| 激情婷婷五月天| 久久99热只有精品| 欧类av怡春院| 国产另类综合| 美女xx不卡| 夜夜操,天天撸| 果冻传媒A片一二三区| 久久性爱网站| 免费日本aⅴ中文字幕| 五月之婷婷| 亚洲色99综合天堂| 五月天桃色深爱网| 天天操B| 久久草大香蕉| 天天激情视频| 丁香婷婷六月| 先锋资源婷婷| 天天操夜夜爽天天操| 一起草AV| 2023天天日夜夜爽| 日本操B片| 色色色色色色网站| 91色五月| caop在线视频| 精品无码av丁香五月激情| 天天综合网站| 国产日韩亚洲欧美在线观看| 性爱五月婷| 丁香五月欧美| 婷婷五月天丁香| 五月丁香综合啪啪| 五月婷婷久草在线视频综合| 久久9久久| 五月丁香免费视频| www.久久66| 无语停婷丁香网| 婷婷狠狠操| 99视频35精品视频在线观看| 97精品人人A片免费看| 婷婷97狠狠干| 色婷婷狠狠18禁| 五月天婷婷色播| 超碰在线个人观看| 色五月综合| 丁香久久五月天视频在线观看| JAPANRCEP老熟妇乱子伦视频| 亚洲精品乱码久久久久久按摩观| 深爱开心激情网| 亚洲av| 激情综合网五月婷婷| 丁香五月婷婷高清| 婷婷刺激综合| 能看的av片| 亚洲激情四射色| 亚洲最大激情无码| 色A网| 亚洲精级| 天天操天天操天天操天天操天天操| 五月丁香六月色婷婷综合五月天| 婷婷五月色| 五月天激情子轮| 久久久婷婷五月亚洲97号色| 少妇被下春药玩弄A片| 婷婷开心久久| 狠狠看狠狠| 午夜丁香久久久久久| 九九色中文| 99精品偷自拍| 国产精品热搜丁香五月婷婷| 婷婷丁香大香蕉| 色色激情网| 久热这里精品免费| 九九99在线视频| 激情综合色| 色婷婷五月综合网| 天天综合情| 久草婷妨| 丁香五月天啪啪| 狠狠操狠狠操| 九九久久综合网站| 玖玖视频福利| 丁香五月综合激情性爱| 激情综合五月丁香六月婷婷| 久热久| 性综合网| 丁香五月婷婷六月婷| 九九爱激情| 99自拍视频| 深爱婷婷丁香五月激情| 天天操夜夜夜拍拍拍| 无码人妻一区二区一牛影视| 图片区 小说区 区 亚洲五月| 99国产小视频| 五月天激情小说婷婷| 国产婷婷久久| 色婷婷亚洲综合网站| 99视频精品在线| 五月丁香久久丝袜啪啪| 琪琪理论片| 丁香六月婷婷激情| 伊人综合网站| 丁香五月天激情综合| 国产无人区大片| 激情 婷婷 丁香五月天| 99热日韩这里只有精品| 99五月婷| 一级AV片| 中文字幕网伦射乱中文| 婷婷色在线| 中文av网| 激情五月,婷婷五月,丁香五月| 337p大胆噜噜噜噜噜91Av| 91久久精品视频| 91妻人人爽人人看片| 丁香激情网| 六月婷婷九月丁香亚洲综合| 男女久久婷婷五月天| 亚洲色色色色色| 色九网| 亚洲啪啪啪啪| 99热亚洲精品| 欧美性生交XXXXX无码小说| 国产激情综合五月久久| 色五月天丁香婷婷色| 色婷五月丁香久亚洲| 丁香六月婷婷开心| 91要啪| 丁香五月天论坛| 香蕉久久国产AV一区二区| 久久综合性| 婷婷爱五月| 激情五月天.色网| 婷婷五月天成人动漫 | 色婷婷裸体色性在线| 日本猛少妇色XXXXX猛叫| 色欲av伊人久久大香线蕉影院 | 久久婷五月婷| 日本久久极品| 天天爱夜夜爽| 超碰免费电影| 少妇久久诱惑视频| 婷婷综合网| 成人av中文字幕| http://www.sd-xiangsu.com/| 色五月欧美| 人妻九九九九| 二色AV| 91啪啪网| 久草性爱| 综合啪啪| www.婷婷五月| 亚洲免费观看高清完整版AV线| 丁香五月天激情小说| 五月天婷婷小说| 五月丁香爱婷婷深深| 久久激情五月婷婷| 亚洲热久| 中文久久婷婷| 人妻精品在线| 九九热在线精品视频| 天天日天天添| www.91色| site:hcxsz888.com| 91chinese在线| 大香蕉欧美在线| 26uuu亚洲| 色天堂操| 久久激情五月婷婷| 婷婷五月天色色| 色婷视频| 久久一热免费视频| 五月丁久久| 婷婷六月激情丁香| 色综啪啪| 天天婷婷综合亚洲亚洲| 九九热99免费视频| 五月丁香六月激情综合| 99热最新精品| 色综合天天| 激情综合5| 久久婷婷视频| 成人噜噜网| 综合网色| 激情五月第四色| 香蕉久久国产AV一区二区| 久久婷婷五月综合97色一本| 人妻体体内射精一区二区| 色色婷婷综合网| #NAME?| 99热在线播放| 久久综合婷婷| 四川女人毛多水多A片| WWW色五月天| 欧美精品中文字幕亚洲专区| 99热12| 亚洲 欧洲 国产 伦综合| 精品人妻一区| 亚洲成人AV在线播放| 婷婷六月丁香五月| 婷婷五月天免费| 亚洲视频码| 香蕉AV777XXX色综合一区| www.99久久久久99| 五月天开心激情综合网| 久久只这里有精品| 婷婷五月中文字幕| 色婷婷丁香五月| 激情综合综合综合| 97碰碰久久| 九九在线精品| 五月丁香啪啪啪免费看| 91男人资源站| 99在线精品观看99| 91精品综合久久久久久五月丁香| 91久热| 热99精品视频| 玖玖婷婷五月天| 疯狂做受XXXX高潮A片| 可以看的av网站| 99人妻碰碰碰久久久久禁片| 久久五月天激情| 人人爱人人草| 色婷婷丁香五月在线| 9久操| 婷婷香五月天| 婷婷六月情| 久久久www| 亚洲天堂婷婷丁香| 伊人激情综合网| 色。 日日日| 2013AV天堂| 99视频这里有精品| 一级性爱视频| 99热这里只有精品国产免费| 九九久久高清| 欧美日韩精品人妻狠狠躁免费视频| 77799热| 五月天婷婷久草丁香| 91久久久久久久| 精品久久久久久久人妻| aⅤ79成人片| 五月婷婷综合激情小说| 五月丁香激情啪啪| 五月婷六月婷婷| 久久婷丁香五月| 国产黄色在线观看| 日韩啪啪视频| 婷婷金品综合视频| 久久婷五月综合色| www.色五月.com| 淫视馆av三区| 操碰99| 丁香激激情网| 91久久电影| 免看黄大片AA | 色婷婷丁香五月天在线观看| 久久天天天| 日韩精品无码AV| 国产精品涩涩涩视频网站| 99热热这里只精品996小说| 奸逼视频| 9er热在线精品视频| 99色.com| 爱操天堂| 国产欧美日韩综合精品一区二区| 人妻久久久久久久| 九九热这里只有精品9| 免费成人中文字幕| 久久综合婷婷激情| 国产67194| 久久996re热这里只有精品无码| 99热超| 牛牛热这里只有jingpin| 91性高潮久久久久久久久| 九九热99热| 久久婷婷五月综合伊人| 天天综合91入口| 丁香五月-激情综合| 九九热最新视频| 激情综合色图| 日本五月天网站| 五月停停丁香| 成人短视频在线观看| 加勒比久热| 亚洲偷| 天天干天天拍| 伊人久久婷婷| 9久国产精品| 激情五月天网| 狠狠做深爱婷婷久久综合一区| 99综合色色色| 欧美一级色| 五月婷婷综合久久| 婷婷丁香五月天影院 | www.五月婷婷久久.com| 先锋资源婷婷| 亚洲国产精品VA在线看黑人| 颜射 精品性爱av| 天天搞夜夜叫| 九九热精品| 久久婷婷婷| 9精品国产在热久久| 丁香婷婷五月份| 久久小说网| 五月天激情小说| 色五月激情网| 天天色播| 99久热| 可以免费观看的av| 五月丁香啪啪啪| 国产成人亚洲综合A∨婷婷| 超碰九九热| 超碰免费大香蕉| 久久艹99| 日韩成人AV在线| 亚洲精品影视| 五月婷婷六月天| 日本色婷婷| 99精品在线| 五月婷婷激情综合| 丁香 久久| 六月色播| 婷婷色色网| 99热6精品| 五月婷婷六月天| 久久综合激情| 欧美日韩中文国产一区发布| 人妻久久久久久久 | 亚洲第一精品网站| 狠狠搞狠狠操| 亚洲成人高清在线| 激情五月婷婷啪啪| 欧美成人无码一区二区三区| 久久婷五月综合色| 色五月婷激情| 五月在线| 五月婷婷99热| 97色色网| 欧美怡红院黄站| 国产成人精品一区二三区熟女在线| 婷婷五月丁香香蕉| 色吧五月| 最新无码专区| 日韩av网站在线观看| 亚洲最大视频网站| 亚洲国产色婷婷| 秋霞AV美国| 五月色网| 五月天激情国产综合婷婷婷就去爱| www.久久久久久久| 丁香五月天欧美成人| 五月天婷婷青青| 开心五月丁香综合久久| 成人精品99| 五月婷婷亚洲| 欧美人妻一区二区| 九九热在线观看视频| 欧美大片| 91碰九色| 欧亚洲在线高清视频| 欧美日韓成人亚洲精品另类| 激情婷婷丁香色五月综合| 久久久久思思热| 99热精品观看| 啊V视频在线观看| www.婷婷| 一区二区传媒视频| 色噜噜狠狠色综合日日| 亚洲色a| 婷婷激情六月| 色五月婷婷在线| 97五月婷| 69精品无码一区二区三区| 在线中文字幕视频| 久热中文字幕在线线观看 | 这里只有精品久| 思思99热| 国产婷婷色综合AV蜜臀AV| 国产黄色在线观看| 91婷婷丁香五月| 亚洲成色综合网站免费观看| 五月天婷婷成人| 狠狠狠狠狠狠狠狠| 亚洲人成播放网站| 九九九这里只有精品| 色狠狠综合| 婷婷久久五月丁香| co超碰在线观看| 久久婷婷五月天激情四射| 亚洲中文字幕AV| 可以直接看的AV网站| 五月噜噜| 五月婷婷色情| 色色五月天 亚洲| 天天干天天干天天干天天干天| 开心激情婷婷| 任你操精品免费| 婷婷六月插屄激情| 免费观看亚洲AV片| 日韩精品呦呦va| 久久九九99| 五月天五月天激情网| 日韩啪啪网| 97婷婷五月丁香| 婷婷五月色色| www.狠狠干com| 激情文学久久| 五月天大香蕉视频| 日本精品。999| 国产99视频永久免费| 玖玖爱资源站| 在线亚洲综合| 色婷婷丁香五月观看| WWW五月| 97五月天| 成人在线综合| 天天做天天爱天天爽在| 成人在线不卡| 丁香97综合| 婷婷丁香五月天在线视频| 91avse| 久热精彩视频98| 99久久网站| 五月天综合视频网| 俺也去色| 热中文字幕| 五月天婷婷AV| 久久蜜臀婷婷| 97色色色色色色色色色色色色色| 天天肏高清在线| 极品人妻VIDEOSSS人妻| 亚洲中文av| 亚洲色五月婷婷| 在线日韩视频| 日韩无码专区| 99在线热视频| 五月婷婷,六月婷婷| 九九热这里只有精品一| 狠狠干婷婷| 九九青青草成人| 26uuu精品一区二区| 99re欧美精品| 色五月婷婷五月久久| www久| 91色吧网| 亚洲色模骚货| 亚洲妇女熟BBW| 久久婷婷丁香| 色人妻五月| 国产毛片精品一区二区色欲黄A片| 日本视频99| 色噜噜狠狠色综合日日| 中日韩美欧成人一区二区精品在线| 激情综合网五月丁香| 丁香五月婷婷六月丁香| 激情五月天福利| 小视频一区| 精品亚洲国产成人A片在线鸭王| 伊人9在线| 五月天激情久久| 99热66| 国产99热在线看| 国产成人99久久亚洲综合精品| 96精品国产综合久久久久久| 五月天四色房丁香| 最近韩国日本免费高清观看| 99激情在线| 91色在线/日韩| 插逼综合网| 日韩成人AV在线播放 | 婷婷激情五月综合| 久久婷婷网址| 婷婷丁香五月亚洲| 农村熟妇高潮精品A片| 天天爽—爽| 九九热精品视频在线观看| 安息电影在线观看完整版| 亚洲愉拍99热成人精品| 精品久久婷婷| 开心激情网在线| 婷婷色一二三区波多野结衣| 丁香五月婷婷天| 丁香婷婷老熟女综合网| 色婷婷六月天在线| 久久电影五月天丁香电影| 亚洲另类噜噜| 丁香五月婷婷99| 99精彩视频| 激情五月天啪啪| 五月丁香婷婷久久| 综合色五月| 深爱激情六月天| 激情丁香久久| 国产精品久久久久久妇女6080| 婷婷八月激情| 青草青草视频2免费观看| 激情丁香婷婷五月天| 偷偷与邻居做爰完整视频| 丁香婷婷精品视频| 99免费| 婷婷丁香视频在线观看免费| 国产又爽又猛又粗的视频A片 | 97色色网| 激情都市五月天| 熟妇天天综合| 色欲久久久久久综合网综合网| www.九九婷婷| www.射伊蕉婷婷| 五月婷婷六月丁香| 国产欧美日韩综合精品一区二区| 亚洲激情高潮| 丁香花综合永久入口| 色播五月天激情| 91精品久久久久久77777| 久久色情| 亚洲人成人五月天| 激情五月,激情综合网| 五月婷丁香| av在线超清中文| 五月丁香大香蕉| 开心婷婷五月花| 人妻Av在线| 丁香婷婷五月六月久久| 亚洲激情网站无码| 91人人看| 欧美色色色| 天天在线天天综合网色| 欧美精品久| 久久九九热视频| 五月天色在线| 婷婷五月天黄色网址| 二色av| 日本性激情色播| 综合久久综合综合| 国产成人亚洲综合A∨婷婷| 久青青久| 麻豆忘忧草午夜| 婷婷丁香五另类网站| 五月天久久婷婷婷| 久久婷婷夜| 色色操| www激情| 天天做天天爱天天日| 国内自拍1区| www.婷婷五月天.com| 日日婷婷不卡| 91九色 婷婷| 国产毛片精品一区二区色欲黄A片 极品人妻VIDEOSSS人妻 | 丁香婷婷综合精品六月初| 亚洲精品字幕在线观看| 婷婷五月天色播| 丁香香五月激情免费视频| 99国产精品白浆在线观看免费| 99久久精品视频女神1| 欧美 日韩 成人在线| 天天做天天爱天天高潮| 激情综合网色播五月| 思思久久精品视频| 日都一级A片| 色色99| 婷婷色五月天综合网| 9视频1在线| 日日爽日日| 日韩欧美一级大黄网站| 天天天久久久| av最新在线| 99国产精品白浆在线观看免费| 天天摸色吧天天摸色吧| 8区视频在线| caop视频| 一起草av| 色情五月综合婷婷| 性爱电影科技贸易有限公司| 99操久久| 人人摸人人干| 激情综合五月天| 超碰com| 99色免费视频| 蜜臀A∨在线水帘洞| 99热8在线| 五月婷婷啪| 狠狠色综合网站久久久久| 99re久热只有精品6在线直播| 日日噜噜夜夜狠狠久久丁香五月| 日亚二欧美| 日韩欧美骚货| 丁香五月婷婷丫| 五月丁香另类图片| 岛国操B不卡在线| 中文字幕日本最新乱码视频| 五月婷婷综合激情| 亚卅毛片| 婷婷开心激情| 噜噜噜精品欧美成人在线观看| 区美毛片子| 丁香五月婷婷激情中文| 丁香五月婷婷啪啪视频| 婷婷色影院| 五月婷婷五月| 五月婷婷精品无在线| 六月婷婷六月天天在线免费| 久久色情| 色yeye色综合| 久操香蕉| 国产精产国品一二三在观看| 性爱久久| 久久久噜噜噜久久人妻| 婷色五月天| 免费亚洲婷婷五月| 九九性视频| 激情五月天www| 婷婷五月精品在线| 午夜丁香六月婷| 久久婷婷六月| 激情床戏| 亚洲综合婷婷五月| 五月丁香 狠狠爱| 天海翼中文字幕高| 蜜桃人妻无码AV天堂三区| 99久久综合网| 超碰资源在线| 婷婷色综合| 偷拍五月丁香| 丁香婷婷五月| 天天做天天爱| 丁香色婷婷| WWW五月| 新伍月婷婷| 天天在线久久综合| 亚洲avjiujiur91| 日日日,com| 97久久精品| 国产老熟妇亲子乱对白| 涩九九九九| 婷婷色在线视频| 大香蕉人在线65| 九久九精品| 亚洲精品又粗又大又爽A片| 桃色五月天| 亚洲综合在线视频| 北京熟妇搡BBBB搡BBBB | www.激情com| 欧美日韩成人在线网站| www.婷婷,com| 五月丁香成人| 六月婷婷综合| 日本色色图| 99色6爱9热| 五月婷婷六月丁| 欧美色播综合在线观看| 五月丁香综合| 久久这里只有国产| 在线中文字幕av| 色婷婷88| 91久热| 天天激情综合| 国产伊人五月天| 五月天成人网婷婷| 99热精品少| 五月激情偷拍婷婷| 操操操操操操婷婷五月天| 欧美色久| 天天骑日日爽| 久色成人| 狠狠色婷婷六月激情网| 六月丁香婷婷综合在线| 五月天丁香综合久久国产| 超碰激情网| 婷婷五月色天| 激情综合五月婷婷| www五月婷婷88导航| 91呦呦呦| 激情久久伊人| 久久婷婷五月综合色天| 91疯狂操操操操| 狠狠综合| 五月天自拍网| 天天爽天天日天天舔| 婷婷五月天天天| 丁香五月在线观看完整版| 色日本五月天| 久草五月婷婷| 色五月丁香五月| 在线18av | 婷婷五月天丁香久久| 99re视频在线精品| 五月丁香成年黄色| 99re66热这里只有精品| 国产色丁香| 伊人五月网| 亚洲成人五月| 婷婷伊人綜合中文字幕小说| 99热这里只有精品在线观看| 丁香五月开心七月| www91在线| 人妻自慰在线| 五月婷综合性中心| 国产va视频| 九九99精品视频在线观看| 97在线观视频免费观看| 操日视频| 操操天堂| 五月激情视频网| AV操操操| 熟女激情网| 少妇性按摩无码中文A片 | 香蕉婷婷色五月| 色婷婷综合网站| 精品色| 国产亚洲在线观看| 色约约视频一区二区三区四区五区 | 色婷婷AV在线| 婷婷色五月综合丁香| 五月丁香六月婷婷亚洲视频| 色噜噜狠狠色综合成人网| 99网| 久草婷妨| 亚洲婷婷激情综合激情999精品| 色综合久久中文| 欧美色六月婷婷| 五月天激情无码| 五月天激情小说| 女高怪谈在线观看| 日本久久天堂| 激情性爱五月天网页| 久热黄色| 激情综合五月激情17| 深爱激情小说五月婷婷| 五月婷婷视频| 影音先锋91网站在线观看| 久久狠婷婷| 情欲综合网| 五月丁香激情综合网| 91狠狠综合久久久久久| 啪精品| 婷婷色系婷色| 亚洲熟妇无码乱子AV电影| 疯狂做受XXXX高潮A片动画| www.9797国产| 五月激情婷婷播播网| 九九热在线99| 国产 码在线成人网站| 天堂亚洲 在线| 色婷婷五月丁香在线观看| 综合色色婷婷| 日韩乱轮AV| 国产激情综合| 性生活久久人妻| 99操视频| 激情综合99| 97五月天婷婷| 天天干,天天日| 成人在线综合| 亚洲丁香五月在线观看| www.婷婷六月天| 超碰99资源站| 99热12| 一级黄色影片| 99色日本| av免费人人| 这里只有精品久久| AV网站免费在线| 国产偷人妻精品一区| 五月香婷婷| 91色涩| 亚州操人在线视频| 久久97久久99久久综合欧美| 婷婷五月天久久综合88| 快色t v在线入口| 久久婷婷五月天| 丁香五月天激情| www.婷婷六月天| 91碰人人| av在线资源| 五夜丁香| 日本在线观看91| 九九九九九九九热| 图片区 小说区 区 亚洲五月| av第一二区| 26uuu欧美激情另类| 玖玖色综合| 色婷网| 久久婷婷内射| 五月天基地| 久草xx性爱视频| 亚洲熟妇AV乱码在线观看| 久99在线视频| 99热这里只有精品在线| 久久色午夜在线导航| 五月天成人在线播放丁香| 成人综合网站| 日韩砖区| 日日天天干| 丁香色六月婷婷| aa久久| 激情九色| 色婷婷亚洲六月婷婷中文字幕| 婷婷六月色| 99热在线播放| 99热伊人| 五月玖玖| 五月婷婷在线综合| 岛囯综合激情网| 26uuu亚洲欧美| 国产精品激情AV久久久青桔| 五月丁香婷婷在线综合蜜桃| 五月天色丁香| 色情五月天导航| 狠狠色婷婷777| 日日夜夜亚洲一区| 99热在线观看这里只有精品| 色色色色欧美| 色综合五月婷婷狠狠干| 五月综合激情网| 日韩成人免费电影| 激情五月天婷婷| 色色色999| 久久99久久99久久99人受| 九九精品视频免费在线| 五月激情站| 黄色大片又大粗又爽| 久久综合激情| 丁香五月婷婷啪| 久久久激情| 婷婷五月天六月综合| 免费视频WWW在线观看网站| 天天 日综合| 综合欧美五月婷婷| 色综合日日| 久热精品免费视频4| 五月天婷婷在线播放免费| 欧美搡BBBBB摔BBBBB| 六月激情婷婷综合| 亚洲精品无人区| 五月激情婷婷女| 色99欧洲色19| 婷婷在线激情| 国产免费AV网站| 色综合综合色| 亚洲无aV在线中文字幕| 色婷婷九月| 久久久精品99亚洲综合| 色五月网址| 九九热99精品| 97久久精品视频| 五月天婷婷久久| 激情五月色综合网| 无码啪啪| 天天爱天天做天天日| 色色色网站| 五月开心婷婷网| 99天堂网| 99亚洲大片精品永久在线观看| 99综合视频一体| 婷婷激情六月综合| 色色综合网www| 热99在线| 五月婷婷色影院| 免费亚洲婷婷| 色色日韩无码| 成片免费观看大全| 婷婷激情图片| 久久性爱视频| 欧美大肥婆大肥BBBBB| 伊人五月成人| 婷婷久久爱| 婷婷五月,偷窥偷拍网| 久热九九| 国产真实乱了老女人视频| 视频色色色色色色| 4399在线日本A片| 天天综合精品| 天天搞天天色综合| 久久五月网| 国产亚洲精品久久久久久郑州| 激情婷婷五六月天| 99婷婷精品推荐在线视频| 九热视频| www超碰| 99热 日韩| 91九色中文| www久久99com| 亚洲AV久久久久久久久久久久久久久久| 天天谢天天操| 色婷天天| 丰满老熟妇BBBBB搡BBB| 国产色色色色| 综合色图区| 丁香九月激情| 久久久99精品| 97久人人| 99这里都是精品| 99热精品在线免费观看| 五月停亭六月,六月停亭的英语 | 欧美性爱五月天| 日日夜夜综合| 99激情在线| 国产AV一区二区三区最新精品| 久久久区区一久久久久久| 91精品无码久久久久久五月天| 99精品久久久| 久久这里都是精品视频| 九9九9无码| 1024日韩| 婷婷五月天开心网| 色之综合网| 成人婷婷色综合| 精品激情| 九九久久视频| 91一起艹| 变天就操逼婷婷五月| 丁香五月色情| 能直接看的AV网站| 97自拍视频在线| 97超碰99热99| 99碰碰视频| 五月天婷婷导航| 激情综合网五月丁香| 亚洲精品第一国产综合亚AV | 操人91| 婷五月天| 人人添人人| 久久性操| www.婷婷五月.com| 色五月婷婷老师| 99热精品在线免费观看| 精品久久人妻热| 色婷婷综合成人| 色一色综合| 91碰碰| 五月天久久综合婷婷丁香| 日本色色图| 97ai婷婷| 婷婷激情四射| 婷婷丁香亚洲色综合91| 色色亚卅| 他改变了拜占庭| 五月天婷婷激情网| 天天插操| 九九九色综合| ji'qi'luan'ren'lun| 天天色,天天操,天天射| 久久性视频| 丁香花狠狠婷婷亚洲中文字幕| 99ri精品视频在线观看| 五月婷六月婷婷| 婷婷丁香五月激情中文字幕版| 五月激情婷婷国产精品久久久久久| 日韩人妻无码专区| 五月丁香婷婷在线| 亚洲精品大片| 色五月婷婷少妇人妻| 婷婷五月丁香久久| 激情av网| 伊综合蕉| 狠狠精品干练久久久无码中文字幕| 丁香九月综合| 第四色婷婷丁香五月| 九九热在线观看视频网站| 丁香五月婷婷激情小说| www.久操| 欧美日本国产| 国产午夜精品AV一区二区麻豆| 人人色婷婷| 国产精品色婷婷AV综合色色| 亚洲婷婷丁香五月在线| 日韩一级网站| 嫩草极品| 色丁香五月婷婷| 婷婷综合视频| 久99热| 色99热| 天天干一干| 精品久久这里热66| 国产婷婷色综合AV蜜臀AV| 五月婷综合性中心| 热无码A∨| 婷婷五月天激情四射五月天激情| 久久婷网| 久久99精品久久久久久青青AR| 综合色播| 亚洲色婷婷五月天| 天天综合亚洲综合| 99思思在线视频| 精品久热| 色丁香五月天射婷婷爱婷婷| 久久综合五月天| 婷婷丁香成人五月天| 9999热在线免费观看| 激情久久网 | 狠狠激情五月天| 五月天色视频| 日日爱激情| 五月第四色|