欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

qemu-user-static實(shí)戰(zhàn):從chroot到Docker buildx的跨架構(gòu)模擬指南

qemu-user-static實(shí)戰(zhàn):從chroot到Docker buildx的跨架構(gòu)模擬指南 簡(jiǎn)介面向跨架構(gòu)容器運(yùn)行場(chǎng)景的 qemu-user-static 是一套輕量工具資源基于 QEMU 用戶態(tài)模擬和 binfmt_misc 內(nèi)核機(jī)制解決在 x86 宿主機(jī)上直接執(zhí)行 arm64 等不同體系結(jié)構(gòu)容器時(shí)出現(xiàn)的格式錯(cuò)誤問題。它特別適合需要構(gòu)建多架構(gòu)鏡像、搭建異構(gòu)持續(xù)集成環(huán)境的中高級(jí)運(yùn)維和容器開發(fā)者。整個(gè)壓縮包僅 44KB總共收納 17 個(gè)文件主體由 6 份 Markdown 說明文檔構(gòu)成分別介紹使用指南、開發(fā)者開發(fā)手冊(cè)、兼容鏡像清單以及多種實(shí)際示例另有 5 個(gè) Shell 腳本覆蓋注冊(cè)執(zhí)行器、發(fā)布鏡像、自動(dòng)測(cè)試與生成發(fā)布包等流程并附帶 Dockerfile、GitHub Actions 工作流配置文件、許可證和忽略規(guī)則文件目錄結(jié)構(gòu)清晰便于快速閱讀和復(fù)用。目前已有 587 人學(xué)習(xí)。借助這份內(nèi)容讀者能夠理解 qemu-user-static 配合 binfmt_misc 實(shí)現(xiàn)跨架構(gòu)容器執(zhí)行的完整原理獲得一鍵式注冊(cè)和測(cè)試腳本并參照官方文檔與示例在本地快速?gòu)?fù)現(xiàn)從 x86_64 跨平臺(tái)運(yùn)行 arm64 容器的全過程省去反復(fù)排查環(huán)境兼容性的時(shí)間直接掌握多架構(gòu)容器環(huán)境搭建的關(guān)鍵技能。1. qemu-user-static 是什么一條命令讓 x86 主機(jī)跑透三種架構(gòu)如果你維護(hù)過 CI 流水線大概率遇到過這種場(chǎng)景宿主機(jī)是 x86_64但構(gòu)建產(chǎn)物要跑在 arm64 嵌入式板子上。以往的做法是開一臺(tái) ARM 服務(wù)器或者用 qemu-system 起整機(jī)虛擬機(jī)慢且折騰。qemu-user-static 提供的是另一條路/usr/bin/qemu-*-static是一批靜態(tài)編譯的 QEMU 用戶態(tài)模擬器它不模擬整臺(tái)機(jī)器只翻譯 CPU 指令讓 x86_64 內(nèi)核直接把 arm64 的 ELF 文件當(dāng)作普通進(jìn)程來執(zhí)行。實(shí)際效果就是chroot arm64_rootfs /bin/ls能直接跑出 aarch64 的lsDocker 里--platform linux/arm64的鏡像也能在 x86 主機(jī)上 build 和 run。這套機(jī)制對(duì)嵌入式交叉開發(fā)、多架構(gòu)容器鏡像構(gòu)建、CI 矩陣測(cè)試都極有用而且最終落到 Shell 命令上不過三五條。適合誰不想養(yǎng) ARM 機(jī)器但又必須產(chǎn)出、運(yùn)行、調(diào)試異架構(gòu)程序的開發(fā)者。2. 選擇靜態(tài)版模擬器動(dòng)態(tài)版與靜態(tài)版的取舍和 binfmt_misc 的工作原理2.1 動(dòng)態(tài)版與靜態(tài)版文件體積不是唯一差別QEMU 用戶態(tài)模擬器其實(shí)有兩類安裝產(chǎn)物。一類是發(fā)行版?zhèn)}庫(kù)里的qemu-user裝完是/usr/bin/qemu-aarch64這種動(dòng)態(tài)鏈接版本另一類是qemu-user-static裝完是/usr/bin/qemu-aarch64-static靜態(tài)鏈接、單文件、不依賴宿主機(jī)的 glibc。很多人以為區(qū)別只是體積其實(shí)選型上差很遠(yuǎn)。動(dòng)態(tài)版模擬器依賴宿主機(jī)的動(dòng)態(tài)鏈接庫(kù)意味著它只能在「當(dāng)前宿主環(huán)境」里跑你想把它拷進(jìn)一個(gè) arm64 的 rootfs 或者容器里它一進(jìn)去就因缺庫(kù)報(bào)廢。靜態(tài)版沒有這個(gè)包袱qemu-aarch64-static拷到哪都能執(zhí)行這正是 chroot、Docker 多架構(gòu)構(gòu)建場(chǎng)景里最需要的特性。對(duì)比項(xiàng)動(dòng)態(tài)版 qemu-user靜態(tài)版 qemu-user-static依賴宿主機(jī) glibc 及一堆 .so無單文件靜態(tài)鏈接體積幾百 KB 到 1MB幾 MB 到十幾 MB拷入 rootfs/容器不行缺庫(kù)直接拷過去就能用適用場(chǎng)景宿主機(jī)上偶發(fā)跑一下chroot、Docker buildx、CI 矩陣此外還有性能差異。靜態(tài)版因?yàn)榫幾g時(shí)開啟了更多優(yōu)化翻譯執(zhí)行時(shí)的額外開銷通常比動(dòng)態(tài)版略低。當(dāng)然這只是體感極端性能場(chǎng)景還是別指望模擬器老老實(shí)實(shí)用真機(jī)。我一般會(huì)在開發(fā)機(jī)里把兩個(gè)都裝上日常調(diào)試用動(dòng)態(tài)版凡是涉及 chroot、容器、CI 一律切到靜態(tài)版。2.2 binfmt_misc 的匹配機(jī)制magic 字節(jié)與解釋器的約定qemu-user-static 能生效依賴 Linux 內(nèi)核的binfmt_misc模塊。這個(gè)模塊允許管理員注冊(cè)「文件格式 → 解釋器」的映射內(nèi)核看到目標(biāo)文件頭部特征匹配后就把這個(gè)文件交給指定解釋器執(zhí)行。對(duì)于 ELF 文件匹配特征就是文件頭的 magic 字節(jié)。比如 arm64 的 ELF 頭是\x7fELF加 64 位標(biāo)記加 machine 字段值 1830xB7。注冊(cè)記錄長(zhǎng)這樣# 注冊(cè) arm64 格式到 binfmt_misc實(shí)際中建議用 qemu-binfmt-conf.sh這里僅為展示格式 sudo sh -c echo :qemu-aarch64:M::\x7fELF\x02\x01\x01\x00\x00\x00\x00\x00\x00\x00\x00\x00\x02\x00\xb7\x00:\xff\xff\xff\xff\xff\xff\xff\x00\xff\xff\xff\xff\xff\xff\xff\xff\xfe\xff\xff\xff:/usr/bin/qemu-aarch64-static: /proc/sys/fs/binfmt_misc/register這段命令的含義是當(dāng)內(nèi)核遇到一個(gè) ELF 文件其頭部前 20 個(gè)字節(jié)與前面那個(gè) magic 串按 mask 逐位比對(duì)能對(duì)上、且 machine 字段是 0xB7aarch64時(shí)把執(zhí)行權(quán)交給/usr/bin/qemu-aarch64-static。mask 里的\xfe表示 cpu 架構(gòu)字段的最后一字節(jié)不參與比較這樣可以兼容大小端。注冊(cè)完成后你再直接執(zhí)行一個(gè) arm64 二進(jìn)制內(nèi)核會(huì)發(fā)現(xiàn)它的頭匹配這條規(guī)則自動(dòng)用 qemu 去啟動(dòng)它對(duì)用戶來說完全透明。這套機(jī)制像是一個(gè)黑匣子你不需要理解每一次系統(tǒng)調(diào)用怎么被模擬只要知道「注冊(cè)了格式異架構(gòu)程序就能在當(dāng)前內(nèi)核上直接運(yùn)行」。2.3 為什么不建議手寫注冊(cè)記錄版本差異與參數(shù)陷阱手寫注冊(cè)記錄看起來很酷但實(shí)操里有坑。第一不同架構(gòu)的 ELF machine 字段值不一樣記錯(cuò)一個(gè)字節(jié)整條規(guī)則就廢了第二QEMU 版本更新后解釋器路徑和 flags 有變化你手寫的記錄可能和當(dāng)前 qemu-user-static 包不匹配。第三某些規(guī)則還需要F標(biāo)志fix binary讓內(nèi)核把腳本解釋器也交給 qemu 處理少了這個(gè)標(biāo)志容器里跑#!/bin/sh腳本會(huì)直接炸。所以我一般推薦直接用現(xiàn)成工具注冊(cè)。Debian/Ubuntu 系裝完qemu-user-static后qemu-binfmt-conf.sh腳本就在/usr/bin下或者用 Docker 鏡像里的注冊(cè)器# 推薦方式用 multiarch/qemu-user-static 鏡像完成注冊(cè) sudo docker run --rm --privileged multiarch/qemu-user-static --reset -p yes--reset表示重置已有注冊(cè)記錄-p yes表示注冊(cè)為「持久」格式避免某些系統(tǒng)在重啟或容器重建后把規(guī)則清掉。--credential yes會(huì)根據(jù)目標(biāo)程序的 uid/gid 切換模擬器權(quán)限涉及文件權(quán)限敏感的場(chǎng)景建議加上。用完檢查一下注冊(cè)表是否真的寫進(jìn)去了# 查看所有已注冊(cè)的解釋器 ls -l /proc/sys/fs/binfmt_misc/ | grep qemu # 查看某個(gè)架構(gòu)的具體規(guī)則內(nèi)容 cat /proc/sys/fs/binfmt_misc/qemu-aarch64輸出里能看到enabled和interpreter字段確認(rèn)指向的是/usr/bin/qemu-aarch64-static而不是動(dòng)態(tài)版qemu-aarch64這一步能省掉后面很多莫名其妙的報(bào)錯(cuò)。3. 從安裝到第一個(gè)跨架構(gòu)程序注冊(cè)、chroot 與調(diào)試參數(shù)3.1 安裝、注冊(cè)與驗(yàn)證三條命令理清環(huán)境以 Debian/Ubuntu 系為例安裝包很小裝完注冊(cè)器也一起到位# 安裝靜態(tài)模擬器和 binfmt 支持 sudo apt update sudo apt install -y qemu-user-static binfmt-support # 注冊(cè)所有支持的架構(gòu)到內(nèi)核 sudo docker run --rm --privileged multiarch/qemu-user-static --reset -p yes第一行安裝的是實(shí)際的qemu-*-static文件第二行才是往內(nèi)核里寫格式規(guī)則。如果你不想依賴 Docker也可以直接跑sudo /usr/bin/qemu-binfmt-conf.sh --qemu-suffix -static --systemd all效果類似。注意這臺(tái)機(jī)器必須開了CONFIG_BINFMT_MISC一般發(fā)行版默認(rèn)都開。驗(yàn)證環(huán)境是否就緒就看注冊(cè)表# 檢查 arm64 是否注冊(cè)成功 cat /proc/sys/fs/binfmt_misc/qemu-aarch64 # 如果輸出 interpreter 為 /usr/bin/qemu-aarch64-static 且 enabled說明環(huán)境 OK3.2 chroot 運(yùn)行 arm64 程序最小可復(fù)現(xiàn)的步驟假設(shè)你有一個(gè)解壓好的 arm64 rootfs 在/opt/arm64-rootfs里面是一套完整的 Debian arm64 文件系統(tǒng)。想在這個(gè) rootfs 里執(zhí)行命令必須先復(fù)制靜態(tài)模擬器進(jìn)去因?yàn)?chroot 后看不到宿主的/usr/bin# 把靜態(tài)模擬器拷進(jìn) rootfs sudo cp /usr/bin/qemu-aarch64-static /opt/arm64-rootfs/usr/bin/ # 掛載必要的虛擬文件系統(tǒng)很多工具依賴 /proc /sys 才能正常工作 sudo mount -t proc /proc /opt/arm64-rootfs/proc sudo mount -t sysfs /sys /opt/arm64-rootfs/sys # 進(jìn)入 rootfs 執(zhí)行命令 sudo chroot /opt/arm64-rootfs /bin/sh -c uname -m cat /etc/os-release如果一切正常uname -m會(huì)輸出aarch64。這一步里最容易踩的坑是忘記復(fù)制qemu-aarch64-static結(jié)果 chroot 后執(zhí)行任何命令都報(bào)Exec format error。另外掛載/proc和/sys不是可選項(xiàng)很多程序一進(jìn)來就訪問/proc/self/status沒掛載直接段錯(cuò)誤。如果你經(jīng)常進(jìn)出 rootfs可以把掛載寫在一條命令里sudo chroot /opt/arm64-rootfs /bin/sh -c uname -m ls /3.3 調(diào)試參數(shù)QEMU_STRACE 與 QEMU_LD_PREFIX 的用法模擬器跑起來后應(yīng)用如果崩了你第一反應(yīng)可能是「模擬器壞了」。其實(shí) qemu-user 提供了幾個(gè)很實(shí)用的環(huán)境變量能幫你快速定位問題。QEMU_STRACE1會(huì)讓 qemu 打印目標(biāo)程序發(fā)起的每一次系統(tǒng)調(diào)用相當(dāng)于給異架構(gòu)程序裝了個(gè) strace。比如懷疑ls卡在某個(gè) syscall 上可以這樣跑sudo env QEMU_STRACE1 QEMU_LD_PREFIX/opt/arm64-rootfs chroot /opt/arm64-rootfs /bin/ls /輸出會(huì)顯示 openat、getdents64 這些調(diào)用的參數(shù)和返回值??吹紼NOENT就知道是路徑不對(duì)看到EACCES就是權(quán)限問題比對(duì)著源碼猜快得多。QEMU_LD_PREFIX是另一個(gè)常被忽略的參數(shù)。qemu 模擬動(dòng)態(tài)鏈接器時(shí)會(huì)按目標(biāo)架構(gòu)的默認(rèn)路徑去找?guī)?。但?chroot 或交叉跑時(shí)依賴庫(kù)可能并不在標(biāo)準(zhǔn)位置。指定這個(gè)變量后qemu 會(huì)優(yōu)先去你給的路徑下找# 讓模擬器去 rootfs 里找動(dòng)態(tài)庫(kù) sudo env QEMU_LD_PREFIX/opt/arm64-rootfs \ QEMU_STRACE1 \ /usr/bin/qemu-aarch64-static /opt/arm64-rootfs/bin/bash這種用法適合不想 chroot、只想單獨(dú)跑一個(gè)目標(biāo)架構(gòu)程序的場(chǎng)景。QEMU_CPU也可以指定 CPU 型號(hào)比如QEMU_CPUcortex-a72能模擬出更接近真實(shí)硬件的特性某些和 CPU 指令集強(qiáng)相關(guān)的代碼段會(huì)依賴這個(gè)參數(shù)。4. Docker 多架構(gòu)構(gòu)建實(shí)戰(zhàn)buildx 與 qemu-*-static 的執(zhí)行鏈4.1 buildx 背后的執(zhí)行鏈RUN 指令怎么被模擬用docker buildx build --platform linux/arm64構(gòu)建鏡像時(shí)宿主機(jī)是 x86_64BuildKit 拉取的基礎(chǔ)鏡像卻是 arm64 的。問題來了構(gòu)建過程中每一條RUN指令都要在新的容器層里執(zhí)行容器里的二進(jìn)制全是 arm64如果內(nèi)核不能識(shí)別構(gòu)建立刻失敗。其實(shí)內(nèi)核對(duì)二進(jìn)制的識(shí)別走的就是 binfmt_misc。基礎(chǔ)鏡像里有qemu-aarch64-static嗎沒有它只是 arm64 的 rootfs。但 BuildKit 在做RUN時(shí)會(huì)以某種方式把 qemu 靜態(tài)模擬器注入到容器里。這個(gè)動(dòng)作依賴宿主內(nèi)核已經(jīng)注冊(cè)了對(duì)應(yīng)的 binfmt 規(guī)則——也就是你在docker buildx create之前必須先執(zhí)行的那條注冊(cè)命令sudo docker run --rm --privileged multiarch/qemu-user-static --reset -p yes如果在沒注冊(cè)的狀態(tài)下強(qiáng)行--platform linux/arm64構(gòu)建最常見的報(bào)錯(cuò)就是exec /bin/sh: exec format error。這條錯(cuò)誤其實(shí)就是內(nèi)核在說我沒見過這種 ELF 頭也不知道該找誰解釋。4.2 多架構(gòu)鏡像構(gòu)建與推送的完整流程環(huán)境齊了以后完整的多架構(gòu)構(gòu)建流程大概是這樣的# 1. 注冊(cè) binfmt每次機(jī)器重啟后都要確認(rèn)一次 sudo docker run --rm --privileged multiarch/qemu-user-static --reset -p yes # 2. 創(chuàng)建一個(gè)支持多架構(gòu)的 buildx builder docker buildx create --name multiarch-builder --use docker buildx inspect --bootstrap # 3. 構(gòu)建并推送多架構(gòu)鏡像 docker buildx build \ --platform linux/amd64,linux/arm64,linux/arm/v7 \ -t your-registry.example.com/demo:latest \ --push .參數(shù)說明docker buildx create --name multiarch-builder --use創(chuàng)建一個(gè)獨(dú)立 builder 實(shí)例--bootstrap會(huì)啟動(dòng)它并順便驗(yàn)證 qemu 是否介入成功。--platform后面跟的是逗號(hào)分隔的目標(biāo)平臺(tái)列表會(huì)分別構(gòu)建每個(gè)平臺(tái)的鏡像層。--push直接把 manifest list 推到遠(yuǎn)端倉(cāng)庫(kù)本地不留中間產(chǎn)物。如果你只想在本地驗(yàn)證構(gòu)建結(jié)果而不推送把--push換成--load就行。但注意--load一次只能加載一個(gè)平臺(tái)到本地 Docker想同時(shí)看兩個(gè)平臺(tái)得分兩次 build。構(gòu)建時(shí)觀察日志留意是否出現(xiàn)#1 [linux/arm64 internal] booting buildkit和qemu-*相關(guān)字樣出現(xiàn)說明模擬器參與了解釋執(zhí)行。4.3 arm/v7 的浮點(diǎn)問題為什么 32 位 ARM 經(jīng)常翻車三平臺(tái)構(gòu)建里linux/arm64和linux/amd64通常問題不大真正讓人血壓升高的是linux/arm/v7。這個(gè)平臺(tái)對(duì)應(yīng) 32 位 ARM用的是硬浮點(diǎn) ABIarmhfqemu-arm 在模擬它時(shí)經(jīng)常出現(xiàn)莫名其妙的段錯(cuò)誤尤其是構(gòu)建 Alpine 或依賴 musl 的鏡像時(shí)。我實(shí)際項(xiàng)目中遇到的情況是同樣的 Dockerfilearm64 一遍過arm/v7 在RUN apk add階段隨機(jī)崩潰重跑一次可能成功可能不成功。這種玄學(xué)問題很惱人排查方向有兩個(gè)。第一確認(rèn) qemu-user-static 版本不要太舊舊版對(duì) armv7 的 VFP 浮點(diǎn)指令模擬有缺陷升級(jí)到新版能解決大部分隨機(jī)崩潰第二換用QEMU_CPUmax讓 qemu 以最完整的 CPU 特性去模擬寫法是在 Dockerfile 里加一句ENV QEMU_CPUmax如果加了仍不穩(wěn)定我會(huì)直接放棄在 x86 上 build arm/v7改用linux/arm64加 32 位兼容層的方式或者把 arm/v7 的構(gòu)建任務(wù)放到 arm64 的真實(shí)服務(wù)器上跑。畢竟不是所有模擬問題都能靠升級(jí)版本解決有時(shí)候成本控制比追求大而全更重要。5. 避坑qemu-user-static 使用中的 5 個(gè)高頻問題5.1 binfmt_misc 只讀導(dǎo)致注冊(cè)失敗現(xiàn)象執(zhí)行docker run --rm --privileged multiarch/qemu-user-static --reset -p yes報(bào)錯(cuò)提示cannot mount binfmt_misc: Read-only file system或者Operation not permitted。原因宿主機(jī) systemd 在某些版本里把/proc/sys/fs/binfmt_misc掛成了只讀或者你的 Docker 守護(hù)進(jìn)程沒開特權(quán)模式容器內(nèi)看到的是只讀掛載還有一種情況是宿主機(jī)內(nèi)核模塊沒加載。解決先把 binfmt_misc 重新掛載為可寫再執(zhí)行注冊(cè)sudo mount -t binfmt_misc binfmt_misc /proc/sys/fs/binfmt_misc -o remount,rw # 或者卸載重掛 sudo umount /proc/sys/fs/binfmt_misc 2/dev/null || true sudo mount -t binfmt_misc binfmt_misc /proc/sys/fs/binfmt_misc然后再跑注冊(cè)命令。如果還是不行檢查內(nèi)核模塊modprobe binfmt_misc。5.2 Exec format error注冊(cè)丟失與內(nèi)核配置缺失現(xiàn)象docker run --platform linux/arm64 ubuntu uname -m或直接執(zhí)行 arm64 二進(jìn)制報(bào)exec format error。原因最常見的是注冊(cè)表被清空了。內(nèi)核升級(jí)、Docker 重啟、某些系統(tǒng)服務(wù)啟動(dòng)順序問題都會(huì)導(dǎo)致 binfmt_misc 規(guī)則丟失。另外如果宿主內(nèi)核編譯時(shí)沒開CONFIG_BINFMT_MISC怎么注冊(cè)都沒用。解決按順序排查# 1. 看注冊(cè)表在不在 ls /proc/sys/fs/binfmt_misc/ # 2. 確認(rèn)內(nèi)核配置 zcat /proc/config.gz | grep BINFMT_MISC # 或 grep BINFMT_MISC /boot/config-$(uname -r) # 3. 重新注冊(cè) sudo docker run --rm --privileged multiarch/qemu-user-static --reset -p yes如果第 1 步輸出為空且第 2 步確認(rèn)內(nèi)核沒開就只能換內(nèi)核或改用qemu-system全系統(tǒng)模擬兜底。5.3 chroot 后報(bào) No such file or directory現(xiàn)象你 chroot 進(jìn) arm64 rootfs 后執(zhí)行./app文件存在且?guī)?zhí)行權(quán)限但 Shell 報(bào)No such file or directory。原因目標(biāo)程序是動(dòng)態(tài)鏈接的它的 ELF 頭里記錄了 interpreter 路徑比如/lib/ld-linux-aarch64.so.1。如果你的 rootfs 里缺少這個(gè)動(dòng)態(tài)鏈接器內(nèi)核加載程序時(shí)發(fā)現(xiàn) interpreter 不存在就返回這個(gè)讓人困惑的錯(cuò)誤。解決用file確認(rèn)程序的依賴情況再用 QEMU_LD_PREFIX 或補(bǔ)齊庫(kù)文件# 查看目標(biāo)程序的架構(gòu)和 interpreter file /opt/arm64-rootfs/bin/app # 用 QEMU_LD_PREFIX 指定 rootfs 作為庫(kù)搜索路徑 sudo env QEMU_LD_PREFIX/opt/arm64-rootfs \ /usr/bin/qemu-aarch64-static /opt/arm64-rootfs/bin/app # 或者補(bǔ)齊動(dòng)態(tài)鏈接器推薦 sudo cp /opt/arm64-rootfs/lib/ld-linux-aarch64.so.1 /opt/arm64-rootfs/lib/這個(gè)坑在交叉編譯場(chǎng)景特別常見很多人都被「文件在、權(quán)限對(duì)、跑不了」繞進(jìn)去過??吹絅o such file or directory先別懷疑路徑用file看一眼 dependency 或者直接readelf -l app | grep interpreter。5.4 隨機(jī)段錯(cuò)誤qemu-user 的信號(hào)與浮點(diǎn)差異現(xiàn)象同一個(gè)程序用 qemu 跑有時(shí)正常有時(shí) Segmentation fault而且崩潰位置不固定重跑可能又好了。原因qemu-user 對(duì)信號(hào)處理和一些浮點(diǎn)指令的模擬與真實(shí)內(nèi)核存在差異。尤其是 armv7 的硬浮點(diǎn)指令、ARM 特有的 cache 同步指令、某些clone標(biāo)志位在模擬環(huán)境下行為可能略微不同。多線程程序更容易觸發(fā)。解決第一步升級(jí) qemu-user-static 到最新版本這類問題多數(shù)在新版修復(fù)第二步設(shè)置QEMU_CPUmax放寬 CPU 特性模擬第三步如果還崩就不要在模擬器里死磕把問題程序挪到真實(shí) arm64 硬件或 qemu-system 全系統(tǒng)虛擬機(jī)里復(fù)現(xiàn)。記錄崩潰現(xiàn)場(chǎng)時(shí)配合QEMU_STRACE1抓到崩潰前的最后一個(gè)系統(tǒng)調(diào)用能給排查提供關(guān)鍵線索。5.5 QEMU 版本與內(nèi)核版本的兼容邊界現(xiàn)象同一份 rootfs在 A 機(jī)器上跑得好好的搬到 B 機(jī)器內(nèi)核更新后程序啟動(dòng)就報(bào)非法指令或者直接卡死。原因qemu-user 和內(nèi)核之間存在一個(gè)隱形的兼容邊界。太老的 qemu 不認(rèn)識(shí)新內(nèi)核新增的系統(tǒng)調(diào)用反過來太新的 qemu 用了一些新的 syscall 特性老內(nèi)核不支持也會(huì)出問題。這類問題很難從報(bào)錯(cuò)信息直接看出來。解決強(qiáng)制統(tǒng)一模擬器版本和內(nèi)核版本尤其是在 CI 環(huán)境里# 固定 qemu-user-static 版本Debian/Ubuntu 示例 sudo apt install -y qemu-user-static1:8.2.0dfsg-1 # 跑之前打印模擬器版本留作日志 /usr/bin/qemu-aarch64-static --version如果你在容器里跑multiarch/qemu-user-static鏡像會(huì)跟隨 QEMU 版本更新建議在 CI 里固定鏡像 tag而不是用latest。模擬器和內(nèi)核的關(guān)系比我以前以為的要脆弱得多版本對(duì)齊能消掉一大批「換了臺(tái)機(jī)器就翻車」的問題。6. 進(jìn)階把注冊(cè)、依賴和 rootfs 進(jìn)入壓進(jìn)一個(gè) Shell 函數(shù)6.1 一個(gè) Shell 函數(shù)三步合一步實(shí)際工作里我不會(huì)每次都手敲前面那一長(zhǎng)串命令。交叉開發(fā)時(shí)我通常是這樣的節(jié)奏宿主 x86_64目標(biāo) arm64rootfs 在磁盤某處每天要進(jìn)進(jìn)出出十幾次。于是我把「復(fù)制模擬器 → 確認(rèn)注冊(cè) → 掛載虛擬文件系統(tǒng) → chroot」壓縮成一個(gè) Shell 函數(shù)放進(jìn)~/.bashrc#!/usr/bin/env bash # 用法: qemu-chroot arch rootfs [cmd...] # arch: aarch64 / arm / riscv64 # rootfs: 目標(biāo)架構(gòu)的根文件系統(tǒng)目錄 qemu-chroot() { local arch$1 rootfs$2 shift 2 local qemuqemu-${arch}-static local qemu_host/usr/bin/${qemu} if [ ! -f ${rootfs}/usr/bin/${qemu} ]; then sudo cp ${qemu_host} ${rootfs}/usr/bin/ fi if [ ! -r /proc/sys/fs/binfmt_misc/${qemu} ]; then sudo docker run --rm --privileged multiarch/qemu-user-static --reset -p yes /dev/null fi for m in proc sys dev; do [ -d ${rootfs}/${m} ] || sudo mkdir -p ${rootfs}/${m} mountpoint -q ${rootfs}/${m} || sudo mount --bind /${m} ${rootfs}/${m} done sudo chroot ${rootfs} $ }函數(shù)邏輯分四步第一步如果 rootfs 里沒有對(duì)應(yīng)架構(gòu)的靜態(tài)模擬器就從宿主復(fù)制一份第二步如果 binfmt_misc 里沒有對(duì)應(yīng)架構(gòu)的注冊(cè)記錄就重置注冊(cè)一次第三步/proc、/sys、/dev缺哪個(gè)掛哪個(gè)用mountpoint -q判斷避免重復(fù)掛載第四步chroot 進(jìn)入 rootfs 執(zhí)行傳入的命令。每次進(jìn) rootfs 前強(qiáng)制走一遍這套檢查能省去至少半小時(shí)的排錯(cuò)時(shí)間。6.2 用來跑交叉編譯結(jié)果驗(yàn)證這個(gè)函數(shù)最常用的場(chǎng)景是驗(yàn)證交叉編譯產(chǎn)物。項(xiàng)目在 x86 上交叉編譯出一個(gè) arm64 二進(jìn)制以前我只能file看一下架構(gòu)然后丟到 CI 里等真機(jī)跑?,F(xiàn)在直接調(diào)函數(shù)# 編譯完馬上在 rootfs 里試運(yùn)行 qemu-chroot aarch64 /opt/arm64-rootfs /app/hello --version # 或者進(jìn)入交互式 shell qemu-chroot aarch64 /opt/arm64-rootfs /bin/bash參數(shù)說明aarch64對(duì)應(yīng)qemu-aarch64-static/opt/arm64-rootfs是 rootfs 根目錄后面的/app/hello --version是目標(biāo)架構(gòu)里要執(zhí)行的命令。想進(jìn)交互式 shell 就傳/bin/bash。對(duì)于依賴復(fù)雜、需要?jiǎng)討B(tài)鏈接庫(kù)的程序先把編譯時(shí)用到的.so拷貝到 rootfs 對(duì)應(yīng)目錄再進(jìn)函數(shù)測(cè)試基本能模擬出真機(jī) 90% 的運(yùn)行行為。我從某次 CI 事故里學(xué)到的教訓(xùn)是當(dāng)時(shí)為了省事跳過了「復(fù)制模擬器」這一步結(jié)果 runner 緩存清理后 rootfs 里沒了qemu-aarch64-static所有測(cè)試在最后階段全部Exec format error從日志到定位花了大半天最后發(fā)現(xiàn)就是少了一個(gè)文件。從那以后我每次進(jìn) rootfs 都強(qiáng)制完整走一遍這套函數(shù)里的四步檢查不再憑印象省略任何一步。模擬器這東西用對(duì)了是效率利器漏了一步就是時(shí)間黑洞。希望這篇筆記能幫你在跨架構(gòu)開發(fā)里少踩幾個(gè)坑。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月婷天天搞视频| 色婷婷久久综合中文久久一本 | 79精品视频| 99热国产在| AA久久| 亚洲区在线| 秋霞性爱AV| 色婷婷www| 天天粽合合合合| 国产操碰| 九九热大香蕉| 9月色婷婷| 热久久婷婷| 国产XXXX搡XXXXX搡麻豆| 色色操| 久久婷婷六月综合综合| 99精品视频免费| 亚州视频九九99| 秋霞免费三级片| 九月婷婷激情| 婷婷成人AV| 永久天堂日本| 日韩中出视频| 超碰操日| 性爱激情五月| 日本WwW色偷偷丁香花久久久京东热| 色综合色综合网| 9l视频自拍9l九色9l成人| 丁香月六月| 日日射天天射| 色丁香在线视频| www,五月天com| 99综合自拍| 亚洲综合欧美色丁香婷婷888月图片| 综合AV网| 欧州婷婷五月天综合| 疯狂做受XXXX高潮A片| 天天做天天爽| 婷婷五月天基地| 五月婷婷成人| 色婷婷成人| 丁香五月性| 国产成人高清| 五月久久婷婷丁香| 丁香五月网址| 九月丁香亭亭| 亚洲欧美婷婷五月色综合| 九九热精品| 丁香五月亚综合图片| 久久综合天天综合| 五月丁香花激情综合网| 婷婷五月天成人基地| 秋霞三级影视资源| 综合狠狠五月婷婷| 婷婷五月天视频小说| 激情性爱婷婷| 婷婷日本在线| 午夜丁香久久久久久| 综合 激情 婷婷| 日韩少妇内射免费播放| 婷婷色五月综合| 国产成人AV| 99re在线播放| 久久婷婷原创视频| 免费看片在线观看| 五月天三级久久| 色五月婷婷综合在线| 日本WWW九九九| 99久精品视频| www.激情五月天。com| 亚洲午夜在线视频| 丁香五月天综合| 久久99热这里只有精品| 婷婷五月天成人网| 亚洲中字AV电影在线网站| www.丁香六月婷婷久久天堂影院.con| 9色小视频在线观看| 亚洲色频| 先锋资源91| 日韩狠狠色| 男女99免费视频| 超碰人人草| 激情网站五月| www.日日夜夜| 婷婷五月天精品| 五月丁香偷拍| 人妻人人操| 色五月丁香网| 大地9中文在线观看免费高清| 国产XXXX搡XXXXX搡麻豆| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 日本熟妇乱妇熟色A片蜜桃| 666555。COm毛片| yw国产AV| 婷婷六月综合| 99噜噜噜在线播放| 天天摸日日舔狠狠添婷婷婷| 婷婷色正月| www.色九月| 综合色色网| 狠狠狠狠狠| 婷婷丁香社区| 九月婷婷在线观看| 九月丁香婷婷综合| 婷婷亚洲激情在线观看视频| 欧美色色色色色色色| 五月丁香性| 大香蕉天堂| 激情五月天影院| 性无码专区无码| 97干在线视频精品店| 无码一级片| AA久久| 色婷婷五月天激情| 丁香五月婷婷天| 婷婷五月丁香六月| 热99这就是精品视频| 国产毛多水多女人A片| 99riAV成人在线视频| 丁香五月天婷婷91| 婷婷欧美激情综合| 五月婷婷之美女图片| 夜夜操狠狠操| 五月天激情四射| 久久艹 五月天| 天堂在线婷婷| 丁香五月婷婷亚洲人| 五月婷色丁香| 干一干xxxx| 激情五月天小说网| 色五月美女| 色婷婷五月综合在线| 五月天亚洲图片婷婷| 狠狠操天天日| 色色五月婷婷久久| http:色情日本com| 六月婷婷香蕉| 色五月丁香激情视频| 日韩视频99| 999热在线视频| 国产午夜精品AV一区二区麻豆 | 中文精品在| 欧美va视频不用播放器的va视频网| 亚洲bt丁香五月天婷婷激情小说| 久操无码| 婷婷五月激情欧美大胆视频| 五月天婷婷爱| 99热首页在线30| 几激情五月婷婷色五月色天堂| 另类在线| 成人无码中文| 丁香五月天欧美成人| www.夜夜.com| 久操操| 丁香五月之久操视频| 9精品视频在线| 六月丁香啪| 婷婷色5月激情网| 欧美丁香五月97色| 大香蕉AV电影在线| 久久婷婷五月综合| se影音资源在线观看| 婷婷色综合| 婷婷五月丁香基| 99热久草| 色色亚卅| 深爱激情五月婷婷| 色欲色香,www,com| 小视频aaa久久久| 99精在线| 亚洲精品久久久无码| 久久91久久91色欲精品| 五月婷婷色丁香| 婷婷亚洲综合| 亚洲精品久久久无码| 色综合久久综合| 婷婷激情五月天天天开心| 99热在线这里| 嫩草AV久久伊人妇女超级A| 日韩情色在线观看| 开心五月激情站| 91se在线观看| 新激情五月天| 婷五月天天| 五月天婷婷成人| 婷婷五月天成人网| 久久WW| 97色色色色色色色色色色色色色| 色色婷婷丁香| 91日综合欧美| 无码G高清天| 综合99久久天天综合| 国产精产国品一二三在观看| 婷婷精品视频| 婷色五月天| 日本人妻伦在线中文字幕| 五月婷婷丁香啪啪| 色色色国产| www夜夜操| 亚州精品成人片| 天天草狠狠擦| 综合色播| 天天综合久久| 色五狠狠| 国产69久久久欧美黑人A片| 性生活视频98791| 婷婷五月天电影在线| 99精品网| 久久 婷婷 五月天| 久久免片| 色综合激情图区| 97人人干| 猫咪伊人久久| 婷婷丁香五月天色色| 天天成人综合| 26uuu精品一区二区| 婷婷久久图片| 天天综合天综合| 日本久久精品| 在线播放成人网站| 亚洲婷婷五月天| 色婷婷狠狠禁18久久| 色婷婷五月开心六月综合| 日韩色色视频| 97久久精品视频| 婷婷丁香五月天欧美| 97久久人人操| 9999热在线免费观看| 国产色五月| 五月大香蕉| 日本一级一片免费视频| 色欧洲| 99riav 亚洲| 激情五月天婷婷图| 色色丁香五月天| 丁香九色不卡aaa| 日日撸天天干| 五月天偷拍| 激情久久久久久| 色色AV色色色东莞| 超碰在线免费观看3 9| 另类图片激情五月天| 婷婷久热| 超碰色色综合| 日本欧美成人片AAAA| 五月天电影网| 激情精品久久| 9l视频自拍9l九色成人| 五月天婷婷色在线视频免费观看| 婷婷丁香九月| 超碰在线99热| 噜噜在线| 国产第99页| 淫荡综合网| 极品少妇XXXX精品少妇偷拍| 侠女刀之记忆电影在线看免费| 99久久久免费| 色99在线视频| 67194成I人在线观看线路1| 亚洲xx网| 99亚洲视频| 色婷婷色丁香色欲av| 久久婷婷操| 欧美人与性动交CCOO| 99视频内射三四| 久久资源网五月婷| 五月婷婷人人人操| 91ncm视频| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 五月丁香婷婷激情图片| 婷婷六月伊人| 九九精品大香蕉| 爱的综合网| 久久99热这里只频精品6学生| www。五月天激情| 人妻激情综合| 九九综合伊人| 色狠狠综合| 99爽视频| 激情综合无码| 亚州色婷婷| 激情丁香六月| 婷婷涩五月| 色综合久久88色综合天天看| 97干综合网| 26uuu国产| 丁香五月婷婷高清| 99视频精品全部观看10| 亚洲有码在线视频| 99熟女啪啪视频| 九九色院| 伊人网碰碰| 婷婷婷久久久| AV五月丁香| w婷婷五月婷婷w| 日韩在线视频网站| 97碰在线| 丁香五月天啪啪| 丁香五月亚洲激情婷婷射| 丁香六月婷婷久久综合| 永久的网站AAAA| 伊人激情影院| 人妻内射麻豆视频| 日本人人超碰| 激情婷婷综合五月少妇| 操碰99在线视频观看| 天天日日综合| 黄色五月婷| 综合久久99| www.精品久9| 五月丁香综合网| www.久久爱.c n| 人人草人人看| 99热新网址| 婷婷99中文字幕| 中美日韩成人在线| 色色色综合网| 另类丁香五月天区图| 97碰碰碰免费公开在线视频| 丁香五月婷婷成人网| 狠狠爱成人综合网| 婷婷五月丁香六月综合网| 日韩AV中文字幕在线| 色综合色综合色综合色综合| 国产色网站| 亚洲不卡| 深爱五月激情综合| 密着浓厚中出乚交尾GvG935| 丁香五月天天高清在线| 欧美日韩成人在线网| 激情丁香六月| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 亚洲色情在线| 香蕉网久久| 操操人人| 深爱五月激情网| 男男野外做爰全过程69| 五月天另类图片| 亚洲成Av人片乱码色第1集| h亚洲| 91vip在线观看| 五月婷婷AV| 亚洲视频在线观看99| 亚洲蜜桃精久久久久久久久久久久 | 九九99久久| 成人做爰A片免费看网站找不到了| 五月丁激情| 婷婷五月成人社区| 五月丁香激情综合啪啪| 婷婷五月天免费小说| 国产乱子轮XXX农村| 五月婷婷乱| 中文av在线观看| 中文色婷婷| 婷婷五月综合婷婷| 99热最新国内| 亚洲婷婷基地| 激情五月图| 无码视频国内精品久久久| 色婷婷六月丁香综合欲精品| 伊人婷婷大香蕉| 激情99| 五月丁香婷婷中文网| 在线综合91| 亲子乱AV一区二区三区下载| 五五月丁香花激情综合网| 色色五月婷婷狠狠| 精品99视频| 九九综合视频在线观看| yw国产AV| 色丁香五月天| 中文不卡一二三区| 天天色综| 天天干电影| 激情五月五月五月婷婷| 超级碰碰碰碰视频| 婷婷五月激情综合| 欧美色爱五月天| 五月丁香婷婷色色色| 色情综合网| 五月草影视| 日本三久久| 狠狠干狠狠干| 99性色| www.99视频| 欧美顶级少妇做爰HD| 九九99精品视频在线观看| 变态另类9| 亚洲欧洲中文日韩久久AV乱码| 五月成人天| 超碰人人艹| 人与禽A片啪啪| 激情五月影院| 蜜臀A∨在线水帘洞| www.99操| 激情综合网五月天| http://www.sd-xiangsu.com/| 97碰| 五月丁香综合色婷婷| 99ri精品在线| 婷婷五月丁香激情色情| 色爽九九| 色色欧美。| 玖玖午夜视频| 色欲香综合网| 久久久性爱视频| 成人做爰高潮A片免费视频| 天天插天天日| 五月情综合| 激情五月份婷婷| 亚洲色婷婷| 99A片| 五月婷婷新网站| 91怕怕网| 成人精品在线| 天天操综合网| 亚洲综合干| 91久久电影| 免费做A爰片77777| 综合狠狠干| 色五月婷婷激情五月| 中文字幕,综合,91| 天堂久久丁香| WWW.婷婷| 日本狠狠网| 激情综合综合综合| 97五月婷婷| 色爱综合网| 99国产精品久久久久久久久久久| 婷婷六月久久| 五月天婷婷久久| 婷婷色资源| 久久综合人妻| 91精品久久久久、久五月天| 丁香婷婷久久激情| 色五月婷婷综合| 一本婷婷丁香久久| 免费精品99| 久热免费| 26UUU精品一区二区c〇m| 久久作爱| 日韩AV中文字幕在线| 极品人妻VIDEOSSS人妻| 97人妻碰碰碰久久香蕉| 婷婷五月天另类网站| 激情五月天婷婷图| 97热九九| 日韩99无码| 久久这里只有精品99| 无码区婷婷五月花开| 狠狠色婷婷丁香六月| 五月丁香久人妻中文| 九九艹女| 中国丰满熟女A片免费观| 五月婷婷色播| www激情com| 亚洲色五月天在线| 久热91| 亚洲蜜乳AV| 国产毛片精品一区二区色欲黄A片| 91操片| 九九性视频| 婷婷另类开心| 激情av| 五月婷婷国产| 丁香五月天AV在线 | 久9久9久9久9久9久9| 开心婷婷五月中文字幕组| site:jszngf.com| 丁香婷婷九月| 色综合久网| 99热网精品| 婷婷五月天久久| 国产精品国产| 思思热精品在线观看| 婷婷五月免费观看| 九九色中文| 婷婷五月天激情电影| 玖玖九九9999在线观看视频精品| 香蕉人妻AV久久久久天天| 亚洲综合色色色| 五月天婷婷影院| 狠狠撸激情综合丁香五月天俺来啦| 婷婷五月成人色综合| 婷婷月综合| 人人97操| 超碰免费观看| 丁香婷婷五月份| 九九精品热| 九九99在线免费在线观看视频| 婷婷另类小说| 人人爽欧美婷婷久久久五月丁香 | 丁香五月色| 丁香婷婷色九月| 综合九九日本| 日本三级日本黄色| 婷婷丁香九色| 久久人妻熟女一区二区| 天天操夜夜操| 婷婷五月六月丁香| 亚洲综合九九| www.91九色| 五月天色五月| 天天爽,夜夜爽| 日韩乱玛久久| 激情五月天色爱| 亚洲激情高潮| 99这里只有免费的精品| 女性自慰系列第五页| 色播婷婷五月天| 五月天停停日日| 香蕉中文在线| 九一牛视频探花| 五月丁香综合色婷婷| 中国丰满熟女A片免费观| 99久re热视频精品98| 丁香六月啪啪| 91狠狠色丁香婷婷综合久久| 欧美精品999| 久久久五月五丁香| 激情丁香五月| www,超碰| 综合性爱网| 五月亭亭开心网| 国产偷人妻精品一区| 亚洲99精品欧美一区| 5月婷婷五月天| 五月亭亭综合五码| 婷婷色网站| 中文国产五月天| 婷婷五月天第四色| 五月婷婷狠狠干| 伊人色欲五月天| 天天透天天摸天天舔| 五月婷婷精品视频| 五月色丁香激情| 人妻 性久久久久久| 婷婷成人丁香色情基地30 | 丁香五月天大香蕉啪啪| 以及AA大片看看| 偷拍九九热| 碰超亚洲| 国产三级在线播放| 婷婷狠狠狠爱| 99热性色| 成人婷婷| 久久色区| site:xiongshengzz.com| 99这里有精品久久97| 久久五月视频| 99热20| 无码G高清天| 五月天色婷婷视频| 五月丁香青草综合啪啪| 婷婷激情五月天视频在线| 激情五月色综合| 婷婷99狠狠躁| 免费视频无码| 五月婷婷色影院| 午夜成人AV在线| WWW久久久| 丁香五月激情综合| 久久综合九九| 4399无码视频| 91a片爽| 伊人影院久久网| 久久超级碰视频| 丁香五月婷婷偷拍| 97色婷婷成人综合在线观看| 久久只有这里精品免费| 深爱激情小说五月婷婷| 色婷婷激情视频| 九九激情视频| 99免费视频| 4399在线日本A片| 五月香婷婷| 日韩aaaaa| 熟妇内谢69XXXXXA片| 婷婷激情五月呦呦| 99热www| 亚洲综合另类| 五月大香蕉| 欧日韩AV| 综合网五月天123| 丁香婷婷深情五月亚洲| 99综合一区| AV操操操| 国产无套精品一区二区| 91啦丨九色丨刺激中文| 99热这里有精品首页10| 婷婷色色五月天| 97丁香五月天| 天天综合网网欲色| 婷婷五月天AV在线| 五月丁香综合激情| 不卡在线视频| 一起肏在线视频| 久久9久| 99热20| 久久这里只有精品22| 婷婷五月天AV| 夜夜操天天干| 午夜亚洲AV日韩无码| 婷五月天| 99热国产精品| 五月天色五月天| 五月丁香六月综合基地| 久久久久久激情| 婷婷久草| 色综合99色| 五月天操逼网| 婷婷久久久久久久| 色综合色综合色综合| 热99在线精品| 丁香色色网| 亚洲传媒在线观看| 久久丁香五月| 日本va欧美va精品发布视频| 噜噜噜久久亚洲精品国产品91| 久久大香蕉同僚| 在线不卡视频| 超碰无码老师| 婷婷五月天久久| 停停色综合伊人| 久久久久丁香婷婷五月天| 亚洲精品国产成人AV在线| 欧美成人AAA片一区国产精品| 亚洲精品另类| 亚洲成人综合在线| 99久久99热这里只有精品| 五月婷婷激情综合av| 亚洲国产99| 色婷婷很很十八禁| 97香蕉久久超级碰碰高清版| 五月色情婷婷开心五月色情| 99色精品| 亚洲va成人va成人va在线观看| 玖玖99婷婷| 婷婷爱爱蜜臀天天操| 婷五月天在线草| 五月丁香婷婷AV| 精品人妻久久久久久| 91久女| 超碰人人超碰| 99精品爱| 亚洲啪啪视频| ..真实国产乱子伦毛片| 五月停停999| 婷婷丁香五月激情图片| 成人色图情色成人网 www.5b5b5bcom 五月天| 丁香婷婷六月| 91刘玥视频在线观看| 日日爱678| 久久人妻伊人| 色五月婷婷老师| 亚洲国产网址| 色婷婷婷av| 99热免| 丁香五月激情五月| 激情骚五月| 5月婷婷视频网站综合| 色综合激情| 日本色婷婷| 丁香六月av| 热久久思思热思思| 五月丁香五月婷婷| 亚洲乱码日产精品BD| 99色日本| 欧美噜一噜| 色射影院| 色婷婷AV在线观看| 五月丁香婷婷无码中文| 婷婷 色 丁香 夜| 97色色视频| 丁香玖玖| 少妇人妻凹凸视频| 97色色色色色| 996热re视频在线观看视频| 成人va在线观看视频| 亚洲热综合| 青柠影视免费高清电视剧| 久久艹99| 五月丁香激情欧洲啪啪| 久色视频| 五月婷婷六月丁香首页| www.十八禁不禁AV.com| 丁香五月天堂| 任你搞在线观看视频| 久久99最新| 超碰97干| 男女av免费看| 96人人操人人操人人| 夜色综合网| 99婷五月| 狠狠香婷婷五月| 神马欧美精| 99热在线中出| WWW夜夜| 六月婷婷久久| 色婷婷狠狠禁久久| 中文人妻主播久久| 久久精品婷婷| 五月丁香888| 九月婷婷丁香| 伊人五月天| 久艹大香蕉| 99视频这里有精品免费观看| 少妇做爰免费视看片| 精品久久9| 99热精品中文字幕| 婷婷99视频在线| 99热情这里只有精品在线播放| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 日韩无码一区二区三区四区| 玖玖无码中文| 久啪欧美| 女力报到正好爱上你| 五月丁香婷婷色| 日本三级中国三级99| 综合97五月| 国产精品电影网| 欧美三级大片AA在线看| 婷婷六月网| 综合网五月| 激情综合网五月| 婷婷深爱五月丁香| 国内一级片| 九九热这里只有精品首页| 9热在线观看| 亚洲激情六月丁香| 婷婷五月综合啪| 国产精品人成A片一区二区| 国产激情综合| 9有码中文| 伊人久久大香线蕉综合网站| 99热在线观看这里只有精品| 国产精产国品一二三在观看| www.主妇. com| www.精品99| 97久久五月丁香婷婷| 男人的天堂五月丁香| 久热一区| 五月综合激情图片| 337p大胆噜噜噜噜噜91Av| 91操熟女| 情色五月天网站| 久久综合色情网站| 婷婷五月综合激情免费| 久9热视频在线| 五月丁香激情综合六月涩涩爱| 色色99| 激情小说五月天| www.久久久久久久| 婷婷五月色图| 99精品视频网| 9 9热这里有精品| 激情五月婷婷老师| 五月丁香婷婷欧美色图视频五月丁香777电影 | 五月天六月婷婷电影| 97很鲁在线视频| WWW五月天| 国内外色色色色色成人视频| 久久这里只精品66| 五月婷婷av| 色香蕉影院| 男女99免费视频| 影音先锋一区| 人妻激情综合| aaa久久| 婷婷五月丁香超碰| 伊人狠狠色婷婷综合丁香一区| 五月综合婷婷五月| 激情骚五月| 婷婷五月在线播放| 996re热精品视频| 亚洲色婷婷五月| 国产精品男人AV不卡| 爱婷婷久久视频| 亚洲六月色| 五月婷六月丁| 99国产99| 婷婷色情五月| 7777久久亚洲中文字幕| 亚洲色激情| 欧美婷婷综合| 五月成人网站| 久久一级片| 亚洲无码99| 日韩久综合| 五月天偷拍| 无码动漫av| av在线免费网站 | 网色99| 97九色| 99在线精品免费视频| 99re66热这里只有精品| 欧美成人精品A片免费一区99| 人妻久久久久久久久妻久久久久久久久| 人人爽天天爽| 狠狠色丁香综合| 丁香五月影院| 婷婷六月网| 黄网在线免费| 国产精品久久7777777精品无码| 亚洲AV成人在线观看| 色色色色色网站| 日本三日本三级少妇三级66| 深爱五月婷婷| 91九色在线视频| 婷婷五月天黄色| 99视频精品全部免费看| 99热这里是精品| 美女100%露全身无挡网站| 黄急一级视频| 常久最新免费的色吊丝| 玖色色综合| 五月天社区| 99re热99| 99精品免费视频| 欧美色播综合在线观看| 亚洲六月色| 狠狠激情五月天| 日韩伊人大香蕉| 99热综合色图| 色色综合网站| 99性爱视频| 九九热在线观看视频网站| 狠狠色综合图片| 色五月婷婷五月| 99男人天堂| 激情五月天婷婷| 月月AV| 丁香网五月天| 激情五月天伊人av| 五月99久久| 婷婷激情综合网| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 99这里只有精| 免费婷婷| 9久精品| 伊人婷婷色激情丁香| 激情婷婷。| 香蕉视频91| 99热只有精品综合| 午夜69成人做爰视频| 亚洲bt丁香五月天婷婷激情小说| 丁香五月婷婷99| 亚洲av网站| 99热久只有| 91人妻九色大屁股| 99这里有精品视频| 久久99视频| 蜜臀AV在线观看| 999热在线视频| 大香线蕉伊人| 九九综合| 综合图区激情| 91久久久久久久91| 日本狠狠色| 另类综合国产| 激情九九六月激情免费视频| 久草五月| 五月婷婷激情色情网| 亚洲图色五月天| 丁香五月香蕉| 丁香六月色婷婷欧美| 春色激情| 五月婷婷色| 五月开心婷婷中文字幕| 婷婷五月丁香图片人人操| 婷婷激情图片| 国产超碰在线| 天天草女人| 天天爽天天操| 婷婷日在线观看| 成人国产网| 99在线视频精品| 国产日批视频| 九九九九无码| 久久婷婷成人综合色怡春院| 99这里只有精品在线| 色噜久| 欧美99热| 色五XX| 丁香婷婷黄网站| 爱久久小说下载网| 丁香五月伊人| 天天综合色丁香| 亚洲99一级无嗎特制在线| 在线中文av| 亚洲女婷婷五月基地综合久久久| sewuyuetingtingiii| 九九热在线精品视频| 五月婷婷福利| 噜噜干日本| 中文字幕丰满孑伦无码专区| 色色无码| 亚洲视频丁香网va| 伊人久久综合| 99综合| 五月婷婷之综合激情| 2015好吊操| Av中文在线| 婷婷五月色| 开心五月色婷婷综合开心网| 久久久大香蕉| 青青草青青草五月天| 亚洲情色一区| 五月五丁香婷婷| 任你擦免费视频| 国产69久久久欧美黑人A片| 日本狠狠色| 亚洲性爱干干| 激情五月丁香色色去久久| 婷婷综合网| 久色资源| 99热在线免费观看精品| 欧美超碰人人| 免费看欧美成人A片无码| 99热精品在线在线| 99综合婷婷五月| 天堂爱啪啪| 无码激情AAAAA片-区区| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 超碰在线超碰| 成人做爰黄A片免费看直播室男男 A片试看120分钟做受图片 | 开心五月网| 国产26uuu| 777久久精品| 999久久久国产精品| 欧美性猛交AAAA片黑人 | 97亚洲婷婷| 色宗合久久五月婷婷| 久久久91| 九九久久偷拍| 久操婷婷| 超碰猛烈的性猛交| 激情五月com| 日韩成人网址| 超碰丁香五月| 国产午夜精品AV一区二区麻豆 | 曰韩少妇内射免费播放| 丁香五月在线自慰| 热99热9| 性韩日色婷婷五月天激情啪啪XXX| 超碰在线观看caop| 538在线精品| 99干视频| 久久综合激情婷婷激情| 亚洲va日| 久久色五月天| 潘金莲AAAAAAAAAA| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 亚洲狠狠婷婷| 成人在线观看国产| 久久久久er热| 五月婷婷综合丁香视频| 内射激情在线| 狠狠香蕉| 色综合久网| 中文字幕有多少字| 综合色五月| 五月天综合在线观看视频| 五月综合婷婷网| 另类视频综合| 天天操精品| 影音先锋男人女人| 99视频只有精品| 日韩黄色电影| 日日狠狠久久偷偷四色综合免费 | 久久精品国产精品| 丁香五月电影| 婷婷五月色激情欧美激情| 国产熟女日日骚五月丁香爱| 狠狠干五月天婷婷网| 天天肏高清在线| 亚洲中文字幕翔田千里| 色五月婷婷五月天| 91九色精品女同系列| 五月天狠狠网| 激情五月天免费视频| 99热免费网站| 久久婷婷五月天蜜桃| 久99久视频精选| 婷色天堂| 激情综合网激情五月天| 日本超碰在线| 激情五月综合婷婷| 丁香激激情网| 婷婷久久国产视频| 欧美内射AA| 亚洲成人在线综合| 色色色1网址| 久久艹 五月天| 婷婷97| 色五月丁香网| 亚洲性爱电影| 人妻操逼视频| 色人妻五月| 色欲丁香久久| 五月天天丁香婷婷在线中| 伊人网大香| 97婷婷在线| 亚洲成人av在线观看| 色噜噜丁香| 午夜性做爰电影| 深爱婷婷网| 天天色图| 这里有精品| 99亚州综合精品成人网| 婷婷五月天综合色| 思思久久96热在精品国产,| 激情婷婷内射| 影音先锋按摩| 久久精典| 91综合色| 伊人五月天97| 色色丁香色五月| 婷婷五月天综合久久日美女| 99婷婷精品推荐在线视频| 婷婷五月天色| 久久婷婷五月天| wwwss在线观看| 欧美人人操| 97人人操| 婷婷色操| 色五月婷婷五月天| 人人操五月天| www.狠狠艹| 婷婷精品综合| 骚货艹网站视频| 综合深爱五月| 色五月婷婷DVD| 天天干天天 亚洲| 在线色五月婷婷| 五月婷婷就去色| 日本婷婷网| 丁香五月婷婷久久久| 久热久色| aaa丁香五月天| WWW.天天日| 亚洲精久久| 91碰碰| 色婷婷99| 丁香五月天堂| 99久视频| 婷婷久久久| 亚洲精久久| 欧美性二区| 五月激情丁香五月| 只有精品视频在线观看| 婷婷五月激情网站| 亚洲精品色色| 激情 五月 婷婷 丁香| 婷婷综合另类小说| 婷婷五月综合色中文字幕| 人妻射精AV| 深爱女色婷婷丁香五月亚洲图区| 在线va网站| 丁香五月婷婷婷婷欧美综合| bbwcuckold精品熟妇| 99热热九九| 亚洲亚洲激情| 色丁香综合影院| 五月丁香婷婷激情久久| 天天摸日日舔狠狠添婷婷婷| 第一区久久网站| 丁香婷婷色五月天| 天天爽日日爽夜夜爽| 婷婷五月天激情网站| www.com五月天| 深爱激情五月网| 影音先锋91资源站| 亚洲操精品| 亚洲成人免费在线| 激情色色色| 91超级碰| 中文字幕日产A片在线看| 欧美性猛交99久久久久99按摩| 国产性av| 超碰人人摸AV| 丁香婷婷老司机久操| 国产精品视频网| 久操干| 97视频久久| 丁香五月天婷婷在线视频| 人人爱干人人爱草| 人人人人人人人人人草| 五月婷婷干| 五月婷婷五月天亚洲无码| 五月天激情电影| 亚洲无码色| www.99婷婷| 久久99网| 成人视频网| 午夜伊人大香蕉| 97碰91| 99伊人婷婷在线| 婷婷六月天天| 91九色网| 日本本土色网第一区| 天天日夜夜夜操操操操| 色性五月天| 九九热视频这里只有精品| 97操碰碰无码视频| 五月丁香六月情| 免费看欧美成人A片无码| 丁香综合| 久青草大香蕉| 在线观看亚洲视频影院| 激情婷婷五月天| 五月激情精品视频| 五月丁香六月情亚洲| 五月天婷婷激情小说电影| 五月丁香花视频| 日日操日日撸| 熟女人妻一区二区三区免费看| 热99玖玖99玖玖99九九| 色婷婷五月影视| 9操在线| 激情五月天在线观看色婷婷| WwW天天干| 婷婷久久亚洲| 区美毛片子| 五月天成人免费视频| 99在线精品免费视频| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 亚洲色无码A片一区二区麻豆| 色情网综合| 热99免费在线| 久热久色| 久久99这里只有精品视频| 97热这里只有精品| 91人人爽狠狠狠| 夜夜操狠狠操| www.夜夜爱.com| 色婷婷久久综| 伍月婷婷免费视频| www.lingjunshare.com| 亭亭玉月丁香| 久久五月丁香婷婷| 婷婷五月在线视频| 婷婷六月成人| 123草逼网| 色激情综合狠狠婷婷| 色欲资源网| www.婷婷| 日本三级日本三级99| 久久综合爱| 国产成人精品一区二区三区视频| 久久99免费视频| 色丁香久久| www.五月天婷婷姐姐| 岛国av网站| 精品人妻久久久久久| 五月天丁香婷婷久久九| 日本WWW九九九| 五月天天丁香婷婷在线中| 九九机热| 色久女| AA片在线观看视频在线播放| ady狠狠入| 99色综合| 色婷婷五月综合网| 久大香蕉| 午夜69成人做爰视频| 婷婷五月a| 久久er视频6| 九九精品在线网| 五月丁香琪琪| BBWCUCKOLD精品熟妇| 久久婷婷综合拍| 九九热只有这里精品| 欧美日韩aaaa| www.99热在线观看| 国产看真人毛片爱做A片| 888精品福利地址| 五月婷人妻| 日本成人噜噜噜| 99热精品无码| av婷婷丁香| 色综合九九| 六月婷婷激情小说网| 91婷色| 熟女少妇内射日韩亚洲| 高清成人综合| 综合久色五月| 可以免费观看的AV| 日日夜夜天天| 77777亚洲午夜久久| .操區COm| 六月婷婷五月天| 婷婷丁香六月天| 婷婷激情综合色五月久久91| 99精品在线观看| 这里只有精品免费观看网占| 亚洲综合在线视频| 人人肏逼视频在线一区二区| 天天肏视频| 婷婷五月天美女视频| 99无码视频| 26uuu成人网| 青草青草久热这里只有精品| 99免费视频在线观看爱| 97人人操人人干| 五月天小说激情| 丁香婷最新动态| 激情五月六月婷婷| 狠狠色婷婷777| 欧美婷婷九月| 在线VA视频| 91九色视频在线观看| 午夜69成人做爰视频| 91精品婷婷国产综合| 天天爽天天爽夜夜爽| 91狠狠色| 99热九九九九| 天天射夜夜爽| site:pnnrt.com| 嫩草AV久久伊人妇女超级A| 色噜噜五月天| 开心五月婷婷在线视频免费观看| 色色激情网| 成人AV片播放| 欧美五月丁香在线| 99热国产免费| 亚洲第一成人无码A片| 91大神操美女| 天天色综合网1| 婷婷五月激情小说| 婷五月天丁香婷五月| 天天日日天天| 婷婷色丁香五月| 97婷婷五月丁香| WWW·天天操·视频?| 亚洲va综合va国产va中文| 精品国产一区二区三区四区阿崩| 婷婷99中文字幕| 五月丁香六月婷婷综合| 六月丁香婷| 熟女网站久久| 激情五月婷婷综合色播小说| 人人操AV| 丁香五月天狠狠操| 五月激情基地| 九九成人| 五月丁香久久呀| 五月天久久丁香| 综合五月婷婷| 台湾无码A片一区二区| 激情五月天www| 色婷婷电影网| 天天射天天干天插色综合| 五月天综合影院| 99色视频| 99ri在线观看视频| 欧洲亚洲精品| 久久黄色片| 欧美五月丁香在线| 伊人玖玖精品| Y11111111111少妇电影院| 五月婷婷天天色| 九九色精品| 嫩草视频观看| 亚洲五月天婷婷在线| 亚洲无AV在线中文字幕|