欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

AOSP構(gòu)建優(yōu)化實(shí)戰(zhàn)指南:瓶頸定位、ccache緩存與增量提速

AOSP構(gòu)建優(yōu)化實(shí)戰(zhàn)指南:瓶頸定位、ccache緩存與增量提速 直接進(jìn)入正題。AOSP構(gòu)建這話題說實(shí)話每次提起來都讓人又愛又恨。愛的是安卓開源生態(tài)給了我們無限折騰的空間恨的是每次全量編譯動(dòng)不動(dòng)三四十分鐘起步改一行代碼驗(yàn)證一下又得等十分鐘一整天的時(shí)間就這么被切碎在進(jìn)度條里。我在團(tuán)隊(duì)里負(fù)責(zé)系統(tǒng)構(gòu)建維護(hù)接手那陣子最大的感受就是大家都在默默等編譯然后假裝自己很忙實(shí)際上效率黑洞已經(jīng)吃掉了半天工時(shí)。這篇文章我不打算堆概念就把自己實(shí)際壓構(gòu)建時(shí)間、降編譯成本的經(jīng)驗(yàn)拆開講包括怎么定位瓶頸、怎么配環(huán)境、怎么用緩存、怎么處理增量構(gòu)建里那些反直覺的坑以及想上分布式構(gòu)建的話從哪兒入手最穩(wěn)妥。標(biāo)題里說的最新技術(shù)報(bào)告其實(shí)是我整理的一份構(gòu)建性能分析清單和調(diào)優(yōu)參數(shù)對照表文末我會(huì)把獲取方式放出來免費(fèi)領(lǐng)不需要你轉(zhuǎn)發(fā)集贊純粹覺得這些東西值得擴(kuò)散。1. 先搞清楚時(shí)間都去哪了構(gòu)建鏈路的分段剖析優(yōu)化一件事之前第一步永遠(yuǎn)是量化。很多同學(xué)一上來就調(diào)-j參數(shù)、加ccache其實(shí)是在沒看清瓶頸的情況下盲目使勁。AOSP構(gòu)建看著是一個(gè)大命令實(shí)際上內(nèi)部是串行加并行混合的多階段流水線每個(gè)階段的開銷特征完全不同盲調(diào)只能碰運(yùn)氣。1.1 AOSP構(gòu)建過程到底分幾個(gè)階段整個(gè)構(gòu)建從源頭到產(chǎn)物大致走這么幾段第一步是配置解析。Soong讀取所有Android.bp和Android.mk文件解析模塊定義、依賴關(guān)系生成Ninja構(gòu)建規(guī)則。這個(gè)階段是單線程主吃的是CPU單核性能項(xiàng)目越大解析越慢。第二步是Ninja構(gòu)建圖加載。Soong輸出的build.ninja文件往往有幾百萬行級(jí)別的規(guī)則Ninja啟動(dòng)時(shí)要把這張圖全部加載進(jìn)內(nèi)存這個(gè)階段吃內(nèi)存和大文件IO磁盤速度直接決定啟動(dòng)耗時(shí)。第三步是任務(wù)調(diào)度與執(zhí)行。Ninja根據(jù)依賴圖把幾十萬個(gè)編譯任務(wù)分發(fā)到各并行進(jìn)程這里頭C/C、Rust、Java、資源打包、proto編譯、文檔生成混合在一起各自吃不同的資源。第四步是鏡像打包與簽名。所有模塊編完以后target_files打包、system/vendor/boot各個(gè)分區(qū)鏡像生成、簽名校驗(yàn)、AVB哈希計(jì)算這階段是IO密集型加少量計(jì)算密集型。我最早踩的坑就是拿time只看總耗時(shí)然后對著總耗時(shí)瞎猜。后來把ninja -t stats打開一跑才發(fā)現(xiàn)配置解析和Ninja圖加載這兩個(gè)階段加起來占了全量構(gòu)建的15%以上而這部分恰恰是加多少核都提速不了的。1.2 用數(shù)據(jù)定位瓶頸而不是靠感覺AOSP內(nèi)置的構(gòu)建統(tǒng)計(jì)工具不多但夠用。我常用的排查鏈路是這樣全量構(gòu)建跑一遍注意記錄總時(shí)間。然后單獨(dú)跑一次m nothing這個(gè)命令不做真實(shí)編譯只重新解析配置并加載Ninja圖它的耗時(shí)就是構(gòu)建圖處理的固定開銷。接著跑ninja -t stats這個(gè)命令會(huì)告訴你整個(gè)執(zhí)行期間各任務(wù)的累計(jì)時(shí)間和數(shù)量分布。舉個(gè)例子我優(yōu)化前跑m nothing耗時(shí)接近兩分半說明光配置解析加圖加載就要150秒。當(dāng)時(shí)我第一反應(yīng)是關(guān)掉不必要的product配置把沒用的模塊從PRODUCT_PACKAGES里摘掉同時(shí)把一些極少用到的Android.bp做條件編譯隔離結(jié)果m nothing直接降到50秒內(nèi)。這一步不動(dòng)任何編譯參數(shù)光靠瘦身就省了兩分鐘。至于執(zhí)行階段ninja -t stats會(huì)按任務(wù)類型給出累計(jì)耗時(shí)。我這里列一個(gè)常見分布方便你對號(hào)入座任務(wù)類型典型占比資源特征C/C 編譯40%-60%CPU密集多核并行收益大Rust 編譯5%-15%CPU密集增量較快Java/Kotlin 編譯10%-20%內(nèi)存密集容易OOM鏈接5%-10%單線程居多吃內(nèi)存帶寬資源處理/打包5%-10%IO密集走文件系統(tǒng)proto/AIDL生成3%-8%混合任務(wù)量大但單個(gè)快如果你的項(xiàng)目C/C編譯占比過半那優(yōu)化的主戰(zhàn)場就是并行度和緩存。如果Java編譯占比異常高得檢查是不是每次都全量重編了。如果資源處理占比高就該看磁盤IO了。2. 主機(jī)環(huán)境配置的取舍CPU、內(nèi)存、磁盤與系統(tǒng)參數(shù)AOSP構(gòu)建本質(zhì)上是一場資源換時(shí)間的游戲但資源怎么花、花在哪里面有很多門道。我見過有人用128核服務(wù)器編AOSP結(jié)果還沒16核筆記本快的問題幾乎都出在內(nèi)存和磁盤上。2.1 CPU核心數(shù)與內(nèi)存的匹配關(guān)系并行度不是越高越好。AOSP默認(rèn)的-j參數(shù)會(huì)根據(jù)核數(shù)自適應(yīng)但每個(gè)編譯進(jìn)程平均要吃1GB到2GB內(nèi)存。如果你32核卻只有32GB內(nèi)存開滿并行很容易觸發(fā)OOM內(nèi)核開始swap之后整個(gè)構(gòu)建反而比少開幾個(gè)核更慢。我的經(jīng)驗(yàn)值是這樣內(nèi)存GB數(shù)除以1.5再跟CPU核數(shù)取較小值大概就是這臺(tái)機(jī)器比較穩(wěn)的-j上限。比如64GB內(nèi)存配32核穩(wěn)妥的并行數(shù)是min(32, 64/1.5)約等于42但實(shí)際跑的時(shí)候還要留出2GB到4GB給Soong解析和Ninja圖加載所以建議直接設(shè)-j40。另一個(gè)隱藏坑是內(nèi)存頻率和通道數(shù)。鏈接階段尤其是lld鏈接大型可執(zhí)行文件極度依賴內(nèi)存帶寬。雙通道DDR4和四通道DDR5的差距在鏈接階段能差出一倍時(shí)間。如果你有升級(jí)硬件的預(yù)算優(yōu)先保證內(nèi)存通道數(shù)而不是盲目沖CPU核數(shù)。2.2 out目錄放哪SSD、NVMe還是內(nèi)存盤AOSP的out/目錄是IO壓力最集中的地方。編譯產(chǎn)物、中間文件、鏡像生成全在這。用機(jī)械硬盤編AOSP基本是災(zāi)難建議直接排除這個(gè)選項(xiàng)。SATA SSD可用但會(huì)發(fā)現(xiàn)大量小文件讀寫場景下比如資源打包和proto生成依然有瓶頸。NVMe SSD是目前的甜點(diǎn)選擇PCIe 3.0以上型號(hào)能把小文件隨機(jī)讀寫的延遲壓得很低。再往上就是tmpfs把out/掛到內(nèi)存盤上。這個(gè)方案對構(gòu)建提速效果極猛IO密集任務(wù)幾乎零延遲。但代價(jià)是內(nèi)存被out目錄吃掉了大半而且掉電即失。我試過用/dev/shm掛out目錄跑小型target的增量構(gòu)建速度快得離譜但全量構(gòu)建時(shí)內(nèi)存根本扛不住。所以我的建議是有256GB以上內(nèi)存的機(jī)器可以開一個(gè)128GB的tmpfs掛out/跑增量驗(yàn)證內(nèi)存不足的老老實(shí)實(shí)用NVMe。另外文件系統(tǒng)格式也要注意。ext4是默認(rèn)選擇但開啟inline_data和lazy_itable_init掛載選項(xiàng)后小文件創(chuàng)建效率有明顯提升。如果你用f2fs隨機(jī)寫入表現(xiàn)會(huì)更好。還有個(gè)大坑是不要跨文件系統(tǒng)軟鏈out目錄有些構(gòu)建腳本對符號(hào)鏈接的解析有毛病容易整出詭異錯(cuò)誤。2.3 值得一提的內(nèi)核參數(shù)和編譯鏡像選擇內(nèi)存壓力大的機(jī)器建議檢查vm.swappiness。默認(rèn)值60意味著系統(tǒng)會(huì)在內(nèi)存還剩很多的時(shí)候就開始換頁對構(gòu)建這種內(nèi)存瞬時(shí)尖峰高的負(fù)載很不利。我通常設(shè)成10讓內(nèi)核盡量多扛一會(huì)再動(dòng)swap。vm.overcommit_memory也值得關(guān)注。AOSP的Java編譯進(jìn)程會(huì)一次性申請大塊虛擬內(nèi)存如果系統(tǒng)拒絕overcommit可能導(dǎo)致編譯進(jìn)程直接崩。設(shè)成1可以避免這類問題但要留意這會(huì)增加OOM風(fēng)險(xiǎn)最好配合swap分區(qū)分一個(gè)足夠大的回退空間。編譯鏡像選擇上AOSP官方推薦Ubuntu LTS但不是越新越好。我踩過坑新版Ubuntu自帶的GCC版本過高和AOSP預(yù)編譯的工具鏈在某些頭文件解析上有兼容問題。目前我主力環(huán)境還是Ubuntu 22.04配合AOSP官方文檔驗(yàn)證過的JDK版本最省心。別在生產(chǎn)構(gòu)建機(jī)上亂升級(jí)系統(tǒng)構(gòu)建環(huán)境穩(wěn)定比什么都重要。3. ccache配置最便宜也最容易配錯(cuò)的提速手段如果你只能做一項(xiàng)優(yōu)化那就配ccache。它能把C/C編譯的重復(fù)勞動(dòng)直接抹掉尤其是全量構(gòu)建之后的第二次構(gòu)建命中率高的時(shí)候壓縮一半時(shí)間都正常。但ccache不是裝完就完事配置不當(dāng)反而會(huì)引入各種詭異問題。3.1 ccache在AOSP中的正確打開方式AOSP自帶ccache預(yù)編譯版本路徑在prebuilts/ccache/不需要自己安裝。但默認(rèn)不啟用需要手動(dòng)設(shè)置環(huán)境變量export USE_CCACHE1 export CCACHE_DIR/path/to/ccache prebuilts/ccache/ccache -M 50G-M參數(shù)是緩存容量上限。這個(gè)值取決于你常編的模塊規(guī)模。只編單個(gè)模塊20G夠用經(jīng)常全量構(gòu)建建議50G到100G。緩存太小會(huì)導(dǎo)致舊條目頻繁被逐出命中率上不去白忙一場。最好把這幾個(gè)命令寫進(jìn)~/.bashrc或者構(gòu)建腳本里否則每次新開終端都忘了設(shè)。我見過有人配置了半天發(fā)現(xiàn)沒生效就是環(huán)境變量沒持久化。3.2 命中率怎么查以及典型數(shù)值參考構(gòu)建跑完以后執(zhí)行ccache -s能看到命中率、緩存大小、未命中原因統(tǒng)計(jì)。一個(gè)健康的緩存狀態(tài)第二次全量構(gòu)建的命中率應(yīng)該在70%以上增量構(gòu)建命中率能到90%以上。如果命中率異常低優(yōu)先查這幾種情況編譯器路徑變化。如果你手動(dòng)切換了clang版本、或者構(gòu)建腳本動(dòng)態(tài)設(shè)置了CC/CXX變量ccache會(huì)因編譯器二進(jìn)制不同而失配。排查方法是在ccache -s里看Compiler version mismatch計(jì)數(shù)。源碼路徑變化。ccache默認(rèn)把絕對路徑作為緩存key的一部分。如果你把源碼目錄從/home/aosp挪到/data/build/aosp等于緩存全部失效。這個(gè)看Cant find source file計(jì)數(shù)能確定。預(yù)處理輸出變化。頭文件里的時(shí)間戳、__DATE__這類宏會(huì)讓預(yù)處理結(jié)果每次都不同ccache只能被迫存新條目。項(xiàng)目里如果有第三方庫自帶這種不確定性建議在Android.bp里關(guān)掉相關(guān)宏或者統(tǒng)一時(shí)間戳。3.3 多用戶共享緩存與CI場景的實(shí)戰(zhàn)經(jīng)驗(yàn)團(tuán)隊(duì)開發(fā)場景下每個(gè)開發(fā)者各自維護(hù)一份ccache很浪費(fèi)。讓所有人的緩存指向同一個(gè)NFS目錄效果接近分布式緩存且配置極其簡單。但共享緩存有幾個(gè)坑得避開。第一是權(quán)限NFS共享目錄要確保所有用戶可寫且umask不能太嚴(yán)格否則緩存文件寫不進(jìn)去ccache會(huì)靜默降級(jí)為不緩存。第二是目錄鎖老版本ccache在并發(fā)寫同一個(gè)緩存目錄時(shí)會(huì)有鎖競爭多用戶同時(shí)構(gòu)建時(shí)反而變慢。建議升級(jí)到ccache 4.x以上并發(fā)控制好很多。第三是網(wǎng)絡(luò)穩(wěn)定性NFS抖動(dòng)一次構(gòu)建進(jìn)程可能直接卡死CI環(huán)境里特別致命。我的實(shí)際配置是內(nèi)網(wǎng)一臺(tái)存儲(chǔ)服務(wù)器開NFS緩存目錄設(shè)100GCI節(jié)點(diǎn)和開發(fā)機(jī)構(gòu)掛載到同一個(gè)CCACHE_DIR。實(shí)測下來一個(gè)團(tuán)隊(duì)五個(gè)人同時(shí)構(gòu)建緩存命中率依舊能維持在60%左右每個(gè)人節(jié)省的編譯時(shí)間非??捎^。4. 增量構(gòu)建的意外重編級(jí)聯(lián)依賴和隱式全量增量構(gòu)建本該是效率神器但在AOSP里經(jīng)常出現(xiàn)一個(gè)現(xiàn)象明明只改了一個(gè)Java文件結(jié)果重編了上千個(gè)模塊。這背后是依賴圖和構(gòu)建緩存機(jī)制的耦合問題理解了才能有效規(guī)避。4.1 為什么改一行代碼會(huì)觸發(fā)大規(guī)模重編AOSP的構(gòu)建系統(tǒng)是基于Ninja的Ninja只認(rèn)依賴關(guān)系。當(dāng)某個(gè)頭文件被改動(dòng)所有#include了它的源文件都會(huì)被標(biāo)記為過期。問題出在AOSP源碼里大量頭文件層層包含一個(gè)底層頭文件稍微動(dòng)一下上層幾千個(gè)源文件全得重編。典型的例子是修改了system/core底層的某個(gè)通用頭文件整個(gè)framework層的C代碼幾乎都要重編。這個(gè)不算bug是C/C的預(yù)處理器模型決定的但可以通過合理的頭文件隔離來減小爆炸半徑。另一個(gè)容易被忽視的是靜態(tài)庫依賴。AOSP里很多模塊以靜態(tài)庫形式被多個(gè)可執(zhí)行文件依賴。改動(dòng)一個(gè)靜態(tài)庫的接口所有依賴它的可執(zhí)行文件都要重鏈鏈接又是單線程的時(shí)間開銷極大。我在項(xiàng)目里強(qiáng)制要求對外接口盡量穩(wěn)定改動(dòng)時(shí)優(yōu)先在這些庫內(nèi)部消化實(shí)現(xiàn)避免動(dòng)頭文件。4.2 避免假增量的操作細(xì)節(jié)增量構(gòu)建最大的敵人是clean。make clean會(huì)把out目錄整體清空相當(dāng)于放棄所有緩存。很多解法是能不clean就不clean。但構(gòu)建目錄有時(shí)候會(huì)臟掉Ninja報(bào)錯(cuò)說規(guī)則變了或文件沖突很多人第一反應(yīng)就是clean。我先試一個(gè)溫和方案rm -rf out/soong把Soong的中間狀態(tài)清掉讓構(gòu)建系統(tǒng)重新解析配置多數(shù)依賴規(guī)則損壞的問題都能解決。再不行才考慮rm -rf out。還有一個(gè)細(xì)節(jié)很多人不知道直接執(zhí)行m不帶目標(biāo)名有時(shí)候會(huì)觸發(fā)比預(yù)期更多的構(gòu)建量。原因是構(gòu)建系統(tǒng)會(huì)默認(rèn)編譯當(dāng)前product配置下所有模塊。如果只是想驗(yàn)證某個(gè)模塊用m 模塊名指定目標(biāo)或者更精細(xì)一點(diǎn)進(jìn)到模塊目錄下執(zhí)行m這樣Ninja會(huì)以當(dāng)前目錄作為默認(rèn)目標(biāo)只構(gòu)建相關(guān)模塊。4.3 API變更和文檔生成導(dǎo)致的隱性全量構(gòu)建這可能是最容易被忽略的增量陷阱。AOSP里有一類特殊target比如api-stubs、system-api-stubs、test-api-stubs它們根據(jù)源碼接口自動(dòng)生成API描述文件。每當(dāng)接口變更這些target會(huì)重跑一旦生成的結(jié)果和預(yù)設(shè)的API基線文件不一致構(gòu)建就會(huì)報(bào)錯(cuò)或者聯(lián)動(dòng)重編很多依賴模塊。文檔生成是另一個(gè)隱性全量源。droidcore包含了很多文檔target比如docs-combined-*它們依賴大量模塊的中間產(chǎn)物跑起來極其耗時(shí)。如果構(gòu)建命令里帶了-k或者指定了比較全的target集合很容易把文檔構(gòu)建也捎帶上。我在實(shí)踐中把CI的構(gòu)建命令拆成了兩段日常提交只跑m 模塊只有打Release包時(shí)才跑完整droidcore。這一個(gè)小小的改變讓CI的日常構(gòu)建時(shí)間從45分鐘降到了7分鐘以內(nèi)。5. 分布式構(gòu)建和遠(yuǎn)程緩存的落地路線很多人一聽分布式構(gòu)建就激動(dòng)覺得可以把幾十臺(tái)機(jī)器的CPU擰成一股繩。但AOSP這套構(gòu)建系統(tǒng)對分布式的支持并不友好盲目折騰大概率是浪費(fèi)時(shí)間。我更建議按遠(yuǎn)程緩存 → 并行調(diào)度 → 真正的分布式執(zhí)行這個(gè)梯度去演進(jìn)。5.1 先上遠(yuǎn)程緩存共享ccache和構(gòu)建產(chǎn)物緩存AOSP構(gòu)建中多個(gè)模塊的編譯產(chǎn)物在規(guī)則不變、輸入不變的前提下是等同的。如果把產(chǎn)物緩存放內(nèi)網(wǎng)共享就相當(dāng)于做了遠(yuǎn)程緩存。這個(gè)方案不需要改構(gòu)建系統(tǒng)實(shí)現(xiàn)成本極低。實(shí)際操作中除了前面提的共享ccache還有一個(gè)更粗粒度的產(chǎn)物緩存思路把整個(gè)out/target/product/device目錄定期同步到內(nèi)網(wǎng)服務(wù)器新機(jī)器或CI節(jié)點(diǎn)首次構(gòu)建時(shí)直接拉取快照跳過全量編譯。這個(gè)方案在分支切換不頻繁的團(tuán)隊(duì)里效果很好我的一個(gè)項(xiàng)目就是用rsync同步產(chǎn)物目錄新同事拉完快照再增量構(gòu)建省掉了第一次全量編譯的40分鐘。5.2 并行調(diào)度把單機(jī)多target拆到多臺(tái)機(jī)器如果多臺(tái)機(jī)器都連著同一個(gè)源碼鏡像和產(chǎn)物共享目錄可以手動(dòng)把構(gòu)建任務(wù)拆開。比如把多臺(tái)機(jī)器的-j參數(shù)降半各自跑不同的模塊集合然后匯總。這個(gè)方案沒有任何構(gòu)建系統(tǒng)層面的支持全靠人肉編排只建議在特定場景用比如需要同時(shí)出多個(gè)product變體每臺(tái)機(jī)器各編一個(gè)最后統(tǒng)一收集。我在實(shí)際中就這么干過一臺(tái)機(jī)器跑user版本另一臺(tái)跑userdebug版本時(shí)間直接減半。但如果你想著手做真正的remote execution也就是把單個(gè)編譯任務(wù)分發(fā)到遠(yuǎn)程執(zhí)行AOSP本身沒有原生的RBE支持需要借助外掛工具鏈復(fù)雜度會(huì)指數(shù)級(jí)上升。5.3 更現(xiàn)實(shí)的方案構(gòu)建集群化和流水線編排對于中小團(tuán)隊(duì)我并不推薦直接上RBE。我更推薦先把構(gòu)建流程標(biāo)準(zhǔn)化統(tǒng)一構(gòu)建命令、統(tǒng)一環(huán)境鏡像、統(tǒng)一產(chǎn)物輸出位置然后用流水線工具把構(gòu)建任務(wù)編排起來。這樣即便每臺(tái)機(jī)器是單機(jī)構(gòu)建整個(gè)團(tuán)隊(duì)的構(gòu)建吞吐量也能通過并行流水線提上來。比如一個(gè)版本發(fā)布流程包含全量構(gòu)建、單模塊增量構(gòu)建、文檔構(gòu)建、鏡像打包。這四個(gè)任務(wù)互相獨(dú)立完全可以拆成四類流水線任務(wù)分發(fā)到不同節(jié)點(diǎn)。我實(shí)際做下來這套編排比單機(jī)串行節(jié)省了約60%的整體交付時(shí)間而且邊界清晰、出問題好定位。等到團(tuán)隊(duì)規(guī)模大了單機(jī)構(gòu)建時(shí)長真的成了瓶頸再考慮用Bazel遷移加RBE的方案。但這是大工程沒幾個(gè)團(tuán)隊(duì)能承受遷移成本大多數(shù)情況下游刃有余的產(chǎn)物緩存加流水線編排已經(jīng)夠用。6. 構(gòu)建失敗排查的實(shí)戰(zhàn)鏈路從報(bào)錯(cuò)信息到根因定位構(gòu)建優(yōu)化的另一個(gè)側(cè)面是排錯(cuò)效率。構(gòu)建失敗一次少則浪費(fèi)幾分鐘多則卡一下午。我見過太多人對著終端輸出迷?;蛘咭挥鰣?bào)錯(cuò)就clean重來結(jié)果問題依舊。這里分享一套我自己總結(jié)的排查思路專門對付AOSP這類復(fù)雜構(gòu)建系統(tǒng)。6.1 報(bào)錯(cuò)信息的正確讀取方式AOSP構(gòu)建輸出極其冗長。直接翻終端滾屏是最低效的方式。正確的做法是讓日志落盤再定向檢索。推薦的做法m -j40 21 | tee build.log然后構(gòu)建結(jié)束后用關(guān)鍵詞過濾grep -E error:|FAILED:|ninja: build stopped build.logFAILED:后面的內(nèi)容是定位關(guān)鍵。Ninja會(huì)告訴我們具體哪個(gè)target失敗以及失敗的命令是什么。比這更詳細(xì)的信息在對應(yīng)模塊的編譯日志里路徑通常在out/soong/.intermediates/下對應(yīng)模塊的子目錄找到.log后綴文件里面有完整編譯命令和編譯器原話。6.2 編譯錯(cuò)誤、鏈接錯(cuò)誤、資源錯(cuò)誤的分類處理錯(cuò)誤類型不同處理方式天差地別。編譯錯(cuò)誤一般是代碼問題頭文件找不到、語法錯(cuò)誤、依賴缺失。這類問題直接定位到具體文件和行號(hào)修代碼即可。偶爾出現(xiàn)的情況是頭文件被改動(dòng)破壞了引用關(guān)系需要回溯誰動(dòng)了那個(gè)頭文件。鏈接錯(cuò)誤的特征是undefined reference或duplicate symbol。前者通常是缺少依賴庫檢查Android.bp里的shared_libs或static_libs有沒有把需要的庫加進(jìn)去。后者則是兩個(gè)庫導(dǎo)出了同名符號(hào)要么引入命名空間隔離要么在依賴?yán)锾蕹貜?fù)庫。我遇到過最隱蔽的一種不同模塊編譯時(shí)用了不同的宏定義導(dǎo)致同一個(gè)頭文件里符號(hào)在不同編譯單元下簽名不一致鏈接階段才爆炸。資源打包錯(cuò)誤多在AAPT2階段錯(cuò)誤信息會(huì)直接指向資源文件路徑和具體的資源名沖突。常見的坑是新增資源時(shí)命名與其他模塊重疊或者values里的類型定義沖突。AAPT2的緩存偶爾也會(huì)臟掉如果確認(rèn)代碼沒問題清一下out/soong/.intermediates下對應(yīng)模塊的緩存再重試。6.3 增量構(gòu)建失敗后的安全恢復(fù)姿勢最忌諱的就是無腦clean。一旦clean之前的構(gòu)建緩存全部作廢下一次構(gòu)建時(shí)間直接回到全量級(jí)別。我的恢復(fù)流程按輕重緩急排列先確認(rèn)是不是偶發(fā)資源競爭導(dǎo)致的失敗。檢查上次構(gòu)建是否在內(nèi)存吃緊或磁盤寫滿狀態(tài)下運(yùn)行如果是先清理磁盤釋放空間再重跑一次經(jīng)常就能過。然后試rm -rf out/soong讓構(gòu)建系統(tǒng)重新解析配置。這一步能覆蓋大多數(shù)依賴規(guī)則損壞的場景同時(shí)保留已有編譯產(chǎn)物。再不行定位到失敗模塊單獨(dú)刪除該模塊的中間產(chǎn)物目錄。目錄路徑在out/soong/.intermediates/模塊路徑刪完重跑m 模塊系統(tǒng)會(huì)重建該模塊的過期產(chǎn)物。最后才考慮make clean而且要提前評(píng)估后果。在時(shí)間緊的情況下我會(huì)先把ccache臨時(shí)設(shè)到最大至少讓C/C部分能借緩存回血而不是完全從零開始。6.4 一個(gè)典型的鏈接失敗排查實(shí)例有一次我遇到libart鏈接反復(fù)失敗報(bào)錯(cuò)是undefined reference to art::Thread::Current()。單看這行很多人會(huì)去翻Thread類的定義但我先檢查了Android.bp改動(dòng)記錄發(fā)現(xiàn)同事把libart里的一個(gè)宏定義改名了而依賴libart的另一個(gè)庫還按舊宏名走導(dǎo)致生成的頭文件里Thread::Current()被條件編譯裁掉。整個(gè)排查過程大概20分鐘如果當(dāng)時(shí)直接clean全量編譯至少40分鐘起步還未必能定位根因。這類經(jīng)驗(yàn)告訴我凡是鏈接錯(cuò)誤先查依賴方和被依賴方的宏配置是否對齊再動(dòng)手重編。7. 構(gòu)建調(diào)優(yōu)方案選型時(shí)我踩過的坑和最終建議這部分算是我個(gè)人經(jīng)驗(yàn)的沉淀。優(yōu)化AOSP構(gòu)建效率的路徑很多但踩過坑以后才知道哪些投入產(chǎn)出比最高哪些是花架子。先說結(jié)論環(huán)境層面NVMe固態(tài)加足夠內(nèi)存是底線ccache必須配增量構(gòu)建的target選擇一定要講規(guī)矩方案層面產(chǎn)物緩存比分布式執(zhí)行性價(jià)比高得多先別碰RBE。我見過最虧的做法是花重金升級(jí)到極高核數(shù)的CPU結(jié)果內(nèi)存和磁盤沒跟上編譯速度不升反降。也見過一遇構(gòu)建失敗就clean把ccache的收益全浪費(fèi)掉的團(tuán)隊(duì)。構(gòu)建調(diào)優(yōu)本質(zhì)上是個(gè)系統(tǒng)性工程每個(gè)環(huán)節(jié)的短板都會(huì)成為瓶頸而補(bǔ)齊短板時(shí)又要注意不引入新的瓶頸。最終我的推薦清單如下磁盤NVMe 1TB以上避免機(jī)械盤和SATA盤內(nèi)存至少64GB128GB更從容內(nèi)存頻率優(yōu)先ccache大小按50G起步多用戶共享增量構(gòu)建明確m 模塊避免無腦全量CI編排日常單模塊增量發(fā)版時(shí)才全量排查流程日志落盤、分級(jí)處理、避免無腦clean產(chǎn)物緩存內(nèi)網(wǎng)共享快照降低新環(huán)境首次構(gòu)建成本這套組合建起來以后我這邊團(tuán)隊(duì)的全量構(gòu)建時(shí)間從40分鐘壓縮到20分鐘左右增量構(gòu)建常規(guī)在3分鐘內(nèi)日常開發(fā)基本不用再盯著進(jìn)度條發(fā)呆。如果需要那份構(gòu)建性能分析報(bào)告和調(diào)優(yōu)參數(shù)對照表直接內(nèi)網(wǎng)找我拿或者評(píng)論區(qū)留下聯(lián)系方式就行。里面包含了我優(yōu)化過程中的詳細(xì)數(shù)據(jù)和每項(xiàng)調(diào)整的前后對比對正在做構(gòu)建效率治理的團(tuán)隊(duì)?wèi)?yīng)該會(huì)很有參考價(jià)值。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美一级a | 五月天激情综合在线| 婷婷精品在线| 色五月开心开心五月激情五月| 九九热经典视频在线观看| 成人色五婷婷| 激情五月天视频| 婷婷五月丁香五月| 日本欧美啪啪| 天天操中文字幕| 九九综合精品| 久久婷出差欧美色两性综合网| 婷婷五月综合婷婷| 国产av天堂| 国产露脸150部国语对白| 亚洲精品一区中文字幕乱码| 成年视频免费观看| 亚洲VA欧美VA| 开心婷婷丁香五月| 美日韩成人| 极骚大香蕉伊人| 97热九九| 婷婷色日本| 五月六月伦理| 99精品久久| 久久久久久久久久久久久久久久一道本| 青青草原爱爱网| 变态另类9| 天天插夜夜爽| 亚洲网视屏| 亚洲精品V天堂中文字幕| 久久九九一區| 欧美色骚婷婷五月天| 五月婷婷色激情| 综合色五月天| 天天操天天国产三级片处女学生妹| 97超碰在线免费观看| 最新热中文字幕| 俺也高清无码高清视频| 99操视频| 久久一级片| 另类天堂| 开心婷婷丁香五月| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 丁香五月情色| www,超碰| 99福利视频导航| 天天搡日日搡aaaaⅩ| 色人妻五月| 丁香五月婷婷啪| 久久伊人日日夜夜| 久99热| 国产乱子轮XXX农村| 97色97干| 色婷婷丁香| 天天爽人人综合免费7799| 无码激情AAAAA片-区区| 婷婷五月综合在线| 99免费视频| 99网| www.激情五月天。com| 99热这里只有精品无码| 色爱综合网| 五月天婷婷久草丁香| 伊人春天av| 久久机热/这里只有精品| 色综合伊人网| 久久色天堂| 九九色婷婷| 99A级片| a69在线视频| 79精品视频在线观看,| 综合激情婷婷| WWW久久久| 亚洲人成人五月天| 在线视频婷婷| 丰满人妻一区三区三区| 1000部毛片A片免费观看| 久久婷婷人人| 国产欧美va| 国产精产国品一二三在观看| 这里只有视频精品| 香蕉婷婷| 日本的α片xxxwww| 五月丁香综合网| 一本色道久久综合狠狠躁小说| 丁香婷五月| 五月婷婷之综合激情| 秋霞日本免费毛片A片| 激情综合网激情五月丁香| 免费精品99| 五月婷婷久久综合| 婷婷色基地| 六月色色婷婷| 久久久久9久无码视频| 丁香五月综合激情啪啪| 大香蕉中文| 婷色影院| 欧美成人五月天| 97色婷婷| www激情网| 99这里有精品| 色。 婷婷婷| 五月亭亭直播| 五月色婷婷在线观看| 激情久久久久久| 激情亭亭五月| 久久9视频欧美| 69精品人妻不卡视频| 中文字幕婷婷五月天在线观看| 亚洲情综合五月天| 大香蕉久久婷婷| 久热这里有精品视频| 色婷另类| 神马欧美精| 免费无码毛片一区二区A片| 国产av天堂| 国产91资源在线| 91/九色黑人| 亚洲六月婷婷| 97五月天婷婷| 开心五月婷婷| 啪啪六月婷婷| 婷婷丁香激情五月天色色| 成人免费高清在线播放| 亚洲九九99精品视频在线播放| 色色色色色综合| 五月色亭丁香| 亚洲丁香五月天视频| 9久热精品在线视频| 亚洲精品五十一区| 婷婷综合性爱网| 996热re视频精品视频这里| www.com久久久久久久久久久久久久久久久| 青青草护士中出内射-欧美电影在线天堂新版 | 俺去婷婷 丁香| 婷婷性色| 五月天综合在线| 五月婷婷激情综合网| 丁香五月激情啪啪| 国产精产国品一二三在观看| 思思国产99| 五月婷六月| 老师的粉嫩小又紧水又多A片视频| 婷婷五月丁香色综合| 婷婷日本色| 热久久这里只有精品| 久热伊人91| 5月激情天| 九九热这里| 久久性爱视频| 五月丁香爱婷婷深深| 欧美成人精品一区二区 | 日韩成人不卡| 激情五月丁香色婷婷| 色婷婷9| 激情五月天。| 97精品综合久久| 十月丁香九月婷婷综合| 天天激情站| 激情丁香婷婷六月天| 丁香色婷婷| 丁香五月色色婷| 婷婷丁香激情综合色情| 大香蕉精品视频| 久久久网站| 六月丁香成人| 99热精品在线观看| 激情婷婷五月天伊人在线观看| 亚洲成人无码专区| 色5月婷婷色| 开心婷婷中文字慕| 久久这里只有精品视频15| 大香蕉520| 五月激情久久| 丁香五月天综合| 色五月婷婷色五月婷婷色五月婷婷| 这里只有精品9| 欧洲色色| 婷婷五月婷婷五月天| 日本婷婷五月天| 99re热99| 97色色色| 秋霞簧片| 人人操婷婷| 激情丁香五月激情婷婷| 色婷婷五月综合激情中文字幕| 人人舔人人色人人高潮| 国产真实乱对白精彩| WWW.五月天9999| 天天爽天天干| 婷婷五月精品在线| 99re熱| 婷婷久久网| 5月色亭亭视频| 九九热在线视频| 婷婷精品性视频| 五月婷亚洲精品AV天堂| 香蕉99网| 性一交一乱一交A片久| 激情综合色播| 久久这里在精品视频| 成人五月天。COM| 超碰国产在线| 成人婷婷桔色| 九月丁香婷婷| 噼里啪啦完整版中文在线观看| 天天操夜夜肏| 婷婷五月天综合AV| 丁香五月天亚洲综合| 亚洲精品久久久久久久久久飞鱼| 丁香五月天欧美在线| 国产内射婷婷| 99在线热视频| 丁香婷婷黄网站| 精品久久久人妻| 日韩欧美一区二区三区四区| 亚洲成av人影院| 天天摸日日舔狠狠添婷婷婷 | 夜夜爱伊人| 日本久久精品18| 色五月激情综合网| 亚洲国产精品综合色区| AA片在线观看视频在线播放| 天天色99| 婷婷五月色播放| 婷婷六月婷婷| 日韩色色色色色| 九九99九九精品视频| 97色婷婷| 五月婷婷黄色| 丁香五月AV| 五月开行婷婷色五月| 激情婷婷丁香五月天小说| 久久婷婷东京热大香樵| 伊人天堂婷婷| 8050一级网| 日本色色色| 91狠狠色色丁香婷婷综合久久| 天天免费成年人视频| 操逼五月婷婷| 91精品久久久久久77777| 丁香久久五月婷综合| 91九色在线| 久久性爱视频| 伊人久久大香网| 天天干夜夜操A片| 婷婷色色色| 色婷网| 亚洲五月天综合| 1234操逼网| 伊人久久五月天| m色激情网| A片一曲| 色五月激情五月| 先锋资源91| 99视频这里有精品免费观看| 996日日爱| 九九婷婷五月天影视| 久久五月天合网| 99免费综合网| 六月丁香婷婷色狠狠久久| 欧美色色色色色色色| 亚洲精品视频电影| 日韩 中文 欧美| 丁香 亚洲 久久| 日韩啪图| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 五月天丁香网| H亚洲| 婷婷色在线观看| 激情五月婷婷啪啪| 五月婷婷丁香五月天| 亚洲综合在线伊人婷| 91丁香色五月| 国产精品日本一区二区在线播放| 夜夜撸天天操| 激情久久综合| 国产婷婷五月天| 另类小说激情五月天| 激情婷婷内射| 99惹在线精品免费观看| 九九伊人网| 青青草99热久久精品国| 激情久久网| 五月婷婷啪| 黄色片区子| 婷婷五月天奸女| 超碰日日操| 99热这里只有精品1025| 99∨VTV| 亚洲色热| 国产,欧美,学生妹,视频| 丁香婷婷九月在线| 亚洲国产另类av| 亚洲成片在线观看| 激情五月天视频| 婷婷五月黄色激情在线| 亚洲综合在线视频| 91婷婷搞| 激情五月天色| 亚洲激情五月婷婷日日| 99九九视频| 五月婷六月| 香蕉久久国产AV一区二区| 五月天综合网| 手机AVAV天堂看网| 亚洲操B| 久久这里有精品99| 久热这里只有精品99re| 婷婷五月亚洲一本在线丁香| 婷婷丁香18| 狠狠色噜噜狠狠狠狠综合| 婷婷播5月| 丁香婷婷色六月| 色五月亚洲开心网| 人人爱人人摸人人澡| 夜夜操天天爽| 97五月天| 亚洲旡码| 99精品偷自拍| www.婷婷com| 午夜在线成人网站免费观看| 综合网狠狠| 亚洲无码11| 99riAV国产精品视频| 一本久道综合99| 91操熟女| 五月丁香久久| 五月婷婷性爱网| 天天综合五月| 四虎婷婷五月天| 五月丁香中文字幕| 久久99网| 亚洲韩国日产综合AV| 26UUU欧美激情一区二区| 精品婷婷五| 婷婷久久六月费| 五月丁香婷婷网在线在线| 色五月婷婷亚洲| 99燥99日| 8区视频在线| 思思热国产视频| 深爱激情网五月天| 丁香桃色网| AAA久久久| 大香网伊人久久综合| W色综合| 大香蕉久久草| 好激情在线综合网| 五月综合色播播丁香婷婷 | 超级碰人人操人人干| 99re思思在线视频| av五月天婷婷丁香| 99在线免费观看| 五月婷婷丁香五月 | 91中文在线| 婷婷五月情| 天天色播| 99综合一区| 婷婷操超碰| Av免费网站在线| 丁香五月97视频| 五月天伊人综合| 开心亚洲久久开心| 天天干天天干天天干| 亚洲这里只有精品| 人人摸人人| 教师性爱毛片| 激情综合色网| 毛片色五月| 棕合影院色色| 婷婷丁香色女人| 欧美色色色色色色| 天堂va久久久噜噜噜久久Va| 婷婷五月天最新综合你懂的| 婷婷五月激情视频| 六月激情网| #NAME?| 99热在线精品观看| 婷婷日日夜夜| 天天色天天操天天射| 欧美精品A片一区在线观看| 色综合99无码| 美女天天艹人人爽| 99久久思思| 99ri精品视频在线观看| 91人无码久久久久久| 狠狠se| 色五月视频无码播放| 国产欧洲欧洲精品久久| 91午夜婷婷狠狠久久综合9色| 九九九热精品| 五月丁香婷婷基地| 1024操逼| 三级成人网站| 亚洲综合色网| www.婷婷五月天| 九九热精品| 天天操夜夜操| 日本在线视频看se99| 婷婷丁香五| 欧美日韩成人一区二区| 探花搜索结果 - 黄上黄| 五月婷婷丁香色吧网| 91精品久久久久久综合五月天| 丁香五婷婷| 人人干人人操人人摸| 久久久久er热| 99热销国产这里有精品| 思思久久精品| 青草视频在线播放| 日日想日日夜日日操| 99天堂网| 激情综合无码| 五月婷婷啪啪| 日产精品一线二线三线芒果| 免费九九热| 婷婷色综合av| 亚洲午夜一区二区| 热99免费在线| 五月婷婷色综图片| 色yeye色综合| AV在线免费播放| 婷婷五月丁香激情| 久久久激情| 国产肥白大熟妇BBBB视频| 99re这里| 天天橾夜夜爽| 丁香婷婷成人在线播放| 98毛片| 超碰免费99| 成人网在线观看视频| 久久在线视频免费观看| 99在线资源视频| 久热这里| 中文久久久人妻| 好好干av| 久99久视频精品| 婷婷中文字幕版| 少妇被下春药玩弄A片| 久婷婷| 婷婷97狠狠成人网站| 九九亚洲视频| 操骚货在线| 色频玖玖五月天| 欧美日韩成人在线| 激情久久五月网| 99热这里只有精品99| 日日干日日| 九月丁香婷婷综合激情| www.丁香六月婷婷久久天堂影院.con| 色噜噜婷婷| 亚州激情九月| 自拍偷窥99热| 六月激情综合| 狠狠色综合777| 91性交在线播放| 狠狠狠激情网| 婷婷丁香视频| 丁香婷婷影院| 婷婷综合一二三| 综合色婷婷| 久色欧美| 97碰在线| 大陆极品少妇内射AAAAAA| WWW,激情五月天,COM| 国产精产国品一二三在观看| 中文超碰视在线| 99成人小视频| 久久草中文日韩欧美| 婷婷伊人网| 天天狠狠色| 亚洲一区二区 成人网站戴套| 亚洲第一综合| 第二色AⅤ| 久久男人网婷婷| 午夜九九九九九九九九九九九九九| 亚洲AV成人在线| ..真实国产乱子伦对白在线_欧 | 久久er99热精品一区二区| www.色窝| 踪合专区啪啪| 色噜噜狠狠色综| 色啪网| 婷婷开心激情综合五月天| 久久天堂色| 五月婷婷深深爱| 都市激情蜜桃婷婷五月天| 久久久久久草黄色片AV在线观看| 天天干天天 亚洲| 9色在线视频精品观看| 91九色国产| 日本久碰| 2017狠狠干| av在线资源| 色综合久久之分久久| 激情五月天综合网| 99久久a线观| 久久婷婷桃花五月天| 亚洲人妻AV| 丁香五月激情性色郤| 99婷婷五月天激情| 开心激情婷婷| 天天综合网站| 思思久久96热在精品国产,| 九草性爱| 成人国产欧美大片一区| 99riAv1国产在线观看| 天天操天天操综合| 日本视频99| 伊人激情| 91超碰在线观看| 66精品成人免费网站在线观看| 四色五月视频| 国外亚洲成AV人片在线观看 | 婷婷五月天AV激情| 激情婷婷五月| 五月天另类小说久久小说网| 婷婷狠狠操| 99极品视频| 婷婷久久五月| 熟妇内谢69XXXXXA片| 香蕉人在线香蕉人在线 | 色婷婷影院| 搡BBBB搡BBB搡18| 九九婷婷综合| 婷婷六月激情在线视频| 精品视频99看在线视频| 日本在线视频播放91| 岛国在线观看91| 婷婷五月色| 综合五月婷婷| 婷婷色日本| 国产人妻人伦精品一区二区| 日韩在线观看亚洲| 99日韩网站| 天天日日人| 91嫩草久久| 亚洲综合久| 79色色色色| 五月丁香黄色| 天天天天爽爽天干| 六月丁香社区| 婷婷成年人免费视频| 26uuu亚洲精品国产| 99色播| 日本超碰在线| 天天爽在线视频| 香蕉婷婷| 啪啪激情网| 影音先锋一区| 99精品国产热久久91色欲| 亚洲婷婷基地| 97操碰在线视频| 大香蕉人人网| 亚洲免费观看高清完整版AV线| 久re在线| 熟美女麻豆| 婷婷久久婷婷| 久久综合人妻| 日批在线看| 综合五月丁香久久| 婷婷月综合| 国产44页| 97人人操人人拍| 人妻丰满精品一区二区A片| 激情欧美五月丁香| 操99| 狠狠综合网| 激情第四色| 人人爽欧美婷婷久久久五月丁香| 天天操天天操天天操| 六月婷婷五月丁香首页| 五月丁香成年黄色| 超碰97久久| 丁香久久激情俄| 99综合五月免费视频色婷婷| 99干日日干| 五月婷婷综合激情| 俺也去综合| 激情五月综合色婷婷| 日韩色色视频www| 日本乱论99| 九九热啪啪| 五月丁香六月婷婷网| 日逼免费视频| 激情五月天之六月婷婷| 欧美天天干五月丁香| 五月婷婷六月丁香免费| 他改变了拜占庭| eeuss人妻| 九九热只有这里精品| 色丁香五月婷婷综合久久| 久久密臀婷婷| 亚洲永久免费| 综合网五月天123| 99热精品中文字幕| 俺去也五月天| 色色六月| 爱射综合| 久久这里有精品在线观看| 亚洲色色色| 五月伊人综合| 91色久| 色婷婷五月天av在线| 天天玩夜夜操天天爽| 五月婷婷激情综合在线| 97涩涩丁香五月天| 操逼棍操逼| 欧美日韩aaaa| 色色色色色色色色色色色色色97| 九九色影院| 激情五月综合网| www九九热| 人妻熟人中文字幕一区二区| 丁香五月婷婷免费视频| 色激情网| 欧美在线看| 丁香五月大香蕉| 天天操天天日天天爱| 成人做爰A片免费看网站找不到了| 天天日天天狠狠操| 亚洲国产精品成人va在线观看| dingxiangtingtingliuyue| 五月丁香中文| 色色色色五月| 国产精产国品一二三在观看| 99久久五月婷婷| 国产精品色婷婷久久久精品| 久久五月综合| 操逼在线视频| 婷婷狠狠色| 特黄三级片| 亚洲久热| 久月久在线视频| 在线看黄色| 超碰在线国产| AⅤ色区| 五月婷婷丁香av| 五月天综合久久| 欧美日韩99| 风流少妇A片一区二区蜜桃| 日韩AV在线免费| 成人av在线网站| 天色综合网站| 超碰三级片| 日日撸夜夜操| 国产欧美精品AAAAAA片| 九色地址91视频| 婷婷色婷婷亚洲成人| 思思热再线视频| 丁香六月五月天| 久久综合激情| 香蕉AV777XXX色综合一区| 激情综合在线播放| 激情五月天婷婷直播| 中文字幕性爱丰满| 91视频精品99| 91婷婷视频| 97AV在线视频| 丁香社区婷婷五月| 婷婷六月色| 99这里只有精品| 亚洲av午夜精品一区二区| 五月激情婷婷图片基地| 五月天婷婷人妻| 丁香婷婷深情五月亚洲| 壅壅儕家a| 五月综合激情久久| 久久精彩免费视频| 日韩色色色色| 成人网址在线观看| 五月丁香淫淫婷婷婷| 97综合在线| 激情综合文学| 九九免费视频在线| 91凹凸在线| www.99热国产| 欧美在线视频99| 99热这里只有精品2| 丁香五月激情网| 久久一品区| 婷婷日| 婷婷五月香蕉| 激情网色五月| 狠狠色丁香婷婷基地| 久久五月网| 91n啪啪| 欧美久久五月婷婷| 亚洲色综合| 六月婷婷AV| 激情影院免费视频婷婷五月天| 久久五月网| 69久热| 五月天色导航| 91久久综合亚洲鲁鲁五月天| 色综合女人99| 婷婷久久五月| 五月丁香 啪啪| 91在线观看www| 激情五月综亚网| 日本va欧美va欧美精品88| 国产午夜精品一区二区三区四区 | 中文不卡一二三区| 五月婷婷成人| 秋霞丝袜啪啪啪| A A色色| 九九碰九九爱97| 六月丁香婷婷综合狠狠爱夜夜爱| 成人五月天视频播放| 亚洲亚洲人成综合网络| 人人爽人人射-美女久久久久久久久久-成人AV| 99久久久久久www| 色婷大香蕉| 思思久久精品视频| 亚洲第一综合| 99精品视频在线观看免费| 五月天伊人久久久久| 激情五月天。| 怡红院精品视频久久久久久久久| 亚洲精品V天堂中文字幕 | 色色色综合| 99婷婷| 五月停亭六月,六月停亭的英语| 超碰在线综合| 婷婷五月天第四色| 五月婷婷啪啪啪啪| 久久五月情| www,婷婷,com| 呦呦v线| 色婷婷香蕉| 大香蕉婷婷丁香| 色五月天成人| 综合网色综合| 国产性爱亚洲是图| 色偷偷人人| 五月天成人在线播放丁香| 丁香五月天网站| 青青草轻轻操| 中文字幕色色| 极品人妻videosss人妻| www.色婷婷| 狠狠搞五月天| 久操人妻| 色人久久| 人人操插| 碰碰91| 色人久久| 情色婷婷五月天| 五月婷婷六月情| 五月狠狠| 超碰女人天堂| 日韩九九视频| 99精品无码| 99re99热| 99色热| 丁香五月色综合色播五月| 成人做爰A片免费看视频| 色五月婷婷五月丁香五月激情五月视频| 99A片| caopeng超碰| 国产精品久久欧美久久一区| 婷婷丁香五| 又大又粗九一在线| 欧美va| 色五月美女| 天天做天天爱天天玩夜夜爽| 亚洲视频在线网| 精品人妻久久久久久| h亚洲| 日本婷久久| 狠狠爱婷婷爱| 亚洲操b| 777.色色| av在线免费播放观看| 天天日天天摸| 婷婷五月天在线看| 精品人妻午夜一区二区三区四区| va婷婷在线| 色五月色综合| 人人人操 超碰| 91干99| 亚洲狠狠干| 百度一下国产精品A| 激情5月天天天| 五月丁香婷婷狠狠操| 五月天亭亭俺也| 影音先锋噜一噜| 色色丁香| 久热视频这里只有精品| 日本人人草草| 女人天堂AV| 九月婷婷丁香| 亚洲婷婷激情综合激情999精品| 久久人妻乱| 色九月欧美| 开心五月网 | 类似婷婷激情综合网站| 秋霞免费三级片| 国产XXXX搡XXXXX搡麻豆| 九九热99热| 九月丁香| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 色9色| 久久视9精| 五月婷婷亚洲色视频| 亚洲激情综合| 人妻激情久久| 五月丁香婷中文| 五月激情婷婷图片基地| 不卡在线超碰| 婷婷九月在线| 91丨熟女丨首页| 婷婷情色五月| 色色亚洲视频| 色综久久久| 五月天婷婷激情四射综合| 婷婷五月综合网| 伊人超碰| 日熟女| 国产免费一区二区在线A片视频| 2025天天操| 婷婷综合激情| 婷婷丁香红五月91C| 性天堂久久| 亚洲爱爱无码婷婷色五月| 1999天天操夜夜操| 欧美操人| 日日操夜夜爽| 五月丁香亭亭成人电影| 欧美乱码国产一级A片| 综合五月婷婷| 成人精品亚洲性爱| 久久激情综合| 久久99网址| 男女啪啪做爰高潮无遮挡| 情色婷婷五月天| 狠狠狠狠狠草| 99久久99久久综合| 久艹久| 亚洲精品又粗又大又爽A片| 天天爱天天狠天天透| 激情五月天之五月婷婷| 99久在线| 丁香六月丁香婷婷激情| 热99在线| 激情六月丁| 婷婷玉月丁香五月在线视频| 久久视频婷婷视频| 热99一二三| 亚洲妇女熟BBW| 五月丁香福利| 99热这里只有精品免费观看| 丁香月五月天婷婷久久| 日韩不卡DvD| 狠狠色九月| 日本少妇裸体做爰高潮片| 操日视频| 亚洲天码视频www蛋播视频| 国产色色网址网站| 九九热a| 色玖玖玖| 五月天色软件| 婷婷一本和五月丁香| 日韩啪啪网| 99热精品10| 亚洲一二三网| 超碰v| 久久思思热| 婷婷 丁香 精品| 99热这里只有精品热| 天天色天天色天天色天天色天天色天天色| 玖玖午夜视频| 久久艹网| 黄色录像网点| 亚洲熟妇AV乱码在线观看| 人妻内射视频| 五月天久久婷婷| 五月丁香婷婷网在线在线| 思思精品久久艹| 五月婷婷色综图片| 久久人妻久久久久| 激情九月综合| 丁香五月停停基地| 国产亚洲成AV人片在线| 99热在线极品极品| 五月丁香婷婷成人网| 色色色综合网| www久久99| 激情五月婷婷五月| 久久ww| 120分钟婬片免费看| 色综合久久88色综合天天看| 五月激情六月综合| 日本色色视频| 另类综合国产| 青青草六月丁香| 激情五月天之五月婷婷| 亚州激情网| 丁香六月婷婷一区| 久99视频| 五月丁香色六月激情干大屄| 97视频久久| www激情五月天| 久久九九99亚洲国产久精综合| 99在线观看这里都是精品| 永久思思热在线| 欧美日韩成人在线| 丁香六月激情综合| 丁香婷婷久久| 五月丁香| 黄网在线播放| 欧美日韩99| 色色狼人综合| 婷婷五月电影| 超碰人人操在线| 91狠狠色| 91婷婷丁香五月天免费视频网站| 色99网| 狠狠综合久久| 永久的网站AAAA| 综合欧美五月婷婷| 综合久| 91色五月| 婷婷六月丁香激情| 欧洲精品欧洲情| 五月亭亭激情综合| 99久久精品网| 毛片色五月| 色噜噜狠狠插综合| 婷婷五月美女直播| 久久人人妻| 五月激激激情综合网| 第五色色色婷婷| 99热精品中文字幕| 亚洲午夜一区二区| 人妻人人操| 亚洲热久久| 色色色热| 久久婷综| 毛片蕉地一二| a九九热www| 五月天婷婷激情网| 狠狠色综合777| 丁香五月瑟瑟| 天天操天天日天天操| 亚洲视色| 激情综合网五月| 97色色综合| 99re热视频这里只精品| 免费色婷婷| 色综合色香蕉网| WWW99视频| 婷婷五月天av| 久热这里只有精品在线观看| 亚洲国产成人裸舞| 久久99网| 日日.c| 伊人激情| 99国产精品久久久久久久久久久 | 精品女人九九九| 五月婷婷啪啪啪| 激情综合色| 久操香蕉| 丁香五月综合久久| 国在线激情网| 五月丁香啪啪综合网| 色色色综合网| 激情五月综合网| 大香蕉视频99| 丁香婷婷婷五月综合色情| 97欧美在线| 【乱子伦】黄色| 色婷视频| 91久久久久久久久18| 疯狂做受XXXX高潮A片动画| 色在线免费观看| 大香蕉520| 五月婷婷六月奇米网丁香| 99狠狠操一| a在线观看| 国内久久婷婷| 色色丁香| 人人摸人人干人人做| 免费亚洲婷婷中文字幕| 色婷婷亚洲婷婷| YW无码| 91综合在线| 久久这里只有精品视频1| 久久九区| 亚洲AV无码电影| 99熟女| 婷婷五月天深爱| 99久久久| 九九热99热| 欧美日韩婷婷五月天| 成人亚洲精品| 国产乱妇乱子伦| 99色天堂| 丁香五月婷婷操逼| 五月天激情综合网俺也去| 亚洲激情免费视频| 婷婷五月天激情文学| cao视频,现在观看| 久久久五月天| 爱婷婷五月| 九九无码| 无码激情AAAAA片-区区| 日本人人干| 丁香五月综合高清在线| 激情五月天开心总和网| 五月天激情国产综合婷婷| 丁香婷婷老司机久操| 99热超碰| 国产一区二区av免费| 午夜做爱影院| 激情五月婷婷五月| 狠狠狠狠青草| 激情婷婷丁香五月天| 久久机只有这里精品| 人人操插| 伊人天堂婷婷| 九九成人高清视频| 五月丁香六月激情综合| 五月天电影网| -91九色大屁股| 五月丁香怕怕综合| 97欧美在线| 激情六月婷婷啪啪| 十月丁香婷婷| 4399在线日本A片| 丝袜熟女一区二区三区| 99这里有精品免费| 亚洲综合五月天婷婷丁香| 99热免费18| 久久五月天激情视频| 9久精品| 色情五月| 五月香蕉婷婷| 婷婷狠狠操| 伊人久久大香天蕉亚洲特级| 白天AV月月| 成人丁香五月| 91九色大屁股| 欧美综合五月丁香五月天| 色婷五月天| www色色com| 这里只有精彩视| 欧美黑人巨大性生话| 亚洲AV免费在线| www.minyis.com【JT】实力收量可预付QQ2101460746 | 超碰人人在线| 97影院一级片| 噜噜视频| 婷婷丁香五月在线观看91| 婷婷激情伍月网| 婷婷五月六| 91人妻人人操| 五月婷精品| 五月婷婷色| 26uuu成人网| 激情五月丁香在线观看直播| 夜夜爽天天干| 五月丁香操婷逼| 丁香五月六月综合欧美| 偷拍九九热| www.com操| 日本三级日本三级99| 色爱综合网| 久9精品视频| 91疯狂操操操操| 亚洲五月天激情| 色情成人五月天| www开心激情网| 专区无日本视频高清8| 丁香五月自拍| 狼友视频在线观看18| 国产1区2区3区| 亚洲激情久久| 成人人操| 久久久久99精品成人片| 国产精品第一国产精品| 成人丁香五月| 婷婷久草| yellow视频在线观看91| 色五月婷婷丁香五月| 色婷婷丁香花五月天| 最新五月天婷婷影| 色999;丁香五月| 综合五月草| 婷婷色五月激情| 色婷婷操逼| 久久久18| www.日本久久videos| 色99网| 華人性愛AV在線| 热九九精品| 性爱在线播放av| 97色干| 亚洲婷婷月丁香五月| 日韩精品无码一区二区| 色五月婷婷丁香婷婷| 久久婷婷青青| 亚洲激情免费视频观看| 久久机热探花| 天天干天天爽| 亚洲不卡欧洲| 婷婷香蕉| 婷婷色五月亚洲| 任你躁XXXXX麻豆精品| 可以直接看的AV网站| 热婷婷av| 天天草天天爽| 另类视频综合| 亚洲人人操| 玖玖资源网站最新站| 亚洲在线网站| 五月婷婷69| 婷婷久久性爱| 色婷婷视频在线| 97色在线观看视频| 五月丁香亚洲综合| 国产日韩欧美性生活| 香蕉AV777XXX色综合一区| 26uuu亚洲欧美| 久人人操| 激情五月天电影| 欧美亚洲999| 9精品久久999| 中文国产五月天| 狠狠综合色网| 久久9精品| 99热热九九| 国产一区二区av免费| 夜丁香综合| 天堂中文国产| 狠狠干天天日| 婷婷色五月色妇| 五月天色色色色色| 91viP在线看| 欧美99热| 色色色五月天婷婷| 来吧亚洲综合网| 啪啪啪大香蕉| 黄色片avv| 99热a片免| 午夜丁香婷婷| 亚洲精品白浆高清久久久久久| 九九99一区| 亚洲五月天婷婷| 亚洲乱码日产精品BD在线观看| 天天干天天射综合网| 日韩有码一区| 日本激情91| 九月婷婷综合八月丁香在线观看| 无码字幕中文| 五月婷婷六月丁香五月| 人人干人人干骚美女| 欧美性爱丁香五月| 亚洲色频| WWW夜夜| 色九四色| 国产精品18久久久| 丁香六月激情蜜桃| 亚洲秘 无码一区二区三区妃光/1| 九九在线视频| 五月之婷婷| 色色婷婷丁香五月天| 色香欲综合| 这里只有精品视频一区| 丁香五月欧美成人| 99免费超碰在线| 丁香五月六月| 天天拍夜夜撸| 亚洲天堂九九九| 久久婷婷成人综合色怡春院| 五月婷婷婷自由综合| 六月激情婷婷| 婷婷在线视频| 99热在线播放| 亚洲精品乱码久久久久久综合| 超碰在线资源| 99热这里只有精品首页| 婷婷开心六月| 欧美伊人9| 色色欧美色色| 91色综合网| 色久免费| 欧美六月| 日日做A爰片久久毛片A片英语| 五月丁香六月欧美综合网站| 色噜久| 97婷婷狠狠| 日韩六十路91性交电影| 五月天婷婷久草丁香| 极品人妻VIDEOSSS人妻| 九九在线视频| 99人人操人人摸| 五月婷在线影院| 琪琪色五月婷婷老师| 91日本在线| 午夜做爱影院| 色播播之激情五月婷婷| 99热网址| 色涩视频久久| 夜夜骑夜夜操| 亚洲五月天激情| 五月丁香六月婷婷玖玖| 天色色综合网| 69精品人人人人| 婷婷五月天激情综合| 五月婷婷网站| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 欧美丁香婷婷天天操| 人人97操| 日本精品人妻无码77777| 天天操中文字幕| 色婷婷五月天天天干天天操天天爽| 香蕉久久国产AV一区二区| www网站在线观看| 欧美S码亚洲码精品M码| 性生活视频98791| 99国产这里只有精品| 男人天堂亚洲综合| 五月婷婷六月天| CAOBIBI| 黄网在线免费| 五月天婷婷成人网| 中美日韩成人在线| 日韩AAAAA| 五月天电影网| 久久久久久xxxxx| 五月婷婷深深爱| 综合激情九月婷婷,激情综合婷婷中文字| 国产亚洲精品久久久久久牛牛| 婷婷五月天黄色| 丁香五月成人社区| 色五月婷婷激情五月| site:pzdcoin.com| 99九九热在线观看| 欧美激情久| 欧美性做爰大片免费看办公室| 成人丁香五月| 97干欧美| 免费看欧美成人A片无码| 婷婷丁香五月亚洲免费| 九九热这里有精品23| 婷婷五月天成人网| 97人人搞| 精品99在线观看| 九九伦子片| www免费在线视频| 粉嫩AV久久一区二区三区| 色色色色网站| 99热首页| 久热免费| 丁香婷婷五月六月天| 婷婷激情五月天在线视频| 九九热这里只有精品556| av网址在线| 人人97碰| 五月丁香啪啪网| 九九综舍久久| 久久九九精彩| 伊人玖玖网|