欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

從 Issue 到 PR 合入:HCCL 開源貢獻(xiàn)全流程實(shí)戰(zhàn)指南

從 Issue 到 PR 合入:HCCL 開源貢獻(xiàn)全流程實(shí)戰(zhàn)指南 在昇騰設(shè)備上做分布式訓(xùn)練時(shí)HCCLHuawei Collective Communication Library就是那個(gè)藏在底層、負(fù)責(zé)多卡和跨節(jié)點(diǎn)梯度同步的集合通信庫(kù)。很多做模型訓(xùn)練的同學(xué)用過它但真正參與過它開發(fā)的并不多。這篇東西我想從一個(gè)貢獻(xiàn)者的視角把從提 Issue 到 PR 合入的完整鏈路拆開講一遍包括什么樣的 Issue 會(huì)被維護(hù)者認(rèn)真看、PR 怎么寫才不用來(lái)回折騰十輪、CI 掛了先查哪里、以及 code review 時(shí)那些不好意思問出口的潛規(guī)則。如果你已經(jīng)有 C/C 或 Python 基礎(chǔ)想找一個(gè)有真實(shí)落地場(chǎng)景的開源項(xiàng)目練手HCCL 其實(shí)是個(gè)比想象中更友好的選擇。這篇文章會(huì)從項(xiàng)目背景、Issue 規(guī)范、環(huán)境準(zhǔn)備、PR 流程、CI 調(diào)試到合入后的收尾工作逐步帶你把整套流程走通。哪怕你還沒碰過集合通信只要愿意讀代碼、愿意跑測(cè)試也能找到自己可以下手的位置。1. 項(xiàng)目畫像先搞清楚 HCCL 到底是什么1.1 它在分布式訓(xùn)練棧里的位置在聊怎么給 HCCL 貢獻(xiàn)代碼之前先花點(diǎn)時(shí)間把項(xiàng)目本身講清楚。HCCL 是昇騰 AI 加速卡上的集合通信庫(kù)對(duì)標(biāo)的是 GPU 生態(tài)里的 NCCL。訓(xùn)練大模型時(shí)數(shù)據(jù)并行是最常見的并行策略每張卡算完自己那一份梯度之后需要把梯度同步到所有卡上這個(gè)同步動(dòng)作就是靠集合通信庫(kù)來(lái)完成的。AllReduce、AllGather、ReduceScatter 這些通信原語(yǔ)就是 HCCL 對(duì)外提供的核心能力。你可以把它理解成快遞系統(tǒng)里的分揀中心每張卡都往里面投遞自己的梯度包裹分揀中心負(fù)責(zé)按照規(guī)則重新打包再派送給所有卡。如果分揀中心效率低整個(gè)訓(xùn)練任務(wù)都會(huì)卡在等待上。這也是為什么集合通信庫(kù)的性能優(yōu)化如此重要——哪怕只提升 10% 的通信效率在大規(guī)模訓(xùn)練里節(jié)省的時(shí)間成本都是非??捎^的。對(duì)貢獻(xiàn)者來(lái)說這個(gè)位置意味著兩件事一是你寫的代碼會(huì)被真實(shí)的高性能計(jì)算場(chǎng)景使用改動(dòng)的影響面很直觀二是它涉及的知識(shí)面比較寬包括操作系統(tǒng)、網(wǎng)絡(luò)協(xié)議、硬件拓?fù)?、并發(fā)編程但每個(gè)方向都不是說你要成為專家才能參與很多任務(wù)其實(shí)是在已有代碼框架上做增量?jī)?yōu)化和修補(bǔ)。1.2 代碼倉(cāng)庫(kù)和模塊劃分HCCL 的源碼可以通過公開代碼托管平臺(tái)獲取常見的路徑是在 Gitee 或 GitHub 上搜索相關(guān)組織下的 HCCL 倉(cāng)庫(kù)。拿到源碼之后你會(huì)發(fā)現(xiàn)它并不是一個(gè)特別龐大的項(xiàng)目但目錄結(jié)構(gòu)劃分得很清晰。核心內(nèi)容一般集中在通信算子的實(shí)現(xiàn)、設(shè)備管理、拓?fù)浒l(fā)現(xiàn)、傳輸鏈路這幾個(gè)模塊里。從新人的角度我建議先不要把精力放在底層傳輸鏈路上那個(gè)模塊涉及到對(duì)硬件驅(qū)動(dòng)的理解排查問題的門檻很高。相對(duì)友好的切入點(diǎn)是集合通信算子的上層邏輯、工具腳本、文檔注釋和測(cè)試用例。比如你看到某個(gè)算子在特定數(shù)據(jù)大小下性能異常順著調(diào)用鏈往下查可能定位到的是內(nèi)存分配策略或者同步等待邏輯的問題這種問題的修復(fù)往往只涉及幾百行代碼但對(duì)于理解整個(gè)項(xiàng)目幫助極大。順便說一句HCCL 的代碼風(fēng)格整體比較規(guī)整大量使用 C 特性但也保留了不少 C 風(fēng)格的接口設(shè)計(jì)。原因很簡(jiǎn)單這個(gè)庫(kù)需要被上層框架比如 PyTorch 的適配層通過 C 接口調(diào)用所以對(duì)外 API 用 C 接口更穩(wěn)定內(nèi)部的實(shí)現(xiàn)則用 C 來(lái)保證開發(fā)效率。1.3 貢獻(xiàn)前的能力準(zhǔn)備先潑一盆冷水給 HCCL 貢獻(xiàn)代碼不是會(huì)寫 Python 調(diào)幾個(gè)框架就行的事情。它需要一定的 C/C 功底至少要能讀懂指針、引用、模板這些基礎(chǔ)概念理解多線程和鎖的用法以及具備通過日志和調(diào)試工具排查問題的經(jīng)驗(yàn)。但也不用被嚇住因?yàn)轫?xiàng)目里不只是代碼一種貢獻(xiàn)形式。文檔修正、示例代碼、測(cè)試補(bǔ)充、Issue 復(fù)現(xiàn)驗(yàn)證這些都是非常有價(jià)值的貢獻(xiàn)方式。尤其對(duì)于第一次參與開源的人來(lái)說從文檔和測(cè)試入手熟悉了整個(gè)流程之后再碰核心代碼是曲線比較平滑的一條路。環(huán)境方面如果你手頭有昇騰設(shè)備那當(dāng)然是最好的可以本地復(fù)現(xiàn)并驗(yàn)證性能改動(dòng)。如果沒有也可以貢獻(xiàn)一些不依賴硬件的代碼邏輯優(yōu)化或者在 CI 環(huán)境里去跑測(cè)試。只不過需要提前說明的是HCCL 的很多測(cè)試是依賴真實(shí)硬件環(huán)境的純軟件模擬環(huán)境只能覆蓋一部分功能這個(gè)限制對(duì)所有貢獻(xiàn)者都一樣不是你一個(gè)人的問題。2. 從一條合格 Issue 開始2.1 Issue 不是吐槽區(qū)我見過很多新手在 GitHub/Gitee 上提 Issue開頭就是“訓(xùn)練報(bào)錯(cuò)了求大佬看看”然后附一張模糊的截圖沒有版本號(hào)沒有日志沒有復(fù)現(xiàn)步驟。這種 Issue 基本不可能得到有效的回復(fù)——不是維護(hù)者不熱情而是信息不足以定位問題。高質(zhì)量開源協(xié)作的第一步是學(xué)會(huì)提一條合格的 Issue。一個(gè)合格的 HCCL Issue必須包含幾個(gè)核心要素問題現(xiàn)象、復(fù)現(xiàn)步驟、環(huán)境信息、日志信息?,F(xiàn)象描述要準(zhǔn)確比如“在 8 卡環(huán)境執(zhí)行 AllReduce 時(shí)當(dāng)數(shù)據(jù)量為 512MB 時(shí)性能比預(yù)期低 30%”就比“訓(xùn)練很慢”有用得多。復(fù)現(xiàn)步驟要可操作別人按你的步驟能走通。環(huán)境信息包括操作系統(tǒng)版本、CANN 版本、HCCL 版本、固件驅(qū)動(dòng)版本、卡型號(hào)和拓?fù)洹H罩拘畔t是運(yùn)行時(shí)的報(bào)錯(cuò)輸出、HCCL 日志通常由環(huán)境變量控制開關(guān)以及必要的堆棧信息。有人可能會(huì)覺得我提個(gè) Issue 而已還需要整理這么多東西嗎換個(gè)角度想如果你是那個(gè)需要花半小時(shí)甚至更久去復(fù)現(xiàn)問題的維護(hù)者你希望看到什么樣的報(bào)告將心比心把信息整理清楚本身就是對(duì)維護(hù)者勞動(dòng)的尊重。2.2 一份能加速處理的 Issue 長(zhǎng)什么樣我以一個(gè)真實(shí)的 bug 類 Issue 為例給你拆解一下模板要素標(biāo)題[Bug] AllReduce 在數(shù)據(jù)量為 256MB 時(shí)觸發(fā)段錯(cuò)誤 環(huán)境信息 - 操作系統(tǒng)Ubuntu 20.04.6 LTS - CANN 版本8.0.RC1 - HCCL 版本v1.8.1 - 固件驅(qū)動(dòng)24.1.rc1 - 硬件4 張 Atlas 訓(xùn)練卡單機(jī)單卡環(huán)形互聯(lián) 復(fù)現(xiàn)步驟 1. 編譯 examples/allreduce_benchmark參數(shù)配置如下省略具體參數(shù) 2. 設(shè)置 HCCL_LOGFILE/tmp/hccl.log 環(huán)境變量 3. 啟動(dòng)測(cè)試程序數(shù)據(jù)量設(shè)置為 256MB 4. 觀察程序退出碼 期望行為正常完成集合通信并輸出正確結(jié)果。 實(shí)際行為程序在通信初始化階段崩潰退出碼 -11堆棧顯示在拓?fù)浒l(fā)現(xiàn)模塊具體報(bào)錯(cuò)粘貼。 日志片段 粘貼關(guān)鍵日志避免貼整個(gè)文件這個(gè)模板的信息密度很高維護(hù)者拿到手可以直接開始復(fù)現(xiàn)。值得注意的一點(diǎn)是“數(shù)據(jù)量為 256MB 時(shí)崩潰128MB 或 512MB 時(shí)正?!边@種信息非常關(guān)鍵因?yàn)樗軒椭S護(hù)者快速縮小問題范圍——可能涉及內(nèi)存池分配策略、通信緩沖區(qū)的邊界條件或者某個(gè)特定數(shù)據(jù)分片邏輯。另外如果問題涉及性能最好附上基線數(shù)據(jù)和實(shí)測(cè)數(shù)據(jù)的對(duì)比說明是在什么條件測(cè)的。性能問題比崩潰問題更難處理因?yàn)樗赡芎途W(wǎng)絡(luò)拓?fù)?、CPU 頻率、PCIe/NVLink/HCCS 鏈路狀態(tài)都有關(guān)沒有數(shù)據(jù)的性能 Issue 基本等于大海撈針。2.3 Issue 里的溝通禮儀Issue 提完之后你可能會(huì)遇到幾種情況。一種是維護(hù)者很快回復(fù)“能否提供更多信息”這時(shí)你需要及時(shí)補(bǔ)充一種是長(zhǎng)時(shí)間沒人回復(fù)這并不一定代表你的問題不重要可能是維護(hù)者比較忙也可能是你的 Issue 確實(shí)缺少必要信息還有一種情況是有人回復(fù)了但是給了一個(gè)和你預(yù)期不一樣的解釋方向。在 Issue 評(píng)論區(qū)溝通要保持專業(yè)和耐心。不要用“這東西怎么這么難用”這種抱怨語(yǔ)氣直接陳述技術(shù)問題就好。如果某個(gè)對(duì)話已經(jīng)偏離主題可以禮貌地提醒對(duì)方回到問題本身。如果維護(hù)者要求你驗(yàn)證某個(gè)修復(fù)補(bǔ)丁盡量第一時(shí)間去跑然后把結(jié)果反饋到評(píng)論區(qū)——這是建立信任的過程。這里還有一個(gè)很容易踩的坑在 Issue 里貼完整的大文件日志。幾萬(wàn)行的日志會(huì)把真正有用的錯(cuò)誤信息淹沒掉正確做法是先用 grep 過濾掉無(wú)關(guān)內(nèi)容只保留報(bào)錯(cuò)前后的關(guān)鍵幾十行并在日志片段外簡(jiǎn)要標(biāo)注每部分可能表示的含義。維護(hù)者每天要處理大量 Issue信息越聚焦你的問題被解決的優(yōu)先級(jí)就越高。3. 從 Issue 到開發(fā)計(jì)劃3.1 怎么篩選適合自己的任務(wù)不是所有 Issue 都需要你寫代碼。HCCL 的項(xiàng)目維護(hù)者通常會(huì)給 Issue 打標(biāo)簽比如 good first issue、help wanted、bug、enhancement 等。如果你是第一次參與建議優(yōu)先找 good first issue 或者文檔增強(qiáng)類的任務(wù)這類任務(wù)的技術(shù)依賴少評(píng)審要求相對(duì)寬松能幫你把整個(gè)工具鏈跑通。篩選任務(wù)的時(shí)候有幾點(diǎn)經(jīng)驗(yàn)可以分享。首先看 Issue 的創(chuàng)建時(shí)間——太老的問題可能已經(jīng)沒人關(guān)注你做了也可能不被接受。其次是看評(píng)論區(qū)的活躍度如果維護(hù)者在此前已經(jīng)給過一些方向性建議說明這個(gè)問題是被認(rèn)可的你可以在此基礎(chǔ)上展開。第三是評(píng)估影響范圍盡量選那些改動(dòng)文件不超過 10 個(gè)、核心邏輯相對(duì)獨(dú)立的問題。以 HCCL 為例一個(gè)對(duì)新人比較友好的任務(wù)是“補(bǔ)充某個(gè)通信原語(yǔ)在異常輸入下的錯(cuò)誤碼檢查”這種改動(dòng)通常只需要在 API 入口增加參數(shù)校驗(yàn)邏輯清晰、影響面可控。相比之下“優(yōu)化某拓?fù)湎?AllReduce 的帶寬利用率”這種任務(wù)雖然很有吸引力但往往需要你深入理解硬件拓?fù)浜途W(wǎng)絡(luò)通信機(jī)制調(diào)試周期很長(zhǎng)不建議拿來(lái)做第一個(gè) PR。3.2 認(rèn)領(lǐng)任務(wù)與溝通方式找到合適的 Issue 之后不要直接悶頭開始寫代碼。正確的做法是先在這個(gè) Issue 下面評(píng)論說明你想認(rèn)領(lǐng)這個(gè)任務(wù)并簡(jiǎn)單描述你打算怎么解決。好處有三個(gè)一是避免和其他貢獻(xiàn)者撞車讓別人知道這個(gè)任務(wù)有人在做二是維護(hù)者會(huì)給你反饋如果方案有問題可以及時(shí)調(diào)整避免白干三是有溝通記錄作為依據(jù)后續(xù)你提交 PR 時(shí)維護(hù)者更容易建立上下文。在評(píng)論認(rèn)領(lǐng)任務(wù)時(shí)可以簡(jiǎn)單描述你的技術(shù)背景和計(jì)劃時(shí)間線比如“我熟悉 C 和內(nèi)存管理計(jì)劃兩周內(nèi)完成修復(fù)并提交 PR”。這種信息能打消維護(hù)者對(duì)新人執(zhí)行力的顧慮。但要注意一旦你承諾了時(shí)間線最好能真的推進(jìn)如果有意外延期也應(yīng)該及時(shí)在 Issue 里同步而不是一直沉默。另外一個(gè)小技巧認(rèn)領(lǐng)任務(wù)后可以先把相關(guān)代碼讀一遍在評(píng)論里提出你的初判。比如“經(jīng)排查問題出現(xiàn)在 topology.c 中的設(shè)備發(fā)現(xiàn)邏輯可能和 PCIe 鏈路寬度檢測(cè)有關(guān)”。即使這個(gè)判斷不完全正確維護(hù)者也會(huì)覺得你是真的在做事而不是隨便占個(gè)坑。3.3 本地開發(fā)環(huán)境搭建開發(fā)環(huán)境搭建是很多新手真正卡住的地方。我的建議是分兩步走先搞定能在本地完成的工作讀代碼、編譯、跑靜態(tài)檢查再解決需要硬件資源的工作跑真實(shí)通信測(cè)試。HCCL 的代碼構(gòu)建一般依賴 Linux 環(huán)境、GCC 編譯器、CMake 和 Python 工具鏈。拿到源碼后按 README 的說明安裝好依賴依次執(zhí)行配置、編譯、安裝這幾個(gè)步驟即可。在配置階段有幾個(gè)選項(xiàng)比較重要比如是否啟用測(cè)試代碼、日志等級(jí)、調(diào)試符號(hào)等。如果你是做功能開發(fā)而非性能調(diào)優(yōu)建議打開調(diào)試符號(hào)和更詳細(xì)的日志輸出方便定位問題。沒有昇騰硬件的情況下依然可以完成編譯驗(yàn)證但鏈接階段可能會(huì)缺少某些底層庫(kù)。這種情況下一個(gè)可行的替代方案是只編譯與你改動(dòng)相關(guān)的模塊做語(yǔ)法級(jí)別的驗(yàn)證然后把完整的驗(yàn)證寄托在 CI 上。這個(gè)過程雖然不那么順暢但很多開源項(xiàng)目的貢獻(xiàn)者都是這樣工作的——本地環(huán)境不完全匹配CI 反而成了最終裁判。綁定硬件環(huán)境的測(cè)試跑不了還有一個(gè)折中方案編寫針對(duì)純軟件邏輯的單元測(cè)試。比如某個(gè)函數(shù)負(fù)責(zé)解析環(huán)境變量、計(jì)算通信緩沖區(qū)大小或者維護(hù)內(nèi)部狀態(tài)這種邏輯完全可以在宿主機(jī)上寫單元測(cè)試跑起來(lái)。HCCL 中這一類可以脫離硬件驗(yàn)證的代碼比你想象的多得多這也是很多新人能夠遠(yuǎn)程貢獻(xiàn)的主要原因。4. 寫 PR不只是把代碼推上去4.1 分支與提交規(guī)范代碼開發(fā)完成后提交 PR 的第一步是在遠(yuǎn)端倉(cāng)庫(kù)創(chuàng)建自己的分支。分支命名建議遵循一定的規(guī)范比如用 fix/ 開頭表示 bug 修復(fù)用 feature/ 表示新功能用 docs/ 表示文檔變更。這樣維護(hù)者從分支名就能快速判斷改動(dòng)的性質(zhì)。分支創(chuàng)建好之后開發(fā)過程中的 commit 信息也要講究。我見過很多 PR 里一個(gè) commit 寫了 800 行改動(dòng)信息只是“fix bug”這種提交歷史基本沒有可讀性。更好的做法是遵循 Conventional Commits 規(guī)范在提交信息里用簡(jiǎn)短的類型前綴說明改動(dòng)類別比如 feat: 新功能、fix: 修復(fù)問題、test: 測(cè)試相關(guān)、docs: 文檔修改。同時(shí)一個(gè) commit 盡量只做一件事把邏輯上獨(dú)立的修改拆成多個(gè) commit方便 reviewer 逐個(gè)審查。Git 操作層面有幾個(gè)建議。一是經(jīng)常拉取主分支的最新代碼及時(shí) rebase 以減少合并沖突二是在提交信息中用祈使句開頭比如 Fix double free in comm buffer而不是 Fixing 或 Fixed三是提交信息正文可以簡(jiǎn)單寫清楚為什么做這個(gè)修改以及實(shí)現(xiàn)的思路但不要寫廢話。4.2 代碼風(fēng)格與自檢清單在推上遠(yuǎn)端之前先在自己的分支上做一輪自檢這種自檢能大幅提高 PR 通過率。以 C 代碼為例重點(diǎn)檢查以下幾項(xiàng)。第一命名是否規(guī)范。HCCL 這類底層庫(kù)對(duì)命名風(fēng)格有嚴(yán)格要求變量名要能清晰表達(dá)含義避免 a、b、c 這種無(wú)意義命名函數(shù)和類的命名要符合項(xiàng)目既有風(fēng)格不要一種模塊用駝峰、一種用下劃線至少在同一個(gè)文件里保持一致。第二邊界條件是否處理。比如你改了一個(gè)緩沖區(qū)分配邏輯是否考慮了 size 為 0 的情況是否考慮了內(nèi)存對(duì)齊要求是否能處理分配失敗這些邊界條件往往是 bug 的溫床。第三是內(nèi)存和資源管理。C/C 項(xiàng)目最常見的問題就是內(nèi)存泄漏、雙重釋放、資源未釋放。如果你改動(dòng)的代碼涉及動(dòng)態(tài)內(nèi)存分配仔細(xì)檢查每條路徑上資源是否都被正確釋放。對(duì)于不熟悉 C 內(nèi)存管理的同學(xué)建議先讀幾遍項(xiàng)目里已有的分配釋放邏輯照葫蘆畫瓢比自由發(fā)揮更安全。第四日志是否恰當(dāng)。HCCL 有自己的日志系統(tǒng)在關(guān)鍵路徑和錯(cuò)誤分支上應(yīng)該有合理的日志輸出方便線上問題排查。但日志也不能太多每個(gè)正常操作都打一條日志會(huì)把性能拖垮。第五測(cè)試是否充分。如果改動(dòng)修復(fù)了某個(gè) bug至少應(yīng)該有一個(gè)能驗(yàn)證該 bug 被修復(fù)的測(cè)試用例。對(duì)于性能優(yōu)化則需要附上優(yōu)化前后的基準(zhǔn)測(cè)試結(jié)果。4.3 PR 描述怎么寫得讓 Reviewer 秒懂PR 描述是你和 reviewer 溝通的第一份材料它的質(zhì)量直接決定了 review 的順暢程度。一份好的 PR 描述不需要長(zhǎng)篇大論但必須覆蓋幾個(gè)核心信息這個(gè) PR 解決什么問題、改動(dòng)涉及哪些模塊、實(shí)現(xiàn)思路是什么、測(cè)試結(jié)果如何、是否有關(guān)聯(lián)的 Issue。一個(gè)比較實(shí)用的模板結(jié)構(gòu)如下## 背景 2~3 句話說清楚為什么要做這個(gè)修改關(guān)聯(lián)的 Issue 編號(hào) ## 改動(dòng)內(nèi)容 列出主要改動(dòng)文件和每個(gè)文件的核心變更點(diǎn) ## 實(shí)現(xiàn)思路 簡(jiǎn)要說明采用的技術(shù)方案為什么選擇這個(gè)方案而不是其他方案 ## 測(cè)試驗(yàn)證 本地測(cè)試、單測(cè)、CI 結(jié)果、性能對(duì)比數(shù)據(jù) ## 影響范圍 這個(gè)改動(dòng)會(huì)影響哪些模塊或場(chǎng)景是否涉及接口變更、是否需要升級(jí)適配寫 PR 描述的時(shí)候要站在 reviewer 的角度去寫。reviewer 可能對(duì)你的改動(dòng)上下文不熟悉你要用最短的時(shí)間讓他理解你在做什么、為什么這么做。不要直接拷貝 commit message 到 PR 描述里commit message 是給代碼歷史看的PR 描述是給人看的兩者內(nèi)容可以有重疊但 PR 描述應(yīng)該更完整、更有邏輯。還有一點(diǎn)PR 描述里提到的測(cè)試結(jié)果一定要真實(shí)可查不要編造數(shù)字。如果某個(gè)性能數(shù)據(jù)是在特定條件下測(cè)出來(lái)的要如實(shí)寫明測(cè)試環(huán)境和方法。reviewer 大概率會(huì)追著你問數(shù)據(jù)的來(lái)源如果數(shù)據(jù)站不住腳你的信譽(yù)會(huì)大打折扣。5. 過 CI 和 Code Review 的硬仗5.1 CI 跑哪些東西提交 PR 之后代碼會(huì)自動(dòng)進(jìn)入 CI 流程。HCCL 的 CI 通常包括編譯檢查、單元測(cè)試、靜態(tài)代碼掃描、以及依賴于硬件環(huán)境的集成測(cè)試。你不一定能看到所有 CI 階段但編譯檢查和靜態(tài)掃描基本每次都會(huì)觸發(fā)。CI 失敗是每個(gè)貢獻(xiàn)者都會(huì)遇到的事情第一次不用慌。最常見的失敗原因有三類編譯錯(cuò)誤、代碼格式不符合規(guī)范、測(cè)試用例掛了。編譯錯(cuò)誤比較直觀順著日志里報(bào)錯(cuò)的文件和行號(hào)定位即可。格式問題則需要用項(xiàng)目指定的工具跑一遍自動(dòng)格式化比如 clang-format 或 astyle 之類格式化完成后再提交。測(cè)試用例失敗的情況需要具體分析。如果在本地能復(fù)現(xiàn)那就按正常的調(diào)試流程走如果本地?zé)o法復(fù)現(xiàn)則可能是環(huán)境差異導(dǎo)致的此時(shí)可以在 PR 評(píng)論中說明情況并請(qǐng)求維護(hù)者協(xié)助查看 CI 日志。有些 CI 失敗是因?yàn)榛A(chǔ)設(shè)施不穩(wěn)定導(dǎo)致的偶發(fā)失敗比如網(wǎng)絡(luò)超時(shí)、資源調(diào)度延遲這種情況下重跑一次就過了但如果是你的代碼引起的重跑多少次都是失敗。想減少 CI 往返次數(shù)最好的辦法是在本地盡量復(fù)現(xiàn) CI 的檢查項(xiàng)。比如提前在本地跑單元測(cè)試、靜態(tài)檢查、格式化校驗(yàn)確保這些過了再推代碼。CI 每失敗一次你的 PR 合入時(shí)間就延后一次而每個(gè)維護(hù)者一天能處理的 PR 數(shù)量是有限的。5.2 面對(duì) review 意見的心態(tài)與技術(shù)準(zhǔn)備Code review 是整個(gè)貢獻(xiàn)流程中壓力最大但也最有價(jià)值的環(huán)節(jié)。你的 PR 提交后維護(hù)者或社區(qū)成員會(huì)逐行查看代碼提出修改意見。這些意見可以是針對(duì)正確性的嚴(yán)重問題也可以是對(duì)變量命名的吹毛求疵甚至是對(duì)代碼風(fēng)格的偏執(zhí)。先說一個(gè)最重要的心態(tài)建設(shè)review 意見不是針對(duì)你一個(gè)人的它是針對(duì)代碼本身的??吹健斑@里加個(gè)空指針檢查”這種意見不要興奮也不要失落把它當(dāng)作一次技術(shù)方案打磨的過程就好。技術(shù)準(zhǔn)備方面你要能區(qū)分不同性質(zhì)的 review 意見。如果是正確性問題比如并發(fā)競(jìng)爭(zhēng)、內(nèi)存錯(cuò)誤、邏輯漏洞這個(gè)沒有商量的余地務(wù)必認(rèn)真修改。如果是風(fēng)格和可讀性意見雖然不強(qiáng)制但建議盡量順從因?yàn)榫S護(hù)者比你更了解項(xiàng)目的歷史慣性和后續(xù)維護(hù)成本。如果是方案層面的討論比如“你為什么會(huì)選擇用自旋鎖而不是互斥鎖”這種意見開放度比較高你可以從實(shí)際場(chǎng)景和性能測(cè)試數(shù)據(jù)出發(fā)據(jù)理力爭(zhēng)前提是你的論證有數(shù)據(jù)支撐。有個(gè)經(jīng)驗(yàn)可以分享當(dāng)你在 review 中修改代碼之后一定要在 PR 評(píng)論區(qū)回復(fù)每條意見的處理結(jié)果。常見的做法是直接用 GitHub/Gitee 的回復(fù)功能加一段“已修復(fù)見 commit xxxxxxx”或者“這個(gè)建議我不太認(rèn)同原因是……”。每個(gè)意見都有交代reviewer 才能放心地在后續(xù) commit 中只關(guān)注新增的改動(dòng)。5.3 反復(fù)修改與歷史清理除非你寫代碼真的行云流水否則一個(gè) PR 經(jīng)過多輪 review 修改是非常普遍的事情。每輪修改之后你需要在 PR 里追加新的 commit。這里有一個(gè)困擾很多新手的問題我改了一輪產(chǎn)生了 3 個(gè)新 commit歷史能清理嗎我的建議是分階段處理。在你的 PR 還沒有被 reviewer 大量關(guān)注之前可以用 git rebase 把多個(gè)小 commit 合并成幾個(gè)邏輯完整的 commit讓歷史保持整潔。但當(dāng) reviewer 已經(jīng)在舊 commit 上留過言之后就不要再隨意 rebase 了因?yàn)槟菚?huì)讓 review 評(píng)論和代碼版本對(duì)不上反而增加溝通成本。這個(gè)階段你可以通過追加 commit 的方式表達(dá)等 PR 合入時(shí)平臺(tái)一般會(huì)默認(rèn)用 squash merge 的方式把整個(gè) PR 壓成一個(gè) commit這樣最終歷史依然干凈。Git 操作上還有一個(gè)注意項(xiàng)rebase 時(shí)不要強(qiáng)推git push --force已經(jīng)公開的 commit如果你用了一定要在 PR 評(píng)論里明確告知否則別人本地的分支會(huì)變得非?;靵y。更穩(wěn)妥的做法是先 fetch 主分支最新代碼然后 rebase 到最新再?gòu)?qiáng)推你的 PR 分支。5.4 合入前最后一道關(guān)卡簽署與自評(píng)很多開源項(xiàng)目在 PR 正式合入前還有一個(gè)輕量級(jí)的合規(guī)檢查常見的是貢獻(xiàn)者許可協(xié)議CLA和開發(fā)者原創(chuàng)證書DCO。HCCL 這類商業(yè)驅(qū)動(dòng)的開源項(xiàng)目通常都在意這種合規(guī)問題因?yàn)樗婕按a的版權(quán)歸屬和法律風(fēng)險(xiǎn)。如果合入前提示你需要簽署 CLA不要覺得麻煩這是一條一次性流程填一遍以后所有項(xiàng)目都能通用。DCO 的簽署則更簡(jiǎn)單一般只需要在你的 commit message 尾部追加一行 Signed-off-by: 你的名字 郵箱表示你確認(rèn)這些代碼是你寫的或者你有權(quán)提交這些代碼。很多新手一看到英文縮寫就以為很復(fù)雜其實(shí)整個(gè)流程五分鐘內(nèi)就能完成。還有一個(gè)容易被忽略的步驟合入前自己最后讀一遍完整的 diff。尤其是改動(dòng)后的文件從 Git 的 diff 視角再審視一次。你會(huì)發(fā)現(xiàn)很多平時(shí)注意不到的小問題,比如誤提交的調(diào)試代碼、多余的空白改動(dòng)、臨時(shí)的日志輸出。自己先把這些問題清理干凈再讓維護(hù)者看到能少挨很多批。6. 合入之后與常見問題速查6.1 合入不是終點(diǎn)PR 合入之后很多人會(huì)覺得這件事結(jié)束了可以接著去做下一個(gè)任務(wù)。但從貢獻(xiàn)者的角度合入只是開始真正驗(yàn)證你改動(dòng)的時(shí)刻是在之后的一個(gè)月。首先你要關(guān)注合入后的 CI 情況。合入主分支并不意味著代碼完全沒問題穩(wěn)健的項(xiàng)目通常會(huì)在主分支上跑更長(zhǎng)時(shí)間、更全面的回歸測(cè)試。如果這些測(cè)試發(fā)現(xiàn)你引入了回歸維護(hù)者會(huì)在你的 PR 討論里回復(fù)你或者新建一個(gè) Issue 指向你的提交。其次你可以繼續(xù)保持對(duì)相關(guān) Issue 的關(guān)注。如果你的改動(dòng)修復(fù)了某個(gè)用戶報(bào)告的 bug可以留意用戶側(cè)有沒有反饋“這個(gè)修復(fù)有效”或“問題仍然存在”的信息。如果問題仍然存在你需要重新打開 Issue 繼續(xù)排查這也是開源社區(qū)協(xié)作的正常節(jié)奏。另外作為一個(gè)已經(jīng)合入過代碼的貢獻(xiàn)者你已經(jīng)有資格去 review 別人的 PR 了。這是一個(gè)很好的學(xué)習(xí)機(jī)會(huì)——你會(huì)發(fā)現(xiàn)坐在 reviewer 的位置上你會(huì)更加理解那些你曾經(jīng)覺得煩瑣的規(guī)范其實(shí)都是項(xiàng)目質(zhì)量和可維護(hù)性的保證。6.2 常見問題速查表下面整理了一些 HCCL 貢獻(xiàn)過程中常見的問題和排查方向是我以及身邊同事實(shí)際踩過的坑供你參考。問題現(xiàn)象可能原因排查思路本地編譯失敗報(bào)缺少頭文件依賴庫(kù)路徑未配置檢查 CANN 或驅(qū)動(dòng)環(huán)境變量確認(rèn) LD_LIBRARY_PATH 是否正確CI 失敗全部失敗在編譯階段拉取代碼時(shí)未同步子模塊檢查倉(cāng)庫(kù)是否用 --recurse-submodules 拉取或手動(dòng)更新子模塊CI 失敗失敗在靜態(tài)掃描代碼格式不符合規(guī)范本地運(yùn)行 clang-format 等格式化工具后重新提交本地單測(cè)通過CI 單測(cè)失敗環(huán)境差異或測(cè)試數(shù)據(jù)不同對(duì)比本地與 CI 的環(huán)境變量、依賴版本必要時(shí)在 PR 中請(qǐng)求維護(hù)者獲取 CI 日志性能優(yōu)化數(shù)據(jù)不佳方案與硬件拓?fù)洳黄ヅ鋰L試在不同卡數(shù)、不同數(shù)據(jù)量下進(jìn)行基準(zhǔn)測(cè)試分析是否引入了不必要的同步無(wú)法在本地復(fù)現(xiàn) Issue 中的崩潰缺少日志開關(guān)或特定環(huán)境變量按 Issue 中提供的信息逐項(xiàng)核對(duì)尤其是數(shù)據(jù)量、拓?fù)浜万?qū)動(dòng)版本PR 長(zhǎng)期無(wú)人 review維護(hù)者繁忙或描述不清晰在 PR 評(píng)論區(qū)禮貌 維護(hù)者或補(bǔ)充測(cè)試數(shù)據(jù)和復(fù)現(xiàn)步驟讓問題更清晰6.3 幾條值得謹(jǐn)記的避坑心得做了一段時(shí)間 HCCL 貢獻(xiàn)之后有幾個(gè)踩過的坑讓我印象很深這里集中說一下。第一不要在 issue 里只問“怎么解決”而不提供任何上下文。一個(gè)好的問題應(yīng)該讓人感覺你已經(jīng)讀過代碼、有自己的猜測(cè)只需要?jiǎng)e人幫你確認(rèn)方向。我在社區(qū)里看到過的最高效的一次提問是一個(gè)貢獻(xiàn)者直接貼出了他定位到的代碼行號(hào)并附上了他對(duì)問題的分析維護(hù)者只回了一句“你的判斷是對(duì)的修吧”這比來(lái)回追問五六輪高效太多。第二不要在一個(gè) PR 里同時(shí)修多個(gè)不相關(guān)的問題。多個(gè)問題混在一起reviewer 很難評(píng)估風(fēng)險(xiǎn)。一個(gè) PR 解決一個(gè)問題是開源協(xié)作的基本契約。如果你發(fā)現(xiàn)代碼里另外有一個(gè) bug請(qǐng)新建一個(gè) Issue 或者再開一個(gè) PR不要塞到當(dāng)前這個(gè)里。第三不要忽視文檔的力量。代碼改動(dòng)如果涉及對(duì)外行為的變化比如環(huán)境變量語(yǔ)義變更、接口參數(shù)調(diào)整、日志輸出變化一定同步更新相關(guān)文檔。你維護(hù)的不只是代碼還有這個(gè)項(xiàng)目的可理解性。很多 PR 因?yàn)槲臋n沒有同步更新而被要求返工這種事情完全可以提前避免。第四不要在 rebase 的過程中引入重復(fù)的改動(dòng)。很多新手在 rebase 主分支時(shí)因?yàn)闆_突解決不當(dāng)把主分支的代碼又復(fù)制了一份到自己分支里導(dǎo)致 diff 里出現(xiàn)大量無(wú)關(guān)改動(dòng)。遇到這種情況建議用 git diff 對(duì)比主分支和自己分支的差異檢查是否只保留了你想要改動(dòng)的文件。最后再說一點(diǎn)參與開源項(xiàng)目不是一個(gè)零和博弈。你可能提交的第一個(gè) PR 會(huì)被拒絕會(huì)被告知設(shè)計(jì)欠妥甚至?xí)蝗苏f“這個(gè)思路根本不對(duì)”。這些都很正常很多資深開發(fā)者當(dāng)年的第一個(gè) PR 也是被反復(fù)打回來(lái)的。關(guān)鍵是你能從反饋里學(xué)到東西而不是被打擊之后就放棄。如果你手頭有昇騰設(shè)備又有興趣深入了解分布式訓(xùn)練底層的通信邏輯可以試著從跑通官方 benchmark 開始然后自己設(shè)置一些異常數(shù)據(jù)或者異常環(huán)境變量看看會(huì)發(fā)生什么。好奇心是最好的入口而 Issue 和 PR 只是把你對(duì)問題的理解轉(zhuǎn)化成最終代碼的載體。只要你能把一件事寫清楚、說清楚、改清楚開源社區(qū)的大門對(duì)你就是敞開的。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久92| 婷婷成人在线| 日韩高清久久| 婷婷五月丁香在线观看| 天天天干夜夜夜操| 人人爱操| 99热超| 欧美影院婷婷| 亚洲人妻五月丁香婷婷| 任你爽免费视频| 色情五月综合婷婷| 九九超碰人人| 五月婷婷色丁香| 丁香五月婷婷俺也要去| 五月婷婷六月丁香综合在线| 欧在线一区| 五月丁香啪啪综合| 狠狠草综合网| 亭亭五月丁香五月天激情| Blackedraw视频一区二区| 色色九九五月天| 人妻系列久久久久久久久久久| 欧洲第一久色| 五月香婷婷| 91在线看片| 久久九九99| 色婷婷影音| 婷婷五月天六点丁香五月| 五月在在观看| 日本色色网| 亚洲岛国电影| 情婷婷五月天在线| 99人人干| 人操人人| 五月天深爱激情网| 99久热| 国产探花一片区| 久久99综合| 丁香婷婷在线| 亚洲国产精品VA在线看黑人| 欧美操人| 久99综合婷婷| 免费看片操逼| 久久亚洲婷婷| 99在线精品免费视频| 色婷婷影| 五月丁香亚洲综合| 91夫妻网站九色| 六月色色| 丁香五月综合激情啪啪| 亚洲婷婷综合视频| 激情 婷婷 丁香五月天| 最近中文字幕大全免费版在线| 免费亚洲成人电影AV| 婷婷五月丁香成人| 五月丁香在线| 综合激情五月丁香9999久久精| 五月婷婷丁香五月婷婷丁香| 潮汕成人AV片在线| 日本123区日韩欧美不卡在线看| 思思热天天看| 天天操无码| 影音先锋91视频| 婷婷综合五月天激情| 91激情五月开心| 最新无毒无码AV| 9l视频自拍9l九色成人| 色色色欧美| 丁香婷婷五月人体| 五月丁香六月综合基地| AV在线免费观看不卡| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 99热这里只有在线播放| 538在线精品| 69综合在线| 丁香五月色情| 久操香蕉| 热久久精品视频网站| 天天插天天插天天插天天插| 日韩一级片| 激情六月婷婷| 亚洲无码www| 婷婷五月综合视频| www.婷婷五月.com| 日本VA视频| 内射干少妇亚洲69XXX| 激情五月天色| 色噜噜狠狠色综无码久久合欧美| 五月综合亚洲色| 一起草Av| 97人人干| 五月天综合在线| 亚洲妇女熟BBW| 婷婷成人综合| 日韩成人精品中文字幕| 91五月天| 久久久久9999| 爱草视频在线观看| 丁香88AV五月婷婷| 九九久热| 激情熟女网| 五月丁花六月丁香综合| 91精品久久久久久久久| 91偷拍视频| 97性视频| AV九九| 欧美色99| 日韩aaa| 超碰成人免费| 色九区| 激情五月伊人婷婷| 99热网精品| 人妻操操色| 久久激丁香| www.热99热| 俺也去五月婷婷丁| 婷婷开心激情五月激情网| 波多野结衣不卡AV| 人人爱摸视频| 色吧综合网| 丁香五月天堂网| 午夜免费试看| 欧美大片免费播放器| 国产探花一片区| 久久AV电影| 一起草日本| 五月天婷婷影院影院观看| 狠狠色综合久久久久| 色色色色色综合| 色很久综合| 日日干天天| 欧美色97| 操操碰| 97久久香草精品视频| 国产精产国品一二三在观看 | 婷婷另类小说| 亚洲婷婷在线播放十月| 五月天福利影院导航| m色激情网| 欧美日韩精品一区二区三区钱| 99性爱| 九色视频91| 九九亚洲| 婷婷色丁香六月| 亚洲午夜一区二区| 亚洲综合激情五月久久| 夜夜夜夜撸夜夜操| 激情婷婷丁香五月天小说| 五月天社区| 婷婷丁香五月天在线| 激情文学 综合 九月| 色色热| 日本久久天堂| 亚洲综合色婷| 婷婷伊人综合中文字幕| 精品无码人妻一区| 91视频人人做97| 亚洲激情四射| 丁香五月婷婷手机| 亚洲第一成人无码A片| 99热的无码| 日本99色| 噼里啪啦完整版中文在线观看 | 9热在线观看| 婷婷五月天久久久| 久久er99| 激情婷婷内射| 丁香婷婷五月综合| 五月色情| 日本不卡中文字幕| 婷婷五月丁香久久| 五月丁香婷婷网网网网| 伊人久热91| 啪啪啪大香蕉| 99re8这里只有精品99re8热视频| 激情综合4月| 五月天开心色色网| 国产亚洲99久久精品| 婷婷五月天影视| 97艹| 天天久综合网永久入口18| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 深爱激情五月婷婷| 色视频2025| 色婷婷无吗| 99热国产免费| www.婷婷,com| 激情五月天www| 啪啪综合| 日韩成人影片在线观看| 99热这里有精品| 婷婷综合视频| 伊人网色婷婷五月天| 欧美激情综合色综合啪啪五月| 中文中文在线| 五月丁香大香蕉| 久久免费视频62| 色色婷婷五月天| 一区操| 婷婷五月天成人| 月婷婷婷婷五月| 激情丁香淫荡婷婷| 久久精彩综合视频| 任我鲁这里有精品视频| 久9草在线观看视频| 五月成人网站| 丁香色综合| 狠狠草综合网| 久久视屏这里只有久久| WWW.久久久久久久| WWW.久久久久久久久久久久久| 色玖玖| 国产激情在线| 天天玩夜夜操| 精品国产va久久久| www好屌操| 欧美精品999| 丁香五月很很肏| 成人做爰高潮A片免费视频 | 99ree6| 久热大香蕉| 人人干人人操人人摸| 热热久久久久久久久| 亚洲av免费在线| 婷婷伊人五月丁香天堂网| 亚洲色就是色色色| 免费看欧美成人A片无码| 婷婷五月天久久| 外国碰视频网站97| 亚洲精品444久久久久久| 欧美成人精品A片免费一区99| 五月丁香婷婷基地| 狼人狠狠操| 狠狠色综合精品视频在线| 天天色,天天操,天天射| 精品国产va久久久久久久| 五月天久久婷婷| 99少妇精品| 99精品丁香五月| 日日夜夜天天综合| 色丁香久久| 99视频精品在线| 丁香五月六月激情| 色五月综合婷婷| 国产99精品免费视频| 91日本在线观看| 色五月大香蕉婷婷| 91性人人| 四色五月视频| 伊人色五月| 婷婷婷久久| 欧美特大片黄| 五月丁香婷婷五月色| 激情久久久| 色色亚洲五月天| 欧美婷婷日本| 婷婷天堂综合| 丁香九月久久| 久热伊人| 五月激情六月丁香| 99久在线| 欧美色五月| 婷婷五月天影院| 激情久久久久久久久| 色五月婷婷亚洲最大| 色丁香影院| 天天天天做夜夜夜夜做| 五月色影院| 天天色域综合网| 丁香五月亚洲婷婷| 久久婷婷五月天亚洲欧美| 99色看| www亚洲无码| 96自拍视频九色在线观看| 国产做爰视频免费播放| 久久婷婷免费| 男人的天堂99| 天堂综合久| 婷婷玖玖丁香| 9191avse| 99热国内| 婷婷色五月情| 欧美婷婷精品激情| 天堂久久婷婷| 久久六月天| 五月天激情四射| 99在线观看| 国产免费一区二区在线A片视频| 97碰啪啪| 色综合五月天| 色色五月婷婷狠狠| 亚洲国产网站| 超碰91在线| www.激情五月天。com| 婷婷丁香69精华| 【乱子伦】黄色| 97色色色视屏| 人人视频色| 婷婷五月天成人网| 丁香五月激情综合| 搡BBBB搡BBB搡18 | 超碰啪啪网| 中文字幕网站在线观看| 热九九精品| 婷婷另类开心| 99re视频精品| AV在线观看网站| 久久久18| 无码免费人妻A片AAA毛片西瓜| 无码激情AAAAA片-区区| 色色影院黄大片| 亚洲综合激情五月久久| 99超超碰| 大伊香蕉玖玖爱| 亚洲AV综合网| 视色网在线播放| 99色最新在线视频网站| 亚洲视频二区| 亚洲亚洲人成综合网络| 99热99| 99玖玖免费视频| 色爱综合网| 影音先锋 91工厂| 99热日韩| 婷婷色综合| av一级棒av| 大香蕉啪啪啪啪啪啪| 婷婷色影院| 五月丁香啪啪激情| 欧美日韩成人高清在线| 99在线精品视频| jiujiuxiangjiaowang| 欧美日韩成人一区二区| www.日日夜夜| 久热婷婷| 在线sebiav精品视频| 伊人狠狠丁香婷婷综合尤物| www.五月婷婷久久.com| 五月婷婷av| 最近免费中文字幕大全高清大全1| 99精品久久久久久久久| 67194国产| 91人妻视频| 久人操| www.夜夜操.com| 婷婷九月丁香中文| 婷婷六月丁香在线| 丁香五月成人社区| 色色五月丁香| 大香AV| 久久精品国产色| 高清无码入口| 国产亚洲精品久久久久久久久动漫| 丁香综合久久| 丁香六月激情综合网| 六月激情综合| 久久九九激情五月天 | www.久久久久| 久久99精品久久久久久青青AR| AV伊人青草丁香六月| 婷婷六月激情在线视频| 开心激情站| 日本九九九九九九| WWW.开心五月天.COM| www久久艹| 欧洲MV日韩MV国产| 天搞天天天天天| 美女丁香五婷婷| 婷婷97| 偷偷操九九| 婷婷五月天受日本法律保护| 99色视频| 大操人妻| 五月丁香六月婷婷综合免| 第四色五月婷婷| 91午夜婷婷狠狠久久综合9色| 中文字幕AV在线| 亚洲成人va| www.天天干| 婷婷九色| 强伦轩人妻一区二区电影| 亚洲爆乳无码精品AAA片蜜桃| av激情在线| 五月天中文网| 无码AV免费精品一区二区三区| 五月婷婷亚洲| 五月婷婷色播| 99草在线免费观看视频| 综合五月亭亭9| www.99热这里只有精品| 青996青| 天天舔天天摸视频| 一本色道久久88加勒比| www久久五月com| 日韩久久色| 日韩精品VIP| 色婷婷五月天激情综合| 99网| 天天日天天插天天操| 久久色五月| 1囯产午夜仑鲁鲁| 六月丁香五月激情网| 91色久| 狠狠操综合| 99只有精品| 婷婷色色宗合网| 欧美婷| 久久九九99| 激情五月深爱五月观看| 99色精品| 久久永久网址| 天天干天天色综合| 六月婷婷五月丁香首页| 久久曰曰| 人妻内射麻豆视频| 欧美大肥婆大肥BBBBB| 激情综合网丁香| 久久伊人五月天| 91视频一起草| 久久9精品| 91丨九色丨丰满人妖| 99热都是精品| 五月久久婷婷天堂视频| 操九色| 色婷六月| 美女激情综合| 996热| 99热精品在这里| 伊人激情啪啪| 色婷婷婷婷| 激情小说五月天| 四色永久成人网站| 亚洲国产色婷婷| 操骚货在线| 国产婷婷色五月| 五月激情影院| 中文字幕丁香五月| 亚洲欧洲美女在线观| 91精品国产综合久久密臀| 国产AV影片| 丁香五月 六月婷婷首页| 国产午夜伦鲁鲁| 欧洲免费视频色| 婷婷五月天天激情| 久久色亭亭五月天| www久久久久久久97| 99精品国产热久久91色欲| 欧美激情综合| 精品人妻伦九区久久AAA片| 丁香五月婷婷色五月| 老师的粉嫩小又紧水又多A片视频| 婷婷的五月天另类视频| 久久这里只有精品视频15| av性爱网站| 51XX嘿嘿午夜无码| 成人片在线播放| 欧美欧盟性爱网| 国产XXXX搡XXXXX搡麻豆| 婷婷五月天亚洲精品| 色色999三级片| 亚洲另类视频| 久久久激情视频| 啪啪一区| 99热在线免费| 久久伦乱| 激情五月天视频| 激情网五夜婷婷| 婷婷五月色播天| 色五月六月| 五月丁香网站| 五月天精品| 五月天成人网婷婷| 婷婷五月无码| 人妻久久久久久久 | WWW色五月天| 日日噜噜夜夜狠狠久久丁香五月| 激情图片五月天| 亚洲sesesese| 五月丁香色停停啪啪啪| 大香蕉伊人99| 停停色综合伊人| 一本到不卡高清DVD| 123草逼网| 激情五月综合视频| 秋霞网在线免费基地五月婷婷丁香| www.99热在线观看| 九九热只有这里是精品| 综合精品啪啪| 99激情| 99小视频网站| 大香蕉综合| 久久全意婷婷| www.久久久久| 色婷五月天综合网| 亚洲VA欧美VA| 五月婷婷精品| 久久视频在线视频| 激情綜合網址| 色色婷婷综合网| 日本一级一片免费视频| 啪啪日本欧美| 深爱五月婷婷| 亚洲色五月婷婷| 婷婷基地成人五月天| 伊人超碰在线| 综合久久婷婷| a久久| 精品婷婷五月视| 91视频久久久| 久久九九激情五月天 | 精品人妻久久久久久久| 97久久超碰| 色色欧美色色| 日日操日日撸| 深爱激情五月网| 五月色婷婷综合色| av在线免费网站| 99热热热99精品婷婷| 香蕉国产2013| 伊人久久五月天综合| 狠狠色婷婷7777久| 精品动漫 无码av| 午夜天堂一区人妻| 99久久99九九九99九他书对| 99精吕视频在线观看了| 黄涩毛片| 热的国产99热| 99精品视频偷拍| 人妻五月天激情开心网| 色老久久| 1024在线视频| 国产精品扒开腿做爽爽爽A片唱戏| 五月天婷婷操逼视频| 亚洲小视频| 狠狠草狠狠草| 婷婷五月六月丁香| 97人碰人操| 超碰9在| 激情综合亚洲| 深爱激情六月| 99精品国产热久久91色欲| 9l视频自拍9l九色成人| www.ywav| 久久99久久99久久99人受| 色婷婷五月天成人网| 国产性爱亚洲是图| 人人爱人人草| 久色大香蕉| 亚洲综合色色| 婷婷综合激情五月综合| 98色花堂98t.R| 色五月综合| 婷婷色情五月| 亚洲中文无码成人| 天天天干夜夜夜操| 婷婷五月花| 九色porny在线观看激情四射| 国产成人av在线播放| 91啪啪啪啪| www.久久爱| 79色色色色| 天天狠天天叉| 超级碰碰碰久久网站| 欧美日韩999| 综合久久五月| 性爱视频99| 丁香五月色激情| 美日韩成人| 亚洲A色| 另类激情综合| www.com色播五月天| WWW.夜夜操.com| 天天爽,夜夜爽| 色情婷婷| 亚洲 视频 导航 一区| a v色婷婷| 婷婷内射视频在线| 十二区无码| 婷婷五月天受日本法律保护| 五月天激情久久| 日本久久网| 色婷婷综合综合网| 国产精品婷婷午夜在线观看| 丁香五月播播| 色99超碰| 婷婷五月天另类视频| 五月丁香成年黄色| 万月丁香狠狠爱| 五月婷婷综合激情网| 亚洲 在线 性爱 | 日韩综合大黄| 成人丁香| 99ri精品在线| www五月天激情com| 色色激情| 丁香色色网| 丁香六月五月天| 双性美人被调教到喷水A片| 丁香婷婷色色| 噜噜视频| www.99精品日操伊人乱碰在线| 成人色五月天婷婷| 色综合久久中文| 亚洲AV日韩AV永久无码网站| 丁香五月综合福利视频导航| 色五月六月| 天天色综| 99国产视频网| 婷婷.com| 狠狠va| 99热.com| 婷婷九月丁香| 五月婷婷久久大香蕉| 爱iii做iiii日日| 亚洲狠狠婷婷综合久久久| 少妇激情五月天| 另类视屏| 久色资源| 99久热在线精品99re6热| 丁香五月网| 日本久久精品| 99热自拍| 亚洲在线操| 婷婷丁香五月天熟女丝袜| 99久久精品视频女神1| 三人荫蒂添的好舒服A片| 久久丁香五月综合六月激情红杏视频 | 丁香五月深爱五月婷婷| 丁香五月久久| 五月天婷婷色在线视频免费观看 | 色五月琪琪| 色欧美影院| 人人摸人人搞| 毛片蕉地一二| 久久一热| 97操女视频| Www.婷婷五月| www.久久综合| 激情 婷婷| 人人草人| 亚洲成人av在线观看| 伊人9999| 日韩av在线播放综合网| 色婷婷五月综合网| 丁香色婷婷色手机免费在线| 人人舔天天| 日曰躁夜夜躁2026| 九九热在这里只有精品| 不卡在线视频| 26uuuuuuuu国产| 教师性爱毛片| 婷婷五月视频| 偷偷操九九| 嫩草乱码一区三区四区| 99啪啪骑| 日韩aaaaa| 国产精品人妻在线网址| 新激情五月天天在线网| 大香蕉九九热| 亚洲AV网址| 任我肏| 久久婷婷色| 久99| 九月丁香| www。五月天。com| 婷婷丁香91综合| 婷婷激情六月天视频| 99热欲| 狠狠草在线观看| 婷婷九色| 日本超碰在线| 激情五月天婷婷久久久久久久久久久| www.色婷婷| 全国最新疫情| 爱iii做iiii日日| 丁香五月在线观看| 色v综合网| 五月天婷婷色色| 第二色AⅤ| 日本视频久久| 丁香五月婷婷六月| 成人Av在线大片| 四色永久成人网站| 天天天天天天天干| 日本操B视频| 99热这里只有精品官网| 97碰碰在线观看视频| 欧美久久婷婷| 99热国产在| 99视频在线9| AV性爱网| www.久久| 9精品久久999| 婷婷五月情| 成人婷99最新| 操碰97| 久久A区B区| 久久精品系列| 九九热九九| 玖玖色资源站| 婷婷综合在线网| 六月丁丁香| 久久欧洲久久| 国产av一区二区三区| 99re思思久久| 婷婷丁香激情综合色情| 日本色婷婷| 五月婷婷久草在线视频综合| AV动漫不卡无码免费| 人人操av| 我要看激情五月天| 激情综合在线观看| AA片在线观看视频在线播放| 色停停五月天| 欧洲毛片基地c区| 99精品在线观看| 99热成人在线观看| 色婷婷亚洲| 风流少妇A片一区二区蜜桃| 婷婷成年人免费视频| 日本99视频| 久久R激情| 曰曰久久| 新激情五月开心五月婷婷五月丁香五月| 欧美123区免| 婷婷综合激情| 久久五月天激情| 欧美日朝成人| 91在线观看九区| PORNY九色9l自拍视频成人| 五月丁香激情婷婷综合字幕| 久久玖玖综合| 亚洲视频一区| 狠狠爱婷婷爱| 蜜乳国产网站| 婷婷久久丁香五月| 久久婷青青草原| 在线中文字幕视频| 色人妻五月| AV九九| 91主播在线| 青青草五月天| 五月激情六月丁香| 日 日干 日日做| 色婷婷激情四射视频| 中字幕视频在线永久在线观看免费 | 99热这里只有精品在线播放| 日韩中文欧美| 久久婷婷综合色丁香| 激情五月丁香五月| 狠狠狠狠狠狠狠狠| www.sd-xiangsu.cpm| 天天干天天操天天射| 精品一二三区久久AAA片| 亚洲综合视频网| 六月婷婷亚洲| 狠狠色婷婷在线| 91丨九色丨老农村| 99精彩视频网站在线| 色综合色色| 99精品视频免费| 欧美va视频不用播放器的va视频网| 在线不卡的视频| 99成人| 亚洲在线资源| 亚洲成人人人操| 99热九九这里只有精品10| 激情图片婷婷| 丁香五月激情综合久久| 五月婷婷深深爱| 九九九九综合| 久久久久丁香婷婷五月天| 亚洲综合丁香五月| 五月综合色| 激情丁香久久久久久| 狠狠插.com| 亚洲激情五月| 美女精品一级不卡视频| 天天开心AV色综合婷婷五月天| 26uuu视频欧美| 五月丁香自拍| 大香伊人婷婷影院| 五月综合人妻| wwwss在线观看| 五月激情偷拍| 五月丁香大相交| 天天色综网| 色情久久久| 色色色视频免费无码 | AV九九| 欧洲亚洲午夜| 伊人影院久久网| 97luluse| 精品国产AV色一区二区深夜久久 | 超碰久热| caop在线| 久久精品系列| 四色五月视频| 91日综合欧美| 一级内射毛片| 成人AV在线中文版| 风流少妇A片一区二区蜜桃| 日日干天天| 婷婷丁香成人| 九月激情网| 综合一区二区三区| 五月天婷婷综合免费| 亚洲天码视频www蛋播视频| 色婷婷伦理| 婷婷五月天色丁香| 色婷婷丁香网| 久久婷五月天| 五月激情综合网| 色婷婷9| 久久久婷婷五月亚洲97号色| 狠狠色狠狠爱| 一操久久| 免费人人操| 六月丁香婷婷大香蕉| 操婷婷基地| 久久9热综合| 国产特黄色精品一区二区三区精品无广告 | 在线婷婷| 色婷操逼| 丁香五月性| 久久色婷婷| 伊人久久大香网| 亚洲综合视频在线| 九九99免费视频| 乱码操操| 五月激情婷婷在线| 人人爽天天爽| 亚洲无码99| 色色色网站| av九九| 99热在线播放| 国产亚洲精品AAAAAAA片| 天天操天天插| 九九无码AV| 婷婷五月丁香综合亚洲| 亚洲AV成人一区二区在线观看| 亚洲中文字幕翔田千里| 日本97人人| 五月婷婷9| 狠狠色大香蕉| 99久久99视频| 粉嫩av蜜桃av蜜臀av| 99色色热热| 亚洲婷婷五月天综合| 九九这里只这里只有精品| 丁香花五月天| 天天干天天爽天天操| 天天插天天插天天插| 99爱在线免费视频| 丁香五月欧美色综合| 殴美日比视频| 超碰免费人人| 国产精品久久久久久久久久久久| 国产又黄又爽又色的免费| 国产片XXXXA片国语对白| 久久五月天激情| 在线sebiav精品视频| 亚洲四色五月| 九九精品综合| 六月婷婷之青青草| 丁香综合伊人AV| 丁香五月激情综合啪啪| 人人视频人人干人人做| 国产综合婷婷| 激情综合色| 99在线精品免费视频| 99超碰欧美| 玖玖综合玖玖| 超碰在线成人| txt五月激情四射网综合俺也来了| 五月天伊人久久久久| 成人在线不卡| 免费精品66| 五月激情偷拍| 色婷婷69| 亚洲丁香花色| 五月婷婷性爱网| 午夜丁香综合婷婷| 五月激情丁香五月| 五月婷婷之激情五月| 99爱在线精品视频免费观看| 亚洲精品99| WWW.国产| 爱狠射| 91色色色| 五月婷综合性中心| 亚洲欧美国产高清vA在线播放| 99啪| 国产精品久久久久久妇女6080| AV操一操| 久婷| 五月丁香婷婷成人伊人网| 婷婷久久色| 亚洲色99| 婷婷五月性感| 五月丁香啪啪综合网| 丁香五月天天| jizzdr| 伊人婷婷五月天| 免费看成人AA片无码视频吃奶| 久久免费试看120秒| 亚洲九九夜夜| 婷婷亚洲五月色综合| 婷婷五月丁香综合激情| 高清无码网址| 丁香五月婷婷色偷偷| 99色色爰| 99热在线观看亚洲区| 人妻av在线| 色激情综合| 九九热最新| www.99热这里精品| 思思99精品视频| 五月天激情久久| 婷婷丁香成人| 五月丁香花激情啪啪网| 日韩色色小视频| 五月花综合视频| 五月天激情婷婷| 狠狠色丁香久久综合婷婷亚洲成人福利| 久久99精品视频| 天天天天天天噜| 九九日本视频| 婷婷丁香五月天亚洲| 97色色婷婷| 免费碰碰视频久| 丁香五月天导航| 久久人妻视步| 人人摸人人干| 婷婷终合色图| 中文无码精品一区二区三区| 欧美综合123区| 激情久久伊人| 九九色影视| 日日夜夜婷婷| 97色碰| 久久色五月| 色婷婷五月天在线| 青草激情综合| 91xxxx九色| 天天在线久久综合 | 超碰在线观看9| 婷婷五月丁香亚洲| 超碰99在线观看| 色婷婷久久综合中文久久一本| 大香网伊人久久综合| 99九九视频精彩在线| 天天橾日日橾夜夜橾17| 久草天堂| 丁香五月婷婷99| 思思热99在线| 婷婷六月色| 婷婷九月狠狠色| 五月丁香激情在线| 人妻久久久久久| 中文精品在| 五月天最新网| 一级片操逼视频| 九九色欲网| 久久九九免费视频| 免费在线观看AV网站| 欧美狠狠草| 色综合天堂| 色婷婷五月丁香色| 激情伊人六| 91天天操天天干天天射| 婷婷五月色情| 色区域网站视频| 精品亚洲国产成人A片在线鸭王| 99热青青草| 中文AV网| 人人操婷婷| 日韩av干| 激情五月婷婷| 激情综合五月丁香| 天堂中文国产| 色色色色色色五月婷婷| 亚洲噜色| 午夜天堂一区人妻| 色很很96| 99操视频| 五月天激情四射网站| 这里只有精品免费| 五月刺激丁香月综合| 婷婷亚洲丁香五月| 色九区| 综合激情五月天| 成人国产综合| 亚洲免费av在线| 久久538| 九九久99免费视频| 五月天欧美激情| 97精品人人A片免费看| 色五月婷婷天天干| 丁香婷婷六月| 国产一级片| 色色婷婷五月| 久久婷婷网| 饮料下药迷倒漂亮女同事强干| 日韩人人操| 亚洲va在线| 狼人伊人天堂| 激情美女五月天激情在线| 超碰在线caop| 久久五月网| 嫩草AV久久伊人妇女超级A| 亚洲丁香婷婷五月天综合色| 五月天色丁香| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 色婷婷影音| 亚洲乱码日产精品BD| 久久99最新| 嫩草AV久久伊人妇女超级A | 色色色色五月天| 成人欧美日韩| 日韩成人AV在线| 色碰碰| YJLZZJLZZ亚洲乱熟无码| 婷婷少妇激情| 操逼三区| 久久丝袜婷婷| 婷婷久久婷婷| 中文av网站| 夜夜躁婷婷AV| 久久五月天色婷婷| 五月天婷婷网站888| 五月丁香激情四射| 丁香五月激情婷婷| 激情伊人五月天| 日本熟女视频一区二区| 激情五月婷婷| WwW天天干| 狠狠色色色| 丁香五月婷婷色| 久热99久热| 欧美va在线观看| w婷婷五月婷婷w| 色久九| 狠狠色丁香五月婷巨| 婷婷五月av| 婷婷五月天激情四射五月天激情| 午夜不卡久久精品无码免费| 影音先锋激情网| 九月丁香很很色| 激情丁香六月| 日韩另类在线观看| 97热视频| wWw色五月| 成人无码精品1区2区3区免费看| 色婷婷五月综合网| 五月丁香综合久久夜夜| 五月丁香婷婷综合视频| 久久久999精品| 色五月婷婷在线| 六月丁香综合999| 五月天丁香色色| 五月天激情小说欧美激情| 五月婷婷色啪| 五月天婷婷激情在线色图| 精品无码av丁香五月激情| 天天躁日日躁狠狠躁日日躁2022年5月9日 | 这里只有精品久久| 亚洲婷婷激情888精品久| 丁香婷婷久久综合在线| 色欲午夜无码久久久久久张津瑜| 91Chinese在线| 26uuu国产| 久久亚洲婷婷| 在线超碰91| 久久婷婷色色| 这里只有在线精品| 婷五月天影院| 无码橾| 婷婷五月天丁香| 这里只有精品视频在线| 婷婷丁香激情五月天色色| 夜夜爱影院| 婷综合| 久久奄也去色色网站| 婷婷五月激情综合网| 日韩精品999| 久久99这里| 丁香花五月天社区| 色五月琪琪| 伊人综合网4| 伊人丁香五月婷婷潮吹| 91Chinese在线| 久久奄也去色色网站| 9 9热这里有精品| 成片免费播放| 五月婷在线色视频| 一操久久| 丁香五月性| 激情五月天激情综合网| 97精品欧美91久久久久久久| 搡BBBB搡BBB搡18| 五月婷婷香| 欧美色图45678| 丁香六月婷婷操逼网| 91狠狠色丁香| 我爱宗和色| 91日精品| 婷婷六月色| 成人丁香婷婷| 人妻射精AV| 五月刺激丁香月综合| 成片免费观看视频大全| 涩涩五| 五月婷婷色播| 疯狂做受XXXX高潮A片动画| 欧美这里只有精品| 激情五月天在线观看色婷婷| 色爱爱综合网| 日韩视频99| 毛片色五月| 日日爱678| 99热日本精品| www.五月天| 欧美色色色色色| 激情综合播播| 99婷婷五月天激情| 天天色播| 色5月丁香婷婷| 婷婷区日本| 另类激情四射| 色色色色色色色色色影院| 亚洲av成人在线| 99爱最新免费视频在线观看| 亚洲成人高清在线| 五月天sesese| 久久婷婷五月| 五月丁香婷婷成人网| 婷婷丁香色五月天久久88| 色婷婷五月成人网| 丰满人妻妇伦又伦精品国产| 久久92| 狠狠操狠狠做| 在线观看的av| 色婷婷影视99| 丁香五月欧美| 久久久噜噜噜久久人妻| 亚洲尤物在线| 婷婷五月电影院| 精品一区二区三区三区| 婷婷五月花| 久久久WWW| 婷婷 月 丁香| 七七九九色色| 精品99在线观看| 九九日伊人| 天天干夜夜想| 成人va在线播放| 亚洲久久婷婷| 伊人春天av| 亚洲婷婷久久综合| 成人超碰网| 99色亚洲| 久久国产色| 五月天激情国产综合AV| 丁香婷最新动态| 久人操| 97在线日韩| 国产小精品| 五月丁香六月色| 九九精品亚洲| 深爱激清网| 综合色天天| 亚洲性受XXXX五月丁香| 99热天堂| 91久久人人操| 97色婷婷| 思思热视频在线| 五月天色综合| 婷婷五月综合视频免费播放| 伊人天天色| WWW,色五月| 热久久91| 综合色五月亭亭| 丁香五月激情网| 亚洲色五月天| www.91在线观看| 丁香五月婷久久| 久久性爱网站| 婷婷五月天成人动漫 | 第四色五月婷婷| 色色色五月| 影音先锋男人av资源站| 色婷婷成人做爰A片免费看网站 | 婷婷久久久| Av九九| 五月丁香久久色| 综合久久8| 影音先锋 萱萱| 亚洲乱码日产精品BD| 色九区| 久久激情五月婷婷| 色五月综合在线| 六月色婷婷| 五月丁香成人视频| 亚洲人妻五月丁香婷婷| 激情五月丁香在线观看直播| 激情综合五月色在线| 亚洲精品色色| 久色网| 超碰激情网| 另类图片色五月| 色播五月天婷婷老师| 天天艹| 色色色色色日韩午夜激情| www.99.色| 久婷狼色诱惑在线| 亚洲黄色网址| 操操操97| 国产精品人成A片一区二区| 大香蕉520| 九九性视频| 婷婷五月天av| 思思热视频在线| 99精色| 五月激情在线| 九九人人操| 狠狠干综合| 九九热精品| 五月丁香色综合| 伊人综合网站| 国产成人网站在线观看| 九九综合精品| 婷婷丁香18| 99这里有精品视频| 色五月综合激情| 欧美成人无码一区二区三区| aaa丁香五月天| 久婷婷五月激情| 99亚洲综合| 激情综合激情五月| 这里只有精品99www| 久久成人天| 婷婷天天舔| 久久久五月激| 激情五月天色爱| 这里只有精品视频一区| 色婷婷六月丁香综合欲精品| 九九热99热| 久re热视频| 熟女激情网| 亚洲色婷婷| 精品一二三区久久AAA片| 欧美日韩中文国产一区发布| 五月丁香啪啪| 无码少妇高潮喷水A片免费| A短视频免费在线观看| 色操综合| 久久久久五月丁香| 丁香六月婷婷色播| 亚洲av综合网| 五月丁香日本一抹本| 婷婷五月情色| 一区二区三区四区无码| 婷婷五月18永久免费视频| 殴美综合激情五月天免费视频| 色五月婷婷在线|