欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

分布式計(jì)算如何將芯片電源簽核周期從幾周縮短到幾天

分布式計(jì)算如何將芯片電源簽核周期從幾周縮短到幾天 在芯片后端設(shè)計(jì)流程中電源簽核Power Signoff是流片Tapeout前最耗時(shí)的環(huán)節(jié)之一。一顆復(fù)雜 SoC 的全芯片電源網(wǎng)絡(luò)分析往往要跑好幾周才能出結(jié)果一旦 IR Drop 或 EM 違反要求修改后又要重新來(lái)一輪整個(gè)項(xiàng)目排期被拖得很緊。本文想結(jié)合這類(lèi)真實(shí)痛點(diǎn)拆解一套自研高性能分布式解決方案的技術(shù)思路為什么電源簽核這么慢分布式架構(gòu)如何把幾周的周期壓縮到幾天以及落地時(shí)需要注意哪些工程問(wèn)題。內(nèi)容適合芯片后端工程師、EDA 工具開(kāi)發(fā)人員以及對(duì)高性能計(jì)算和分布式系統(tǒng)感興趣的開(kāi)發(fā)者。1. 電源簽核為什么需要分布式計(jì)算1.1 什么是芯片電源簽核芯片內(nèi)部有成千上萬(wàn)個(gè)標(biāo)準(zhǔn)單元和宏單元它們需要依靠電源網(wǎng)絡(luò)把外部電壓送到每一個(gè)供電引腳。當(dāng)芯片工作在特定頻率和負(fù)載條件下電流在電源網(wǎng)絡(luò)中流動(dòng)會(huì)產(chǎn)生電壓降IR Drop長(zhǎng)期大電流還會(huì)引發(fā)金屬連線(xiàn)的電遷移EM問(wèn)題。電源簽核要做的事情就是在流片之前驗(yàn)證所有單元在最高功耗場(chǎng)景下收到的電壓是否仍然滿(mǎn)足時(shí)序要求電源網(wǎng)絡(luò)走線(xiàn)是否能在產(chǎn)品生命周期內(nèi)穩(wěn)定工作。從專(zhuān)業(yè)角度拆開(kāi)看電源簽核通常包括三大部分IR Drop 分析、EM 分析、功耗與熱分析。IR Drop 關(guān)注靜態(tài)和動(dòng)態(tài)電壓降EM 關(guān)注金屬連線(xiàn)上的電流密度是否超過(guò)安全上限功耗分析則用來(lái)評(píng)估峰值功耗、平均功耗幫助選擇封裝和散熱方案。一次完整的全芯片電源簽核往往需要對(duì)多個(gè)電壓域、多個(gè)功能模式、多個(gè)工藝角corner做組合遍歷計(jì)算量非常驚人。1.2 傳統(tǒng)電源簽核慢在哪里傳統(tǒng)簽核流程的第一個(gè)瓶頸是數(shù)據(jù)規(guī)模。進(jìn)入 7nm、5nm 甚至更先進(jìn)工藝之后全芯片電源網(wǎng)格的節(jié)點(diǎn)數(shù)量往往以?xún)|為單位。對(duì)這些節(jié)點(diǎn)建立矩陣方程并求解單臺(tái)服務(wù)器的內(nèi)存很容易觸頂內(nèi)存一旦不夠計(jì)算只能回退到磁盤(pán)交換速度會(huì)驟降幾個(gè)數(shù)量級(jí)。第二個(gè)瓶頸是迭代流程。傳統(tǒng)的簽核流程通常是串行的先整理數(shù)據(jù)再做功耗分析然后跑 IR/EM 仿真最后看報(bào)告。如果某一項(xiàng)不滿(mǎn)足就要修改電源網(wǎng)格或單元布局再重新跑一遍。一次完整簽核需要兩到三周一個(gè)項(xiàng)目往往要經(jīng)歷多輪迭代流片窗口很容易被錯(cuò)過(guò)。第三個(gè)瓶頸來(lái)自工具本身的擴(kuò)展性。很多商業(yè) EDA 工具的分布式能力依賴(lài)額外的 license 和內(nèi)置調(diào)度機(jī)制擴(kuò)展性有限。團(tuán)隊(duì)如果同時(shí)起多個(gè)任務(wù)license 數(shù)量不夠時(shí)就會(huì)排隊(duì)排隊(duì)時(shí)間甚至比計(jì)算時(shí)間還長(zhǎng)。這也是不少團(tuán)隊(duì)開(kāi)始考慮自研分布式方案的根本原因。1.3 分布式方案如何壓縮簽核周期分布式方案的基本出發(fā)點(diǎn)可以概括為“分而治之”。把全芯片的電源網(wǎng)絡(luò)分析按照物理區(qū)域、電壓域或驗(yàn)證場(chǎng)景拆分成多個(gè)子任務(wù)由多臺(tái)計(jì)算節(jié)點(diǎn)并行處理再把各子任務(wù)的結(jié)果合并為全芯片報(bào)告。假設(shè)單機(jī)需要兩周的計(jì)算時(shí)間拆成 4 個(gè)子任務(wù)后理想情況下可以壓縮到幾天。根據(jù)行業(yè)實(shí)踐芯曉科技通過(guò)自研高性能分布式解決方案把芯片電源簽核周期從幾周縮短到幾天。這背后并不是簡(jiǎn)單地把工具“多開(kāi)幾個(gè)窗口”而是要解決三個(gè)核心工程問(wèn)題任務(wù)怎么拆、任務(wù)怎么調(diào)度、結(jié)果怎么合并。本文后面的章節(jié)會(huì)圍繞這三個(gè)問(wèn)題展開(kāi)并給出一個(gè)可運(yùn)行的調(diào)度原型方便你理解整套流程的落地細(xì)節(jié)。2. 分布式電源簽核的整體架構(gòu)與選型2.1 硬件與軟件環(huán)境分布式電源簽核的計(jì)算環(huán)境一般是一個(gè)小規(guī)模的 Linux 集群。計(jì)算節(jié)點(diǎn)之間通過(guò)萬(wàn)兆以太網(wǎng)或 InfiniBand 互聯(lián)共享存儲(chǔ)用于讀寫(xiě)版圖數(shù)據(jù)、工藝庫(kù)、中間結(jié)果和最終報(bào)告。共享文件系統(tǒng)可以選擇 NFS、Lustre、BeeGFS 等方案具體選型取決于團(tuán)隊(duì)已有基礎(chǔ)設(shè)施。這里特別要提醒的是存儲(chǔ)子系統(tǒng)往往是容易被忽略的瓶頸因?yàn)殡娫春灪松婕按罅堪鎴D文件和波形文件I/O 壓力并不比 CPU 壓力小。軟件層面通常需要一套任務(wù)調(diào)度系統(tǒng)調(diào)度系統(tǒng)之下每個(gè)計(jì)算節(jié)點(diǎn)調(diào)用真實(shí)的 EDA 簽核工具執(zhí)行 IR/EM 分析。操作系統(tǒng)以 Linux 為主版本需要根據(jù) EDA 工具的認(rèn)證版本選擇。不同工具對(duì)操作系統(tǒng)的認(rèn)證環(huán)境有差異因此環(huán)境版本要按項(xiàng)目實(shí)際情況調(diào)整不要盲目追求最新系統(tǒng)版本穩(wěn)定性?xún)?yōu)先。2.2 架構(gòu)組件與數(shù)據(jù)流整體架構(gòu)可以分成三層控制層、計(jì)算層、存儲(chǔ)層。控制層負(fù)責(zé)任務(wù)拆分、調(diào)度、監(jiān)控和結(jié)果匯總計(jì)算層由多臺(tái) Worker 節(jié)點(diǎn)組成每個(gè) Worker 消費(fèi)一個(gè)子任務(wù)存儲(chǔ)層保存全芯片數(shù)據(jù)、分區(qū)數(shù)據(jù)、日志和最終報(bào)告。一次完整的數(shù)據(jù)流大致是下面這樣數(shù)據(jù)準(zhǔn)備輸入全芯片版圖數(shù)據(jù)、電源網(wǎng)格數(shù)據(jù)、工藝庫(kù)和約束文件。任務(wù)下發(fā)控制節(jié)點(diǎn)按照拆分策略生成多個(gè)分區(qū)任務(wù)并提交到調(diào)度隊(duì)列。并行計(jì)算各計(jì)算節(jié)點(diǎn)從共享存儲(chǔ)讀取各自的分區(qū)數(shù)據(jù)調(diào)用簽核工具執(zhí)行分析輸出分區(qū)結(jié)果。合并驗(yàn)證控制節(jié)點(diǎn)收集所有分區(qū)結(jié)果執(zhí)行合并與一致性校驗(yàn)生成全芯片簽核報(bào)告。這套流程中控制節(jié)點(diǎn)是“大腦”Worker 是“四肢”共享存儲(chǔ)是“記憶”。任何一個(gè)環(huán)節(jié)設(shè)計(jì)不合理都可能讓分布式方案的優(yōu)勢(shì)大打折扣。2.3 技術(shù)選型自研調(diào)度器還是開(kāi)源框架很多團(tuán)隊(duì)會(huì)問(wèn)直接用開(kāi)源分布式調(diào)度框架不行嗎當(dāng)然可以。但電源簽核場(chǎng)景有一些特殊性單個(gè)任務(wù)可能運(yùn)行幾小時(shí)甚至一天任務(wù)之間存在依賴(lài)關(guān)系比如必須先做功耗分析再做 IR/EM 分析而且調(diào)度系統(tǒng)需要和 EDA 工具鏈深度集成。通用流式框架雖然生態(tài)成熟但面對(duì)長(zhǎng)時(shí)間任務(wù)、斷點(diǎn)續(xù)跑、結(jié)果血緣記錄這些需求時(shí)往往需要做大量定制。因此不少團(tuán)隊(duì)選擇自研輕量調(diào)度器只保留自己需要的調(diào)度語(yǔ)義配合消息隊(duì)列實(shí)現(xiàn)任務(wù)分發(fā)和狀態(tài)同步。自研的初期成本確實(shí)更高但調(diào)度語(yǔ)義可以完全自定義后續(xù)擴(kuò)展也更靈活。如果團(tuán)隊(duì)已經(jīng)有消息中間件和監(jiān)控基礎(chǔ)設(shè)施建議在第一版就搭好任務(wù)狀態(tài)表和監(jiān)控大盤(pán)這對(duì)后續(xù)排查問(wèn)題非常有幫助。3. 核心原理拆解任務(wù)拆分、調(diào)度與結(jié)果合并3.1 任務(wù)拆分從物理區(qū)域到計(jì)算單元任務(wù)拆分是分布式電源簽核的關(guān)鍵常用策略有三種按物理區(qū)域劃分、按電源域劃分、按場(chǎng)景劃分。按物理區(qū)域劃分最直觀把芯片版圖按坐標(biāo)切成多個(gè)矩形分區(qū)每個(gè)分區(qū)交給一臺(tái)機(jī)器分析。但這種切法會(huì)切斷電源網(wǎng)格導(dǎo)致邊界區(qū)域的電流路徑不完整。解決辦法是在邊界處做重疊overlap讓相鄰分區(qū)有一部分計(jì)算區(qū)域是重復(fù)的合并時(shí)再統(tǒng)一裁決。按電源域劃分適合多電壓域芯片。不同電壓域之間本身有隔離結(jié)構(gòu)相互作用相對(duì)較小天然適合并行。按場(chǎng)景劃分則適合多 corner、多 mode 組合一個(gè)場(chǎng)景一個(gè)任務(wù)并行度最高但對(duì)存儲(chǔ)和 license 的消耗也更大。實(shí)際項(xiàng)目中通常混合使用先按場(chǎng)景分再按區(qū)域分最終形成一張任務(wù)樹(shù)。拆分粒度對(duì)性能影響很大。分區(qū)數(shù)量越多單個(gè)任務(wù)計(jì)算時(shí)間越短但邊界合并和校驗(yàn)的成本越高還可能帶來(lái)精度損失。分區(qū)粒度需要根據(jù)芯片面積、機(jī)器內(nèi)存和可用節(jié)點(diǎn)數(shù)做幾輪實(shí)驗(yàn)才能確定。3.2 任務(wù)調(diào)度狀態(tài)機(jī)與容錯(cuò)任務(wù)調(diào)度核心是一個(gè)狀態(tài)機(jī)。一個(gè)任務(wù)至少經(jīng)歷 pending、running、completed、failed 四種狀態(tài)。調(diào)度器負(fù)責(zé)任務(wù)分發(fā)、狀態(tài)更新、失敗重試。考慮容錯(cuò)時(shí)Worker 節(jié)點(diǎn)可能在任務(wù)執(zhí)行期間宕機(jī)調(diào)度器需要有心跳機(jī)制檢測(cè)節(jié)點(diǎn)健康超時(shí)未上報(bào)的任務(wù)要重新調(diào)度。調(diào)度策略上首先要做拓?fù)渑判驖M(mǎn)足依賴(lài)關(guān)系的任務(wù)才能進(jìn)入待調(diào)度隊(duì)列。資源分配方面調(diào)度器要記錄每個(gè) Worker 的 CPU、內(nèi)存、license 占用情況可以采用最簡(jiǎn)單的“最少負(fù)載優(yōu)先”或“先來(lái)先服務(wù)”策略。對(duì)電源簽核場(chǎng)景來(lái)說(shuō)優(yōu)先級(jí)應(yīng)該支持人工調(diào)整比如某個(gè)分區(qū)發(fā)現(xiàn)問(wèn)題后相關(guān)的后續(xù)任務(wù)可以?xún)?yōu)先執(zhí)行。為了避免單點(diǎn)故障調(diào)度器本身建議做高可用。至少要做到調(diào)度記錄和任務(wù)狀態(tài)寫(xiě)入持久化存儲(chǔ)調(diào)度進(jìn)程重啟后可以恢復(fù)而不是把狀態(tài)全部放在內(nèi)存里。3.3 結(jié)果合并與一致性校驗(yàn)合并階段要處理分區(qū)結(jié)果的重疊區(qū)域。以 IR Drop 為例兩個(gè)相鄰分區(qū)會(huì)各自給出邊界節(jié)點(diǎn)的電壓值合并時(shí)需要統(tǒng)一到同一個(gè)節(jié)點(diǎn)坐標(biāo)上并以更保守的值或仿真精度更高的值作為最終結(jié)果。對(duì)于 EM 違反只需要把各個(gè)分區(qū)的違反點(diǎn)匯總?cè)ブ?。一致性校?yàn)同樣重要。系統(tǒng)要對(duì)比重疊區(qū)域的結(jié)果設(shè)置容差閾值比如電壓差超過(guò) 1mV 就報(bào)告警告。如果相鄰分區(qū)邊界數(shù)據(jù)差值過(guò)大說(shuō)明拆分或仿真設(shè)置存在不一致需要重新檢查邊界條件和工藝庫(kù)參數(shù)。這個(gè)步驟在自動(dòng)化流水線(xiàn)中必須顯式標(biāo)記為校驗(yàn)失敗不能直接放行。另外每個(gè)子任務(wù)對(duì)應(yīng)的輸入數(shù)據(jù)和版本信息都要記錄保存確保結(jié)果可追溯。簽核報(bào)告最終要能追溯到使用的是哪一版版圖、哪一版工藝庫(kù)、哪個(gè)分區(qū)腳本這在流片前的評(píng)審和審計(jì)中非常關(guān)鍵。4. 實(shí)戰(zhàn)案例用 Python 實(shí)現(xiàn)一個(gè)分布式簽核調(diào)度原型下面我們用一個(gè) Python 原型來(lái)演示整體流程。需要說(shuō)明的是真實(shí)的電源簽核工具通常通過(guò)命令行方式調(diào)用本文用模擬函數(shù)代替重點(diǎn)演示任務(wù)拆分、調(diào)度和合并的工程思路。你可以把核心流程遷移到自己實(shí)際的調(diào)度系統(tǒng)中。4.1 項(xiàng)目結(jié)構(gòu)與準(zhǔn)備項(xiàng)目目錄結(jié)構(gòu)如下power_signoff_distributed/ ├── task_model.py ├── worker.py ├── scheduler.py ├── merger.py └── run_example.py各文件職責(zé)如下task_model.py定義任務(wù)和結(jié)果的數(shù)據(jù)結(jié)構(gòu)。worker.py模擬單個(gè)分區(qū)上的電源簽核計(jì)算。scheduler.py實(shí)現(xiàn)簡(jiǎn)單的分布式任務(wù)調(diào)度。merger.py實(shí)現(xiàn)分區(qū)結(jié)果合并與邊界一致性檢查。run_example.py組裝整個(gè)流程并運(yùn)行示例。環(huán)境要求是 Python 3.8 及以上示例只使用標(biāo)準(zhǔn)庫(kù)不依賴(lài)第三方包。4.2 定義任務(wù)數(shù)據(jù)模型創(chuàng)建task_model.py定義分區(qū)任務(wù)和任務(wù)結(jié)果# task_model.py from dataclasses import dataclass, field from typing import List, Optional dataclass class PartitionTask: task_id: str region_name: str mode: str corner: str x_start: int x_end: int y_start: int y_end: int status: str pending # pending / running / completed / failed retry_count: int 0 dataclass class TaskResult: task_id: str max_ir_drop_mv: Optional[float] None em_violation_count: int 0 em_violation_points: List[tuple] field(default_factorylist) error_message: str PartitionTask中記錄了任務(wù)所屬的區(qū)域坐標(biāo)、工作模式、工藝角等信息。status字段用來(lái)支持調(diào)度的狀態(tài)流轉(zhuǎn)。TaskResult保存該分區(qū)計(jì)算出的最大 IR Drop、EM 違反點(diǎn)列表以及可選的錯(cuò)誤信息。4.3 實(shí)現(xiàn) Worker 與調(diào)度器創(chuàng)建worker.py模擬單個(gè)分區(qū)上的簽核計(jì)算。實(shí)際項(xiàng)目中這個(gè)函數(shù)內(nèi)部應(yīng)該通過(guò)命令行調(diào)用真實(shí)的 EDA 簽核工具# worker.py import random import time from task_model import PartitionTask, TaskResult def run_power_signoff(task: PartitionTask) - TaskResult: # 模擬耗時(shí)操作實(shí)際場(chǎng)景中這里調(diào)用 EDA 簽核工具 seconds random.randint(1, 3) time.sleep(seconds) # 模擬該分區(qū)的分析結(jié)果 result TaskResult( task_idtask.task_id, max_ir_drop_mvround(random.uniform(10.0, 50.0), 2), em_violation_countrandom.randint(0, 5), ) for _ in range(result.em_violation_count): x random.randint(task.x_start, task.x_end) y random.randint(task.y_start, task.y_end) result.em_violation_points.append((x, y)) return result創(chuàng)建scheduler.py實(shí)現(xiàn)一個(gè)簡(jiǎn)單的線(xiàn)程池調(diào)度器# scheduler.py from concurrent.futures import ThreadPoolExecutor from typing import List from task_model import PartitionTask, TaskResult from worker import run_power_signoff class PowerSignoffScheduler: def __init__(self, max_workers: int 4): self.executor ThreadPoolExecutor(max_workersmax_workers) self.futures {} def submit(self, task: PartitionTask): task.status running future self.executor.submit(run_power_signoff, task) self.futures[future] task return future def collect(self) - List[TaskResult]: results [] for future, task in self.futures.items(): try: result future.result() task.status completed results.append(result) except Exception as e: task.status failed results.append(TaskResult(task_idtask.task_id, error_messagestr(e))) return results這里用ThreadPoolExecutor是為了演示方便。如果任務(wù)是 CPU 密集型的真實(shí)簽核計(jì)算更推薦使用ProcessPoolExecutor或真正的多機(jī)調(diào)度避免 Python GIL 限制并行效率。實(shí)際生產(chǎn)系統(tǒng)還需要狀態(tài)持久化、失敗重試和心跳檢測(cè)這些都可以在PowerSignoffScheduler基礎(chǔ)上擴(kuò)展。4.4 實(shí)現(xiàn)結(jié)果合并模塊創(chuàng)建merger.py把各分區(qū)的結(jié)果合并為全芯片級(jí)報(bào)告# merger.py from typing import List from task_model import TaskResult class ReportMerger: def __init__(self, tolerance_mv: float 1.0): self.tolerance_mv tolerance_mv def merge(self, results: List[TaskResult]) - dict: if not results: return { max_ir_drop_mv: 0.0, em_violation_points: [], overlap_warnings: [], } all_ir [r.max_ir_drop_mv for r in results if r.max_ir_drop_mv is not None] max_ir_drop_mv max(all_ir) all_points [] for r in results: all_points.extend(r.em_violation_points) # 模擬重疊區(qū)域一致性檢查 overlap_warnings [] if len(all_ir) 2 and (max(all_ir) - min(all_ir)) self.tolerance_mv: overlap_warnings.append(分區(qū)最大IR Drop差異超過(guò)容差需要人工復(fù)核) return { max_ir_drop_mv: max_ir_drop_mv, em_violation_points: all_points, overlap_warnings: overlap_warnings, }合并模塊在真實(shí)場(chǎng)景中會(huì)更復(fù)雜需要讀取每個(gè)分區(qū)的詳細(xì)節(jié)點(diǎn)電壓文件比較相鄰分區(qū)重疊區(qū)域的數(shù)值差異。這里的tolerance_mv就是一致性校驗(yàn)的閾值實(shí)際工程中應(yīng)該開(kāi)放配置。4.5 運(yùn)行與驗(yàn)證創(chuàng)建run_example.py把整個(gè)流程串起來(lái)# run_example.py from task_model import PartitionTask from scheduler import PowerSignoffScheduler from merger import ReportMerger def build_tasks(): tasks [] # 假設(shè)將芯片平面劃分為 3x2 共 6 個(gè)分區(qū) regions [ (0, 100, 0, 100), (100, 200, 0, 100), (0, 100, 100, 200), (100, 200, 100, 200), (0, 100, 200, 300), (100, 200, 200, 300), ] for idx, (x0, x1, y0, y1) in enumerate(regions): tasks.append( PartitionTask( task_idftask_{idx}, region_namefregion_{idx}, modefunc, cornerss_0p90v_125c, x_startx0, x_endx1, y_starty0, y_endy1, ) ) return tasks def main(): tasks build_tasks() print(f共生成 {len(tasks)} 個(gè)分區(qū)任務(wù)) scheduler PowerSignoffScheduler(max_workers3) for task in tasks: scheduler.submit(task) results scheduler.collect() print(f任務(wù)完成 {len(results)} 個(gè)) merger ReportMerger() report merger.merge(results) print( 全芯片簽核匯總 ) print(f最大IR Drop: {report[max_ir_drop_mv]} mV) print(fEM違反點(diǎn)數(shù)量: {len(report[em_violation_points])}) if report[overlap_warnings]: print(警告:, report[overlap_warnings]) else: print(邊界一致性檢查通過(guò)) if __name__ __main__: main()運(yùn)行命令cd power_signoff_distributed python run_example.py由于示例中使用了隨機(jī)數(shù)每次運(yùn)行的輸出會(huì)略有不同但整體結(jié)構(gòu)類(lèi)似共生成 6 個(gè)分區(qū)任務(wù) 任務(wù)完成 6 個(gè) 全芯片簽核匯總 最大IR Drop: 42.17 mV EM違反點(diǎn)數(shù)量: 13 邊界一致性檢查通過(guò)這個(gè)原型雖然簡(jiǎn)單但已經(jīng)覆蓋了任務(wù)拆分、并行調(diào)度、結(jié)果匯總和一致性校驗(yàn)四個(gè)關(guān)鍵步驟。你可以在此基礎(chǔ)上把run_power_signoff替換為真實(shí) EDA 工具調(diào)用把線(xiàn)程池替換為多機(jī)調(diào)度中間件就是一個(gè)可用的分布式電源簽核調(diào)度框架雛形。5. 常見(jiàn)問(wèn)題與排查思路分布式電源簽核系統(tǒng)在落地過(guò)程中會(huì)遇到不少問(wèn)題下面匯總幾類(lèi)高頻問(wèn)題問(wèn)題現(xiàn)象常見(jiàn)原因解決思路任務(wù)一直處于 pending 狀態(tài)調(diào)度隊(duì)列阻塞或等待依賴(lài)任務(wù)完成檢查依賴(lài)關(guān)系拓?fù)洳榭搓?duì)列積壓情況某個(gè)節(jié)點(diǎn)任務(wù)運(yùn)行特別慢存儲(chǔ) I/O 爭(zhēng)用或節(jié)點(diǎn) CPU 被其他任務(wù)占滿(mǎn)拆分存儲(chǔ)目錄監(jiān)控節(jié)點(diǎn)資源占用限制單節(jié)點(diǎn)并發(fā)合并結(jié)果中邊界電壓不連續(xù)分區(qū) overlap 設(shè)置不合理或邊界條件不一致增大重疊區(qū)域統(tǒng)一邊界約束文件分布式結(jié)果與單機(jī)全芯片結(jié)果差異較大拆分導(dǎo)致精度損失或仿真相網(wǎng)設(shè)置不一致對(duì)比單機(jī)結(jié)果標(biāo)定誤差調(diào)整分區(qū)粒度Worker 節(jié)點(diǎn)宕機(jī)后任務(wù)丟失缺少心跳和狀態(tài)持久化引入心跳檢測(cè)任務(wù)狀態(tài)寫(xiě)入數(shù)據(jù)庫(kù)超時(shí)自動(dòng)重調(diào)度并行度提升后總時(shí)間反而變長(zhǎng)拆分粒度過(guò)細(xì)通信和合并開(kāi)銷(xiāo)超過(guò)計(jì)算收益增大每個(gè)任務(wù)的計(jì)算量減少分區(qū)數(shù)量license 不足導(dǎo)致排隊(duì)工具 license 數(shù)量限制引入 license 資源統(tǒng)計(jì)按 license 可用量調(diào)度排查這類(lèi)問(wèn)題建議先看日志再看監(jiān)控最后看數(shù)據(jù)。日志要記錄每個(gè)任務(wù)的開(kāi)始時(shí)間、結(jié)束時(shí)間、狀態(tài)轉(zhuǎn)換和錯(cuò)誤信息監(jiān)控要覆蓋 CPU、內(nèi)存、磁盤(pán) I/O、網(wǎng)絡(luò)吞吐和 license 占用數(shù)據(jù)層面要能快速定位某個(gè)分區(qū)的輸入文件版本和輸出結(jié)果。6. 最佳實(shí)踐與工程建議在真正落地分布式電源簽核方案時(shí)下面幾條工程建議值得重點(diǎn)關(guān)注。第一點(diǎn)是“先正確、后快速”。分布式方案上線(xiàn)前一定要先選一塊中等規(guī)模的芯片用同一版數(shù)據(jù)分別跑單機(jī)全芯片分析和分布式分析對(duì)比最大 IR Drop、違反點(diǎn)位置和數(shù)量。只有誤差控制在可接受范圍內(nèi)才能繼續(xù)放大規(guī)模。不要一上來(lái)就追求速度正確性出問(wèn)題會(huì)導(dǎo)致流片風(fēng)險(xiǎn)。第二點(diǎn)是拆分粒度要?jiǎng)討B(tài)調(diào)整。靜態(tài)固定的拆分策略往往不是最優(yōu)的??梢愿鶕?jù)每個(gè)分區(qū)的實(shí)際計(jì)算耗時(shí)反饋動(dòng)態(tài)調(diào)整下一次的劃分方式。比如某些區(qū)域單元密度高計(jì)算量大就應(yīng)該切成更小的分區(qū)單元稀疏區(qū)域則可以合并成大分區(qū)。第三點(diǎn)是日志和血緣必須完整。分布式系統(tǒng)排查問(wèn)題的難度與節(jié)點(diǎn)數(shù)量成正比。每個(gè)任務(wù)至少要記錄輸入版圖文件路徑、工藝庫(kù)版本、配置參數(shù)、工具版本、輸出文件列表、執(zhí)行節(jié)點(diǎn)、開(kāi)始結(jié)束時(shí)間。這樣才能保證簽核報(bào)告可追溯、可復(fù)現(xiàn)。第四點(diǎn)是存儲(chǔ)和網(wǎng)絡(luò)不能省。很多人把精力放在調(diào)度器上最后發(fā)現(xiàn)瓶頸在共享存儲(chǔ)。建議把輸入數(shù)據(jù)、中間結(jié)果、最終報(bào)告分別放在不同目錄甚至不同存儲(chǔ)池避免大規(guī)模并行讀寫(xiě)互相干擾。網(wǎng)絡(luò)方面如果分區(qū)之間的中間文件交換頻繁建議優(yōu)先升級(jí)網(wǎng)絡(luò)而不是增加 CPU。第五點(diǎn)是監(jiān)控和告警要前置。分布式系統(tǒng)不是搭好就能穩(wěn)定運(yùn)行。任務(wù)失敗率、節(jié)點(diǎn)存活率、隊(duì)列積壓數(shù)、平均任務(wù)耗時(shí)這幾個(gè)指標(biāo)應(yīng)該從一開(kāi)始就接入監(jiān)控大盤(pán)設(shè)置合理告警閾值避免半夜任務(wù)掛掉第二天才發(fā)現(xiàn)。第六點(diǎn)是權(quán)限和安全邊界。EDA 數(shù)據(jù)是芯片公司核心資產(chǎn)集群訪(fǎng)問(wèn)要基于最小權(quán)限原則任務(wù)執(zhí)行賬號(hào)不應(yīng)有刪除其他團(tuán)隊(duì)數(shù)據(jù)的權(quán)限。涉及生產(chǎn)環(huán)境變更時(shí)先在小范圍驗(yàn)證再逐步擴(kuò)大任何批量操作前都要確認(rèn)備份策略。最后一點(diǎn)是要做好和現(xiàn)有流程的兼容。分布式簽核并不是要完全替代原有單機(jī)流程而是為大規(guī)模、多迭代場(chǎng)景提供加速通道。建議保留原有的單機(jī)流程作為對(duì)照分布式流程用作快速迭代和回歸驗(yàn)證兩邊結(jié)果定期對(duì)比確保長(zhǎng)期穩(wěn)定。7. 結(jié)語(yǔ)電源簽核從幾周縮短到幾天本質(zhì)上是把“等一個(gè)結(jié)果”變成了“集一批結(jié)果”。任務(wù)拆分、調(diào)度容錯(cuò)、結(jié)果合并這三件事做好分布式方案才能真正跑起來(lái)。本文用一個(gè)小型 Python 原型演示了核心流程實(shí)際項(xiàng)目中你還需要接入真實(shí) EDA 工具、補(bǔ)齊狀態(tài)持久化和監(jiān)控告警并且通過(guò)多輪對(duì)比實(shí)驗(yàn)標(biāo)定拆分精度。分布式計(jì)算并不是銀彈但它確實(shí)是當(dāng)前芯片簽核提速最務(wù)實(shí)的路徑之一。如果你正在做類(lèi)似的后端簽核平臺(tái)或高性能計(jì)算改造可以從本文的調(diào)度原型入手先搭一個(gè)小規(guī)模閉環(huán)再逐步擴(kuò)展到全芯片級(jí)規(guī)模。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
午夜色婷婷| 亚洲综合丁香婷婷六月天| 色综合久久五月天| 婷婷久久免费| 五月婷中文字幕| 9999热在线免费观看| 丁香成人五月天| 天天网曰日曰夜夜综合永久免费| 久草狼人| 97久久草草超级碰碰碰| 亚洲天堂久久| 超碰精品手机在线| 久久99久久99www| 久久这里只有欧美| 久久99激情| 久婷久婷| 久久最新色色色| 狠狠色婷婷777| 秋霞午夜理论| 成人综合视频网址| 天天操综合网| 看婷婷五月天网| 99操视频| 天天情色综合网| 9l视频自拍九色9l黑人| 亚洲婷婷基地| 国产裸舞福利资源在线视频| 成人精品网站在线观看| 久久久999精品| 五月花综合网| 狠狠色中色| 99热免费精品| 九九色欲网| 9精品在线| 深爱激情六月天| 99re热| 大地资源色婷婷视频在线| 久久婷婷丁香六月天| 亚洲综合碰| 五月天激情国产综合婷婷婷| 五月天六月丁香| 疯狂做受XXXX高潮A片| 五月婷婷丁香五月婷婷| 色五月超碰| 婷婷五月天成人网| 激情五月天综合婷婷网| 天天综合色丁香 | 99这里是99在线视频| 99热啪啪| 另类视频五月天| 9久精品| 被强行糟蹋的女人A片| 色噜噜婷婷| 区美毛片子| 五月婷婷色播| 五月婷婷天天| 五月色欧洲| 九九久久污| 激情四射网| 99这里的视频都是精品| 色色影院黄大片| 97在线精品| 久热精品免费视频4| 婷婷瑟瑟五月天| 激情五月天婷婷丁香| 五月天婷婷av| 丁香五月欧美激情| 欧美激情五月天在线观看| 久草 tingting| 婷婷九月色| 国产精品久久久久久五月天加勒比 | 亚洲无码影音| 久色大| 日日天天天| 在线成人国产| 嫩草AV久久伊人妇女超级A| 翔田千里无码| 久久这里只有精彩| 欧美啪啪9| 成人国产欧美大片一区| 99热这里只有精品4| 亚洲人人操BD| 深爱激情九九五月天| 影音先锋男人资源站一区二区| 久热这里| 91久久久久久久久| 99久视频| 五月激情六月宗合| 99热精品一| 五月丁香婷婷啪啪| 深夜男女福利刺激影院一区完整| 婷婷开心久久| 很很干在线视频| AA久久| 激情婷婷五月丁香啪啪啪| 欧美va在线| 这里只有精品网| 色之综合网| 99热这里有精品首页10| 综合久久六月| 蒲京久久无码视频| 无码91中文字幕| 色色五月婷| 伊人五月天在线| 婷婷五月开心中文字幕色| 久久免费9| 日日操夜夜操中国无码| 丁香五月婷婷欧美性爱| 亚洲精品亚洲人成人网| 涩五月婷婷| 五月婷婷婷丁香播| 五月丁香六月玩女人| 综合五月天天天天天五月| 97人妻碰碰中文无码久热丝袜| www.久操| 久久久久久五月天| www.色五月| 五月婷婷基地| 99热在线看| 伊人五月婷婷| 99开心五月五月丁香激情| 综合网啪| 日本一级大片| 欧美乱码国产一级A片| 就爱日五月天| 久久日曰| www.色色com| WWW嗯嗯啊啊啊啊| 国产伦亲子伦亲子视频观看| 日本久久精品| 97福利视频| 99亚州综合精品成人网| 九色视频91| 97操碰碰无码视频| 91碰碰碰| 97色婷婷| 在线观看国产高清视频免费网站| 亚洲第一成人无码A片| 日本丁香五月| 白人荫道BBWBBB大荫道| 91日在线视频| 91日综合欧美| 色吊丝永久访问网址| 性爱五月婷婷| 一级精品999WWW| 色色色五月婷| 色婷婷色五月另类综合| 九九久久综合网站| 一本色道久久综合狠狠躁小说| 亚洲热视频在线| 开心激情五月天网| 激情综合婷婷| .精品久久久麻豆国产精品| 五月天综合| 婷婷综合五月天| 99色综合| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 成人免费在线电影| 超碰99在线观看| 九九青青草成人| 亚洲综合色色| 日韩黄在免| 97在线观看| 丁香五月亚洲综合丝袜| 婷婷色在线播放| WWW·色色色·COM| 亚洲激情在线| 欧美va| 夜夜撸天天日| 日韩在线视频中文字幕| 色一情一乱一伦一区二区三区| 伊久大香蕉| 欧在线一区| 六月丁香六月婷婷欧美| 婷婷六月网| 五月婷婷网五月在线| 婷婷狠狠色| 91视频精品99| 成人超碰网| 五月天堂六月丁香亚州中文字幕久久 | 丁香五月天激情综合| 天天噜日日噜综合无码| 国产片XXXXA片国语对白| 激情五月久久| 狠狠干最新地址| 91丨九色|PRNY熟妇| 丁香综合婷婷开心激情网| 久久婷婷丁香| 婷婷五六日| 久久精品婷婷| 无码区婷婷五月花开| 97超碰婷婷五月天| 五月久久五月激情| 亭亭玉月丁香| 欧洲MV日韩MV国产| 色播丁香五月婷婷操:屄| 色婷婷超碰| 色情五月婷| 色五月自偷自拍婷婷婷婷| 久久电影五月天丁香电影| 99久在线精品99re8| 精品久久婷婷五月天| 99惹精品视频| 色5月婷婷| 婷婷五月丁香综合网| 婷婷第一页| 丁香婷婷精品视频| 99热97| 五月丁香777| 夜色五月天| 婷婷五月大香蕉| 伊人国产婷婷五月天| 99在线观看精品| 色色欧美色色| 久久久精品99亚洲综合| 色色五月天婷婷丁香| 成人无码髙潮喷水A片| 大香蕉福利导航| 久久久999精品| 中文字幕久久一区二区三区| 五月天偷拍| 婷婷五月综合丁香久久| www。88热在线视频免费观看| 久久99激情丁香婷婷小说网| 日日干日日| 日本3级片一区2区| 99热久久这里只有精品2010| 免费黄色视频网址| 五月丁香色色| 丁香 久久| 九九九九热99超碰| 色播五月丁香婷婷| 深爱五月婷婷| 91精品久久久久久| 婷婷狠狠18禁久久| 色开心五月丁香| 中文激情网| 五月天婷婷一起草| 大香蕉五月天婷婷| 久99| 91性高潮久久久久久久久| 伊人大香蕉爱聚| 日韩好吊操| 婷婷色丁香五月| 色婷婷四色| 色综合天天天天做夜夜| 亚洲午夜国产成人电影VA国产欧…| 狠狠操之狠狠操| 97色婷婷| 99这里是99在线视频| 91精品丝袜久久久久久| 99精品视频在线观看免费| 日本一级特黄大片AAAAA级| 九九美女视频| 色99色| www.爱婷婷.com| 丁香六月婷婷综合在线| 99视频综合网| 久久久精品人妻| 久操大屁股女人av| 五月丁香综合中文| 99精品视频偷拍| 色欧美影院| 偷拍91九色| 噜噜色五月| 人妖色AV色综合| 九九99久久| 国产婷婷久久| 国产三级片91| 色色婷婷丁香| 久久人妻精品| 久久婷婷亚洲五月天| 97久久久久久久久久久| va婷婷| 久久色吧| 欧美熟女99| 99热偷拍| 激情网五月天| 婷婷五月情天| 另类激情五月| 五月丁香啪啪啪| 色婷五月丁香久亚洲| 婷婷五月欧美综合| 九九热精品| 国产脫衣舞一区二区三区| 五月激情综合网| 五月婷婷激情综合| 色婷婷呢狠禁久禁| 五月丁香影视| 《诡秘之主》在线观看| 五月婷婷色色爱| 五月天久久综合婷婷丁香| 丁香伊人五月色婷婷五十路| 99热综合色图| 丁香五月天激情综合| 天天拍天天做视频| 日韩天堂久久| 天天精品视频免费观看| 热久久精品视频网站| 亚洲情欲久久| 大香蕉精品视频| 天天看片日日夜夜| 天天射色五月天| 五月婷婷狠狠干| 26UUU| 操人妻AV| 97色色综合| 伊人激情| 玖玖九九9999在线观看视频精品| 4399在线日本A片| 天天爽成人综合网站| 影音先锋自拍网| 五月婷婷五月天激情网| jiqingtaose五月天| 天堂无码人妻精品AV一区| 丁香六月亭亭久久综合| 在线播放成人网站| 婷婷五月天av小说| 免费观看的av| 久久人妻人人| 97激情五月天| 91人人澡人人爽人人看| 538在线精品| se影音资源在线观看| 五月丁香久久网| 成人无码髙潮喷水A片| 五月 婷婷 成人| 中文字幕不卡+婷婷五月| 丁香网站| 久久网日本| 五月天自拍视频| 色色九九五月天| 久热这里| 91九色精品女同系列| 丁香激情六月天婷婷| 久综合九| 性爱激情久久| 香蕉综合网| 激情五月久久| 蜜乳国产网站| 这里只有精品在线视频精品| 91疯狂操操操操| 中文字幕日产A片在线看| 欧美影院| 79色色| 婷婷丁香69精华| 成人片在线免费看| 综合色在线| 丁香六月婷婷综合| 中文在线成人| 色婷婷综合网站| 久热视频A.| 婷婷六月综合| 五月丁香婷婷综合网色欲| 狠狠综合网| 日本一级特黄大片AAAAA级| 国av网| 人人操99| 五月婷婷激情日本| 激情五月四色| 99热这里只有精品13| 婷婷色丁香五月| 婷婷丁香五月基地| 大香蕉伊人丁香五月| 色色色综合色| 日良久久| 97欧美在线| 99青青草| 99热这里只有精品一区| 婷婷色播综合五月| 亚洲欧洲色色| 五月丁香六月色婷| 久9视频| 欧美三级级99久久| 九九九九无码| 丁香五月婷婷久久久| 欧美69久成人做爰视频| 风流少妇A片一区二区蜜桃| 9久久精品| 五月丁香婷婷导航视频| 五月婷在线观看| 五月丁香啪啪综合网| 99在线免费视| 干亚洲天堂| 九九Av| 亚洲在线综合| 婷婷久久亚洲| 中文字幕AV在线| 五月婷婷丁香啪啪| 婷婷伊人75| 久久青青日本视频| 国产精品视频网| 亚洲欧美日韩另类| 久久天堂色| 91在线人| 日韩激情网站| 五月丁香婷婷啪啪网| 午夜福利8055| 91凹凸在线| www.婷婷五月| 激情五月天天狠狠久久| 国产成人高清| 91久久| 91九色精品女同系列| 伊人久久大香蕉网| 天天色综网| 五月天综合视频| 色啪网| 色综合久久888| 欧美性爱五月天| 婷婷金品综合视频| 五月丁香综合激情| 久久久久久久久月丁| W色综合| 狠狠狠狠草草| 五月激情婷婷国产精品久久久久久| 久久九九re热| 大香蕉啪啪| 日韩黄黄| 久久五月天激情视频| 无码婷婷五月天| wwwC0maV五月花| 思思热久热| 99精品热| 日本五月婷婷| 日韩黄在免| 九九精品大香蕉| 综合激情四射一theav| 六月婷婷网| 99碰碰视频| 人妻操逼视频。| 精品无码色| 青青福利网| 色五月婷婷在线观看| 99热主页日本| 无码AV久久久久久久久| 伊人影院久久网| 91丨九色丨43老版熟女| 婷婷97| 91嫩草国产线观看亚洲一区二区| 婷婷九色| 日日天天操| 免费观看欧美成人AA片爱我多深 | www色色com| 97操操| 亚洲九九99精品视频在线播放| 五月婷婷9| 97视频久久| 色五月开心五月激情五月| 婷婷六月花| 色七七九九| 九九99精品视频在线观看| 色亭亭影园| 五月天婷婷色色网| 激情五月天无码| 九九热思思| 丁香五月电影| 男人的天堂在线婷婷| 98色花堂98t.R| 天天激情视频| 99性爱| 开心五月激情网| 九九久99免费视频| 激情色中文| 99热这里只有精品86| www久| 色婷婷五月综合激情中文字幕| 99久久精彩视频| 五月天婷婷一起草| 国产精品国产| 桃色五月婷婷| 超碰免费在线| 99无码黄色视频| 五月天激情综合| www.九九婷婷| 天天日日天天| 日本三级黄色大片| 激情99| 丁香五月天激情综合| 丁香五月婷婷99| 婷婷亚洲五月丁香综合在线| 婷婷综合精品| 激情电影五月婷婷| 丁香六月 人妻| 五月丁香大相交| 超碰成人黄色网| www.91操| 激情五月天在线免费美女视频| 五月天激情小说网| 99ri在线视频| 五月天成人免费视频| 成人在线观看国产| 五月色视频| 无码区婷婷五月花开| 婷婷五月另类网站| 天天做天天双| 婷香五月激情视频| 黄色精品五月婷婷| 色五月婷婷五月天激情综合| 610018岁成人视频| anquye伊人| 性视频久久| 人妻中文av| 欧美性丁香色色五月天| 99色视频| 激情五月婷婷综合| 性色婷婷| 777久久久| 热99只有精品| 疯狂做受XXXX高潮A片| 91人妻PORNY九色大屁股| 五月婷婷五月| 97人妻碰碰碰碰碰久久久久久| 日逼免费视频| 国产午夜成人免费看片无遮挡| 久久香蕉网| 日本欧美国产| 99久久视频| 狠狠做深爱婷婷久久综合一区| 国产亚洲成AV人片在线观黄桃| 婷婷和五月天| 婷婷深爱五月| 男人的天堂999| 91热久久| 丁香五月综合| 久久久激情| 九九十99视频| 99视频九九热| 五月激情婷婷综合| 97色婷婷成人综合在线观看| 天天综合网91| 337p大胆噜噜噜噜噜91Av| 五月天停婷基地| 九九视频在线观看| 9久9久| 色情五月婷婷| 婷丁香五月天| 香蕉国产2013| 激情丁香婷婷| 丁香五月欧美| 色婷婷五月丁香在线观看| 99re这里只有| 丁香久久AV| 性做爰1一7伦| www夜夜操wwwcon| 色五月天 丁香| 婷婷干五月综合在线播放| 久久五月热| WWW.婷婷| 91人人网| 欧美色婷婷| 婷婷6月综合网| 国产毛片精品一区二区色欲黄A片| 天天天操天天天爰| 色婷婷在线电影| www.五月丁香av| 日韩AV在线电影| 天天做天天爱| 九九碰九九爱97| 色五月婷婷久久| 全国最新疫情| ady狠狠入| 久久视频婷婷| 婷婷激情小说网| 最近中文字幕2019视频1| 丁香婷停五月激情综合深爱| 色综啪啪啪啪啪啪| www.henhenl| 五月婷婷免费在线| 黄色中文字目| 激情六月色| 激情九月综合| 激情又色又爽又黄的A片| 92久久精品一区二区| 亚洲激情五月| 台湾佬天天日丁香婷婷五月天| 色五月天 丁香| 天天干电影| 婷综合| 激情AV| 五月丁香六月花| 狠狠色狠狠爱| 五月色综合| 五丁香激情综合| 欧洲综合一区| 日本啪啪天堂| 丁香婷婷五月天色播| 亚洲AV日韩AV永久无码网站| 97干视频| 亚洲综合丁香婷婷六月天| 九色视频入口91| 超碰二区| 日日射天天射| 99超级碰碰| 久久曰曰| 婷婷婷婷婷婷婷婷| 久久AAAA片一区二区| 91狼友视频在线观看| 99九九玖玖| 婷婷五六日| 色五月自偷自拍婷婷婷婷| 九九热最新视频| 色色色国产| 91无码视频| 99热国产在线| 婷婷的久久网站| j五月香在线| 色你久久| 一本综合丁香日日狠狠色| 9191avse| 亚洲视频在线网| 狠狠爱综合网| 久久九九免费视频| 色色色在线免费视频| 色婷婷文字幕| 99久久国产宗和精品1上映| 久久婷婷亚洲| 天天爽夜夜爽| 人人玩人人橾| 五夜丁香| 亚洲欧美成人在线观看| 久久伊人五月天| 五月丁香六月婷婷国产视频| 日 日干 日日做| 九九热视频99| 激情骚五月| 国产全是老熟女太爽了| 久久XX| 国产精品色婷婷AV综合色色| 久久这里只有精品07 | 国产精品久久久久久五月天加勒比| 猫咪伊人久久| 久久久噜噜噜www成人| AA片在线观看视频在线播放| 97超碰综合| 丁香色婷婷| 欧美综合在线五月天色婷婷| 激情色中文| 五月丁香无码| 涩涩婷婷五月| 青青操日本摸摸看看| 少妇AB又爽又紧无码网站| 五月天色色网站| 激情婷婷六月天| 26uuu91| 色婷婷内射| 九九AV在线| 高清国产一级婬片a免费| 丁香综合日产精品久久| 高清一区二区三区日本久| 婷婷六月色开| 五月丁香亭亭操逼| 极品另类| 五月天婷婷社区| 五月婷婷国产| 中文AV网站| 成人无码精品1区2区3区免费看| 欧美影院婷婷| AV网站免费在线| 六月天婷婷| 婷婷五月深爱五月| 蜜桃五月天色| 亚洲久久婷婷| 婷婷丁香五月噜噜噜| 五月丁香WWW| 99在线免费视| 99热国产这里只有| 蜜臀av无码久久久久久久久| 五月丁香色婷婷伊人| 操人无码| 婷婷激情肏屄网| 天天性视频| 五月天丁香六月综合| 99re热在线视频| 99熟女视频| 婷婷黄色| 亚洲小视频免费播放| 色婷婷丁香| 99操视频| 丁香五月婷婷婷婷欧美综合| 99这里有精品免费| 就爱操www com| 深爱婷婷色| 婷婷开心青青草| 婷婷五月激情片| 日日夜夜青青草| 天天操夜夜玩!| 久久机只有这里精品| 色五月激情基地| 欧美成人精品一区二区| 五月激情综合美女久久| 九九热在线精品视频| 色噜噜五月天| 五月激情啪啪| 国产精产国品一二三在观看| 国产精品色情AAAAA片软件| 国产,欧美,学生妹,视频| 97人人妻人人艹| 日本色色影院| 91无码视频| 人妻操逼视频。| 色婷婷五月天激情久久| 久热视频这里只有精品68| 天天综合天综合| 九九亚洲| 色色色色网| 欧美成人猛片AAAAAAA| 久久久精品婷婷五月天| 91性人人| 91久久久久久| 五月天a婷婷伊人| 热99热9| 99热这里只有精品99| 色丁香五月| 高清无码入口| 欧美A级成人婬片免费看理论| 激情五月天偷拍综合网| 最新av在线观看| 激情婷婷五月天| 欧美怡红院黄站| 六月激情网| 色色五月婷| 色青青视频| 日本色视| 天天做天天爱| yw国产AV| 日本久久综合| 视频这里只有精品16| 99热九九热| 六月丁香五月天| 极骚大香蕉伊人| 91人人超碰在线| 99在线观看这里都是精品| 五月天激情AV| 综合婷婷| 操操综合网婷婷| 啪啪综合| 五月WWW| 爱操人妻| 九九99精品视品| 大香蕉九操| 婷婷五月天视频在线观看| 婷婷娌伦网| 青柠影视免费高清电视剧| 91亚洲天堂| 久热这里这里有精品| 婷婷色正月| 激情综合五月天| 婷婷五月丁香综合桃花色网| 五月婷六月综合在线观看| 国产无套精品一区二区| 这里只有精品视频| 六月丁香激情| 激情影院免费视频婷婷五月天| WWW免费视频碰碰碰碰| 老美AA片| 日韩欧洲亚洲| 日本五月天一页| 成人短视频在线观看| 九草性爱| 天天摸日日舔狠狠添婷婷婷| 伊人久久婷婷| 人人看人人97| 国产精品蜜臀99| 久久婷婷热| 婷婷激情综合色五月久久91| 99热国产这里只有| 成人av在线电影| 色激情网| 婷婷五月天激情综合| 激情综合网五月丁香| 成人性生活免费观看。| 26uuu国产色| 五月天久久综合| 色综合网页| 热99精品视频观看| 色欲av伊人久久大香线蕉影院 | 久久综合婷婷激情| 丁香五月天激情网址| 欧美va在线观看| httpwww色com日本| 天天日人人| 91久久久久久| www.久久综合| 久久久久久人妻久久久久久久久久人妻久久久 | 免费看欧美成人A片无码| 草一草avb| 色情成人五月天| 亚洲AV无码成人电影| 日日干综合| 玖玖热视频| 婷婷五月电影| 色婷婷激情| 色婷婷激情视频| 亚洲综合婷婷| 亚洲视频在线观看| 亚洲激情亚洲激情| 色狠狠色| 日韩av在线电影| 伊人五月综合网| 色色色天堂网| 97色色色色色| Www.se.久久| 婷婷爱婷婷| 午夜不卡久久精品无码免费| 亚洲中文无码成人| 六月婷婷色综合| 婷婷综合五月| 久久综合爱| 五月丁香六月婷婷啪啪| 婷婷射图| 天堂资源欧日浪女在线播放| 激情爱爱网站| 色情五月天丁香社区| 久婷五月| 九九色大香蕉| 偷偷操99| 久久免费操| 综激情网| 久热成人| 五月天.com| 日本怕怕视频| 大香蕉啪啪网| 天天做天天爱天天爽在| 亚洲亚洲人成综合网络| 国产日日夜夜操| 国产精品久久久久9999小说| 全国最新疫情| 五月天操逼激情| 丁香五月激情无码视频| 五月丁香色色色| 色五月婷婷影院| 伊人大香蕉综合在线| 激情丁香五月婷婷| 日本久久性| 黄色五月婷婷| 色 免费网站视频| 思思热视频在线| 欧美亚洲999| 韩日另类| 日日爱699| 九九热99久久99| 激情五月综合亚洲另类| 婷婷综合五月天| 99热这里只有精品2| 婷婷五月天美女| 可以免费观看的av| 婷婷亚洲在线| 男人天堂 久久| 中文AV在线播放| 色天天综合天天综合频道。 | 久久久99精品免费观看| 亚洲 六月 综合| 久久免费试看120秒| 欧美大香蕉视频| 欧美性二区| 国产人妻777人伦精品HD| 五月丁香激情六月| www,超碰| 久久丁香| 五月丁香婷婷六月天| 91久久九| 五月色丁香| 五月婷婷激情四季| 国产av天天插天天操天天爽| 色五月av| 久热久色| 中文字幕不卡网站| 色婷婷激情| 色五月婷婷丁香国产在线| 激情五月婷婷色综合| 欧美日比视频| 三区激情四射av| 丁香五月天亚洲综合| 五月丁香琪琪| 丁香成人综合| 9久久精品视频| 亚洲精品色| 日夜夜久久| 日日噜噜夜夜狠狠久久丁香六月| 97色吧| 久久精热| 亚洲中文丁香| 日韩成人影片在线观看| 97热视频| 五月天激情久色| 97丁香五月| 天天综合色| 色婷婷久久综合久色综| 五月丁香网av| 野外99热| 99热66| 亚洲色热| 青青热久精品视频在线观看| Aα在线免费观看| www超碰| www五月| 777.色色| 五月天综合久久丁香91| 日韩免费视频| 婷婷五月天综合久久| 亚洲婷婷婷| 久久精品4| 九九九干精品| 国产成人亚洲综合A∨婷婷| 欧美美美女性色视频| 婷婷五月天美女| 婷婷中文网站| 国产精品A成V人在线播放| aaa久久| 久8色色| 色情五月天小说| 91精品综合久久久五月天| 亚洲无码99| 五月婷婷久久大香蕉| 天天情色五月天| 久久丝丝热| 国产综合81p| 婷色天堂| 婷婷五月天基地| 99人妻碰碰碰久久久久视| 亚洲色色色色| 国产日批视频免费播放| 4399高清无码视频| 久久加勤综合| 丁香六月婷| 色色色国产| 五月色婷婷综合| 色五月婷婷视频| 99久久精彩视频。| 91精品综合久久婷婷九色| 99色人| 欧美电影在线播放| 色婷婷av在线观看| 色欧美影院| 亚洲色无码| 天天日夜夜夜操操操操| 九九熱最新視頻| 五月丁香啪啪综合网| 青青色com久久| 激情综合网激情五月婷婷| 啪啪91| 亚洲久热| 99热综合网| 停婷丁五月在线| 丁香五月激情五月开心五月| 五月综合激情综合久| 天天做天天爱天天日| 亚洲啪啪视频| 91综合色| 色九九七七| 日韩啪图| 91热在线观看视频| 狠狠色丁香乆乆| 欧美成人AAA片一区国产精品| 亭亭五月丁香五月天激情| 99ri在线观看视频| 丁香久久综合| 天堂综合久久 | 国产毛片精品一区二区色欲黄A片 欧美交换配乱吟粗大25P | 色婷婷精品| 狠狠激情五月天| 日本五月视频| 婷婷五月综合啪| 青草热视频这里只有精品| 色五月丁香激情视频| 99色看这里只有精品| anquye伊人| 色VA| 激情五月图| 久久九九免费大视频| 婷婷五月成年人| 俺来也综合网精品一区| 五月天亚洲图片婷婷| 国产亚洲99久久精品| 97久久超碰| 日本色频| 五月天·www·com| 99热www.| 大狠狠在线| 婷婷五月天亚洲综合网| 欧美激情综合色综合色| 丁香五月区| 丁香五月六月综合欧美| 五月天激情小说网| 色五月激情| 99在线精品观看99| 综合色五月| 香蕉久久国产AV一区二区| 五月天婷婷影院| 色一情一乱一伦一区二区三区| 日韩精品AV一区二区三区| 九九99九九精品免费| 五月天婷婷丁香成人网| 91精品久| 久久综合婷婷五月| 中文无码婷婷| 久久五月视频| 伊人国产婷婷五月天| 丁香五月色情| 五月天婷久精视频| 久久婷婷色综合| 久久99热这里只有精品| 亚洲中文字幕在线观看| 婷婷五月在线影院| www狠狠爱com| 丁香六月婷婷久久高清| 天天色月| ss99热| 天天精品视频免费观看| 色婷婷888| 色999五月色| 丁香五月激情图片婷婷| 97艹| 亚洲久热| 丁香五月在线视频黑人| 色婷婷五月天视频在线| 91干在线| 五月激情小说| 亚洲色图五月丁香五月婷婷| 在线视频激情网站| 99无码视频| 白天AV月月| 亚洲综合五月天婷婷| 99久久9| 色欲一区二区三区精品A片 | 2013AV天堂| 97人人干| 91精品91久久久久77777| 奇米网大香蕉| 婷婷丁香五月亚洲欧美| 久久99热精品a片在线观看| 五月天综合色| 天天射影院| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 99热亚洲精品| 妻久久久久| 激情丁香图片| 任你爽视频| 丁香网五月天| www.99精品在线| 狠狠五月天婷婷| 丁香婷婷五月| 大香蕉综合| 狠狠 久久| 久久之人妻| www.亭亭五月天| 91精品国产91久久久久青草| 亚洲精品久久久无码| 精品99在线观看| 精品无码色| 天天日天天干天天操| 五月婷在线| 人妻激情视频| 日本五月婷婷久久久六月丁香| 色五月婷婷丁香五月| 激情六月综合| 九月婷婷在线观看| 六月婷婷之青青草| 五月丁香激情综合网| 99热免费| 六月丁香中文字幕| 色婷婷狠狠色| 超碰在线国产| 99在线看片| 在线va网站| 激情五月天偷拍综合网| 欧美日韩欧美| 婷婷色啪| 色五月综合激情| 亚洲天堂久久| 大香蕉伊人爱在线| m色激情网| 色色色热| 97色啪| 第一区久久网站| 99热首页| 国产免费av在线| 天天爽综合| www.五月丁香| WWW久| 六月色色婷婷| 激情五月天在线视频| 超碰AV成人| 欧美天天干天天草| 99久久网站| 丁香婷婷五月六月久久| 天天天天爽爽天干| 国产精品一区在线观看你懂的| WWW.久久久久久久| 五月婷婷五月天激情网| 免费看欧美成人A片无码| 91性高潮久久久久久久久| 久久a热| AV片在线观看| WWW、日本色丁香、co m| 婷婷婷婷婷婷婷五月丁香| 婷婷刺激综合| 99亚洲日韩| 秋霞少妇AV网站| 激情五月黄色小说| 超碰九九热| 一起肏在线视频| 婷婷五月色網站| 韩日另类| 99热在线99| 亚洲九九视频| 99九色视频在线观看| 欧洲色色| 婷婷五月六月丁香| 色色 9| 婷婷丁香激情五月天色色色| 91操色| 五月开心网| 色婷婷av在线观看| 久久久久久激情| 五月丁香久久综合色| 777色色色| 久热视频97AV在线观看| 九九九午夜影院成人| 国产精品成人在线| 色婷婷五月开心六月综合| 亚洲欧美成人在线| 99色网站| 亚洲成人av在线| 97五月婷婷| 九九热最新| 五月丁香婷婷99| 丁香六月婷婷综合啪啪| 激情综合九| 天天舔天天摸视频| 久久综合站| 狠色狠色综合久久| 狼人伊人天堂| 久热精品视频| 婷婷成人av| 无码色色| 亚洲婷婷综合视频| 五月婷婷真爱激情网| 人妻在线网站| 久色五月丁香视频| 五月天伊人久久久久| 五月丁香色综合| 色欧美影院| 五月婷婷综合久久| 国产成人网站在线观看| 99九九久久| 婷婷五月成人| 99在线观看免费精品视频| 无码AV免费精品一区二区三区| www。88热在线视频免费观看| 丁香激情五月| 79成人网| 久婷婷久草| 激情图片五月天| 欧美日韩国产一区| 香蕉综合在线| 婷婷五月中文在线| 欧美人与性动交CCOO| 五月丁香六月婷婷a v| 91男人资源站| 99久久这里只有精品| 亚洲综合无码| 久色视频| 婷婷丁香成人在线视频| 9久久狠狠的| 天天做天天爱天天综合| 中文字幕网站在线观看| 五月婷婷啪啪啪| 久热这里只有国产| 五月天电影网| 色丁香五月天婷婷| 97精品自拍视频| 大香蕉五月天| 爱爱色五月天| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 绿色小导航AV| 影音先锋色婷婷| 五月丁香日本一抹本| 被强行糟蹋的女人A片| 99热成人在线| 99热99美国在线观看| 可以看的AV| 色色色.com| 久久九九婷婷| 婷婷丁香人妻天天爽| 成人婷婷深爱综合网| 一區四區歐美日韓| 大香蕉520| 开心久久爱五月天| 色9999综合久久| 久久东京热婷婷五月| 日韩欧美一区二区三区四区| 天天色2017| 综合久久久| 久久这里只有精品07 | 九九亚洲| 天天做综合| 五月婷婷影视| 91婷婷搞| henhencao国产在线| 丁香激情综合| 99九九视频| 9久精品| 五月婷三级片| 日良久久| 天天色,天天操,天天射| 久久一品区| 开心激情综合| 天天日夜夜帕| 五月丁香六月婷综合成人综合| 国产精产国品一二三在观看| 色婷婷久久综合中文久久一本| 久久婷婷五月天| www.婷婷五月.com| 97色婷婷| 精品国产va久久久| 色五月天堂| 久久涩视频| 久久久18| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪| 色噜久| 丰满少妇猛烈A片免费看观看| jiZZdr| 婷婷五月天亚洲色| 九九人人看| 嫩草AV久久伊人妇女超级A| 26uuu欧美| 四色女婷婷| 99re免费在线视频| 97干干干丁香| 欧美在线干| www激情婷婷com| 99爱欧美| 成人毛片在线免费观看| 欧美成人猛片AAAAAAA| 婷婷欧美综合| 第四色26uuu| 先锋五月婷婷丁香草草| 日本偷拍九九九| 五月香婷婷| 99资源在线视频| 丁香五月激情图片| 99热久| 东北黄色一级| 四川BBB搡BBB爽爽视频| 久久xxxx| 丁香五月在线播放| 天天婷婷天天| 久99久视频| 婷婷丁香综合| 操大屄五月天视频| 色久天| 丰满人妻一区二区三区| 六月丁香激情婷婷| Av性爱网| 色综合色五月| 丁香五月婷婷少妇| 99ER热精品视频| 色色a| 日韩人妻无码精品| 久久免费婷婷视频| 亚洲精品五十一区| 婷婷五月天激情四射| 激情五月天啪啪| 婷婷激情五月天小说|