欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Google TPU軟件棧核心組件與JAX/TensorFlow實(shí)戰(zhàn)解析

Google TPU軟件棧核心組件與JAX/TensorFlow實(shí)戰(zhàn)解析 之前一直在 GPU 集群上跑大規(guī)模模型訓(xùn)練直到項(xiàng)目遷移到 Google Cloud TPU 時才發(fā)現(xiàn)僅僅把訓(xùn)練框架換成 TPU 版本是遠(yuǎn)遠(yuǎn)不夠的。整個編譯鏈路、數(shù)據(jù)管道、算子融合策略和顯存規(guī)劃都變了踩了一圈坑之后才慢慢把 TPU 軟件棧的運(yùn)作方式理清楚。這篇文章會把 Google TPU 軟件棧的核心組件拆開梳理并結(jié)合 JAX、TensorFlow 分布式策略給出可落地的訓(xùn)練示例。適合正在評估 TPU、剛拿到 TPU 配額準(zhǔn)備遷移訓(xùn)練任務(wù)、或者已經(jīng)遇到底層報錯但搜不到完整解釋的開發(fā)者。讀完你能掌握 TPU 的完整軟件鏈路、訓(xùn)練啟動方式、常見編譯報錯定位思路以及把模型真正跑在 TPU 上而不只是跑在“模擬器里”的實(shí)踐經(jīng)驗(yàn)。1. TPU 到底是什么不止是“GPU 的替代品”1.1 AI 時代對芯片提出的新要求過去十年深度學(xué)習(xí)算力的主力是 GPU。GPU 的核心優(yōu)勢在于并行計算能力很強(qiáng)可以同時處理大量簡單運(yùn)算非常適合矩陣乘法和卷積這類深度學(xué)習(xí)算子。但隨著模型規(guī)模快速膨脹尤其是大規(guī)模 Transformer、推薦系統(tǒng)和多模態(tài)模型出現(xiàn)之后算力需求不再只看單卡峰值還要看集群擴(kuò)展效率、內(nèi)存帶寬、編譯優(yōu)化程度和單位算力的性價比。Google 正是在這種背景下推出了 TPUTensor Processing Unit張量處理單元。它不是為了替代 GPU 而設(shè)計的通用芯片而是為了加速 TensorFlow 和 JAX 這類深度學(xué)習(xí)框架中的張量運(yùn)算而專門定制的 ASIC 芯片。你可以把它理解成一個“為矩陣乘法而生的專用加速器”在特定負(fù)載下的能效比和吞吐表現(xiàn)非常突出。這里的“專用”意味著兩件事一方面TPU 在矩陣運(yùn)算、卷積運(yùn)算和大規(guī)模分布式訓(xùn)練上性能很強(qiáng)另一方面它對模型結(jié)構(gòu)的支持并不是無條件的某些自定義算子如果不適配 XLA 編譯器會直接卡在編譯階段。1.2 CPU、GPU、TPU、NPU 的定位區(qū)別先用一個表格把這幾種芯片的定位區(qū)分清楚芯片全稱定位典型場景CPUCentral Processing Unit通用計算強(qiáng)順序執(zhí)行操作系統(tǒng)、數(shù)據(jù)庫、邏輯控制GPUGraphics Processing Unit并行計算通用加速深度學(xué)習(xí)訓(xùn)練、渲染、科學(xué)計算TPUTensor Processing Unit張量專用 ASICTensorFlow/JAX 大規(guī)模訓(xùn)練與推理NPUNeural Processing Unit神經(jīng)網(wǎng)絡(luò)專用處理器手機(jī)端推理、邊緣 AI、端側(cè)加速從開發(fā)者的角度看這套術(shù)語體系經(jīng)?;煊糜绕涫窃诙藗?cè)場景里 NPU 和 TPU 的界限并不明顯。但如果你做的是云上大規(guī)模訓(xùn)練TPU 和 GPU 的差異會直接影響代碼寫法、編譯器行為、數(shù)據(jù)加載策略和故障排查方式。1.3 TPU 軟件棧的整體構(gòu)成TPU 硬件本身只是一塊芯片真正讓它跑起來的是軟件棧。Google TPU 軟件棧通常可以分成幾層前端框架層提供 TensorFlow、JAX、PyTorch 等框架的 TPU 后端接口。編譯器層XLAAccelerated Linear Algebra編譯器承擔(dān)了關(guān)鍵的角色。運(yùn)行時層libtpu、TPU Runtime、設(shè)備驅(qū)動等負(fù)責(zé)與硬件通信。系統(tǒng)調(diào)度層在 Cloud TPU 場景下負(fù)責(zé)資源創(chuàng)建、調(diào)度和生命周期管理。下面這張 ASCII 簡圖可以幫助理解數(shù)據(jù)流向PyTorch / TensorFlow / JAX ↓ 前端圖表示Graph / Program ↓ XLA 編譯器HLO → 優(yōu)化 → LLVM / TPU 指令 ↓ TPU Runtimelibtpu / 設(shè)備驅(qū)動 ↓ TPU 硬件理解這個軟件棧是很有必要的因?yàn)楹罄m(xù)很多報錯都不是框架層報出來的而是 XLA 編譯階段拋出的。你不能只盯著 TensorFlow 的報錯堆??催€得順著 XLA 的報錯信息往下追。2. TPU 軟件棧核心組件拆解2.1 XLA 編譯器從框架圖到 TPU 指令的橋梁XLA 是 TPU 軟件棧里最核心、最容易被忽視的一層。XLA 的全稱是 Accelerated Linear Algebra它是 Google 推出的領(lǐng)域?qū)S镁幾g器專門用來把 TensorFlow、JAX 等框架的計算圖編譯成高效的底層指令。XLA 的工作過程大致如下框架層把計算任務(wù)表達(dá)成計算圖或程序。XLA 將計算圖轉(zhuǎn)換成 HLOHigh Level Operations高級操作表示。XLA 在 HLO 層面上做優(yōu)化包括算子融合Fusion、常量折疊Constant Folding、內(nèi)存分配規(guī)劃、并行化調(diào)度等。最終把 HLO 編譯成目標(biāo)設(shè)備的 LLVM IR 或 TPU 專用指令序列。在 JAX 中jax.jit裝飾器就是觸發(fā) XLA 編譯的入口。當(dāng)你給一個函數(shù)加上jax.jit時JAX 會做兩件事把函數(shù)轉(zhuǎn)換成計算圖然后交給 XLA 編譯。import jax import jax.numpy as jnp # 加 jit 后函數(shù)不會一行一行執(zhí)行而是整體編譯后執(zhí)行 jax.jit def linear(x, w, b): return jnp.dot(x, w) b x jnp.ones((8, 128)) w jnp.ones((128, 64)) b jnp.ones((64,)) y linear(x, w, b) print(y.shape)這里需要注意jax.jit并不是簡單地把函數(shù)內(nèi)部代碼“合并成一個整體”而是讓 XLA 拿到整個計算流程后做算子融合。比如上面的matmul addXLA 在編譯后很可能融合成一個融合算子Fusion減少核函數(shù)啟動次數(shù)和設(shè)備緩存回寫的次數(shù)。生產(chǎn)環(huán)境里XLA 編譯失敗通常表現(xiàn)為類似“Detected unsupported operations when trying to compile graph”的報錯這類問題不是簡單的語法錯誤而是某個算子 XLA 還不支持或無法高效融合。2.2 JAX 與 TensorFlow 對 TPU 的支持方式JAX 是目前 Google 官方推薦的 TPU 訓(xùn)練框架之一。JAX 的設(shè)計思路是把 NumPy 風(fēng)格的 API 和自動微分、JIT 編譯結(jié)合再配合pmap、shard_map等并行抽象天然適合 TPU 這種需要精確控制數(shù)據(jù)切分的加速器。TensorFlow 對 TPU 的支持則主要通過TPUStrategy實(shí)現(xiàn)。TPUStrategy是 TensorFlow 分布式策略中的一種它負(fù)責(zé)把模型變量、優(yōu)化器狀態(tài)和數(shù)據(jù)分配到多個 TPU 核心上。PyTorch 用戶也不用太擔(dān)心PyTorch/XLA 項(xiàng)目已經(jīng)提供了torch_xla包讓 PyTorch 模型可以跑在 TPU 上同時支持 XLA 編譯優(yōu)化。不過平心而論P(yáng)yTorch 在 TPU 上的生態(tài)成熟度目前不如 JAX 和 TensorFlow如果你是從 PyTorch 社區(qū)遷移過來的建議預(yù)留更多時間做算子兼容性驗(yàn)證。2.3 libtpu 與低層運(yùn)行時libtpu 是 TPU 的低層運(yùn)行時庫負(fù)責(zé)主機(jī)與 TPU 設(shè)備之間的通信、內(nèi)存管理、指令提交等。在 Cloud TPU 環(huán)境中用戶代碼通過 gRPC 與 TPU Worker 通信但具體指令的下發(fā)是由 libtpu 完成的。這里想強(qiáng)調(diào)一個容易踩坑的點(diǎn)TPU 的虛擬地址頁大小是 16KB而絕大多數(shù) x86 Linux 主機(jī)默認(rèn)是 4KB 頁大小。當(dāng)你用 pip 安裝編譯好的包時如果包本身是在 4KB 頁環(huán)境下編譯的運(yùn)行到低層庫調(diào)用階段可能出現(xiàn)頁面大小不匹配的報錯這就是網(wǎng)上常見的“an error occurred while preparing sdk package 16 kb page size”一類問題的底層背景。解決思路通常不是修改內(nèi)核頁大小而是從官方渠道獲取與 TPU 運(yùn)行環(huán)境匹配的預(yù)編譯包或者在你的 TPU 虛擬機(jī)上重新編譯相關(guān)依賴而不是直接把本地 x86 環(huán)境里的包復(fù)制到 TPU 環(huán)境。3. 環(huán)境準(zhǔn)備與 TPU 獲取方式3.1 Cloud TPU 與 Colab 的選擇搭建 TPU 軟件棧的第一步是獲取 TPU 環(huán)境。根據(jù)場景不同有幾種主流選擇Google Cloud TPU適合長期訓(xùn)練任務(wù)支持創(chuàng)建 TPU Pod 和 TPU VM。Google Colab提供免費(fèi)的 TPU 運(yùn)行時適合學(xué)習(xí)和小規(guī)模實(shí)驗(yàn)。TPU Research Cloud面向研究者的免費(fèi) TPU 配額項(xiàng)目適合科研場景。本地模擬器適合調(diào)試代碼邏輯但性能完全不能代替真實(shí) TPU。如果你是第一次接觸 TPU建議從 Colab 開始它能用很短的時間驗(yàn)證你的代碼是否走通了 TPU 軟件鏈路。等代碼穩(wěn)定后再上 Cloud TPU 集群做真實(shí)規(guī)模訓(xùn)練。下面通過一個簡單的命令檢查 TPU 運(yùn)行時環(huán)境關(guān)鍵信息# 確認(rèn) Python 版本 python3 --version # 確認(rèn) TPU 設(shè)備是否可見在 TPU VM 或 Colab TPU 上執(zhí)行 ls /dev/accel* 2/dev/null || echo no accelerator device found # 查看安裝的關(guān)鍵包版本 pip list 2/dev/null | grep -Ei jax|tensorflow|torch|xla在實(shí)際 Cloud TPU v4 或更高版本的 TPU VM 環(huán)境中設(shè)備節(jié)點(diǎn)通常不是/dev/tpu而是/dev/accel0、/dev/accel1這類路徑這一點(diǎn)和傳統(tǒng) GPU 環(huán)境有所不同。3.2 JAX 環(huán)境變量與初始化JAX 在 TPU 上運(yùn)行前需要確認(rèn)設(shè)備已經(jīng)初始化成功。在 Colab 的較新版本 JAX 中通常會自動識別 TPU但如果你使用的是舊版本或使用自定義鏡像就需要手動初始化import jax import jax.numpy as jnp # 有些舊版本需要手動初始化 TPU # 新版 JAX 一般會自動初始化無需顯式調(diào)用 try: from jax.tools import colab_tpu colab_tpu.setup_tpu() except Exception as e: print(Manual TPU init skipped or already supported:, e) # 查看當(dāng)前所有可用設(shè)備 devices jax.devices() print(JAX devices:, devices) print(JAX default backend:, jax.default_backend())運(yùn)行正常的情況下jax.devices()會返回 TPU 設(shè)備列表jax.default_backend()返回tpu。如果你的輸出是cpu或gpu說明 JAX 并沒有真正訪問 TPU需要檢查鏡像版本或運(yùn)行環(huán)境。有一個經(jīng)常被忽略的問題Colab TPU 切換后必須重啟運(yùn)行時、重新安裝 JAX 版本否則 JAX 內(nèi)部緩存的設(shè)備信息不會刷新。如果切換 TPU 類型后jax.devices()仍然顯示舊的設(shè)備列表優(yōu)先考慮重啟運(yùn)行時而不是調(diào)試代碼。3.3 從源代碼編譯還是預(yù)編譯包在 TPU 上安裝 JAX 時我一直建議優(yōu)先使用官方發(fā)布的預(yù)編譯包因?yàn)檫@些包會和 TPU 的頁大小、指令集和運(yùn)行時庫做過匹配測試。只有在需要修改 JAX 源碼、debug 底層行為或者在 TPU VM 上做二次開發(fā)時才考慮從源碼編譯。下面是一個在 TPU VM 上安裝 JAX 的典型流程# 激活虛擬環(huán)境 python3 -m venv venv source venv/bin/activate # 安裝 JAX 的 TPU 版本 # 更準(zhǔn)確的安裝命令需要參考官方文檔關(guān)鍵是根據(jù) TPU 版本和系統(tǒng)架構(gòu)選擇匹配的 wheel pip install --upgrade jax[tpu] -f https://storage.googleapis.com/jax-releases/libtpu_releases.html # 驗(yàn)證安裝 python3 -c import jax; print(jax.devices())需要注意jax[tpu]這個 extra 的依賴列表和可用的 wheel 索引會隨著版本變化建議以官方 JAX 倉庫或 Google Cloud 文檔中的安裝命令為準(zhǔn)。不匹配的版本經(jīng)常導(dǎo)致 libtpu 無法加載報錯信息里會出現(xiàn)類似“Could not load libtpu.so”的字樣。4. 完整實(shí)戰(zhàn)用 JAX 在 TPU 上訓(xùn)練一個圖像分類模型講完概念和準(zhǔn)備下面進(jìn)入完整實(shí)戰(zhàn)環(huán)節(jié)。這里以 JAX 為例一步步演示從數(shù)據(jù)加載到 TPU 訓(xùn)練的全過程。4.1 創(chuàng)建項(xiàng)目結(jié)構(gòu)與準(zhǔn)備數(shù)據(jù)先創(chuàng)建一個項(xiàng)目目錄把代碼按模塊劃分好tpu-jax-demo/ ├── main.py ├── model.py ├── data.py ├── train.py └── requirements.txt數(shù)據(jù)部分使用 TensorFlow Datasets 中的 MNIST 數(shù)據(jù)集。MNIST 雖然簡單但它覆蓋了數(shù)據(jù)加載、批量切分、訓(xùn)練循環(huán)、模型保存的完整流程很適合用來驗(yàn)證 TPU 軟件棧是否正常工作。創(chuàng)建requirements.txtjax[tpu] tensorflow-cpu tensorflow-datasets optax這里特意引入optax作為優(yōu)化器庫它是 JAX 生態(tài)中最常用的優(yōu)化器集合后續(xù)如果要替換成 AdamW、LAMB 或自定義學(xué)習(xí)率調(diào)度直接改一行配置即可。4.2 編寫數(shù)據(jù)加載模塊創(chuàng)建data.pyimport tensorflow_datasets as tfds # 加載 MNIST 數(shù)據(jù)并轉(zhuǎn)換為 NumPy 數(shù)組 def load_mnist(batch_size128): ds tfds.load(mnist, split[train, test], as_supervisedTrue) def prepare(dataset): dataset dataset.map(lambda x, y: (tf.cast(x, tf.float32) / 255.0, y)) dataset dataset.batch(batch_size) dataset dataset.prefetch(tf.data.AUTOTUNE) return dataset train_ds prepare(ds[0]) test_ds prepare(ds[1]) return train_ds, test_ds在 TPU 訓(xùn)練中數(shù)據(jù)加載是一個經(jīng)常被忽略的瓶頸。CPU 端的數(shù)據(jù)加載速度如果跟不上 TPU 的消費(fèi)速度訓(xùn)練曲線會出現(xiàn)明顯的周期性停頓。prefetch是解決這個問題的最簡單手段。4.3 定義模型與訓(xùn)練循環(huán)創(chuàng)建model.pyimport jax.numpy as jnp from flax import linen as nn # 簡單卷積網(wǎng)絡(luò) class SimpleCNN(nn.Module): nn.compact def __call__(self, x, training: bool True): x nn.Conv(features32, kernel_size(3, 3), paddingSAME)(x) x nn.relu(x) x nn.max_pool(x, window_shape(2, 2), strides(2, 2)) x nn.Conv(features64, kernel_size(3, 3), paddingSAME)(x) x nn.relu(x) x nn.max_pool(x, window_shape(2, 2), strides(2, 2)) x x.reshape((x.shape[0], -1)) x nn.Dense(features128)(x) x nn.relu(x) x nn.Dense(features10)(x) return x這里使用 Flax 來定義模型。Flax 是 Google 官方維護(hù)的 JAX 神經(jīng)網(wǎng)絡(luò)庫和 JAX 一起使用時體驗(yàn)最自然。如果你之前用過 PyTorch 的nn.ModuleFlax 的nn.Module風(fēng)格會比較接近。創(chuàng)建train.py這是訓(xùn)練循環(huán)的核心import jax import jax.numpy as jnp import optax from flax.training import train_state from model import SimpleCNN from data import load_mnist def cross_entropy_loss(logits, labels): one_hot jax.nn.one_hot(labels, num_classes10) return -jnp.mean(jnp.sum(one_hot * jax.nn.log_softmax(logits), axis-1)) def compute_metrics(logits, labels): loss cross_entropy_loss(logits, labels) accuracy jnp.mean(jnp.argmax(logits, axis-1) labels) return loss, accuracy jax.jit def train_step(state, batch): images, labels batch def loss_fn(params): logits state.apply_fn({params: params}, images, trainingTrue) return cross_entropy_loss(logits, labels) loss, grads jax.value_and_grad(loss_fn)(state.params) state state.apply_gradients(gradsgrads) return state, loss jax.jit def eval_step(state, batch): images, labels batch logits state.apply_fn({params: state.params}, images, trainingFalse) return compute_metrics(logits, labels) def create_train_state(rng, learning_rate): model SimpleCNN() params model.init(rng, jnp.ones((1, 28, 28, 1)))[params] tx optax.adam(learning_rate) return train_state.TrainState.create(apply_fnmodel.apply, paramsparams, txtx) def main(): rng jax.random.PRNGKey(0) state create_train_state(rng, learning_rate1e-3) train_ds, test_ds load_mnist(batch_size128) # 將 TensorFlow Dataset 轉(zhuǎn)換為 NumPy Iterator train_iter iter(train_ds) test_iter iter(test_ds) for epoch in range(3): for step in range(100): batch next(train_iter) images batch[0].numpy() labels batch[1].numpy() state, loss train_step(state, (images, labels)) if step % 20 0: print(fepoch {epoch} step {step} loss {loss:.4f}) # 每個 epoch 結(jié)束評估一次 total_loss 0.0 total_acc 0.0 num_batches 0 for _ in range(50): batch next(test_iter) images batch[0].numpy() labels batch[1].numpy() loss, acc eval_step(state, (images, labels)) total_loss loss total_acc acc num_batches 1 print(fepoch {epoch} eval loss {total_loss / num_batches:.4f} facc {total_acc / num_batches:.4f}) if __name__ __main__: main()這段代碼有幾個關(guān)鍵點(diǎn)使用jax.jit裝飾訓(xùn)練和評估函數(shù)讓 XLA 將整個計算過程編譯成融合算子。每個 batch 通過.numpy()從 TensorFlow Dataset 轉(zhuǎn)換為 NumPy 數(shù)組供 JAX 消費(fèi)。訓(xùn)練狀態(tài)由TrainState統(tǒng)一管理包含模型參數(shù)和優(yōu)化器狀態(tài)。打印網(wǎng)絡(luò)在 MNIST 上的 loss 和 acc用來驗(yàn)證模型真實(shí)地訓(xùn)練起來了。4.4 真機(jī)運(yùn)行與驗(yàn)證在 Colab 或 TPU VM 上執(zhí)行python3 train.py正常輸出會類似epoch 0 step 0 loss 2.3021 epoch 0 step 20 loss 0.4218 epoch 0 step 40 loss 0.2534 epoch 0 step 60 loss 0.1842 epoch 0 step 80 loss 0.1507 epoch 0 eval loss 0.0852 acc 0.9734 ...看到 loss 在下降、eval accuracy 穩(wěn)步上升說明 JAX XLA TPU 這條鏈路已經(jīng)跑通了。接下來就可以把這里的SimpleCNN替換成真實(shí)模型把load_mnist替換成你的真實(shí)數(shù)據(jù)集。4.5 關(guān)于多卡 TPU 的擴(kuò)展思路上面的代碼是單進(jìn)程、單 TPU 核心訓(xùn)練的寫法。如果你創(chuàng)建的是多核心 TPUJAX 會自動識別多個設(shè)備。想要利用多個核心并行訓(xùn)練最簡單的方式是使用jax.device_put和pmap對 batch 做數(shù)據(jù)并行切分。from jax import pmap # 將狀態(tài)復(fù)制到所有設(shè)備 state jax.device_put_replicated(state, jax.devices()) # 多設(shè)備并行訓(xùn)練步驟 pmap def train_step_multi(state, batch): return train_step(state, batch) # 切分 batch 到多個設(shè)備 images images.reshape((num_devices, -1) images.shape[1:]) labels labels.reshape((num_devices, -1))這只是一個非常簡化的pmap示例真實(shí)多卡訓(xùn)練還要考慮 batch 切分策略、梯度累積、AllReduce 等細(xì)節(jié)。建議先把單 core 代碼跑通再逐步過渡到pmap或shard_map。5. TensorFlow 方式用 TPUStrategy 做分布式訓(xùn)練雖然 JAX 在 TPU 上體驗(yàn)越來越主流但生產(chǎn)環(huán)境中大量存量代碼還是 TensorFlow 的。如果你不想重寫模型可以直接使用 TensorFlow 的TPUStrategy把現(xiàn)有模型遷移到 TPU。5.1 TPUStrategy 工作原理TPUStrategy是 TensorFlow 的分布式策略之一。它會自動完成幾件事把模型變量復(fù)制到每個 TPU 核心。把全局 batch 切分成每個核心處理一個子 batch。優(yōu)化器在反向傳播后做跨核心梯度 AllReduce。對訓(xùn)練循環(huán)內(nèi)部使用tf.function編譯配合 XLA 加速。它的關(guān)鍵思路是“數(shù)據(jù)并行 同步更新”。用戶只需要寫一份單機(jī)單卡代碼策略層負(fù)責(zé)把計算擴(kuò)展到多個 TPU 核心上。5.2 TPUStrategy 訓(xùn)練示例import tensorflow as tf # 1. 初始化 TPU resolver tf.distribute.cluster_resolver.TPUClusterResolver() tf.config.experimental_connect_to_cluster(resolver) tf.tpu.experimental.initialize_tpu_system(resolver) strategy tf.distribute.TPUStrategy(resolver) print(TPU devices:, resolver.cluster_spec().as_dict()) # 2. 在 strategy 作用域內(nèi)構(gòu)建模型 with strategy.scope(): model tf.keras.Sequential([ tf.keras.layers.Conv2D(32, (3, 3), activationrelu, input_shape(28, 28, 1)), tf.keras.layers.MaxPooling2D((2, 2)), tf.keras.layers.Conv2D(64, (3, 3), activationrelu), tf.keras.layers.MaxPooling2D((2, 2)), tf.keras.layers.Flatten(), tf.keras.layers.Dense(128, activationrelu), tf.keras.layers.Dense(10), ]) model.compile( optimizertf.keras.optimizers.Adam(1e-3), losstf.keras.losses.SparseCategoricalCrossentropy(from_logitsTrue), metrics[accuracy], ) # 3. 準(zhǔn)備數(shù)據(jù) (x_train, y_train), (x_test, y_test) tf.keras.datasets.mnist.load_data() x_train x_train.reshape((-1, 28, 28, 1)).astype(float32) / 255.0 x_test x_test.reshape((-1, 28, 28, 1)).astype(float32) / 255.0 # 4. 訓(xùn)練 model.fit( x_train, y_train, batch_size128, epochs3, validation_data(x_test, y_test), )TPUStrategy的遷移成本很低尤其適合原本就是 Keras 寫的模型。如果你的模型里含有自定義tf.Variable更新邏輯就需要確認(rèn)變量創(chuàng)建是否都發(fā)生在strategy.scope()內(nèi)。5.3 TFRecord 數(shù)據(jù)管道與 TPU 的配合真實(shí)訓(xùn)練中數(shù)據(jù)通常在 GCS 上推薦使用 TFRecord 格式來減少小文件數(shù)量提高 TPU 的讀取效率。import tensorflow as tf def decode_fn(record_bytes): features { image: tf.io.FixedLenFeature([28 * 28], tf.float32), label: tf.io.FixedLenFeature([], tf.int64), } parsed tf.io.parse_single_example(record_bytes, features) image tf.reshape(parsed[image], (28, 28, 1)) return image, parsed[label] def build_dataset(file_pattern, batch_size, is_trainingTrue): dataset tf.data.Dataset.list_files(file_pattern) dataset dataset.interleave( tf.data.TFRecordDataset, cycle_length8, num_parallel_callstf.data.AUTOTUNE, ) dataset dataset.map(decode_fn, num_parallel_callstf.data.AUTOTUNE) if is_training: dataset dataset.shuffle(10000).repeat() dataset dataset.batch(batch_size, drop_remainderTrue) dataset dataset.prefetch(tf.data.AUTOTUNE) return dataset數(shù)據(jù)管道本身是 CPU 上的工作但它的吞吐能力直接決定了 TPU 是否被喂飽。經(jīng)驗(yàn)法則是數(shù)據(jù)管道的吞吐至少要達(dá)到模型訓(xùn)練速度的 2 倍否則訓(xùn)練過程中會不斷出現(xiàn)“等待數(shù)據(jù)”的空窗期。6. 常見問題與排查思路6.1 TPU 初始化失敗或設(shè)備不可見問題現(xiàn)象RuntimeError: Unable to initialize the TPU system.可能原因當(dāng)前運(yùn)行時不是 TPU 環(huán)境。JAX/TensorFlow 版本與 TPU 運(yùn)行時版本不匹配。運(yùn)行時使用舊內(nèi)核沒有加載必要的驅(qū)動。排查步驟先檢查設(shè)備文件是否存在在 TPU VM 上執(zhí)行l(wèi)s /dev/accel*。再執(zhí)行jax.devices()或tf.config.list_logical_devices(TPU)看框架層是否識別到設(shè)備。確認(rèn)虛擬環(huán)境中的包版本與當(dāng)前 TPU 版本匹配。重啟運(yùn)行時尤其是在切換 TPU 類型之后。6.2 XLA 編譯報錯 “unsupported operations”問題現(xiàn)象Detected unsupported operations when trying to compile graph可能原因模型里使用了 XLA 不支持的算子。自定義 Layer 或自定義 JAX 函數(shù)里調(diào)用了無法被轉(zhuǎn)換成 HLO 的 Python 控制流。解決思路逐步裁剪模型定位到具體是哪個操作不能被編譯。檢查是否是動態(tài)形狀問題TPU 上盡量避免 runtime shape 變化。對自定義算子優(yōu)先考慮能否用現(xiàn)有的 JAX 原生操作重寫。6.3 關(guān)于 16KB page size 編譯包報錯問題現(xiàn)象在安裝或運(yùn)行 TPU SDK 相關(guān)包時出現(xiàn)類似 “an error occurred while preparing sdk package 16 kb page size” 的報錯。背景原因TPU 運(yùn)行環(huán)境的虛擬地址頁大小是 16KB而常見 x86 Linux 是 4KB 頁。本地下載的預(yù)編譯 wheel 如果是在 4KB 頁環(huán)境下構(gòu)建的運(yùn)行時會與 TPU 內(nèi)核模塊或運(yùn)行時庫不兼容。解決思路不要直接從普通 PyPI 鏡像安裝 TPU 相關(guān)包優(yōu)先使用官方發(fā)布渠道。在 TPU VM 內(nèi)重新安裝匹配版本而不是把本地環(huán)境復(fù)制過去。查看完整日志確認(rèn)是下載失敗還是安裝后運(yùn)行時崩潰。6.4 OOM 與 batch size 調(diào)整問題現(xiàn)象訓(xùn)練時出現(xiàn)Resource exhausted錯誤??赡茉騜atch size 過大超出了 TPU 單核的 HBM 容量。模型參數(shù)或中間激活值過大。數(shù)據(jù)管道prefetch使用內(nèi)存過多。解決思路先嘗試減小 batch size確認(rèn)模型在單卡上可以跑通。合理設(shè)置prefetch和num_parallel_calls避免 CPU 端內(nèi)存溢出。檢查 XLA 是否啟用了內(nèi)存優(yōu)化選項(xiàng)但不要盲目相信默認(rèn)配置。6.5 排查清單匯總問題現(xiàn)象常見原因解決思路設(shè)備不可見運(yùn)行時環(huán)境錯誤 / 版本不匹配檢查/dev/accel*重啟運(yùn)行時核對版本XLA 編譯失敗不支持的算子 / 動態(tài) shape簡化模型逐步定位避免動態(tài)形狀16KB page size 報錯wheel 與 TPU 頁大小不匹配使用官方發(fā)布渠道安裝匹配包OOMbatch size 過大 / 中間激活過大調(diào)整 batch size優(yōu)化數(shù)據(jù)管道內(nèi)存訓(xùn)練速度上不去數(shù)據(jù)管道存在瓶頸使用 TFRecord、interleave、prefetch 優(yōu)化輸出結(jié)果有 NaN學(xué)習(xí)率過高 / 精度配置不當(dāng)降低學(xué)習(xí)率使用混合精度時檢查損失縮放7. 最佳實(shí)踐與工程建議7.1 數(shù)據(jù)管道要提前壓測TPU 非?!疤羰场彼倪\(yùn)算速度快到如果數(shù)據(jù)管道沒跟上訓(xùn)練就會空等。建議在正式訓(xùn)練前先單獨(dú)測試數(shù)據(jù)管道的吞吐能力。import time train_iter iter(train_ds) start time.time() for i in range(100): batch next(train_iter) end time.time() print(f100 batches take {end - start:.2f}s)如果數(shù)據(jù)讀取時間占比過高優(yōu)先使用 TFRecord 格式、interleave并行讀取、prefetch預(yù)加載等手段。7.2 使用混合精度時需要驗(yàn)證損失縮放TPU 的 bfloat16 支持是它的強(qiáng)項(xiàng)之一。用jax時可以很自然地把部分參數(shù)轉(zhuǎn)換成bfloat16或使用混合精度訓(xùn)練。但在混合精度下梯度很小的時候有可能在低精度下溢出導(dǎo)致 NaN。建議開啟損失縮放Loss Scaling機(jī)制并周期性檢查梯度統(tǒng)計而不是在出現(xiàn) NaN 后才去排查。7.3 模型算子優(yōu)先考慮 JAX/TensorFlow 原生實(shí)現(xiàn)遇到自定義算子時優(yōu)先檢查原生庫里有沒有替代實(shí)現(xiàn)。XLA 對原生算子的融合優(yōu)化做得很成熟但自定義算子往往無法被融合會打亂 XLA 的優(yōu)化策略。如果一定要使用自定義算子至少把“無法編譯”的算子獨(dú)立出來避免拖累整體性能。7.4 成本與資源管理TPU 資源通常是按時計費(fèi)的長期任務(wù)建議配合 checkpoint 和自動重啟機(jī)制。這里給出幾個實(shí)用性建議訓(xùn)練腳本要有穩(wěn)定的 checkpoint 保存與恢復(fù)邏輯。使用搶占式資源時代碼要能安全處理進(jìn)程中途被回收的情況。創(chuàng)建 TPU 實(shí)例后盡快驗(yàn)證訓(xùn)練腳本避免空轉(zhuǎn)計費(fèi)。配置監(jiān)控報警對異常掉線、訓(xùn)練停滯、指標(biāo)不回傳這些情況做告警。7.5 把訓(xùn)練過程日志化TPU 上的日志查看比 GPU 環(huán)境要麻煩一些尤其是多 worker 場景下。推薦在訓(xùn)練腳本中顯式記錄關(guān)鍵指標(biāo)比如每個 epoch 的 loss、acc、每個 step 的平均耗時、數(shù)據(jù)加載耗時等并把日志輸出到統(tǒng)一的日志平臺方便后續(xù)歸因。import logging logging.basicConfig( levellogging.INFO, format%(asctime)s %(levelname)s %(message)s, ) logging.info(start training, devices%s, jax.devices())這一步可能看起來不起眼但當(dāng)你遇到 TPU 訓(xùn)練中途卡死、重啟、性能退化問題時這些日志是定位問題的唯一線索。8. 總結(jié)Google TPU 軟件棧本質(zhì)上是一條從深度學(xué)習(xí)框架到專用硬件的編譯和運(yùn)行鏈路JAX、TensorFlow、XLA 和 libtpu 各司其職。對開發(fā)者而言遷移到 TPU 時最需要調(diào)整的往往不是模型結(jié)構(gòu)本身而是對計算圖編譯、數(shù)據(jù)切分、內(nèi)存規(guī)劃這些底層層面的理解。如果你準(zhǔn)備開始嘗試建議從 Colab 免費(fèi) TPU 環(huán)境入手把 MNIST 或自己的小型模型跑通再逐步擴(kuò)展到真實(shí)業(yè)務(wù)模型。遇到 16KB page size、XLA 編譯失敗、TPU 設(shè)備不可見這類問題先順著軟件棧的層級逐層排查不要一開始就懷疑硬件。只要把 JAX 或 TensorFlow 的 TPU 鏈路跑通一遍后續(xù)在 Cloud TPU 上做規(guī)模化訓(xùn)練會順暢得多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久视频婷婷视频| 伊人日日干| 丁香五月激情在线| CAOBIBI| 色五月丁香五月五月婷婷| 激情文学久久| 九九热这里有精品视频| 五月天成人在线视频网站| 色色丁香五月天| 秋霞AV淫| 久久九九经典| 欧美性猛交99久久久99| 嫩草免费视频| 丁香桃色网| 99热这里只有精品在线| 婷婷六月丁香久| 天天摸天天肏| 5月婷婷性视频| 亚洲激情四谢| 亚洲情欲| 91avse| 亚洲人妻Av| 国产免费一区二区三区三州老师F1F1.CC | 色九四色| 大香线蕉伊人| 天天综合网、天天综合色 | 五月丁香A片| 欧美婷婷| 热久久精品视频网站| 五月天操逼激情| 色婷婷色五月综合| 人橾人| 亚洲黄色精品| 五月婷婷在线视频免费观看| 成人AV片播放| 精品久久99| 亚洲婷婷月丁香五月| 免费看欧美成人A片无码| 五月丁香婷婷伊人| 91婷色| 亚洲色啪| 激情婷婷五月天日本系列| 大香蕉人人网| 日日操天天操| 婷婷性福五月天| 五月丁香无码| 免费观看18视频网站| 99热日韩| 成人操呦av| 婷婷色五月大香蕉在线| 婷婷黄色| 男人天堂亚洲综合| 国产亚洲99久久| av九九| 九月婷婷丁香| 一级黄色影片| 91丨九色丨首页| 婷婷成人AV| 九九视频网| 99久久婷婷国产综合亚洲| 九色91视频| 亚洲丁香五月综合| 97丁香五月| 精品久久99| 五月天激情网开心网| 99热这里有精品首页10| 婷婷丁香无码专区| 婷婷五月天av| 4438激情网| 操人妻90p| 丁香六月天婷婷| 99久久精品国产色欲| 婷婷丁香五月天欧美| 五月天激情美女久久| 国产精品爽爽久久久久久| 思思热久久阴99| 无码AV大香线蕉伊人| 另类天堂| 五月婷婷丁香大陆免费| 九久9精品| 国产黄色在线观看| 香蕉婷婷| 五月花激情| 五月天婷婷深深爱| 丁香九月综合| www.99精品日操伊人乱碰在线| 婷婷五月天激情综合| 亚洲小视频免费播放| 大香蕉在线观看9| 操操碰| 九九一综合精品| 日韩精品成人在线| 丁香五月婷婷老师网站| 国产XXXX搡XXXXX搡麻豆| www.色五月| 五月婷婷综合色啪首页| 色婷婷六月性| 亚洲色图五月丁香| 密臀av无码人妻精品| 99精品偷自拍| 丁香六月综合激情| 国产精品视频免费看| 在线A色| 色五月婷婷中文字幕在线观看| 中文字幕欧美精品久久| 激情综合色婷婷啪啪五月天| 日本视频不卡123区| 秋霞性爱AV| 五月天激情无码| 天天日日人| 成人AV网站在线| 激情内射人妻1区2区3区| 99熟女| 久久综合五月天| 激情网五月婷婷| 色婷婷婷综合五月天| 欧美色99| 99热国产免费| 夜夜骑天天操| 精品A√| 5月婷婷性视频| 婷婷va| 亲子乱AV-区二区三区| 色色操| 大香蕉九九| 五月天婷综合| 五月天com| 色色色成人网| 俺去啦综合网| 综合色色色色色色| 青青草成人网| 色色色色色色色色色色色色色97| 成片免费播放| 91狠狠综合久久久久久| www.狠狠操.co m| 久久草大香蕉| 99久久久99久久91熟女| 欧美日韩成人在线| 91精品婷婷国产综合久久| 六月激情丁香一道本7777| 热99玖玖99玖玖99九九| www.九九婷婷| 成人网丁香五月| 九九综合五月欧美| 99热热热国产超碰| 91婷婷色 | 日本99热| 久久9热好| www.狠狠操| 日本色婷婷| 天天激情站| 色玖玖| 午夜五月天| 婷婷成人综合| 婷婷五月天成人| 免费看欧美成人A片无码| 激情五月天色播| 秋霞免费视频| 大香蕉在线观看9| 色婷婷91激情小说| 99热大香蕉| 日本人人草草| 五月综合激情久久| 五月丁香五月天现场视频| AV天堂婷婷五月天| 激情五月天天狠狠久久| 夜夜操天天干| 91狼友视频在线观看| 五月丁香综合网| 色色五月丁香婷婷综合| 色情五月丁香| 丁香六月高清视频| 欧美人人草| 99久久综合| 天天干天天操天天爽| 超碰在线免费| 国产,欧美,学生妹,视频| 1024久婷| 五月婷婷色综图片| 丁香婷婷六月激情综合| 一区二区免费看| 一起草性爱不卡视频| 国产午夜精品AV一区二区麻豆| 亚洲日韩乱码一区二区三区四区| 日本黄色精品| 国产色色在线| 五月丁香六月婷婷久久| 五月婷婷在线视频| 99热人人操人人操| 久色视频在线| 伊人五月天在线| 超碰免费99| 99视频只有精品| 熟妇国产| VA婷婷| 色偷偷狠狠| 激情五月激情综合网| 五月婷婷丁香在线| 激情淫乱男女| 丁香五月天AV在线| 人妻激情综合| 激情久久综合网| 99精品视频免费观看,| 色综合色色色| 欧美电影在线观看| 97久久精品| www.久久五月天.com| 丁香五月婷婷色情综合| 另类激情综合| 98色花堂98t.R| 内射丰满人妻| 任你草| 精品国产一区二区三区四区阿崩| 中文字幕,综合,91| 深爱开心激情网| 五月婷婷丁香五月 | 亚洲99热| 欧美经典片免费观看大全| 九九无毛| 99热在线这里只有精品| 99热婷婷| 91精品国产91久久久久青草| 九九色综合九九色| 黄色片久久| 九九婷婷综合| 99热精品在线免费观看| 五月丁香六月婷婷中文版| 99爱视频在线观看这里只有精品| 国产精品日本一区二区在线播放| 五月天啪啪| 六月色播| 少妇高潮呻吟A片免费看软件| 啪啪婷婷五月天激情| 婷婷五月天亚洲激情戏精品| 激情五月天视频| 大香蕉在线观看9| 婷婷她六月天| 婷婷色播婷婷| 五月激情射| 青青福利网| 五月婷婷激情网| 操逼六区| 激情久久久久久久久久| 免费看欧美成人A片无码| 99综合久久| 夜夜骑天天操| 丁香五月婷婷色情综合| 婷婷丁香大香蕉| 99热这只有| 久9久9久9久9久9久9| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 激情图片五月天| 婷婷五月性感| 99热骚货| 综合天堂AV久久久久久久| av九九| 99在线视频精品| 肏日网在线看 | 97人碰人操| 亚洲在线视频321| 天天拍久久| 丁香五月影院| 色婷丨日丨天丨综合久久| 亚洲激情在线| 性色人人爽| 久久精品五月天| 伊人大香久久| 日本丁香五月| 九月婷婷激情久久| 超碰1999| 五月天大香蕉视频| 狠狠干思思热| 天天久久婷婷| 操一操干一干| 六月婷婷色色色| 婷婷激情社区| 99操网站| 日日夜夜爽| 日日天天干| 另类天堂| 婷婷久草| 婷婷丁香激情| 久久久婷婷色五月资源网| 久热只有这里精品| se99热久久一本| 超碰1999| 色九九一二| 五月天桃色深爱网| 五月激情啪啪啪| 婷婷色导航| 激情综合在线观看| 五月丁香影视| 久久人妻情侣| 曰本aaaaaa丈片| AV人人操| 99操逼| 天干夜夜操| 日本在线wwww| 久久9热| 久久色天堂| 五月丁香色婷婷色| 亚洲网站在线鸭子av| 国产精品第一国产精品| 婷婷激情五月天小说校园| 综合久久首页| 国产成人+综合亚洲+天堂| 麻豆雪千夏| 99久久久免费| 99热日本| 五月激情射| 99热大香蕉| 婷婷性爱| 亚洲岛国电影| 婷婷亚洲欧美丁香五月| 九九操操| 狠狠干.com| 激情五月天综合| 婷婷五月丁香91| 99视频精品在线| 久久久久综合激动五月天| 亚洲AV成人无码精品| 五月天啪啪啪| 激情影院内射| 色五月,婷婷大香蕉| 91色色色18| 99热永久在线观看| 日韩国产AV播放| 99热天堂| 俺五月| 淫荡A片| 婷婷伊人綜合中文字幕| 婷婷丁香五月亚洲免费| AA丁香综合激情| 激情内射人妻1区2区3区| 这里只有精品在线视频在线观看| 五月婷婷丁香啪啪| Aα在线免费观看| 色婷婷小说| 爱婷婷久久视频| 久久久久久久久久91| 丁香六月婷婷| 五月天成人免费视频| 思思久久99热| 婷婷之玖玖| 久碰视频| 久久精品人妻| 99热日本| 另类图片天天影视在线观看| www.亚洲激情.com| 五月香婷婷| 亚洲这里只有精品| 人妻熟妇六区| 婷婷五月天堂| 99碰在线视频| 欧美日韩精品人妻狠狠躁免费视频| 五月天亭亭俺也| 激情五月天婷婷久久久久久久久久久| 91视频免费后入强操| 激情綜合W W W,激情五月天| 激情深爱五月天| 丁香五月第九色| 六月婷色| 婷婷丁香五月天色色| 丁香六月综合激情| 9久国产精品| 五月婷婷手机在线| 五月天激情站| 欧美色色色色色| 日本精品人妻无码77777| 久操无码| 久久久噜噜噜久久人妻| 国模淫穴色图| 婷婷黄色五月天在线视频| 99色热视频| 欧美一级毛卡片无码| 99只有精品| 丁香五月影视| 天天做天天爱天天玩| 日本九九热| 99热精品在线播放| 亚洲综合九九| 婷婷色色丁香五月天| 操草草草| 大香蕉AV电影在线| 日韩色色色色| XX色综合| 无码激情AAAAA片-区区| 中文字幕按摩做爰| 欧美性爱五月天| 国产色色视频| 人妻内射视频| 色婷婷www| 草婷婷在线| 大香蕉久久| 99狠狠色| www.99热在线观看| 婷婷欧美综合| 色综合九九色综合88| 亚洲另类毛片| 五月丁香久久色| 伊人久久大香线蕉精品| 亚洲第一成人无码A片| 激情深爱五月天| 97操视频| 久久性爱视频| 97超碰在线免费观看| 色婷婷久久综合中文久久一本| 中文字幕 久久9999| www.久久五月天.com| 激情四射五月天偷偷看婷婷| 色色无码日韩| 天天 青草 制服丝袜 在线| 91九色|疯狂|高潮|对白|| 久久色五月天| 九热...av| aa久久| 开心五月综合激情网| 99热99美国在线观看| 伊人超碰在线| 任你日热视频| 色伊人婷婷| 中美日韩成人在线| 丁香五月婷婷五月天在线| 五月天婷婷久久| 五月色婷婷影院| 色婷婷操逼| 99人人干| 丁香六月中文| 五月色俺婷婷| 婷婷五月激情小说| 亚洲九区| 久久综合激情| 91人人人人人| 色激情五月| 亚洲区1| 色色网站在线| 超碰高清在线| 森林影视大全,最好看的2019年视频| 久久免费干| 激情视频网址| 97人人干。| 久久久久亚洲AV无码网影音先锋| 人妻精品久久久久久久| 天天日夜夜B久久| 九色在线观看91av| 久热精品9999| 色五天综合| 丁香五月综合| 成人va视频| ss五月天激情| 超碰在线人妻| 26uuu丁香婷婷五月| 丁香五月婷婷基地| 97婷婷丁香| 亚洲人人操BD| 逼逼AV| 99ri国产| 超碰在线观看9| 久久久久久久91| 五月天色色网站| 欧美久久网| 99热这里只有精品18| 久久黄色网扯| 久久3p| 人妻中文字幕精品| 青吴乐视频| 成人无码精品1区2区3区免费看| 亚洲综合草草| 亚洲天堂爱爱| 99啪99| 综合图片色色| 五月天停婷基地| 玖玖资源站蜜臀| 国产高清精品色| 狠狠久久婷五月综合色| 99热婷婷| 人妻射精AV| 丁香婷婷综合影院| 五月宗合激情网| 日日射天天射| 这里只有免费的精品| 26uuu色噜噜精品一区| 99亚洲天堂| 亚洲av日韩无码| 97婷婷狠狠久久综合9色| 69人人操人人爽| 婷婷丁香六月天激情四射网| 婷婷色色综合| www.久久色.com| 黄色短视频在线观看| 狠狠色狠狠色综合日日91| 久久婷婷超碰| 九 九九九AV| 婷婷五月激情小说| 亚洲xx网| 99日本黄站| 久激情网| 超碰成人免费| 国产美女精品| 色色色色网| 日日夜夜狠狠| 五月丁香人妻| 中国女人内射6XXXXX| 夜夜爽天天干| AV在线不卡播放| 精品国婬伦V无码久久久| 色久一| 日韩三及成人AV片| 就是色婷婷五月亚洲色| 亚洲久久婷婷丁香五月天| 五月天激情婷婷丁香| 五月丁香激情婷婷综合| 99热精品在线免费观看| 成人在线视频网| 开心婷婷五月| www,99热在线观看| 丁香五月天婷婷中文字幕| 射久久丁香五月| 狠狠色婷婷7777久| 久久性爱99国产| 婷婷黄色五月| 梁铮版蜘蛛女在线观看| 婷婷五月天激情开心网| 亚洲第一综合| 久久久九九视频精品18| 色婷婷大香蕉| 中文字幕AV在线播放| 一起草av| 99视频久久| 精品人妻一区| 久草网大香视频| 日韩色色网| 淫荡综合网| 日良久久| 狠狠狠狠狠狠草| 综合久久综合| 夜夜操天天干| 乱精品一区字幕二区| 久久久婷婷色五月资源网| 97人人干| 激情六月天| 婷婷五月花| 铁牛TV人妻| 天天色色婷婷| 综合网天天| 久久精品五月| 99色在线观看视频| 亚洲精品色| 九九色婷婷| 久婷首页| 新精品99| 激情丁香五月| 97人人草| 任你日视频| 五月婷性爱| 一区二区三区四区五区| 九九九色综合| 日韩在线观看亚洲| 天干夜夜操| 欧美99热| 五月开心婷婷极品激情| 99热碰碰热| 超碰激情五月| 伊人AV五月婷| 91丨九色丨首页| 六月丁香视频网站| 日本色色网| 天天爽天天日| 91综合在线观看首页| 久久99热精品a片在线观看| 婷婷五月丁香五月| 亚洲艹网| 婷婷久久久久| 超碰免费人妻| 91狠狠色色丁香婷婷综合久久| 久久久久久久久18久久| 亚洲丁香网| 在线看的免费网站| 第一区久久网站| 性做爰A片免费视频A片直播| 五月丁香久久综合精品| 艹B高清无码| 天天舔天天摸天天射| 色5月婷婷| 99re66热这里只有精品| 99欧州偷拍视频| 五月丁香激情婷婷| 色色色综合视频| 综合久久五| 色婷婷小说网| 久久婷婷五月国产色综合激情| 亚洲乱码日产精品BD| 天天谢天天操| 超碰超碰在线| 久久精品国产一区二区三区四区| 婷婷无五月无码视频| 另类激情五月| 欧美日韩婷婷五月天| 色综合99| 精品思思久久| 99热人人艹| 99婷婷国产最新视频| 亚洲婷婷在线播放十月| 99re欧美精品| www.婷婷| 激情精品久久| 9久操| 性按摩玩人妻HD中文字幕| 日韩成人精品中文字幕| va亚洲中文在线| 超碰在线免费9| site:feetmall.com| AV网在线观看| 色综合大香蕉| 九九热区一区二区三区| 丁香五月ⅤA久久久| 色色五月丁香| 婷婷五月骚厕所| 综合网啪啪| 青青草视频免费观看| 亚洲欧美日韩另类| 国产精品美女| 久久五月天婷婷视频| 99在线精品免费视频| 久久人妻人人槡| 欧美日韩国产伦精品日韩人妻一| 91丨九色丨国产打屁股| 99在线精品视频免费观看20| 五月天伊人久久久久| 色五月在线观看| 激情五月婷婷色综合| 一区二区乱视频码| 色色色综合网| 亚洲激情电影五月天色婷婷丁香一起草 | 一点色成人网| 五月天亚洲综合网| 九九免费视频在线| 97婷婷在线视频| 色五月大香蕉| 国产精品色婷婷99久久精品| 国产.亚洲.欧洲视频在线| 久久亚洲婷婷| 激情都市丁香婷婷| 天天操九九插| 9999久久久久| 国产小网站| 粉嫩AV久久一区二区三区| 丁香五月婷婷日本| 久久只这里有精品| 激情欧美婷婷| 超碰成人av| 亚洲精品无码A片一区二区| 五月婷婷开心网| 激情五月小说婷婷| 天天日,夜夜爽| 九九色影视| 综合99在线| 国产AV一区二区三区最新精品| 欧美大香蕉视频| 国产精品久久7777777精品无码| 99操| 日本一级一片免费视频| 秋霞网在线免费基地五月婷婷丁香| 色婷婷在线视频| 五月天成人小说网| Www.激情| 婷婷五月天美女视频| 99热大全在线观看| 激情综合啪啪| 丁香五月AV| 婷婷综合在线播放| 综合精品99| 午夜激情四射影院| 日韩专区五月天婷婷丁香| 亚洲人妻av| 伊人在线视频| 欧美在线视频99| 激情五月丁香五月| 99色热| 久婷婷| 狠狠久久婷五月| 五月天色色婷婷| 婷婷五月天影视首页| 国产午夜一区二区三区| 色婷婷色人人射| 久热a| 亚洲色色在线| 日本九九热| 99热大片| 性生活久久朋友人妻| 成人片黄网站色大片免费毛片| 丁香婷婷色五月| 综合色图区| 激情四射五月天| 五月婷在线| www.99在线| 久久99久久99精品免视看婷婷| 99热精品在这里| 亚洲中文乱字字幕在线永久| 久久9视频| 少妇性BBB搡BBB爽爽爽视頻| 国产伦亲子伦亲子视频观看| 极品少妇婷婷五月| 婷婷激情综合色五月久久图片| 91色吧网| 色色色五月婷婷| 美女五月激情| 婷婷五月精品在线| 色五月婷婷五月| 99久久婷| 夜夜爽77777妓女免费下载| 亚洲综合网在线| 99年操人人爽| 色婷婷丁香九月| 综合玖玖性爱免费视频| 夜夜骑日日夜夜| 99热九九热| 天天搡日日搡aaaaⅩ| 九九热免费视频| 一区二区无码视频| 性色婷婷| 在线综合婷婷| 天堂草在线观| 大香蕉大香蕉在线影院| 99精品久久| 69久久99精品久久久久婷婷| 超碰在线视屏| 亚洲字幕AV一区二区三区四区| 丁香久久九九99| 99热这里只有精品一区| 婷婷六月花| 9l视频自拍9l视频自拍九色学生| 激情五月综合| 91亚洲视频| 99国产欧美视频| 高清成人综合| 九九久久99| 五月开心色| 色色国产| 欧美超级视频97| 婷丁香五月天| 91丨九色丨熟女| 欧美丰满熟妇BBB久久久| 色五月婷婷影视| 五月婷婷六月激情在线| 99爽视频| www五月天激情com| 人人摸人人| 18久久| 五月丁香六月婷婷不卡免费无码| 日本九九视频| bukadeavzaixian| 有码人妻久久| VA色婷婷| 五月丁香啪。| 色婷婷最爱五月| a网站免费观看| 五月丁了香蕉综合| 99热骚货| 激情五月天色色网| 激情五月天啪啪| WWW.99热| 日韩中文字幕| 人人人操Av| 99精品国产在热久久婷婷| 欧美日韩成卜| 五月婷婷精品视频| 狠狠爱综合网| 色婷婷综合网站| 极品另类| 91男人资源站| 99小视频网站| 91久久日日| 五月丁香色色综合| 丁香五月五月婷婷| 99热这里只有99| 国产激情AV| 婷婷五月中文字幕| 天天日综合| 97操碰98| 久久视频这里99| 九月丁香八月婷婷加勒比| 色色啊| 91丨九色丨大屁股| 六月亚洲婷婷6月中文字幕| 成人国产综合| 五月丁香婷草| 丁香五月综合激情啪啪| 91久久久久久久久久| 五月婷婷开心网| 五月婷婷黄色毛片| 丁香五月天在线观看| 69久久久| 这里只有精品视频在线| 色蜜婷婷| ww久久| 婷婷99狠狠躁天天| 天天干天天爽| 久99热| 婷婷五月天电影网| 五月丁香日本片| 久9视频| 国产JK精品白丝AV在线观看| 久久婷婷五月国产色综合激情| www.五月.com| 综合综合色色| 影音先锋AV资源男人站| 激情五月天激情五月天| 欧美性爱中文字幕| www婷婷| 人妻操逼| 碰碰人人人| 色播激情五月天| 色色色五月婷| 97精品综合久久| 密乳视频| www久久久久| 色婷婷久久久| 五月丁香激情四射| 熟妇内谢69XXXXXA片| 战争与艾拉电影免费观看| 激情丁香五月天图片| 丁香婷婷六月男男| 无码地址| 色综合久久久无码中文字幕999| 五月丁香六月婷婷视频| 日韩高清久久| 99热在这里只有精品| 五月天婷婷自拍图片在线观看| www.9操| 久久爱婷婷| 97AV在线视频| 羞羞嫩草视频| 三级三久久线久久99久目本WW| 色播五月婷婷综合| 色婷婷亚洲综合网站| 久热69| 热这里只有精| 第1影院之五月婷婷| 97人人干人人操| 激情五月天小说视频| 色婷婷五月天成人网| 久久婷婷六月综合| 五月的色婷婷高潮| 九九热九九| www.色多多婷| 国产成人网站在线观看| 激情综合网 激情五月天| 天天网曰日曰夜夜综合永久免费| 人人爱操| 日日干日日| 激情5月婷婷狠狠干| 婷婷五月综合性爱| 激情五月久久| 丁香婷婷六月| 伊人五月人妻精品| 99久久久久久| 色婷婷综合丁香五月天| 99热精品在线观看| 婷婷五月天社区| 人妻系列久久久久久久久久久 | 六月婷婷狠狠| 伊人婷婷色| 国产,欧美,学生妹,视频| 9久热| 丁香五月色| 思思久久96热在精品国产,| 综合大香蕉| 影音先锋男人资源站一区二区| 97碰碰碰免费公开在线视频| 日本婷久久| 欧美人人草| 91精品国产综合久久密臀 | 亚洲精品久久久久久久久久吃药| 大香蕉五月丁香| 亚洲最大五月天成人网| 丁香五月婷婷无码AV| 婷婷色吧| 4399在线观看免费毛片| 五月婷婷欧洲| 国产AV一区二区三区最新精品| www婷婷| 久艹大香蕉| 五月天激情啪啪| 开心五月丁香综合久久| 九九av| 欧美A级网站| 色噜噜狠狠色综合成人网| 婷婷色基地在线看| 亚洲六月综合激情久久下卡| 色婷婷成人做爰A片免费看网站| 91碰碰碰| 日日噜噜夜夜狠狠久久丁香六月| 色综合色色| 99视频精品在线| 色丁香婷婷| www夜夜操wwwcon| 婷婷六月插屄激情| 天天干天天色天天干| 婷婷五月永远18免费久久久| 成人五月天在线观看| 色婷网| 六月激情婷婷色| 日本a片网址| 99色在线视频观看| 99这里只有免费的精品| 天天搞夜夜叫| 99热这是里只有精品| 一起草av| 久久五月天婷婷视频| 九九九九九无码| 大波美女VA网站| 狠狠狠狠狠狠草| 天天日天天干天天爱| 婷婷五月深深的爱| 爱草视频在线| 日撸夜撸日操| 五月婷视频在线| 婷婷五月电影| 丁香五月Av| 九九热在线视频| 2050人人操免费工开爱 | 婷婷五月丁香av网站| 新99色色色色色色| 五月婷婷中文网| 激情性五月天免费小说视频| 欧美α√| 开心五月激情网| 大香蕉啪啪啪| 九色综合网| 免费AV在线| 99色色爰| 色婷婷香蕉丁丁网| 色色射| 99久久极情精品一区| 婷五月天天| 丁香五月日啪| 九九99一区| 五月婷婷色综图片| 亚洲久热| 五月丁香婷婷激情爱爱| 色婷婷五月综合在线| 99热久只有| 亚洲 六月 综合| 国产免费一区二区三区三州老师F1F1.CC| 色噜噜狠狠一区二区三区| 日本熟妇乱妇熟色A片蜜桃| 啪啪视频99| 天堂在线9| w婷婷五月婷婷w| 天天爱天天爽| 亚洲精品亚洲人成人网| 99国产欧美视频| 天天色综合天天| 久8色色| 丁香五月婷婷亚洲综合精品| 成人做爰黄A片免费看直播室男男| 丁香深五月婷婷| 久久丁香五月婷婷| 丁香成人视频| 色9999日韩国产| 99婷婷色| 婷婷开心深爱五月天| 性日本精品| 九九热免费| 色婷婷AV久久| 五月丁香亭亭成人电影| 久色激情| 少妇水多A片太爽了| 人妻AV在线观看| 婷婷六月天亚州| 五月婷色色| 99燥99日| 任你草| 色色亚洲五月天| 国产肥白大熟妇BBBB视频| 亚洲成人AV在线播放| 天天舔日日肏夜夜爽| 激情婷婷五月| 五月天婷婷免费| 天天谢天天操| 99性爱| 日韩在线99| 婷婷五月丁香综合人妻| 香蕉综合网| 成人一级片| 思思热AV| 丁香婷婷九月在线| 色色亚洲无码| 亚洲愉拍99热成人精品| 超碰国产在线观看| 九九热这里只有精品31| 99热色精品| 噜噜色五月| 亚洲AV综合网| yiqicaoav| 天天情色五月天| 九九热在线视频| 激情五月天色色网| 色综合久久中文| 六月婷婷日| 色色色欧美色色| 99热这里只有精品首页| 丁香五月日韩| 五月丁香色综合| 91丨九色丨国产打屁股网站| 五月丁香花免费视频| 八戒青柠影视剧在线观看| 超碰精品在线| 五月大香蕉| 超碰人人操在线| 婷婷色五月激情强奸四射| 婷婷玖玖五月天| 99亚洲视频| 国产黄色av| 可以看的av网站| 无码AV大香线蕉伊人| 深爱五月天天| 噢美99| 天堂婷婷丁香六月网| 专区无日本视频高清8| 五月婷婷深深爱| 五月婷婷激情四季| 色婷婷久久| 亚洲亚洲激情| 国产人妻人伦精品一区二区| 99久热这里有精品| 超碰v| 成人狠狠成人狠狠成人狠狠成人狠狠| 激情又色又爽又黄的A片| 婷婷五月情色| 黄急一级视频| 天天色综合网吨吧| 888久久久| 激情五月天网| 婷婷丁香五月天影院 | 欧美va精品va老师va| 成人丁香五月| 日韩中文欧美| www.夜夜| WWW.开心五月天.COM| 五月丁香激情综合网官网| 国产综合网在线| 超碰在线观看成人视| 五月丁香久久久| 丁香五月手机视频| 99热在线观看精品| 婷色五月| 少妇人妻人伦A片| 激情网开心网| 猫咪伊人AV| 五月丁香婷婷爱| 五月综合激情| 久久久99精品免费观看| 五月丁香六月婷婷久久久综合| 久久综合五月情| 97久久人人| 开心五月激情| 亚洲六月色| 狠狠爱五月婷婷| 嫩草AV久久伊人妇女超级A| 依人大香蕉| 玖玖热视频| 97超碰人人操| 精品影院| 中文字幕激情综合| 丁香婷婷六月婷婷六月婷婷六月婷婷 | 欧美久久九九| 久久婷五月综合| eeuus五月婷| www. 五月. com| 丁香午夜天| 亚洲一区二区无码蜜乳av| 91久久精品无码一区二区三区| 激情丁香五月婷婷| 玖玖资源天天无码| 伊人久久婷婷| 国av网| 超碰chaompinm| 无码色色| 日日爱678| 五月大香蕉| 婷婷丁香五月激情密臀av| wwW天天干| 综合伊人久久| 国产欧美精品AAAAAA片| 九九成人视频| 色五月六月婷婷| 五月婷婷欧美| 五月天久久小说| 天天爽天天| 婷婷五月天激情开心网| 熟女激情网| 黄网免费观看| 亚洲第一成人AV| 婷婷色五月噜噜| 9在线9在线婷婷在线国产| 97资源欧美日韩大香蕉超碰一区| 五月丁香六月花| 婷婷五月成人| 久操干| 色和综合网| 91操碰| 欧美色色色色色色色色色色| 色婷婷综合影院| 无码九九| 亚洲五月天另类小说图片| 欧美黄色一级| 综合色五月天| 99色在线视频| 大香蕉人妻| 中文在线成人| 五月丁香视频色色| AV动漫不卡无码免费| 激情综合区| 九九视频精品这里只有| 激情五月婷婷综合| 国产精品电影网| 亚洲日韩久久婷婷伊人| 久热免费视频| 开心激情综合| 青青草成人网| 999婷婷综合| 久久精品国产色| 性天天中文网| 97精品综合久久| 久婷婷久草| 91精品久久久久久77777| 第四色婷婷色五月| 亚洲精品成人| 激情五月视频| 天天 日综合| 亭亭丁香久久五月| 色色五月丁香| 99五月丁香丁| 五月色网| ay2区| 99re热精品视频国| 99日本黄站| 激情五月婷婷综合| www.激情| WWW.激情| 熟女激情网| 亚洲综合视频天天精品| AV激情五月| 天天人人综合| 色情五月天首页| 五月www| 久久久久久丁香五月| 操丝袜视频影院导航| 九九热这里只有国产精品| 久久机热这里只有精品| 我要射综合| 色五月天电影| 丁香五月婷婷五月天| 色吧五月婷婷| 操操天堂| 九月婷婷综合| 久久精品国产一区二区三区四区| 99热精品在线观看| 丁香五月婷婷社区| 精品导航在线x不卡| 五月婷婷色啪| 伊人婷婷青青cao| 激情深爱综合| 婷婷五月天天aV| 天天做天天爱天天爽综合网| 人妻AV在线观看| 色99在线视频| 99精品视频在线观看| 亚洲综合视频八| 超碰人人99| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 欧美色婷婷| 九九在线精品| 99天天操夜夜操| 2015WWW永久免费观看播放| 99黄色在线视频精品熟女| 五月天无码| 色丁香久综合在线久综合在线观看| www.婷婷五月天,com| 色婷| 婷婷热色| 婷婷综合色图| 免费成人va| 五月天 另类图片| 久久婷婷久久| 天天精品视频免费观看| 国产精品久久久爽爽爽麻豆色哟哟| 97人碰人操| 在线中文字幕视频| 色五月av伊人| 色婷婷五月天视频网站| 激情六月天| 色在线免费观看| 玖玖色综合| 99热这里只有精品50| 中文字幕视频在线播放| 国产肥白大熟妇BBBB视频 | 亚洲色情网站| 久久99久久99久久99人受| 国产美女无遮挡裸体毛片A片| 秋霞AV美国| 五月婷高清视频| 夜夜操天天爽| 亚洲国产精品VA在线看黑人| 激情综合色婷婷啪啪五月天| 婷婷色五月丁香六月欧美啪| 五月丁香人人婷婷在线观看| 国产97色在线| 男人先锋久久| 九九这里只有精品在线视频| 日本成人噜噜| 日本色图综合| 伊人久久丁香狠狠婷婷综合香蕉 | 婷婷五月天性| 久热欧美| 九月婷婷在线视频| 丁香五月婷婷啪| 丁香六月久久| 婷婷五月天综合亚洲| 91热在线| 日本色视| 欧美怡红院黄站| WWW.激情| 婷婷丁香花五月天| 99热官网精品在线| 激情五月激情综合网一级丸片 | 色婷婷久久9.com| 日韩无码人妻一区二区三区综合| 色综合久久99色| 亚洲黄色av网站| 激情纯色婷婷五月天在线不卡视频| 91日韩在线| 男人的天堂97| 六月丁香五月天| 超碰v| 再綫Av免费視品| 操碰99| 97在线/亚洲| 久色欧美| 婷婷五月天亚洲综合网| 五月视频日本免费观看| 婷婷的色色五月天| 亚洲成人中文字幕| 天天碰天天插天天操| 中文毛片无遮挡高潮免费| 99啪啪| 日日操日日撸| 一级精品999WWW| 久久婷婷五月综合激情国产| 中文字幕成人日韩| 婷婷射婷婷舔| 91|疯狂丨高潮丨对白| 婷婷五月天天| 伊人久久艹| 六月五月丁香五月欧美| 色婷婷免费视频| 五月丁香好婷婷A片网| 99热6精品| 91操屁股| 天天狠天天叉| 激情丁香五月AV| 欧美婷婷成人| 91久久五月天| 免费国产视频|