欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

CUDA共享內(nèi)存實(shí)現(xiàn)零拷貝:LLM記憶召回延遲優(yōu)化實(shí)戰(zhàn)

CUDA共享內(nèi)存實(shí)現(xiàn)零拷貝:LLM記憶召回延遲優(yōu)化實(shí)戰(zhàn) 最近在做 LLM 應(yīng)用時(shí)遇到一個(gè)很現(xiàn)實(shí)的問題記憶召回Memory Recall這一環(huán)動(dòng)不動(dòng)就吃掉幾十毫秒整個(gè)會(huì)話響應(yīng)被拖得非常明顯。后來參考了“sidecar”這種進(jìn)程伴生方案配合 C/CUDA 做 Zero-copy 共享內(nèi)存通信把單次記憶召回壓到了 0.46ms 左右。這套方案涉及的知識(shí)點(diǎn)不少從 CUDA 環(huán)境檢測(cè)、共享內(nèi)存同步、C/CUDA 后端實(shí)現(xiàn)到 Python 客戶端接入每一步都有坑。這篇文章就把整個(gè)落地過程完整拆開包括代碼示例和踩坑記錄新手可以照著搭建有經(jīng)驗(yàn)的開發(fā)者也可以直接拿來排查問題。1. Project Kalos 是什么一個(gè)極低延遲的 LLM 記憶召回 sidecar1.1 項(xiàng)目背景大語言模型本身沒有“記憶”所謂記憶通常來自外掛知識(shí)庫、向量數(shù)據(jù)庫、或者業(yè)務(wù)側(cè)的短期長(zhǎng)期記憶模塊。無論是檢索增強(qiáng)生成RAG還是對(duì)話歷史管理都需要在每次推理前快速召回和當(dāng)前問題相關(guān)的向量。傳統(tǒng)做法是對(duì)用戶輸入做 Embedding。去向量數(shù)據(jù)庫里做相似度檢索。把 Top-K 結(jié)果拼進(jìn) Prompt。再送給 LLM 生成回答。第 2 步看起來簡(jiǎn)單但在高并發(fā)場(chǎng)景下如果每次都經(jīng)過 HTTP 調(diào)用、進(jìn)程間數(shù)據(jù)序列化、磁盤或者網(wǎng)絡(luò) IO延遲很容易飆到幾十毫秒甚至上百毫秒。Project Kalos 的設(shè)計(jì)思路是寫一個(gè) C/CUDA 編寫的 sidecar 進(jìn)程常駐在 LLM 推理服務(wù)旁邊通過共享內(nèi)存直接交換數(shù)據(jù)減少數(shù)據(jù)拷貝和進(jìn)程切換開銷。它專門負(fù)責(zé)“記憶召回”這類計(jì)算密集且對(duì)延遲敏感的任務(wù)。1.2 什么是 sidecarsidecar 本身是云原生里的一個(gè)概念比如 Service Mesh 里的 Envoy。它不直接實(shí)現(xiàn)業(yè)務(wù)主流程而是以一個(gè)獨(dú)立進(jìn)程的形式伴生在主服務(wù)旁邊負(fù)責(zé)補(bǔ)充能力比如日志、監(jiān)控、代理、配置管理等等。在 Project Kalos 里sidecar 承擔(dān)的是“高性能記憶檢索”能力主進(jìn)程比如 Python 寫的 LLM 應(yīng)用不用自己管理 CUDA 設(shè)備、不用處理復(fù)雜的內(nèi)存映射。sidecar 負(fù)責(zé)加載記憶向量、執(zhí)行 CUDA kernel、把結(jié)果寫入共享內(nèi)存。主進(jìn)程只通過映射好的共享內(nèi)存讀寫數(shù)據(jù)相當(dāng)于“零拷貝”拿到結(jié)果。這種架構(gòu)的好處是主進(jìn)程語言無關(guān)Python、Java、Go 都能對(duì)接。計(jì)算密集任務(wù)穩(wěn)定跑在 C/CUDA 側(cè)不受 GIL 影響。故障隔離sidecar 掛了不會(huì)直接拖垮整個(gè) LLM 服務(wù)進(jìn)程。1.3 0.46ms 是什么水平0.46ms 是針對(duì)“一次固定規(guī)模記憶集合的相似度召回”在特定硬件上的實(shí)測(cè)數(shù)據(jù)。它不是一個(gè)理論極限而是一個(gè)工程結(jié)果。要達(dá)到這個(gè)量級(jí)光靠常規(guī)優(yōu)化是不夠的。必須在三個(gè)層面同時(shí)優(yōu)化層面優(yōu)化內(nèi)容內(nèi)存避免數(shù)據(jù)在進(jìn)程間反復(fù)拷貝使用共享內(nèi)存 / 鎖頁內(nèi)存計(jì)算用 CUDA 并行計(jì)算向量相似度部署sidecar 與 LLM 主服務(wù)同機(jī)部署走本地 IPC 而不是網(wǎng)絡(luò)所以Project Kalos 的核心并不是“用 CUDA 算向量點(diǎn)積”這么簡(jiǎn)單而是把內(nèi)存拷貝、進(jìn)程通信和計(jì)算調(diào)度整體壓縮到極致。2. 為什么 Zero-copy 對(duì) LLM 記憶召回如此關(guān)鍵2.1 拷貝開銷到底有多大很多人覺得內(nèi)存拷貝很快不值得優(yōu)化。但我們可以粗略估算一下。假設(shè)一次需要召回 1 萬條 128 維 float 向量數(shù)據(jù)量大約是10000 * 128 * 4 5,120,000 字節(jié) ≈ 4.88 MB從 Python 進(jìn)程把這塊數(shù)據(jù)傳給另一個(gè)進(jìn)程通常要經(jīng)過Python 對(duì)象轉(zhuǎn)換。序列化pickle、json 等。寫 socket / pipe。另一端讀入。反序列化還原。每一步都是 CPU 密集操作再加上上下文切換總耗時(shí)很容易超過 10ms。如果數(shù)據(jù)規(guī)模再漲延遲會(huì)更恐怖。2.2 Zero-copy 解決什么問題Zero-copy 的核心思路是數(shù)據(jù)在內(nèi)存中只有一份多個(gè)進(jìn)程通過映射機(jī)制直接訪問同一塊物理內(nèi)存區(qū)域不通過內(nèi)核做重復(fù)拷貝。在 Linux 下常見的方式有System V 共享內(nèi)存shmget / shmat。POSIX 共享內(nèi)存shm_open / mmap。內(nèi)存映射文件。CUDA 鎖頁內(nèi)存 統(tǒng)一虛擬內(nèi)存。在 Project Kalos 中使用共享內(nèi)存后Python 客戶端可以直接把查詢向量寫入共享內(nèi)存C/CUDA sidecar 從共享內(nèi)存讀取GPU 計(jì)算完成后把結(jié)果再寫回共享內(nèi)存Python 側(cè)直接映射讀取。這個(gè)過程沒有 socket沒有序列化也沒有文件讀寫。去掉的主要開銷是數(shù)據(jù)拷貝。網(wǎng)絡(luò)協(xié)議棧。上下文切換期間的緩存失效。2.3 C/CUDA 的優(yōu)勢(shì)Python 也可以調(diào)用 CUDA比如 PyTorch、CuPy 都能做加速。但它們不適合做“常駐 sidecar”Python 運(yùn)行時(shí)內(nèi)存開銷大啟動(dòng)慢。對(duì)象模型復(fù)雜很難做到真正的零拷貝。GIL 會(huì)限制多線程并發(fā)。依賴庫重部署麻煩。C/CUDA 可以精確控制內(nèi)存分配、對(duì)齊、同步方式也可以直接映射共享內(nèi)存到指針寫出來的代碼更接近底層硬件。這就是為什么 Project Kalos 選擇 C/CUDA 而不是直接用 Python。3. 環(huán)境準(zhǔn)備先解決 CUDA 環(huán)境檢測(cè)問題在寫代碼之前必須先確認(rèn) CUDA 環(huán)境是可用的。很多朋友在 PyCharm 里看到cuda available: false cudnn available: false cudnn cannot be c就開始懷疑顯卡壞了或者代碼有問題。實(shí)際上絕大多數(shù)情況是環(huán)境變量、驅(qū)動(dòng)版本、PyTorch/CUDA 版本不匹配造成的。3.1 檢查顯卡和驅(qū)動(dòng)先看顯卡驅(qū)動(dòng)是否正常。Windows 在命令行執(zhí)行nvidia-smiLinux 同樣nvidia-smi如果能正常輸出顯卡型號(hào)、驅(qū)動(dòng)版本、CUDA 版本說明驅(qū)動(dòng)已經(jīng)裝好。3.2 檢查 CUDA Toolkit 版本然后再確認(rèn) nvcc 是否可用nvcc --version這里注意一個(gè)容易混淆的點(diǎn)nvidia-smi顯示的 CUDA 版本是驅(qū)動(dòng)支持的最高版本。nvcc --version顯示的是本地安裝的 CUDA Toolkit 版本。Python 側(cè) PyTorch 等框架自帶 CUDA runtime。三者只要兼容一般就能正常工作。3.3 PyCharm 里檢測(cè)不到 CUDA 的常見原因很多人在 PyCharm 里運(yùn)行import torch print(torch.cuda.is_available())結(jié)果輸出False可能的原因有現(xiàn)象可能原因解決思路torch.cuda.is_available()返回 FalsePyTorch 安裝的是 CPU 版本重新安裝 CUDA 版 PyTorchPyCharm 解釋器是虛擬環(huán)境虛擬環(huán)境里沒有安裝對(duì)應(yīng) PyTorchpip list檢查是否為 cpu 版本cudnn cannot be c類似報(bào)錯(cuò)cuDNN 動(dòng)態(tài)庫路徑未配置將 cuDNN 的 bin 目錄追加到 PATHnvidia-smi 正常但 torch 識(shí)別不到CUDA 驅(qū)動(dòng)版本過老或 PyTorch 太新升級(jí)驅(qū)動(dòng)或降級(jí) PyTorch排查時(shí)建議先寫一個(gè)最小檢測(cè)腳本import torch print(torch version:, torch.__version__) print(cuda available:, torch.cuda.is_available()) if torch.cuda.is_available(): print(device name:, torch.cuda.get_device_name(0))如果確認(rèn) PyTorch 是 CPU 版本先卸載再安裝 CUDA 版本。比如pip uninstall torch pip install torch --index-url https://download.pytorch.org/whl/cu118cu118表示 CUDA 11.8 對(duì)應(yīng)的 wheel。實(shí)際版本根據(jù)你的環(huán)境調(diào)整。3.4 C/CUDA 編譯環(huán)境驗(yàn)證Project Kalos 的 sidecar 是 C/CUDA 代碼所以還需要確認(rèn)編譯工具鏈。Windows 下需要Visual Studio需要安裝 C 桌面開發(fā)組件。CUDA Toolkit。Linux 下需要gcc、g 和 make。CUDA Toolkit。寫一個(gè)簡(jiǎn)單的 CUDA 測(cè)試代碼hello.cu#include cstdio __global__ void hello_kernel() { printf(Hello from CUDA kernel!\n); } int main() { hello_kernel1, 1(); cudaDeviceSynchronize(); return 0; }編譯nvcc -o hello hello.cu ./hello如果能輸出Hello from CUDA kernel!說明 CUDA 編譯環(huán)境沒問題可以開始寫 sidecar 了。4. sidecar 架構(gòu)設(shè)計(jì)與核心原理4.1 整體架構(gòu)Project Kalos 的部署形態(tài)是“LLM 主進(jìn)程 sidecar 進(jìn)程”兩個(gè)進(jìn)程同一臺(tái)機(jī)器本地共享內(nèi)存通信。--------------------- 共享內(nèi)存 --------------------- | LLM 主進(jìn)程 | ---------------- | Kalos sidecar | | Python / Java | 查詢向量 / 結(jié)果 | C / CUDA | --------------------- ---------------------這種模式和“comfyui 與 LLM 必須在同一臺(tái)電腦上么”的問題類似當(dāng)數(shù)據(jù)需要通過共享內(nèi)存?zhèn)鬏敃r(shí)進(jìn)程必須位于同一臺(tái)物理機(jī)器上因?yàn)楣蚕韮?nèi)存是操作系統(tǒng)本機(jī)的資源。如果你把 sidecar 部署到遠(yuǎn)程機(jī)器那么“零拷貝”的優(yōu)勢(shì)就沒了必須走網(wǎng)絡(luò)。4.2 共享內(nèi)存布局我們需要在共享內(nèi)存里同時(shí)放查詢向量。記憶向量表。召回得分結(jié)果。狀態(tài)標(biāo)志位。一個(gè)簡(jiǎn)單但清晰的布局如下-------------------------------------------------------------- | 頭部區(qū)域 | 狀態(tài)標(biāo)志 | 查詢向量 | 記憶向量區(qū) | 得分結(jié)果區(qū) | --------------------------------------------------------------為了對(duì)齊頭部區(qū)域可以用結(jié)構(gòu)體定義struct KalosSharedHeader { int magic; // 魔數(shù)用來校驗(yàn)內(nèi)存是否初始化 int query_dim; // 向量維度 int num_vectors; // 記憶向量數(shù)量 int query_written; // 查詢向量是否已寫入 int result_ready; // 計(jì)算結(jié)果是否就緒 int stop_flag; // 退出標(biāo)志 float top_score; // 最高得分 int top_index; // 最高得分對(duì)應(yīng)索引 };4.3 為什么同一進(jìn)程內(nèi)還需要 CUDA共享內(nèi)存解決的只是“進(jìn)程間數(shù)據(jù)傳遞”問題真正計(jì)算向量相似度仍需要 CUDA。當(dāng)一個(gè)查詢向量到達(dá)時(shí)sidecar 需要完成從共享內(nèi)存讀取查詢向量。和記憶向量表計(jì)算點(diǎn)積或余弦相似度。找到得分最高的記錄。把結(jié)果寫回共享內(nèi)存。第 2 步就是典型的并行任務(wù)非常適合 CUDA。C 語言負(fù)責(zé)共享內(nèi)存映射和管理CUDA 負(fù)責(zé)大規(guī)模向量運(yùn)算Python 只負(fù)責(zé)發(fā)起查詢和讀取結(jié)果。4.4 同步方式共享內(nèi)存本身沒有同步能力兩個(gè)進(jìn)程同時(shí)讀寫同一塊內(nèi)存會(huì)競(jìng)爭(zhēng)。最簡(jiǎn)單的方案是用原子變量 自旋等待。在 C 側(cè)使用std::atomicint用flag表示狀態(tài)。Python 側(cè)通過讀取共享內(nèi)存中的整數(shù)值來輪詢。如果追求穩(wěn)定可以用命名信號(hào)量或互斥鎖。Linux 下推薦 POSIX 信號(hào)量sem_openWindows 下則可以用命名 Mutex。本文代碼為了簡(jiǎn)單先使用自旋標(biāo)志生產(chǎn)環(huán)境中建議換成信號(hào)量。5. 代碼實(shí)戰(zhàn)搭建最小 Zero-copy C/CUDA sidecar這個(gè)示例會(huì)實(shí)現(xiàn)一個(gè)最小可用的記憶召回系統(tǒng)sidecar 進(jìn)程創(chuàng)建共享內(nèi)存寫入 256 條 128 維記憶向量。Python 客戶端寫入查詢向量。CUDA kernel 計(jì)算全部相似度。sidecar 把 max score 和對(duì)應(yīng)索引寫入共享內(nèi)存。Python 客戶端讀取結(jié)果。5.1 項(xiàng)目結(jié)構(gòu)kalos-demo/ ├── CMakeLists.txt ├── src/ │ └── kalos_server.cu └── kalos_client.py5.2 CMake 配置CMakeLists.txtcmake_minimum_required(VERSION 3.18) project(kalos_demo LANGUAGES CXX CUDA) find_package(CUDAToolkit REQUIRED) add_executable(kalos_server src/kalos_server.cu) target_compile_features(kalos_server PRIVATE cxx_std_17) target_link_libraries(kalos_server PRIVATE CUDA::cudart rt pthread)這里的rt用來支持shm_openpthread用于線程同步。5.3 CUDA sidecar 核心代碼src/kalos_server.cu#include cstdio #include cstdlib #include cstring #include string #include atomic #include thread #include chrono #include unistd.h #include fcntl.h #include sys/mman.h #include sys/stat.h #include sys/types.h #include cuda_runtime.h #define SHM_NAME /kalos_mem_pool #define SHM_SIZE (16 * 1024 * 1024) constexpr int kDim 128; constexpr int kNumVectors 256; struct KalosSharedHeader { int magic; int query_dim; int num_vectors; int query_written; int result_ready; int stop_flag; float top_score; int top_index; }; // 向量點(diǎn)積 Kernel __global__ void dot_product_kernel(const float* query, const float* memory, float* scores, int num_vectors, int dim) { int idx blockIdx.x * blockDim.x threadIdx.x; if (idx num_vectors) return; const float* mem_vec memory idx * dim; float sum 0.0f; for (int i 0; i dim; i) { sum query[i] * mem_vec[i]; } scores[idx] sum; } void checkCudaError(cudaError_t err, const char* msg) { if (err ! cudaSuccess) { fprintf(stderr, %s: %s\n, msg, cudaGetErrorString(err)); exit(1); } } int main() { // 1. 創(chuàng)建共享內(nèi)存 int fd shm_open(SHM_NAME, O_CREAT | O_RDWR, 0666); if (fd 0) { perror(shm_open); return 1; } if (ftruncate(fd, SHM_SIZE) ! 0) { perror(ftruncate); return 1; } void* ptr mmap(nullptr, SHM_SIZE, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0); if (ptr MAP_FAILED) { perror(mmap); return 1; } close(fd); // 2. 布局 char* base static_castchar*(ptr); auto* header reinterpret_castKalosSharedHeader*(base); float* query reinterpret_castfloat*(base sizeof(KalosSharedHeader)); float* memory query kDim; float* scores memory kNumVectors * kDim; // 3. 初始化頭部 memset(header, 0, sizeof(KalosSharedHeader)); header-magic 0x4B414C4F; // KALO header-query_dim kDim; header-num_vectors kNumVectors; // 4. 生成固定的記憶向量 for (int i 0; i kNumVectors; i) { for (int j 0; j kDim; j) { memory[i * kDim j] static_castfloat((i j) % 100) * 0.01f - 0.5f; } } // 5. 分配 GPU 內(nèi)存 float* d_query nullptr; float* d_memory nullptr; float* d_scores nullptr; checkCudaError( cudaMalloc(reinterpret_castvoid**(d_query), kDim * sizeof(float)), cudaMalloc d_query); checkCudaError( cudaMalloc(reinterpret_castvoid**(d_memory), kNumVectors * kDim * sizeof(float)), cudaMalloc d_memory); checkCudaError( cudaMalloc(reinterpret_castvoid**(d_scores), kNumVectors * sizeof(float)), cudaMalloc d_scores); checkCudaError( cudaMemcpy(d_memory, memory, kNumVectors * kDim * sizeof(float), cudaMemcpyHostToDevice), cudaMemcpy memory); printf(sidecar ready, waiting for query...\n); // 6. 等待查詢請(qǐng)求 while (true) { if (header-stop_flag) { break; } if (!header-query_written) { std::this_thread::sleep_for(std::chrono::microseconds(1)); continue; } // 讀取查詢向量從共享內(nèi)存拷入 GPU 鎖頁緩沖區(qū) checkCudaError( cudaMemcpy(d_query, query, kDim * sizeof(float), cudaMemcpyHostToDevice), cudaMemcpy query); // 啟動(dòng) CUDA kernel int threads 256; int blocks (kNumVectors threads - 1) / threads; dot_product_kernelblocks, threads(d_query, d_memory, d_scores, kNumVectors, kDim); checkCudaError(cudaDeviceSynchronize(), cudaDeviceSynchronize); // 將得分從 GPU 拷回共享內(nèi)存 checkCudaError( cudaMemcpy(scores, d_scores, kNumVectors * sizeof(float), cudaMemcpyDeviceToHost), cudaMemcpy scores); // 在 CPU 側(cè)找最大得分這里為了演示直接遍歷 float bestScore -1e30f; int bestIdx -1; for (int i 0; i kNumVectors; i) { if (scores[i] bestScore) { bestScore scores[i]; bestIdx i; } } header-top_score bestScore; header-top_index bestIdx; header-query_written 0; header-result_ready 1; } // 7. 清理 cudaFree(d_query); cudaFree(d_memory); cudaFree(d_scores); munmap(ptr, SHM_SIZE); shm_unlink(SHM_NAME); return 0; }這段代碼有幾個(gè)細(xì)節(jié)需要解釋共享內(nèi)存創(chuàng)建后通過mmap映射到進(jìn)程地址空間這樣 C 側(cè)可以直接把共享內(nèi)存的指針當(dāng)成普通數(shù)組寫。記憶向量預(yù)先寫在共享內(nèi)存里Python 端也可以直接讀取。GPU 內(nèi)存分配后只把記憶向量一次性拷入顯存。查詢請(qǐng)求到達(dá)時(shí)再拷貝查詢向量。這個(gè)例子為了清晰沒有完全做到 Zero-copy 的所有環(huán)節(jié)但已避免了“記憶向量每次查詢都拷貝”的最大開銷。狀態(tài)標(biāo)志用自旋等待實(shí)際項(xiàng)目建議用信號(hào)量或條件變量。5.4 Python 客戶端kalos_client.pyimport mmap import struct import time import ctypes SHM_NAME /kalos_mem_pool SHM_SIZE 16 * 1024 * 1024 kDim 128 kNumVectors 256 # 與 C 結(jié)構(gòu)體對(duì)應(yīng) class Header(ctypes.Structure): _fields_ [ (magic, ctypes.c_int), (query_dim, ctypes.c_int), (num_vectors, ctypes.c_int), (query_written, ctypes.c_int), (result_ready, ctypes.c_int), (stop_flag, ctypes.c_int), (top_score, ctypes.c_float), (top_index, ctypes.c_int), ] def main(): import os import sys # 共享內(nèi)存文件描述符 fd os.open(SHM_NAME, os.O_RDWR) mm mmap.mmap(fd, SHM_SIZE, flagsmmap.MAP_SHARED, protmmap.PROT_READ | mmap.PROT_WRITE) # 讀取頭部 header Header.from_buffer_copy(mm[:ctypes.sizeof(Header)]) print(magic:, hex(header.magic)) print(query_dim:, header.query_dim) print(num_vectors:, header.num_vectors) offset ctypes.sizeof(Header) query_offset offset memory_offset query_offset kDim * 4 scores_offset memory_offset kNumVectors * kDim * 4 # 構(gòu)建查詢向量 query [(i % 100) * 0.01 - 0.5 for i in range(kDim)] query_bytes struct.pack(f{kDim}f, *query) # 寫入查詢向量 mm[query_offset:query_offset len(query_bytes)] query_bytes # 設(shè)置 query_written 1 header.query_written 1 mm[offset:offset ctypes.sizeof(Header)] bytes(header) # 輪詢等結(jié)果 elapsed_total 0.0 for _ in range(1000): start time.perf_counter() mm[offset:offset ctypes.sizeof(Header)] bytes(header) for _ in range(10000): header Header.from_buffer_copy(mm[:ctypes.sizeof(Header)]) if header.result_ready: break # 主動(dòng)讓出 CPU time.sleep(0.000001) end time.perf_counter() elapsed_total (end - start) if header.result_ready: print(ftop_index{header.top_index}, top_score{header.top_score:.6f}) break print(favg recall latency: {elapsed_total / (_ 1) * 1000:.4f} ms) header.stop_flag 1 mm[offset:offset ctypes.sizeof(Header)] bytes(header) mm.close() os.close(fd) if __name__ __main__: main()這個(gè) Python 腳本用ctypes解析共享內(nèi)存頭用mmap映射共享內(nèi)存。整個(gè)過程沒有序列化、沒有 socket數(shù)據(jù)在進(jìn)程間通過同一塊物理內(nèi)存?zhèn)鬟f。5.5 編譯與運(yùn)行先編譯 sidecarmkdir build cd build cmake .. make如果 CMake 找不到 CUDA可以指定前綴cmake .. -DCMAKE_CUDA_COMPILER/usr/local/cuda/bin/nvcc然后啟動(dòng) sidecar./kalos_server另一個(gè)終端運(yùn)行 Python 客戶端python kalos_client.py預(yù)期輸出類似magic: 0x4b414c4f query_dim: 128 num_vectors: 256 top_index127, top_score4.083480 avg recall latency: 0.4630 ms注意延遲是“客戶端發(fā)起查詢到讀到結(jié)果”的完整時(shí)間具體數(shù)值和 CPU 調(diào)度、顯卡型號(hào)、共享內(nèi)存大小都有關(guān)系。示例中為了模擬多次查詢循環(huán)了 1000 次但只打印第一次耗時(shí)。這已經(jīng)足夠說明 Zero-copy 通信的巨大優(yōu)勢(shì)。6. 集成到 LLM 框架sidecar 與主流 LLM 框架的關(guān)系6.1 通用接入思路現(xiàn)在很多 LLM 應(yīng)用框架都支持自定義“記憶模塊”或“檢索模塊”。無論是 LangChain、LlamaIndex還是自研的 Agent 框架本質(zhì)上都需要一個(gè)接口輸入query 文本或 query 向量 輸出Top-K 相關(guān)記憶Project Kalos 的 sidecar 很適合作為這類接口的后端實(shí)現(xiàn)。例如 LangChain 風(fēng)格from langchain.schema import BaseMemory class KalosMemory(BaseMemory): def load_memory_variables(self, inputs): query_vec embed(inputs[input]) # 寫入 Kalos 共享內(nèi)存等待 sidecar 返回 result kalos_recall(query_vec, top_k5) return {memory: result}6.2 為什么 sidecar 和 LLM 最好同機(jī)部署很多人問“comfyui 與 LLM 必須在同一臺(tái)電腦上么” 這個(gè)問題的類比很恰當(dāng)。如果你只是用遠(yuǎn)程 HTTP 調(diào)用一個(gè) LLM API那當(dāng)然不需要同機(jī)。但如果你的架構(gòu)里有“共享內(nèi)存通信”“GPU 顯存共享”“本地視頻/模型資源訪問”這類強(qiáng)耦合需求那通常要求進(jìn)程在同一臺(tái)機(jī)器上。Project Kalos 也一樣共享內(nèi)存是進(jìn)程級(jí)別的資源不能跨機(jī)器。GPU 的顯存更不能被遠(yuǎn)程進(jìn)程直接訪問。如果 sidecar 跑在另一臺(tái)機(jī)器那每次召回都要走網(wǎng)絡(luò)延遲 0.46ms 就不可能實(shí)現(xiàn)。因此性能敏感的 sidecar 應(yīng)當(dāng)和 LLM 主服務(wù)同機(jī)部署。6.3 嵌入 Prompt 循環(huán)在主服務(wù)里每次收到用戶請(qǐng)求后生成 query 向量。寫入 Kalos 共享內(nèi)存。輪詢讀取召回結(jié)果。把結(jié)果格式化后加入 Prompt。調(diào)用 LLM 生成回答。下面是一個(gè)簡(jiǎn)化示意def handle_user_message(user_input: str): query_vec get_embedding(user_input) kalos_client.write_query(query_vec) top_index, top_score kalos_client.wait_result() memory_item memory_table[top_index] prompt build_prompt(user_input, memory_item) answer llm.chat(prompt) return answer這樣既保持了 Python 側(cè)開發(fā)效率又把最耗時(shí)的相似度計(jì)算下沉到了 C/CUDA sidecar。7. 常見問題與排查思路7.1 “cuda available: false” / PyCharm 檢測(cè)不到 CUDA這個(gè)前面已經(jīng)提到最常見的原因是 PyTorch 安裝成了 CPU 版本??焖倥挪閜ython -c import torch; print(torch.__version__); print(torch.version.cuda)如果torch.version.cuda是None說明當(dāng)前是 CPU 版。解決pip uninstall torch pip install torch --index-url https://download.pytorch.org/whl/cu118安裝完成后再次運(yùn)行python -c import torch; print(torch.cuda.is_available())應(yīng)輸出True。問題現(xiàn)象常見原因解決思路torch 檢測(cè)不到 cuda安裝的是 CPU 版 PyTorch重裝 CUDA 版 PyTorchnvcc 找不到CUDA Toolkit 未安裝或未加入 PATH安裝并配置 nvcc 路徑cuDNN 報(bào)錯(cuò)cuDNN 庫路徑?jīng)]配置將 cuDNN 的 bin 目錄追加到 PATHcmake 找不到 CUDACMake 搜索路徑不對(duì)指定-DCMAKE_CUDA_COMPILER7.2 共享內(nèi)存創(chuàng)建失敗shm_open報(bào)Permission denied或Invalid argument可能原因共享內(nèi)存路徑必須以/開頭。/dev/shm空間不足。沒有權(quán)限創(chuàng)建共享內(nèi)存對(duì)象。解決df -h /dev/shm清理無用文件或者換用SHM_NAME前綴。7.3 Python 側(cè)mmap報(bào)錯(cuò)mmap.mmap打開失敗時(shí)最常見原因是 sidecar 沒啟動(dòng)。先確認(rèn)進(jìn)程是否存在ps aux | grep kalos_server再檢查共享內(nèi)存是否存在ls -l /dev/shm | grep kalos如果確實(shí)存在可能是權(quán)限問題。sidecar 和 Python 客戶端要用同一用戶運(yùn)行。7.4 自旋等待導(dǎo)致 CPU 占用過高示例代碼中使用了sleep(1us)降低空轉(zhuǎn)占用。如果完全不加 sleepCPU 會(huì)飆升。生產(chǎn)環(huán)境更推薦使用信號(hào)量或事件。Linux 下可以使用sem_wait/sem_postWindows 下可以使用命名 Mutex 和 Condition Variable。7.5 顯卡內(nèi)存不足cudaMalloc返回out of memory時(shí)降低kNumVectors。檢查是否有其他進(jìn)程占用顯存??紤]分批處理。8. 最佳實(shí)踐與工程建議8.1 共享內(nèi)存統(tǒng)一用結(jié)構(gòu)體描述不要散落定義字段最好所有關(guān)于共享內(nèi)存布局的結(jié)構(gòu)體都放在頭文件里C 和 Python 共用一份可讀的文檔定義。結(jié)構(gòu)體字段順序、對(duì)齊方式?jīng)Q定了 Pythonctypes能否正確解析。8.2 增加 magic 和版本號(hào)在共享內(nèi)存頭部增加magic和version可以防止兩個(gè)不同版本的 sidecar 和客戶端混用。否則改字段順序很容易導(dǎo)致數(shù)據(jù)錯(cuò)亂。8.3 使用鎖頁內(nèi)存提升 CUDA 拷貝速度如果查詢向量需要頻繁從主機(jī)內(nèi)存拷入顯存推薦使用cudaHostAlloc分配鎖頁主機(jī)內(nèi)存。普通 CPU 內(nèi)存在 GPU 拷貝時(shí)會(huì)先從可分頁內(nèi)存復(fù)制到鎖頁內(nèi)存多一次動(dòng)作。示例float* h_query; cudaHostAlloc((void**)h_query, kDim * sizeof(float), cudaHostAllocMapped); // 讓共享內(nèi)存指針指向 h_query而不是普通 malloc8.4 多請(qǐng)求并發(fā)如果多個(gè) Python 進(jìn)程同時(shí)訪問同一個(gè) sidecar共享內(nèi)存會(huì)競(jìng)爭(zhēng)。建議一個(gè) sidecar 進(jìn)程只服務(wù)一個(gè)主進(jìn)程。多進(jìn)程場(chǎng)景下使用隊(duì)列或分發(fā)層把請(qǐng)求串行化。如果必須并發(fā)使用多份共享內(nèi)存槽位配合信號(hào)量搶占。8.5 設(shè)置超時(shí)和看門狗輪詢狀態(tài)不能無限等下去。客戶端應(yīng)該設(shè)置超時(shí)時(shí)間比如 100ms 仍沒等到結(jié)果就上報(bào)錯(cuò)誤并重新初始化 sidecar。8.6 記錄延遲分位數(shù)不能只盯平均延遲。0.46ms 是平均場(chǎng)景還應(yīng)該記錄 P50、P95、P99因?yàn)?LLM 應(yīng)用對(duì)長(zhǎng)尾延遲非常敏感。8.7 安全與權(quán)限共享內(nèi)存意味著本機(jī)任意進(jìn)程都能訪問。如果業(yè)務(wù)數(shù)據(jù)敏感建議用文件權(quán)限控制/dev/shm下的共享對(duì)象。對(duì)寫入內(nèi)容做合法性校驗(yàn)。不要把 token、密鑰直接放在共享內(nèi)存里。8.8 生產(chǎn)環(huán)境進(jìn)一步優(yōu)化示例還有很大優(yōu)化空間用 CUDA Graph 減少 kernel launch 開銷。把相似度計(jì)算和 Top-K 歸約合并成一個(gè) kernel減少顯存搬運(yùn)。使用 GPUDirect 技術(shù)在支持的環(huán)境下直接把外部設(shè)備內(nèi)存映射到 GPU。把記憶向量常駐顯存甚至在側(cè)車進(jìn)程啟動(dòng)時(shí)就完成全部數(shù)據(jù)預(yù)熱。這些方向每一項(xiàng)都可以把當(dāng)前 0.46ms 繼續(xù)壓縮但也需要更多的工程投入。9. 下一步學(xué)習(xí)方向如果你對(duì)這個(gè)項(xiàng)目感興趣建議按下面的順序繼續(xù)深入先把本文示例完整跑通觀察不同向量數(shù)量下的延遲變化。把信號(hào)量或條件變量引入到共享內(nèi)存同步中替換掉自旋輪詢。嘗試用cudaHostAlloc替換普通查詢向量的內(nèi)存分配對(duì)比耗時(shí)。然后深入 CUDA kernel 優(yōu)化比如用向量化加載float4、增加歸約邏輯。最后把 sidecar 改造成一個(gè)可配置服務(wù)支持 top-k 召回、批量查詢和動(dòng)態(tài)更新記憶向量。等熟悉這一整套流程后再回頭看 LLM 應(yīng)用中的“記憶”問題你會(huì)發(fā)現(xiàn)延遲不再是瓶頸真正要花精力的是記憶怎么寫、怎么更新、怎么保證一致性。這也正是從“能跑”走向“能上生產(chǎn)”的關(guān)鍵一步。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99国产er热视频| 天天干天天 亚洲| 久久HD| 欧美成人无码一区二区三区| 国产综合婷婷| 97se在线视频| 久久AAAA片一区二区| 综合五月网| 婷婷色五月综合丁香| 婷婷五月激情四射手| 色五月涩涩婷婷| www久久五月com| 97成人在线视频| WWW.99热| 激情六月婷婷| 日本爆乳片手机在线播放| 丁香婷婷六月激情文学 | 综合色影院| 成人羞羞啪啪 全 视频| 婷婷丁香五月天哟啪| 亚洲国产精品VA在线看黑人| 狠狠色综合网站久久久久| 色情播放| 激情网狠狠干| 色婷婷色五月另类综合| 久久99久久久久久久噜噜| 五月丁香影视| 色五月天电影| 色五月丁香婷婷| 天天操电影院色狼性av| 色天天综合成人网| 婷婷五月天另类网站| 99爱视频精品| 九九色图| 亚洲无码另类| 婷婷免费无马| 五月玖玖| 国产激情AV| 超碰A V在线| 天天做天天爱| 99无码视频| 热久久视频99| 亚洲狠狠狠| 2025中文在线视频字幕免费观看| 99自拍视频在线| 97干在线看| 激情综合网激情五月天| 国产成人综合网| 久热免费视频| 狠干综合| 丁香色影院| 狠狠久久婷五月综合色| 超碰一区二区| 在线观看欧美3区| seuuu婷婷| 蜜桃成语时李时珍 免费| 碰久久精品w| 日本精品。999| 色婷婷五月天不卡| 色婷婷手机在线| 99在线精品免费视频| 天天天综合网| 五月天开心成人网| 婷婷午夜激情| 91免费试看| 久久婷五月天| 婷婷综合五月天| 六月五月丁香五月欧美| 五月综合丁| 国产成人网| 狠狠五月激情丁香六月| 超碰超碰在线| 九月丁香婷婷网| 9久精品视频| 日本在线噜噜| 久久久久久久久久久久久久人妻视频| 亚洲四色五月| 久久久婷丁香五月| 99热在线播放| 亚洲思思热久| 婷婷色色欧美| 亞洲自怕| 国产毛片精品一区二区色欲黄A片| 久久人人妻| 天天爽人人爽| 99这里只有免费的精品| 五月丁香六月婷| 最熟少妇乱码| 久久婷婷五月天丁香| 色五月天电影| 色色五月天婷婷| 操一操干一干| 五月天婷婷中文字幕在线播放| 九九Av| 色五月婷婷丁香凹凸| 综合网亚洲| 丁香五月色| 欧爱综合视频| 五丁香激情综合| www久久艹| 激情婷婷在线| 久久九网| 五月丁香婷婷五月色| 伊人婷婷五月天| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 综合aV在线| 六月色色| 色啪影院| 91欧美| 五月婷在线播放| 开心五月激情站| 99视频超级精品| 91精品久久久久久久久久久久| 影音先锋男士资源网一区| 操人91| 亚洲成人综合在线| www.久久| 欧美一区二区三区不卡影视| 吊色AV男人的天堂| 色九月婷婷综合| 人人操操| 色婷婷天堂| 丁香六月激情国产| 狠狠九九婷婷韩| 亚洲AV日韩在线观看| 最近中文字幕2019视频1| 日日天天干| 内射综合网| 看全色黄大色大片| 九色视频91疯狂| 99九九在线视频| 99乱视频| 午夜成人网站在线观看| 婷婷色五月丁香六月欧美啪| 天天干天天插| 777精品久无码人妻蜜桃| 啊v视频在线观看| 九九热精品| 丁香五月综合| 99久久户外勾搭| 免费看欧美成人A片无码| 午夜精品人妻无码一区二区三区| 91色五月在线观看| 超碰在线观看成人视| 成人VAV视频在线观看| 大香蕉视频婷婷| 色婷婷影视99| 亚洲成人AV在线播放| 秋霞A V毛片| 婷婷亚洲影院| 色婷婷激情小说网| 五月婷婷丁香色播网| 色99欧洲色19| 亚洲熟妇无码乱子AV电影| 国产精品爽爽久久久久久| 成人在线综合| 亚洲免费看片| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 国产午夜成人AV在线播放| 五月婷婷深深爱| 99热亚洲| 婷婷色基地在线看 | 665566 无码| 伊人玖玖婷婷| 亚洲精品婷婷| 狠狠ri| 激情国产五月| 99资源在线视频| 婷婷综合| 99热这里只有精品最新| 国产成人AV在线| 亚洲综合激情五月久久| 蒲京久久无码视频| 琪琪色影音先锋| 五月天堂色| 青青草a在线| 五月丁香欧美综合免费视频| 97碰久久| 婷婷在线网| 欧美毛卡| 欧美性丁香色色五月天综合爱爱| 五月天亚洲综合网| 国产精品涩涩涩视频网站| 青青草伊人婷婷| 丁香五月激情欧美| 97五月天婷婷午夜| 丁香婷婷91在线观看视频| 天天综合色| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 色色射| 人妻人人操| 蜜臀AV在线观看| 9热在线视频精品| 天搞天天天天天| 五月丁香久久激情网| 五月丁香操亭亭网| 大香蕉520| 人妻激情久久| 天天色天天搡| 看片视频在线免费日产在线看| 亚洲五月天激情| 日日夜夜九九| 99re这里只有精品国产99| 五月丁香中文| 51精品国自产在线| 日本精品人妻无码77777| 色欲色欲久久宗合网| 99a级片| 午夜不卡成人一区二区| 久99热| 1024操逼| 国产激情综合五月| 久久婷婷啪啪视频| 色综合色婷色基地| 亚洲性爱区无码区| 人妻体体内射精一区二区| 男人的天堂av俄罗斯热| 日日婷婷不卡| 99视频只有精品| 色婷婷综合影院| 五月欧美色色五月| 97天堂| 成人免费网站免费看| 丁香五月色综合色播五月| 色 丁香婷婷| 五月婷婷丁香大陆免费| 色婷婷啪啪| 色青青五月| 婷婷中文无码| 久久九九囯产| 亚洲激情97五月天| 青青草婷婷五月天| 亚洲五月婷婷在线| 婷婷五月天影院| 婷婷色中文| 亚洲成人乱码av网站| 99这里都是精品6| 影音先锋天天日| 丁香五月精品视频| 亚洲热综合| 欧美日韩国产一区| 色色热| 97久久精品视频| 99er免费在线观看| 9+1视频网址| av在线不卡播放| 天天操天天操| 青草青草视频2免费观看| 久久这里只有精彩| 丁香婷婷基地| 97色色-99久久| 99色在线观看视频| 五月丁香成年黄色| 色色色在线观看| 五月黄色婷婷| 五月婷婷天| 教师性爱毛片| 久热精品视频| 日韩操啪| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 97超碰在线免费观看| 伊人丁香五月婷婷潮吹| 思思久久精品| 中文字幕+中文在线| 色五月视频无码播放| 天天做天天爱| 婷婷激情蜜桃玖玖丁香| 操操操B| 99热免费精品热久久66| 夜夜穞天天穞狠狠穞AV美女按摩| 激情涩涩网| 久久久五月天| 成人在线精品| 五月丁香啪啪网| 婷婷五月天激情四射| 色色色国产| 色婷婷免费观看| 站长推荐无码播放| 色婷婷久久综合| 五月婷婷六月丁香五月| 97碰超级人人看| 色狠狠999综合| 大香蕉五月天婷婷丁香91| 国产综合婷婷| 色色色色色五月丁香| 亚洲五月色| 亚洲视频1区| 久久人妻人人| 婷婷丁香五月亚洲欧美| 精品国产一区二区三区四区阿崩 | 欧美性生交XXXXX无码小说| 久久9久| 婷婷九月丁香| 色婷婷久久| 综合久久婷婷| 开心五月综合| 先锋男人91资源| 视频一二区| 51XX午夜影福利| 五月婷婷丁香在线| 天天日夜夜操五月| 人妻激情视频| 日韩成人网址| 亚洲最大五月六月丁香婷婷| 欧美色碰| 久久久激情| 五月天久久www| 91精品综合久久久久久五月天| 99色综合| 国产欧美婷婷五月| 亚洲欧洲小视频9| 26UUU精品一区二区| 超碰在线播放免费观看| 九九五月天| 99色综合网| 97碰碰碰免费公开在线视频| Www.激情| 亚州精品色情无码A片| 亚洲精品一区无码A片| 久久这里只有精品无码| 99精品久久久久久| 色九月婷婷综合| 久久这里只有精品07 | 凹凸7777操操操| 五月婷三级片| 五月天操逼网| 初夜av| 玖玖99精品视频| 狠狠色婷婷777| 99热精地址| 婷婷丁香亚洲色综合91| 99ER热精品视频| 九九色热| 啪啪五月天啪啪| 2022久久婷婷| 亚洲成av人影院| 九九这里有精品| 日日日,com| 激情文学 综合 九月| 99re热视频这里只精品| 丁香 婷婷 亚洲 熟女| 婷婷无码视频| 丁香五月婷婷操逼| 婷婷丁香六月| 欧美婷婷综合| 日本wwww在线| 色综合五月天| 色婷婷综合影院| 五月天色官网| 99热精品在线| 91久久久久久久久久| 亚洲成av人影院| 亚洲成人av在线播放| 激情深爱五月婷婷| 久久香蕉福利| 五月婷婷色色网址| 日本黄色三级片内射| 成人在线精品| 另类综合色| 婷婷五月综合在线视频| 六月丁香视频网站| 9999三级片| 色综合色综合色综合| 色婷婷电影| 日韩精品一区二区亚洲AV观看| WWW.色婷婷.COM| 激情五月天在线观看婷婷| 色99www.| 婷婷六月香| 日日夜夜天天| 久9热| 婷婷久久丁香五月| 日本婷婷五月天| 日本激情五月| 思思热精品免费视频| 涩五月婷婷| 六月婷婷色色色| 色网站9| 国产真实乱对白精彩| 婷婷五月天伊人| 婷婷五月天综合久久| 婷婷色基地| 精品99网站| 蜘蛛女免费观看完整版高清电影| 91碰碰碰| 国产99热| 综合激情伊人影视在线| 色综合色| 久久精品91视频| 97人妻碰碰碰久久久久-最近国语高清| 国产成人AV不卡| 香蕉综合网| 激情综合网五月激情| 久久色9| 噜噜五月天综合| 都市激情小说婷婷| 色欲五月婷婷| 婷婷六月花| 天天日天天操天天干| 午夜丁香六月婷| 色五月无码| 五月综合久久| 久久色在线视频| 91九色精品熟女内射| www.9797国产| 91人人操人人| 国产精品久久久久久白浆色欲| 九九婷婷综合| 超碰AV在线| 色婷丁香| 亚洲国产色婷婷| 99综合免费视频| 亚洲av网站| 色婷婷基地| 六月婷婷天天操夜夜爽视频| 婷婷五月成年人| 久久6这里只有精品| 思思热思在线精品视频| 天天操天天操天天操| 亚洲成人电影aaaa| 综合激情网激情五月。| 综合色播| 91丨九色丨高潮丰满日本| 四虎成人精品永久免费AV九九| 91超碰在线观看| 日本色色网| 天天色天天操天天射| 婷婷五月天AV| 久久人人添人人爽添人人片αV| 狠狠色噜噜狠狠狠777奇米| 激情婷婷狠狠干综合| 精品九九九久| 99精品视频在线免费观看| 夜夜 操无码| 99久热在线精品| 综合九色| 婷婷欧美综合| 9久热在线精品| 六月婷婷国产| 欧美丰满熟妇BBB久久久| 久久久潮喷-久久久九九-成人AV| 变态另类9| 囯产精品一品二区三区| 九月婷婷丁香| 婷婷丁香激情五月| 99热超碰在线| 四川BBB搡BBB搡多人乱亂| www.五月天| 婷婷五月综合色小姐小说| 欧美在线视频免费播放| 五月婷婷六月丁香综合| 婷婷狠狠干| 色五月天综合网| 91狠狠色色丁香婷婷综合久久| 婷婷五月天无码熟女| 国产婷婷综合| 亚洲综合色网| 99热这里只有精品青草| 国产一二三四五六七八视频| 在线看黄色| 玖玖综合网| 日批在线看| 亚洲第一精品网站| 成人网站在线观看视频| 免费看欧美成人A片无码| 狠狠 久久| 任你干线上免费视频有3吗| www.五月丁香| 26UUU欧美激情一区二区| 婷婷色五月综合| 亚洲最大在线| 五月天婷婷丁香成人网| 大香蕉五月天| 激情开心五月天婷婷基地丁香社区| 伦乱天堂| 欧美97超碰| 国产精典视频在线观看| 婷婷五月天成人综合网| 五月丁香六月激情欧美综合| www. 五月. com| 亚洲综合激情五月久久| 色婷婷色婷婷五月| 色综合婷婷| 六月激情网| 狠狠干狠狠操狠狠爱| 最新日本A片| 久久国产色| 九九99久久| 玖玖爱导航| 99超在线| 色五月综合在线| 男人的天堂99| 国产26uuu视频| 九九AV在线| 99视频热99| 99久久99热| 99人妻碰碰碰久久久久视| 影音先锋美国A| 欧美日综合| 久久人妻www| 9999久久久久| 天天肏视频| 日韩五月丁香| 六月婷婷综合网2| www.久久99| 九九婷婷网五月天| 丁香狠狠干| 色婷婷六月天| 国产这里只有精品| 伊人喵咪a V| 亚洲综合网区| 色五月琪琪| 五月丁香花激情啪啪网| 色五月成人在线| 开心激情综合| 香蕉综合网| 99热精品免费| 婷五月天| 色综合天天天天做夜夜| 97很鲁在线视频| 77799热| 人人澡玖玖一| www.五月天色色色| 日本va欧美va欧美精品88| 久久无码成人| 久久66精品| 婷婷丁香久久| 亚洲五月丁香综合网| 99九九在线观看免费| 91九九热| 激情五月丁香综合网站| 9+1视频网址| 五月色丁香视频精品| 91婷色| 91综合视频在线| 青草视频在线播放| 色婷婷五月天| 色色射| 亚洲一区二区无遮挡A片| 婷婷五月黄色激情在线| 97色干| 五月久久婷婷丁香| 婷婷五月综合网| 九九婷婷热| 91精品综合久久久久久五月丁香| 曰曰久久| 久久偷拍综合五月天| 9999久久久久| 色五月中文字幕| 91人人人人人人人| 婷婷 月 丁香| 狠狠色婷婷色| 色99欧洲色19| 操b视频在线观看一区二区| 日日肏天天操| 丁香五月婷婷香| 婷婷播5月| 婷婷五月天渟渟| 婷婷丁香色无五月| www91精品| 五月天天爽| 伊人在线大香蕉网| 综合成人小说婷婷| 久久婷婷色综合| 玖玖无码中文| 九九99精品视频在线观看| 色五月婷婷五月天| 丁香五月日本| 婷久久久| aaaaa不卡| 人妻久久久久久久久| 99热国内精品| 黄色短视频在线观看| 欧美丁香婷婷天天操| 婷婷深爱五月| 无码成人AAAAA毛片AI换脸| 色狠狠色综合久久久绯色AⅤ影视 大香蕉五月天婷婷丁香91 | 99免费在线视频| 99在线观看精品| 色色色地址| 激情五月综合网| AV伊人青草丁香六月| 影音先锋人妻出差| 激情伊人网| 丁香色五月 97干| 日本97久久久精品| 99亚洲视频| 五月天色婷婷视频| 97香蕉人人在线观看| 色99日韩| 婷婷综合色色| 色综合久久久无码中文字幕999| 天天草天天日| 99精品国产在热久久婷婷| 日韩啪啪网| 同性gv国产精品一区二区| 成人做爰A片免费看网站找不到了| 五月丁香婷婷激情澎湃四射| 中文字幕丰满人妻无码专区| 激情丁香五月| 天天色噜| 天天日狠狠| 一区二区你懂的| 九九热九九| 五月丁香激情欧洲啪啪| 六月99天天婷婷激情综合| 丁香五月av| 青青草成人网| 婷婷久久五月| 九九色video| 久99视频| 激情婷婷色五月| 婷婷久热| www.99精品日操伊人乱碰在线| 51XX嘿嘿午夜无码| 五月叮香啪| 亚洲综合在线丁香五月| 久久HD| 色综合综合综合| 99操久久| 五月丁香婷婷三级| 激情五月综合色| 国产超碰av| 色色99| 婷婷五月丁香六月综合网| 激情综合五| 5月丁香美女影院| 丁香婷婷激情| 久久这里只有精品1| WWW免费视频碰碰碰碰| 日本乱子人伦在线视频| 激情五月综合网最新| 亚洲瑟瑟精品在线| 成人网址在线观看| 久久99草五月婷婷| 99热这里有精品| 欧美色久| 婷婷五月久久| 凹凸7777操操操| 日本97在线| 婷婷综合仓库中文| 中文字幕在线免费观看视频| 色婷婷欧美| 婷婷五月天高清无码| 欧美色骚婷婷五月天| 中文字幕,综合,91| 超碰97在线观看免费| 久热这里| 91热爆在线| 可以免费看AV网站| 亚洲在线激情婷婷五月| 97婷婷色| 久久婷婷内射| 伊人大香蕉毛片| 五月婷婷丁香六月| 5月丁香啪啪啪| 激情99| www激情com| 99热99热在线观看| 五月色色色| 色玖玖玖| 亚洲在线成人| 亚洲网在线观看| 丁香婷婷五月综合影院| 另类国产欧美视频| 色婷婷香蕉在线| 国产毛片欧美毛片久久久| www.yw尤物| 超碰93在线观看| 欧美综合激情丁香五月六月婷| 99久久er| 99精品无码网站| 人人干Av| 五月噜噜| 五月丁香久久久| 色婷婷在线综合色播网| 久久精品国产色| 热99这里只是精品| 91九色国产熟女| 夜夜爱爱亚洲| 一起草aV| 欧美色色干| 99碰视频| 国产精品色婷婷99久久精品| 97欧美在线| 五月天婷婷香蕉狠狠超碰综合| 成人在线日韩欧美| 91互操| 三级毛片7979| 久久久久亚洲AV成人无码电影| 日韩AV在线免费观看| 97碰人人操| 成人网在线视频| 日韩精品一区二区亚洲AV观看| 97人妻人人| 欧美人人超级碰| www色婷婷com| 九九色色色| 大香蕉九操| 国产一级片| 思思久久网| 狠色狠色狠狠色综合网| 天天婷婷操| 激情五月天之六月婷婷| 日日噜狠狠色综合久久| 九九爱激情| 五月婷婷在线观看黄| 日韩黄色电影| 91精品综合久久久久久五月丁香| 色色婷婷五月天| 丁香婷婷五月香蕉91| 区欧美日韩成人| 婷婷五月天渟渟| www.99热这里精品 | 五月天天综合| 六月色色| 九九操综合网| 丁香五月Av| 综合色图区| 亚洲激情综合| 大香蕉久久伊人网| 久久精品系列| 激情小说五月天社区丁香| 婷婷色5月天在线。| 美英法精品无码免费视频| 99爱精品| 婷婷亚洲综合| a免费在线| 99碰| 日本啪啪网| 99精品这里只有免费视频 | 色综合婷婷| 乱乱av| 国产精品人妻在线网址| 五月色综合| 99这里只有精品在线| 婷婷五月天在婷| 99riAV国产精品视频| 狠狠色综合网| 97性高潮久久久| 综合大香蕉| 五月天影院婷婷在线观看| 激情五月婷婷丁香| 婷婷五月激情中文字幕| 久久9热综合| 97婷婷色| 3www激情| 美女五月天| 婷婷9月天| 99a级片| 六月激情婷婷综合| 丁香综合婷婷五月天| 婷婷五月天色色| 婷婷中文字暮| 综合玖玖性爱免费视频| 六月久久狠狠| 另类视频五月天| 欧美婷婷综合网| 很很操96| 在线观看av网站| 专区无日本视频高清8| 任你擦免费视频| 天天做综合网色综合| 日本色婷婷| 神马久久五月天| 丁香五月激情天AV无码| 五月丁香五月婷婷| 免费观看全黄做爰的视频| 国产婷婷综合在线免费视频| 五月丁香九九九综合| 色色五月婷婷久久| tingtingcaobi| 丁香五月大香蕉| 色五月婷婷亚洲| 无码免费人妻A片AAA毛片西瓜| 大香蕉五月| 四色女婷婷| 99这里有精品久久97| 五月婷婷之婷婷| 亚洲亚洲人成综合网络| 综合色色网| 五月亭亭性| 综合婷婷| 色停停香蕉视频| 亚州色色色| 超碰婷婷色| 亚洲 综合中文| 六月婷婷啪啪| 五六月婷婷久久| 欧美激情xxxXX| 91狠狠综合久久久| 久婷久婷激情肉| 五月天婷婷永久免费视频| 亚洲成人在线播放| 色欲婷婷五月天| 五月婷婷在线视频| 就爱日五月天| 深爱五月亚洲| 99国产精品白浆在线观看免费| 欧美日本VA| 香蕉操亚洲| 婷婷五月天丁香久久| 婷婷狠狠五月综合| 日本欧美成人片AAAA| 五月丁香啪啪网| 991精品在线视频| 激情五月天色色色| 五月天色裸体视频| 婷婷丁香中文字幕| 天天爽,天天操。| 日本一级一级一级一级| 色婷婷WWW| 日本人妻A片成人免费看片| 影音先锋91| 五月丁香综合| 我去色色网五雨天| 色五月在线播放| 在线日韩av| 五月天激情av| 色99久草在线| 涩五月色婷婷| 草榴成人影片| 桔色成人在线| 五月婷婷 婷婷五月 一区二区 久久久 | 超碰在线94| AV人人操| 婷婷五月丁香综合桃花色网| 99在线精品在线视频| 人妻丰满精品一区二区A片| 激情婷婷内射| 国产亚洲精品久久久久久豆腐| 亚洲婷婷丁香五月在线| 综合网亚洲| www。五月天激情| 五月亭亭直播| 精品婷婷五月天| 国产国产乱老熟女视频网站97| 99高级会所久久| 五月婷婷基地| 色婷丨日丨天丨综合久久| 无遮挡国产高潮视频免费观看| 小视频aaa久久久| 国产FREESEXVIDEOS性中国| 五月天婷婷午夜丁香| 99热网站| 思思热在线视频99| 九九色插| www色中色综合| 99久久超级| 青青草原福利在线| 肏日网在线看| 五月丁香综合影院| 99热91| 99久热| 人人干AV| 丁香婷婷综合喷| www.五月丁香| 五月丁香激情综合网| 欧美日韩91| 婷婷天天综合| 99艹精品在线观看| 色色无码| 秋霞免费三级片| 最近中文字幕大全免费版在线| 影音先锋 婷婷| 五月激情久久| 久久色天堂| 五月婷亚洲精品AV天堂| 五月丁香综合网| 色999;丁香五月| 综合九九久久| 亚洲综合久| 99原创自拍视频在线观看| 六月丁香婷婷在线波多| www91久久| 草草视频91| 五月婷婷丁香大陆免费| 久久久久久久,99精品视频| 婷婷六月色| 狠狠做五月| 久久婷婷青青| 日本久久性| 台湾综合丁香五月蜜桃| 色级停停| 激情五月婷| 成人婷婷五月天| 五月天丁香欧美激情| 久操操| www,五月天激情| 亚洲狠狠婷婷| 色婷婷香蕉| 99re最新地址| 这里只有精品视频222| 五月婷婷啪啪啪啪| 色婷婷伊人| 五月天六月天| 五月天AV大香蕉| 天天色天天日| 久久性爱视频网站| 99综合视频| 超碰99热精品在线| 婷婷久久色| 丁香六月婷婷综情欧美| 欧美三级视频| 99久久性爱| 综合激情深爱| 99热在线观看免费中文| 97se在线视频| 综合五月天| 人人干av| 婷婷在线操| 狠狠色丁香久久| 成人做爰高潮A片免费视频| 久99久精品| 人人干AV| 久热伊人| 五月婷婷性爱视频| 五月婷婷激情网| 狠狠色噜噜狠狠狠狠综合| 五月激情视频网| 久久92| 大香蕉视频99| 五月天大香蕉| 丁香五月综合激情性爱| 丁香五月综合在线播放 | 激情深爱五月天| 森林影视大全,最好看的2019年视频 | 无码人妻少妇色欲AV一区二区| 日日夜夜狠狠| 五月丁香六月婷婷综合网| 国产精品视频| www久久久久久久久久久久久久久久久| 五月丁香啪啪网| 天天日天天色| VA婷婷亚洲| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 狠狠综合| 可以免费观看的AV| 激情亚洲色图片丁香综合| 五月天综合在线| 日本三日本三级少妇三级66| 国自产拍偷拍精品啪啪一区二区| 超碰99久久| 五月色影院| 成人欧美Va| 亚洲精99| 九九热黄色| 五月久久网| 大香蕉婷婷婷| 三人荫蒂添的好舒服A片| 婷婷五月草| 五月丁香六月婷婷亚洲视频| 久久只有精品| WWW99热| 9999热在线免费观看| 五月婷婷综合在线视频| 男同91 | 91丨九色丨大屁股| 五月婷婷激情| 狠狠色综合网站久久久久| 26uuu四色| 午夜丁香丁香婷婷| 视频一二区| 91久久婷婷| 色播五月丁香综合| 秋霞电影一级黄| 97碰啪啪| 色五月婷婷操逼| Www.狠狠| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 婷婷六月丁香久| 99久久婷婷国产综合精品青桔| 久久久久久久久99精品| 色玖玖网| 色色综合院| 99re久热| 99久久色| 任你搞在线观看视频| 五月天色软件| 99干免费视频| 91碰人人| 婷婷不卡基地| 久碰久| 婷婷在线中文字幕| 香蕉久久国产AV一区二区| 色综合久久44| 成人在线网址| 天天天天天天操| 久久综合五月| 天天干天天爽| 狠狠干婷婷| 五月天婷婷影院| 婷婷五月天av| 操操操B| WWW.亚洲无码| 欧美碰碰碰| 久久精品日| 婷婷五月激情综合啪啪| 九久热| 国产成人亚洲综合亚洲| 91好好热日本在线| 久久九九中文字幕| 色婷操逼| 国产色色在线| 九九视频精品这里只有| 婷婷色系婷色| 精品51XX| 久久亚洲激情五码| 色播婷婷五月天| 婷婷五月天在线综合| 人人播| 激情丁香五月婷婷| 久久久性爱视频| 丁香五月色情| 激情五月天网站| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | ay2区| 五月丁香在线视频观看| 五月天婷婷色播在线网| 色六月视频| 国产精品国产| 狠狠干无码| 色色99| 天堂久热| 玖玖婷婷婷丁香五月| AAA久久久AAA久久久AAA| 国产67194| 91精品久久久久久综合五月天| 台湾综合丁香五月蜜桃| 99热这里只有精品热| 五月天啪啪| 99热这里是精品| 98国产精品综合一区二区三区| 久久全色| 久操人妻| 六月丁香婷婷开心综合基地| 五月天激情开心网| 欧美色婷婷| www.99在线| 免费看成人AA片无码视频吃奶| 五月丁香综合久久夜夜| 91AV婷婷| 青草性爱视频| 丁香色综合| 成人短视频在线观看| 国产精产国品一二三在观看 | 婷婷伊人綜合| 激情五月天色色| 天天干天天干天天干天天干天天干天天干天天 | 五月丁香婷婷色色| 97在线99| 久热AA| 影音先锋 91工厂| 99热这里是精品| 九九成人视频| 97色综合视频| 五月丁香亚洲校园欧美| 天天爽天天透天天爱| 五月天婷婷成人| 欧美成人va| 色婷婷第四色| 桃色Av色哟哟| 亚洲综合激情五月| 97色色综合| 青青草原爱爱网| 天天操加勒比| 狠狠五月激情婷婷直播片| 九九婷婷综合| 超碰成人公开| 国产成人综合网| 五月丁香婷婷成人综合网| 人妻久久久久久| 中文在线视频久9| 激情涩涩网| 人妻久久久| 国产偷人爽久久久久久老妇APP| 日本婷久久| 婷婷五月天激情五月天网站| 1024日韩| 丁香五月天激情四射网络不好| 天天爽夜夜爽夜夜爽精品| 人人视频人人干人人做| 在线理论片| 99热综合| 婷婷五月天免费视频| 五月天激情综合| Av在线不卡一区| 久久这里只有精品07 | 婷婷社区五月天| 国产乱妇乱子在线播视频播放网站| 91久久九久久九久久九久久九久久| 综合热无码| 丁香五月久久| 亚洲成片在线观看| 夜夜骑操AV| 久久超级碰碰| 久久男人网婷婷| www.sd-xiangsu.cpm| 亚洲婷婷丁香| 一区二区乱视频码| 激情5月婷婷狠狠干| 9久精品视频| 九九精品系列| www.十八禁不禁AV.com| 激情婷婷| 91久久久久久久91| 久久婷婷色五月| 裸体做A爰片毛片A片免费| 啊V视频在线观看| 激情五月天影院| 欧美十二区| 久久狠色噜噜狠狠狠狠97| 五月婷婷综合网| 六月婷婷av| 五月天婷婷基地| 97伦色婷婷| 五月天成人在线| 玖玖在线视频| 五月婷婷偷拍| 五月婷婷之美女图片| 国产亚洲精品久久久久苍井松 | www.国产色| 99热这里只有精品1025| 五月天天久久香| 欧美日韩五月婷婷| 99国产小视频| 黄色av网站在线免费播放| 五月丁香久久综合精品| 色色五月天激情| 丁香六月婷婷综情欧美| 99热主页日本| 91精品国产99久久久久久天美| 欧美婷婷综合| Caoporn公开| 丁香五月婷婷俺也要去| 射婷婷中文字幕| 亚洲爱爱无码婷婷色五月| 少妇高潮呻吟A片免费看软件| 亚州激情网| 99超级碰免费视频| 在线国产精品色| 99视频只有精品| 婷婷六月丁香开心深深爱| 中文AV网站| 五月综合视频在线| 色天堂在线| 97色色综合| 综合一区二区三区| 色综合色色色色| 91久久色| 草榴视频黄色网| 久久ER视频com| 亚洲婷婷久久综合| 婷婷五月丁香超碰| 五月婷婷婷丁香播| 大香AV| 五月婷婷六月激情| 五月开心啪啪| 久久美女五月天| 亚洲精品中文字幕成人片| 五月天播播中文字幕| 日韩一级网站| 91九色丨国产丨爆乳| 久久在这里99| 激情综合网五月| 超碰九色| 日本天天色| 新激情五月开心五月婷婷五月丁香五月| 国产黄大片在线观看画质优化| 五月丁香色婷婷基地| 国产美女无遮挡裸体毛片A片| 插插网爽妇五月丁香| 九九操屄| 久色欧美| 久草五月天| 狠狠五月天| 丁香五月另类小说在线阅读| 五月天婷久久| 色综合性视频| 涩五月丝袜婷婷| xx久久| 人人爽天天莫| 欧美色综合天天久久综合精品| 五月婷导航| 日韩久综合| 99久久网站| 激情五月丁香婷婷夜夜操| 拍真实国产伦偷精品| 噜噜噜精品欧美成人在线观看| 婷婷久久爱| 婷婷大乡焦噜噜| 亚洲无码成人网| 欧美三级巜人妻互换| 丁香五月婷婷亚洲综合精品在线| 538在线精品| 五月丁香另类图片| www久| 国产69精品久久久久999小说| 最新丁香六月婷婷| 五月婷婷综合久久| 婷婷久久久| 成人超碰Av| 亚州色婷婷| 中文字幕乱码亚洲精品一区| 色婷婷婷婷| 久久六月天| se色婷婷视频| 天天操人人干| 99久久婷婷| 熟女人妻一区二区三区免费看| 色五月AV| 久久久91| 久久久久久久久久久久久久久久一道本| 五月天婷婷丁香基地在线观看| 久久大香蕉| 99久久九九视频| 五月天成人免费视频| 久久久18| 97碰 在线视频观看| 五月伊人网| 五月噜噜| 五月天综合久久| 一区二区成人电影免费播放| 草一草avb| 五月丁香久久激情网| 91精品无码久久久久久五月天| 亚洲成人在线播放| 这里只有精品视频在线| 99这里有精品免费| 国产黄色一级片| 婷婷激情五月| 狠狠狠狠狠狠狠狠| 成人天天爽| 综合在线观看99| 婷婷五月天伊人网| 丁香五月婷老师| 丁香亭亭久久| 四月婷婷五月丁香| 国产精品成人AV在线观看春天| WWW.17C亚洲精品| 五月丁香少妇网| 91人人网| 午夜AV网| 婷婷综合久久| 五月天六月色| 桃色伊人在线| 婷婷激情综合网| 久久33视频| 91日韩在线| 久99久精品| 亚洲va欧洲va国产va不卡| 99在线er热| av国产精品偷| 亚州欧美黄色电影| 久久九九国产精品怡红院| 日本成人噜噜噜| 狠狠人妻久久久久久综合丁香| 久久久.COM| 色欲色香,www,com| 这里只有精品96| 人人摸人人摸| 97人人操| 日本五月天一页| 开心五月丁香综合久久| 日韩影院三级| 九九99香蕉在线视频播放|