欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

CKKS同態(tài)加密實戰(zhàn)指南:從原理到參數(shù)調(diào)優(yōu)

CKKS同態(tài)加密實戰(zhàn)指南:從原理到參數(shù)調(diào)優(yōu) 1. 為什么是 CKKS它解決了同態(tài)加密的哪塊短板1.1 從整數(shù)到浮點BFV/BGV 的天然局限很多剛接觸全同態(tài)加密的人第一次跑通的是 BFV 或 BGV 方案因為它們邏輯直白把一個整數(shù)當作多項式系數(shù)加密加法和乘法在密文上精確對應(yīng)明文整數(shù)運算。至少在數(shù)學(xué)層面這套邏輯非常干凈。但一旦你想拿它做點真實業(yè)務(wù)問題立刻冒出來——真實業(yè)務(wù)里幾乎全是浮點數(shù)。模型的權(quán)重是 0.731、1.2047 這種小數(shù)統(tǒng)計指標是平均值、方差距離計算是歐氏距離。BFV/BGV 不是不能處理小數(shù)而是處理起來非常別扭。你得給每個數(shù)手動乘一個縮放因子把它變成整數(shù)然后祈禱乘法次數(shù)不多。因為每做一次乘法縮放因子的量級會指數(shù)膨脹你不得不算著位寬定期做截斷稍不留神精度就崩了。我當時第一次嘗試用 BFV 模擬一個簡單的線性回歸推理模型只有 3 個特征、1 層乘法還能勉強跑通。但換成 2 層神經(jīng)網(wǎng)絡(luò)中間要經(jīng)過激活函數(shù)、多層矩陣乘法縮放因子的管理直接失控。那段時間我最大的感受是方案在數(shù)學(xué)上沒問題工程上幾乎沒法用。CKKS 就是沖著這個痛點來的。1.2 近似計算思路把誤差當特性而不是缺陷CKKS 全稱是 Cheon-Kim-Kim-Song按 2017 年論文的名字翻譯過來就是“近似數(shù)算術(shù)的同態(tài)加密”。它和 BFV/BGV 最本質(zhì)的區(qū)別在于CKKS 主動承認計算結(jié)果是近似的誤差是設(shè)計的一部分而不是方案的副作用。它的做法可以類比成定點數(shù)運算把一個浮點數(shù)放大 2^40 倍變成一個大整數(shù)參與環(huán)上的運算做完后再縮小回去。每次乘法后所有數(shù)據(jù)自動進入一個新的縮放級別這個機制在方案層面被固定下來叫作 rescale。你不用像用 BFV 那樣手動維護縮放因子也不用擔心哪天忘了截斷導(dǎo)致整數(shù)溢出。方案內(nèi)部就把“小數(shù)點位置”管理好了。解密時你得到的不再是精確的明文而是“明文 一個小噪聲”。這個噪聲在參數(shù)合理時非常小比如小數(shù)點后 10 位以內(nèi)。對絕大多數(shù)機器學(xué)習(xí)推理、統(tǒng)計分析場景來說這個精度完全夠用。這套設(shè)計思想在密碼學(xué)界其實很激進。傳統(tǒng)同態(tài)加密追求的是“密文上算的和明文上算的完全一致”CKKS 直接把這個目標改成了“足夠接近”。恰好現(xiàn)實世界里有大量計算本身就不需要精確結(jié)果。1.3 CKKS 的適用邊界CKKS 不是萬能藥。它擅長浮點計算、向量批量處理、深度較大的算術(shù)電路但不擅長精確比較、取整、求余這類操作。金額結(jié)算這種一分錢都不能差的場景千萬別用 CKKS老老實實回去用 BFV 或者別做同態(tài)。此外CKKS 的 bootstrapping自舉雖然已經(jīng)實用化但開銷依然很高能通過參數(shù)設(shè)計避開就避開。適合用 CKKS 的場景主要有幾類隱私保護的機器學(xué)習(xí)推理輸入是密文模型參數(shù)可以明文也可以密文聯(lián)邦學(xué)習(xí)場景下的安全聚合把各參與方的梯度加密后聚合醫(yī)療數(shù)據(jù)、基因數(shù)據(jù)的加密統(tǒng)計分析金融風控中的加密查詢或加密評分這篇文章后面會圍繞原理、實操、參數(shù)調(diào)優(yōu)和踩坑鏈路展開。如果你是第一次接觸 CKKS建議先跑通最小代碼再回頭看數(shù)學(xué)如果你已經(jīng)在跑 CKKS 但精度不對、性能太差可以直接跳到第 5 章。2. 拆開 CKKS 引擎編碼、縮放與噪聲預(yù)算2.1 復(fù)數(shù)向量如何“裝進”多項式所有基于 RLWE環(huán)學(xué)習(xí)錯誤問題的同態(tài)加密方案都工作在同一個代數(shù)結(jié)構(gòu)上多項式環(huán) R Z[X]/(X^N 1)。這里 N 是 2 的冪常見取值是 8192、16384、32768。明文、密文、密鑰全都是這個環(huán)上的元素也就是次數(shù)小于 N 的整數(shù)多項式。CKKS 的巧妙之處在編碼環(huán)節(jié)。雖然在環(huán)上只能處理整數(shù)多項式但 CKKS 能把一個長度為 N/2 的復(fù)數(shù)向量編碼進一個多項式里。大致過程是這樣的你有一個復(fù)數(shù)向量 z長度是 N/2對它做共軛對稱擴展變成一個長度為 N 的向量對這個向量做逆傅里葉變換實際操作中就是逆 FFT把結(jié)果乘以縮放因子 Δ四舍五入成整系數(shù)多項式解碼就是逆過程多項式系數(shù)除以 Δ做傅里葉變換取前 N/2 個分量。為什么必須做共軛對稱擴展因為逆傅里葉變換的結(jié)果天然是關(guān)于原點共軛對稱的而我們要編碼的向量只有 N/2 個自由度必須保證編碼后的多項式落在環(huán)的某個特殊子空間里解密后取回的那 N/2 個值才剛好是原始數(shù)據(jù)。我第一次看這個編碼過程時繞了好久才轉(zhuǎn)過彎來。它本質(zhì)上就是“把數(shù)據(jù)藏進系數(shù)的頻域表示里”所以 CKKS 里對數(shù)據(jù)的操作最后都會對應(yīng)到頻域上的逐點操作。這也是為什么后來打包、旋轉(zhuǎn)、矩陣乘法這些操作都有非常優(yōu)雅的實現(xiàn)方式。有個細節(jié)容易忽略編碼時是逆 FFT不是逆 NTT。雖然 BFV 也做類似變換但那是為了快速多項式乘法用的是模素數(shù)域上的 NTTCKKS 編碼是真正在復(fù)數(shù)域上做傅里葉變換。理解這一點你就明白為什么 CKKS 天然支持復(fù)數(shù)而不只是實數(shù)了。2.2 scale 機制為什么乘法后一定要 rescalescale 是 CKKS 里最重要的概念沒有之一。你可以把 scale 理解為定點數(shù)里的小數(shù)點位置。編碼時乘的那個 Δ 就是初始 scale典型值設(shè)成 2^40也就是 40 位二進制精度大約相當于 12 位十進制小數(shù)。兩個 scale 為 Δ 的密文相加結(jié)果的 scale 還是 Δ沒問題。但兩個密文相乘時數(shù)學(xué)上對應(yīng)的是兩個多項式乘積明文的乘積自然變成了“明文 × 明文”它的 scale 變成了 Δ2。如果不做任何處理再來一次乘法就變成 Δ3再來幾次系數(shù)大小直接突破模數(shù)上限數(shù)據(jù)徹底損壞。CKKS 的方案機制是每次乘法后做一個 rescale 操作把密文的每個系數(shù)除以 Δ近似地同時把 scale 從 Δ2 降回 Δ。這樣下一輪乘法依然面對的是 scale 為 Δ 的密文整個計算可以無限繼續(xù)下去直到模數(shù)鏈耗盡。關(guān)鍵點rescale 在實現(xiàn)時不是真的做除法而是通過模數(shù)切換完成的。這就是為什么 CKKS 的系數(shù)模數(shù)必須設(shè)計成多個素數(shù)的乘積q q0 × q1 × q2 × ... × qL每做一次 rescale模數(shù)就換成除以一個素數(shù)后的數(shù)scale 約等于去掉的那個素數(shù)本身。這里的“約等于”就是 CKKS 近似性的來源之一因為素數(shù)不可能恰好是 2 的冪所以每個素數(shù)位的 scale 其實是 2^40 附近的一個數(shù)。我建議新手第一次寫代碼時把 scale、模數(shù)、rescale 這三者的關(guān)系用一張表寫下來初始 scale 是多少、乘法后變成多少、rescale 后模數(shù)剩多少、scale 回到多少。你會發(fā)現(xiàn)整個流程突然就清晰了。2.3 Level 與噪聲預(yù)算計算深度的天花板每個 CKKS 密文都有一個“當前處于模數(shù)鏈哪一層”的概念叫作 Level。初始密文在最高層 L每做一次 rescale 就降一層降到 0 就不能再做乘法了。所以模數(shù)鏈里素數(shù)的數(shù)量直接決定了密文能承受的連續(xù)乘法次數(shù)。這就是為什么要做深度預(yù)估如果你的計算圖里最長路徑是連乘 5 次模數(shù)鏈至少要預(yù)留 5 次 rescale 的余量通常再留 1 層作為精度緩沖。噪聲預(yù)算則是另一個維度。RLWE 密文里每個系數(shù)都帶有一個隨機小噪聲解密時需要用私鑰把噪聲“濾掉”才能看到明文。加法和乘法都會讓噪聲增長而且乘法的噪聲增長比加法快得多。當累積噪聲超過某個閾值時明文就淹沒在噪聲里解密出來就是一坨亂碼??梢酝ㄟ^ API 查看某個密文的噪聲預(yù)算。SEAL 里能看到初始噪聲預(yù)算大概是 log2(q) 減去某個常數(shù)。比如 coeff modulus 總位寬 240 位初始噪聲預(yù)算大概在 200 位左右每做一次乘法噪聲預(yù)算會掉幾十位。當噪聲預(yù)算掉到接近 0加密就是廢的。實操中我習(xí)慣把“噪聲預(yù)算還有多少”作為判斷一次計算是否健康的第一指標而不是先去看結(jié)果對不對。結(jié)果不對大概率是噪聲打穿了具體怎么排查第 5 章會展開講。2.4 密鑰體系與運算原語CKKS 的密鑰有三件套私鑰secret key解密用必須保密且只存在于一方公鑰public key加密用可以公開分發(fā)求值密鑰evaluation key也叫重線性化密鑰relin key乘法后用來把密文尺寸從 3 個多項式壓縮回 2 個多項式求值密鑰的存在是因為兩個密文相乘在數(shù)學(xué)上產(chǎn)生一個二次多項式直接展開就太長了。為了不破壞“密文固定由 2 個多項式組成”的結(jié)構(gòu)需要用重線性化技術(shù)在密鑰切換后把它壓回去。這個操作本身是性能大頭SEAL 庫里目前的實現(xiàn)已經(jīng)相當快了但在大參數(shù)下依然可能占據(jù)大部分計算時間。除了加法和乘法CKKS 還支持密鑰切換key switching和旋轉(zhuǎn)rotation。旋轉(zhuǎn)是后面第 4 章要講的重點它是實現(xiàn)打包和矩陣運算的基礎(chǔ)。旋轉(zhuǎn)需要額外的 rotation key用私鑰生成按需分發(fā)不能復(fù)用別的場景的 key。到這里CKKS 的核心機制已經(jīng)講清了它是一個支持近似浮點計算、具備完整加減乘和旋轉(zhuǎn)原語的同態(tài)加密方案。接下來直接進入實操。3. 實機演練用開源庫跑通第一個 CKKS 計算3.1 庫選型對比從哪個庫入手成本最低業(yè)內(nèi)常用的 CKKS 實現(xiàn)庫有這幾個庫語言特點建議Microsoft SEALC文檔最全、社區(qū)最活躍、API 設(shè)計清晰首選適合系統(tǒng)學(xué)習(xí)OpenFHEC支持多方案從 PALISADE 演進而來生產(chǎn)環(huán)境可考慮HEAAN / OpenHEEAANCCKKS 原作者團隊的實現(xiàn)偏研究參考LattigoGo純 Go適合 Go 后端集成后端是 Go 時推薦TensealPython封裝 SEALAPI 更簡單快速原型驗證首選PyfhelPython封裝 SEAL老牌原型可以湊合用我的建議是正兒八經(jīng)理解 CKKS 用 SEAL這個庫的錯誤提示比較友好參數(shù)校驗嚴格能幫你省掉很多自我懷疑的時間。只是快速驗證想法、不想碰 C那就用 Tenseal。3.2 環(huán)境準備和初始化以 SEAL 4.x 的 C API 為例初始化的代碼骨架如下#include seal/seal.h using namespace seal; EncryptionParameters parms(scheme_type::ckks); size_t poly_modulus_degree 8192; parms.set_poly_modulus_degree(poly_modulus_degree); parms.set_coeff_modulus(CoeffModulus::Create(poly_modulus_degree, {60, 40, 40, 60})); auto context SEALContext::Create(parms); KeyGenerator keygen(context); auto secret_key keygen.secret_key(); PublicKey public_key; keygen.create_public_key(public_key); RelinKeys relin_keys; keygen.create_relin_keys(relin_keys); Encryptor encryptor(context, public_key); Evaluator evaluator(context); Decryptor decryptor(context, secret_key); CKKSEncoder encoder(context); double scale pow(2.0, 40);這里的 poly_modulus_degree 是 N取 8192coeff modulus 配的是 60、40、40、60代表四個素數(shù)每個大約 60 位或 40 位初始總模數(shù)約 200 位。這個配置是 SEAL 官方推薦的入門參數(shù)安全強度約 128 位最大乘法深度為 2。scale 取 2^40意味著編碼時保留 40 位左右的精度。注意coeff modulus 的第一個和最后一個素數(shù)通常設(shè)得比其他大原因是第一個素數(shù)影響初始噪聲預(yù)算最后一個素數(shù)影響最終精度。中間區(qū)間的素數(shù)大小就是每次乘法后 scale 的近似值這里設(shè)成 40 位和 scale 相呼應(yīng)。3.3 完整加密加乘流程假設(shè)我們要算 0.5 × 1.5明文域結(jié)果是 0.75現(xiàn)在全程在密文上完成Plaintext plain1, plain2; encoder.encode(0.5, scale, plain1); encoder.encode(1.5, scale, plain2); Ciphertext c1, c2; encryptor.encrypt(plain1, c1); encryptor.encrypt(plain2, c2); evaluator.multiply_inplace(c1, c2); evaluator.relinearize_inplace(c1, relin_keys); evaluator.rescale_to_next_inplace(c1); Plaintext plain_result; decryptor.decrypt(c1, plain_result); vectordouble result; encoder.decode(plain_result, result); cout result[0] endl; // 約 0.75這段代碼里有三個操作不能省略也不建議調(diào)整順序multiply_inplace密文相乘此時 scale 變成 Δ2密文變成 3 個多項式relinearize_inplace用求值密鑰把 3 個多項式壓回 2 個rescale_to_next_inplace把 scale 從 Δ2 降回 Δ同時 Level 減 1為什么先重線性化再 rescale因為重線性化是對當前模數(shù)下的多項式做密鑰切換密文項數(shù)少一項后續(xù)計算量自然更小。反過來先 rescale 再重線性化也可以做到數(shù)學(xué)上等價但是后者需要先把三個多項式都切到低模數(shù)白白多算一輪不劃算。再說一遍 scale 對齊的問題兩個密文相加要求兩者的 scale 一致。如果一個是 2^40另一個乘過一次后 rescale 回 2^40那沒問題。但如果一個密文剛乘過還沒 rescalescale 是 2^80另一個是 2^40直接相加得到的結(jié)果 scale 是亂的后續(xù)再乘再 rescale 基本就廢了。很多精度問題其實是這一步埋下的雷。3.4 解碼與精度觀察跑完上面這段代碼你大概率會得到一個類似 0.7499999999999 的結(jié)果。這個“差一點”就是 CKKS 的常態(tài)不是 bug。誤差來源有三塊編碼時把浮點數(shù)放大并取整這一步已經(jīng)損失了低于 2^-40 的尾數(shù)乘法過程中噪聲累積導(dǎo)致最低幾位抖動rescale 時除以的素數(shù)不是精確等于 2^40引入了微量偏差這三個誤差源里第一個是可預(yù)測的第二個可以通過參數(shù)控制第三個是方案固有屬性。實踐時不需要強求結(jié)果和明文完全一致只需要確認誤差在應(yīng)用可接受范圍內(nèi)即可。我第一次跑通這個最小示例時盯著那個 0.7499999 看了半天一度懷疑是不是哪里寫錯了還專門拿明文算了三遍。后來才意識到這正是 CKKS 的“近似算術(shù)”設(shè)計在起作用。搞清楚這個心理預(yù)期后面排查問題會省很多力氣。4. 從單值到批量打包和旋轉(zhuǎn)的正確打開方式4.1 插槽和 SIMD 打包CKKS 單個密文可以裝 N/2 個復(fù)數(shù)N 8192 時就是 4096 個。這些位置叫 slot插槽。對密文做一次乘法相當于同時對 4096 個值做乘法開銷和只算 1 個值幾乎一樣。這就是 CKKS 實用化的關(guān)鍵。全同態(tài)加密的性能再差一次操作能同時處理幾千個數(shù)據(jù)攤薄下來每個數(shù)據(jù)的成本就能降到可用范圍。所有認真的項目幾乎都會用批處理技術(shù)把計算圖矢量化。編碼時直接把一個 vectordouble 傳進去即可vectordouble input {1.0, 2.0, 3.0, 4.0}; Plaintext plain; encoder.encode(input, scale, plain);解碼時拿出來的也是一個 vector。要注意的是長度必須小于等于 N/2多了編碼器會直接報錯。這里有個常見的性能誤區(qū)不少人在初期只打包一個值結(jié)果性能慘不忍睹誤以為 CKKS 完全不可用。其實應(yīng)該養(yǎng)成一個習(xí)慣拿到一個計算任務(wù)先問自己能往一個密文里塞多少個獨立樣本。能塞進去性能問題就小一半。4.2 旋轉(zhuǎn)操作密文里的位移批處理有一個繞不開的配套操作旋轉(zhuǎn)。旋轉(zhuǎn)的作用是讓密文里的第 i 個 slot 移動到第 i1 個或任意偏移位置。為什么要旋轉(zhuǎn)因為很多時候一個數(shù)據(jù)點的計算要跨 slot 訪問其他數(shù)據(jù)。典型的例子是卷積。卷積核要掃過整個特征圖對于每個輸出位置都要把周圍鄰域的值取出來做加權(quán)和。相鄰位置的輸入在打包時存在不同 slot 里不旋轉(zhuǎn)根本取不到。SEAL 里旋轉(zhuǎn)需要先生成 rotation keyvectorint steps {1, -1, 2, -2}; // 旋轉(zhuǎn)步長集合 RotationKeys rot_keys; keygen.create_rotations_keys(steps, rot_keys);之后對密文做旋轉(zhuǎn)evaluator.rotate_vector_inplace(c, 1, rot_keys); // 左移一個 slot evaluator.rotate_vector_inplace(c, -1, rot_keys); // 右移一個 slot生成 rotation key 時需要規(guī)劃好哪些步長會用到。步長越多樣key 文件越大生成時間也越長。一個項目里用到 1、2、4、8 這種 2 的冪次步長很常見既能覆蓋各種偏移又不會生成太多 key。旋轉(zhuǎn)操作的開銷比乘法大不少因為它內(nèi)部要做密鑰切換。實際優(yōu)化中要盡量把旋轉(zhuǎn)次數(shù)壓縮到最少比如把連續(xù)兩次旋轉(zhuǎn)合并成一次大偏移的旋轉(zhuǎn)。4.3 矩陣乘法的實現(xiàn)思路矩陣乘法是 CKKS 在機器學(xué)習(xí)推理中最常用的操作。假設(shè)輸入是向量 x權(quán)重是矩陣 W要算 y Wx。最常見的做法是對角線打包法diagonal packing把矩陣 W 拆成若干條“對角線”每條對角線打包進一個明文把輸入向量 x 的對應(yīng)元素通過旋轉(zhuǎn)對齊到正確位置把每個對角線的乘積累加得到結(jié)果向量的密文具體來說一個 4×4 矩陣可以拆成 4 條對角線每條對角線對應(yīng)一個偏移步長。計算時對夾具輸入向量做對應(yīng)步長的旋轉(zhuǎn)然后逐對角線做乘法和累加。整個過程只需要 4 次乘法、4 次旋轉(zhuǎn)和若干次加法。這個方法的優(yōu)點是乘法次數(shù)和旋轉(zhuǎn)次數(shù)都等于矩陣的“非零對角線數(shù)”遠小于逐元素展開的乘法次數(shù)。缺點是涉及大量旋轉(zhuǎn)而旋轉(zhuǎn)慢。如果矩陣有特殊結(jié)構(gòu)比如稀疏、低秩還能進一步優(yōu)化。另一個思路是直接用 CKKS 的“明文矩陣”乘法接口但通用性差一些。先跑通最基礎(chǔ)的對角線打包再根據(jù)實際矩陣形狀做定制優(yōu)化是比較合理的路徑。5. 參數(shù)調(diào)優(yōu)與精度事故的排查鏈路5.1 參數(shù)搭配的核心原則CKKS 的參數(shù)選擇會影響三個方面安全性、性能、精度。三者之間是矛盾關(guān)系需要根據(jù)應(yīng)用場景做取舍。我平時配置參數(shù)的順序是先確定需要的乘法深度 d。看計算圖里最長的一條乘法鏈別只看層數(shù)要具體數(shù)每一層的乘法次數(shù)。一個深度為 d 再加初始精度的模數(shù)鏈通常至少需要 d 個“中間素數(shù)”。再確定需要的精度也就是 scale 的位寬。普通機器學(xué)習(xí)推理用 2^40 足夠如果只需要少量乘法2^30 也能跑。scale 設(shè)得越高每個中間素數(shù)就越大同樣位寬下能放的素數(shù)數(shù)量就越少。綜合深度和精度算出 coeff modulus 的總位寬。再根據(jù)總位寬反推 poly_modulus_degree。SEAL 會直接告訴你某些參數(shù)組合不安全可以直接信任它的報錯。舉個例子假設(shè)要跑 4 次乘法每次乘法后都需要做 scale 回落到 2^40模數(shù)鏈結(jié)構(gòu)可以是 {60, 40, 40, 40, 60}總位寬 240 位。這個總位寬下 poly_modulus_degree 至少要 16384因為 8192 能承載的安全模數(shù)上限大約只有 218 位左右。核心原則是不要自己造參數(shù)組合先用官方推薦的安全參數(shù)再逐步微調(diào)。SEAL 的CoeffModulus::Create會根據(jù) poly_modulus_degree 自動判斷素數(shù)位數(shù)是否過界最終的安全級別也可以從context里查出來。5.2 精度崩潰的排查鏈路CKKS 跑著跑著結(jié)果變得離譜這個問題幾乎每個使用者都會遇到。我踩過幾次坑之后整理出一套固定排查順序按這個順序檢查通常能快速定位第一步查噪聲預(yù)算。解密失敗、結(jié)果完全錯亂多半是噪聲打穿了。在關(guān)鍵操作前打印一下密文的噪聲預(yù)算看看是不是已經(jīng)掉到 20 位以下。如果是說明乘法深度超出了模數(shù)鏈能支撐的上限。第二步查 scale 一致性。把所有加在一起的密文 scale 打出來看看是否一致。注意不是看數(shù)值接近程度而是看是否完全相等因為 2^40 和 2.0000000001^40 在后續(xù)乘法中的表現(xiàn)是截然不同的。加操作的兩個輸入 scale 不一致是最常見的 Bug。第三步查 rescale 是否遺漏。乘法之后是否做了 rescale如果連續(xù)做了幾次乘法而中間沒有 rescalescale 會指數(shù)增長后果類似整數(shù)溢出。第四步檢查編碼端的明文值。解碼前先在明文域算一遍確認期望值在合理范圍。有時候不是密文算錯了而是初始數(shù)據(jù)編碼時就已經(jīng)引入了不可接受的誤差。第五步檢查模數(shù)鏈設(shè)計。乘法深度估計是否準確中間素數(shù)太小導(dǎo)致每次 rescale 精度掉得太快這些通常需要回到第 5.1 節(jié)重新推演。按這套順序排查絕大多數(shù)精度問題都能在半小時內(nèi)找到根源比起對著代碼發(fā)呆效率高很多。5.3 性能優(yōu)化經(jīng)驗CKKS 的性能瓶頸通常集中在三個地方多項式乘法NTT、重線性化密鑰切換、旋轉(zhuǎn)。前兩個是密碼學(xué)原語優(yōu)化空間不大但可以通過減少操作次數(shù)來降低總開銷。旋轉(zhuǎn)的優(yōu)化空間相對更大。幾個實測下來效果明顯的優(yōu)化手段優(yōu)先做批處理。同樣的計算一個密文裝 4096 個值和裝 1 個值代價幾乎一樣。批處理是所有性能優(yōu)化的前提。減少計算圖里的乘法深度。有些數(shù)學(xué)公式可以改寫比如把多個乘法的連乘結(jié)構(gòu)改成加法樹結(jié)構(gòu)或者用乘法次數(shù)更少的算法實現(xiàn)多項式求值。把多個旋轉(zhuǎn)合并。如果計算中先后要旋轉(zhuǎn) 1 位和 2 位考慮是否可以直接旋轉(zhuǎn) 3 位一次到位。盡量用明文乘法。CKKS 支持密文乘明文這個操作比重線性化密文乘法快很多因為不需要重線性化。模型推理時把權(quán)重作為明文輸入作為密文能省下大量開銷。減少 key 的生成數(shù)量。rotation key 和 relin key 的生成并不便宜每個 key 都要做密鑰切換的預(yù)處理。key 的管理和發(fā)送也要規(guī)劃好避免每個參與方都生成全套 key。一個典型的優(yōu)化案例我在做一個 3 層 MLP 推理時一開始把模型權(quán)重也加密了整個推理耗時 6 秒。后來改成權(quán)重明文、輸入密文同樣結(jié)果耗時降到 1.8 秒。再通過打包把多個輸入樣本同時推理單樣本延遲降到幾十毫秒。性能和精度一樣都需要從全局視角去調(diào)整而不是指望某一個參數(shù)能救回來。6. 落地視角密文浮點計算在項目中的位置6.1 隱私機器學(xué)習(xí)推理的典型結(jié)構(gòu)CKKS 在隱私保護機器學(xué)習(xí)推理中的角色很清晰數(shù)據(jù)持有方把輸入加密成密文發(fā)給計算方計算方在密文上執(zhí)行模型推理返回加密結(jié)果只有數(shù)據(jù)持有方能解密看到結(jié)果。這里模型權(quán)重可以有兩種處理方式一種是明文計算方直接把模型參數(shù)以明文形式參與密文乘法效率高適用于“計算方擁有模型、數(shù)據(jù)方想用模型”的場景另一種是權(quán)重也加密適用于雙方都不希望對方知道模型參數(shù)的場景但計算開銷明顯增大。實際工程中還有一種混合模式把神經(jīng)網(wǎng)絡(luò)的前幾層用 CKKS 做密文推理后面的層直接以明文形式在解密后進行避免整個網(wǎng)絡(luò)都跑在密文域里。這帶來的安全邊界變化需要謹慎評估但確實是性能和安全的常見折中點。6.2 與其他隱私計算技術(shù)結(jié)合全同態(tài)加密不一定要單打獨斗。CKKS 擅長浮點算術(shù)但在比較、取整、條件分支這些操作上很弱安全多方計算MPC恰好擅長這些邏輯操作缺點是通信量大。兩者結(jié)合是現(xiàn)在工業(yè)界的主流思路之一。常見分工是大的浮點矩陣運算交給 CKKS利用它的批處理和近似算術(shù)特性涉及比較、截斷、ReLU 激活這類操作時用 MPC 協(xié)議輪換處理比如神經(jīng)網(wǎng)絡(luò)推理里的 ReLU 無法用 CKKS 高效實現(xiàn)一種做法是把 ReLU 近似成多項式全程留在 CKKS 域里另一種做法是通過秘密分享切到 MPC 域里做精確比較再切回來。前者快但精度有損后者精確但慢。具體選哪種取決于模型對激活函數(shù)精度的敏感度。聯(lián)邦學(xué)習(xí)也是 CKKS 的典型搭配。各參與方本地訓(xùn)練后把梯度用 CKKS 加密上傳聚合方在密文上求平均再把結(jié)果返回解密。這個過程中聚合方全程接觸不到任何一方的明文梯度比單純傳輸梯度要安全得多。6.3 什么時候不該用 CKKS給項目做技術(shù)選型時知道“什么時候不選”比知道“什么時候選”更重要。以下幾種情況CKKS 大概率不是最優(yōu)解需要精確整數(shù)結(jié)果任何一位小數(shù)的偏差都不可接受回退到 BFV 更穩(wěn)妥計算主要是字符串處理、數(shù)據(jù)庫查詢、條件分支CKKS 完全不擅長數(shù)據(jù)量極小、乘法深度極大、但只需要算一次自舉開銷可能讓整體方案不劃算參與方之間可以高頻交互MPC 或兩方安全計算可能更高效只是對單條記錄做簡單聚合也許差分隱私或可信執(zhí)行環(huán)境更合適CKKS 的價值在于“在不可信環(huán)境下完成浮點稠密計算”抓住這個定位選型和方案設(shè)計就不容易跑偏。還有一個常被忽略的點同態(tài)加密會放大一切計算成本甚至連“把結(jié)果發(fā)送回數(shù)據(jù)方解密”這個環(huán)節(jié)都要設(shè)計好參與方。不是所有項目都需要端到端全程加密有些場景在特定節(jié)點解密后進入明文處理會比強行全文加密更務(wù)實。最后關(guān)于入坑路徑的一點個人體會如果讓我給完全沒接觸過 CKKS 的人一條學(xué)習(xí)路徑我的建議是不要先啃論文直接裝 SEAL把第 3 章的最小示例跑通然后打印每個階段的噪聲預(yù)算和 scale 變化體會一下“近似”到底是怎么一步步發(fā)生的。接著再回頭讀論文里的編碼和重線性化部分你會發(fā)現(xiàn)原本晦澀的數(shù)學(xué)突然變得好懂了。我見過不少同行卡在最開始是因為期望 CKKS 像普通浮點運算一樣“想當然”。實際上只要接受三個前提——結(jié)果有噪聲、scale 要管理、乘法次數(shù)是硬資源——CKKS 用起來并不比傳統(tǒng)密碼學(xué)庫更復(fù)雜。等到你開始獨立調(diào)參數(shù)、排查精度問題時再去看一些深度優(yōu)化方案比如 bootstrapping、打包自動編排這些進階內(nèi)容的技術(shù)前提在前面已經(jīng)鋪好了。到那個階段你手邊至少應(yīng)該有一個能跑通的 CKKS 項目而不是停留在概念層面。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月丁香婷婷基地| 99久久极情精品一区| 婷婷综合网| 9一精品视频观看| 天天擼久久擼在线| 国产探花一片区| 天天夜夜六月丁香五月婷婷老师| 情色五月天 网站| 丁香5月婷婷| 秋霞av吧| 五月婷婷亚洲色视频| 丁香六月婷婷久久亚洲天堂| 99人碰碰碰| 99色综合网| 色色色色色色色色五月先| 亚洲久久日| 精品久久久999| 丁香婷婷啪啪| 免费视频WWW在线观看网站| 激情综合青草| Av中文在线| 色婷婷五月视频| 婷婷丁香先锋资源网站| 色婷婷AAA| 色五月91| 99无码黄色视频| 婷婷五月天美女| 婷婷色综合| 襙逼网| 亚洲精品第一色色色色色色| 99网99热| 99这里有精品免费| 久久码久久无清| 91成人视频| 天天射影| 97婷婷久久丁香| 天天做天天爱| 天天草天天爱| www.99精品视频| 九九色热| 婷婷丁香五月亚洲综合网在线视频观看 | 五区毛片七区毛片| 日韩超碰在线| 成人无码免费一区二区中文| 激情床戏| 色五月天综合| 色五月欧美| 天天狠狠夜夜狠狠2023| 五月丁香六月婷婷视频| 丁香六月婷婷激情综合| 国产精品24r| www.婷婷,com| 丁香激情六月天婷婷| 91久久九| 热九九精品| 五月精品免费XXX| www.com.色色| ..真实国产乱子伦对白在线_欧 | 五月丁香六月婷婷操操操| 激情综合网激情五月天| 超碰成人公开| 成人短视频在线| AV天堂淫乩| 激情五月狠狠喔| 在线视频另类| 亚洲综合丁香五月天| 丁香五月区| 国产真实乱对白精彩| 五月丁香婷婷综合视频| caopeng97日韩| avv在线| 五月色网| 很很干天天干| 思思热再线视频| 成人午夜免费电影| 色婷小说| AV大片在线播放| 色色色五月婷| 激情五月四色| 五月婷婷m| 另类视屏| 91精品综合久久久五月天| 婷婷基地爱| 日日日日操| 丁香五月亚洲激情婷婷射| aaaa久久| 成人做爰A片免费看网站找不到了 国产露脸150部国语对白 | 久艹伊| 久久激情网| 日日杆天天| 欧洲精品欧洲情| 成人婷婷| www.婷婷,com| 中文字幕+中文在线| 99精品在线播放| 啪色综合| 激情图片五月天| 五月丁香啪啪激情| 五月丁香久久综合| 久久与婷婷| 亚洲无码影音| 综合色、色综合| 六月天婷婷| 成功精品影院| 第五色色色婷婷| 四色 爱 婷婷 精品 亚洲 五月天| 色女人久久| 七七久久综合| 色五月色开心开心五月| 中文字幕婷婷9月天| 丁香久久| 99热8| 亚欧州精品视频| 日日夜夜爽| 婷五月丁香| 伊人久久艹| 九9九9无码| 美女久久天堂| 丁香av网| 蜜桃婷婷狠狠久久综合| 亚洲成片在线观看| 91VIP在线观看| 日本人妻伦在线中文字幕| 欧美久热| 亚洲色婷婷五月天| 丁香成人五月天| 久久a热| 99这里有精品视频| 9久久久久| 日韩在线99| 色婷婷五月综合| 26uuu欧美日本| 婷婷噜噜| 色欲影香| 婷婷五月天av| 久久九九国产精品怡红院| 丁香五月香蕉| 99精品偷自拍| 激情五月天婷婷播播久久综合91| 色婷婷aV四虎| 久久婷婷色情7777网站| 狠狠色丁香| 色爱综合网| 日本三级中文字幕| 好好干Av| 色婷婷五月网| 涩涩涩五月天| 任你爽精品免费视频6| 无码区婷婷五月花开| 婷婷丁香五月婷婷| 丁香五月天堂网| 激情綜合W W W,激情五月天| 丰满女老板BD高清A片| 男女啪啪做爰高潮无遮挡| 狠狠爱青青草| 色 五月 天 婷婷 丁香 九月| www.com色播五月天| 九月久久婷婷| 丁香六月婷婷综情欧美| 久久人妻系列| 色综合九九| 日韩无码91| 麻豆雪千夏| 九热...av| 亚洲色精彩| 五月天免费色| 天天爽夜夜爽夜夜爽精品视频| 99爱视频| 99热色精品| 无码少妇高潮喷水A片免费| 3p九色在线| 九九热91| 丁香九月综合| 日日夜夜狠狠干| 久久这里都是精品| 中文av网站| 成人做爰A片免费看网站找不到了| 五月激情综合网婷婷| 色欲色香综合网站| 丁香婷婷久久 | 五月婷婷在线观看黄| 五月婷婷久久综合| 欧美肉大捧一进一出免费视频| 婷婷五月天99综合网站| 九九热99免费视频| wwwC0maV五月花| 激情五月综合| 丁香六月欧美| 免费操超碰| 久久久999精品| 成人色五月天| 婷婷激情六月综合| 婷婷五月天97干| enecarbon-materials.com污K127封锁请涟系@wip1688 | 婷婷五月激情四月综合| 色色色.COM| 91视频一起草| 67194线路二在线观看| 98永久精品| 成人五月天婷婷| 亚洲 五月 婷婷 成人| 久久综合影院| 日韩黄在免| 色九九综合热99| 国产99美少妇| 99国产精品久久久久久久久久久| 91色色五月天| 色五月激情视频在线综合| 日日做夜夜爱| 激情五月久久| 五月丁香色婷婷久久| 开心婷婷五月天电影院| 欧美色性色好| 九九婷| 97碰久久| 开心五月网 | www.狠狠操.com| 人人九色| 丁香影院五月综合| 97激情五月天| 99热这里只有精品2| 操91综合网| 日本91在线| 婷婷五月天堂一本在线| 男女啪啪做爰高潮无遮挡| 99热日| 毛片新网地| 91久久久久久| 色色色婷婷| 超碰狠狠色| 丁香五月成人社区| 色色色五月婷| 丁香婷婷深情五月亚洲| 2018夜夜草| 色婷婷狠狠| 五月天综合色| 天堂网亚洲色图| 天天干夜夜操A片| 美国十月色婷婷在线观看| 国产av一区二区三区| 无码人妻电影| 亚洲熟女色| 久久久久九九九九视屏小说88| 五月花婷婷在线精品视频| 狠狠色五月| 色九九九综合| 狠狠色丁香久久婷婷综合五月| 婷婷丁香18| 婷婷射图五月天| 99er6热在线观看精品6| 国产人妻777人伦精品HD| 大香蕉网站,大香蕉综合| www激情com| 久久99国产综合精品免费| 色玖玖爱| 色三级色三级| 亚洲成人在线免费| 婷婷五月丁香综合| 色播综合| 99热97| 99精品视频偷拍| 夜夜撸日日操| 五月丁香六月激情综合| 九九这里是免费的视频5| 色婷婷无吗| 丁香五月网在线观看| 激情小说五月天| 99re在线视频精品,这里只有精品18,| www.91在线观看| 日本 色综合| 逼里香不卡| 色婷婷五月天av在线| 色综合五月在线| 97色色色| 26UUU精品一区二区Com| 五月丁香亭亭A片| 天天干天天干天天干天天干天天干天天干天天| 国产毛片精品一区二区色欲黄A片| 狠狠爱综合| 丁香五月婷婷啪啪啪| 欧美在线看| 在线网黄| 五月天日日操夜夜操 | 色噜综| 狠狠干.com| www婷婷色情网| 粉嫩AV久久一区二区三区| 色五月xxx| 欧美日综合| 午夜色婷婷| 性色五月天| 天天搞夜夜叫| 九九一区| 五月婷婷综合丁香视频| 婷婷五月丁香久久| 色噜噜狠狠色综无码久久合欧美| 日本九九热| 色域五月丁香| 先锋资源91| 五月婷婷99热| 亚州美女| 五月激情久久| 久久婷婷啪啪视频| 国产欧美熟妇另类久久久| 丁香五月婷婷丫| 婷婷五月天 丁香五月天 裸体| 伊人久久丁香婷婷六月五月综合| 噜噜干日本| 97热精品| 欧美综合婷婷欧美综| 婷婷99中文字幕| www.色99| wWw色五月| 黄色视频网站在线播放| 日本色综合| 久久久久久久久99精品| 9久热| www.狠狠色.com| 亚洲激情四谢| 另类综合激情| 插插网爽妇五月丁香| 婷婷情色五月| 91碰碰碰| 婷婷五月天第四色| 亚欧州精品视频| 97色色网| 婷婷婷婷婷开心无码播放| 黄色一级影片| 人人爽天天爽| 久色欧美| 综合激情伊人影视在线| 成人性生活免费观看。| 六月丁香啪啪啪| 日日爽日日操| 五月丁香欧美综合| 九月激情婷婷丁香| 天天精品视频免费观看| 开心深爱激情网| 国产伊人五月天| 九九99在线| 色婷婷成人做爰A片免费看网站| 思思精品视频| 色婷婷AV五月天| 婷婷五月天六点丁香五月| 激情五月天久久| 中文资源在线a | 99热综合| 五月久久婷婷丁香| 欧美VA在线| 五月色婷婷亚洲| 中文字幕五月久久婷婷| 新激情五月天| 国产精自产拍久久久久久蜜| 婷婷伊人网| 色久五月天| 激情小说五月丁香在线视频观看视频| 久久久ww| 婷婷六月综合基地| 99久久色| 久久性都花花世界成人免费视频| 五月综合激情婷婷六月色窝| 99性视频| 久操大香蕉| 九九九九这里只有精品| 五月婷婷精品视频| 伊人天天色| 久久亚洲婷婷| 99热播放| 日韩操逼大片| 激情五月综合久久| 久久精品五月| 久久久久视剧HD| 99热热热99精品婷婷| 开心激情网在线| 五月丁香激情综合久久| 亭亭五月色男人| 六月天无码网址| 综合亚洲五月天| 日本99久久| 五月天久久综合| 日韩黄色AV无码| 五月婷婷性爱网| 国产在线aaa片一区二区99| 狠狠干无码| 久久婷婷国产| 日本啪啪网| 日日爽夜夜爽| 婷婷五月天AV在线| 99九九在线视频| 六月综合在线| 国产密乳av一区二区三区四区| 人人视频色| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 欧美69色| 久久婷婷东京热大香樵| 欧美激情久| 日韩成人综合| 91人人操人人看| 日韩黄色AV无码| 99久免费视频| 日本久久超碰| 色婷婷www| 日本一级特黄大片AAAAA级| 日韩欧美老妇性视频91久久久| 久草网大香视频| 六月色婷婷综合影视| 97丁香视频| AV亚洲在线| 久久久久久久久久久jjjj| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 久久小说网| 日本少妇裸体做爰高潮片| 大地资源色婷婷视频在线| 天天色播| 熟妇内谢69XXXXXA片| 最近韩国日本免费高清观看| 激情图片亚洲| 91超级碰人人操| 97碰碰电影| 99爱99操| 狠狠艹狠狠艹| 艾小青av| 亚洲五月天另类小说图片| 女人天堂久久| 丁香五月社区| 五月婷婷 婷婷五月 一区二区 久久久 | 9久热| 国产精品第一国产精品| 六月婷婷毛片| 五月天激情网址| 女人天堂久久| 狠狠做六月爱婷婷综合aⅴ| 亚洲激情高潮| 五月婷婷啪啪啪啪| 婷婷综合色色| 激情五月婷婷视频| 大香av| 超碰97人人操| 夜夜夜夜做天天天做无码视频| 成人九九视频| 91综合国免费久入| 9精品久久999| 偷拍91九色| 天天曰夜夜爽| 天天操狠狠操| 色色丁香| 波多婷婷久久| 亚洲综合99| 日韩欧美四五区| 五月天天爽| 色婷婷97| 亚洲欧洲美女在线观| 高清成人综合| 五月情综合| 激情綜合W W W,激情五月天| 五月天桃色深爱网| 色色色色色色色色色色色色色色,网站| 91九色国产熟女| www。88热在线视频免费观看| 久久人妻视步| 九九综合| 婷婷国产欧美97| 五月亭亭六月色| 五月网在线| 超碰成人电影| AV中文字幕夜夜操b天天摸bb | 五月综合视频| 91久久综合亚洲噜噜成人在线 | 久久婷婷青青草| 九热久| 先锋男人99资源| 99热66| 激情五月天综合网| 99资源在线视频| sewuyue第四色| 99热精品观看| 91妻人人爽人人看片| 99黄色在线视频精品熟女| 五月婷婷香蕉| 99热这里只有精品2| 九九热这里只有精品9| 玖玖综合网| 99久久大片| 色婷婷六月| bukadeavzaixian| 九九热再线九九视频免费在线观看| 日日天天干| www.色五月| www.五月丁香| www,五月天激情| 丁香五月婷久久| 欧美碰碰| 丁香网五月网| 五月丁香网站| 九九综合色| 成人免费va| 狠狠精品干练久久久无码中文字幕| 美女黄频aⅴ视频| 操操操AV| 五月天久久婷| www.色婷婷。com| 99视频精品| 午夜福利8055| 免费视频这里只有精品| 精品欧美性爱超级爽| 五月六月播婷婷| 婷婷婷久久久| 51XX嘿嘿午夜无码| ji'qi'luan'ren'lun| 国产古装妇女野外A片| 大香蕉久久伊人婷婷五月丁香| 丁香五月六月婷婷综合| 综合 蜜月 婷婷| 人人舔天天| 99热这里只有精品9| 六月色播| 天天综合色丁香| 色护士综合| 色婷婷九月综合| 91蜜桃婷婷狠狠久久综合9色| 97碰碰视频在线观看| 性综合网| 91啪啪啪啪| 五月天,激情四射,婷婷频道| AV在线免费观看不卡| 伊人婷婷激情| 人妻熟女一区二区AV| 99久久99热| A久久| 天天色播| 亚洲成人五月天| 黄色AV日韩| 91操在线视频| 色五月婷婷基地| 免费婷婷| 成人网站在线观看视频| 久久三级视频| 九九人妻福利| 天天天天干| 欧洲亚洲最新精品| 日韩丰满少妇无码内射| 五月丁香六月婷婷免费视频| 五月婷婷久久大片| 久久er99热精品一区二区| 久久三级视频| 狠狠色婷婷7777久| 少妇激情五月婷婷| 操操操B| 涩涩婷婷五月| 天堂久久久久天堂网| 五月激情黄色小说| 99热99日天天干| 色 色 色综合com| yazhochengrenavwang| 国产密乳av一区二区三区四区| 99啪在线视频| 色99热| 级情九色| 国产做爰视频免费播放| 色5月婷婷| 9色操| 99精品视频在线观看| 精品99在线看| AV人人操| 亚洲男人的天堂婷婷色五月| 色色综合热| 九九无码| 国产亚洲99| 最近韩国日本免费高清观看| 丁香五月激情婷婷| 97碰在线免费观看| 99色精品| 五月天成人在线| 激情丁香五月综合| 色色色五月婷婷| 99热6这里只有精品6| 一本色综合色| 亭亭玉月丁香| 日韩免费乱轮网站| JlZZJlZZ8JlZZ亚洲熟女| 五月亭亭狠狠| 丁香五月婷婷深爱综合激情| 色哟呦av| 免费啪啪亚州视频| 99热这里只有精品亚洲| 久9热插入| 色一情一乱一乱一区91| 丁香成人综合| 视频在线免费观看欧洲乱码| 人人操99| 综合网五月天123| 狠狠草网| 色婷婷丁香五月| 色亚洲视频| 婷婷情色五月| 婷婷操逼| 这里只有精彩视| 9精品在线| 国产精品国产成人国产三级| 日日杆天天| 久久婷婷六月天| 中文不卡av| 色色色色五月天| 五月激情偷拍婷婷| 香蕉视频91| 欧美激情性做爰免费视频| 婷婷免费视频| 亚洲第一色色色色| 亚州操操| 国产一级黄色影片,| 国产在线中文字幕| 99av视频| 精品网站99| 午夜婷婷久久| 欧美情色一区| 第五色婷婷| 99这里只有精品|v| 婷婷五月天伦理| 99热在线精品观看| 依人大香蕉在钱1| 日本久久网| 99热在线精品观看| 精品欧美一区二区三区久久久| 99毛片| 日本成人小说婷婷六月| 欧美欧盟性爱网| 日韩无码人妻一区二区| 超碰人人摸人人操| 色99视频| 五月丁香婷婷基地| 五月婷婷之综合激情| \\五月天婷婷激情| 香蕉综合网| 久久婷婷五月激情综合| 五月激情丁香啪啪| 婷婷五月天成人网| 超碰在线成人| 中文在线成人| 婷婷久久草| 色综合五月婷婷狠狠干| 少妇人妻偷人精品无码视频新浪| 丁香五月六月婷婷综合| 狠狠色噜噜色狠狠狠综合久久成人波| 丁香五月婷婷动漫| 综合狠狠伊人| 超碰91av| www.射伊蕉婷婷| 狠狠色噜噜色狠狠狠综合色 | www激情网| 操操操www.com| 色伊人婷婷| 亚洲精品成人片在线播| 日本三级第一页| 欧美性猛交AAAA片黑人 | 六月婷婷五月天| 亚洲综合五月天婷婷丁香| 五月天天视频| 99热这| 日日爱699| 亚洲人人干| Av性爱网| eeuus五月婷| 久热这里只精品| 五月丁香婷婷色色色| 色综合狠狠色| 五月丁香婷婷婷激情爱爱| 日日操夜夜操中国无码| 色五月婷婷在线观看第一页舔| 丁香婷婷综合激情五月色| 亚洲九九视频| 丁香五月天激情综合| 亚洲五月天婷婷| 婷婷五月激情的图片| 婷婷色婷婷| 激情综合激情综合| 五月婷婷亚洲色视频| 五月天婷婷激情综合| 亚洲色情在线| 国产无套精品一区二区| 色五月婷婷五月| 性色五月天| 五月婷婷亚洲色视频| 六月婷婷中文字幕| 99免费在线视频| 五月丁香成年黄色| 99日在线视频| 激情五月天在线视频| 日日杆天天| 激情AV| 色情一区二区播放| 开心五月婷婷在线| 日本激情综合| 99亚州综合精品成人网| 婷婷六月综合基地| 久久久久婷婷| 亚洲无码99| 91五月天| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 色99在线观看| 丁香五月香蕉| 中字幕视频在线永久在线观看免费| 亚洲妇女熟BBW| 亚洲精品a成人在线播放| 曰韩五月丁香色婷婷无码| 欧美偷偷操| 97碰免费精采视频| 久久婷婷五月天| 五月视频日本免费观看| 婷婷激情丁香六月| 综合婷婷五月天| 色人久久| 久草热8精品视频在线观看| 亚洲AV成人在线观看| 东北黄色一级| 青青.com| 天天檫天天爽| 操九色| 狠狠狠狠狠狠| 91a片爽| 插逼综合网| 侠女刀之记忆电影在线看免费| 色色网站免费观看| 久9视频免费播放| 激情五月天婷婷五月天| 色色婷婷综合| 婷婷伊人75| 丁香九月综合| 第四色首页| 激情另类综合| 青青久在线视频免费观看| 综合 蜜月 婷婷| 啪啪一区| 色婷婷六月天在线| 大香蕉五月天婷婷| 大香蕉综合视频在线| 铁牛TV人妻| 五月婷婷激情四季| 久久人妻久久| 丁香五月在线播放| 性色五月天| 中文字幕黄色片| 激情都市另类| 久久精品视频99| 天天成人丁香美女AV| 久久久香| 亚洲激情四射色| 色婷婷伊人| 色久免费| 久久六月综合| 婷婷综合干| 丁香五月综合久久八| 五月天狠狠网| 极品少妇高潮啪啪AV无码| 丁香五月大香蕉AV| 久久五月婷综合网| 色色色婷婷五月天| 97碰碰九九视频| 深爱五月月天| 九九热最新| 国产成人精品一区二区三区视频| 影音先锋毛片网站| www一区二区三区| 婷婷香五月天| a色婷婷| 伊人五月网| 九九热在线99| 91日韩美女被插视频| 五月婷综合性中心| 97啪啪| 久久久九九视频精品18| 综合色天天| 日韩成人电影AV| ww超碰在线| www.伊人天堂偷偷婷婷| 色婷五月| 欧美VA视频| 婷婷五月六月激情| 免费看欧美成人A片无码| 日韩啪| 99亚州综合精品成人网| 欧美A级成人婬片免费看理论| 大香蕉人妻| 五月天丁香| 婷婷六月偷拍| 天天插夜夜爽| 九九99久久| 欧美在线干| 五月天综合| 色亭亭丁香五月天| α久久| 开心五月天激情网| 婷色五月| 婷婷丁香五月麻豆| 久久jiuwww| 丁香婷婷婷五月| 久久一级AV| 爱超碰性| 色五月婷婷狠狠撸| 99热这里只有精品2| 久久9热| 99热这里只有精品3| 97啪在线观看视频| 色婷婷色久综| 99re6在线视频精品免费| 欧美情月伍月天| 亚洲中文字幕AV| 亚洲色激情| 99热97| 激情丁香五月天图片| 丁香婷婷在线| 色插人人| 热99热9| 婷婷五月丁香青青草在线| se99在线| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 亚洲色综合| 色五月婷婷av| 婷婷五月天激情网| 色播综合| 这里只有精品视频免费在线观看| 9999久久久久| 婷婷狠狠操| 五月婷婷丁香啪啪| 97人妻碰碰中文无码久热丝袜| 99er日韩| 超碰精品在线| 色五月婷婷少妇人妻| h在线看免费版在线看| 秋霞学生妹一二级| 欧美性生交A片免费看| 日批在线看| 婷婷综合中文| 久久人妻人人槡| 九九99热精品| 亚洲五月天激情| 97色婷婷在线观看| 日韩成人中文字幕| 亚洲色情久久| 九九热最新| 清色五月天| 久久综合26p| WWW,婷婷,COM| 99日本视频| 亚洲综合色色| 丁香五月婷婷婷婷欧美综合| 思思99热| 亚洲五月情| 亚洲四色五月| 色一情一乱一乱一区91| 丁香五月色情| 婷婷五月天人妻| 丁香五月激情啪啪啪啪| 狠狠狠狠狠干| 欧美久久婷婷| 激情深爱五月天| 九热视频这里只有精品| 色久一| 91狠狠色| 日日干综合| 天天干天天av天天射 | 噜噜网免费视频| 色爽九九| 日本人妻A片成人免费看片| 久久996re热这里只有精品无码| 97搞在线| 人人操AV| 丁香婷婷人妻| 色综啪啪网| 99在线观看精品视频| 99在线热| 99精品国产在热久久| 婷婷五月综合视频免费播放| 五月丁香婷婷色色色| 99热欧美| 成人五月天视频播放| 亚洲小电影在线观看黄999| 囯产精品久久欠久久久久久九大| 五月丁香色狠狠干大屄| 97欧美在线| 91色久| 婷婷五月天在线综合| 97干网站| 久久性爱99国产| 亚洲人人操| AAAA亚洲| 中文在线成人| 大地9中文在线观看免费高清| 这里只有久久精99| 精品婷婷| 亚洲AV成人精品网站在线播放| 超碰色综合| 五月天色综合服务平台| 久久玖玖综合| 精品一二三区久久AAA片| 久草热视频在线观看| 久久丝丝热| 97se在线视频| 婷婷五月天综合在线| 伊人AV五月婷| 深爱婷婷基地| 五月丁香婷色| 丁香五月激情五月| 日本狠狠干| 久久av电影| 五月色丁香| 久操乱| 婷婷色网| 色播五月网| 亚洲婷婷月丁香五月| 操比激情五月综合| 日韩精品一区二区三区,四区,五区视频 | 另类的婷婷| 激情床戏| 三级大香蕉网| 日本va欧美va欧美va精品| 大香蕉网 久久| 亚洲天堂久久| 五月天丁香成人| 丁香五月天啪啪激情综合网| 色色五月婷婷| 婷婷久久影院| 九九九九九999999| 色五月激情五月| 九九热最新| 丁香五月婷婷天| 亚洲另类婷婷五月丁香在线播放| 五月天停婷基地| 天天激情站| 五月天色图| 97干欧美| 婷婷va| 婷婷开心激情综合五月天| 九九国产精视频| 99伊人性爱在线影院| 国内精品99| 婷婷香蕉| 99热91| 丁香五月婷婷亚洲色图| 婷婷五月天综合中文| 蜜臀A∨在线水帘洞| 九九精品综合| 激情婷婷视频在线| 97碰精品| 熟女人妻一区二区三区免费看| www.99热| 色99在线观看| 五月综合色| 99热在线观看精品| 狠狠狠狠狠草| 亚洲五月天伊人| 九九精品在线视频观看| 久99在线视频| 久久久久久久久久久97| 狠狠色丁香久久综合婷婷亚洲成人福利| 国产欧美性成人精品午夜| 婷婷丁香成人| 尔尔AV一区| 四虎成人精品永久免费AV九九| 激情五月天小说网| 丁香五月播播| 色吧五月婷婷| 丁香婷婷色六月| 六月丁香婷婷色69| 丁香色啪综合| 丁香五月婷婷六月婷| 六月婷婷网| 综合亚洲六月婷婷在线| 超碰91av| 日本在线视频www色| 4438激情网| www久久艹| 99人人精品| 狠狠色丁香久久婷婷综合五月| 久久久久久久久久久久63| 婷婷丁香大香蕉| 国产特黄色精品一区二区三区精品无广告| 玩熟女五十AV一二三区| 精品香蕉99久久久久网站| 粉嫩AV久久一区二区三区| 性做久久久久久久免费看| 九九Av| 亚洲激情网| 欧洲色色| 农村熟妇高潮精品A片| 麻豆WWWCOM内射软件| 爱99干99| 五月天久久小说| 91九色 熟| 狠狠 久久| 丁香香蕉婷婷| 日韩在线观看亚洲| 久大香蕉| 亚洲天堂热| 天天做天天爱天天日| 青青热久久综合| 丁香六月视频| 夜夜做夜夜愛| 五月婷婷之综合激情| 婷婷综合视频| 国产激情综合五月久久| ay2区| 色丁香综合影院| 丁香欧美| 色婷婷电影网| 性爱网五月天| 天天操天天干天天日| 99在线精品免费视频| 牛牛澡牛牛爽| 色一情一乱一乱一区91Av| 亚洲人成色A777777在线观看| 91性高潮久久久久久久久| 青青夜夜狠狠夜夜狠狠| 99网址在线看| 俺来也综合网精品一区| 97涩涩丁香五月天| 手机免费福利视频| 色噜噜五月天| 天天日天天爽| 色五月婷婷在线观看第一页舔| 免费V片在线| 亚洲情色一区| 久热这里这里有精品| 亚洲 五月 婷婷 成人| nvrentiantang av| 特级西西4444www无码| 99视频| yazhochengrenavwang| 亚洲无码另类| 草AV9999| 激情五月久久| 久久久久久人妻| 久久九九激情五月天| 激情亭亭五月| 婷婷综合激情五月中文字幕| 婷婷激情啪啪| 99精品在线观看视频| 综合激情五月天| 色99欧洲色19| 日本人妻A片成人免费看片| 综合狠狠干| 夜夜爽天天爽| 91久久久久久| 激情五月天婷婷丁香| 激情丁香婷婷| 99日这里只有精品| 97色在线视频| 99丁香婷婷综合网| 五月丁香啪啪综合网| 日本ww亚洲| 大香蕉欧美在线| 欧美槡BBBB槡BBB少妇| 亚洲在线播放| 热这里只有精| 九九热视频在线观看| 极品少妇XXXX精品少妇偷拍| 玖玖婷婷色| 狠狠另类视频| 综合色影院| 搡BBBB搡BBB搡18| 啪啪黄页网| 色久五月| 91超碰在线观看| 99天堂在线观看免费视频| 丁香五月婷婷啪| 懂色AⅤ| 五月天偷拍| 亚洲色婷婷久久99精品91| 男人天堂伊人五月丁香| 婷婷 色 丁香 夜| 亚洲亚洲人成综合网络| 丁香五月在线自慰| 色婷婷激情五月天在线观看| 色色网站| 男人視頻站| 亭亭色天香| 99碰碰| OUMEIRIHANCHENGREN| 亚洲精品乱码久久久久久综合| 色综合天天| 激情性爱五月天网页| 99热这里是精品| www.婷婷五月| 亚洲网站观看视频| 俺也去婷婷五月天第五色| 色天五月天在线观看视频| 亚洲乱码日产精品BD| 熟女激情网| 久久精品只有这| 爱久久小说下载网| 久久99久久99精品免视看婷婷| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 91偷拍视频| 天天日P天天射P| 激情图片婷婷| 伊人五月天在线| www.久久9| 99热99干| 被强行糟蹋的女人A片| 九色视频91| 99热这里只有精| 五月婷婷久久网| 丁香五月亚洲无码| 婷婷精品视频| 97在线视频人妻九色| 五月婷婷色五月| 亚洲av综合在线| 激情五月综合色婷婷| 婷婷五月天AV| 五月丁香激情四射综合| 激情五月天网| www.cao.com久久| 欧美亚洲操逼| 国产AV一区二区三区最新精品| 夜夜夜天天操| 色色色五月婷婷| 色五月天丁香婷婷| 狠狠穞A片一區二區三區| 碰人人97| 性生活视频98791| 亚洲中文字幕在线观看| 婷婷五月天视| 五月婷婷开心网| 亚洲中文字幕网| 国产成人av在线播放| 国产亚洲99久久| 天天透天天爱| 欧美日韩中国| 激情五月六月婷婷| 亚洲人成网站999综合| 亚洲国产精品综合色区| 欧美情色一区| 操逼123网| 91久久精品国产91性色TV| 五月丁香婷婷成人伊人网| 国产精品A成V人在线播放 | 日本美女97在线视频| 一级A片天天操夜夜操| 婷婷综合婷婷| 亚洲精品久久久久久久久久吃药| 99年操人人爽| 玖玖九九99| 99在线精品免费视频| 伊人天天色| 碰97 久| 五月天成人在线| 黄色av网站在线免费播放| 天天五月情| 色婷婷色综合| 99精品在线观看视频| 九九无毛| 亚洲亚洲激情| 无码AV免费精品一区二区三区| 青青热久久综合| 少妇被下春药玩弄A片| 丁香婷婷啪啪啪| 六六久久黄色| 激情五月天电影| 婷婷六月综合基地| AA久久| 五月丁香狠狠爱| 亚洲激情四射| 色五月婷婷视频| 人人操婷婷| 天天色视频| 中文字幕综合| 99热这里只有精彩| 这里只有精品热| 国内一级片| 停停五月丁香| 色欧美影院| www.minyis.com【JT】实力收量可预付QQ2101460746| 97操碰| 丁香五月成人| 丁香五月冃欧美| 无码动漫AV| 激情婷婷色色| 激情深爱婷婷网| 又大又粗九一在线| 五月丁香六月婷婷操操操| 亚洲综合在线播放| 五月天激情综合| 日韩小视频在线99| 日本久久9| 超碰人妻在线| 激情五月婷婷色综合| 婷婷五月另类网站| 狠狠狠狠狠狠色| 玖玖伦理电影| 日韩三级高清无码| 丁香五婷婷| 99热精品10| 天天婬色综合| 91天天操天天干天天射| 激情婷婷五月天网址| 五月做爱| 狠狠久久婷五月| 色天天久婷婷| 99久久高清视频| 色吧五月婷婷| WWW.夜夜| 婷婷丁香花五月天| 国产精产国品一二三在观看| 激情内射p| 26uuu精品国产| 国语对白性爱视频播放| 在线色婷婷| 久久久18| 操操操操操电影网| 婷婷五月天黄色网址| 色综合色色| 5月婷婷激情在线| 婷婷五月天堂网| 潮汕成人AV片在线| 丁香九月婷婷| 激情网五月婷婷| 在线播放中文字幕| 激情综合五月丁香六月婷婷| 亚洲av成人在线| 秋霞影音91人妻久久| 91操片| 久久婷婷一级片| 99天堂网| 亚洲欧美999| 五月天五月色婷婷综合| 人人操操97| 9久精品| 色婷婷久久| 色五月婷婷激情五月| 综合视频久久| 日本色99网站| 人妻精品一区二区三区| 婷婷亚洲欧美丁香五月| 免费国产VA国产免费| 亚州色综合| 国产美女无遮挡裸体毛片A片| 狠狠色大香蕉| WWW激情五月天| 婷婷五月天丁香花| 亚洲综合欧美色丁香婷婷888月图片| 中文字幕成人| 思思热高清在线观看| 性爱在线播放av| 碰97久久| 五月婷婷黄网站大全| 国产亚洲在线| www久久久久久久97| 五月婷婷开心综合| 99er免费在线观看| 无码人妻电影| 国产黄色av| 五月婷婷色欲| 激情五月丁香婷婷| 99免费视频| 久色资源网| 婷婷一本和五月丁香| 色情五月丁香| 热久久色| 丁香五月天大香蕉啪啪| 九九色色| 丁香婷婷六月天| 99热这里只有精品1| 久久99这里只有精品视频| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 色丁香婷婷| 五月天婷婷丁香花| 五月丁香亚洲校园欧美|