欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

基于CM4集群板的樹莓派四節(jié)點(diǎn)K3s集群搭建實(shí)戰(zhàn)指南

基于CM4集群板的樹莓派四節(jié)點(diǎn)K3s集群搭建實(shí)戰(zhàn)指南 去年夏天我接了個(gè)需求要在本地搭一套四節(jié)點(diǎn)的樹莓派集群用來跑K8s學(xué)習(xí)和邊緣側(cè)的定時(shí)任務(wù)。剛開始很自然就想到買四塊樹莓派4B疊起來電源、網(wǎng)線、散熱片、亞克力支架全算上桌面基本沒法看了四根網(wǎng)線從交換機(jī)拖出來每個(gè)節(jié)點(diǎn)還得配一個(gè)官方電源適配器插線板上密密麻麻全是充電頭。后來發(fā)現(xiàn)市面上有基于Compute Module 4的四槽集群板一塊PCB解決供電、網(wǎng)絡(luò)和固定起售價(jià)80美元左右一下子把布線復(fù)雜度打下來了。這篇文章就圍繞這塊板子從硬件架構(gòu)、CM4選型、系統(tǒng)燒錄到集群初始化把從裸板到四節(jié)點(diǎn)K3s跑通的全過程記錄下來也把過程中踩過的坑一并說清楚。如果你也在糾結(jié)要不要用集群板替代樹莓派4B堆疊或者已經(jīng)入手了類似的CM4集群板但不知道怎么開始這篇文章基本就是一份完整的上手指南涵蓋硬件、系統(tǒng)、網(wǎng)絡(luò)和常見排障。1. 為什么搞四槽集群板而不是堆四塊樹莓派4B1.1 傳統(tǒng)堆疊方案的真實(shí)痛點(diǎn)用四塊樹莓派4B組集群聽起來簡單實(shí)際上從物理層面就有一堆麻煩。首先是供電每塊4B需要獨(dú)立的5V/3A電源四塊板子就是四個(gè)充電頭還要確保墻插面板有足夠的插座一旦某個(gè)電源質(zhì)量不過關(guān)重負(fù)載下電壓跌落節(jié)點(diǎn)隨機(jī)重啟就是家常便飯。其次是網(wǎng)絡(luò)四根網(wǎng)線從交換機(jī)到每個(gè)派想理清楚哪根線對應(yīng)哪個(gè)節(jié)點(diǎn)得貼標(biāo)簽時(shí)間一長標(biāo)簽脫落排查鏈路問題非常痛苦。然后是散熱樹莓派4B在CPU持續(xù)負(fù)載下SoC溫度輕松超過80攝氏度疊層支架如果風(fēng)道設(shè)計(jì)不好上層板子吸下層熱風(fēng)溫度更難壓。這些問題單獨(dú)看都能忍受但湊在一起就非常難受。最關(guān)鍵的是樹莓派4B本身是一臺(tái)完整的小電腦HDMI、USB、音頻等接口在集群場景里幾乎用不上這些接口卻占用了大量PCB面積導(dǎo)致四塊板子堆疊起來體積很夸張。集群板方案不同它把計(jì)算模塊直接插在一張大底板上整塊板子統(tǒng)一供電、統(tǒng)一走線、統(tǒng)一散熱所有IO通過板載接口引出密度和整潔度完全是另一個(gè)級別。1.2 集群板方案的核心思路所謂四槽Raspberry Pi集群板本質(zhì)上是為樹莓派Compute Module設(shè)計(jì)的主板板上沒有CPU、內(nèi)存和存儲(chǔ)只提供電源、網(wǎng)絡(luò)、M.2插槽、GPIO引出等周邊電路。你需要自己買四塊Compute Module插上去再配一個(gè)12V電源適配器插一根上行網(wǎng)線到主路由器四個(gè)節(jié)點(diǎn)就都通電入網(wǎng)了。這個(gè)思路和服務(wù)器主板的邏輯一模一樣CPU、內(nèi)存條是獨(dú)立模塊主板負(fù)責(zé)供電和互連。Cluster Board把這種模塊化思路帶到了樹莓派生態(tài)里。它解決的不僅是整潔問題更重要的是運(yùn)維體驗(yàn)——四個(gè)節(jié)點(diǎn)共享一個(gè)電源入口、一個(gè)上行網(wǎng)絡(luò)口重啟時(shí)不用蹲在插線板面前挨個(gè)拔插頭直接斷電整板重啟或者通過板載管理功能獨(dú)立控制每個(gè)節(jié)點(diǎn)的通斷。80美元的價(jià)格指的是裸板價(jià)格不含CM4模塊、電源、M.2 SSD這一點(diǎn)要提前有數(shù)。但和四塊樹莓派4B加四個(gè)電源加一個(gè)五口交換機(jī)的方案比集群板方案在成本上并不吃虧尤其在散熱風(fēng)扇、亞克力支架這些配件上省了不少錢桌面空間更是省出了一大塊。1.3 這套方案適合誰我不是說每個(gè)人都應(yīng)該用集群板。普通玩家手里如果已經(jīng)有兩三塊樹莓派4B拿來跑點(diǎn)輕量服務(wù)完全沒必要換。但如果你有明確的多節(jié)點(diǎn)需求比如學(xué)K8s、跑Ceph實(shí)驗(yàn)、搭分布式爬蟲、在家部署一套小型CI/CD集群集群板能把很多體力活省掉。還有一類人非常適合經(jīng)常做硬件測試的嵌入式工程師。CM4模組在量產(chǎn)項(xiàng)目里非常常見做固件、驅(qū)動(dòng)、散熱用例時(shí)一塊四槽集群板加上不同內(nèi)存/存儲(chǔ)容量的CM4混合插調(diào)試效率比單槽載板高很多一個(gè)節(jié)點(diǎn)刷掛了大不了重插。2. 80美元基板背后的硬件架構(gòu)這錢到底花在哪2.1 四槽位板子的核心組成部分市面上這類四槽CM4集群板雖然品牌不同但硬件架構(gòu)大同小異。核心部件有這幾個(gè)四個(gè)CM4板對板連接器插槽用于插Compute Module 4電源輸入電路通常是一個(gè)12V DC接口加DC-DC降壓電路板載千兆交換機(jī)芯片負(fù)責(zé)四個(gè)節(jié)點(diǎn)與上行口的二層轉(zhuǎn)發(fā)每組節(jié)點(diǎn)一個(gè)M.2 M-Key插槽通常支持Gen3 x1 NVMe SSD40Pin GPIO引出排針方便接線調(diào)試每節(jié)點(diǎn)電源LED、狀態(tài)LED和一個(gè)復(fù)位按鍵供電是這類板子最需要重視的部分。CM4滿載時(shí)單顆功耗大概在5到7瓦四顆滿載就是20到28瓦考慮到M.2 SSD和交換芯片的功耗整板峰值功耗接近35到40瓦。用12V輸入的好處是電流只有3A左右對DC接口和線材的負(fù)擔(dān)比5V方案小很多。板上各節(jié)點(diǎn)使用獨(dú)立的DC-DC降壓電路把12V轉(zhuǎn)為5V供CM4使用各節(jié)點(diǎn)之間電源基本隔離。網(wǎng)絡(luò)部分板載交換芯片讓四個(gè)節(jié)點(diǎn)的千兆MAC非常方便地匯聚成一個(gè)上行口。我在用的時(shí)候把上行口接到主交換機(jī)整組四個(gè)節(jié)點(diǎn)在局域網(wǎng)里就像一個(gè)小型接入層設(shè)備不再需要外置交換機(jī)和四根長網(wǎng)線。需要注意的是一些廉價(jià)板子可能用百兆交換芯片買的時(shí)候一定認(rèn)準(zhǔn)千兆。2.2 為什么用CM4而不是樹莓派4B樹莓派Compute Module 4和樹莓派4B用的是同一顆BCM2711 SoC計(jì)算性能沒有差別。區(qū)別在于CM4是一顆模塊化的核心板尺寸大概只有一張名片大小55mm x 40mm沒有網(wǎng)口、USB、HDMI這類周邊接口只通過底部的金手指把GPIO、PCIe、HDMI、USB等信號全部引出。對集群板而言CM4這個(gè)形態(tài)有兩個(gè)巨大優(yōu)勢。第一是體積密度四塊CM4加上底座整體占用的空間大概只有兩塊樹莓派4B疊起來那么大相同面積內(nèi)計(jì)算核心數(shù)量翻倍。第二是靈活性同一塊集群板可以隨時(shí)更換不同配置的CM4比如四個(gè)節(jié)點(diǎn)用2GB版本跑K3s另外一個(gè)節(jié)點(diǎn)單獨(dú)插一塊8GB的版本作為管理節(jié)點(diǎn)這種混合配置在整機(jī)樹莓派方案里非常難實(shí)現(xiàn)。很多人問CM4的GPIO引腳圖和樹莓派4B是否一致。答案是基本一致的CM4底部的金手指同樣引出了40Pin GPIO包括I2C、SPI、UART、PWM等復(fù)用功能電氣電平同樣是3.3V。但要注意集群板上這些GPIO通常通過排針引出引出的順序在某些板子上可能不是標(biāo)準(zhǔn)的40Pin排針排列務(wù)必參考你板子的說明書和原理圖別默認(rèn)拿樹莓派4B的引腳定義去直接接線這一點(diǎn)后面會(huì)細(xì)說。2.3 完整成本拆解80美元只是開始標(biāo)題里Starts at $80很有迷惑性很多人以為80美元就能拿到四節(jié)點(diǎn)集群實(shí)際上這只是底板價(jià)格。我按當(dāng)時(shí)市場行情做了一個(gè)成本清單方便你評估總預(yù)算部件參考價(jià)格說明四槽集群板約80美元裸板含電源配件的話另算CM4 2GB Lite x4約120-160美元按單顆30-40美元估算實(shí)際波動(dòng)大M.2 NVMe SSD 256GB x4約80-120美元可選不上SSD可用SD卡或eMMC12V 5A電源適配器約15-25美元大廠品牌略貴但更穩(wěn)散熱套件散熱片風(fēng)扇約10-20美元強(qiáng)烈建議買合計(jì)約305-405美元不含TF卡和雜項(xiàng)對比樹莓派4B 4GB版本單價(jià)按60美元算四塊就是240美元加上四個(gè)電源、一個(gè)五口交換機(jī)、支架和風(fēng)扇總成本接近300美元。兩者在硬件總價(jià)上其實(shí)能打個(gè)平手集群板方案勝在結(jié)構(gòu)緊湊、運(yùn)維方便樹莓派4B方案勝在單板可以獨(dú)立拿出來單獨(dú)用比如偶爾拔一塊出去做點(diǎn)別的實(shí)驗(yàn)。具體怎么選看你更看重哪種使用方式。3. Compute Module 4怎么選內(nèi)存、eMMC、WiFi、GPIO引腳一個(gè)都不能錯(cuò)3.1 內(nèi)存版本選多大合適CM4有1GB、2GB、4GB、8GB四個(gè)內(nèi)存版本。做集群節(jié)點(diǎn)我建議至少2GB起步。如果跑K3s控制平面加工作節(jié)點(diǎn)如果都在這四顆里跑2GB節(jié)點(diǎn)勉強(qiáng)能跑但很緊張4GB會(huì)更從容單節(jié)點(diǎn)上可以多部署幾個(gè)Pod。如果只是跑Docker Swarm或者普通容器2GB就夠用了。我自己的方案是四顆全部用2GB Lite版加NVMe SSD跑K3s時(shí)把主節(jié)點(diǎn)和工作節(jié)點(diǎn)都在四節(jié)點(diǎn)上鋪開。實(shí)測跑起來內(nèi)存基本在70%到80%部署一些輕量服務(wù)問題不大但如果要跑Ceph或者構(gòu)建大型Java項(xiàng)目內(nèi)存就會(huì)吃緊。3.2 eMMC版本和Lite版本怎么判斷CM4有帶eMMC和不帶eMMC兩種不帶eMMC的版本叫Lite版。Lite版沒有板載存儲(chǔ)必須從SD卡、NVMe或網(wǎng)絡(luò)啟動(dòng)帶eMMC版本則可以直接把系統(tǒng)寫進(jìn)eMMC里。給集群選型時(shí)我強(qiáng)烈建議優(yōu)先考慮Lite版加M.2 NVMe。原因很簡單系統(tǒng)跑在NVMe上IO性能遠(yuǎn)超eMMC軟件包安裝、容器拉取、日志寫入都明顯更快。還有一個(gè)非?,F(xiàn)實(shí)的原因eMMC版燒錄系統(tǒng)比SD卡/NVMe麻煩需要在Windows/Linux上用rpiboot工具把CM4切換到USB mass storage模式對新手不太友好。Lite版在集群板上只要插一張TF卡或者從M.2 NVMe上的系統(tǒng)引導(dǎo)省心很多。3.3 帶不帶WiFi的版本怎么選CM4分無線版和無無線版。我在集群場景里堅(jiān)決選無WiFi版。原因有幾個(gè)一是集群節(jié)點(diǎn)之間通信主要走有線網(wǎng)絡(luò)WiFi接口完全用不上二是無WiFi版的板載天線區(qū)域會(huì)空出來信號電路不存在理論功耗略低三是WiFi模塊在密集電磁環(huán)境下偶爾會(huì)爭搶天線資源干擾有線通信雖小但沒必要冒這個(gè)風(fēng)險(xiǎn)。當(dāng)然如果某個(gè)節(jié)點(diǎn)需要臨時(shí)脫離集群網(wǎng)絡(luò)自己接入WiFi熱點(diǎn)那么帶無線版本就方便了。不過這種情況完全可以靠一塊USB無線網(wǎng)卡臨時(shí)解決沒必要為了這個(gè)場景給四顆CM4都上無線版。3.4 GPIO引腳圖才是最容易翻車的地方前面提到CM4的金手指引腳定義和樹莓派4B的40Pin排針是兼容的但這里有幾個(gè)實(shí)戰(zhàn)中特別容易踩的坑。CM4的GPIO不是像4B那樣從PCB頂部的排針引出而是從底部的板對板連接器上通過金手指引出的。在集群板上廠商會(huì)把GPIO信號接到板載排針但排針的物理排列順序不一定按樹莓派的40Pin標(biāo)準(zhǔn)走。有的板子做成兩排20Pin有的做成兩個(gè)單獨(dú)的接頭。我吃過一次虧拿到板子后默認(rèn)按樹莓派標(biāo)準(zhǔn)40Pin布局接了一個(gè)I2C溫濕度傳感器結(jié)果SCL和SDA完全反了排查半天發(fā)現(xiàn)板子上GPIO排針第二腳并不是5V而是被設(shè)計(jì)成I2C的SDA。從那以后任何集群板到手我第一步永遠(yuǎn)是去官網(wǎng)下載原理圖和管腳定義表拿萬用表測一下排針電壓再?zèng)Q定接線方式。GPIO的電氣特性也要注意CM4的GPIO是3.3V邏輯電平不是5V。如果接5V電平的外設(shè)必須加電平轉(zhuǎn)換模塊不然大概率燒壞GPIO引腳。板上如果同時(shí)有多個(gè)節(jié)點(diǎn)的GPIO排針還要確認(rèn)所有節(jié)點(diǎn)是否共地不共地的話I2C/UART通信會(huì)出現(xiàn)隨機(jī)數(shù)據(jù)錯(cuò)誤。4. 組裝與上電從裸板到四節(jié)點(diǎn)就緒的完整流程4.1 安裝CM4和散熱片第一步把四顆CM4從防靜電袋取出來先裝散熱片。CM4的SoC在PCB正面居中位置附帶的小散熱片用導(dǎo)熱硅膠或卡扣固定即可。我一般會(huì)額外加一個(gè)微型風(fēng)扇對著整板吹只用散熱片的話連續(xù)高負(fù)載還是會(huì)熱到降頻。裝散熱片之后再插CM4到插槽上插之前先觀察金手指邊緣的定位缺口和板載插槽的凸臺(tái)方向?qū)?zhǔn)后輕輕推到底然后壓下兩側(cè)的壓桿或卡扣。Tinker的時(shí)候千萬別用蠻力CM4的板對板連接器觸點(diǎn)很密歪著硬插很容易把金手指或插槽針腳弄壞。裝好之后可以順手檢查每顆CM4是否安裝到位看插槽卡扣是否完全固定。接著裝M.2 NVMe SSD。打開集群板背面的M.2固定螺絲把SSD斜著插入卡槽壓下后用螺絲固定。注意M.2插槽上的固定柱可能有多個(gè)孔位對應(yīng)不同長度的SSD裝之前比一下長度別固定錯(cuò)孔位把SSD壓彎。4.2 連接電源和上行網(wǎng)口集群板的電源接口通常是5.5mm DC接口部分板子也帶USB-C PD接口。用配套的12V電源適配器接上AC端DC端插入板子即可。第一次上電之前強(qiáng)烈建議先用萬用表確認(rèn)DC接口輸出電壓極性中心正極、外圈負(fù)極是常見標(biāo)準(zhǔn)但個(gè)別板子可能不同。上行網(wǎng)口也就是Uplink口接到家里的主路由器或交換機(jī)上。此時(shí)理想情況下四個(gè)節(jié)點(diǎn)的網(wǎng)卡會(huì)各自從路由器的DHCP拿到一個(gè)IP地址。但上電前你大概率還沒給系統(tǒng)裝boot介質(zhì)所以CM4現(xiàn)在還沒有系統(tǒng)自然不會(huì)有IP。這個(gè)階段的目的只是確認(rèn)電源系統(tǒng)正常按一下每節(jié)點(diǎn)附近的復(fù)位鍵能看到對應(yīng)的電源LED亮起。等所有LED正常亮起再把M.2 SSD如果已經(jīng)裝好插好準(zhǔn)備進(jìn)入刷系統(tǒng)環(huán)節(jié)。如果這個(gè)階段就發(fā)現(xiàn)某個(gè)節(jié)點(diǎn)LED不亮檢查CM4是否插到位、散熱片有沒有頂?shù)讲宀垡约半娫催m配器是否給力。4.3 第一次上電觀察供電和溫度上電后如果裝了系統(tǒng)可以登錄任意一個(gè)節(jié)點(diǎn)查看整板供電是否穩(wěn)定。有幾點(diǎn)值得記錄用cat /sys/class/thermal/thermal_zone0/temp查看CPU溫度剛上電待機(jī)應(yīng)該在40到50攝氏度用vcgencmd measure_volts core查看核心電壓是否穩(wěn)定同時(shí)用dmesg | grep -i error看看有沒有硬件相關(guān)報(bào)錯(cuò)。如果整板四個(gè)節(jié)點(diǎn)同時(shí)高負(fù)載供電紋波偏大會(huì)導(dǎo)致個(gè)別節(jié)點(diǎn)隨機(jī)重啟。我遇到過一次當(dāng)時(shí)換了個(gè)便宜電源適配器標(biāo)稱12V/3A實(shí)際四個(gè)節(jié)點(diǎn)跑編譯任務(wù)時(shí)一個(gè)節(jié)點(diǎn)反復(fù)重啟換回12V/5A的電源后問題消失。供電問題非常隱蔽排查時(shí)建議直接換一個(gè)大功率電源測試別一開始就懷疑系統(tǒng)配置。5. 四節(jié)點(diǎn)集群的軟件初始化燒錄、網(wǎng)絡(luò)規(guī)劃、SSH免密與Ansible批量配置5.1 系統(tǒng)鏡像選擇與燒錄方式CM4能跑的系統(tǒng)很多做集群我推薦Raspberry Pi OS Lite 64位、Ubuntu Server for ARM、DietPi這三個(gè)。Raspberry Pi OS Lite最省心官方維護(hù)好Ubuntu Server對現(xiàn)代容器工具鏈更友好DietPi自帶不少優(yōu)化腳本適合小內(nèi)存節(jié)點(diǎn)。Lite版CM4如果走TF卡用樹莓派官方Imager直接燒錄鏡像到TF卡非常省事。如果走M(jìn).2 NVMe比較復(fù)雜因?yàn)锽ootROM默認(rèn)不會(huì)從PCIe NVMe啟動(dòng)需要先把系統(tǒng)寫到TF卡啟動(dòng)然后更新bootloader的BOOT_ORDER或者使用rpiboot工具通過USB連接CM4配置啟動(dòng)順序。說實(shí)話每次給M.2寫系統(tǒng)都比較折騰我習(xí)慣是先在TF卡上燒好系統(tǒng)啟動(dòng)后把系統(tǒng)完整復(fù)制到NVMe或者直接用rpi-eeprom-update讓bootloader支持NVMe啟動(dòng)。5.2 四節(jié)點(diǎn)網(wǎng)絡(luò)規(guī)劃別靠路由器DHCP硬分四個(gè)節(jié)點(diǎn)啟動(dòng)后默認(rèn)都從路由器DHCP拿IPIP地址的分配順序取決于誰先啟動(dòng)非常不固定。做集群必須固定IP兩種常用方式在路由器后臺(tái)給四個(gè)MAC地址綁定固定IP或者在系統(tǒng)里配置靜態(tài)IP。個(gè)人推薦直接在系統(tǒng)層配靜態(tài)IP這樣換網(wǎng)絡(luò)環(huán)境也不會(huì)失效。規(guī)劃一個(gè)簡單的內(nèi)網(wǎng)網(wǎng)段比如管理網(wǎng)絡(luò)用192.168.10.0/24節(jié)點(diǎn)1管理地址192.168.10.11節(jié)點(diǎn)2管理地址192.168.10.12節(jié)點(diǎn)3管理地址192.168.10.13節(jié)點(diǎn)4管理地址192.168.10.14集群上行口網(wǎng)關(guān)192.168.10.1配置方式編輯/etc/dhcpcd.conf加入interface eth0 static ip_address192.168.10.11/24 static routers192.168.10.1 static domain_name_servers192.168.10.1改完重啟網(wǎng)絡(luò)或直接重啟節(jié)點(diǎn)等四個(gè)節(jié)點(diǎn)都通了再繼續(xù)。5.3 開通SSH并配置免密登錄每一張燒錄好的TF卡第一次啟動(dòng)前在boot分區(qū)創(chuàng)建空白ssh文件就能開啟SSH。首次登錄用pi用戶默認(rèn)密碼是raspberry但強(qiáng)烈建議登錄后馬上執(zhí)行passwd改密碼。四個(gè)節(jié)點(diǎn)一個(gè)一個(gè)做太累我的做法是先在節(jié)點(diǎn)1上生成密鑰對ssh-keygen -t ed25519然后把公鑰復(fù)制到其他節(jié)點(diǎn)ssh-copy-id pi192.168.10.12。做完之后本地主機(jī)也可以把公鑰依次拷貝到四個(gè)節(jié)點(diǎn)之后管理節(jié)點(diǎn)、節(jié)點(diǎn)之間互通全部免密。注意ssh-copy-id第一次會(huì)提示輸入密碼后面就全自動(dòng)了。5.4 用Ansible把四節(jié)點(diǎn)配置成統(tǒng)一狀態(tài)四節(jié)點(diǎn)的系統(tǒng)配置如果一個(gè)個(gè)手動(dòng)改配置漂移是早晚的事。所以我在四節(jié)點(diǎn)基礎(chǔ)裝完系統(tǒng)后立刻用Ansible做統(tǒng)一初始化包括修改hostname、更新軟件源、安裝常用工具、關(guān)閉閃爍無關(guān)的服務(wù)等。寫一個(gè)簡單的inventory文件hosts.ini[cluster] node1 ansible_host192.168.10.11 node2 ansible_host192.168.10.12 node3 ansible_host192.168.10.13 node4 ansible_host192.168.10.14 [cluster:vars] ansible_userpi ansible_becomeyes再寫個(gè)最小化的playbookinit.yml- hosts: cluster tasks: - name: 更新軟件源 apt: update_cache: yes - name: 安裝常用工具 apt: name: - git - htop - vim - curl - ca-certificates state: present - name: 關(guān)閉無用的藍(lán)牙服務(wù)可選 systemd: name: bluetooth state: stopped enabled: no執(zhí)行ansible-playbook -i hosts.ini init.yml四個(gè)節(jié)點(diǎn)一次性完成初始化整個(gè)過程比手動(dòng)操作省至少半小時(shí)。后續(xù)要給所有節(jié)點(diǎn)裝Docker、裝K3s的agent也都是Playbook的事。6. 四節(jié)點(diǎn)集群能跑什么K3s、Ceph、監(jiān)控與HomeLab服務(wù)的實(shí)測6.1 用K3s把四節(jié)點(diǎn)變成迷你Kubernetes集群四節(jié)點(diǎn)ARM集群最常跑的負(fù)載就是Kubernetes。樹莓派上直接裝傳統(tǒng)K8s非常臃腫內(nèi)存占用大K3s是Rancher推出的輕量版K8s把etcd替換成內(nèi)嵌的SQLite或嵌入式etcd默認(rèn)用containerd運(yùn)行時(shí)特別適合樹莓派。安裝K3s很簡單在第一個(gè)節(jié)點(diǎn)我先定為192.168.10.11curl -sfL https://get.k3s.io | sh -安裝完成后在服務(wù)端節(jié)點(diǎn)查看tokensudo cat /var/lib/rancher/k3s/server/node-token然后在剩下三個(gè)節(jié)點(diǎn)上執(zhí)行curl -sfL https://get.k3s.io | K3S_URLhttps://192.168.10.11:6443 K3S_TOKEN你的token sh -大約一分鐘后在管理節(jié)點(diǎn)執(zhí)行kubectl get nodes能看到四個(gè)節(jié)點(diǎn)全部Ready。實(shí)測在2GB內(nèi)存的CM4節(jié)點(diǎn)上K3s的kube-system相關(guān)Pod占內(nèi)存約300MB到400MB2GB內(nèi)存還能剩1GB多給業(yè)務(wù)容器跑但如果要在同一節(jié)點(diǎn)跑Ceph或大型數(shù)據(jù)庫還是會(huì)緊張。一個(gè)小建議K3s服務(wù)端默認(rèn)的Pod數(shù)限制和Service數(shù)限制在集群板上可以適當(dāng)調(diào)低/etc/rancher/k3s/config.yaml里加上max-pods: 50避免資源競賽。6.2 千萬別對Ceph抱太大期望除非你只是想學(xué)習(xí)樹莓派集群跑Ceph是很多人的執(zhí)念我也試過。結(jié)論是能跑但性能非常有限。CM4的NVMe是通過PCIe Gen3 x1連接到SoC的單盤持續(xù)讀寫能跑到500MB/s上下看起來還行。但Ceph的副本寫入會(huì)同時(shí)寫多個(gè)節(jié)點(diǎn)多副本疊加后網(wǎng)絡(luò)變成瓶頸千兆網(wǎng)的限制大約125MB/s所以性能遠(yuǎn)不如單機(jī)磁盤。加上內(nèi)存只有2GBOSD進(jìn)程、Mon進(jìn)程、MGR進(jìn)程一擁而上很容易OOM。如果只是想學(xué)Ceph的部署思路、CRUSH map原理、故障域設(shè)計(jì)四節(jié)點(diǎn)集群完全夠用建議每個(gè)節(jié)點(diǎn)只跑一個(gè)OSDpool的size設(shè)為2min_size設(shè)為1至少不會(huì)讓所有節(jié)點(diǎn)都忙起來。如果對性能有實(shí)際要求樹莓派集群確實(shí)不合適直接用一臺(tái)二手x86服務(wù)器加幾塊大容量HDD更靠譜。6.3 監(jiān)控全家桶Prometheus Grafana集群跑起來之后監(jiān)控是必需品。四節(jié)點(diǎn)CM4資源本就緊張監(jiān)控全家桶也要輕量化。我在管理節(jié)點(diǎn)上部署了Prometheus四個(gè)節(jié)點(diǎn)都裝了node_exporter。安裝方式很簡單下載ARM64版本的二進(jìn)制包wget https://github.com/prometheus/node_exporter/releases/download/v1.7.0/node_exporter-1.7.0.linux-arm64.tar.gz tar xvf node_exporter-1.7.0.linux-arm64.tar.gz sudo mv node_exporter-1.7.0.linux-arm64/node_exporter /usr/local/bin/配置systemd服務(wù)讓node_exporter開機(jī)自啟然后在Prometheus配置里把四個(gè)節(jié)點(diǎn)的9100端口作為target加入。Grafana同樣裝ARM64版開一個(gè)Dashboard模板就能看到CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)、溫度等實(shí)時(shí)數(shù)據(jù)。實(shí)測Prometheus本機(jī)內(nèi)存占用約200MBGrafana約150MB在2GB節(jié)點(diǎn)上屬于可接受范圍但盡量讓Grafana和Prometheus跑在同一個(gè)節(jié)點(diǎn)最好不要和業(yè)務(wù)容器搶太多內(nèi)存。6.4 更接地氣的Homelab玩法如果你的K3s還沒完全玩轉(zhuǎn)或者根本不需要K8s四個(gè)樹莓派節(jié)點(diǎn)還有一堆更接地氣的玩法Pi-hole在其中一個(gè)節(jié)點(diǎn)部署Pi-hole做全網(wǎng)DNS過濾廣告攔截效果立竿見影Nginx反向代理四個(gè)節(jié)點(diǎn)分別部署Web服務(wù)用Nginx做負(fù)載均衡或反向代理模擬一個(gè)微型網(wǎng)關(guān)Uptime Kuma監(jiān)控家里其他服務(wù)NAS、路由器、各類Web應(yīng)用的在線狀態(tài)Alert通知到TelegramGitea輕量Git服務(wù)代碼倉庫放在集群里比單一樹莓派多一份冗余分布式爬蟲Scrapy或Playwright多節(jié)點(diǎn)并行抓取四個(gè)節(jié)點(diǎn)的并發(fā)能力比單機(jī)強(qiáng)很多7. 實(shí)測中的關(guān)鍵排障與避坑記錄7.1 供電不足導(dǎo)致節(jié)點(diǎn)反復(fù)重啟我最初用的是某個(gè)第三方12V/3A電源適配器待機(jī)時(shí)一切正常四顆CM4同時(shí)跑apt upgrade并且四個(gè)編譯任務(wù)并行時(shí)節(jié)點(diǎn)一個(gè)接一個(gè)重啟重災(zāi)區(qū)是離電源接口最遠(yuǎn)的那個(gè)槽位。查了半天確認(rèn)不是CPU過熱、不是SSD故障最終懷疑是供電不足。換成12V/5A的明緯工業(yè)電源后問題徹底消失。原因很直觀CM4在跑編譯任務(wù)時(shí)瞬時(shí)功耗能沖到5W以上四顆加SSD一起瞬態(tài)電流可能超過3A而廉價(jià)適配器的電壓調(diào)整率太差帶載后電壓跌落幅度大。集群板上的DC-DC降壓電路雖然有穩(wěn)壓能力但輸入電壓跌落太多輸出自然穩(wěn)不住。給集群板配電源建議直接選12V/5A及以上、紋波小的品牌電源不要省這幾十塊錢。如果板子支持也可以考慮PD誘騙頭配合大功率PD充電器。判斷供電是否正常可以在高負(fù)載時(shí)用萬用表測DC接口電壓如果低于11.5V就說明電源太弱。7.2 散熱沒做好四顆SoC集體降頻CM4的SoC和樹莓派4B一樣超過85攝氏度會(huì)觸發(fā)降頻。四顆CM4密集分布在一塊板上散熱空間有限單純靠散熱片無風(fēng)扇高負(fù)載下SoC溫度穩(wěn)定在85度以上直接降頻到900MHz性能打折非常明顯。我最終的散熱方案是每顆CM4貼一塊帶小風(fēng)扇的散熱器整板上方再加一個(gè)低速大風(fēng)量風(fēng)扇讓空氣從一側(cè)進(jìn)、另一側(cè)出形成貫穿式風(fēng)道。改造后高負(fù)載時(shí)機(jī)箱內(nèi)溫度大概45度SoC溫度能壓在65度左右性能明顯穩(wěn)定。如果你不想上風(fēng)扇至少要保證機(jī)箱通風(fēng)孔足夠大否則長時(shí)間跑容器任務(wù)等待你的就是頻繁降頻。7.3 eMMC和NVMe的啟動(dòng)順序坑Lite版CM4配合NVMe SSD啟動(dòng)時(shí)最常踩的坑是BOOT_ORDER默認(rèn)不包含PCIe。第一次插上帶系統(tǒng)的NVMe開機(jī)后毫無反應(yīng)顯示器黑屏如果有接HDMI日志也沒有。原因在于新版bootloader雖然支持NVMe啟動(dòng)但需要把BOOT_ORDER里加一個(gè)2代表PCIe。方法是在一個(gè)能啟動(dòng)的Linux環(huán)境里運(yùn)行sudo rpi-eeprom-config --edit把BOOT_ORDER改成類似0xf26這樣的值或者使用raspi-config的更新引導(dǎo)器選項(xiàng)然后重啟。改完保存后NVMe就能作為啟動(dòng)設(shè)備了。不過要注意不同的eMMC版本和bootloader版本默認(rèn)值不一樣還是得看當(dāng)前配置別盲改。7.4 GPIO排針方向和電平問題前面提過GPIO排針排列不一定和樹莓派4B一致這里再補(bǔ)充一個(gè)常見坑板子上的GPIO排針可能沒有絲印標(biāo)注引腳序號或者標(biāo)注得很小。拿到板子先用萬用表測排針的5V和3.3V引腳位置確定第1腳方向。如果你外接傳感器出現(xiàn)讀數(shù)全零或者漂移大概率是SDA/SCL接反了或者共地沒做好。另外做GPIO實(shí)驗(yàn)時(shí)建議先用簡單的LED點(diǎn)燈驗(yàn)證引腳編號別直接接高價(jià)值外設(shè)。我習(xí)慣用BCM編號寫代碼比如GPIO17對應(yīng)排針第11腳標(biāo)準(zhǔn)40Pin定義但在集群板上需要先對照原理圖確認(rèn)這個(gè)物理位置是否真的連到了CM4的GPIO17。8. 個(gè)人體會(huì)和后續(xù)擴(kuò)展方向這套四槽集群板加四顆CM4的組合我跑了快半年最大的感受就是樹莓派集群的性能天花板其實(shí)不高它最大的價(jià)值是給了你一個(gè)低成本、高密度、貼近真實(shí)服務(wù)器拓?fù)涞膶?shí)驗(yàn)環(huán)境。K3s的調(diào)度邏輯、Prometheus的采集體系、Ansible的批量管理這些在普通單板機(jī)上也能學(xué)但只有多節(jié)點(diǎn)環(huán)境下才能體會(huì)到節(jié)點(diǎn)故障、網(wǎng)絡(luò)分區(qū)、資源調(diào)度這些概念到底是怎么回事。如果后續(xù)想繼續(xù)擴(kuò)展我會(huì)考慮這幾個(gè)方向加一塊USB轉(zhuǎn)串口模塊把四節(jié)點(diǎn)的serial console接出來方便內(nèi)核層面調(diào)試用Power over EthernetPoEHAT替代DC供電進(jìn)一步簡化布線搭一個(gè)基于K3s的GitOps流水線用Flux或Argo CD自動(dòng)同步Git倉庫里的應(yīng)用配置把其中兩個(gè)節(jié)點(diǎn)遷移到Ubuntu Server測試跨操作系統(tǒng)集群的兼容性最后再分享一個(gè)實(shí)際運(yùn)維中的小技巧因?yàn)樗膫€(gè)節(jié)點(diǎn)經(jīng)常要同時(shí)執(zhí)行同樣的命令我在本機(jī)配置了~/.ssh/config把node1到node4分別加上Host別名再寫了一個(gè)簡單的cl函數(shù)直接cl hostname就能在所有節(jié)點(diǎn)上并行執(zhí)行命令省去了循環(huán)SSH的麻煩。具體就是一段不足十行的shell函數(shù)配合pssh或者Ansible的ad-hoc命令日常管理和巡檢效率提升非常明顯。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲婷婷五月天综合| 亚洲激情无码久久| 波多野结衣AV无码Porn| 久久精彩视频18| 亚洲激情五月天| 日韩婷婷| 天天综合网~91综合网| 超碰丁香五月| 极品人妻VIDEOSSS人妻| 日日噜噜夜夜狠狠久久丁香六月| 中文资源在线a| 夜夜操天天爽| 五月天成人手机在线视频| 91丨九色丨国产打屁股| 九热视频在线精品15| 99riAV成人在线视频| 婷婷五月丁香五月| 久久五月天婷婷| 99热在线只有精品| 九九99一区| 日韩欧美一区二区三区四区| 性一交一乱一交A片久久四色| 伊人久久大香线蕉AV最新午夜| 亚洲天堂婷婷丁香| 8090在线影视少妇| 狠狠狠狠狠狠| 99久久99久久综合| 日日干日日| 九九亚洲综合| 九色七七| 大香蕉久热| 五月婷婷片| 欧美亚洲操逼| 99热99操| 毛片蕉地一二| 国产探花一片区| 婷色天堂| 国产偷人爽久久久久久老妇APP| 久久六月综合| 91欧美| 99性爱| 拳交大逼| 五月天综合婷婷| 26UUU精品一区二区Com| 先锋资源 996| Va另类视频| 激情五月激情综合网一级丸片| 色婷婷黄色网络| 97人妻碰碰碰久久香蕉| www热久久yy9| 久久五月婷婷视频| 狠狠色丁香婷婷五月| 亚州第一黄网| 色色色色色九九九九九| 色激情网| 色九月丁香婷婷蜜桃在线观看| 99超超碰| 久久涩视频| 亚洲第一成人无码A片| 99热66| 天天干天天日天天操| 九九re精品视频在线观看| 青青草搞屄视频网站| 丁香五月婷婷啪啪啪| 97九色视频| 九九99男女视频在线观看| 欧美久久久久久久久中文字幕| www99精品在线观看| 国产全是老熟女太爽了| 亚洲电影在线观看| 色欲五月丁香| 一区操| 国内久久婷婷| 亚洲色五月婷婷| 香蕉五月婷婷| 色日本综合| 欧美啪啪网| 超碰人人妻| 欧美日韩国产成人在线| 日韩久久欧亚| 色播五月综合网| 婷婷五月18永久免费网站| 91精品综合久久久五月天| 色站9/| 精品一区二区三区三区| 色综合偷拍| 天天操五月天| 999热在线视频| 五月婷婷六月丁香综合| 思思99热这里只有精品| 九九综合精品| 99资源在线视频| 六月婷婷香蕉| 国产精品久久..4399| 久久新| 日韩操逼大片| 综合狠狠伊人| 狠狠狠狠狠狠草| 能看的AV网站| 日本色色视频| 五月婷婷综合久久| 天天色天天日| 久久9热好| 激情五月丁香五月色| 2050人人操免费工开爱| 伊人久久综合| 超碰91在线| 玖玖国产视频一区| 激情婷婷丁香色情五月天| 伦99热| 天天爽夜夜爽夜爽精品| 五月天天天天天天天天天天天天天天天婷婷婷| 超碰免费人妻| 久久97| 国产XXXX搡XXXXX搡麻豆| 激情综合色婷婷啪啪五月天| 色婷婷综合电影| 久99久视频免费观看| 日韩成人无码人妻| 玖玖99福利| 天天模,夜夜模夜夜爽| www999日韩精品| 色~性~乱~伦~噜| 久久婷五月| 色婷婷91激情小说| 五月亭亭综合五码| WWW.桔色成人.COM| 亚洲色婷婷五月天| 4399无码视频| 丁香五月ⅤA久久久| 人人草碰| 大香蕉五月丁香| 成人五月天在线观看| 色综合久久88色综合天天人守婷| 天天色综网| 欧洲亚洲午夜| 99热久| 日韩AV在线影片| 视频一区二区在线| 九九热10| 婷婷五月天激情综合| 五月天激情综合10p| 婷婷五月天激情电影小说| 伊人久久大香线蕉av一区| 六月激情婷婷| 99综合97| 丁香五月欧美激情| 欧美毛片www| 99热网站| 亚洲色婷婷| 欧美成人猛片AAAAAAA| 97碰91| 六月天婷婷| 亚州在线中文字幕| 五月丁香花激情综合网| 日本色婷婷五月天成人电影| 婷婷激情五月天小说| WWW.婷婷| 99热在线播放| 午夜福利成人AV91| 色色精品色| 色五月六月婷婷| 久久 天天| 色99网站| 欧美成综合在线观看| 99九九热在线观看| 26UUU精品一区二区Com| 热99精品视频五月| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 婷婷涩涩五月天| 色啪网| 免费无码毛片一区二区A片 | 大香蕉婷婷丁香视频在线| 亚洲五月婷婷在线| 久久人妻视频| www.色五月| 91se在线观看| 日本婷婷综合精品| www.日本91| 亚洲久热| 天堂久久性| 五月丁香六月日逼| 2025最新亚洲激情在线| 亚洲va成人va成人va在线观看| 99激情视频| 婷婷五月天天激情| 69堂午夜视频最新地址| 天天爱天天狠天天透| 久久五月视频| 大香蕉人人网| 亚洲综合丁香婷婷六月天| 五月丁香成人小说| 爱99干99| 欧美日韩91| 五月天色婷婷基地| 亚洲精品无码久久| www久久久久久久| 91超级碰碰| 女力报到正好爱上你| 五月天丁香网| 午夜九九九九九九| 亚洲五月六丁香激情| 人人操五月天| 国产又色又爽又黄又免费| av激情在线| 五月丁香六月色情网欧美| 女人被男人吃奶到高潮| 超碰日韩人妻在线| 99,色| 国产日韩亚洲欧美在线观看| 亚洲激情AV| 超碰高清在线| 久99久热只有精品国产99| 天天综合五月| 国产激情久久久| 亚洲精品第一国产综合亚AV | 狠狠干在线| 国产精品久久久久久妇女6080| 国产成人AV在线播放| 99视频精品8| 日本精品99网站| 91大操| 大香蕉人妻| 久热网在线视频| 久操热| 午夜丁香六月婷| 激情网狠狠干| 亚洲成人综合在线| 婷婷五月色惰| 久久久精品色色色| 激情又色又爽又黄的A片| 九九婷婷综合| 色色色色色色网站| 超碰免费成人网站| 丁香五月 综合| 色婷久九| 欧美男女婷婷| 丁香五月天啪啪激情综合网| 久久人妻精品| 99自拍视频在线观看| www.国产色| 亚洲经典三级| a色色色色色| 中文字幕成人影视| 五月婷婷丁香综合,亚洲天堂| 丁香六月av| 丁香五月天五码婷婷| 欧美日韩91| www.99久久久久99| 久久这里只有欧美| 嫩草AV久久伊人妇女超级A| 操操天堂| 色婷婷激情| 婷婷狠狠综合网入口| 天天摸天天舔在线视频| 激情久久综合| www.一起草av| 五月婷婷综合潮喷| 99年操人人爽| 多精窝99在线视频| 思思热99热| 99综合自拍| 色丁香五月天婷婷| 69热91天堂| 色激情综合狠狠婷婷| 丁香五月婷婷亚洲综合精品| 五月婷婷草| 79色色免费| 91狠狠综合久久久| 99久热在线精品| 日本色五月| 五月婷婷性爱网| 欧美毛片www| 天天射影院| 婷婷激情视频| 射久久丁香五月| av五月丁香| 人妻操操色| 北京熟妇搡BBBB搡BBBB| 中文字幕人妻AV| 激情99。| 五月天激情视频| 五月丁香六月久久| 99啪啪| 九九99精品视频| 色色亚洲视频| 九九精品9| 思思久久96热在精品国产,| 色狠狠综合| 任你草| 激情六月丁香| 原琪琪色影院| 最新av在线观看| 青青草原爱爱网| 九九视频这里只有精品在线播放 | 日日日日操| 久久婷婷五月天大香蕉| 天天干天天干天天干天天干天天| 日韩成人中文| 涩涩网五月天| 国产婷婷色综合AV蜜臀AV | 久久丁香九| 色五月婷婷色五月| www九月婷婷| 99热这里只有精品最新网址| 7777久久亚洲中文字幕| 日本VA视频| 色婷小说| 天天久综合| 天天色五月婷婷91久久久久久久| 丁香五月第四色88| 99热8在线| WwW天天干| www.婷婷五月天| 人人超碰99| 婷婷日日夜夜| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 91大屁股精品| 婷婷99热| 丁香五月天啪啪| 99欧州偷拍视频| 欧美丁香五月97色| 婷婷操逼| 久久人人看| 色欲婷婷夜夜| 香蕉久久av一区二区三区| 丁香婷婷少妇| 91日在线视频| 婷婷婷婷色| 久婷视频| 亚洲婷婷欧美婷婷| AV五月丁香| 狠狠99| 色狠狠色综合久久久绯色AⅤ影视| 日本99在线| 成人在线不卡| 色婷久久| Xx色综合| 99在线精品免费视频| 日本ww亚洲| 偷偷与邻居做爰完整视频| 开心五月丁香综合久久| 大香蕉AV电影在线| 天天狠狠夜夜狠狠2023| 亚洲午夜电影| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 九月丁香婷婷| 色久婷婷网| 人妻丰满精品一区二区A片| 五月噜噜| 69精品无码一区二区三区| 天天艹夜夜艹| www.97干视频| 99热在这里只有精品| 婷婷6月综合网| 国产一区二区三区影院| 五月WWW| 久热伊人在91| 久久性操| 色噜噜狠狠色综合伊人| 99国产精品久久久久久久久久久 | 五月婷婷九九热| 亚洲第一成人无码A片| 玖玖视频福利| 亚洲爆乳无码精品AAA片蜜桃| 欧美va| 色婷婷影视99| www.91九色| 激情六| 无码人妻丰满熟妇奶水区码| 深夜激情网| 婷婷五月18永久免费网站| 亚洲精品影视| 婷久看人爽| 婷婷五月丁香基| 婷婷五月激情在线视频| 久久香蕉福利| 九九色色| 色五月婷婷激情| 久久Xx| 天天色视频| 五月天性色| 欲求不满的人妻| 五月丁香自拍| 天堂AV三级| ..真实国产乱子伦毛片| www.婷婷六月天| 开心婷婷中文字慕| 婷婷在线中文字幕| 色婷婷a v| 只有精品在线观看| 五月丁香久久久| 五月婷婷六月丁香在线| 久热99| 国产精品久久欧美久久一区| 99免费| 色呦呦免费观看| 国产午夜精品一区二区三区嫩草| 九九热视频精品| 大香蕉婷婷五月| 综合五月天| 亚洲欧美999| 日本不卡中文字幕| 色伦专区97中文字幕| 五月成人天| 激情文学第四色婷婷丁香五月| 六月激情婷婷| 色五月婷婷久久| 无码啪啪| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 婷婷五月,综合伊人| 五月丁香六月情| 99色在线观看视频| 国产亚洲精品久久久久久郑州| 五月婷婷色激情| 伊人超碰| 免费看欧美成人A片无码| 五月丁香六月婷婷网| 激情五月天色色| 五月天丁香婷婷久久九| 中文无码婷婷| 丁香五月婷婷骚视屏| 伊人婷婷五月天av| 99精彩视频| 泰州成人视频| 五月婷婷 欧美| 99久久偷拍视频| 亚洲激情网| 成年人99热| www.久久综合| 大香蕉婷婷| 欧美成人色婷婷| 五月婷婷新网站| 96精品国产综合久久久久久| 五月天成人综合| 人妻无码精品一区| 丁香五月天色| 色婷婷AV久久| 99热这里有精力| 色噜综| 在线天堂9| 成人中文网| 色丁香五月| 草AV9999| 九色视频91| 先锋影音男人的天堂AV| 五月天.com| 六月丁香成人网| 色很很96| 丁香色五月AV在线| 97人妻碰碰中文无码久热丝袜| 狠狠搞亚洲| 久久九九怡红院| 男人天堂 久久| 婷婷五月天成人网| 亚洲精品99| 九九九午夜影院成人| 色五月五月婷婷| 天天看A片| 亚洲综合五月天综合| 婷婷色五月开心五月| 日本色色影片| 人人干av| 天天色天天操天天射| 久热这里这里有精品| 99久热精品在线| 欧美婷婷| 色五月婷婷av| 在线观看中文字幕| 六月五月久久丁香| 九九色热| 97久操视频| 天天揷综合网| 亭亭玉月丁香| www.婷婷,com| 久久机热这里只有 | 久久久久久久人妻| 日日做夜夜爱| 青青热久精品视频在线观看| 五月综合激情| 久久婷婷的综合色丁香五月| 99色 | 丁香婷婷在线| 五月婷婷狠天天色综合| 久久性爱视频| 一级二级色大片| 七月丁香婷婷 色色| 激情丁香五月婷婷| 久久亚洲无码| 五月婷婷丁香瑟瑟视频| 五月婷婷六月丁| 99热在线精品播放| 91日精品| 欧美色必爱| 国产成人精品一区二三区熟女在线 | 91操黄| 香蕉综合网| 99久在线| 五月天com| 婷婷五月骚厕所| 婷五月天在线草| 淫视馆aV二区一区| 成人婷婷| www91久久| 久久中文网| 99操| 乱码操操| 26uuu在线观看| 亚洲狠狠操| 性婷婷| 国在线激情网| 日本久久高清| 久久婷婷五月天激情四射| 香蕉色色网| 激情综合网激情五月婷婷| 思思热在线| 五月婷婷综合网| 夜夜躁婷婷AV| 欧美性色视频| 婷婷伊人网| 婷婷五月色综合| 亚洲五月婷天天操| 婷婷久久免费看| 久久这里只有国产| AV大香蕉| 五月天激情四射| 国产综合视频婷婷| 五月丁香色综合| 九九综合图片网| 欲色人妻| 七七色综合| 亚洲乱码日产精品BD| 五月激情小说| 91操碰| 日日噜噜夜夜狠狠久久丁香六月| 91精品91久久久中77777| 久久久久激情| 8区视频在线| 久久综合影院| 丁香五月欧美| 66成人网| 天天日天天操心| 天天操婷婷| 色色亚洲五月天| 99久久玖玖| 午夜电影网VA内射| 婷婷中文字幕版| 婷婷5月天av| 99热精在线九九久久保| 久久成人性爱| tingting五月天亚洲| 丁香五月 综合| 99热免费精品热久久66| 第2色五月婷| 人人澡天天色天天做| 操操操操操操婷婷五月天| 五月婷婷无码| 丁香色五月直播| 丁香五月激情宗合网| jiujiu热在线视频| 亚洲精品色色| 五月婷婷激情四季| 最新午夜理论片| 99极品视频| tingtingjiqingwuyue| 美女va| 激情丁香五月婷| 99在线观看这里都是精品| 免費亭亭成人| 国产六月婷婷| 婷婷五月丁香色情| 免费视频这里只有精品| 深爱激情五月婷婷| 播五月,色五月,开心五月播放器| 99精品国产在热久久婷婷| 91凹凸在线| 丁香伊人网| 五月天激情四射| 夜夜骑夜夜操| 丁香久久| 无码91中文字幕| 国产精品色情AAAAA片软件| 亚洲妇女熟BBW| 亚洲激情四射色| 黄色av网站在线免费播放| 色约约视频一区二区三区四区五区| 97在线视频 欧美| 欧美毛卡| 五月丁香六月婷婷啪啪| 99操中文视频| 五月丁香婷婷无码中文| 激情网第四色| 色婷婷五月综合网| 五月丁香六月婷婷操操操| 婷婷成人视频| 99狠狠色| 99操99| 97av在线视频| 电影91久久久| 丁香五夜激情四射夜夜夜| 久久婷婷激情四射五月天| www.久久爱.com| 九九热黄色| 99丁香五月婷| 激情综合五月.....| 五月婷综合网| 综合久久99| 久热中文字幕| 丁香五月天啪啪| 91碰碰碰| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | www.夜夜操.com| 成人av中文字幕| 五月天开心网| 极品人妻VIDEOSSS人妻| 91美女啪啪| 久久综合影院| 18av天堂| 国产成人va在线| 日婷婷久久开心| 变态另类9| 99热最新| 五月丁香婷婷五月色| 蜜臀av粉嫩av懂色av| 精品网站:999WWW| www.婷婷.com| 伊人久久大香线蕉综合网站| 大色鬼综合| 97人碰人操| 来吧亚洲综合网| 九色91视频| 99久热| 日韩色色色色| 亚洲人妻电影| www.日本久久videos| 中文不卡一二三区| 玖玖热视频| 婷婷五月丁香久久| 婷婷六月天| 天天干天天av天天射| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 九九热精品6| 久9精品视频| 99热精品在线| 丁香五月激情啪啪综合| 五月天婷婷免费| 激情五月激情综合网一级丸片| 丁香 婷婷 亚洲 熟女| 99九九精品视频| 青青青在线视频国产| 91色综合久久| 99热这里| 久久久久99精品成人片| 久热超碰91| 99热这里| aaa9区免费在线观看| 丁香五月情色| 女人天堂 AV| 九九色影视| 中文字幕免费高清电视剧| 五月婷婷丁香大香蕉| 五月婷婷无码| www.99热. com这里只有精品| 曰曰久久| 久久婷婷青青草| 丁香六月综合激| 快乐婷婷五月天| 丁香六月婷婷激情| www.操.com| 97婷婷五月丁香| 九九色影院| 久久欧洲综合网| 国产99久久久| 久久久全国免费视频| 91打屁股视频网站| 五月婷婷,六月激情| 来吧亚洲综合网| 大香蕉啪啪啪| av免费在线网站| 精品国产va久久久久| 色婷婷五月视频| 另类图片五月天| 天天综合网色欲香| 日韩无码一区二区三区四区| 可以免费观看的AV| 99精品偷自拍| AV在线大香蕉| 99只有这里是精品| 九九亚洲视频| av一区免费看| 亚洲成人在线播放| 五月激情六月宗合| 久久丁香| 国产.亚洲.欧洲视频在线| 婷婷中文字幕版| 99操逼视频| 在线超碰免费| 日韩 欧美 国产 一区 二区| 激情五月激情综合网| 亚洲精品又粗又大又爽A片 | 国产成人av在线播放| 66精品成人免费网站在线观看| 狠狠狠狠狠狠狠狠| 超热久碰.com| 日韩无码人妻一区二区三区综合| 黄网免费看| AⅤ网站在线看| 99热啪啪| 色综合天天综合成人网| 色五月情| 操人91| 五月婷导航| 色婷婷丁香| 久一网站| 五月婷在线视频免费播放| 99操视频| 激情婷婷丁香色五月| 六月激情网| 国产寻花在线| 99热亚洲精品| 久久加勒比| 一区二区三区四区无码| www.91色| 五月婷婷中文字幕| 丁香5月婷婷| 色九九综合| 久婷婷婷| 五月丁香六月婷婷精品| 天天色天天日天天舔| 成人AV在线中文版| 亚洲思思热久| 新激情五月天天在线网| 久久中文网| 色五月开心婷婷| 九九热re99re6在线精品| 国产AV一区二区三区日韩| 婷婷精品在线| 天天天天操| 操91综合网| 婷婷丁香五月天综合网| 婷婷色婷婷| 91好好热日本在线| 五月情涩综合婷婷| 欧美黑人巨大性生话| 久久精品99| 久久婷婷六月综合综合| 99久久97| A一级操| 日本色婷婷| 九九色院| 噜噜网免费视频| 久久五月天激情| 97干网站| 99在线免费视频| 操碰99在线视频观看| 激情综合婷婷| 色色色热| 亚洲性受XXXX五月丁香| 91欧美日韩综合| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 婷婷丁香五月激情图片| 超碰九色| 亚洲天堂久久| 久久久精品人妻| 91919191919久久成人视频| 五月天婷亚洲综合在线嫩草网| AV操逼网| 九九99热| 久久综合五月天| www.99.色| 亚洲乱码成人| 国产成人精品一区二区三区视频 | 亚洲熟妇AV乱码在线观看| 五月天无码| 99久久99九九99九九九| 9人人操人人看| 六月婷婷激情| 91丨人妻丨国产丨丝袜| 国产裸舞表演WWWW| 日韩三级高清无码| 五月丁香色婷婷综合| 91人在线观看| 狠狠色狠狠鲁| 噼里啪啦完整版中文在线观看| 色五月婷婷中文字幕在线观看| 欧美精品999| 欧美精产国品一二三区| 久艹大香蕉| 亚洲99在线| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 狠狠色噜噜狠狠狠狠综合| 亚洲无码yw| 伊人五月综合网| AV性爱网| 懂色av蜜臀av粉嫩av永陈冠希| 久久九九视频| 婷婷六月香| 久久婷婷五月综合伊人| 天天肏视奸| 青青草视频福利| 久久婷婷五月天激情新地址| 开心五月丁香啪| 丁香婷婷九月在线| 五月婷婷五月天天| 激情婷婷丁香五月| 婷婷丁香五月噜噜噜| 九九色婷婷五月天| 伊人干练久| 日日操夜夜擼| 丁香涩涩五月天| 婷婷色五月综合| AV国产有码| 久久综合五月天激情小说网站 | 九九美女视频| 天天摸天天舔| 欧美VA视频| 99超级碰碰| 97碰| 伊人久久婷婷| 亚洲不卡| 天天狠天天叉| 亚洲综合网区| 丁香五月婷婷基地| 久久这里在精品视频| 天天射影院| 激情五月天之五月婷婷| 超碰婷婷色| 这里只有精彩视| 色偷偷人人| 欧美va在线观看| 久久玖玖综合| 99色网站| 欧美日本VA| 天天色天天| 91操色| 国产精品18久久久| 国产另类综合| 丁香五月婷婷综合激情啪啪啪| 天天久| 98色花堂98t.R| 久久99网站| xxxx五月激情| 精品久久久91久久影视网| 丁香五月冃欧美| 大香伊人婷婷影院| 这里只有精品视频在线| 精品在线网站| 色五月 五月婷婷| 色五月xxx| 亚洲精品V天堂中文字幕| 97五月天婷婷| 人人操 色| 五月丁香无码| 狠狠色丁香久久久婷| 97色干| 色五月婷婷激情五月| 丝袜熟女一区二区三区| 激情五月婷婷在线观看| 日本久久婷| 久久婷五月天| 五月天在线视频尤物视频在线看| 超碰99成人在线| 色五月婷婷综合在线| 99热老网站| 五月丁香影视| 国产,欧美,日韩,性爱| 2015WWW永久免费观看播放| 日本久久综合| 这里只有精品视频国产| 丁香五月婷婷啪啪视频| 婷婷激情图片| 97av在线视频| 人妻熟人中文字幕一区二区| 热的无码综合视频| 无码一级片| 香蕉综合在线| 国产伊人五月天| 中文字幕 中文字幕明步| 天天狠狠干| 日本操碰碰| 91操操| 婷婷丁香五月综合激情小说| 亚洲免费av在线| 99热66| 午夜国产精品AV在线播放| 在线看av| 97 A I色色| 亚洲激情五月婷婷日日| 噜噜五月天综合| 久久五月激情综合| 激情五月婷婷丁香六月| 婷婷99狠狠躁天天久久久九九九| 操操操Av| 激情五月天久久丁香| 香蕉AV777XXX色综合一区| 九热视频| 狠狠干综合| 丁香综合| 天天干天天操天天射| 丁香五月天激情婷婷丁香六月| 99riAV成人在线视频| 五月婷婷六月丁香玖玖玫瑰91| 亭亭玉立国色天香| 色逼综合网| 五月天色综合| 激情五月天综合网站网站网站| www,99热在线观看| 99福利导航| 色天天综合色| 91人人妻人人操| 五月丁香六月在线| 成人色色视频| 91碰| 成人在线观看精品| 久大香蕉| 亚洲色婷婷99一9|| www色综合亚洲92| 天天插天天插| 五月天天爽| 激情综合色| 激情5月婷婷| 婷婷五月综合久久中文字幕| 欧美激情五月天在线观看| 91亚洲视频| 综合激情视频| 99免费热视频| 99精品在线观看| 五月婷婷久久爱| 综合久久99| 色婷婷五月天小说| 91狠狠综合网| 人人爽网| 婷婷丁香五月激情密臀av| 五月在线婷色| 91精品视频男人的天堂| 人妻人人操| 久久人妻久久| AV堂狠狠干| 色婷婷成人久久| 五月天综合色| 五月花在线观看视频| 丁香色情五月天| 九色PORNY在线精品酒店| 色色五月天婷婷| 五月婷丁香| 色亚洲婷婷| 丁香六月激情毛片| 国产成人精品一区二区三区视频| 丁香五月天在线| 丁香婷最新动态| 亚洲 成人 电影av在线观看| 色五月av| 99热只有这里才是精品| 怡红院 久久| www99xxxx五月丁| 久久免片| 婷婷五月花丁香| 99这里的视频都是精品| 91九色欧美| 97超碰免费超级在线观看| 五月丁香婷婷色色| 一级黄色尤物综合视频手机在线观看| WWW、日本色丁香co m| 99热资源在线| 色五月丁香com| 丁香六月啪啪| 天天久| 3p日韩网站视频| 五月婷亚洲精品AV天堂| 91色色色视频| 国产精品a无线| 丁香六月啪啪啪| 天天撸天天干天天插| 色五月激情问网站| 日本乱论99| 亚洲六月色| 丁香五月偷拍| 色五月播五月| 婷婷天天综合| 另类激情五月天。| 五月丁香婷婷啪啪综合| 超碰婷婷色| 色偷偷五月天| 日熟女| 亚洲激情精品| 妻久久久久| 超碰在线人人| www.一起草av| 99国产在线精品视频| 5月丁香啪啪啪| 丁香丝袜五月| 色五月xxx| 欧洲亚洲午夜| 免费观看高清无码| 国产美女无遮挡裸体毛片A片| 美欧日韩国产成人在战| 亚洲色无码| 日日色五月天| 99久久婷婷| 91疯狂操操操操| 婷婷狠狠青青| 色婷婷成人做爰A片免费看网站| 影视av久久久噜噜噜噜噜三级| 操操操AV| 99er国产| 操碰99| 五月色情精品| 丁香六月激情综合| 婷婷五月丁香六月| 嫩草AV久久伊人妇女超级a| 人人玩人人橾| 丁香色色色| 黄久久久| 黄色短视频在线观看| 97在线观视频免费观看| 996er热| 婷婷射综合| 亚洲视色| 另类视频丁香五月| 丁六月激情| 亚洲一个色| 99热天堂| 在线成人av播放| 久久桃花网色婷婷| 激情五月天婷婷| 97资源欧美日韩大香蕉超碰一区| 思思久久精品| 五月色俺婷婷| 五月色情婷婷开心五月天| 无码啪啪| WWW,五月| www.99热这里精品| 91人无码久久久久久| 久久性爱99国产| 成人做爰A片免费看视频| 婷婷激情四射| 五月激情六月丁香| 五月情色天| 综合网五月天123| 婷婷深爱五月亚洲综合| 这里只有精品,日韩视频| 热99国产精品| 色婷操逼| 97人人做| 97人妻碰碰碰久久久久-最近国语高清| 色五月激情问网站| 久久婷婷丁香花综合网| 精品国产AV色一区二区深夜久久| 天天爽天天爽| 97人人操人人干| 日本狠狠干| 亚洲中文乱字字幕在线永久| 成人网站在线观看视频| 丁香五月影视| 碰97久久| 91久久五月天| 精品亚洲国产成AV人片传媒| 99狠狠色| 伊人玖玖婷婷| 五月天成人在线播放| 五月天 无码| 99A片| 亚洲精品激情| 日本激情综合| 婷婷五月天激情基地| 久久婷婷五月综合啪| 成年人99热| 久久成人天| 狠狠狠狠狠草| 五月婷婷九月婷婷九月婷婷| 婷婷激情网五月天| 五月六月激情| 五月宗合激情网| 五月草影视| www.久久av.com| 五月丁香六月婷婷在线| 天天日天天草| 久久五月丁香| 久久婷婷五月天| 婷婷月综合| 香蕉国产2013| 91久热| 五月丁香六月婷婷网| 婷婷激情图片| 91久操| 中文字幕无码人妻少妇免费视频| 色欲一区二区三区精品A片| 免费观看全黄做爰的视频 | 成人短视频在线免费观看| 欧美va在线观看| 极品另类| 色五月天激情| 色婷婷视频在线| 五月丁香网站| 日本猛少妇色XXXXX猛叫| 亚洲精品V天堂中文字幕| 久久久99精品免费观看| 亚洲妇女熟BBW| 亚洲AV影片在线观看| 999热这里只有美国精品| YW无码| 美国天天操无码| 99人人操人人操人人精| 婷婷五月丁香久久| 五月天色色激情综合| 无码一区二区日韩| 日日婷婷不卡| 我要看激情五月天| 五月丁香六月婷婷操操操| 激情网婷婷五月天| 天天做天天爱| 91精品久久久久久| 丁香五月色| 色九月婷婷| 国产五月视频| 狠狠色婷婷综合开心影视 | 丁香婷婷色九月| www.久久9| 色九月婷婷综合| 热99这里只是精品| 色必久悠悠影院| 婷婷夜夜夜夜| 精品成人a v无码内射| 天天干天天拍| 99自拍视频网站| 久热免费| 少妇2做爰HD韩国电影| 久久大大香| 欧美日韩日韩成人| 日韩成人AV在线播放| 九九無碼| 五月婷婷综合网在线播放| 26uuu91| www99热| AV在线大香蕉| 啊v视频在线观看| 久久色大香蕉| 色很久综合| 国产午夜精品一区二区| 五月综合久久| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 狠狠爱婷婷爱| 丁香五月伊人| 韩国真做片在线观看| 五月婷九月| 色欲久久久久久综合网综合网| 99热精品在线播放| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 综合大香蕉| 九九AV| 超碰熟女农村在线69| 九九九午夜视频| 成人丁香五月| 婷婷伊人激情婷婷| 丁香五月六月婷婷殴美综合| 久久电影4399| 久热9| 国产婷婷婷| 97精品综合久久内射| 超碰av在线| 午夜爱爱爱成人| 俺去啦综合网| 激情六月婷婷| 99精品成人无码A片观看金桔| 精品操逼一区二区| 草一草avb| 激情综合激情五月| 丁香五月Av| av中文在线| 亚洲午夜成人av电影网| 激情五月份婷婷| 欧洲永久精品| 丁香五月婷婷天激情| 天天综合网在线| 婷婷五月天久久| 婷婷丁香五月天综合在线日韩| 4438国产免费看| 五月丁香婷婷无码中文| 色播婷婷五月天| 淫视馆AV在线| 熟妇无码乱子成人精品| 婷婷丁香黄色| 色婷婷久久| 久香草视频在线观看| 天天爱天天秀天天做| 99热免费| 色呦呦在线| 伊人超碰| 蜜臀av在线成人电影| 超碰资源在线| 亚洲乱码日产精品BD| 91丨九色丨老农村| 婷婷的激情五月| 婷婷综合五月天亚洲综合| 人妻AV在线| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 五月丁香六月婷婷无码| 色狠狠综合| 欧美日韩中文国产一区发布| 六月婷婷操逼| 丁香六月婷婷久久综合| 亚洲人妻五月丁香婷婷| 精品人人操| 综合色七七| www.婷婷五月| 丁香五月冃欧美| 97精品欧美91久久久久久久| 日韩在线观看网址| 五月天丁香久久| 密乳视频| 亚洲免费99| 日韩成人中文| 五月激情婷婷综合| 婷激情五月| 99热偷拍| 五月婷婷综合在线视频| 99在线精品观看99| 色五月综合激情| 色婷五月| 日韩成人免费电影| 97色 五月天丁香| 狠狠操狠狠爱| 婷婷五月天电影区小说区| 丁香六月婷婷| 丁香五月www| 噜综合| 狠狠草在线观看| 97色在线| 99热欧美精品| 丁香六月色情| 武则天精品久久| 99热爆在线| 丁香综合婷婷开心激情网| 五月婷婷激情久久| 欧美丰满熟妇BBB久久久| www.99精品视频| WWW.开心五月天.COM| 九九热中文| 五月做爱| 天天五月香欧美| 99操免费视频| 婷婷色五月大香蕉在线| 婷婷丁香五月天哟啪| 五月丁香六月情| 熟妇人妻中文字幕无码老熟妇| 91肏| 婷婷丁香在线播放| 超碰在线人妻| 亚洲视频操| 日日夜夜天天爽| 五月天色五月| 色播五月天婷婷老师| 精品三区影院| 色婷婷六月| 五月丁香婷婷婷激情爱爱| 2w在线视频| 夜夜撸夜夜骑| AV成人在线播放| 五月停停丁香| 99免费在线| 欧美亚洲成人在线| 精品成人无码A片观看香草视频| 97超碰综合| 久啪欧美| 色久免费| 超碰狠狠操|