欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

OpenStack云平臺(tái)搭建實(shí)戰(zhàn):從架構(gòu)規(guī)劃到故障排查全指南

OpenStack云平臺(tái)搭建實(shí)戰(zhàn):從架構(gòu)規(guī)劃到故障排查全指南 搭建OpenStack云平臺(tái)這事聽著像是只有大廠運(yùn)維才碰的東西實(shí)際上我身邊不少做虛擬化、做K8s底層支撐的同行都在自己折騰這套。原因也很簡(jiǎn)單公有云雖然省事但數(shù)據(jù)面、網(wǎng)絡(luò)面、計(jì)費(fèi)面都捏在別人手里想要完全可控的私有云OpenStack幾乎是目前唯一一個(gè)既有社區(qū)活躍度、又有生產(chǎn)驗(yàn)證的開源選擇。這篇文章把我從規(guī)劃、部署到排錯(cuò)全流程的經(jīng)驗(yàn)拆開寫出來。不繞彎子先從最關(guān)鍵的架構(gòu)決策講起再一步步給你能直接抄作業(yè)的命令和配置最后把我踩過的坑、排查過的故障一并交代清楚。無(wú)論你是剛接觸OpenStack的新手還是被分配了搭建任務(wù)的運(yùn)維開發(fā)這套流程應(yīng)該都能幫你少走很多彎路。1. 為什么要自己搭一套OpenStack而不是直接用現(xiàn)成云1.1 私有云的真實(shí)需求先說一個(gè)很多人沒想明白的問題你到底是需要“一朵云”還是只需要“幾臺(tái)虛擬機(jī)”如果是后者裝個(gè)KVM、裝個(gè)Proxmox VE就夠了完全沒必要上OpenStack。OpenStack的價(jià)值在于它把計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)這三塊資源做成了統(tǒng)一的、可調(diào)度的、有租戶隔離的云平臺(tái)。我做過的模擬項(xiàng)目X就是這樣業(yè)務(wù)方要求為內(nèi)部多個(gè)團(tuán)隊(duì)提供按需申請(qǐng)的計(jì)算資源每個(gè)團(tuán)隊(duì)要有獨(dú)立的網(wǎng)絡(luò)隔離、獨(dú)立的賬號(hào)權(quán)限、獨(dú)立的鏡像管理還要能通過自助界面申請(qǐng)資源。這種需求用單機(jī)虛擬化根本撐不起來必須有一個(gè)帶認(rèn)證、帶配額、帶網(wǎng)絡(luò)的云管平臺(tái)。OpenStack恰好就是解決這一類問題的。當(dāng)然選擇OpenStack也意味著接受它的復(fù)雜度。組件多、服務(wù)多、概念多任何一個(gè)環(huán)節(jié)配錯(cuò)都可能導(dǎo)致整個(gè)系統(tǒng)不可用。這也是為什么我建議第一次搭建時(shí)不要追求生產(chǎn)級(jí)的高可用先把核心組件跑通理解了服務(wù)之間的依賴關(guān)系再考慮擴(kuò)展。1.2 裸機(jī)虛擬化、K8s和OpenStack的區(qū)別很多剛接觸云計(jì)算的人會(huì)把OpenStack和Kubernetes混為一談其實(shí)兩者的定位完全不同。K8s管的是容器OpenStack管的是虛擬機(jī)也可以管裸機(jī)但那是Ironic組件的事。K8s的調(diào)度對(duì)象是PodOpenStack的調(diào)度對(duì)象是實(shí)例。K8s本身不關(guān)心底層的計(jì)算資源是怎么來的而OpenStack正好負(fù)責(zé)把計(jì)算資源池化、虛擬化、網(wǎng)絡(luò)化。實(shí)際生產(chǎn)環(huán)境里完全可以用OpenStack作為IaaS層在它上面再部署K8s集群這樣K8s的節(jié)點(diǎn)可以按需擴(kuò)容底層資源由OpenStack統(tǒng)一調(diào)度。我見過一個(gè)挺典型的場(chǎng)景某公司原本直接用物理機(jī)部署K8s擴(kuò)容一次要采購(gòu)硬件、人工裝機(jī)、配置網(wǎng)絡(luò)周期動(dòng)輒兩周。后來改成OpenStack提供虛擬機(jī)作為K8s節(jié)點(diǎn)擴(kuò)容時(shí)間縮短到分鐘級(jí)而且節(jié)點(diǎn)規(guī)格可以通過flavor靈活調(diào)整資源利用率明顯提升。1.3 先想清楚這幾件事再動(dòng)手動(dòng)手之前有幾個(gè)問題必須先有答案否則搭建過程中很容易反復(fù)返工。第一網(wǎng)絡(luò)方案。Neutron支持Flat、VLAN、VXLAN等多種模式選擇哪種直接影響物理交換機(jī)的配置、IP地址規(guī)劃、租戶網(wǎng)絡(luò)的隔離方式。我建議第一次搭建用VLAN模式兼容性好排查問題也比VXLAN簡(jiǎn)單。第二存儲(chǔ)方案。如果只是測(cè)試環(huán)境用本地磁盤加LVM就夠了不需要單獨(dú)部署Cinder。如果涉及塊存儲(chǔ)服務(wù)就要考慮后端存儲(chǔ)怎么接是Ceph還是NFS還是其他商業(yè)存儲(chǔ)這會(huì)顯著影響架構(gòu)復(fù)雜度。第三版本和部署工具。OpenStack每半年左右發(fā)一個(gè)版本社區(qū)推薦的部署工具也在變化選型時(shí)需要確認(rèn)是手動(dòng)部署還是自動(dòng)化部署這決定了后續(xù)的工程量和維護(hù)成本。2. 環(huán)境規(guī)劃與版本選型決定后續(xù)是否踩坑2.1 節(jié)點(diǎn)規(guī)劃與硬件建議一套最精簡(jiǎn)的OpenStack環(huán)境至少需要兩個(gè)節(jié)點(diǎn)一個(gè)控制節(jié)點(diǎn)一個(gè)計(jì)算節(jié)點(diǎn)。控制節(jié)點(diǎn)承載認(rèn)證、鏡像、調(diào)度、網(wǎng)絡(luò)管理等服務(wù)計(jì)算節(jié)點(diǎn)負(fù)責(zé)運(yùn)行虛擬機(jī)實(shí)例。實(shí)際搭建時(shí)我給模擬項(xiàng)目X分配的節(jié)點(diǎn)方案如下節(jié)點(diǎn)角色服務(wù)組件最低配置建議備注控制節(jié)點(diǎn)Keystone、Glance、Placement、Nova API、Neutron Server、Horizon4核CPU / 8GB內(nèi)存 / 100GB硬盤建議系統(tǒng)盤與數(shù)據(jù)盤分開計(jì)算節(jié)點(diǎn)Nova Compute、Neutron Agent、KVM/QEMU8核CPU / 16GB內(nèi)存 / 200GB硬盤根據(jù)業(yè)務(wù)量彈性調(diào)整可選存儲(chǔ)節(jié)點(diǎn)Cinder、Ceph按容量規(guī)劃測(cè)試環(huán)境可省略如果你只有一臺(tái)物理服務(wù)器也可以把控制節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)放在同一臺(tái)機(jī)器上但這種單節(jié)點(diǎn)模式只適合學(xué)習(xí)驗(yàn)證不適合運(yùn)行真實(shí)業(yè)務(wù)。2.2 網(wǎng)絡(luò)方案怎么選網(wǎng)絡(luò)是OpenStack里最復(fù)雜也最容易出問題的部分。我把常見三種模式的特點(diǎn)整理成了一張表網(wǎng)絡(luò)模式隔離方式優(yōu)點(diǎn)缺點(diǎn)Flat不隔離配置最簡(jiǎn)單只能用于測(cè)試VLAN802.1Q虛擬局域網(wǎng)兼容性好、性能穩(wěn)定依賴物理交換機(jī)配置VXLANOverlay隧道大規(guī)模擴(kuò)展性好故障排查難度較大我個(gè)人的建議是第一次搭建用VLAN模式將物理網(wǎng)卡劃分出管理網(wǎng)、數(shù)據(jù)網(wǎng)和外部網(wǎng)。管理網(wǎng)用于服務(wù)之間的通信數(shù)據(jù)網(wǎng)承載虛擬機(jī)流量外部網(wǎng)用于訪問云主機(jī)。三個(gè)網(wǎng)絡(luò)盡量用不同網(wǎng)段和不同物理網(wǎng)卡避免流量互相干擾。2.3 版本和部署工具的選型邏輯OpenStack的版本代號(hào)從字母A到Z按字母表命名每個(gè)字母對(duì)應(yīng)一個(gè)版本。我搭建時(shí)用的是Yoga版本算是比較穩(wěn)定可靠的一個(gè)版本不同發(fā)行版自帶的OpenStack包版本不同需要先確認(rèn)發(fā)行版軟件源里提供的版本。部署工具方面有幾種選擇一是純手動(dòng)部署按照官方文檔逐個(gè)安裝配置服務(wù)。這種方式最能幫助你理解各個(gè)組件的原理但工作量大容易出錯(cuò)適合學(xué)習(xí)場(chǎng)景。二是使用RDO或PackStack這是基于某個(gè)Linux發(fā)行版的OpenStack部署工具可以用一條命令搭建基礎(chǔ)環(huán)境適合快速驗(yàn)證。三是以Kolla-Ansible為代表的容器化部署方案把OpenStack服務(wù)打包成容器配合Ansible自動(dòng)化編排。這種方式是目前生產(chǎn)環(huán)境的主流選擇升級(jí)回滾方便部署一致性好。我在正式交付給某公司做內(nèi)部培訓(xùn)時(shí)用的就是Kolla-Ansible方案。但如果你希望把OpenStack的內(nèi)部機(jī)制徹底搞懂我建議至少手動(dòng)部署一次核心組件這個(gè)認(rèn)知價(jià)值無(wú)法替代。提示無(wú)論選擇哪種部署方式都建議先在虛擬機(jī)里做一遍完整的演練。不要在物理機(jī)上一上來就跑全程OpenStack部署過程中的各種網(wǎng)絡(luò)配置、依賴沖突、服務(wù)啟動(dòng)失敗在小規(guī)模實(shí)驗(yàn)環(huán)境里更容易定位問題。3. 基礎(chǔ)環(huán)境配置系統(tǒng)、網(wǎng)絡(luò)與依賴3.1 操作系統(tǒng)與基礎(chǔ)服務(wù)OpenStack對(duì)操作系統(tǒng)要求不低但核心原則就是使用長(zhǎng)期支持版本避免新版本軟件源不穩(wěn)定。我搭建時(shí)用的是基于Linux內(nèi)核的主流服務(wù)器發(fā)行版LTS版本這類系統(tǒng)社區(qū)支持時(shí)間長(zhǎng)、軟件包齊全、遇到問題容易搜到答案。系統(tǒng)裝好之后第一件事就是配置主機(jī)名和hosts文件。三個(gè)節(jié)點(diǎn)的主機(jī)名我規(guī)劃為controller、compute1在/etc/hosts中把節(jié)點(diǎn)IP和主機(jī)名的對(duì)應(yīng)關(guān)系寫清楚。這一步看似簡(jiǎn)單但很多服務(wù)之間是通過主機(jī)名通信的如果hosts配置錯(cuò)誤后面會(huì)出現(xiàn)各種詭異的認(rèn)證失敗和服務(wù)連接超時(shí)。然后創(chuàng)建一個(gè)專用的系統(tǒng)用戶用于執(zhí)行OpenStack相關(guān)操作。生產(chǎn)實(shí)踐中不建議直接用root操作因?yàn)镺penStack的配置文件、日志文件、虛擬化操作都有獨(dú)立的權(quán)限體系單獨(dú)的用戶便于管理和審計(jì)。3.2 網(wǎng)卡和橋接配置實(shí)操以控制節(jié)點(diǎn)為例通常需要至少兩塊網(wǎng)卡一塊用于管理網(wǎng)絡(luò)一塊用于外部網(wǎng)絡(luò)。在配置網(wǎng)絡(luò)之前先確認(rèn)物理網(wǎng)卡的名稱然后編輯網(wǎng)絡(luò)配置文件。管理網(wǎng)卡的配置比較簡(jiǎn)單設(shè)置靜態(tài)IP即可。外部網(wǎng)卡需要配置為橋接模式因?yàn)樵贠penStack里外部網(wǎng)絡(luò)是通過網(wǎng)橋與物理網(wǎng)絡(luò)連接的。我用一個(gè)例子來說明cat /etc/network/interfaces.d/br-ex.cfgauto br-ex iface br-ex inet static address 192.168.68.20 netmask 255.255.255.0 gateway 192.168.68.1 dns-nameservers 192.168.68.1這段配置的含義是創(chuàng)建一個(gè)名為br-ex的Linux網(wǎng)橋給它配置靜態(tài)IP地址。物理網(wǎng)卡上不配置IP而是把它加入網(wǎng)橋。這樣虛擬機(jī)通過網(wǎng)橋就能訪問外部網(wǎng)絡(luò)配置思路跟家用路由器里的“橋接模式”是一個(gè)道理。配置完成后一定要重啟網(wǎng)絡(luò)服務(wù)并驗(yàn)證連通性我在早期搭建時(shí)經(jīng)常遇到網(wǎng)卡配置沖突導(dǎo)致SSH斷開的問題所以強(qiáng)烈建議在本地控制臺(tái)或帶外管理界面操作網(wǎng)絡(luò)配置避免把自己鎖在外面。3.3 時(shí)鐘同步與軟件源OpenStack的認(rèn)證服務(wù)高度依賴精確時(shí)間時(shí)間偏差超過幾分鐘就可能導(dǎo)致令牌校驗(yàn)失敗。NTP是必須配置的控制節(jié)點(diǎn)同步外部時(shí)間源計(jì)算節(jié)點(diǎn)同步控制節(jié)點(diǎn)。chronyc sources -v配置完成后用這條命令檢查時(shí)間同步狀態(tài)。如果輸出顯示時(shí)間源處于活躍狀態(tài)說明同步正常如果顯示^*或*符號(hào)說明已鎖定到時(shí)間源。軟件源也建議提前配置因?yàn)镺penStack組件依賴大量其他軟件包默認(rèn)軟件源下載速度慢或者缺少必要包會(huì)導(dǎo)致安裝中斷。我記得有一次安裝網(wǎng)絡(luò)服務(wù)時(shí)因?yàn)橐蕾嚢姹緵_突整整花了一個(gè)下午排查最后發(fā)現(xiàn)是軟件源里的包版本和OpenStack版本不匹配。4. 核心組件部署從認(rèn)證到計(jì)算4.1 先搭認(rèn)證服務(wù)KeystoneKeystone是OpenStack所有服務(wù)的“門衛(wèi)”其他所有組件在調(diào)用API之前都要先經(jīng)過認(rèn)證和權(quán)限校驗(yàn)。所以搭建順序必須是先創(chuàng)建Keystone再創(chuàng)建后續(xù)服務(wù)否則后續(xù)組件創(chuàng)建用戶和端點(diǎn)時(shí)會(huì)失敗。創(chuàng)建Keystone的數(shù)據(jù)庫(kù)、服務(wù)憑證和API端點(diǎn)都需要設(shè)置統(tǒng)一的認(rèn)證信息。我習(xí)慣用一個(gè)環(huán)境變量文件統(tǒng)一管理這些信息每次操作前先加載export OS_PROJECT_DOMAIN_NAMEDefault export OS_USER_DOMAIN_NAMEDefault export OS_PROJECT_NAMEadmin export OS_USERNAMEadmin export OS_PASSWORD你的強(qiáng)密碼 export OS_AUTH_URLhttp://controller:5000 export OS_IDENTITY_API_VERSION3這個(gè)環(huán)境變量文件在實(shí)際操作中非常重要。日志排查時(shí)如果API請(qǐng)求返回401八成就是環(huán)境變量里的密碼或項(xiàng)目名寫錯(cuò)了。我建議把這套環(huán)境變量放在/root/openrc這樣的獨(dú)立文件里每次需要執(zhí)行OpenStack命令就先source一下。4.2 鏡像服務(wù)Glance與鏡像上傳Glance負(fù)責(zé)管理虛擬機(jī)鏡像可以理解成云主機(jī)模板的倉(cāng)庫(kù)。安裝好Glance之后必須上傳一個(gè)至少可用的系統(tǒng)鏡像后續(xù)創(chuàng)建云主機(jī)才有模板可用。挑選鏡像時(shí)我建議用官方提供的云鏡像這類鏡像預(yù)裝了cloud-init工具能夠自動(dòng)完成主機(jī)名配置、SSH密鑰注入、分區(qū)擴(kuò)容等初始化操作。上傳命令openstack image create --disk-format qcow2 --container-format bare \ --public --file ubuntu-server.qcow2 ubuntu-serverqcow2是鏡像格式bare表示容器格式為裸鏡像這兩個(gè)參數(shù)是鏡像服務(wù)要求的必填項(xiàng)。--public參數(shù)表示所有項(xiàng)目都能使用這個(gè)鏡像如果不想讓租戶看到可以改成--private。上傳完成后用openstack image list確認(rèn)鏡像狀態(tài)是active。我遇到過一次鏡像狀態(tài)一直卡在queued的情況后來發(fā)現(xiàn)是控制節(jié)點(diǎn)磁盤空間不足Glance無(wú)法把鏡像文件完整寫入存儲(chǔ)目錄。4.3 計(jì)算服務(wù)Nova的控制與計(jì)算節(jié)點(diǎn)Nova是OpenStack的計(jì)算核心分為控制節(jié)點(diǎn)的Nova API、調(diào)度器和計(jì)算節(jié)點(diǎn)上的Nova Compute。控制節(jié)點(diǎn)負(fù)責(zé)接收創(chuàng)建虛擬機(jī)的請(qǐng)求計(jì)算節(jié)點(diǎn)負(fù)責(zé)真正通過KVM或QEMU啟動(dòng)虛擬機(jī)。配置Nova之前必須先注冊(cè)Placement服務(wù)這是負(fù)責(zé)資源跟蹤的組件。Placement的作用相當(dāng)于一個(gè)資源臺(tái)賬記錄每個(gè)計(jì)算節(jié)點(diǎn)剩余多少CPU、多少內(nèi)存Nova調(diào)度器在收到創(chuàng)建請(qǐng)求后會(huì)根據(jù)Placement提供的數(shù)據(jù)決定把VM調(diào)度到哪臺(tái)物理機(jī)上。我第一次部署時(shí)漏掉了Placement導(dǎo)致虛擬機(jī)創(chuàng)建一直報(bào)“No valid host was found”日志里全是調(diào)度失敗的報(bào)錯(cuò)。后來把Placement的數(shù)據(jù)庫(kù)和服務(wù)注冊(cè)補(bǔ)齊問題馬上解決了。4.4 網(wǎng)絡(luò)服務(wù)Neutron的配置要點(diǎn)Neutron配置是整個(gè)部署過程中最講究的部分因?yàn)樗婕昂芏嗑W(wǎng)絡(luò)概念網(wǎng)絡(luò)、子網(wǎng)、路由、端口、安全組、DHCP代理、Open vSwitch網(wǎng)橋等。配置時(shí)有兩個(gè)點(diǎn)最容易被忽略。第一Neutron的認(rèn)證配置必須和Keystone保持一致。很多人在配置Neutron時(shí)只改了數(shù)據(jù)庫(kù)連接、改了口令卻漏了認(rèn)證類型和API版本結(jié)果Neutron服務(wù)啟動(dòng)后無(wú)法和Keystone正常通信所有網(wǎng)絡(luò)創(chuàng)建請(qǐng)求都返回認(rèn)證失敗。第二DHCP代理和L3代理要確保在正確節(jié)點(diǎn)上啟動(dòng)。控制節(jié)點(diǎn)上需要啟動(dòng)neutron-dhcp-agent為租戶網(wǎng)絡(luò)分配IP地址啟動(dòng)neutron-l3-agent管理虛擬路由器的NAT和南北向流量。這兩個(gè)代理服務(wù)如果沒起來創(chuàng)建網(wǎng)絡(luò)不會(huì)報(bào)錯(cuò)但創(chuàng)建出來的虛擬機(jī)獲取不到IP地址這是非常常見的問題。我習(xí)慣在配置完成后用如下命令檢查代理狀態(tài)openstack network agent list輸出中每個(gè)代理的狀態(tài)都應(yīng)為Alive。如果出現(xiàn)xxx not running的字段就需要回到對(duì)應(yīng)節(jié)點(diǎn)查看服務(wù)日志。5. 驗(yàn)證與第一臺(tái)云主機(jī)的誕生5.1 命令行驗(yàn)證所有服務(wù)核心組件全部裝完之后先不要急著在界面上操作用命令行把所有服務(wù)狀態(tài)過一遍。我總結(jié)了一套快速驗(yàn)證流程openstack service list openstack endpoint list openstack image list openstack compute service list openstack network agent list這幾條命令分別驗(yàn)證服務(wù)目錄、API端點(diǎn)、鏡像狀態(tài)、計(jì)算節(jié)點(diǎn)的服務(wù)狀態(tài)、網(wǎng)絡(luò)代理狀態(tài)。如果有任何一項(xiàng)輸出異常都應(yīng)該先排查清楚再繼續(xù)否則后續(xù)創(chuàng)建云主機(jī)時(shí)會(huì)把問題復(fù)雜化。5.2 創(chuàng)建網(wǎng)絡(luò)、路由與云主機(jī)現(xiàn)在到了最激動(dòng)人心的環(huán)節(jié)——?jiǎng)?chuàng)建第一臺(tái)云主機(jī)。先創(chuàng)建租戶網(wǎng)絡(luò)。假如規(guī)劃用一個(gè)192.168.100.0/24網(wǎng)段給云主機(jī)分配地址openstack network create demo-net openstack subnet create demo-subnet \ --network demo-net \ --subnet-range 192.168.100.0/24 \ --dhcp為了訪問外部網(wǎng)絡(luò)還需要?jiǎng)?chuàng)建路由連接外部網(wǎng)絡(luò)。這一步相當(dāng)于給云主機(jī)加了一個(gè)默認(rèn)網(wǎng)關(guān)沒有路由的話云主機(jī)只能在租戶網(wǎng)絡(luò)內(nèi)部互通無(wú)法訪問外部。創(chuàng)建云主機(jī)的命令openstack server create --flavor m1.small --image ubuntu-server \ --network demo-net --key-name mykey my-first-instance其中m1.small是定義好的規(guī)格模板包含虛擬機(jī)的CPU、內(nèi)存、磁盤大小需要提前用openstack flavor create創(chuàng)建。--key-name指定SSH密鑰如果沒有配置密鑰創(chuàng)建后只能通過VNC控制臺(tái)或密碼登錄這在自動(dòng)化和后續(xù)運(yùn)維中不太方便。創(chuàng)建完成后用openstack server list查看狀態(tài)當(dāng)狀態(tài)變?yōu)锳CTIVE說明云主機(jī)已經(jīng)成功啟動(dòng)。5.3 通過Horizon可視化操作命令行之外OpenStack還提供了Horizon儀表盤。雖然不是核心組件但裝上它對(duì)日常使用和排錯(cuò)都很有幫助。Horizon裝好之后用瀏覽器訪問控制節(jié)點(diǎn)的IP地址輸入之前創(chuàng)建的賬號(hào)密碼就能在圖形界面里創(chuàng)建實(shí)例、管理網(wǎng)絡(luò)、查看控制臺(tái)日志、調(diào)整安全組規(guī)則。我個(gè)人認(rèn)為Horizon更適合給業(yè)務(wù)方當(dāng)自助門戶而運(yùn)維排障時(shí)還是命令行更快更直接。業(yè)務(wù)方不需要懂OpenStack概念只需要在界面上點(diǎn)擊申請(qǐng)資源運(yùn)維人員則應(yīng)當(dāng)熟練命令行因?yàn)楹芏嗟讓渝e(cuò)誤信息只會(huì)在API日志里出現(xiàn)界面上根本看不到。6. 常見問題與排查實(shí)錄6.1 實(shí)例無(wú)法獲取IP這是我遇到過最多的故障幾乎每次都會(huì)有人來問。云主機(jī)創(chuàng)建成功狀態(tài)是ACTIVE但進(jìn)到系統(tǒng)里發(fā)現(xiàn)網(wǎng)卡沒有IP地址。排查路徑按順序來先看Neutron代理是否存活再看DHCP命名空間是否創(chuàng)建成功然后查看DHCP租約數(shù)據(jù)庫(kù)中是否有IP分配記錄。這三個(gè)環(huán)節(jié)任何一個(gè)中斷都會(huì)導(dǎo)致IP獲取失敗。我做過一次印象很深的排障所有代理都正常DHCP租約也有記錄但虛擬機(jī)就是拿不到IP。后來查了半天發(fā)現(xiàn)是物理節(jié)點(diǎn)iptables規(guī)則把DHCP請(qǐng)求的UDP 67端口攔掉了。解決方式是確認(rèn)OpenStack所需的防火墻端口全部放行同時(shí)檢查宿主機(jī)自身的iptables規(guī)則是否干擾了虛擬機(jī)的DHCP流量。6.2 云主機(jī)創(chuàng)建失敗與日志定位云主機(jī)創(chuàng)建失敗的表現(xiàn)通常有兩種同步等待的時(shí)候狀態(tài)卡住或直接報(bào)錯(cuò)說沒有可用主機(jī)。遇到這類問題我的第一反應(yīng)是看Nova調(diào)度器和計(jì)算節(jié)點(diǎn)的日志因?yàn)閯?chuàng)建VM的主要工作都在這兩個(gè)節(jié)點(diǎn)上。日志路徑是/var/log/nova/重點(diǎn)看nova-compute.log和nova-scheduler.log。我整理過一份常見問題速查表故障現(xiàn)象可能原因排查命令/日志實(shí)例狀態(tài)一直BUILD鏡像格式錯(cuò)誤或磁盤空間不足查看nova-compute.log報(bào)No valid hostPlacement資源數(shù)據(jù)不準(zhǔn)確檢查Placement服務(wù)狀態(tài)連不上VNC控制臺(tái)控制臺(tái)代理地址配置錯(cuò)誤查看nova.conf中vnc配置實(shí)例訪問外部超時(shí)路由或安全組規(guī)則問題openstack路由列表、安全組規(guī)則定位問題時(shí)不要只看表面報(bào)錯(cuò)要順著日志里的時(shí)間戳和請(qǐng)求ID一層層往上翻。Nova組件之間的調(diào)用都有請(qǐng)求ID根據(jù)這個(gè)ID可以在各個(gè)服務(wù)日志中串聯(lián)出一條完整的調(diào)用鏈。6.3 服務(wù)狀態(tài)異常的排查路徑當(dāng)某個(gè)服務(wù)啟動(dòng)失敗或狀態(tài)異常時(shí)我有一套固定的排查順序第一步確認(rèn)服務(wù)進(jìn)程是否存在systemctl status查看。第二步查看對(duì)應(yīng)的日志文件通常位于/var/log/對(duì)應(yīng)服務(wù)目錄下。第三步檢查配置文件的語(yǔ)法和權(quán)限很多服務(wù)配置錯(cuò)誤只是啟動(dòng)時(shí)報(bào)錯(cuò)但日志寫的比較模糊需要手動(dòng)核對(duì)配置文件。還有一個(gè)經(jīng)常被忽略的細(xì)節(jié)OpenStack各服務(wù)運(yùn)行的用戶和用戶組不同如果日志目錄權(quán)限不對(duì)服務(wù)啟動(dòng)時(shí)寫日志就會(huì)失敗導(dǎo)致服務(wù)重啟后一直處于異常狀態(tài)。我在某次部署中遇到過Neutron服務(wù)反復(fù)重啟查了一圈最后發(fā)現(xiàn)是日志目錄屬主不對(duì)調(diào)整權(quán)限后服務(wù)立刻恢復(fù)了。注意生產(chǎn)環(huán)境中重啟某個(gè)服務(wù)前務(wù)必確認(rèn)是否影響正在運(yùn)行的業(yè)務(wù)。例如重啟計(jì)算節(jié)點(diǎn)上的nova-compute服務(wù)會(huì)中斷該節(jié)點(diǎn)上所有運(yùn)行中的虛擬機(jī)。在測(cè)試環(huán)境隨便重啟沒什么關(guān)系但生產(chǎn)環(huán)境一定要先規(guī)劃好維護(hù)窗口。7. 寫在最后的運(yùn)維心得OpenStack這套東西部署只是萬(wàn)里長(zhǎng)征第一步。真正拉開差距的是后續(xù)的監(jiān)控、告警、備份、升級(jí)、故障恢復(fù)這些運(yùn)維能力。我后來在給某公司做內(nèi)部支持時(shí)最深的體會(huì)是部署文檔到處都是但“如何優(yōu)雅地運(yùn)維”才是真正有門檻的部分。我現(xiàn)在只要搭完一套環(huán)境會(huì)立刻把所有的配置分區(qū)、服務(wù)節(jié)點(diǎn)、賬號(hào)信息、網(wǎng)絡(luò)規(guī)劃整理成一份清單放在團(tuán)隊(duì)統(tǒng)一的知識(shí)庫(kù)里。這份清單在故障排查和人員交接時(shí)的價(jià)值比任何部署文檔都大。另外強(qiáng)烈建議把OpenStack各服務(wù)的配置目錄納入版本管理哪怕只有兩個(gè)人協(xié)作也能避免“我改了配置文件但忘了改了什么”這種尷尬局面。如果你正準(zhǔn)備開始搭建自己的OpenStack云平臺(tái)就從最精簡(jiǎn)的兩節(jié)點(diǎn)架構(gòu)開始先跑通再談優(yōu)化。等你的環(huán)境里有了監(jiān)控、有了備份、有了灰度升級(jí)的流程再回頭看第一天的搭建過程會(huì)發(fā)現(xiàn)很多當(dāng)初覺得莫名的坑其實(shí)都是架構(gòu)規(guī)劃時(shí)埋下的雷。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月激情在线| se婷97| 婷婷六月色开| 夜夜干天天操| 五月天黄色激情小说| 色波激情五月天| 久久五月婷婷丁香| 任你干嘛免费视频播放| 97婷婷五月丁香| 久久久久久久人妻| 五月天色不卡| 亚洲情欲| 美女va| 狼人婷婷久久| 欧美色激情四射| 亚洲精品色| 天天干,夜夜爽| 激情美女五月天激情在线| 99er这里只有精品视频| 欧美日朝成人| 大香蕉伊在| 99热综合在线观看| 人人色人人弄人人操| 婷婷综合视频| 六月 丁香 视频| 丁香六月婷婷色播| 色久综合| 日本狠狠色| 五月宗合激情网| 国产六月婷婷| 都市激情五月婷婷综合| 激情色中文| 爆乳熟妇一区二区三区爆乳| 久久精品系列| 亚洲成人九九九| 狠狠色中色| 久久久天堂国产精品女人| 99精品无码| 久久久WWW| 色播五月网| 欧美成人精品一区二区| 天天色综合网1| 色婷五月丁香久亚洲| 青青草a在线| www.丁香五月| 久久这里精彩免费在线观看| 五月天狠狠网站| 大香蕉五月婷婷| 久久9RE热视频精品98| 超碰妻人人| 久久99热网| 婷婷激情五月| 免费无码毛片一区二区A片| www.五月天| 五月天激情四射| 亚洲天堂色色| 久9久成人精品视频| 人人干人人操人人摸| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | 色色色综合网| 无码少妇高潮喷水A片免费| 久热这里只有| 99久久9| 五月天婷婷小说| 色情综合网| 综合久久97| 久久狠狠干| 五月丁香久久| 國語久久婷| 婷婷丁香九月| 日日.c| 99热6精品| 草草视频91| 日韩成人综合网| 久久作爱| 四色五月婷婷| 操一区| www.99在线| 激情综合婷婷| 夜精品无码A片一区二区蜜桃| 激情五月综合| 婷婷色情 | 99视频| 超碰在线日夜| 在线色婷婷| www.99操| 日韩精品一品二区三区的使用体验| 中文字幕婷婷在线| 五月丁香激情怕怕| 伊人干综合| 日韩啪啪网| 久久99免费视屏| 婷婷偷拍网| 丁香五月 综合| yazhou seshipin| 伊人成人宗合网| 天天爱天天做天天爽| 欧美性爱5月天天天看| 五月婷在线视频免费播放| 亚洲色 视频| 五月丁查人人| 影视av久久久噜噜噜噜噜三级| 人人操插| 91精品综合久久久久久五月丁香| 夜夜撸日日操| 乱岳熟女50岁| 亚洲日比视频| 久久久欧美精品sm网站| 另类小说五月天| 丁香蜜臀黄色婷婷五月天| 成年AAAA色情| 色综合综合网| 欧美性爱一区| 国产精品美女| 色无婷婷| 影音先锋天天日| 91丨九色丨熟女| 日韩成人网址| 五月婷婷网久久| 这里只有精品在线免费视频| 开心深爱激情网| 久久综合婷婷五月| www久| 国产精品18久久久| 丁香综合久久| 久久98| 六月丁香啪| 六月婷婷影院| 99热这里都是精品| 五月色婷婷综合| 欧美日韩欧美| 丁香色五月AV在线| 五月天亚洲图片婷婷| 九九热这里精品| 五月丁六月婷| 99亚洲视频| 日韩一级片| 丁香六月激情| 99九九免费精品| 人人操人人干AV| 亭亭五月丁香综合欧美| 婷婷丁香色五月久久88| AV在线资源| 99热在线观看| 一起草aV| 九九蜜臀精品| 99视频只有这里精品| 偷偷操99| 99国产精品久久久久久久久久久 | 色色色色色五月| 五月婷婷深深爱| 欧美激情 日韩无码 婷婷 五月天| 欧美va视频不用播放器的va视频网| 婷婷丁香五月噜噜噜| 色五月激情五月开心五月| 色婷婷狠狠| 大地资源色婷婷视频在线| 久久婷婷青青| 九月丁香亭亭| 久久久精久人妻| 思思热在线视频精品| 亚洲婷婷免费| 日韩人人操| 激情99| 色婷婷国色天香综合| 天天草比天天爽| 97资源碰碰| 无码激情AAAAA片-区区| 欧美日韩成人在线网站| 一本道综合网| 97亚洲婷婷| 色五月婷婷久久| 97操碰在线97| 九九这里只有精品在线视频| 99热这里只有精品最新| 开心激情综合| www.色情五月天.com| 色情婷婷| www天天色天天射| 丁香六月五月天| 日逼影音先锋男人资源站| 亚韩在线视频| 五月丁香花激情综合网| 婷婷九月丁香| 日韩久久日| 久久婷婷亚洲| 久久思思精品| 六月丁香啪啪啪| 欧美日本不卡黄色片| 99日本黄站| 婷婷五月激情欧美大胆视频| 9久视频| 久久久国产精品黄毛片| 91无码视频| 久久这里有精品99| 熟女激情五月天| 日韩一级淫乱片一区二区三区| 人人97碰| 99热这里只有精品最新| 成人电影一区| 久久人妻视频| 五月天丁香久久| www.日韩艹| 欧美天堂久久| 啪啪啪丁香五月| 五月天激情小说| 婷婷色五月综合| 大香蕉婷婷丁香天堂AV| 亚洲AV无码电影| 国产婷婷色五月| 国产婷婷五月色情综合| 日本欧美成人片AAAA| 激情图片久久| 成人精品99| 丁香五月天堂网| 97国产精品女人碰碰| 天天操夜夜爽天天操| 五月天开心激情综合网| www。久久久久一b。Cc| 亚洲性受XXXX五月丁香| 99久久久久久www| www.婷婷| 91热爆在线| 婷婷干五月综合在线播放| 99色综合| 欧美色99| 六月婷婷中文字幕| 波多野结衣不卡AV| 色网站99| 五月天激情小说| 婷婷国产五月天17c| 久久国产性爱A V| 婷婷五月激情的图片| 久久婷婷六月综合国际| 婷婷五月激情六月丁香 | 亚洲小视频免费观看| 色婷婷电影网| 色五月综合网站| 五月丁香激情综合啪| 99噜噜| 97久久精品视频| 色色综合成人网| 99精品视频在线观看| 丁香六月丁香婷婷激情| 天天日狠狠| 97操碰视频| 91综合网| 六月婷婷亚洲| 欧美日韩中文国产一区发布| 99精品热视频只有精品10| 日日干日日| 欧美一级a| 3pAV| 五月色丁香| 任你擦免费视频| 可以免费看AV网站| 欧美成人猛片AAAAAAA| 丁香5月激情网| 婷婷少妇激情| 丁香五月大香蕉AV| 婷婷五月天激情文学| 天天日天天久久青青| 五月天婷婷六月激情网| av九九| 九九十99视频| 操骚货在线| 有码一区二区三区| 丁香婷婷六月在线资源观看| 丁香性爱在线视频| 精品无码人妻一区| 91操操| 久久女婷| 99人妻碰碰碰久久久久禁片| 91疯狂操操操操| 深爱激情丁香五月| 婷婷五月激情基地| 欧美亚洲操逼| 99精彩视频网站在线| 国产五月丁香在线| 五月丁香婷婷综合网| 毛片新网地| 免费视频99| 超碰国产一区| 欧美综合激情五月天| 色伦专区97中文字幕| 激情婷婷内射| 婷婷五月成人| 久久6这里只有精品| 丁香色五月天| 丁香五月婷婷久久综合激情网| 婷婷五月天久久| 97色色综合| 久久婷婷视频| 国产婷婷综合| 97色女人在线| 亚欧州精品视频| AA丁香综合激情| 大香人妻| 5月丁香婷婷激情网| 99ri6在线视频| 97好吊操| 99视频啪啪| 色婷婷色人人射| 色狠狠色综合久久久绯色aⅴ影视| 狠狠擼综合| 嫩草AV久久伊人妇女超级A| 久久色五月| 婷婷五月天激情文学| 日本97在线视频| 婷婷婷久久久| 超碰免费人妻| 色五月婷婷久久| 九九热黄色| 婷婷综合网| www.激情| 99热免费| 天天做天天爱天天爽在| 4399无码视频| 色综合综合网| 色婷婷综合在线| 夜丁香综合| 五月天激情日色在线| 丁香婷婷成人网| 六月婷婷AV| 激情五月丁香亭亭| 日本一毛片| 久久人人九九| 99久热在线精品| www.夜夜操.com| 天天天久久久| 色婷婷成人做爰A片免费看网站| 五月婷婷这里都是精品| 天天干在线播放| 五月婷导航| 丁香五月天亚洲综合| 99久久极情精品一区| 九色在线观看91av| 丁香九月久久| 美女五月激情| 91|疯狂丨高潮丨对白| 中文字幕 久久9999| ..真实国产乱子伦毛片| 丁香五月婷婷综合网| 久久33视频| 五月丁香五月综合欧美| www.五月婷婷久久.com| 久热九九| 亚洲男人的天堂婷婷色五月| 日韩三级视频一区二区| 99久精品视频| 婷婷色婷婷亚洲成人| 337p大胆噜噜噜噜噜91Av| 天天在线久久综合 | 激情网色五月| 九九色播五月丁香| 婷婷五月播| 99热这里只有精品9| 99热久久最新地址| 综久久久| 久久多色| 99 频99热国里只有精品| 激情五月丁香五月色| 一本综合丁香日日狠狠色| 婷婷色狠狠| 五月丁香成人小说| 色五月大香蕉| 亚洲最大成人综合网720P| 开心五月深爱激情| 97欧美在线| 欧美熟女99| 欧美日本综合网| 日本啪啪视频HD| 99精品大片| 中文字幕综合| 婷婷性爱| 久久精品亚洲一级牲爱综合| 大香蕉狼人久久| 久热这里只有精品99re| 丁香五月婷婷激情视频播放| 精品综合爱| 九九aV| 五月天 综合 在线| 成片免费观看大全| 操人无码| 亚洲色婷婷网站| 九九99九九精品视频| 日韩色五月| 六月激情婷婷色| 丁香五月婷婷色综合| 五月婷婷婷丁香播| 婷婷五月天丁香花| 亚洲激情四谢| www.99热在线观看| 人色五月天婷婷| 九九久久色| 九九热re99re6在线精品| 九九人妻福利| 天堂网亚洲色图| AV在线免费播放| 婷婷五月天激情偷拍| 拍色综合| 色情综合网| 日日噜狠狠色综合久久| 色婷婷综合亚洲| 色99视频| 亚洲男女激情| 丁香婷婷五月天网站| 西西4r午夜剧场| 日本婷久久| 婷婷色五月亚洲| 91久久国产综合久久| 人人爱国产| 欧洲高清免费久久| 色婷婷av在线| 亚洲综合五月天婷婷| 夜色综合网| 青青热久久综合| 激情av网| 亚洲成人网站在线观看| 色五月婷婷一二| 国产亚洲99| Www.Av网9| 久碰视频| 婷婷久久综合久色| 天天 青草 制服丝袜 在线| 91熟妇大香蕉| 亚洲综合婷婷| 成人va视频| 热久久思思热思思| 综合伊人久久| 欧美顶级少妇做爰HD| 色噜噜狠噜噜视频| 丁香五月婷婷色综合基地| 99久久久久久久| 婷婷五月天基地| 激情小说婷婷| 婷婷亚洲丁香五月| 久99视频在线观看| 色激情网| 免费视频99| 99热免费精品| 国内婷婷丁香社区在线播放| 日本成人综合| 五月天婷婷丁香成人网| 99精品综合| 天天日天天爽夜夜爽| 五月天婷婷六月激情网| 玖玖99精品视频| 91久久婷婷| 久久 天天| 五月天婷婷久色| 久久久久亚洲AV无码网影音先锋| 五月丁香六月激情| 五月婷婷激情网| 天天综合网在线| 狠狠色婷婷丁香六月| 亚洲天堂大香蕉| 99久久国产宗和精品1上映| 99热1| 99成人无码| 狠狠色色| 99久久97久久欧美综合网| 五月婷婷电影院| 五月丁香六月色| 久久久无码精品成人A片小说| 99成人网站| 色婷婷88| 色婷婷影视99| 成人无码髙潮喷水A片| 殴美日比视频| 五月婷婷亚洲| 狠狠操天天日| 热九九精品| 1024你懂的欧美曰韩| 中文幕无线码中文字蜜桃| 色丁香五月天| 天天干夜晚夜操| 精品色色网| 99久视频| 丁香 久久| 99热10在线高清播放| 91碰碰| 中文av网| 五月天激情社区| 丁香六月婷婷久久综合八月| 色婷婷综合综合网| 五月丁香六月停停停| 99爱视频| 激情五月天电影| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 五月天激情亚洲| 丁香婷婷免费| 丁香丁婷五月激情| 人人妻人人澡| 日韩色色一区| 婷婷六月成人| 五月天色色无码| 婷色五月| 综合五月婷婷| 综合色图区| 91se在线观看| 日日操夜夜爽| 色婷婷综合视频| 思思热久久婷婷五月天| www.日韩艹| 五月丁香久久综合| 日韩色色小视频| 婷婷丁香五月麻豆| 五月色色网| 国产无人区大片| se色综合网| 奇米色大香蕉| 99在线看视频| 夜色热久| 五月天婷婷偷拍| 欧美成人猛片AAAAAAA| 天天色粽合合合合合合合| 丁香五月欧美| 五月丁香色婷婷| 九九AV| 丁香色色色| 五月婷婷偷拍| 日韩 中文 欧美| 色爱综合网| 欧美va在线观看| 激情五月天婷婷丁香 | 天天插天天插天天插天天插 | 91chinese在线| 青青草tp| 婷婷激情综合网| www.色五月.com| 久久久宗合| 久久婷婷五月综合激情国产| 97色色婷婷五月天| 99热最新精品| 亚洲成人一区| 大香蕉九九| 三级黄网站| 久99| 色八月婷婷| 久久网站免费亚洲| 香蕉婷婷色五月| 色八月婷婷| 五月婷婷激情四季| 激情开心五月婷婷| 情情五月天色| 色五月色综合| 婷婷激情六月天视频| 17.c黄色| 色婷婷成人| 色婷婷亚洲五月天| 狠狠色大香蕉| 色婷婷免费观看| 色啪影院| 日本丁香五月| 大地9中文在线观看免费高清| 99国产精品久久久久久久久久久| 亚洲精品无AMM毛片| 五月丁香婷婷成人网| 色综色网| 五月婷婷之综合激情在线| 狠狠色狠狠色综合日日91| 中文在线视频久9| 99视频91| 久久婷婷五月综合伊人| 97色婷| 激情综合婷婷五月| 久久综合伊人综合在线| 丁香五月中文字幕久色| 深爱激情丁香| www.91在线观看| 色色色色色色色色五月先| 激情欧美五月丁香| 99热免费| 五月天福利影院导航| 爱iii做iiii日日| 99色免费| 亚洲av成人在线| 五月天激情综合网俺也去| 涩综合在线 | www.婷婷网| 日韩av大全| 婷婷五亚洲| 亚洲激情五月天| 99热在线观看精品| 五月天综合| 99ER热精品视频| 日韩欧美成人网| 69精品人妻不卡视频| 丁香六月狠狠干| 天天狠狠婷婷在线| 这里只有精品视频看看| 丁香五月婷婷在线观看| 五月天丁香婷| 婷婷激情五月| 日本eVa一区=区视频| 超碰在线94| 国产ava| 狠狠色婷婷在线| 激情影院免费视频婷婷五月天| 狠狠色噜噜狠狠| 成人永久免费视频在线观看| 婷婷五月激情图片| 天堂婷婷综合| 日韩无码人妻一区二区| 日本99久久| 五月丁香直播| 真实亲子乱子伦高清在线观看| 日韩在线9| 99精品免费| 天天草女人| 久久大香免费| 激情综合网五月在线播放| 狠狠狠狠狠狠草| 婷婷激情社区| 色色色五月婷婷| 久久精品99国产精品日本 | 超碰在线成人| 丁香五月天无码| 色婷婷五月天偷拍| 日日杆天天| 97超碰免费超级在线观看| 无码一级片| 丁香五月天激情| 99久久成人| 日本五月天网站| 天天色视频| 五月天丁香婷婷视频网址| 婷婷五月天精品| 久久婷婷五月国产色综合激情| 综合六月激情婷婷| 国产免费一区二区三州老师F1F1| 欧美经典片免费观看大全| 1769在线观看欧美国产| 99热欧美| 99热只有这里才是精品| 色九月婷婷综合| 欧美电影在线观看| 色玖玖综合| 久久婷婷丁香五月一二三| 婷婷五月天激情综合深爱激情| 99精品热视频| 激情AV网| 97色天堂| 初夜av| 无码动漫av| 婷婷导航| 九九99男女视频在线观看| 激情婷婷五月亚洲| 丰满熟女人妻一区二区三| 婷婷丁香人妻天天爽| 精品久9| 夜夜 操无码| 9999色色色色| 九九综合伊人| 五月天社区婷婷| 欧美色色色色色色色| 伊人婷婷五月| 男人天堂99| 日本无码专区| 久久东京热婷婷五月| 激情婷婷五月色| 久久综合五月天| 五月激情四射网站| 狠狠综合网| 天天摸天天日天天舔| 天天爽人人综合免费7799| 五月婷婷很很色| 91婷婷丁香| 五月丁香基地| 五月天精品| 激情婷婷视频在线| 色五月在线| 丁香婷婷色色| 亚洲综合五月天婷婷| 91精品国产91久久久久青草| 国产精品热搜丁香五月婷婷| 婷婷亚洲综合| 成人在线网站| 丁香五月天精品| 九月婷婷久久久| 久久99草五月婷婷| 夜夜骑日日操| 久久综合影院| 第九色区AV在线| 99色在线视频观看| 色婷婷六月| 乱精品一区字幕二区| 超碰在线人人| 人妻无码精品一区| 国产成人精品123区免费视频| xxxx久| 久久婷婷五月综合色丁香| 久久九九色| 99色日本| 人人操人人爱丁香五月| 99久久99久久综合| 色色激情五月| 桔色成人在线| .精品久久久麻豆国产精品| 综合AV在线| 99热这里只有精品16| 丰满女老板BD高清A片| 九色自拍| www色五月| 国产性爱在线| 婷婷6月综合网| 成人免费高清在线播放| 百度一下国产精品A| 免费的日逼视频| 久久 婷婷 五月天| 欧美激情 日韩无码 婷婷 五月天| 激情五月婷婷网在线观看| 五月婷精品| 五月婷婷色色网址| 国产精品蜜臀99| 91丨九色丨43老版熟女| 国产精典视频在线观看| 婷婷五月天堂| 91丨九色丨首页| 亚洲精品乱码久久久久99| 丁香九月婷婷综合| 亚洲热久| 丁香六月婷婷综合在线| 免费观看全黄做爰的视频| 丁香五月天AV在线| 丁香五月网址| 熟美女麻豆| 丁香婷在线| 国产3p露脸普通话对白| 99综合色色色| 91婷婷丁香| 玖玖精品婷婷| 色婷婷成人五月| 婷婷伊人五月天| 欧美日韩大黄| 深爱五月激情五月| 激情另类综合| 99操无码视频观看| 久久精品99久久久久久久久| 天天摸人人摸| 日韩艹比| 婷婷五月天日逼| 99热在线观看免费精品| 超碰激情网| 久久精品系列| 99热全是精品| 激情五月,激情综合网| 色婷婷伊人激情在线观看| 天天日人人| 日本久久天堂| 久久婷婷五月综合97色一本| 色色五月丁香| 五月婷婷啪啪网| 午夜婷婷久久 | 色欲久久99精品久久久久久| 操逼在线视频| 国产偷人爽久久久久久老妇APP| 熟女激情网| 色欧洲| 欧美日韩99| 在线中文av| 性生活视频98791| 婷婷的色色五月天| 五月丁香久久丝袜啪啪| 5月婷婷激情在线| 精品操逼一区二区| 婷婷五月18永久免费视频| 久cao香蕉影院| 天天干天天 亚洲| 无码成人AAAAA毛片AI换脸| 婷婷亚洲激情在线观看视频| 九九人人操| 性色播| 天天综合精品| 五月天激情综合首页| 久久综合五月| www.日本久久videos| 啪啪91| 色五月首页| wwwss在线观看| 久久五月视频| 久久ab| 色亚洲无码| 开心激情网五月天| 99热情这里只有精品在线播放 | 操精品9| 精品无码99| 日韩日比视频在线| 深爱五月网| 丁香五月很很肏| 亚洲成人婷婷| 色噜久| 天天干天天爽| 久久精品五月天| 操操天堂| 精品久久99码| 九九热最新| 丁香六月婷婷五月天| 色婷婷电影| www.五月激情.com| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 99热国产精品| 亚洲色网络| 亚洲综合视频天天精品| 开心五月婷婷| 激情久久天天| 偷拍九九热| 丁香五月另类小说| 亚洲热久| 欧美日本黄色| 337p大胆噜噜噜噜噜91Av| 99热只有这里有精品| 伊人五月婷婷| 97热91| 99热在线观看这里只有精品| 超碰五月婷婷五月天| 人人摸人人| 99热精品99| 色99视频| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 久久婷婷一级片| 色中色综合| 9999热在线免费观看| 色五月色五天色情网| 深爱激情中文五月天av| 欧美韩国日本| 伊人五月天婷婷| 丁香五月www| 9l视频自拍9l视频自拍九色学生| 色9999日韩国产| 激情婷婷五月天| 日在线V视频在线播放| 丁香五月色情av| 天天舔天天爽| 五月婷色色| 免费视频无码| 久久婷婷五月综合啪| 久人人操| 国产成人AV在线| 丁香五月天色| 极骚大香蕉伊人| 日日天天干| 五月婷婷中文字幕| 免费视频无码| 色天天综合成人网| 色久99| 九九九九国产| 草美女在线观看视频在线播放| 激情都市另类| 月婷婷婷婷五月| 九九精品99| 激情五月天婷婷| 久热精品视频| 久99热在线观看| 丁香六月激情综合| 99热这里有精品2| 中文字幕性爱视频| 五月天色图| 久婷婷久草| 中文在线视频久9| 变态另类9| 久色成人| 亚洲第二AV| 久热婷婷| 色五月激情综合| 丁香五月婷婷99| 婷婷五月天开心网| 天天狠狠色噜噜| 狠狠综合区| 久久九九热视频| 日日噜狠狠色综合久久| 久久宗合影| 可以免费观看的AV| 99青青草| 色综合久久综合中文综合网| 精品一二三区久久AAA片| 婷婷五月天狠狠搞干| 久操大| 免费观看欧美成人AA片爱我多深| 亚洲婷婷免费| 婷婷丁香69精华| 婷婷5月久久综合网站| 99操免费视频| 79亚洲精品少妇| 69人人操人人爽| 大香蕉久| 久久机只有这里精品| 丁香五月婷婷偷拍| 大地9中文在线观看免费高清| 九九热99热| 开心婷婷中文字慕| 91精品刘玥| 噜噜干日本| 天天操,天天插| 欧美激情中文字幕| 婷婷在线播放| 深爱激情五月网| 婷婷五月天播| 9 大屁股在线视频精品| 激情色色色| 这里只有精品9| 五月丁香婷婷色色| 97伦乱| 亚洲精品无码久久| 色五月婷婷婷婷| 999激情视频| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 99热 免费| 六月丁香成人| 婷婷综合在线| 五月天久久91| 五月婷婷伦理| 99久久.www| 北京熟妇搡BBBB搡BBBB| 久久这里只有精品热在99| 丁香五月图片| 99免费在线视频| 99ER热精品视频| 性综合网| 五月综亚洲| 久久综合影院| 国产肥白大熟妇BBBB视频| 亚洲成人网站在线播放| 夜夜骑日日夜夜| 日韩色五月| 大香蕉五月婷婷丁香| 午夜免费试看| 婷婷六月情| 成人天天爽| 午夜日韩久久久网站| 五月婷婷综合在线| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 日韩婷婷| 久久人妻精品| 全国最新疫情| 99热大香蕉| 亚洲av电影网站| 第五色婷婷| 五月天六月婷婷| 五月六月丁香婷婷在线观看| 91久久久久久久91| 五月丁香婷婷色啪| 五月丁香啪啪| 色五月在线播放| 丁香五月大片| 女婷久久| 91n啪啪| 99热在线播放| AV网站免费在线| 丁香五月天视频在线播放| 五月天婷婷综合久久| 激情五月婷婷啪啪| 日本黄色三级片内射| se99视频| 五月天婷婷视频小说| oVV4WIB3vFi8D| 久久综合中文| 久久久久久久久久婷婷| 日本欧美成人片AAAA| 99热最新网址| 综合色色色| 天天开心AV色综合婷婷五月天| 综合婷婷久久| 亚洲第二AV| 熟女人妻视频| 久机视频这只有精品| 五月婷婷婷丁香播| 五月天五月婷五月激情网| 婷婷五月天成人五月天| 大香蕉伊人爱在线| 亲子乱AV-区二区三区| 免费视频无码| 五月婷婷基地| 丁香五月天堂网| 激情小说之五月| www.婷婷网| 日本美女上人| av在线观看网址| 激情AV网| 99婷婷| 狠狠色婷婷777| 狠狠操综合| 婷婷丁香综合成人| 婷婷黄色五月天在线视频| 色婷婷综合视频| 99超碰在线观看| 激情综合九| 99精品国产在热久久| 人人爱人人草| 欧美色色色色色色色| 婷婷五月六| 久久九九大香蕉电院| 在线VA视频| 一起草AV| 天堂中文国产| 婷五月天丁香婷五月| 97操碰人免费| 亚洲国产精品VA在线看黑人| 婷婷综合五月天| 婷婷色丁香五月| 日本丁香五月| 色色COm| 九九热视频免费的| 五月色丁香成人| 婷婷在线播放av| 久久婷婷婷| 哇嘎成人久久| 五月婷av| 北条麻妃伊人 | 婷婷成人五月天| 人妻久久久久久久 | 99热播放| 天天肏高清在线| 五月丁香六月婷婷欧美综合| 国产高清精品色| 亚洲婷婷六月天| 免费精品66| 婷婷偷拍网| 国产精品久久..4399| 五月激情网站| 91丨九色|PRNY熟妇| 超碰人人操人人9| 岛囯综合激情网| 久久婷婷丁香花综合网| 中字幕视频在线永久在线观看免费 | 婷婷五月激情热播| 99爱视频精品| a在线观看| 婷婷激情性爱| 成人电影AV在线观看| 色色综合激情| 99玖玖人人| 97久久超视频| 久久久久久9热不雅视频| 91人妻九色大屁股| 五月婷婷黄色网址| 亚洲成人无码专区| 国产精品美女久久久久AV超清| 99热精品在线| 婷婷色婷婷| 九九碰九九爱97超碰| 26uuu欧美| 激情五月激情综合网| 天天干电影| 天天艹夜夜艹| 五月天桃色深爱网| 色综合天天综合成人网| 色欧洲| 激情五月综合婷婷| 天天狠天天叉| 婷婷五月色天| 久久久免费精彩视频| 伊人婷婷五月天| 色五月 五月婷婷| 五月天开心网| 91狠狠综合久久久| 大香蕉九九| 99在线免费观看| 午夜性做爰电影| 免费看欧美成人A片无码| 丰满老熟妇BBBBB搡BBB| 无码人妻丰满熟妇奶水区码| 丁香网五月天| 丁香花社区av| 日日夜夜九九| 国产高潮白浆一区二区| 亚洲影院婷婷色| 婷婷丁香婷婷97| 99热在线观看99| 国产精品丝| 碰97久久| 婷婷综合色| 久久XX| 人人色婷婷五月天| 人妻系列久久久久久久久久久| 成人小说 五月天 婷婷| 日操五月婷| 日韩综合大黄| 成人综合伍月天| 丁香五月天激情视频| 五月丁香在线| 97精品欧美91久久久久久久| 狠狠综合| 日韩啪啪网| 国产精品久久久久久久久久| 东京热五月婷婷| 丁香五月桃花在线激情综合| 青青999| 综合伊人久久| 亚洲操逼片| 日本怕怕视频| 欧洲激情五月天婷婷| 三十路磁力链接| 狠狠色综合五月| 丁香五月香蕉| 91久久精品无码一区二区三区| 久久婷色| 国产67194| www.97视频| tingtingseav| 第五婷婷伊人丁香| 日本美女上人| 精a品a视a频| 伊人狠狠狠综合| 狠色色狠网| 亚洲综合色网| 秋霞性爱AV| 色婷久久| 国产性av| 99热亚洲综合| 99九九在线精品热动漫| 六月婷婷天天操夜夜爽视频| 激情五月丁香色婷婷| 国产精品视频久久99| 色五月播五月| 综合色色网| www.夜夜操| 亞洲自怕| 草草影院爱爱| 亚洲成人网站在线观看| 另类综合激情| 五月深爱激情网| 激情五月丁香六月综合AVXXXX| 大香蕉av在线| 日本不卡一区二区三区| 青青草99re| 97人妻碰碰碰久久香蕉| 日日骑夜夜撸| 欧洲亚洲欧洲99久久| 五月天婷婷在线播放| 超碰超碰在线| av国产精品| 激情婷婷五月在线合集| 色婷婷丁香九月| 99开心五月五月丁香激情| 日日射天天射| 久久丁香五月天| 五月天大香蕉| 亚洲最大成人综合网720P| 无码一区二区三区四区五区91c| 狠狠爱激情网| 男人天堂亚洲综合| 色五月综合激情| 五月丁香啪啪综合| 超碰免费在线| 97se在线视频| 超碰在线人人| 丁香六月婷婷综合麻豆| 99内射视频| 丁香五月婷婷国产在线| 国产精品操| 婷婷AV丁香| 丁香婷婷精品视频| 色小说婷婷五月天天天| 米奇影视资源777狠狠色婷婷五月天激情网 | 办公室少妇激情呻吟A片在线观看| 大色鬼综合| 色婷婷丁香AV综合| 91丨九色熟女丨首页| 玖玖爱资源站| 97色色色视屏| 激情综合五月色丁香婷婷| 99热精品中文字幕| 欧美精品99| www.狠狠| 人人操9| 精品久久婷婷| 天天骑日日爽| 色婷婷五月亚洲| 欧美大道不卡| 亚洲人妻av| 五月婷婷激情在线| 色综合中文| 五月综合激情图片 | 婷婷91| www.91av.com| 婷婷内射视频在线| 天天日狠狠| 婷婷色色宗合网| 亚洲精品电影| 99性感视频| 99热在线中文字幕| 国产真实乱对白精彩| 午夜婷婷久久 | 日本婷婷色| 成人视频一区| 国产另类综合| 另类天堂| 日本97人人| 精品九九在线观看视频| AV五月婷婷露脸| 亚洲激情另类| CAOBIBI| 丁香五月 综合| 丁香婷婷激情六月五月开心| 伊人久久婷婷| 啪啪操操| 森林影视大全,最好看的2019年视频| 天天透天天摸天天舔| 天天综合图片| 成人一级片| 五月婷婷综合激情小说| 九九热av| 色婷婷丁香| 日本九九九九| 青996青| 色丁香婷婷美女视频网站| 五月丁香婷婷在线| 日本道久久91| 思思99热在线| 色婷婷www| 狠狠色综合久久久久| 国产成人AV人人爽人人澡Va| 婷婷人人操| www.九月婷婷丁香.com| 五月丁香六月欧美综合| 色综合婷婷| av成人在线播放| 九九热视频思思| 欧美成人精品A片免费一区99| 99热免费精品| 久久久久丁香婷婷五月天| 国产又色又爽又黄又免费| 五月丁香啪啪| 久99在线视频| 久久久免费图片视频| 99九九视屏| 深爱五月婷婷| 99操久久| 五月丁香婷婷深深爱| 97超碰99热99| 婷婷五月天激情五月天网站| 亚洲精品久久久久久久久久吃药 | 精品人妻伦一二三区久久| 超碰不卡在线| 99色性爰网络| 日本综合99| 五月丁花色综合网| 欧美日韩成人在线| 97成人丁香婷婷| 国产成人av在线| 激情AV在线| 国产精品色婷婷99久久精品| 大香蕉人人人| 五月天婷婷色综合| 大香蕉伊然在亚洲90| 99热只有这里才是精品| 97在线99| 99re26视频| 懂色av粉嫩av蜜臀av| 色五月婷婷激情五月| AA片在线观看视频在线播放| 丁香久色| 丁香香蕉射射射| 六月天无码网址| 牛牛热这里只有jingpin| 色综合性视频| 婷婷色色综合| 国色天香伊人狠狠色| 99惹 精品在线| 天天操夜夜爱| 91精品久| 天堂综合久| 色五月成人| 99日韩|