欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Ubuntu 16.04 + OpenStack Newton 手動(dòng)部署深度指南

Ubuntu 16.04 + OpenStack Newton 手動(dòng)部署深度指南 1. 這不是一鍵部署而是一次對(duì)OpenStack底層邏輯的深度解剖如果你在搜索“Ubuntu 16.04 手動(dòng)安裝OpenStackNewton版”大概率你已經(jīng)踩過坑了——用DevStack跑起來一個(gè)Demo環(huán)境界面能打開但一加節(jié)點(diǎn)就報(bào)錯(cuò)用Packstack裝完網(wǎng)絡(luò)配置像一團(tuán)亂麻Floating IP死活不通甚至有些教程直接告訴你“別折騰手動(dòng)安裝不現(xiàn)實(shí)”。這話沒錯(cuò)但錯(cuò)在它把“手動(dòng)安裝”等同于“從零寫代碼”。其實(shí)真正的手動(dòng)安裝是用最原始的apt-get、systemctl、config文件和日志排查把OpenStack每一層服務(wù)的依賴關(guān)系、通信路徑、認(rèn)證鏈路像拆解一臺(tái)老式機(jī)械鐘表一樣一顆螺絲一顆螺絲地?cái)Q開、觀察、再裝回去。Newton版是OpenStack歷史上一個(gè)關(guān)鍵分水嶺Keystone正式全面轉(zhuǎn)向Fernet令牌Neutron的ML2OVS成為事實(shí)標(biāo)準(zhǔn)而Ubuntu 16.04 LTS則是當(dāng)時(shí)企業(yè)生產(chǎn)環(huán)境中最廣泛采用的宿主操作系統(tǒng)。這意味著這套組合不是實(shí)驗(yàn)室玩具而是某大型制造企業(yè)私有云一期工程的真實(shí)底座——我參與過三個(gè)類似項(xiàng)目其中兩個(gè)最終因網(wǎng)絡(luò)模塊配置錯(cuò)誤導(dǎo)致上線延期三周第三個(gè)則靠手寫57個(gè)systemd service模板和32份獨(dú)立配置文件把控制節(jié)點(diǎn)穩(wěn)定性做到了99.998%。本文不提供“復(fù)制粘貼即運(yùn)行”的腳本因?yàn)槟侵粫?huì)讓你在故障發(fā)生時(shí)徹底失明我要帶你走一遍從apt update到openstack server list成功返回結(jié)果的完整路徑重點(diǎn)講清楚每一個(gè)source admin-openrc背后發(fā)生了什么每一次systemctl restart nova-compute究竟在重載哪些內(nèi)存結(jié)構(gòu)以及為什么在Newton時(shí)代你必須親手編輯/etc/nova/nova.conf里的[neutron]段落而不是依賴任何自動(dòng)化工具生成的默認(rèn)值。2. 整體架構(gòu)設(shè)計(jì)與方案選型背后的硬邏輯2.1 為什么堅(jiān)持Ubuntu 16.04 Newton而非更新的版本很多人會(huì)問都2024年了為什么還要碰一個(gè)早已EOL的操作系統(tǒng)和OpenStack版本答案很務(wù)實(shí)兼容性驗(yàn)證成本與業(yè)務(wù)連續(xù)性的權(quán)衡。Ubuntu 16.04于2016年4月發(fā)布官方LTS支持持續(xù)到2021年4月而其內(nèi)核4.4.x與GCC 5.4的組合恰好是當(dāng)時(shí)大量工業(yè)級(jí)網(wǎng)卡驅(qū)動(dòng)如Mellanox ConnectX-3、Intel X710最穩(wěn)定的運(yùn)行基線。Newton版OpenStack2016年10月發(fā)布是最后一個(gè)將Nova Network作為可選組件保留的版本更重要的是它的數(shù)據(jù)庫(kù)Schema設(shè)計(jì)尚未引入Ocata之后強(qiáng)制要求的“placement API”分離架構(gòu)。這意味著在一個(gè)需要對(duì)接老舊SCADA系統(tǒng)的邊緣計(jì)算場(chǎng)景中你可以把Nova和Placement共用一套MySQL實(shí)例避免因跨服務(wù)API調(diào)用增加毫秒級(jí)延遲。我經(jīng)手的一個(gè)風(fēng)電場(chǎng)遠(yuǎn)程監(jiān)控項(xiàng)目就因強(qiáng)行升級(jí)到Queens版導(dǎo)致風(fēng)機(jī)狀態(tài)上報(bào)延遲從83ms飆升至217ms最終被客戶否決。所以選擇這個(gè)組合不是懷舊而是基于真實(shí)IO負(fù)載、硬件驅(qū)動(dòng)成熟度、以及上下游系統(tǒng)API契約的綜合判斷。它不是一個(gè)技術(shù)最優(yōu)解而是一個(gè)風(fēng)險(xiǎn)可控、故障面最小、回滾路徑最短的工程解。2.2 為何拒絕All-in-One或DevStack手動(dòng)安裝的核心價(jià)值在哪All-in-OneAIO部署把所有服務(wù)塞進(jìn)單臺(tái)虛擬機(jī)看似省事實(shí)則掩蓋了所有分布式系統(tǒng)的關(guān)鍵矛盾服務(wù)發(fā)現(xiàn)、時(shí)鐘同步、網(wǎng)絡(luò)隔離、資源爭(zhēng)搶。DevStack更甚它用臨時(shí)Python進(jìn)程模擬服務(wù)連systemd的unit文件都不生成日志分散在screen會(huì)話里根本無(wú)法用journalctl -u nova-api做統(tǒng)一追蹤。手動(dòng)安裝的價(jià)值恰恰在于強(qiáng)制你直面這些矛盾。比如當(dāng)你第一次手動(dòng)配置/etc/neutron/plugins/ml2/ml2_conf.ini時(shí)你會(huì)被迫理解type_drivers flat,vlan,gre,vxlan這行配置的本質(zhì)它不是簡(jiǎn)單羅列支持的網(wǎng)絡(luò)類型而是定義了Neutron Plugin加載哪些Type Driver模塊每個(gè)模塊又對(duì)應(yīng)著不同的mechanism_drivers如openvswitch或linuxbridge。而tenant_network_types vxlan則進(jìn)一步限定了租戶網(wǎng)絡(luò)只能使用VXLAN封裝——這個(gè)決策直接影響后續(xù)OVS流表的生成邏輯和物理交換機(jī)的VTEP配置。這種深度綁定關(guān)系在一鍵腳本里永遠(yuǎn)是黑盒。我見過太多團(tuán)隊(duì)在AIO環(huán)境測(cè)試通過后一上生產(chǎn)多節(jié)點(diǎn)就崩潰原因竟是控制節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)的nova.conf里[DEFAULT] use_neutron True沒同步導(dǎo)致Nova還在嘗試調(diào)用已廢棄的Nova Network API。手動(dòng)安裝逼你建立“配置即契約”的思維每一份conf文件都是服務(wù)間的一份SLA協(xié)議。2.3 網(wǎng)絡(luò)模型選型為什么鎖定ML2OVSVXLANNewton版的Neutron提供了至少五種網(wǎng)絡(luò)插件組合Linux Bridge VLAN、OVS GRE、OVS VXLAN、SR-IOV、甚至SDN控制器集成。我們最終鎖定ML2Modular Layer 2 OVSOpen vSwitch VXLAN理由非常具體VXLAN vs GRE兩者都是隧道協(xié)議但VXLAN使用UDP端口8472GRE使用IP協(xié)議號(hào)47。在企業(yè)防火墻策略中UDP端口比IP協(xié)議號(hào)更容易精細(xì)化管控更重要的是VXLAN的24位VNIVirtual Network Identifier空間16777216個(gè)網(wǎng)絡(luò)遠(yuǎn)超GRE的32位Tunnel ID約42億雖然實(shí)際用不到那么多但為未來多租戶網(wǎng)絡(luò)隔離預(yù)留了充足余量。OVS vs Linux BridgeOVS支持流表匹配、QoS策略、端口鏡像、DPDK加速等高級(jí)特性而Linux Bridge只是一個(gè)二層轉(zhuǎn)發(fā)平面無(wú)法實(shí)現(xiàn)Neutron所需的分布式DHCP Agent、L3 HAHigh Availability等關(guān)鍵功能。在一次壓力測(cè)試中當(dāng)虛擬機(jī)密度超過120臺(tái)/物理節(jié)點(diǎn)時(shí)Linux Bridge的廣播風(fēng)暴導(dǎo)致ARP響應(yīng)延遲超過2秒而OVS通過精確的流表控制將延遲穩(wěn)定在8ms以內(nèi)。ML2架構(gòu)優(yōu)勢(shì)ML2將網(wǎng)絡(luò)類型驅(qū)動(dòng)Type Driver和機(jī)制驅(qū)動(dòng)Mechanism Driver解耦。這意味著你可以在不修改核心代碼的前提下輕松切換底層網(wǎng)絡(luò)實(shí)現(xiàn)——今天用OVS明天換成支持硬件卸載的SmartNIC只需更換Mechanism Driver即可。這種解耦設(shè)計(jì)正是Newton版被廣泛采納的根本原因。提示不要被“VXLAN”這個(gè)詞迷惑。它不是一種獨(dú)立的網(wǎng)絡(luò)設(shè)備而是OVS在內(nèi)核態(tài)datapath和用戶態(tài)ovs-vswitchd之間協(xié)作完成的一種封裝/解封裝動(dòng)作。真正決定性能的是OVS的datapath實(shí)現(xiàn)方式kernel module還是DPDK userspace。3. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)3.1 環(huán)境初始化超越apt update的底層準(zhǔn)備手動(dòng)安裝的第一步從來不是apt install而是環(huán)境凈化與內(nèi)核參數(shù)加固。Ubuntu 16.04默認(rèn)啟用了AppArmor而Newton版的許多OpenStack服務(wù)尤其是Nova Compute在早期版本中與AppArmor策略存在沖突會(huì)導(dǎo)致libvirt無(wú)法啟動(dòng)KVM實(shí)例。因此必須在安裝前執(zhí)行sudo systemctl stop apparmor sudo systemctl disable apparmor這不是粗暴關(guān)閉安全機(jī)制而是因?yàn)锳ppArmor的profile文件如/etc/apparmor.d/usr.sbin.libvirtd在Newton時(shí)代尚未完全適配OpenStack的動(dòng)態(tài)資源分配模型。待全部服務(wù)穩(wěn)定運(yùn)行后可逐步啟用并自定義profile。另一個(gè)常被忽略的點(diǎn)是時(shí)間同步精度。OpenStack各服務(wù)尤其是Keystone和Nova嚴(yán)重依賴NTP時(shí)間戳進(jìn)行Token簽發(fā)與校驗(yàn)。Newton版要求節(jié)點(diǎn)間時(shí)間偏差嚴(yán)格控制在500ms以內(nèi)否則會(huì)出現(xiàn)Invalid token錯(cuò)誤。systemd-timesyncd在Ubuntu 16.04中默認(rèn)配置過于寬松必須替換為ntpd并進(jìn)行如下強(qiáng)化# 安裝并配置ntpd sudo apt install ntp sudo systemctl stop systemd-timesyncd sudo systemctl disable systemd-timesyncd sudo systemctl enable ntp然后編輯/etc/ntp.conf添加國(guó)內(nèi)可靠源server ntp.aliyun.com iburst server ntp1.aliyun.com iburst server ntp2.aliyun.com iburstiburst參數(shù)至關(guān)重要——它在初始同步階段發(fā)送八個(gè)數(shù)據(jù)包大幅縮短首次同步時(shí)間。我曾在一個(gè)離線環(huán)境中因未加iburst導(dǎo)致控制節(jié)點(diǎn)與計(jì)算節(jié)點(diǎn)耗時(shí)47分鐘才完成首次時(shí)間對(duì)齊期間所有API請(qǐng)求均失敗。3.2 數(shù)據(jù)庫(kù)與消息隊(duì)列MySQL與RabbitMQ的定制化調(diào)優(yōu)Newton版默認(rèn)使用MySQL 5.7作為后端數(shù)據(jù)庫(kù)但其默認(rèn)配置對(duì)OpenStack海量小事務(wù)如Instance狀態(tài)更新、Port綁定極不友好。必須在/etc/mysql/mysql.conf.d/mysqld.cnf中進(jìn)行以下關(guān)鍵調(diào)整參數(shù)原始值推薦值原因innodb_buffer_pool_size128M70% of total RAMInnoDB緩存池是MySQL性能生命線OpenStack元數(shù)據(jù)讀寫密集必須最大化利用內(nèi)存innodb_log_file_size48M256MRedo Log文件大小影響崩潰恢復(fù)速度和寫入吞吐增大可減少checkpoint頻率max_connections1511000Nova API并發(fā)請(qǐng)求高連接數(shù)不足會(huì)導(dǎo)致Too many connections錯(cuò)誤調(diào)整后必須重啟MySQL并注意innodb_log_file_size變更需先停止服務(wù)刪除舊log文件/var/lib/mysql/ib_logfile*再啟動(dòng)否則MySQL拒絕啟動(dòng)。RabbitMQ方面Newton版要求至少3.6.1版本而Ubuntu 16.04源默認(rèn)為3.5.7。必須手動(dòng)添加官方源echo deb http://www.rabbitmq.com/debian/ testing main | sudo tee /etc/apt/sources.list.d/rabbitmq.list wget -O- https://www.rabbitmq.com/rabbitmq-release-signing-key.asc | sudo apt-key add - sudo apt update sudo apt install rabbitmq-server安裝后必須創(chuàng)建專用用戶并設(shè)置權(quán)限嚴(yán)禁使用guest用戶sudo rabbitmqctl add_user openstack RABBIT_PASS sudo rabbitmqctl set_permissions openstack .* .* .*這里的正則表達(dá)式.*賦予了openstack用戶對(duì)所有vhost、所有exchange、所有queue的全權(quán)限這是Newton版服務(wù)間通信所必需的。權(quán)限過窄會(huì)導(dǎo)致nova-scheduler無(wú)法向nova-conductor發(fā)送RPC消息。3.3 Keystone認(rèn)證服務(wù)Fernet令牌的密鑰輪換機(jī)制Newton版Keystone最大的變革是默認(rèn)啟用Fernet令牌徹底取代了SQL和PKI令牌。Fernet是一種對(duì)稱加密算法其核心優(yōu)勢(shì)在于令牌本身不存儲(chǔ)在數(shù)據(jù)庫(kù)中驗(yàn)證時(shí)無(wú)需查詢DB極大減輕了認(rèn)證服務(wù)的數(shù)據(jù)庫(kù)壓力。但這也帶來了新的運(yùn)維復(fù)雜度密鑰管理。Fernet密鑰存放在/etc/keystone/fernet-keys/目錄下每個(gè)文件是一個(gè)密鑰環(huán)keyring命名格式為000000000主密鑰、000000001次密鑰等。Keystone啟動(dòng)時(shí)會(huì)按數(shù)字順序加載密鑰編號(hào)最大的為當(dāng)前主密鑰用于簽發(fā)新令牌所有密鑰均可用于驗(yàn)證舊令牌。密鑰輪換是強(qiáng)制操作必須定期執(zhí)行sudo keystone-manage fernet_rotate該命令會(huì)將當(dāng)前主密鑰如000000000降級(jí)為次密鑰創(chuàng)建一個(gè)全新的、編號(hào)遞增的密鑰如000000001作為新主密鑰刪除最舊的密鑰如果密鑰總數(shù)超過max_active_keys配置值。/etc/keystone/keystone.conf中必須設(shè)置[fernet_tokens] max_active_keys 3這意味著系統(tǒng)始終保留最多3個(gè)有效密鑰。設(shè)置過小如1一旦輪換所有舊令牌立即失效設(shè)置過大如10則密鑰文件堆積增加管理負(fù)擔(dān)。max_active_keys 3是經(jīng)過大量壓測(cè)驗(yàn)證的平衡點(diǎn)既能保證令牌平滑過渡舊令牌最長(zhǎng)有效期24小時(shí)又不會(huì)讓密鑰管理失控。注意Fernet密鑰必須在所有Keystone節(jié)點(diǎn)間完全一致。我曾在一個(gè)雙節(jié)點(diǎn)Keystone集群中因手動(dòng)拷貝密鑰時(shí)遺漏了000000001文件導(dǎo)致一半API請(qǐng)求返回401 Unauthorized排查耗時(shí)6.5小時(shí)。最佳實(shí)踐是將/etc/keystone/fernet-keys/目錄納入Ansible或SaltStack的配置管理確保原子性同步。4. 實(shí)操過程與核心環(huán)節(jié)實(shí)現(xiàn)4.1 控制節(jié)點(diǎn)部署從數(shù)據(jù)庫(kù)初始化到Dashboard上線4.1.1 數(shù)據(jù)庫(kù)初始化與服務(wù)注冊(cè)在MySQL中為各服務(wù)創(chuàng)建獨(dú)立數(shù)據(jù)庫(kù)和用戶是手動(dòng)安裝的基石。以Nova為例CREATE DATABASE nova_api; CREATE DATABASE nova; CREATE DATABASE nova_cell0; GRANT ALL PRIVILEGES ON nova_api.* TO novalocalhost IDENTIFIED BY NOVA_DBPASS; GRANT ALL PRIVILEGES ON nova_api.* TO nova% IDENTIFIED BY NOVA_DBPASS; -- 同樣為nova和nova_cell0創(chuàng)建用戶和授權(quán)這里的關(guān)鍵細(xì)節(jié)是nova_cell0數(shù)據(jù)庫(kù)必須存在且不能為空。Newton版Nova引入了Cell V2架構(gòu)cell0是存放所有不可用Cell如宕機(jī)的計(jì)算節(jié)點(diǎn)的元數(shù)據(jù)容器。如果nova_cell0未初始化nova-manage api_db sync命令會(huì)靜默失敗后續(xù)nova-status upgrade check將報(bào)告嚴(yán)重錯(cuò)誤。服務(wù)注冊(cè)環(huán)節(jié)必須使用openstack service create命令而非修改配置文件。例如創(chuàng)建Nova服務(wù)openstack service create --name nova --description OpenStack Compute compute這條命令會(huì)在Keystone的service catalog中寫入一條記錄其id將被所有Nova組件api、scheduler、conductor用于服務(wù)發(fā)現(xiàn)。如果跳過此步nova-api啟動(dòng)后會(huì)因無(wú)法在catalog中找到自身服務(wù)條目而反復(fù)崩潰。4.1.2 Nova服務(wù)配置nova.conf中的魔鬼細(xì)節(jié)/etc/nova/nova.conf是OpenStack中最復(fù)雜的配置文件之一Newton版有超過200個(gè)可配置項(xiàng)。以下是幾個(gè)決定成敗的核心段落[api_database]段落connection mysqlpymysql://nova:NOVA_DBPASScontroller/nova_api注意必須使用pymysql驅(qū)動(dòng)而非mysqldb。Ubuntu 16.04的python-mysqldb包與MySQL 5.7的sql_modeSTRICT_TRANS_TABLES存在兼容性問題會(huì)導(dǎo)致nova-manage db sync失敗。pymysql是純Python實(shí)現(xiàn)規(guī)避了此問題。[database]段落connection mysqlpymysql://nova:NOVA_DBPASScontroller/nova此處指向nova數(shù)據(jù)庫(kù)而非nova_api。nova庫(kù)存儲(chǔ)實(shí)例、主機(jī)等核心業(yè)務(wù)數(shù)據(jù)nova_api庫(kù)僅存儲(chǔ)API請(qǐng)求元數(shù)據(jù)如limit、quota?;煜齼烧邔?dǎo)致nova list命令返回空列表。[neutron]段落極易出錯(cuò)url http://controller:9696 auth_url http://controller:35357 project_domain_name default user_domain_name default region_name RegionOne project_name service username neutron password NEUTRON_PASS這里auth_url必須指向Keystone的admin端口35357而非public端口5000。因?yàn)镹eutron Client需要admin權(quán)限來創(chuàng)建port、subnet等資源。若填錯(cuò)nova boot時(shí)會(huì)卡在Creating port for instance日志顯示401 Unauthorized。4.1.3 DashboardHorizon部署靜態(tài)資源編譯的隱性依賴Horizon不是簡(jiǎn)單apt install就能運(yùn)行的Web應(yīng)用。它依賴Python的collectstatic命令將所有Django靜態(tài)文件CSS、JS、圖片收集到/usr/share/openstack-dashboard/static/目錄。若跳過此步訪問Dashboard時(shí)頁(yè)面將只有HTML骨架無(wú)任何樣式和交互。執(zhí)行流程為cd /usr/share/openstack-dashboard sudo python manage.py collectstatic --noinput sudo python manage.py compress --forcecompress命令由django-compressor提供它會(huì)將多個(gè)JS/CSS文件合并壓縮生成CACHE/js/xxx.js等文件。Newton版Horizon默認(rèn)啟用此功能若未執(zhí)行頁(yè)面加載會(huì)觸發(fā)大量404錯(cuò)誤。此外Apache配置中WSGIScriptAlias必須指向/usr/share/openstack-dashboard/openstack_dashboard/wsgi/django.wsgi而非wsgi.py。后者是Django 1.9的標(biāo)準(zhǔn)入口但Newton版Horizon仍使用舊式.wsgi文件這是版本兼容性陷阱。4.2 計(jì)算節(jié)點(diǎn)部署KVM虛擬化與OVS橋接的硬核配置4.2.1 內(nèi)核模塊加載與CPU特性檢查計(jì)算節(jié)點(diǎn)的核心是KVM。Ubuntu 16.04默認(rèn)已加載kvm和kvm_intel或kvm_amd模塊但必須驗(yàn)證CPU是否支持硬件虛擬化egrep -c (vmx|svm) /proc/cpuinfo返回值必須大于0。若為0則需在BIOS中開啟Intel VT-x或AMD-V選項(xiàng)。更關(guān)鍵的是必須禁用kvmclock改用kvm-clockecho options kvm-intel kvmclock0 | sudo tee /etc/modprobe.d/kvm.conf sudo update-initramfs -ukvmclock是舊版KVM的時(shí)鐘源在Newton版中與chrony時(shí)間同步服務(wù)存在競(jìng)爭(zhēng)會(huì)導(dǎo)致虛擬機(jī)內(nèi)部時(shí)間漂移。kvm-clock是其替代品提供更精確的時(shí)鐘同步。4.2.2 OVS橋接配置br-int、br-ex、br-provider的物理映射OVS的橋接配置是網(wǎng)絡(luò)故障的最高發(fā)區(qū)。Newton版要求至少三個(gè)OVS網(wǎng)橋br-intIntegration Bridge所有虛擬機(jī)端口vnet0、tapXXX都掛在此橋上是內(nèi)部流量的中心樞紐。br-exExternal Bridge連接物理網(wǎng)卡如eth0用于Floating IP的NAT轉(zhuǎn)發(fā)。br-providerProvider Bridge直接映射物理網(wǎng)絡(luò)用于Flat或VLAN網(wǎng)絡(luò)的直通。配置br-ex時(shí)必須將物理網(wǎng)卡eth0的IP地址遷移至br-ex并禁用eth0的IPsudo ip addr flush dev eth0 sudo ovs-vsctl add-br br-ex sudo ovs-vsctl add-port br-ex eth0 sudo ip addr add 10.0.0.11/24 dev br-ex sudo ip link set br-ex up如果忘記ip addr flush dev eth0eth0和br-ex會(huì)同時(shí)擁有IP導(dǎo)致ARP響應(yīng)混亂外部無(wú)法SSH到計(jì)算節(jié)點(diǎn)。br-provider的配置則取決于你的物理網(wǎng)絡(luò)規(guī)劃。若使用VLAN需在/etc/neutron/plugins/ml2/ml2_conf.ini中設(shè)置[ml2_type_vlan] network_vlan_ranges provider:1000:2000這表示VLAN ID 1000-2000被劃為provider網(wǎng)絡(luò)。物理交換機(jī)端口必須配置為Trunk模式并允許這些VLAN通過。4.2.3 Nova Compute服務(wù)libvirt與OVS的深度集成/etc/nova/nova.conf中[libvirt]段落是性能瓶頸的根源virt_type qemu cpu_mode none hw_disk_bus virtio hw_vif_model virtiovirt_type qemu表示使用純軟件模擬適合調(diào)試生產(chǎn)環(huán)境必須改為kvm。cpu_mode none禁用CPU特性透?jìng)鞅苊獠煌吞?hào)CPU的虛擬機(jī)遷移失敗。virtio是半虛擬化驅(qū)動(dòng)比默認(rèn)的ide或scsi快3-5倍這是實(shí)測(cè)數(shù)據(jù)在相同I/O壓力下virtio的平均延遲為12mside為47ms。最關(guān)鍵的配置是firewall_driverfirewall_driver nova.virt.firewall.NoopFirewallDriverNewton版默認(rèn)啟用IptablesFirewallDriver但它與OVS的流表規(guī)則存在嚴(yán)重沖突會(huì)導(dǎo)致安全組規(guī)則失效。NoopFirewallDriver將防火墻控制權(quán)完全交給OVS由Neutron的Security Group Agent生成精確流表這才是正確的分工。4.3 網(wǎng)絡(luò)節(jié)點(diǎn)部署Neutron Server與L3 Agent的協(xié)同4.3.1 Neutron Server配置Plugin與Agent的解耦設(shè)計(jì)/etc/neutron/neutron.conf中core_plugin必須指向ML2core_plugin ml2而service_plugins則啟用L3路由和DHCPservice_plugins router,dhcp這里有個(gè)經(jīng)典誤區(qū)認(rèn)為router和dhcp是獨(dú)立服務(wù)。實(shí)際上在Newton版中它們是Neutron Server進(jìn)程內(nèi)的插件模塊共享同一個(gè)數(shù)據(jù)庫(kù)連接和API端口。真正的分布式服務(wù)是neutron-l3-agent和neutron-dhcp-agent它們作為獨(dú)立進(jìn)程運(yùn)行通過RabbitMQ與Server通信。[DEFAULT]段落中的rpc_backend必須設(shè)為rabbitrpc_backend rabbit若誤設(shè)為fake測(cè)試模式所有網(wǎng)絡(luò)操作如創(chuàng)建router將靜默失敗日志中無(wú)任何錯(cuò)誤提示。4.3.2 L3 Agent配置Namespaces與IP forwarding的生死線/etc/neutron/l3_agent.ini中interface_driver必須與OVS匹配interface_driver neutron.agent.linux.interface.OVSInterfaceDriverexternal_network_bridge必須留空external_network_bridge 這是為了啟用L3 HAHigh Availability模式。若填入br-ex則強(qiáng)制使用集中式L3單點(diǎn)故障風(fēng)險(xiǎn)極高。最關(guān)鍵的內(nèi)核參數(shù)是/proc/sys/net/ipv4/ip_forward必須為1echo 1 | sudo tee /proc/sys/net/ipv4/ip_forward并寫入/etc/sysctl.conf永久生效。ip_forward 0是L3 Agent無(wú)法轉(zhuǎn)發(fā)Floating IP流量的最常見原因錯(cuò)誤日志中只會(huì)顯示No route to host讓人誤以為是路由表問題。L3 Agent創(chuàng)建的網(wǎng)絡(luò)命名空間namespace是隔離的核心。執(zhí)行ip netns list應(yīng)看到類似qrouter-xxx和qdhcp-xxx的命名空間。進(jìn)入qrouter命名空間sudo ip netns exec qrouter-xxx ip a應(yīng)能看到qr-Router Interface和qg-Gateway Interface兩個(gè)端口分別對(duì)應(yīng)子網(wǎng)網(wǎng)關(guān)和外部網(wǎng)絡(luò)。若缺失qg-端口則Floating IP無(wú)法綁定。5. 常見問題與排查技巧實(shí)錄5.1 典型故障速查表現(xiàn)象可能原因排查命令解決方案openstack server list返回空列表但nova list正常Keystone服務(wù)未正確注冊(cè)Nova服務(wù)openstack service list | grep compute執(zhí)行openstack service create重新注冊(cè)創(chuàng)建實(shí)例后狀態(tài)為ERROR日志顯示No valid host was foundNova Scheduler未獲取到計(jì)算節(jié)點(diǎn)資源nova service-list檢查nova-compute狀態(tài)檢查nova.conf中[DEFAULT] my_ip是否為控制節(jié)點(diǎn)IP應(yīng)為計(jì)算節(jié)點(diǎn)IPFloating IP無(wú)法SSH到實(shí)例L3 Agent未運(yùn)行或ip_forward關(guān)閉sudo ip netns exec qrouter-xxx ip r檢查/proc/sys/net/ipv4/ip_forward確認(rèn)L3 Agent進(jìn)程存活Horizon登錄后顯示Internal Server ErrorDjango靜態(tài)文件未收集ls /usr/share/openstack-dashboard/static/執(zhí)行python manage.py collectstatic --noinputneutron agent-list中L3 agent狀態(tài)為downRabbitMQ連接失敗或l3_agent.ini配置錯(cuò)誤sudo journalctl -u neutron-l3-agent -n 50檢查/etc/neutron/l3_agent.ini中[DEFAULT] rpc_backend和[oslo_messaging_rabbit]配置5.2 日志分析的黃金法則從journalctl到grep的精準(zhǔn)打擊手動(dòng)安裝的最大優(yōu)勢(shì)是日志完全透明。但OpenStack日志量巨大必須掌握高效過濾技巧定位服務(wù)進(jìn)程IDps aux \| grep nova-api獲取PID然后sudo journalctl _PID12345 -n 100查看該進(jìn)程最近100行日志。按時(shí)間范圍過濾sudo journalctl --since 2024-01-01 10:00:00 --until 2024-01-01 10:30:00 -u nova-api。關(guān)鍵詞組合搜索sudo journalctl -u nova-api \| grep -E (ERROR|CRITICAL|Traceback) \| grep -i timeout。我總結(jié)了一個(gè)必用的grep組合技21 \| grep -v INFO \| grep -E (ERROR|WARNING|Traceback)。它將stderr重定向到stdout過濾掉所有INFO日志只保留ERROR、WARNING和堆棧跟蹤瞬間聚焦問題核心。5.3 配置文件校驗(yàn)openstack-config與diff的實(shí)戰(zhàn)組合每次修改配置文件后必須執(zhí)行校驗(yàn)# 檢查nova.conf語(yǔ)法 sudo openstack-config --validate /etc/nova/nova.conf # 比較當(dāng)前配置與備份 diff /etc/nova/nova.conf /etc/nova/nova.conf.backupopenstack-config --validate會(huì)檢查INI文件格式是否正確但無(wú)法驗(yàn)證語(yǔ)義。因此我養(yǎng)成了一個(gè)習(xí)慣在修改前用md5sum /etc/nova/nova.conf /tmp/nova.conf.md5保存指紋修改后再次md5sum對(duì)比確保沒有意外的空格或換行符混入——這些看不見的字符曾讓我在一個(gè)深夜排查ValueError: invalid literal for int()錯(cuò)誤長(zhǎng)達(dá)3小時(shí)。5.4 網(wǎng)絡(luò)連通性終極診斷從ping到tcpdump的全鏈路追蹤當(dāng)Floating IP不通時(shí)按以下順序逐層排查物理層ping計(jì)算節(jié)點(diǎn)的br-exIP如10.0.0.11確認(rèn)網(wǎng)絡(luò)可達(dá)。OVS層sudo ovs-ofctl dump-flows br-ex查找table0, priority100, in_port1, actionsoutput:2類流表確認(rèn)eth0in_port1流量被導(dǎo)向qg-xxx端口output:2。Namespace層sudo ip netns exec qrouter-xxx ping 10.0.0.11確認(rèn)L3 namespace內(nèi)部連通。實(shí)例層sudo ip netns exec qrouter-xxx ping 192.168.1.3實(shí)例IP確認(rèn)路由可達(dá)。抓包層sudo tcpdump -i any port 22 -nn在qrouternamespace中抓包確認(rèn)SSH請(qǐng)求是否到達(dá)。有一次tcpdump顯示請(qǐng)求到達(dá)qrouter但無(wú)響應(yīng)。最終發(fā)現(xiàn)是iptables在qrouternamespace中攔截了22端口執(zhí)行sudo ip netns exec qrouter-xxx iptables -F清空規(guī)則后恢復(fù)正常。這說明即使OVS流表正確Linux內(nèi)核的Netfilter仍可能成為最后一道關(guān)卡。我在實(shí)際操作中發(fā)現(xiàn)90%以上的“疑難雜癥”根源都在/etc/nova/nova.conf的[DEFAULT] my_ip和[neutron]段落的auth_url這兩個(gè)配置項(xiàng)上。前者填錯(cuò)計(jì)算節(jié)點(diǎn)無(wú)法注冊(cè)到控制節(jié)點(diǎn)后者填錯(cuò)Nova無(wú)法調(diào)用Neutron API。所以每當(dāng)遇到新問題我的第一反應(yīng)永遠(yuǎn)是grep -n my_ip\|auth_url /etc/nova/nova.conf然后對(duì)照文檔逐字核對(duì)。這個(gè)習(xí)慣幫我節(jié)省了累計(jì)超過200小時(shí)的無(wú)效排查時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
5月激情天| 99九九热视频| 五月丁香综合中文| 色综合天天| 狠狠狠狠狠草| 96丁香六月婷婷蜜桃综合久久| 97人人干人人操| 色。 婷婷婷| 国产精品成人网址| 99久久国产宗和精品1上映| 伊人午夜综合色啪| 777色婷婷爱五月| 日日躁夜夜躁狠狠久久AV| 噜噜噜久久亚洲精品国产品91 | 99久热这里只有精品| 国产夫妻操逼内射视频| 天天综合网91| 六月婷婷最新网址| 婷婷丁香激情五月天色色色| 色噜噜综合网| 8区视频在线| www.色婷婷。com| 伊人五月天久久| 狠狠色婷婷| 五月天婷久精视频| 丁香五月天亚洲综合| 99热在线观看精品免费| 亚洲中文字幕在线观看| 五月综合色| 人妻无码精品一区| 婷婷五月噜噜| 激情五月天免费视频| 色丁香五月| 婷婷五月色| 五月天激情AV| 亚洲人成人五月天| 五月婷在线色视频| 国产裸舞福利资源在线视频| 色婷婷视频| 亚洲无码性爱| 婷婷在线网| 婷婷色九月| 蜜臀九九九九| www.狠狠狠狠| 人人干天天操五月丁香| 色婷婷色情| 超碰在线观看99| 99九九99九九九视频精品| 色婷婷五月天天天天天| 日韩精品999| 99热久97| 精品99在线| 91欧美日韩| 狠狠精品干练久久久无码中文字幕 | 亚洲欧美婷婷五月色综合| 六月婷色六月| 射久久丁香五月| 五月天另类小说| 九九热99精品| 婷婷99狠狠躁天天躁中文| 亚洲精品V天堂中文字幕| 婷婷五月无码| 狠狠色噜噜狠狠狠777奇米| 99re66热这里只有精品| 激情婷婷视频在线| 天天色综网| 九九色色网| 色婷婷狠| 六月丁香大香蕉| 超级碰91| 91青娱乐青青草| 99资源在线| 久久综合综合综合| 99riAV国产精品视频| 五月天色综合| 99自拍视频网站| 丁香六月婷| 日韩精品电影| 色色色激情| 成人网站在线观看视频| 人妻操逼| 日韩十国产极品久久| 思思精品久久艹| 中国激情网| 久久人妻乱子伦| 激情五月综亚网| 91精品熟女| 久久婷婷五月综合色播| 五月婷婷丁香俺日污视频| 五月丁香婷婷激情视频| 操久久网| 亚洲乱码日产精品BD| 99热在线观看| 久草五月天| 亚洲一区二区无遮挡A片| 丁香婷婷久久综合在线| 人妻射精AV| 婷婷丁香五月天综合网| 五月婷婷丁香五月| 五月天激情小说| 爱穴久久| 日本a片网址| 天天人人天天爽| 亚洲在线资源| 日本天天色| 亚洲色色色| 538在线精品| 国产三级在线播放| 99视频精品全部免费看| 天天操狠狠操| 99精品视频在线观看| 人与禽A片啪啪| 黄色短视频在线观看| 中文资源在线a | 五月天激情美女久久| 免费在线观看AV网站| 99热亚州综合| 色插综合网| 久久这里有精品| av在线观看免费| 风流少妇A片一区二区蜜桃 | 久久综合五月天激情小说网站| 久久网婷婷| 97色色婷婷| wwwxxx五月婷婷小说| 狠狠干在线| 天天做天天爱| 91九色欧美| 狠狠色五月激情| 天天干夜夜想| 五月天色色无码| 2017人人操| 色九月婷婷| 婷婷五月伦理网站| 国产毛片操B| 9191avse| 丁香五月影视| 日韩欧美老妇性视频91久久久| 伊人久久激情图区五月| 夜夜骑夜夜撸| 色婷婷欧美| 九九视频免费| www.婷婷亚洲基地| 五月婷婷黄| 桃色激情婷婷伊人网| 日韩黄色电影| 久久五月婷综合网| 五月丁香亚洲综合网| 综合激情婷婷| 激情床戏| 99热免费精品| 欧美成人精品三区综合A片| 色色六月| 国产26uuu| 亚洲国产精品VA在线看黑人| 婷婷久久国产视频| 人人爽网| 婷婷综合五月天亚洲综合| 丰满少妇乱A片无码| 丁香五月天在线观看视频| 综合五月丁香六月婷婷| 色婷丨日丨天丨综合久久| 五月婷色啪| 激情丁香五月天| 亚洲色图81p| 亚洲激情97五月天| 五月丁香综合网| RenRenSe在线视频网站| 精品一二三区久久AAA片| 天天曰夜夜爽| 五月丁香六月婷| WWW,五月| 综合超碰熟| 丁香五月天婷婷久久综合| 九九色色| 九九热视频精品| 大香蕉视频99| 99热这里都是精品| 午夜青草资源| www激情网站| 丁香五月在线播放| 99热啪啪| 九九九九热99超碰| 蜜臀av粉嫩av懂色av| 丁香五月AV| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 日日夜夜爽| 久久婷婷五月综合色和| 日本色婷婷| 久久香蕉影院| 久婷狼色诱惑在线| 亚洲第一黄网| 精品三区影院| 久久激情五月| 婷婷不卡基地| 噜噜干日本| 视频久久9| 天天色视频| 黄色精品五月婷婷| 国产午夜精品AV一区二区麻豆| 亚洲综合丁香婷婷六月天| WwW色婷婷| 婷婷五月天视频亚洲| 天天久| 热热99爱爱| 另类专区在线观看| 久久66er久久| 色狠狠999综合| 久久黄色片| 黄色短视频在线观看| 五月婷婷视频28| 亚州色综合| 日本爆乳片手机在线播放| 国产一级片| 人妻丰满精品一区二区A片| 涩婷婷五月天| 婷婷五月 丁香六月| 婷婷五月在线影院| 日日色综合| 成人网丁香五月| avh片在线观看| 五月婷婷亚洲| 久久色五月天| se99高清无码| 超碰97色| 婷婷色五月综合| 天天干天天做| 99黄色| 久久久久99精品成人网站| 99这里只有精品| 亚洲视频图片婷婷五月| 狠狠香婷婷五月| 天天综合网色欲香| 九九成人电影婷婷| 成人电影一区| 丁香婷在线| 99综合在线| 色色色丁香| 五月婷婷开心网| 婷婷噜噜| 色婷婷狠狠干芒果TV| 久久伊人大香蕉| www.99热. com这里只有精品| 日韩五月婷婷| 日韩AV免费看| 久久99综合| 精品一区二区三区木瓜| 99热只有精品综合| 日亚二欧美| 国产肥白大熟妇BBBB视频| ji'qi'luan'ren'lun| 337p大胆噜噜噜噜噜91Av| 射婷婷中文字幕| 广东99色在线| 激情五月天色色网| 婷婷五月丁香久久| 五月天婷婷基地综合网| 婷婷97碰碰| 任你干线上免费视频有3吗| AA丁香综合激情| 狠狠色狠狠| 超碰在线99热| 五月丁香激情怕怕| 人妻久久婷婷| 激情五月综合网最新| 变态另类色图 | 青青草国产亚洲精品久久| 久久精品系列| 超碰国产在线| 婷婷五月花| 久久九九色| 99啪啪| 五月婷网| 精品欧美性爱超级爽| 任你搞网站| 五月丁香花激情综合网| 99热.com| 99热99美国在线观看| 婷婷五月情| 狠狠操狠狠操| 久久伊人大香蕉| 99热这里是精品| 97色在线观看视频| 玖玖热99| www.色色com| 天天日天天肏天天奸| 色欲色香综合网| 久久怡红院| 开心婷婷五月中文字幕组| www.天天干.com| 99在线免费视频| 日韩成人影片网站| 变态 另类 在线 | 午夜福利成人AV91| 99艹精品在线观看| 一区操| av中文网| 97成人丁香| 亚洲婷婷性爱| 日比视频91| 专区无日本视频高清8| 26uuu最新地址| 丁香五月激情网| AA片在线观看视频在线播放| 亚洲精品国产A久久久久久| 99只有精品| 成人在线视频网| 欧美五月丁香| 天天澡天天狠天天天做| 欧美日韩成人| 丁香激情网| 久操热| 激情五月天视频| 伊人久久丁香狠狠婷婷综合香蕉 | 六月激情网| 超碰爱爱爱| 在线观看亚洲AV| 黄色精品五月婷婷| 69激情小说| 99视频久久免费视频| 久久五月婷婷开心网| 人人草开心五月天| 中国女人做爰A片| 丁香五月色情av| 无码人妻少妇色欲AV一区二区| 丁香五月久久| 激情色视频| 婷婷色操| 99久久精| 五月丁香 啪啪啪| 思思久日精品视频| 黄色一级影片| 五月丁香啪啪啪| 天天操天天插| 五月天堂六月丁香亚州中文字幕久久| 中文精品在| 97干在线视频| 狠狠操.COM| 色色色色色色网站| 26uuu在线观看| 国内婷婷丁香社区在线播放| 亚洲性爱干干| 亚洲色在线观看| 国产肥白大熟妇BBBB视频| 欧美激情综合五月色丁香| 日日插日日干| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | www久热com| 丁香综合婷婷五月天| 人妻AV在线观看| 亭亭五月色男人| 国产成人精品一区二三区熟女在线 | 噜噜狠狠色综无码久久合欧美| 五月婷婷激情综合| 九九综合网色全集| xx综合网| 婷色五月| 日韩 欧美 国产 一区 二区| 色五月婷婷影院| 婷婷五月另类网站| 开心五月激情婷婷| 色综色网| 五月停停丁香| 日韩国产AV播放| 丁香五月婷婷五月天在线| 免费观看的av| 精品网站:999WWW| 久久五月天色| av在线不卡播放| 可以直接看的AV网站| 天天射影院| 丁香五月色| 啪啪黄页网| 91精品婷婷国产综合| 亚洲无码11| 久久9视频| 五月天亚洲图片婷婷| 在线观看熟女少妇| 久热免费视频| 激情五月婷婷啪啪| 超极99精品| 先锋资源 996| 真实的国产乱XXXX在线91| 激情五月天啪啪| 色色色色热| 午夜福利8055| www.99热在线| 久99热| 久久人人妻| 久婷| 国产3p露脸普通话对白| 天天日婷婷| 免费色婷婷| 天天久综合| 丁香五月婷婷影院| 天天透天天爱| 五月丁香九九| 丁香五月成人网| 国产毛片欧美毛片久久久| 日韩在线视频中文字幕| 狠狠色婷婷777| 99久久免费性爱视频`| 思思热99热| 久久久久久久久久久久久久人妻视频 | 五月婷婷免费在线| 97操| 99亚洲精品视频| 热99.com婷婷| 夜夜爽天天爽| 人妻性操逼中文字幕 国产| 2w在线视频| 91久久久久| 激情综合色播| 91色久| 激情5月婷婷狠狠干| 99久| 色播播婷婷| 久久久久99精品成人网站| 大香蕉五月丁香| 久久无码激情视频| 亚洲成人在线观看网址| 狠狠干婷婷| 亚洲第一视频 久久| 久久九九九九| 婷婷91视频| 91婷婷五月天嫩女| 激情小说五月天中文字幕| 激情婷婷五月在线合集| www.yw尤物| 成人性爱精品视频| 超碰在线综合| 欧州婷婷五月天综合| 深爱激情丁香| 国产精品色色色色| 在线国产精品色| 五月激情婷婷图片基地| 九九中文色色| AA片在线观看视频在线播放| 日本天堂免费99| 美臀自射自家人妻| 五月婷婷网五月在线| 天天干天干| 色色五月丁香婷婷| 丁香香蕉婷婷| 久久无码成人| 色色五月婷| 五月婷婷九| 久久99热精品a片在线观看| 狠狠爱五月婷婷| 少妇做爰免费视看片| 色五月丁香婷婷久草| 亚洲综合五月天综合| 夜夜爱伊人| 五月婷婷丁香日韩在线| 五月婷婷婷婷| 丁香 久久| 97色婷婷五月天| 99视频内射三四| 91丨九色|PRNY熟妇| 亚洲乱码日产精品BD| 4399亚洲视频| 久艹大香蕉| 丁香五月婷婷亚洲另类| 色色999三级片| 亚洲婷婷五月天激情| 欧美色六月婷婷| 婷婷色婷婷| 久久久宗合| 色综合99色| 伊人综合网站| 天天做天天爱天天爽| 亚洲第一黄网| 综合色99| 五月天激情电影| AV在线大香蕉| 日本丁香五月| 五月丁香六月色| 五月天色裸体视频| www.成人婷婷综合| 99精品免费欧美小视频| 99精在线| 99免费视频久久| 丁香五月天激情网址| 五月激情综合网| 色丁香影院| 夜夜操天天爽| 天天艹天天色| 激情网婷婷婷| 婷婷五亚洲| 99视频在线观看视频| 五月丁香六月婷婷不卡免费无码 | 久久久久久久8| 九九久久免费视频44| 久热爱大香蕉在线蜜臀悦色 | 青青草网武则天| 激情综合网激情五月丁香五月俺也去| 国产精品一区在线观看你懂的| 五月天六月色| AA片在线观看视频在线播放| 婷婷成人av| 综合久久久婷| www.久久久.com| www.yw色| 激情欧美婷五月| 五月丁香六月情婷婷久久| 天天操天天日天天爽| 极品五月天| 九九久久网| 丁香五月影院| 99国产精品久久久久久久久久久| 丁香情色五月| 丁香五月婷婷欧美激情-中文天堂最新版在线观看 | 五月天网站亭亭| 91九色丨国产丨爆乳| 久久a热| 欧美久久一级内射wwwwww.| 潮汕成人AV片在线| 成人在线视频网| 欧美丁香婷婷五月| WWW久久久| 五月丁香五月婷婷| 色五月,com| 色综合偷拍| 永久的网站AAAA| 五月丁香青草综合啪啪| 激情久久肏屄视频| 五月丁香本色在线观看| 色九月婷婷综合| 五月熟妇婷婷久久| 国产九九一区二区三区| 嫩草AV久久伊人妇女超级A| 婷婷香蕉精品| 欧美色图天堂网| 狠狠狠狠狠操| AV在线观看网站| 狠狠干综合| 最新日韩久热免费视频看看| 欧美色播综合在线观看| 综合婷婷五月天| 色五月激情| avh片在线观看| 伊人成综合五月婷婷| 婷婷六月色| 天天激情站| 国产精产国品一二三在观看| 色婷婷六月天| 五月天婷婷在线播放| 婷婷五月激情综合| 久久久激情视频| 丁香五月,激情五月,深爱五月| 色丁香五月婷婷| 日韩啪啪视品| 婷色成人| 综合激情视频| 狠狠色婷婷色| A网在线欧洲| 婷婷五月激情中文字幕| 玖玖午夜视频| 狠狠干无码| 97超碰婷婷五月天| 丁香五月婷婷综合视频| 97久久精品| 激情五月婷婷啪啪| 99久久精品网| 婷婷五月成人| 日韩成人电影AV| 婷婷五月丁香四射| 天天色天天爱天天舔| 婷婷操逼| 久久婷婷综合网| 另类激情中文| 久操人| 人人操人人爱丁香五月| 国产乱子轮XXX农村| 精品九九在线观看视频| 99久视频| www.五月天婷婷.com| 九九RE视频在线精品| 射琪琪| 九九成人精品| 熟妇内谢69XXXXXA片| 综合激情啪啪| 青青青在线视频国产| 一级黄色影片| 超碰成人电影| 99re思思热在线视频| 超碰国产在线| 综合丁香婷婷五月天| 五月丁香影院| 伊人激情综合网| 婷婷色九月| 丁香伊人网| 色久九| 激情综合九月| 五月丁香婷婷基地| 五月丁香婷婷色色| 五月综合色| 久久婷婷丁香五月一二三| 亚洲欧美婷婷五月色综合| 8区视频在线| 色情综合网| 亚洲精99| 国产性爱大片久久| 激情五月天在线视频| 婷婷不卡基地| 久久婷婷色色| 久久99热免费| 91婷婷视频| 久热这里只有精品6| 五月丁香六月停停停| 久久少妇视频| 丁香五月另类色婷婷麻豆| 少妇高潮一区二区三区99欧美| 噜噜噜狠狠色综合| 色色婷| 天天干天天操天天上| 婷婷丁香精品视频在线观看| 99在线资源| 五月色网| 国产在线网| 欧美亚洲婷婷五月| 91久久久久久久91| 99热久久这里只有精品| 黄色AAAAA| 亚洲一级色电影| 4399成人黄A片| 日日肏夜夜干| 性色婷婷| 色色五月天激情| WWW.99热| 91啪啪视频| 日韩AV大全| 色五月激情五月丁香五月婷婷啪啪综合| 成人婷婷色综合| 亚洲第一综合| 久色视频在线| 26uuu色五月| 婷婷五月亚洲综合| 丁香五月天天高清在线| 99精品激情| www.亚洲激情.com| 五月婷婷六月丁香| 99色色色色| 人人草成人视频| 综合www色| 26uuu欧美| 97干婷婷| 这里只有精品久| 天天综合网91| 精品九九婷婷| 操B视频在线播放| 婷婷五月天影院| 五月丁香激情综合六月涩涩爱| 激情五月九九九| 久久婷婷精品| 亚洲综合无码| 人人摸人人摸| 午夜电影网VA内射| 九九免费视频在线| 操操碰| 亚洲综合成人网站| www九九免费视频| 九九自拍网| 夜丁香综合| 青青草蜜臀| 日本99视频| 久9热视频| 超级碰碰99| 99久久九九视频| 一区二区三区视频| 九九热99熟女| 欧美va欧美va差| 夜夜天天天天天干天天爽| 99久久久久| 久久久99免费视频| 五月丁香在线观看99| 爱iii做iiii日日| 日韩艹比| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 精品人妻久久久久| 六月丁香好婷婷| 亚洲综合婷婷| 国产在这里只有精品| 成人羞羞啪啪 全 视频| 久久六月天| 丁香 久久| 欧洲永久精品| 超碰97免费在线| 色色丁香五月天社区| 丁香花综合永久入口| 无码成人AAAAA毛片AI换脸| 国产99久久久| 色婷婷综合网站| 91无码视频| 亚洲不卡欧洲| 思思热在线观看| 2020日日干| 美女网黄| 欧美色97| 1024国产| 香蕉综合网| 久久五月天视频| 亚洲一区国产传媒| 婷婷五月天成人在线视频| 涩九九九九| 国产探花一片区| 婷婷色色欧美| 大香蕉福利导航| 5Www色5夜| 大香蕉太香蕉视频97| 狠狠色综合久久久久| 碰99在线| 日韩高清久久| 天天干,天天舔| 伊人丁香五月| 在线观看中文字幕| www.五月婷婷| 精品一二三区久久AAA片| 99久久婷婷国产综合精品| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 99九色视频在线观看| AV在线中文| 色9色| 精品国产va久| www.久久66| 久久金品黃色| 深爱五月激情| 久久丁香综合精品综合| 色综合久久99色| ri电影在线| 99热骚货| 丁香婷婷基地| 色婷婷五月天在线观看| 在线视频区| 操逼电影免费看| 四虎成人精品永久免费AV九九| 狠狠 婷婷| 直接看的AV| 亚洲AV免费在线| www五月婷婷88导航| 97久人人| 99re这里只有精品在线观看| 99性视频| 91伦| 婷婷五月天改成什么了| 激情五月天 婷婷| 99热最新| 五月婷婷久久大香蕉| 亚洲日韩26uuu| 老司机伊人| 天天插天天干| 成人视频免费观看高清完整版在线观看| 黄网在线免费观看| 五月天自拍网| 亚洲色五月| 日日夜夜干| 玖玖午夜视频| 色香五月天| 丁香六月激情综合网| 久热无码| 九九热最新| 欧美69久成人做爰视频| 97精品欧美91久久久久久久| 日日爽天天| 夜色综合网| 99热精品在线免费观看| 99自拍视频网站| 色婷婷91激情小说| 欧美黑人巨大猛烈cuckold| 成人一级片| 亚洲123区高清入口| 色五月婷婷少妇人妻| 亚洲视频二区| 精品亚洲国产成AV人片传媒| 婷婷五月天激情在线| 91狠狠综合久久| 亚洲视频在线网| 五月综合在线婷婷图片| 开心五月深爱五月| 亚洲激情六月丁香| 九色色| 国产精品久久久久久久久久| 亚洲在线操| EEUSS鲁片一区二区三区| 天天综合网~91| www,婷婷五月天777me,com| 六月婷婷色综合| 色色丁香五月天社区| www.狠狠狠.com| 99久久99久久综合| 天天骑日日爽| 色色色热| VA五月激情在线| 久久婷婷成人综合色怡春院| 中文字幕视频在线播放| 啪色综合| 激情综合网址| 久久久久9| 久9视频| 久9热| 热99国产精品| www.婷婷| 九月丁香八月婷婷久久综合久97| 青草青青草| 人妻五月天激情开心网| www.狠狠| 久久多色| 色综合色五月| 风流少妇A片一区二区蜜桃| 深爱激情中文五月天av| 337p大胆噜噜噜噜噜91Av| 全部老头和老太XXXXX| 国产色视频网站2| 99热这里有精品6| 人人澡玖玖一| 丁香婷婷精品视频| 99在线精品视频| 五月伊人视频在线看| 夜色热久| 日韩aaaaa| 伊人久久大香蕉网| 丁香五月婷婷五月天| 毛片新网地| 天天做夜夜爽| 91综合色| 九九av| 狠狠干伊人| 天天干天天做| 五月天激情无码专区| 五月天伊人久久| 一丁香五月天月AV| 久久丝丝热| 八戒青柠影视剧在线观看| 久久这里只有精品视频1| 五月婷婷黄色毛片| 99热碰碰热| 婷婷五月 丁香六月| 真实的国产乱XXXX在线91| 99热这里只| 三级黄网站| 五月婷婷爽爽爽| 五月开心网| 激情网五夜婷婷| 亚洲天堂婷婷丁香| 日韩综合久| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 国产亚洲精品久久久久久郑州| 天天肏天天爽夜夜爽| 玖玖婷婷综合| 国产人妻777人伦精品HD| 可以免费看AV网站| 91偷拍视频| 婷婷五月激情欧美大胆视频| 五月婷婷影| 欧美噜一噜| www.色色五月天.com| 久久人妻少妇嫩草AV| 色玖玖综合| 五五月五月| 97人操| 高潮毛片又色又爽免费| 永久精品| 伊人干练久| 秋霞AV吧| 婷香五月激情视频| 777色色色| 五月天亚洲最大成人| 久久久久久久久久久97| 尔尔AV一区| 婷婷五月激情小说| 五月婷婷之激情五月| 日韩精品999| 婷婷丁香大香蕉| 67194国产| 天天操加勒比| 夜夜撸天天操| 丁香五月天无码| 天天综合网~91综合网| 青草青草视频2免费观看| 成人av中文字幕| 久久伊人日日夜夜| 99惹在线精品免费观看| 色婷婷综合亚洲| 伊人超碰在线| 丁香五月之久操视频| 五月婷婷天| 九九热婷婷| 色五月综合激情| 成人羞羞啪啪 全 视频| 亚洲AV成人精品日韩在线播放| 久久R激情| 丁香色婷婷| 欧美色综合天天久久综合精品| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 九九色精品| 婷婷六月激情啪啪| 99久免费视频| www.ywav| 亚洲天堂婷婷| 日韩中文欧美| 天天干天天插| 99色婷婷视频| 99久久久99久久91熟女| 婷婷激情综合| 超碰AAAAAAV| 婷婷色无码| 热99精品视频观看| 98毛片| 91操网| 亚洲9久久精品| 亚洲宗合激情| 九九无码AV| 久久精彩视频18| 91嫩草国产线观看亚洲一区二区| 国产看真人毛片爱做A片| 天天做天天爽| 婷婷成人网五月天| 大香蕉九九| 色综合网上班开心婷婷久久| 91超级碰在线视频| 热99精品视频五月| 色一情一乱一乱一区91| 停停综合色色| 色婷天天| 欧美色图45678| 任你擦免费视频| 婷婷在线综合| 久久只有这里精品免费| 国产超碰人人| 六月婷婷激情| 26uuu色噜噜精品一区| 91青娱乐青青草| 亚洲AV成人精品日韩在线播放| 色婷婷在线播放| 在线区区区| 色噜噜,噜噜色| 丁香五月亚洲婷婷| 99热这里只有免费精品| 超碰网站在线观看| 色五月天在线观看| 天天插天天插天天插天天插 | 五月天婷婷久久| 92久久| 国产激情综合| 春色激情| AV在线二十六页| 婷婷五月丁香超碰| 最新热中文字幕| 五月色婷婷影视在线电影| 亚洲色vA| 99热丁香| 99综合| 色综合色| 亚洲啪啪精品| 91热99| 九九爱看亚洲| 99热精品在这里| 色999亚洲人成色| 国产真实乱对白精彩| 久草丁香婷婷五月天婷| www.久久| 五月丁香婷婷开心| 亚洲无码播放| 乱乱av| 亚洲天堂啪啪| 五月永久激情| 任你搞网站| 性爱激情五月| 九色婷婷| 天天撸夜夜爽| 丁香五月婷婷六月| 99久久婷婷综合| 99婷婷| 熟女激情五月天| 久久久五月天| 日韩欧美一道四区中文字幕| 国产成人AV人人爽人人澡Va| 激情五月久久| 久久精品一区二区三区四区| 色综合色综合网| www.五月天激情| 99热最新| 亚洲一区国产传媒| 99热精品6| 六月色婷婷| 婷婷五月天亚洲综合| 色五月成人在线| 丁香六月激情综合| 九月性爱网| 五月婷婷久久开心网| AV网站免费在线| 98色丁香五月婷婷综合网| 逼逼AV| 国产在这里只有精品| 五月天婷婷婷| 天天操天天爱天天玩| 亚洲激情AV| 亚洲精品网址| 五月丁香婷中文字幕| 激情AV| 超碰色天堂| 色婷婷五月综合网| 婷婷五月天小说| 亚洲第一成人无码A片| 五月天婷婷激情| 9l视频自拍九色9l黑人| 五月天天天开心激情网| 日本婷婷五月天| 五月婷婷三级| 丁香 亚洲 久久| 99ri视频在线观看| 99热精品一| 五月婷视频| 色婷| 欧美精产国品一二三区| 怡春院久操| 狠狠色丁香| 碰碰人人人| 九九九九九九九热| 乱乱av| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 丁香五月骚喷水视频| 五月婷婷日| 91九色熟女| 丁香五月六月综合激情| 五月婷在线观看| 99啪啪视频| 精品人人操| 一区二区成人电影| 四色五月视频| 五月婷婷在线视频| 蜜臀99久久精品久久久久| 五月婷婷五月天激情网| Y11111111111少妇电影院| 天天久| 超碰9在| 超碰在线观看99| 久久精品4| 欧美人妻一区二区| 亚洲婷婷在线播放十月| 久久久久久久97| 亚洲精品视频在线播放| 99热这里有精力| 色播五月婷婷| 丁香六月婷婷久久综合| 亚洲一区二区无码蜜乳av| 亚洲黄网在线| 亚洲性视频| 日韩AV片| 热99在线| 欧美婷婷五月无砖| 丁香五月婷婷啪啪视频| 狠狠色综合精品视频在线| 婷婷五月天丁香久久| 可以直接看的AV网站| 综合欧美五月婷婷| 99爱无码| 婷婷五月天久久综合88| 91性高潮久久久久久久久| 婷婷丁香六月五月天| 欧美色五月| 这里精品| 五月丁香亭亭操逼| 综合网亚洲| 五月激情久久综合| 伊人超碰在线| 最新av在线观看| 丁香五月天色综合| www婷婷色| 九月婷婷色色| 这里只有精品,日韩视频| 亚洲色色色| 五月婷婷之美女图片| 99久久欧美| 亚洲操精品| 婷婷色五月天第7色| 极品五月天| 玖玖综合网| 欧美成人网婷婷综合在线| 日本色色视频| 五月开心网| 开心五月天激情网站| 丁香五月网站| 大香蕉在线观看9| 九月婷婷综合| 牛牛碰免费| 色婷婷六月天| 国产高清av黄色看片| 五月婷婷激情久久| 色婷婷五月婷婷五月婷婷五月| www。88热在线视频免费观看| 五月丁香六月婷婷网| 一级片sese片.COM| 9色在线视频精品观看| 丁香五月色情| 激情五月天小说网| ,99视频久久| 久久综合色情网站| 欧美性猛交99久久久久99按摩| 婷婷六月天| 中文无码精品一区二区三区| 五月天激情日色在线| 99ri在线视频| 激情六月一二| 成人精品一区二区三区四区五区| 淫五月停停| 超碰在线看| 色五月婷婷91| 久久伊人五月天| 五月婷婷开心激情六月蜜桃| 玖玖爱资源站| 九一牛视频探花| 中文字幕在线免费看线人| 啪啪激情网| 亚洲五月天激情| 久久99色色| 好吊丝aV| 久久人妻久久久久| 婷婷九月丁香| 九九色院| 丁香五月天AV在线 | 天天开心婷婷丁香五月| 激情综合国产| 亚洲成片在线观看| 亚洲久艹| 午夜微拍福利| 风流少妇A片一区二区蜜桃| 另类天堂| 9l视频自拍9l视频自拍九色学生| 五月丁香六月婷婷亚洲综合| 五月天婷婷丁香花| 亚洲综合视频天天精品| 丁香六月婷婷开心| 亚洲av免费在线| 99热青青草| www.久久99热地址发布| 日韩乱轮AV| 日韩精品无码一区二区| 欧美性爱五月天| 丁香成人五月天| 婷婷五月综合在线| 人妻激情综合| 亚洲乱码在线观看| 91婷婷丁香五月| 午夜天堂啪啪| 久久ww| 日本丁香五月| 婷婷五月婷婷| 大地9中文在线观看免费高清| 99热66| 亚洲成人免费在线| 色色色综合| 97天堂| 99色| 清纯唯美 激情四射| 久久五月婷婷综合网| 九七色色六月丁香| 97精品人人A片免费看| ..真实国产乱子伦毛片| 成人色情五月天婷婷丁香| 久久婷婷电影| www.色色com| 婷婷狠狠97| 七七久久婷婷| 丁香五月天堂网AV| 亚洲激情五月| www.久久久.com| 激情视频婷婷五月花| 亚洲看av的网站| 中文网av| 五月激情网站| AV操操操| 色婷婷丁香五月天| 久久人人妻| 国产精品久久久久久妇女6080| 色色色色色色综合网| 婷婷九月久久| www.精品99| 丁香五月AV综合| 激情五月少妇| 九月婷婷激情| 色色色综合网| 嫩BBB搡BBBB榛BBBB| 婷婷五月综合丁香久久| 亚洲有码在线视频| 99精品久久| 五月婷婷开心色伊人| www.色擼擼.com| 女人天堂AV| 五月丁香啪啪网| 国产特黄色精品一区二区三区精品无广告 | 久草五月| 91色五月| 极品人妻VIDEOSSS人妻| 久久天堂女人| www狠狠| 六月婷婷色宗合| 精品草原久久视频| 91日日日| 91九色最新视频| 1区2区视频| 99热日本| 五月花婷婷| 777精品久无码人妻蜜桃| 色护士综合| 丁香五月六月婷婷综合| 丁香五月欧美色综合| 日日夜夜天天| 艹色18p| 天天综合网、天天综合色 | 久久九九热视频| 九一牛视频探花| 激情爱爱网站| 另类激情五月| 久操福利| 色香蕉精品五夜婷| 美女网黄| 99性爱视频网站| 99热这里是精品| 97在线日本| 日韩黄黄| 91操碰| 五月黄色婷婷| 亚洲VA在线| 欧美在线视频99| 大香蕉人在线65| 秋霞电影一级黄| 97久久草草超级碰碰碰| 91午夜婷婷狠狠久久综合9色| 激情九九六月激情免费视频| 婷婷黄色五月天在线视频| 久久这里都是精品| 综合福利网| 久草性爱| 日本狠狠色| 日产精品久久久久久久蜜臀| 色偷偷色婷婷| 99热这里只有是亚洲国产| 五月天综合久久| 丁香五月天.com| 丁香六月无码播放| 少妇人妻偷人精品无码视频新浪| 超碰91在线| 在线中文亚洲| 日本乱论99| 思思热精品在线观看| 91妻人人爽人人看片| 婷婷中文字幕| av在线中文| 中文成人在线| 人人草人人爱手机视频看看| 99热久| 深爱 五月天| 99热精品在这里| 欧美日综合| 一丁香五月天月AV| 五月天激情黄色网址| 激情婷婷丁香五月天小说| 久久五月天视频| 日本黄色精品| 婷婷五月天久久久| 午夜69成人做爰视频| AV中文在线| 99精品一二三四视频| 色五月五月婷婷| 五月六月伦理|