欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Elasticsearch 6.5.4三節(jié)點集群部署與排錯實戰(zhàn):從單機到高可用架構(gòu)

Elasticsearch 6.5.4三節(jié)點集群部署與排錯實戰(zhàn):從單機到高可用架構(gòu) Elasticsearch 6.5.4這個版本在很多人眼里已經(jīng)算“老家伙”了但直到今天它仍然活躍在一大堆公司的生產(chǎn)環(huán)境里日志平臺、訂單檢索、商品搜索甚至一些跑了好幾年沒敢動的業(yè)務(wù)系統(tǒng)。前段時間我把內(nèi)網(wǎng)一套ES從單節(jié)點擴成3節(jié)點集群中間踩了不少坑也把常見的報錯挨個處理了一遍。這篇文章就把整個 elasticsearch-6.5.4 集群部署過程完整記錄下來從環(huán)境初始化、配置文件解讀到三節(jié)點聯(lián)調(diào)最后把部署和運行時最常見的錯誤全部貼出來附上報錯現(xiàn)場、原因分析和解決辦法。不管你是剛從單機ES遷移到集群的運維還是第一次在測試環(huán)境搭ES集群的開發(fā)這篇都能直接照著抄。1. 項目概述與集群設(shè)計思路1.1 為什么從單節(jié)點升級到三節(jié)點集群很多人一開始接觸ES都是單節(jié)點跑著玩裝好、啟動、建索引、寫數(shù)據(jù)看起來一切正常??梢坏?shù)據(jù)量上來單節(jié)點的問題就藏不住了JVM堆內(nèi)存漲上去之后GC越來越卡機器宕機數(shù)據(jù)直接不可用想給索引配副本都配不了——因為副本分片不能和主分片放在同一個節(jié)點上這不只是ES的限制而是分布式系統(tǒng)的基礎(chǔ)邏輯。ES集群的核心就是把一個索引拆成多個分片shard散到不同節(jié)點上每個分片還能配副本replica。這樣單點掛了其他節(jié)點上的副本還能繼續(xù)服務(wù)查詢也可以并行打到多個分片吞吐量比單機高出一截。生產(chǎn)環(huán)境里最常見的起步配置就是三節(jié)點原因很簡單三節(jié)點可以同時容忍一個節(jié)點宕機還能正常選出主節(jié)點。兩個節(jié)點看著省錢實際上很容易出現(xiàn)集群腦裂或主節(jié)點選舉僵局維護成本反而高。這次部署的硬件環(huán)境是三臺CentOS 7.6虛擬機配置都是4核16G內(nèi)存、100G數(shù)據(jù)盤。ES版本固定為6.5.4主要考慮是這套環(huán)境和現(xiàn)有的日志采集鏈路已經(jīng)跑通升級大版本會牽扯到數(shù)據(jù)遷移、插件兼容、客戶端版本等一系列改動代價不小。如果是全新項目我會建議直接上更新的版本但存量系統(tǒng)里6.5.4穩(wěn)定跑著別亂動就是最好的方案。1.2 節(jié)點角色和硬件規(guī)劃ES 6.5.4里節(jié)點角色主要通過兩個參數(shù)控制node.master和node.data。簡單理解node.master: true表示這個節(jié)點有資格參與主節(jié)點選舉負(fù)責(zé)集群級別的元數(shù)據(jù)管理、索引創(chuàng)建刪除、分片分配等操作node.data: true表示這個節(jié)點負(fù)責(zé)存儲數(shù)據(jù)、執(zhí)行搜索和寫入請求。規(guī)劃節(jié)點角色時不要想得太復(fù)雜。小集群3到5個節(jié)點最省事的做法是每個節(jié)點都同時承擔(dān) master 候選和 data 角色也就是“混合節(jié)點”。只有當(dāng)集群規(guī)模到了幾十個節(jié)點、主節(jié)點負(fù)載明顯偏高時才需要拆出專門的 master 節(jié)點避免數(shù)據(jù)節(jié)點頻繁執(zhí)行大查詢把主節(jié)點拖垮。這次三臺機器的角色規(guī)劃如下節(jié)點名IP角色內(nèi)存數(shù)據(jù)盤node-1192.168.80.101master候選 data16G100Gnode-2192.168.80.102master候選 data16G100Gnode-3192.168.80.103master候選 data16G100G三節(jié)點全部設(shè)為 master 候選是因為minimum_master_nodes這個防腦裂配置在奇數(shù)節(jié)點下最好算候選節(jié)點數(shù)除以2加1三節(jié)點就是2。如果只有兩個節(jié)點是 master 候選公式是2/212也能運行但一旦其中一個掛了剩下的節(jié)點湊不夠法定票數(shù)整個集群就會停止服務(wù)沒有意義。1.3 大數(shù)據(jù)集群部署的基本策略做集群部署最忌諱的是“裝完再說”。ES集群雖然是軟件層面的事情但真正決定它穩(wěn)不穩(wěn)定的往往是裝之前的規(guī)劃。我的習(xí)慣是先走一遍下面的清單再動手指安裝網(wǎng)絡(luò)規(guī)劃三臺機器內(nèi)網(wǎng)互通防火墻放行9200和9300端口/etc/hosts里寫好三臺機器的解析記錄。這一步?jīng)]做好后面會出現(xiàn)各種詭異的節(jié)點連接失敗。系統(tǒng)參數(shù)JDK版本、vm.max_map_count、文件句柄數(shù)、內(nèi)存鎖定限制這些必須在啟動ES之前調(diào)整完否則會撞上一連串bootstrap check錯誤。目錄規(guī)劃數(shù)據(jù)目錄、日志目錄單獨劃分磁盤不要和系統(tǒng)盤擠在一起。ES的寫入放大效應(yīng)很明顯數(shù)據(jù)盤滿了會直接導(dǎo)致集群只讀。部署順序先單節(jié)點啟動確認(rèn)沒報錯再逐臺加入最后統(tǒng)一驗證集群狀態(tài)。這套思路不光是ES適用搭其他大數(shù)據(jù)組件比如Kafka、HDFS也是同一個套路先設(shè)計再實施啟動失敗時通過日志定位而不是反復(fù)重啟碰運氣。2. 環(huán)境準(zhǔn)備與基礎(chǔ)配置2.1 JDK 1.8 安裝與版本確認(rèn)ES 6.5.4官方要求JDK 1.8及以上這里我直接用的是系統(tǒng)安裝的OpenJDK 1.8。如果不想在服務(wù)器上裝額外的東西發(fā)行包里也帶了自檢邏輯但生產(chǎn)環(huán)境我建議還是手動裝一個明確的JDK版本方便后續(xù)排查問題。# 查看是否已安裝JDK java -version # CentOS 7下用yum安裝OpenJDK 1.8 yum install -y java-1.8.0-openjdk-devel # 確認(rèn)JAVA_HOME echo $JAVA_HOME # 如果沒有輸出在/etc/profile里加一行并source # export JAVA_HOME/usr/lib/jvm/java-1.8.0-openjdk這里有一個容易忽略的坑如果服務(wù)器上同時存在多個JDK版本JAVA_HOME指到了JDK 11甚至更高版本ES 6.5.4在啟動時可能會報版本不兼容或者一些奇怪的類加載錯誤。所以在啟動ES之前先單獨執(zhí)行一次java -version確認(rèn)是1.8再往下走。2.2 系統(tǒng)參數(shù)調(diào)優(yōu)內(nèi)核、文件句柄、內(nèi)存鎖定ES官方文檔里特別強調(diào)的Linux系統(tǒng)參數(shù)有三個少一個都會導(dǎo)致啟動失敗或運行期性能問題。第一個是vm.max_map_count默認(rèn)值是65530ES要求至少262144。這個參數(shù)控制的是進(jìn)程最多能擁有的內(nèi)存映射區(qū)域數(shù)量ES用mmap加載索引段文件數(shù)據(jù)量大以后很容易觸到上限。啟動時如果沒調(diào)錯誤信息長這樣[1] bootstrap checks failed [1]: max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]解決辦法就是改內(nèi)核參數(shù)并持久化sysctl -w vm.max_map_count262144 echo vm.max_map_count 262144 /etc/sysctl.conf sysctl -p第二個是文件句柄數(shù)。ES進(jìn)程需要打開大量文件每個分片、每個索引段、日志文件都要占用fd默認(rèn)的4096根本不夠。修改方式是在/etc/security/limits.conf里給ES用戶加上限制cat /etc/security/limits.conf EOF esuser soft nofile 65536 esuser hard nofile 65536 esuser soft nproc 4096 esuser hard nproc 4096 esuser soft memlock unlimited esuser hard memlock unlimited EOF第三是內(nèi)存鎖定。如果你打算在elasticsearch.yml里設(shè)置bootstrap.memory_lock: true就必須給用戶配置memlock unlimited否則啟動會報“memory locking requested for elasticsearch process but memory is not locked”。所以limits.conf里那兩行memlock不要漏掉。2.3 創(chuàng)建用戶與目錄規(guī)劃ES出于安全考慮不允許用root直接啟動報錯信息很直接“can not run elasticsearch as root”。所以需要單獨建一個系統(tǒng)用戶。groupadd esgroup useradd -m -s /bin/bash -g esgroup esuser mkdir -p /data/es-data /data/es-logs chown -R esuser:esgroup /data/es-data /data/es-logs數(shù)據(jù)目錄和日志目錄分開放這個細(xì)節(jié)看著不起眼實際很有用。ES運行一段時間后數(shù)據(jù)目錄體積會漲得很快日志如果也寫在里面排錯時想清理日志就很不方便數(shù)據(jù)盤和日志盤混在一起還容易相互影響。下載和安裝直接解壓就行cd /usr/local wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.tar.gz tar -zxvf elasticsearch-6.5.4.tar.gz mv elasticsearch-6.5.4 /usr/local/elasticsearch chown -R esuser:esgroup /usr/local/elasticsearchES的安裝包是免編譯的解壓就能用這也是它部署起來相對快的原因。但解壓之后一定要記得改屬主否則以esuser用戶啟動時會遇到權(quán)限問題的報錯很容易被誤判成別的問題。3. 集群核心配置詳解3.1 集群名稱、節(jié)點名稱與角色劃分ES的配置文件在/usr/local/elasticsearch/config/elasticsearch.yml。第一個要改的是cluster.name這是集群的“身份證”只有相同cluster.name的節(jié)點才會加入同一個集群。默認(rèn)值是“elasticsearch”生產(chǎn)環(huán)境一定要改成自己的名字否則內(nèi)網(wǎng)里如果有別的ES實例可能發(fā)生節(jié)點串集群的尷尬事故。node.name是節(jié)點在集群里的名字必須唯一。建議和機器名保持一致這樣在監(jiān)控面板里一眼就能看出是哪臺機器出了問題。我在node-1上配置如下cluster.name: es-cluster-prod node.name: node-1 node.master: true node.data: truenode.master和node.data都設(shè)為true在自定義ES的時候要特別注意如果一個節(jié)點node.master和node.data都是false那這個節(jié)點就是個客戶端節(jié)點只轉(zhuǎn)發(fā)請求不存儲數(shù)據(jù)。小集群里一般不需要這樣的節(jié)點白白浪費一臺機器。3.2 網(wǎng)絡(luò)綁定、端口與跨域設(shè)置網(wǎng)絡(luò)配置是初學(xué)者最容易懵的地方。network.host決定ES監(jiān)聽在哪個IP上。默認(rèn)是127.0.0.1也就是只能本機訪問。要讓集群節(jié)點間互相通信必須綁到內(nèi)網(wǎng)IP最簡單的寫法是network.host: 192.168.80.101 http.port: 9200 transport.tcp.port: 9300http.port是供REST API調(diào)用的端口Kibana、head插件、業(yè)務(wù)代碼都走這個端口。transport.tcp.port是節(jié)點間內(nèi)部通信的端口集群的發(fā)現(xiàn)和數(shù)據(jù)復(fù)制都走9300。生產(chǎn)環(huán)境里防火墻一般要同時放行這兩個端口很多人只放9200結(jié)果節(jié)點死活加入不了集群排查到最后才發(fā)現(xiàn)是9300被擋了。還有一個跨域配置如果你打算用elasticsearch-head這個瀏覽器插件來管理集群必須在yml里開啟CORShttp.cors.enabled: true http.cors.allow-origin: *不加這兩行head插件會一直報連接失敗因為瀏覽器的跨域策略直接攔截了請求。這個錯誤我在后面會專門列出來。3.3 節(jié)點發(fā)現(xiàn)與腦裂防護ES 6.5.4用的是ZenDiscovery機制節(jié)點通過discovery.zen.ping.unicast.hosts指定的地址列表來互相發(fā)現(xiàn)。配置方法是把集群里所有節(jié)點的IP和transport端口都寫進(jìn)去discovery.zen.ping.unicast.hosts: - 192.168.80.101:9300 - 192.168.80.102:9300 - 192.168.80.103:9300這里有個細(xì)節(jié)要注意列表里的IP要寫全每個節(jié)點都寫同樣的列表而不是只寫自己。這樣任何一個節(jié)點啟動后都能通過列表里的其他節(jié)點找到整個集群。防腦裂的配置是discovery.zen.minimum_master_nodes這也是6.x版本里最重要的一個參數(shù)。腦裂指的是集群被分成兩個“小集群”各自以為自己是主數(shù)據(jù)寫入互相沖突。防止辦法就是要求選舉主節(jié)點時必須湊夠法定票數(shù)三節(jié)點集群計算公式為3 / 2 1 2discovery.zen.minimum_master_nodes: 2有些人圖省事不配這個參數(shù)默認(rèn)值是1這在三節(jié)點集群里是致命的。一旦網(wǎng)絡(luò)抖動兩個從節(jié)點可能各自都認(rèn)為自己是主節(jié)點整個集群的寫入就亂了。3.4 JVM堆內(nèi)存怎么設(shè)置最合理ES的JVM堆內(nèi)存配置在/usr/local/elasticsearch/config/jvm.options。6.5.4默認(rèn)是1G生產(chǎn)環(huán)境肯定不夠。我的經(jīng)驗是設(shè)置成物理內(nèi)存的一半但最好不要超過30G。-Xms8g -Xmx8g為什么是30G這個數(shù)字因為JVM的CompressedOops壓縮指針技術(shù)只對堆內(nèi)存小于32G的情況有效超過32G后指針會變寬同樣的數(shù)據(jù)占用更多內(nèi)存GC性能反而下降。所以即使機器有128G內(nèi)存ES堆內(nèi)存也建議控制在31G以內(nèi)剩下的內(nèi)存留給操作系統(tǒng)做文件緩存這對ES的讀取性能幫助很大。-Xms和-Xmx要設(shè)成一樣大避免JVM運行中動態(tài)擴容導(dǎo)致GC抖動。還有一個原則是不要隨便改GC策略6.5.4默認(rèn)的GC在絕大多數(shù)場景下已經(jīng)夠用強行換成別的GC調(diào)優(yōu)沒有壓測數(shù)據(jù)支撐基本是給自己挖坑。4. 三節(jié)點集群部署實操全流程4.1 節(jié)點一node-1完整部署所有系統(tǒng)參數(shù)和用戶準(zhǔn)備完后開始配node-1。先編輯elasticsearch.yml把完整配置寫出來cluster.name: es-cluster-prod node.name: node-1 node.master: true node.data: true path.data: /data/es-data path.logs: /data/es-logs bootstrap.memory_lock: true network.host: 192.168.80.101 http.port: 9200 transport.tcp.port: 9300 http.cors.enabled: true http.cors.allow-origin: * discovery.zen.ping.unicast.hosts: - 192.168.80.101:9300 - 192.168.80.102:9300 - 192.168.80.103:9300 discovery.zen.minimum_master_nodes: 2我建議用systemd來管理ES進(jìn)程比bin/elasticsearch -d直接后臺跑更規(guī)范開機自啟和異常重啟都方便。寫一個systemd服務(wù)文件/etc/systemd/system/elasticsearch.service[Unit] DescriptionElasticsearch Afternetwork.target [Service] Typesimple Useresuser Groupesgroup LimitNOFILE65536 LimitNPROC4096 LimitMEMLOCKinfinity ExecStart/usr/local/elasticsearch/bin/elasticsearch Restartalways [Install] WantedBymulti-user.target注意systemd里也要設(shè)置LimitNOFILE和LimitMEMLOCK即使已經(jīng)在limits.conf里配置過了systemd服務(wù)默認(rèn)還是會用自己的一套限制這兩個地方必須同時改。配置完成后重載并啟動服務(wù)systemctl daemon-reload systemctl enable elasticsearch systemctl start elasticsearch啟動后先不要急著操作觀察日志。ES啟動比較慢第一次啟動可能要等十幾秒看日志文件tail -f /data/es-logs/es-cluster-prod.log看到類似下面的輸出說明啟動成功[INFO ][o.e.n.Node] [node-1] initialized [INFO ][o.e.n.Node] [node-1] started [INFO ][o.e.n.Node] [node-1] adding [node-1] to [es-cluster-prod]...然后驗證HTTP接口curl -s http://192.168.80.101:9200/?pretty正常會返回集群名、節(jié)點名和版本號信息。這時候集群里只有node-1一個節(jié)點狀態(tài)是yellow這很正常因為分片的副本還沒地方放。4.2 節(jié)點二、節(jié)點三加入集群node-2和node-3的配置和node-1幾乎一樣只有兩個地方不同node.name改成自己的機器名network.host改成自己的IP。其他配置保持一致尤其是discovery.zen.ping.unicast.hosts列表里要寫三個節(jié)點這一點不能漏。node-2的/etc/systemd/system/elasticsearch.service和node-1相同elasticsearch.yml只需要改兩行node.name: node-2 network.host: 192.168.80.102node-3同理改成node-3和192.168.80.103。我一般會把node-1的整個配置目錄用scp復(fù)制過去再改這兩個字段這樣不容易打錯字scp -r /usr/local/elasticsearch/config esuser192.168.80.102:/usr/local/elasticsearch/復(fù)制完記得改屬主。然后分別啟動node-2和node-3再回到node-1上看集群狀態(tài)curl -s http://192.168.80.101:9200/_cluster/health?pretty如果看到status: green、number_of_nodes: 3、unassigned_shards: 0就說明集群已經(jīng)構(gòu)建成功。我部署時第一次沒看到green而是卡在yellow后來發(fā)現(xiàn)是之前測試留下的索引副本還沒分配完等幾十秒讓ES自動重新分配就好了。如果等了幾分鐘還是黃色就要用下面第5部分的方法排查了。4.3 集群健康檢查與功能驗證集群狀態(tài)green只代表分片分配沒問題業(yè)務(wù)功能還得實際測一下。我習(xí)慣在部署完成后創(chuàng)建一個測試索引寫入幾條數(shù)據(jù)再搜一遍curl -s -XPUT http://192.168.80.101:9200/test-index -H Content-Type: application/json -d { settings: { number_of_shards: 3, number_of_replicas: 1 } }然后寫入一條文檔curl -s -XPUT http://192.168.80.101:9200/test-index/_doc/1 -H Content-Type: application/json -d { title: cluster test, content: this is a test doc }再執(zhí)行搜索curl -s http://192.168.80.101:9200/test-index/_search?qtitle:clusterpretty能看到正常返回結(jié)果說明集群的寫入、分片、副本和查詢鏈路都通了。如果還需要Kibana只需在Kibana的kibana.yml里配好一個節(jié)點的地址比如elasticsearch.hosts: [http://192.168.80.101:9200]Kibana會自動感知集群里的其他節(jié)點。5. 常見錯誤與排查技巧實錄5.1 啟動失敗類錯誤這部分是部署ES時遇到最多的問題幾乎每個新手都會在這里卡一輪。我把最常見的幾個啟動失敗錯誤列出來都是真實報錯信息。錯誤一max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]這個錯誤在初次部署時出現(xiàn)頻率極高。原因是ES進(jìn)程的文件句柄上限不夠。在limits.conf里配了65536之后重開SSH會話或者重啟服務(wù)才會生效。如果你用的是systemd還要檢查服務(wù)文件里的LimitNOFILE是否也設(shè)置了。# 確認(rèn)當(dāng)前進(jìn)程的limit cat /proc/es_pid/limits | grep open files錯誤二max virtual memory areas vm.max_map_count [65530] likely too low這個在前面已經(jīng)提過直接執(zhí)行sysctl -w vm.max_map_count262144臨時生效再寫進(jìn)/etc/sysctl.conf持久化。有時候你明明執(zhí)行了sysctl命令但ES還是報同樣的錯誤可能是你改了宿主機的參數(shù)但ES跑在容器里或者systemd開啟了不同的命名空間需要確認(rèn)修改作用于ES所在的隔離環(huán)境。錯誤三memory locking requested for elasticsearch process but memory is not locked如果你啟用了bootstrap.memory_lock: true這個錯誤說明鎖定內(nèi)存失敗。檢查limits.conf里的memlock是否為unlimitedsystemd服務(wù)里是否加了LimitMEMLOCKinfinity。如果想要省事可以把bootstrap.memory_lock設(shè)為false但生產(chǎn)環(huán)境建議還是開啟避免ES堆內(nèi)存被交換到磁盤導(dǎo)致性能驟降。錯誤四can not run elasticsearch as rootES出于安全考慮禁止root啟動用之前創(chuàng)建的esuser用戶來啟動就好。檢查當(dāng)前用戶whoami如果是root切換到esusersu - esuser -c /usr/local/elasticsearch/bin/elasticsearch5.2 節(jié)點無法加入集群類錯誤三臺機器都配好啟動后節(jié)點之間能不能正常組集群這是繞不開的一個坎。經(jīng)典報錯是日志里反復(fù)出現(xiàn)[INFO ][o.e.d.z.ZenDiscovery] [node-2] master not discovered yet, waiting for [30s]看到這個別慌這不是立刻失敗是節(jié)點在等主節(jié)點。如果等了很久還是這個日志就要往這幾個方向排查先看discovery.zen.ping.unicast.hosts配置是否完整三臺機器的IP和9300端口都要寫進(jìn)去。再看防火墻是否放行了9300端口# 在node-1上測試到node-2的9300端口是否連通 telnet 192.168.80.102 9300telnet能通說明網(wǎng)絡(luò)沒問題不通就去查防火墻。很多云環(huán)境的安全組規(guī)則也要檢查服務(wù)器本地防火墻可能關(guān)了但安全組把你的9300端口擋在外面了。再看cluster.name是否一致。三個節(jié)點集群名必須一模一樣這玩意不匹配節(jié)點互相看不到對方會一直重復(fù)“waiting for master”的循環(huán)。我在測試環(huán)境里犯過一次這個錯誤node-1寫的是es-cluster-prodnode-2的配置是從別的環(huán)境復(fù)制來的集群名還是es-cluster-test結(jié)果node-2永遠(yuǎn)進(jìn)不了集群日志里也不報明顯的錯誤排查了半小時才發(fā)現(xiàn)是這種低級問題。如果日志里有類似failed to send join request to master重點檢查transport端口和節(jié)點間網(wǎng)絡(luò)。這類問題排查思路跟“點擊一個按鈕沒反應(yīng)時先看頁面報了什么錯”是一樣的不要猜先看節(jié)點日志日志指向哪個方向就順藤摸瓜。5.3 集群運行期錯誤分片未分配、磁盤水位、索引只讀集群啟動成功不代表萬事大吉運行期的問題才是真正考驗排錯能力的地方。分片未分配unassigned shards集群狀態(tài)yellow或者red最直接的表現(xiàn)就是_cluster/health里的unassigned_shards不為0。先看哪些分片沒分配curl -s http://192.168.80.101:9200/_cat/shards?v curl -s http://192.168.80.101:9200/_cluster/allocation/explain?prettyallocation/explain接口會直接告訴你為什么分片分配不了是磁盤空間不足、還是副本數(shù)大于可用節(jié)點數(shù)、還是節(jié)點沒起來。我用這個接口的時候有一次是因為索引副本數(shù)配成了2但集群只有3個節(jié)點主分片占掉一個節(jié)點后兩個副本至少要4個節(jié)點才能放下自然分配不了。把副本數(shù)改成1問題立即解決。如果節(jié)點宕機后重啟分片暫時顯示UNASSIGNED是正常的ES會自動重新分配。但如果等了很久還沒恢復(fù)可以嘗試觸發(fā)一次重新分配curl -s -XPOST http://192.168.80.101:9200/_cluster/reroute?retry_failedtrue這個命令只是重新觸發(fā)分配流程不會幫你解決根本問題最終還是要看explain接口指出的原因。磁盤高水位high disk watermark [90%] exceededES默認(rèn)在磁盤使用率達(dá)到85%時停止分配新分片到90%時會嘗試把分片遷移到其他節(jié)點防止磁盤寫滿。數(shù)據(jù)量大的業(yè)務(wù)索引和分片漲得飛快磁盤說滿就滿。日志里會出現(xiàn)[WARN ][o.e.c.r.a.DiskThresholdMonitor] [node-2] high disk watermark [90%] exceeded on [node-2], all copies of the shards are allocated to other nodes這時的解決辦法不是改配置而是先清理磁盤。刪掉過期索引或者擴磁盤才是正路。臨時降低水位線雖然能讓ES繼續(xù)寫但會帶來很大的數(shù)據(jù)風(fēng)險比如磁盤真的寫滿導(dǎo)致節(jié)點崩潰我一般只在應(yīng)急的時候才用用完之后立刻恢復(fù)默認(rèn)值cluster.routing.allocation.disk.watermark.low: 85% cluster.routing.allocation.disk.watermark.high: 90%索引變成只讀磁盤水位出問題時ES在某些版本里會自動把索引置為只讀來保護數(shù)據(jù)表現(xiàn)就是業(yè)務(wù)方寫入報錯。清理完磁盤后記得手動解除索引的只讀狀態(tài)curl -s -XPUT http://192.168.80.101:9200/your-index/_settings -H Content-Type: application/json -d { index.blocks.read_only_allow_delete: null }5.4 常見錯誤速查表下面這些是我在實際部署和運維里遇到過的錯誤匯總整理成速查表方便大家直接對號入座錯誤現(xiàn)象根本原因快速解決辦法can not run elasticsearch as root用root啟動了ES創(chuàng)建esuser并切換用戶max file descriptors [4096] too low文件句柄限制不夠limits.conf systemd LimitNOFILEvm.max_map_count [65530] too low內(nèi)存映射區(qū)域太少sysctl -w vm.max_map_count262144memory locking not availablememlock未放開limits.conf systemd LimitMEMLOCK bootstrap.memory_lockmaster not discovered yet節(jié)點發(fā)現(xiàn)失敗檢查unicast.hosts、防火墻9300、cluster.namefailed to send join requesttransport通信失敗檢查9300端口連通性node.id重復(fù) / node.name沖突多個節(jié)點配了同一個名字修改node.name保持唯一high disk watermark exceeded磁盤空間接近上限清理磁盤擴容數(shù)據(jù)盤unassigned_shards不為0分片無法分配allocation/explain接口定位原因head插件連不上ES跨域未開啟http.cors.enabled: truesystem call filters failed容器環(huán)境不支持seccomp物理機別管容器里按需調(diào)整bootstrap配置Permission denied目錄屬主不對chown -R esuser:esgroupheap size mismatchXms和Xmx不一致兩個參數(shù)設(shè)置相同值5.5 排查思路像調(diào)試點擊事件一樣定位集群問題很多人遇到ES報錯就慌了到處翻博客、試命令最后問題沒解決反而把集群狀態(tài)搞得更差。我自己的排錯思路非常固定和調(diào)試前端頁面上的一個點擊事件幾乎一樣先看事件有沒有觸發(fā)再順著調(diào)用鏈一層層看哪里斷了。ES的“事件觸發(fā)信息”就是它的日志和健康接口。打開節(jié)點日志看啟動時有沒有ERROR看運行中有沒有WARN打開_cluster/health看status是green、yellow還是red打開_cat/nodes看所有節(jié)點是否都正確加入了集群。這一套下來大部分問題的范圍能縮小到“配置問題、網(wǎng)絡(luò)問題、資源問題”三類。接著就是順著鏈路逐級排查。比如head插件點了連接沒反應(yīng)第一步看瀏覽器開發(fā)工具的網(wǎng)絡(luò)請求請求是否到達(dá)了9200端口如果到達(dá)了看ES返回的是什么狀態(tài)碼如果ES返回CORS相關(guān)的錯誤就去檢查yml里的跨域配置如果請求根本沒到去看Kibana或者其他前端代理是否正常工作。每個節(jié)點上排查都遵循“日志為主、猜測為輔”的原則不要憑感覺改配置每次只改一個參數(shù)改完看日志驗證改錯了就回滾。6. 集群上線后的日常運維建議6.1 每天/每周該看哪些指標(biāo)集群部署完不是終點日常運維才是長期要做的事。我建議每天固定看一次_cluster/health確認(rèn)status是green同時看節(jié)點的CPU、內(nèi)存、磁盤使用率。每周再花幾分鐘看看JVM堆內(nèi)存的使用趨勢、分片數(shù)量是否異常膨脹、查詢的響應(yīng)延遲有沒有明顯上升。# 快速查看集群健康 curl -s http://192.168.80.101:9200/_cluster/health?pretty # 查看節(jié)點狀態(tài) curl -s http://192.168.80.101:9200/_cat/nodes?v # 查看索引大小和分片分布 curl -s http://192.168.80.101:9200/_cat/indices?v如果發(fā)現(xiàn)某個節(jié)點堆內(nèi)存長期維持在85%以上就要考慮擴容或者清理數(shù)據(jù)了。ES集群的容量規(guī)劃要留出余量磁盤用到70%左右就該準(zhǔn)備清理或擴容等到90%報警再處理基本就處于很被動的狀態(tài)了。6.2 數(shù)據(jù)備份與安全創(chuàng)建分片副本只是提供了高可用不是備份。如果業(yè)務(wù)數(shù)據(jù)很重要一定要配置ES的快照功能把索引備份到獨立的存儲上。# 注冊快照倉庫 curl -s -XPUT http://192.168.80.101:9200/_snapshot/my_backup -H Content-Type: application/json -d { type: fs, settings: { location: /data/es-backup } }注意location目錄要提前創(chuàng)建好并且確保ES進(jìn)程有權(quán)限寫入。生產(chǎn)環(huán)境里最好把快照倉庫掛載到獨立的共享存儲或者對象存儲別跟數(shù)據(jù)盤放一起否則整臺機器掛了數(shù)據(jù)盤和備份盤都沒了等于沒備份。6.3 關(guān)于6.5.4版本和未來升級的實話6.5.4這個版本在ES的版本歷史里不算新官方也早已停止了維護。如果你的系統(tǒng)是新建的我建議直接用7.x甚至8.x的版本如果你是存量系統(tǒng)短時間內(nèi)動不了那至少要做到兩點一是不要輕易跨大版本升級ES的升級路徑有嚴(yán)格限制5.x到6.x、6.x到7.x的遷移規(guī)則都不一樣二是所有插件都要嚴(yán)格匹配版本比如IK分詞器有專門的6.5.4版本裝錯版本會導(dǎo)致es啟動后插件加載失敗。我個人的體會是ES集群的坑大多數(shù)集中在部署初期真正跑起來之后反而相對穩(wěn)定。把環(huán)境參數(shù)調(diào)好、把角色規(guī)劃清楚、把常見錯誤準(zhǔn)備好排查套路這套集群就能安安靜靜地為你服務(wù)很長一段時間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香花五月天| 国产AV一区二区三区最新精品| www.粉嫩av.com| 久久一级AV| 99热无码| 国产精品91抖高| 操比激情五月| 日本不卡中文字幕| 欧美va亚洲va在线播放| 亚洲1区| 五月天精品视频| 9久久精品| 色婷婷丁香| 狠狠色综合五月人人| 久久美女五月天| 婷婷五月天成人网| 99色激| 欧美久久一级内射wwwwww.| 天天操天天国产三级片处女学生妹| 中文字幕人妻AV| 久久久999精品| 91色五月| 九九精品网| 婷婷五月天在线观看| 99热在线观看免费| www,欧美干干干干干干| 亚洲激情淫网| 六月婷婷五月丁香首页| 色综合色综合网| 丁香五月天激情网| 久久视频这里都是精品| 五月天国产成人| 成人午夜视频精品一区| 亚洲人妻av伦理| 韩国激情五月天综合网| 久色资源| 俺去也五月天| 五月婷婷啪啪| 欧洲色| 色五月亚洲五月天| 凹凸操Av| 国产首页在线| 丁香五月23111| WWW.婷婷| 国产avapp 网| 91精品综合久久久久久五月丁香 | 26uuu精品一区二区| 欧美性猛交XXXX乱大交极品| 99精品在线观看视频| 婷婷五月天激情网| 天堂无码人妻精品AV一区| 9久久精品| 壅壅儕家a| www.久久9| 九九热视频免费的| 亲子乱AV一区二区三区下载| 色婷婷色| 激情九色| 中文资源在线a| 五月天激情婷婷五月天久久| 丁香五月在线观看完整版| 婷婷五月天激情偷拍| 精品九九在线观看视频| 天天激情视频| 天天激情站| 第四色婷婷色五月| 婷婷五月天在婷| 天天干天天爽天天爽| 婷婷5月开心6月| 午夜 外网 精品 在线| 成人精品一区二区三区四区五区 | 色婷婷的五月天| 久久婷婷激情视频| 久久色亭亭五月天| 五月丁香人妻| 又大又粗九一在线| 综合色色综合| 五月天激情综合网俺也去| 欧美久久婷婷| 天天操夜夜肏| 天堂综合久久| 99这里有精品| 五月婷狠狠| 激情丁香五月| 亚州精品色情无码A片| 五月花婷婷在线精品视频| 丁香六月AV| 婷色成人| 婷婷五月色天| 无码人妻少妇色欲AV一区二区| 久久精品99国产精品日本| 伊人无码高清| 伊人狠狠色婷婷综合丁香一区| 97久久久免费福利网址| 乱女乱妇熟女熟妇综合网站| 五月婷婷六月激情| 九九在线精品| 99天天操夜夜操| 五月丁香A片| 亚州综合色| 激情五月综合网| 婷婷五月天少妇| 夜夜骑福利资源| 丁香五月激情网| 丁香色婷婷| 国产肥白大熟妇BBBB视频| 丁香五月激情啪啪综合| 九热视频| 五月激情综| 五月丁香啪啪婷婷| 99操网站| 久久亚洲婷婷| 五月天啪啪啪| 大伊香蕉精品视频在线| 婷婷97碰碰| 国产精品色色666| 五月激情婷婷女| 久久九九@| 五月天激情小说网| 97精品自拍| 五月丁香 啪啪啪| 日本九婷婷| 1024人妻| 色五月天激情| 丁香五月婷婷在线观看| 免费视频WWW在线观看网站| 国产亚洲99久久精品熟女| 五月丁香婷中文| www国产亚洲色婷婷com| 午夜色婷婷| 99精彩视频在线观看| 97超碰人人操| 色欧洲| 99精品在线观看| 96精品国产综合久久久久久| 亚洲九九99精品视频在线播放| 亚洲六月婷婷| 亚洲无码www| 激情五月综亚网| 丁香五月色网| 亚洲AV永久无码影院黑人| 开心五月婷婷五月| 亚洲综合久| 91狼友视频在线观看| 超碰亚洲天堂| 99九九在线视频| 日韩一级淫乱片一区二区三区| 婷婷综合激情| 网色99| 亚洲丁香婷婷| 天天日婷婷| 久久九九综合| 婷婷在线观看五月天在线视频| 日本成人噜噜噜| 欧美日韩成人| 色婷婷久久综合久色| 九九99九九99| 欧美视频五区| 大香蕉五月婷婷| 中文字幕成人日韩| 久久人妻www| 精品无码久久久久久久久| 色开心五月丁香| 亚洲天堂AAA| 久久久免费精彩视频| 黄色一极大片| 欧美影院| 国产九九一区二区三区| 五月婷婷婷丁香播| 538任你爽视频不一样的| 99性爱精品| 99精品国产在热久久| 日韩在线99| 丁香桃色网| 国产精品成人网址| 五月婷婷69| 丁香操逼| 五月婷婷六月情| 日韩人妻AV在线| 5月婷婷综合| 久久综合五月天| 激情久久久久| www.久久99精品| 五月天久久婷婷| 五月五丁香婷婷| 色色色综合| 婷婷色五月激情| 九九热99精品| 欧洲高清免费久久| 久久婷婷五月天激情四射| 色婷婷五月天视频在线| 极品少妇高潮啪啪AV无码| 丁香五月影院| 久久日婷婷| 91色欲综合| 亚洲麻豆乱码国产2028| 丁香五月亚洲婷婷| 无码人妻丰满熟妇奶水区码| 久久综合激情五月天| 丁香六月综合激情| 天天综合天天做天天综合| 天天玩夜夜操天天爽| 我爱大香蕉| 久久五月天激情美女| 五月天色五月| 久久五月婷天天干| 色色草97| 婷婷伊人中文字幕| 五月丁香六月婷精品视频| 99热免费| 色综合99| 丁香六月婷婷一区| 婷婷五月成人社区| 91免费看片| 99久在线视频| 色婷婷性爱网| 4399在线日本A片| 色婷婷五月天av在线| 五月婷婷性爱| 思思热视频在线| 婷婷五月情| 九九AV| 伊人久久婷婷五月天激情四射| αv中文字幕在线观| 色五月成人在线| 91久久精品视频| 视频一二区| sS丁香五月婷婷| av高清无码| 夜夜干夜夜操| 日韩一66精品| 黄网在线观看免费| 91无码一区人妻A片蜜| 亚洲第一精品网站| 婷婷五月中文在线| 色九九丁香九月色九九色| AV九九| 亚洲无码成人性爰网| jiuse91在线| 26uuu精品一区二区| 天天干天天爽天天爽| 欧美色图天堂网色| 色九月综合| 五月丁香啪| 开心五月激情五月丁香五月婷婷| 激情五月天色色| av操B网站| 色丁香五月天| 五月六月丁香激情| 色婷五月丁香久亚洲| OUMEIRIHANCHENGREN| 激情婷婷丁香| 久久婷狠狠色| 玖玖资源在线视频| 婷婷丁香五月天综合激情| 99er精品视频| 色丁香久综合在线久综合在线观看| 婷婷 伊人 久久| 思思热视频在线| 天天插天天狠| 欧美综合123区| 性爱激情五月| 伊人五月天| 亚洲va综合va国产va中文| 狠狠擼综合| 五月丁香久久综合| 色五月婷婷影院| 成人αV视频免费观看| 五月丁香激| 亚洲人人操BD| 五月婷婷综合激情| 久久精彩综合视频| 国产做爰视频免费播放| 99碰超| 呦呦视频无码播放| 精品婷婷| 色五月自偷自拍婷婷婷婷| 丁香五月婷婷五月| 丁香五月九九| 五月丁香五月综合欧美| 婷婷久久综| 婷婷综合在线观看视频| 婷婷综合天堂| 欧美日韩999| 日本无码专区| 五月婷婷在线免费| 久狠日av| 狠狠色噜噜| 色欲日日躁| 久久机热这里只有精品免费视频| 色婷五月| 九月丁香婷婷| www.yw尤物| 伊人五月婷婷| 另类视频一区| 欧美日本综合网| 色婷操逼| 综合五月草| 香蕉网久久| www91色网站| 国产古装妇女野外A片| 婷婷五月天网| 97色在线| 国产熟妇的荡欲午夜视频| 91色婷婷综合久久中文字幕二区| 大香蕉婷婷| 五月天激情亚洲| 99久超碰| 99性视频| 日韩少妇内射免费播放| 九色亚洲| 日韩xx在线| 色99无码| 丁香五月六月综合激情| 97操在线视频| 国产五月丁香在线| 69er小视频| 欧美综合在线五月天色婷婷| 久久人妻高清中文| 丁香五月激情婷婷婷婷在线观看| 久久丁香综合| 亚洲精品婷婷| 婷婷啪啪| 婷婷五月天久草在线| 五月丁香婷婷欧美色图视频五月丁香777电影| 国产成人精品一区二区三区视频| 激情综合文学| 天天日夜夜欢| 26uuu淫色| 激情黄色五月天| 婷婷五月色网| 狠狠色丁香婷婷久久综合| 婷婷五月综合啪| 性生活视频98791| 91男同| www.婷婷| 狠狠噪| 综合99在线| 丁香五月色五月| 99久热| 激情五月综合网| 五月天亚洲最大成人| 日日操日日干| www.色九月| 久久婷婷五月天| 专区无日本视频高清8| 337久久| 四色五月视频| 影音先锋女人av鲁色资源网小说免费| 丁香五月婷婷色播艳门照| 五月婷婷在线播放| 亚洲综合99| 色婷网站| 91九色精品熟女内射| 色久播播| 五月婷婷视频| 欧美日韩精品人妻狠狠躁免费视频| 黄色网址五月婷婷| 97色干| 人人干人人操人人摸人人做| 国产成人AV在线播放 | 久久久久人妻精品| 婷婷激情综合色五月久久91| 99热国品免费| 丁香五月天啪啪激情综和网| 玖玖在线视频| 五月天婷婷色色首页| 色五月天丁香| 综合激情站| 日韩无码色色| 久久婷婷草| 婷婷丁香六月五月天| 开心激情网五月| 久久久性爱视频| 色婷婷AV在线观看| 国产精品噜噜在线视频| 伊人激情啪啪| 成片免费观看大全| 色婷婷综合五月| 久久艹99| 99热爱爱干干日| 丰满少妇乱A片无码| 六月激情网| 五月丁香怕怕综合| 97碰| 大胆伊人久久| 99热这里只有精品 搜| 97碰碰视频| 激情五月天色播| 大香蕉75线| 婷婷丁香激情五月| 国产精品大香蕉| 性爱五月丁香| 激情五月婷婷丁香| 婷婷五月五月丁香| 五月婷丁香在线视频在线| 久久激情五月婷婷| 99热狠狠操| 丁香五月色情| 国产成人精品一区二三区熟女在线| www99在线观看视频| 天天干天天操天天爱| 国产精品色色| 6月丁香婷婷| 91九色视频在线观看| 99re资源在线视频导航| 这里只有视频精品| 狠狠色噜噜狠狠狠狠综合| 538任你爽视频不一样的| 激情开心五月亚洲| 六月丁香综合| 伊人久久大香网| 五月婷婷六月色| 1024欧美看片| 五月天成人网婷婷| AV大片在线播放| www.天天干.com| 色五月综合激情| 99久久精品国产色欲| 欧美啄木乌丝袜人妻系列| 精品无码久久久久久久久| 黄色大片又大粗又爽| 91热爆在线| 黄网在线观看免费| 久9视频| 97碰| 日本精品99| 久热中文字幕| 婷婷五月丁香基地| 天天操夜夜啊 | 日韩av免费版| 这里只有久久精99| 99ri精品| 久热91| 激情五月婷婷综合| 久久综合热17c| 色播五月丁香| 99热这里有精品2| 麻豆AV一区二区三区| 色婷婷中文字母五月丁香| 五月丁香色综合| WWW、日本色丁香co m| 六月婷婷五月丁香| 艹| 91丨九色丨首页| 天天摸色吧天天摸色吧| 日韩肏屄网| www.久久爱.com| 欧美大香蕉视频| 在线成人网站| 女人天堂av| 日韩无码AV电影网站| 玖玖资源站视频| 99热欲| 人人草人人舔| 五月丁香婷婷福利| 黄色网址五月婷婷| 伊人久久大香线蕉av最新| 黄色一级影片| 丁香九月婷婷综合| 五月丁香啪啪拍| 五月婷婷丁香日韩在线| 亚洲精品色| 色色婷婷丁香| 潘金莲AAAAAAAAAA| 玖玖爱资源站| 538久久| 五月婷婷婷色| 99黄色性生活| 激情综合六月| 狠狠久久婷五月| 99re8这里只有精品99re8热视频| 日韩无码AV电影网站| 开心五月激情五月丁香五月婷婷| 玖玖五月| 国产精品激情AV久久久青桔| 婷婷激情六月视频| 亚洲小视频免费播放| 激情五月婷婷| 精品久久久999| 婷婷五月丁香高清无码| 亚洲综合成人网站| 办公室少妇激情呻吟A片在线观看| 婷婷丁香人妻天天久久| 久热大香蕉| 成人龟情网丁香五月| WWW.17C亚洲精品| 日操| 国产九九一区二区三区| 青草视频在线观看视频| 色碰碰| 九九视频这里是精品五月| AV在线二十六页| 色丁香五月| 成人超碰Av| 狠狠色噜噜狠狠狠888| 天天爱夜夜爽| 婷婷五月综合色中文字幕| 黄色AAAA韩国guochansanji| 综合网亚洲| 日日撸日日操| 久热这里这里有精品| 久久人操-久草婷婷-成人AV| 国产婷伊人| 色五月天丁香| 深爱五月婷婷| 骚货艹网站视频| 秋霞电影一级黄| 涩涩婷婷五月| 五月婷婷激情在线| 国产看真人毛片爱做A片| www狠狠| 九九久热| 天天色官网| 草草视频91| 97在线日本| 91无码色色| 色婷婷五月天偷拍| 五月婷婷大香蕉| 欧美五月婷婷| 天天爽综合网| 超碰狠狠色| 婷婷色五月偷拍| www.久9| 激情五月丁香五月综合| 天天插天天射| 激情四射五月天| 激情综合九月| 精品99在线| 五月婷婷久久网| 综合激情网五月激情 | 五月丁香花激情综合网| 五月天婷婷网站| 99热99日…..| 久久六月天| 丁香六月| 婷婷五月天播播| 香蕉久操| 婷婷成人在线| www.minyis.com【JT】实力收量可预付QQ2101460746 | 婷婷五月激情视频在线| 噜噜噜久久亚洲精品国产品91| wwW天天干| www.91操| 日本色99网站| 少妇高潮A片无套内谢麻豆传| 亚洲成人免费电影| 五月婷婷五月丁香综合| 中美日韩成人在线| 亚洲无码 图片区| 国产五月天婷婷| 亚洲国产色色| 欧美婷婷五月无砖| 99热在线观看亚洲区| 国产毛片精品一区二区色欲黄A片| 深爱五月天婷综合| 五月丁香综合久久| 久久婷婷五月免费视频| 婷婷综合色图| 中国女人做爰A片| 丁香五月天婷婷91| 色播五月婷婷综合| 丁香六月婷婷色XXXXX| 五月天色不卡| 視频福利乱色| 爆乳熟女-区二区三区| 人人干人人操人人摸人人做| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 色综合视频在线| 97超级碰碰碰久久久| 五月天久草| www.一起草av| 99精品在线播放| 色情五月丁香婷婷网| 97婷婷丁香五月天激情图片| 婷婷天天婷婷天天澡| 激情 婷婷| 国产精品成人在线| 欧美三9久九观看| 亚洲av电影网站| 色婷婷最新域名 | 激情五月天视频| 日韩免费视频| 99热大| 99九九99九九九视频精彩| 大香蕉啪啪啪| 五月深爱激情网| 成人av在线网址| 五月综合视频| 青青操日本摸摸看看| 日韩啪图| 亚洲人妻AV| 67194中文在线| wWW九九在线播放| 思思久久99热| 五月天,激情四射,婷婷频道| 9久热| www久久久久久久久久久| 玖玖精品婷婷| 少妇激情五月婷婷| 五月丁香六月花| 丁香五月狠狠综合欧美| 免费无码毛片一区二区A片 | 激情五月丁香五月| 国产乱妇无乱码大黄AA片| 99婷婷色| www.爱操com.| 99在线视频播放| 国产偷人爽久久久久久老妇APP| 日韩黄色电影| 婷婷成人丁香色情基地30| 在线观看亚洲视频影院| 久久久久久五月天| www.yw尤物| 99热无码首页| 大香蕉手机视频| 色色丁香五月| 日韩欧美骚货| 久热伊人| 91色在线/日韩| 亚洲欧美一区二区三区四区爱爱动图| 婷婷成人五月天| 五月丁香91| 国产精品日韩十五区| av九九| 伊人九九综合| 五月六月婷婷| 久久久国产精品黄毛片| 婷婷五月激情四月综合 | 久久五月六月| 色婷婷五月天成人网| 免费试看小视频 99| 无码橾| 狠狠色综合久久久久| 五月丁香婷婷福利| 97视频久久| 99久久精彩视频| 国产在线另类五月婷婷| 综合五月天| 狼人久草| 色婷婷免费观看| 国产97在线日韩亚洲女人被黑人巨大| 丁香色播五月天| 美女五月天| 丁香五月日韩| 五月天婷婷操逼视频| 免费观看高清无码| 日本久久爱| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 久久久精品视频79| 99婷婷| 色综合丁香婷婷| 久久婷婷五月天蜜桃| 99久久久精品| 懂色AⅤ| 日韩艹比| 激情网综合| 日本不卡高字幕在线2019| www.99色| 丁香色五月 97干| 狠狠色综合网| 天天色天天操天天射| 亚洲精品99| 天天综合网91| 丁香六月久久| 天天干夜夜想| 97成人丁香婷婷| 我爱大香蕉| 五月色丁香综合| 色欲婷婷五月天丁香| 超碰不卡在线| 久99在线视频| 婷婷久久五月天| 久久伊人五月天| 久久黄A片| 天天操综合网| 婷婷五月丁香基| 久久精品99国产精品日本| 色婷丨日丨天丨综合久久| 无码少妇高潮喷水A片免费| 99在线视频精品| 久久六月婷婷| 青草激情综合| 大香蕉婷婷五月| 色综合区| 99亚洲综合| 国产性av| 婷婷五月av| 综合AV在线| 丁香婷婷激情| 五月天综合区| 69精品人妻不卡视频| 激情久久久久久久久久久| 伊人激情综合网| 婷婷中文字幕| 婷婷色激情五月天| 久久六月天| 色色99| SS丁香五月婷婷| 婷五月天丁香婷五月| 9 1超碰九色| 激情五月六月婷婷综合啪啪| 久久婷婷青青草| 婷婷中文字暮| 六月丁香停| 久久婷婷激情| 青青夜夜狠狠夜夜狠狠| 中文字幕不卡网站| 久草视频一,二三四| 久99| 亚洲狠狠终合停停终合| 九九这里只有精品| 色噜噜伊人| www.99操| 五月丁香综合网| 99亚洲色| 大香蕉五月天婷婷| 超碰妻人人| 五月婷婷基地| 人人人舔人人人操人人人摸人人人97| 亚洲综合在线播放| 国产3p露脸普通话对白| 91九色欧美| AV天堂淫乩| 9久久久| 五月天激情小说| 免费观看欧美成人AA片爱我多深| 日韩欧美五月丁综合| 亚洲天堂色| 婷婷丁香人妻天天爽| 九九热精品视频九九| 美女网黄| 亚洲精品九九| 五月婷婷久久综合| 91狠狠色色丁香婷婷综合久久| 婷婷丁香久久五月综合| h亚洲| 综合久久十三| 伊人激情影院| 天天舔天天爽| 久久婷婷五月激情网站| 操B五月天| 丁香花五月天社区| 亚洲亚洲人成综合网络| 久久九色| 亚洲va欧美va天堂v国产综合| 亚洲 综合中文| www.9797国产| 婷婷丁香色女人| 噼里啪啦在线观看免费完整版视频 | 一级无码作爱片| 这里有精品| 91久久久久久久| 激情五月天婷婷丁香| 99热综合在线观看| 激情婷婷色小说| yellow视频在线观看91| 5五月综合网亚洲| 欧美精品在线观看| 色青青五月| 中文字幕AV在线| 激情av网| 久久久五月天婷婷成人网| 亚洲妇女熟BBW| 丁香五月手机在线| AV五月丁香| 色婷婷五月在线| 色婷婷五月天天天干天天操天天爽 | 五月天六月婷婷| www,婷婷五月天,com| 欧美婷婷五月无砖| 五月丁香久人妻中文| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 五月丁香六月婷婷综合免| 色综合激情| 日熟女| 色婷五月天亚洲| 国産精品| 久久五月丁香婷婷| 亚洲思思热久| 色综合婷婷| www.婷婷五月天| 久久婷婷激情四射五月天| 俺去婷婷 丁香| 啪啪视频99| 色婷婷五月综合激情中文字幕| 全部老头和老太XXXXX| 丰满人妻一区二区三区| 国产日韩精品SUV| 在线播放成人网站| 强壮公让我夜夜高潮A片视频| 精品久久人妻| 天天插天天干| 乱岳熟女50岁| 六月色丁香婷婷| 狠狠色色色| 五月激香蕉网| 六月婷婷日| 丁香五月WWW| 欧美婷婷丁香五月| 99九九在线精品热动漫| 伊人久久大香网| 精品婷婷| www.sd-xiangsu.cpm| 另类图片五月天婷婷| 五月丁香在线精品| 天天色综合网1| 夜夜骑夜夜操| 婷婷五月激情中文字幕| 色五月婷婷影院| 大香蕉婷婷五月天| 五月天综合| 丁香五月天天日| 日本噜噜色网| 99操逼| 色五月婷婷影院| 色五月婷婷基地| 九九色综合网| 色综合婷婷| 亚洲丁香花色| 97色 五月天丁香| 99资源在线| 色色免费网站| 五月永久激情| 亚洲精品激情| 久久综合爱| 五月丁香色色网| 69热91天堂| 色日本综合| 精品视频这里只有精品| 九九这里精品| 九九色色| 99爱爱| 性爱网五月婷婷| 日韩伊人大香蕉| 99热99色| 99只有这里是精品| 丁香婷婷五月综合| 99亚洲精品| av操B网站| 亚洲不卡| 久久这里只有精品无码| 99热这里都是精品| 99精品无码| 九九久久精品國產| 亚洲 综合中文| www99热| www.99视频| 四色永久成人网站| 桃色成人网| 9l视频自拍9l视频自拍九色学生| 亚洲激情高潮| 99精品免费| 天天操夜夜操| 天天综合久久| 五月婷婷综合色啪首页| 婷婷六月亚洲综合| 99性视频| 91n网站cad入口在线观看| 九九aV| 五月丁香婷婷激情澎湃四射| www.久久久.com| 婷婷九九色| 婷婷成人网五月天| 开心婷婷中文字幕| 五月激情综合网| 成人AV中文字幕| 九九热这里有精品23| 操日视频| 99久久97| 五月丁香福利| 色婷婷小说| 色色色综合色| 天堂成人久久| 天天xxxxxx天天日| 能看的av| 亚洲天堂色色| 国产日产亚洲系列最新| 婷婷五月天影院| 另类小说激情五月天| 欧洲色区| 黄网在线免费观看| 色播五月婷婷| 疯狂做受XXXX高潮A片动画| 婷婷内射视频在线| 五月草视频| 中文字幕日产A片在线看| 久久久久亚洲AV无码网影音先锋| 99在这里有精品| 思思热精品在线| 亚洲综合在线播放| 婷婷五月天开心网| 色情婷婷久久五月天| 丁香六月中文| 亚洲天天| 日本色99| 先锋资源婷婷| 久久五月天丁香花| 激情黄色小说五月天| 99无码| 久久久人妻不卡| 九色婷婷| 久热AA| 丁香 久久| 99热很操老逼| 婷婷色五月天在线观看| 91色五月在线观看| 婷婷之六月丁香| 精品国产乱码久久久久久免费| 丁香五月在线视频| 五月天色五月| 久久作爱| 99色视频| 66精品国产成人| 婷婷激情六月综合| 国产亚洲99久久| 可以看的av| 六月婷婷七月丁香| 久色网五月| 狠狠婷婷色综合| 激情五月,深深爱五月| 婷婷在线网| 丁香婷婷六月激情| 中文字幕中文有码在线| 婷婷五月AV| 激情人妻蜜夜系列区| 五月婷婷,六月激情| 色伦专区97中文字幕| 色综合久久88色综合天天人守婷| 大地9中文在线观看免费高清| 九九精品片一| 极品人妻VIDEOSSS人妻| hd五月婷婷在线| 五月天婷婷丁香成人网| 午夜婷婷五月天| 欧美色必爱| 天天激情站| 五月丁香激情综合啪啪| 97人人操| 色综合婷婷| 成人午夜无码视频| 婷婷狠狠五月综合| 亚洲人成网站999综合| 婷婷激情五月综合| 一区二区三区四区牛| 国产精品日日躁夜夜躁| 九九色欲网| 激情久久久| 五月激情网五月综合网| 精品99*| 五月婷婷天| 久超超碰| 婷婷狠狠97| 欧美精品999| 人妻内射一区二区在线视频| 色婷婷五月天综合网| 涩玖玖免费视频| www.久久爱.com| 桃色五月婷婷| 国产精产国品一二三在观看 | 超碰97干| 欧美天天干五月丁香| 色综合综合综合| 五月丁香婷婷基地| 欧美久久婷婷| 噼里啪啦完整版中文在线观看| 色婷婷在线视频综合| 欧美日韩成人在线网| 欧美这里只有精品| 久久精品66| 91激情五月开心| 99热这里有精品| 五月婷婷六月丁香色| 自拍偷窥99热| 操操操B| 久久小片| 日韩啪啪视频| 亚洲精品国产A久久久久久| 色色色色色网站| 日韩在线视频中文字幕| 成人亚洲精品久久久久| 天天日夜夜爽| 色播播之激情五月婷婷| 9 1 A v久久久| 99热国产免费| 婷婷六月情| 4399成人黄A片| 97一区二区| 五月丁香激情啪啪| 国产99久| 99re免费精品视频| 丁香五月亚洲激情婷婷射| 99在线看片| 久久久久9| 国产午夜一区二区三区| 色色网站观看| 五月天AV大香蕉| 六月色婷婷| 色日本五月天| 99久久99热| 大香蕉75线| 国产一二区爆乳_1国产日韩一区二区三-成人AV| 色婷婷亚洲精品天天综| 激情五月激情综合网一级丸片| 亚洲成片在线观看| 亚洲亚洲人成综合网络| 亚洲激情综合| 午夜不卡成人一区二区| 九九碰九九爱97| www久久久久久久| 狠狠五月天| 精品99在线观看| 激情网五月婷婷| 婷婷五月激情网站| 国产亚洲99久久| 久久久婷| 激情四射网| 色J香五月天| 99热久只有精品首页| 激情五月天色色色| 婷婷伊人五月天| 色欲色香综合网| 五月天国产| 亚洲最大五月六月丁香婷婷| 婷婷丁香六月五月天| 影视av久久久噜噜噜噜噜三级| 五月天色小说| 天天弄天天操| 人妻九九九九| 五月婷婷,六月丁香| 538任你爽| 久久久999精品| 五月天婷婷丁香人人操91| 亚洲视频在线观看| 丁香五月婷婷基地| 日韩一级片| 日韩精品999| 99视频这里有精品| 亚洲色模骚货| 色色色国产| 九九热这里只有精品12| 亚洲综合激情五月天婷婷| 香蕉婷婷色五月| 97艹| 国产原创视频91九色| 内射 无码 伊人| 黑人巨粗进入警花疼哭A片| 国外亚洲成AV人片在线观看| 成人午夜无码视频| 91操碰| 丁香五月播播| 天天色图| 91操片| 激情綜合網址| 亚洲综合无码| 国产精品爽爽久久久久久| 色五月婷婷影院| 五月丁香啪啪综合| 久久久久久性爱视频| 亚洲综合色色色| 六月婷婷激情小说网| 日韩av干| 色综色五月天婷婷| 日日天天操| 狠狠另类视频| 婷婷五月激情基地| 丁香六月婷婷| 激情综合网丁香| 很很操96| 第四色色六月色综合| 亚洲精品网站色视频| 国产亚洲精品人人| 99热国品免费| 天天草天天舔| 婷婷五月天视频小说| 玖玖资源部在线播放| 国产探花AV在线| 九九婷婷五月天影视| 日本在线噜噜| 这里只有精彩视| 日日操夜夜爽| 视频一二区| 97热这里只有精品| 亚洲亚洲人成综合网络| 尤物一区二区| 99re在线免费视频| 久久久久98| 影音先锋色婷婷| 九九这里只这里只有精品| 久久这里都是精品视频| www.十八禁不禁AV.com| 九九热视频免费| 五月丁香六月激情综合| 深夜激情网| www.91操| 丁香六月婷婷久久综合| 乱岳熟女50岁| 五六月婷婷久久| 色婷婷四色| 91狠狠色丁香婷婷综合久久精品| 激情啪啪五月天| 激情五月天婷婷视频| 狠狠干五月天| 国产精品久久久久久白浆色欲| 99色视频| 久久五月天激情婷婷| 大香蕉久热| 99这里只有免费的小视频在线观看| 色色色色色色综合| 五月天色区| 大香网伊人久久综合| 逼特逼在线免费播放| 欧美熟妇一区二区三区| 丁香久久| 婷婷综合爱| 丁香 亚洲 久久| 99综合| 五月丁香婷婷激情爱爱| 亚韩在线视频| www.狠狠操.con| 99热精品在线观看| 99热这里都是精品| 日本性视频| 五月婷婷精品| 色A网| 久久精品只有这| 色色色色热| 五月婷中文娱乐综合| 丁香六月综合激情| 97韩国久久电影院| 92久久| 狠狠综合网| 91av成人| 色区久久| 国产精品五月天婷婷| 九九伊人网| 久久精99| 丁香婷婷免费| 亚洲六月婷婷| 四川BBB搡BBB搡多人乱亂| 欧美久久网| 欧洲第一久色| 亚洲AV免费在线| 丁香五月天婷婷大香蕉| AV九九| 色色色无码| 色综合久| 99综合自拍| 色婷婷亚洲在线| 能看的av| 日熟女| 91精品久久久久久综合五月天| 婷婷的99视频网站| 精品五月花| 岛国资源网| 激情五月丁香五月| 婷婷欧美激情| 俺也高清无码高清视频| 99综合网| 99riAV国产精品视频| 五月婷精品| 国产AV一区二区三区最新精品| 猫咪伊人久久| 婷婷激情鹿城五月天| 久热免费| 美欧成人视频| 丁香五月网在线观看| 丁香五月AV| 婷婷五月天黄色| 久久久久er热| 懂色av粉嫩AV蜜臀AV| 激情五月天之六月婷婷| 天天肏视频| 碰碰碰91| 99热这里只有精品在线播放| 国产亚洲精品久久久久久豆腐| 91美女被操| 婷婷丁香小说| 字母不卡码人逼| 天天爽—爽| 色婷婷成人| 激情综合无码| 五月婷婷六月丁香综合| 九热视频免费观看| 99久久久国产大片| 亚洲综合新99视频| 色射影院| 久久99精品久久久久久青青AR | 久久六月天| 婷婷丁香中文字幕| 99re思思热这里| 国产成人精品亚洲线观看| 成人五月天综合网| 日本色色色| 综合婷婷| 色婷婷丁香五月综合| 超碰熟女农村在线69| 色操b| 这里只有精品96| 丁香伊人激情| 国产精产国品一二三在观看| 国语对白性爱视频播放| 亚洲中文字幕网| 欧美激情综合| 人人摸人人搞| 久久五月视频| 亚洲成人网站在线观看| 在线中文字幕av| 九九碰九九爱97| 欧美色图天堂网色| 欧美狠狠色| 久久电影4399| 激情五月天视频| 99日精品视频| 国产97色在线| 日韩高清成人| 色婷| 性色欲情 网站| 激情五月婷婷| 国产日日夜夜操| 亚洲av电影在线| 五月婷av| 色五月婷婷伊人| 99在线精品视频| 91婷婷搞| 激情小说婷婷| 日本天天综合| 久色| 99精品爱| 在线看av| 色五月天堂| 五月天婷婷xxx| 在线理论片| 婷婷婷婷婷开心无码播放| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 99热免费看| 丁香五月婷婷激情尤物| 中文字幕AV在线播放| 欧日美女Va| 99久操视频| 丁香五月成人av| 91视频免费后入强操| 99在线精品免费视频| 小视频aaa久久久| 99视频综合网| 中文久久婷婷| 99久热在线精品| 婷婷最新地址| www.色婷婷.com| 开心婷婷五月天综合| 六月成人网| 99精品综合视频| 九九日本视频| 五月天久久婷| 激情五月天社区| 五月丁香美女| 国产激情一区| 97操碰碰无码视频| 91丨熟女丨首页| 久久加勤综合| 亚洲av网站在线观看| 亚洲精品小视频| 综合激情九月婷婷,激情综合婷婷中文字| 91狠狠综合网| 视色综合| 99riAv1国产在线观看|