欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Materials Studio 8.0 Linux服務(wù)器安裝全指南:License配置與并行計(jì)算

Materials Studio 8.0 Linux服務(wù)器安裝全指南:License配置與并行計(jì)算 服務(wù)器裝 GROMACS、CP2K 裝習(xí)慣的人第一次部署 Materials Studio 8.0 多半會(huì)愣一下——這軟件和常見開源分子模擬工具的安裝邏輯不太一樣它有圖形化安裝器、獨(dú)立的 License 服務(wù)、Gateway 調(diào)度層還要照顧一堆 32 位兼容庫。我在某課題組先后部署過兩次 MS 8.0第一次從早上裝到天黑第二次只花了兩小時(shí)。差別在于第一次直接掛載鏡像點(diǎn)下一步完全沒做前置檢查第二次把系統(tǒng)版本、授權(quán)文件、遠(yuǎn)程圖形環(huán)境這三件事先捋清楚再動(dòng)手。這篇教程就按照后者的順序來寫重點(diǎn)覆蓋 CentOS 6/7 下 MS 8.0 服務(wù)端的完整安裝過程、License 授權(quán)配置、環(huán)境變量和并行計(jì)算設(shè)置以及裝完以后最常踩的幾個(gè)坑。適合需要在 Linux 計(jì)算節(jié)點(diǎn)上部署 MS 8.0 服務(wù)端、給 Windows/Mac 客戶端提供 Gateway 連接入口的課題組管理員參考。1. 安裝前的三件事系統(tǒng)版本、授權(quán)文件和遠(yuǎn)程圖形環(huán)境的確認(rèn)1.1 先確認(rèn) CentOS 版本和內(nèi)核架構(gòu)而不是直接開裝MS 8.0 這個(gè)年代的服務(wù)端對(duì)操作系統(tǒng)版本有明確邊界官方支持范圍主要在 Red Hat Enterprise Linux 5/6/7 這一條線上對(duì)應(yīng)到 CentOS 就是 CentOS 6 和 CentOS 7 最穩(wěn)CentOS 8 我沒試過不推薦在項(xiàng)目里拿它硬扛。拿到機(jī)器以后第一件事不是找安裝包而是先看清楚三樣?xùn)|西cat /etc/redhat-release uname -m df -h /optx86_64 架構(gòu)是基本要求雖然 MS 8.0 里還有不少 32 位組件但那是在 64 位內(nèi)核下用兼容庫跑不是讓你真的找一臺(tái) i686 機(jī)器。磁盤方面完整安裝 MS 8.0 所有模塊需要 40GB 左右如果你的 /opt 是系統(tǒng)盤最好提前規(guī)劃單獨(dú)掛載一塊數(shù)據(jù)盤避免裝到一半提示磁盤空間不足。內(nèi)存看節(jié)點(diǎn)用途單機(jī)做測(cè)試 8GB 起步如果打算跑并行計(jì)算子程序我建議按每個(gè)物理核心 2GB 以上預(yù)留后面并行章節(jié)會(huì)細(xì)說。這里特別提醒一點(diǎn)MS 8.0 是上世紀(jì)風(fēng)格的老軟件安裝目錄里會(huì)塞大量的鏈接庫、模塊文件、幫助文檔如果放在 NFS 網(wǎng)絡(luò)存儲(chǔ)上安裝過程會(huì)非常慢而且個(gè)別模塊加載容易出怪問題。有條件就把安裝根目錄放在服務(wù)器本地盤后面沒那么多糟心事。1.2 授權(quán)文件決定部署形態(tài)浮動(dòng)授權(quán)還是節(jié)點(diǎn)鎖定MS 8.0 用的是 FlexNet 授權(quán)機(jī)制拿到手的授權(quán)文件通常是一個(gè)以 .lic 結(jié)尾的文本里面寫著授權(quán)類型、允許的 Feature 模塊清單、綁定的主機(jī)名或 MAC 地址。安裝前先搞清楚你拿到的是哪種授權(quán)這直接決定了 License 服務(wù)部署在哪臺(tái)機(jī)器上。如果是節(jié)點(diǎn)鎖定授權(quán)那授權(quán)文件綁定了某一臺(tái)服務(wù)器的 MAC 和 hostname你就只能在那一臺(tái)機(jī)器上運(yùn)行 lmgrd別想著換臺(tái)機(jī)器跑。如果是浮動(dòng)授權(quán)通常還附帶一個(gè)獨(dú)立 License 服務(wù)器地址和端口計(jì)算節(jié)點(diǎn)只需要在環(huán)境變量里寫MS_LICENSE_SERVERporthostname指向那臺(tái)授權(quán)服務(wù)器即可。在開始安裝之前有一件特別容易被忽略的事hostname 的規(guī)范化。很多 CentOS 機(jī)器裝好以后默認(rèn)叫l(wèi)ocalhost.localdomain這種主機(jī)名在 FlexNet 授權(quán)匹配時(shí)非常容易出問題。建議安裝前先定一個(gè)好記、規(guī)范的主機(jī)名比如計(jì)算節(jié)點(diǎn)叫cnode01hostnamectl set-hostname cnode01 echo 192.168.1.10 cnode01 /etc/hosts改完以后要么重啟要么重新登錄一次讓 hostname 全局生效。等授權(quán)文件到手以后再對(duì)照里面的 HOSTNAME 字段確認(rèn)大小寫完全一致。1.3 沒有顯示器怎么裝X11轉(zhuǎn)發(fā)與VNC的取舍MS 8.0 的服務(wù)端安裝器是 Java 圖形界面在服務(wù)器上裝就面臨一個(gè)現(xiàn)實(shí)問題服務(wù)器沒有顯示器。兩條路一是用 SSH X11 轉(zhuǎn)發(fā)二是用 VNC 起遠(yuǎn)程桌面。SSH X11 轉(zhuǎn)發(fā)聽起來簡(jiǎn)單ssh -X登錄然后跑安裝器就行但實(shí)際上跨網(wǎng)絡(luò)轉(zhuǎn)發(fā) Java Swing 界面非??ǘ医?jīng)常出現(xiàn)窗口畫不出來、部分按鈕點(diǎn)了沒反應(yīng)的情況。我第一次安裝就是在這上面耗了不少時(shí)間。后來學(xué)乖了直接在服務(wù)器上裝 tigervncyum install -y tigervnc-server vncserver :1 -geometry 1280x1024 export DISPLAY:1VNC 的桌面里開終端再跑安裝器穩(wěn)穩(wěn)當(dāng)當(dāng)。如果你對(duì)文本操作有經(jīng)驗(yàn)還可以用安裝器的 console 模式我自己后面幾次就直接./Install -console文本交互既快又不會(huì)因?yàn)閳D形庫缺失導(dǎo)致安裝器起不來可以少裝一堆圖形相關(guān)的依賴包。2. 前置依賴安裝32位兼容庫、Java運(yùn)行時(shí)與內(nèi)核參數(shù)調(diào)整2.1 32位兼容庫老版本軟件的硬性要求MS 8.0 服務(wù)端的相當(dāng)一部分核心子程序和授權(quán)工具還是 32 位二進(jìn)制CentOS 7 默認(rèn)只有 64 位環(huán)境缺了 i686 兼容庫裝到一半或者啟動(dòng)子程序的時(shí)候就會(huì)報(bào)類似error while loading shared libraries: libXp.so.6: cannot open shared object file的錯(cuò)誤。裝依賴這一步別省一次性把常用庫裝齊避免裝一個(gè)缺一個(gè)、缺一個(gè)裝一個(gè)的循環(huán)yum install -y glibc.i686 libXp.i686 libXt.i686 libXtst.i686 \ libXext.i686 libX11.i686 libXau.i686 libXrender.i686 \ libstdc.i686 compat-libstdc-33.i686 \ mesa-libGL.i686 zlib.i686 fontconfig.i686這里面的compat-libstdc-33.i686是老版本 MS 子程序的??退峁┑氖桥f版 C 運(yùn)行時(shí)有的環(huán)境不裝也能過但裝上以后能避免后面遇到libstdc.so.5找不到。如果你用的是 CentOS 7libXp.i686在默認(rèn)倉庫里就能找到如果 yum 提示找不到可以用yum provides */libXp.so.6查一下包里位置再手動(dòng)裝 rpm。2.2 Java運(yùn)行時(shí)和字體相關(guān)包的檢查MS 8.0 安裝器自己帶了一份 JRE所以理論上不強(qiáng)制要求你預(yù)裝 Java。但在實(shí)際部署里部分輔助工具和 Gateway 組件會(huì)調(diào)用系統(tǒng) Java環(huán)境里完全沒有 Java 還是可能出問題。我的做法是統(tǒng)一裝一個(gè) OpenJDK 8yum install -y java-1.8.0-openjdk裝完以后可以確認(rèn)一下java -version正常。要注意不要在服務(wù)器上裝一大堆亂七八糟的 JDK 版本然后亂改JAVA_HOMEMS 安裝器對(duì) Java 版本不敏感但對(duì)路徑里的空格、特殊字符很敏感。以前見過把 Java 解壓到帶中文的目錄里導(dǎo)致安裝器直接白屏這種環(huán)境問題最不值得排查。另外字體問題也經(jīng)常被忽略。圖形界面花屏、中文變成方塊、Gateway 的網(wǎng)頁控制臺(tái)字體異常很多都和缺少 X11 字體包有關(guān)yum install -y xorg-x11-fonts-ISO8859-1-75dpi \ xorg-x11-fonts-ISO8859-1-100dpi \ xorg-x11-fonts-type12.3 /etc/hosts、防火墻與SELinux的調(diào)整CentOS 7 上默認(rèn) firewalld 是開啟的SELinux 也是 enforcing。MS 8.0 的 License 服務(wù)和 Gateway 需要監(jiān)聽端口如果防火墻擋著客戶端就會(huì)連接不上而且這種問題的報(bào)錯(cuò)很誤導(dǎo)——它可能不是報(bào)連接失敗而是在客戶端界面里一直轉(zhuǎn)圈。一般 CPU 計(jì)算節(jié)點(diǎn)都放內(nèi)網(wǎng)我對(duì)防火墻的處理很簡(jiǎn)單放行 MS 需要的幾個(gè)端口然后保持防火墻開啟狀態(tài)不給課題組留下更大的安全缺口。MS 8.0 通常用到的端口是 License 的27080和 Gateway 的18888firewall-cmd --permanent --add-port27080/tcp firewall-cmd --permanent --add-port18888/tcp firewall-cmd --reloadSELinux 這塊說實(shí)話很多老軟件的安裝腳本根本沒適配 SELinux與其查各種布爾值不如對(duì)這臺(tái)計(jì)算節(jié)點(diǎn)把它設(shè)為 permissive。生產(chǎn)環(huán)境管理員可能要權(quán)衡一下但對(duì)于課題組內(nèi)部的計(jì)算節(jié)點(diǎn)來說這樣能省掉大量莫名奇妙的權(quán)限阻斷問題setenforce 0 sed -i s/^SELINUXenforcing/SELINUXpermissive/ /etc/selinux/config2.4 離線環(huán)境怎么準(zhǔn)備依賴包很多計(jì)算節(jié)點(diǎn)在內(nèi)網(wǎng)沒有外網(wǎng) yum 源這就非??简?yàn)安裝前的準(zhǔn)備。如果你沒有提前把依賴包準(zhǔn)備好到了現(xiàn)場(chǎng)才發(fā)現(xiàn)yum install全都失敗那才是真正的地獄開局。離線環(huán)境有兩種做法。一種是在有外網(wǎng)的機(jī)器上先把需要安裝的包連同依賴一起下載下來yumdownloader --resolve --destdir/tmp/ms8_pkgs glibc.i686 libXp.i686 ...然后把整個(gè)目錄拷貝到服務(wù)器上用yum localinstall *.rpm裝。另一種是直接掛 CentOS 系統(tǒng)安裝光盤做本地源mount /dev/cdrom /mnt寫一個(gè)本地倉庫配置文件指向 /mnt把 gpgcheck 關(guān)掉yum install就能直接從光盤里取包。這個(gè)方法對(duì) CentOS 6/7 都有效缺點(diǎn)是系統(tǒng)光盤倉庫里不一定包含所有需要的包但至少基礎(chǔ)兼容庫是沒問題的。3. 主安裝流程掛載介質(zhì)、運(yùn)行安裝器與模塊勾選3.1 掛載ISO鏡像與安裝目錄規(guī)劃拿到安裝介質(zhì)以后上傳到服務(wù)器某個(gè)臨時(shí)目錄。如果是 ISO 文件就掛載mkdir -p /mnt/ms80 mount -o loop MaterialsStudio_8.0.iso /mnt/ms80 ls /mnt/ms80掛載以后看一眼目錄結(jié)構(gòu)找到Install腳本?,F(xiàn)在很多 Linux 軟件鏡像都喜歡用標(biāo)準(zhǔn)的install.sh但 MS 8.0 這個(gè)年代的安裝腳本一般就叫Install后面帶上個(gè)版本號(hào)或者不帶。如果執(zhí)行時(shí)提示Permission denied記得加執(zhí)行權(quán)限chmod x /mnt/ms80/Install安裝目錄我建議規(guī)劃為/opt/msiMS 安裝時(shí)會(huì)在這個(gè)根目錄下面按自己的一套邏輯再拆分出多個(gè)部分。別自作主張把目錄名改成MS80之類的保持默認(rèn)風(fēng)格后續(xù)跟官方文檔對(duì)照、找文件位置都省事。安裝用戶也別用 root 直接跑到最后后面我會(huì)說改目錄屬主的問題。3.2 安裝器交互選項(xiàng)解讀啟動(dòng)安裝器有兩種方式圖形界面就./Install文本模式就./Install -console。如果你前面沒有開 VNC我強(qiáng)烈建議直接 console 模式交互過程不繁瑣逐項(xiàng)輸序號(hào)、輸路徑就行反而比圖形界面更不容易卡住。安裝過程中會(huì)詢問幾組關(guān)鍵信息安裝類型一般選完整安裝或者自定義安裝。如果介質(zhì)里包含多個(gè)平臺(tái)組件注意確認(rèn)當(dāng)前選擇的是 Linux 版本而不是 Windows 版本。安裝根目錄默認(rèn)通常是/opt/msi保持默認(rèn)或改成你規(guī)劃好的路徑。組件列表這一頁會(huì)列出所有模塊組件Gateway 是必選的其他材料計(jì)算模塊按需勾選。這里我要強(qiáng)調(diào)一個(gè)很多人踩過的坑安裝過程中會(huì)讓你填 License 服務(wù)器信息這個(gè)階段可以先跳過或者隨便填一個(gè)占位等主程序裝完以后單獨(dú)再配授權(quán)。因?yàn)?License 服務(wù)的調(diào)試經(jīng)常要反復(fù)重啟、改 hostname、看日志如果把它綁在安裝流程里一次搞定出錯(cuò)以后排查鏈路會(huì)很亂。先讓主程序落地再回頭收拾授權(quán)。3.3 模塊選擇策略別只想省那點(diǎn)空間模塊勾選這里我的建議是除非磁盤空間實(shí)在緊張否則全部選上。原因有三個(gè)第一MS 模塊之間不是完全獨(dú)立的很多模塊要調(diào)用公共數(shù)據(jù)文件、力場(chǎng)參數(shù)庫和輔助工具你少裝一個(gè)某個(gè)模塊可能在運(yùn)行到一半時(shí)才報(bào)缺文件。第二License 是按授權(quán)文件里的 Feature 控制每個(gè)模塊能不能用的你裝全模塊不會(huì)多消耗授權(quán)數(shù)只是占磁盤而已。第三后續(xù)補(bǔ)裝模塊需要重新跑安裝器而且如果安裝器版本或者介質(zhì)已經(jīng)被清理補(bǔ)裝成本比現(xiàn)在一次性選上高得多。如果你確實(shí)空間不夠最核心的組件請(qǐng)至少包含MaterialsVisualizer、Forcite、CASTEP、DMol3、MS Gateway。這幾個(gè)覆蓋了材料計(jì)算最常見的結(jié)構(gòu)搭建、分子動(dòng)力學(xué)和第一性原理計(jì)算需求。3.4 安裝后的目錄結(jié)構(gòu)核對(duì)與權(quán)限修正安裝過程會(huì)持續(xù)一段時(shí)間取決于服務(wù)器的 CPU 和磁盤速度。裝完以后別看安裝器提示“Success”就關(guān)終端先把根目錄結(jié)構(gòu)過一遍ls /opt/msi正常情況下你應(yīng)該能看到類似MaterialsStudio8.0、LicensePack、Gateway這樣的子目錄。如果某個(gè)目錄缺失說明對(duì)應(yīng)組件沒裝上趕緊回看安裝日志找出是哪個(gè)步驟失敗。安裝日志一般在/tmp下或者安裝根目錄下的InstallLogs目錄里報(bào)錯(cuò)行會(huì)寫清楚是在復(fù)制哪個(gè)文件時(shí)失敗。然后做一件很重要的事把整個(gè)安裝目錄的屬主改成非 root 用戶。MS 子程序在運(yùn)行時(shí)可能會(huì)往安裝目錄寫臨時(shí)文件、日志如果用 root 全權(quán)持有客戶端任務(wù)以普通用戶身份執(zhí)行時(shí)反而會(huì)遇到權(quán)限問題。建議先建一個(gè)專門用于運(yùn)行 MS 的用戶useradd -m msi chown -R msi:msi /opt/msi不要小看這一步后面子程序莫名崩潰查到最后發(fā)現(xiàn)是作業(yè)目錄無寫權(quán)限的案例不在少數(shù)。4. License配置啟動(dòng)License服務(wù)與模塊授權(quán)驗(yàn)證4.1 License文件放置與方式選擇MS 8.0 的授權(quán)服務(wù)本質(zhì)上就是 FlexNet 的lmgrd授權(quán)文件是你從管理員那里拿到的.lic文件。部署方式分兩種如果課題組有獨(dú)立的授權(quán)服務(wù)器那計(jì)算節(jié)點(diǎn)根本不用跑 lmgrd只需要在環(huán)境變量里指向它比如MS_LICENSE_SERVER27080license-server。這種方式最省心License 服務(wù)只需要在一臺(tái)機(jī)器上維護(hù)所有計(jì)算節(jié)點(diǎn)共享。如果這里是唯一授權(quán)節(jié)點(diǎn)或者你想先在一臺(tái)機(jī)器上把服務(wù)跑通就要把.lic放到 LicensePack 的對(duì)應(yīng)目錄下。常見的位置是/opt/msi/LicensePack/share/licenses/具體目錄名以你介質(zhì)里的 LicensePack 結(jié)構(gòu)為準(zhǔn)可以用find /opt/msi -name *.lic或者find /opt/msi -type d -iname *licens*先探路。存放之前用文本編輯器打開.lic文件檢查里面的 HOSTID 和主機(jī)名跟你服務(wù)器的實(shí)際情況是否一致不一致的話后面 lmgrd 就算啟動(dòng)成功客戶端也會(huì)報(bào) invalid host。4.2 啟動(dòng)lmgrd并設(shè)置開機(jī)自啟假定授權(quán)服務(wù)就在本機(jī)用下面的方式手動(dòng)啟動(dòng) lmgrd 做驗(yàn)證License_ROOT/opt/msi/LicensePack/linux_x86_64 $License_ROOT/bin/lmgrd \ -c /opt/msi/LicensePack/share/licenses/MS80.lic \ -l /var/log/lmgrd.log啟動(dòng)以后第一件事不是急著連客戶端而是看日志。日志里如果出現(xiàn)類似License server started或者FlexNet Licensing version ...字樣就說明基本成功了。然后確認(rèn)端口監(jiān)聽netstat -tunlp | grep 27080我這里用 27080 舉例具體端口要以授權(quán)文件里寫的信息為準(zhǔn)。為了讓重啟機(jī)器后授權(quán)服務(wù)自動(dòng)起來我習(xí)慣寫一個(gè)簡(jiǎn)單的 systemd 服務(wù)。CentOS 7 下在/etc/systemd/system/lmgrd.service里寫[Unit] DescriptionFlexNet License Server Afternetwork.target [Service] Typeforking ExecStart/opt/msi/LicensePack/linux_x86_64/bin/lmgrd -c /opt/msi/LicensePack/share/licenses/MS80.lic -l /var/log/lmgrd.log ExecStop/opt/msi/LicensePack/linux_x86_64/bin/lmutil lmdown Restarton-failure [Install] WantedBymulti-user.target然后執(zhí)行systemctl daemon-reload systemctl enable --now lmgrd。這里注意一個(gè)細(xì)節(jié)如果你的lmgrd實(shí)際是 32 位程序而系統(tǒng)里沒裝 32 位庫啟動(dòng)時(shí)可能直接報(bào)No such file or directory這不是文件不存在是加載器找不到對(duì)應(yīng)的 32 位 ld-linux回到第二章把兼容庫補(bǔ)上就好。4.3 用客戶端任務(wù)驗(yàn)證授權(quán)是否覆蓋到模塊License 啟動(dòng)成功不代表所有模塊都能用。每個(gè)模塊對(duì)應(yīng)一個(gè) Feature 名稱比如 CASTEP 對(duì)應(yīng)一個(gè)特征碼DMol3 對(duì)應(yīng)另一個(gè)。驗(yàn)證授權(quán)范圍最直接的辦法是拿客戶端實(shí)際提交一個(gè)小任務(wù)。在客戶端機(jī)器上輸入服務(wù)端 IP 和登錄賬號(hào)新建一個(gè)簡(jiǎn)單結(jié)構(gòu)比如一個(gè)小晶胞的幾何優(yōu)化計(jì)算引擎選 CASTEP 或者 DMol3提交任務(wù)。如果授權(quán)正常任務(wù)會(huì)在服務(wù)端排隊(duì)、運(yùn)行、最后正常返回結(jié)果。如果任務(wù)一提交就報(bào)錯(cuò)去 Gateway 日志或者任務(wù)日志里找 License 相關(guān)的關(guān)鍵詞比如Cannot find license for ...說明授權(quán)文件里沒有這個(gè)模塊的 Feature或者該 Feature 的并發(fā)數(shù)已經(jīng)被占滿。License server system down說明 lmgrd 根本沒在跑或者客戶端連不上授權(quán)端口。Invalid host說明授權(quán)文件綁定的主機(jī)名跟實(shí)際不一致。驗(yàn)證完一個(gè)模塊后最好把幾個(gè)常用模塊都各提交一遍小任務(wù)一次性確認(rèn)所有模塊可用別到課題組日常計(jì)算時(shí)才發(fā)現(xiàn)某個(gè)模塊沒授權(quán)。5. 環(huán)境變量與并行計(jì)算讓子程序跑在真正的多核上5.1 環(huán)境變量配置給所有用戶生效MS 8.0 運(yùn)行需要的核心環(huán)境變量主要是三個(gè)export MS_INSTALL_ROOT/opt/msi/MaterialsStudio8.0 export MS_LICENSE_SERVER27080cnode01 export PATH$MS_INSTALL_ROOT/bin:$PATHMS_INSTALL_ROOT指向 MS 程序主目錄。MS_LICENSE_SERVER的格式是端口主機(jī)名主機(jī)名要跟 License 服務(wù)器的實(shí)際 hostname 一致如果你寫 IP 也可以但有些模塊對(duì) IP 解析方式敏感盡量寫 hostname。PATH里加入 bin 目錄后命令行工具和輔助程序才能被直接調(diào)用。為了讓所有登錄用戶都自動(dòng)生效我習(xí)慣寫到/etc/profile.d/ms8.sh里然后source /etc/profile或重新登錄。這里有個(gè)值得提醒的細(xì)節(jié)安裝目錄下的 bin 路徑可能不是標(biāo)準(zhǔn)的一層bin有的模塊會(huì)把可執(zhí)行文件放到各自模塊目錄下的深層路徑里如果你加了 bin 后敲命令還是提示 not found用ls $MS_INSTALL_ROOT看一下實(shí)際結(jié)構(gòu)把真實(shí)的 binaries 路徑加到 PATH。5.2 MPI運(yùn)行時(shí)選擇MS自帶的優(yōu)先MS 8.0 服務(wù)端跑并行計(jì)算時(shí)Gateway 會(huì)把任務(wù)提交給 MPI 運(yùn)行時(shí)執(zhí)行。有些新裝的服務(wù)器管理員圖省事系統(tǒng)里裝一個(gè)openmpi結(jié)果 MS 子程序一跑就崩或者提交任務(wù)后根本起不來并行進(jìn)程。原因很簡(jiǎn)單MS 8.0 適配的是它自帶的那套 MPI 運(yùn)行時(shí)和配套的進(jìn)程管理方式系統(tǒng)里的 OpenMPI 版本和它不一致時(shí)兩邊銜不上。我的做法是在 PATH 里讓 MS 自帶的 MPI 目錄排在系統(tǒng) MPI 前面優(yōu)先調(diào)用 MS 自己的運(yùn)行時(shí)。如果你不確定自帶的 MPI 放在哪找一下安裝目錄里帶mpirun或者mpiexec的路徑比如常見的是$MS_INSTALL_ROOT/../Mpi/mpich/bin用find /opt/msi -name mpirun搜一下。找到后把對(duì)應(yīng) bin 目錄加到環(huán)境變量的最前面。在 Gateway 的任務(wù)調(diào)度配置里進(jìn)程管理器這一項(xiàng)也要選擇本機(jī)直接執(zhí)行方式而不是默認(rèn)的遠(yuǎn)程 shell 方式。如果配置成需要 SSH 免密登錄每次任務(wù)啟動(dòng)都要多一步 SSH 握手還容易因?yàn)槊饷軟]配好導(dǎo)致任務(wù)在啟動(dòng)階段就卡死。5.3 并行實(shí)測(cè)4核、8核、16核的加速比與判斷環(huán)境配好了但怎么確認(rèn)并行真的生效我用過一個(gè)非常土的辦法跑一個(gè)相同的小體系單點(diǎn)能任務(wù)分別設(shè)置 1、4、8、16 核記錄每一輪的耗時(shí)。實(shí)測(cè)下來的數(shù)據(jù)大致長(zhǎng)這樣核數(shù)耗時(shí)(秒)相對(duì)單核加速比1520141603.38955.516707.4從這組數(shù)據(jù)能看出兩件事一是有加速說明并行確實(shí)在起作用二是從 8 核到 16 核加速比提升很小說明這個(gè)體系太小已經(jīng)出現(xiàn)并行通信開銷大于計(jì)算收益的情況。如果你提交 8 核任務(wù)但耗時(shí)和單核一模一樣那就要懷疑并行沒生效。用top看一下運(yùn)行時(shí)進(jìn)程數(shù)量如果只有一個(gè)主進(jìn)程在跑說明 MPI 配置有問題回到 5.2 檢查運(yùn)行時(shí)的選擇。體系規(guī)模決定核數(shù)這是個(gè)特別重要的經(jīng)驗(yàn)原子數(shù)不到一百的體系4 核基本就到頭了幾百個(gè)原子的體系8 核比較劃算上千個(gè)原子的體系才值得上 16 核或更多。無腦加核只會(huì)讓任務(wù)排隊(duì)排得更久算得反而更慢。5.4 磁盤與內(nèi)存規(guī)劃靜默失敗的常見原因并行計(jì)算對(duì)內(nèi)存和磁盤的要求比想象的更高。MS 子程序在計(jì)算過程中會(huì)在臨時(shí)目錄產(chǎn)生大量中間文件/tmp如果空間太小任務(wù)會(huì)在沒有任何明確報(bào)錯(cuò)的情況下消失只在日志尾部留一行不明不白的錯(cuò)誤。這一步我吃過虧當(dāng)時(shí)一個(gè) 32 核任務(wù)跑了一個(gè)小時(shí)后突然退出查了半天最后發(fā)現(xiàn)/tmp只剩幾百兆。解決辦法是把臨時(shí)目錄指到大分區(qū)。在 MS 環(huán)境里設(shè)置export TMPDIR/scratch/ms8_tmp mkdir -p /scratch/ms8_tmp chown msi:msi /scratch/ms8_tmp如果/scratch是本地盤還能順便減少 NFS 網(wǎng)絡(luò)文件系統(tǒng)帶來的 IO 瓶頸。并行任務(wù)如果工作目錄掛在 NFS 上多個(gè)進(jìn)程同時(shí)讀寫同一個(gè)網(wǎng)絡(luò)目錄非常容易出現(xiàn)鎖沖突和文件同步問題。有條件的話把任務(wù)的本地工作目錄放到計(jì)算節(jié)點(diǎn)的本地盤跑完再同步回共享存儲(chǔ)這是老 HPC 管理員的基本素養(yǎng)。6. 高頻問題排查從錯(cuò)誤日志到解決方案的完整鏈路6.1 缺動(dòng)態(tài)庫用ldd定位而不是瞎猜啟動(dòng) MS 子程序時(shí)最常聽到的一句話是“報(bào)錯(cuò)說找不到一個(gè) .so 文件”。報(bào)錯(cuò)信息五花八門有缺libXp.so.6的有缺libstdc.so.5的有缺libGL.so.1的。面對(duì)這類問題我的排查方式是先找到具體是哪個(gè)可執(zhí)行文件起不來然后用ldd看它到底缺什么ldd /opt/msi/MaterialsStudio8.0/modules/CASTEP/bin/castepexe | grep not found絕大多數(shù)情況缺什么就用包管理器去找它屬于哪個(gè)包而不是一次性裝一堆包碰運(yùn)氣yum provides */libXp.so.6找到包名后yum install對(duì)應(yīng)包的 i686 版本。這一套下來通常三五分鐘就能解決。不要圖省事直接把所有 32 位庫裝一遍萬一裝錯(cuò)版本或者引入了庫沖突后面的排查才是真正的無底洞。6.2 圖形界面顯示異常字體與X環(huán)境的處理MS 安裝器或者客戶端連接后界面出現(xiàn)黑塊、窗體空白、字體全是小方塊這一般不是程序壞了而是圖形環(huán)境和字體的問題。安裝器黑屏?xí)r先確認(rèn)DISPLAY有沒有指向正確的 VNC 桌面再確認(rèn)字體包是否齊全xset -q如果 VNC 分辨率太低Java 渲染也會(huì)出問題把 VNC 的分辨率調(diào)到1280x1024或更高。實(shí)在不行就退回文本模式安裝./Install -console不需要 X 也能把主程序完整裝上。裝主程序和配 License 都不依賴圖形界面圖形界面只是給安裝過程提供便利別被它卡住整個(gè)項(xiàng)目進(jìn)度。6.3 Gateway無法啟動(dòng)端口與殘留進(jìn)程Gateway 是客戶端連服務(wù)器的入口它的默認(rèn)端口是 18888。如果你改了 Gateway 配置或者服務(wù)器重啟后沒正常關(guān)閉 Gateway再啟動(dòng)時(shí)會(huì)提示端口被占用最常見的場(chǎng)景是安裝過程中沒有把吉隆的舊進(jìn)程清干凈。排查鏈路很直接ps -ef | grep -i gateway ss -tlnp | grep 18888看到 18888 端口被某個(gè) Java 進(jìn)程占著要么把它停掉要么找到 Gateway 自帶的啟停腳本用正常方式重啟。MS 8.0 網(wǎng)關(guān)目錄下一般有g(shù)wstop、gwstart之類的腳本先執(zhí)行 gwstop確認(rèn)進(jìn)程退出以后再 gwstart。啟動(dòng)后等幾秒再檢查一次端口監(jiān)聽是否正常。如果客戶端連接時(shí)經(jīng)常自動(dòng)斷開還要檢查客戶端到服務(wù)器的 18888 端口是否被防火墻攔了。6.4 License報(bào)錯(cuò)從日志往上游看License 相關(guān)的報(bào)錯(cuò)是安裝后期的大頭。常見的表象有任務(wù)一提交就提示 license 錯(cuò)誤、客戶端顯示無法獲得授權(quán)、Gateway 日志里寫著 license server down。這些表面問題背后可能是完全不同的原因我的排查套路是從日志出發(fā)一層層往上游看先看 lmgrd 的日志tail -50 /var/log/lmgrd.log如果日志顯示License server started說明服務(wù)正常問題可能出在客戶端環(huán)境變量寫的端口或主機(jī)名不對(duì)。如果日志根本沒有啟動(dòng)記錄那 lmgrd 進(jìn)程可能沒起來檢查進(jìn)程和端口。如果日志里有Invalid host字樣那問題在授權(quán)文件綁定信息上去跟授權(quán)文件里的 HOSTNAME 逐一比對(duì)。如果日志里有EXPIRED字樣查系統(tǒng)當(dāng)前時(shí)間和日期FlexNet 對(duì)時(shí)鐘漂移非常敏感節(jié)點(diǎn)時(shí)間被自動(dòng)校時(shí)撥亂的時(shí)候授權(quán)服務(wù)會(huì)間歇性地報(bào)告過期。還有一個(gè)很容易忽略的坑修改了/etc/hosts的 hostname 映射后沒有重啟 lmgrd。lmgrd 在啟動(dòng)時(shí)會(huì)把主機(jī)名緩存下來你改了 hosts 但不重啟它它用的還是老名字自然對(duì)不上授權(quán)。6.5 子程序中途消失內(nèi)存、磁盤和權(quán)限的賬任務(wù)提交后進(jìn)程起來但跑著跑著就沒了連個(gè)報(bào)錯(cuò)窗口都不彈這是最讓人頭疼的情況。這類問題的排查必須看系統(tǒng)層證據(jù)而不是反復(fù)重新提交任務(wù)。先看作業(yè)目錄下的日志和輸出文件尾部有沒有異常。接著看系統(tǒng)日志里有沒有內(nèi)核殺進(jìn)程的記錄dmesg -T | tail -50如果看到Out of memory: Kill process那就是典型的內(nèi)存不足子程序申請(qǐng)的內(nèi)存超過了節(jié)點(diǎn)可用內(nèi)存被內(nèi)核 OOM 殺掉。解決辦法是減少并行核數(shù)、換大內(nèi)存節(jié)點(diǎn)或者優(yōu)化計(jì)算的基組復(fù)雜度。如果內(nèi)存沒問題再檢查磁盤df -h /tmp df -h /opt臨時(shí)目錄或安裝目錄滿了程序?qū)懼虚g文件失敗也會(huì)靜默退出。磁盤沒問題的話接下來檢查權(quán)限。MS 子程序能不能在工作目錄和臨時(shí)目錄寫入取決于 MS 運(yùn)行用戶對(duì)這兩個(gè)目錄的權(quán)限。用ls -ld看目錄屬主用運(yùn)行 MS 的用戶實(shí)際去新建一個(gè)測(cè)試文件試試就知道。這套排查走完90% 的靜默消失都能定位到原因。說實(shí)話MS 8.0 裝好一次以后非常穩(wěn)定我見過服務(wù)器上跑了好幾年都不需要再動(dòng)的。真正麻煩的從來不是安裝本身而是安裝前那些看著不起眼、關(guān)鍵時(shí)刻掉鏈子的前置檢查。希望這篇記錄能幫你少走幾個(gè)我走過的彎路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色爱综合五月| 人人看人人草人人摸| www.热99热| 夜夜夜夜夜操| 五月天婷婷成人网| 国产综合81p| 丁香六月婷婷综合在线| 极骚大香蕉伊人| 综合精品啪啪| 婷婷丁香宗合888| 小视频一区| 婷婷久久综合久| 丁香六月婷婷操逼网| 超碰93在线观看| 婷婷综合性爱网| 五月天社区| 色五月婷婷综合| 久久A V无码视频| 婷婷五月综合啪| 人妻aV在线| 丁香色啪综合| 99re最新地址| 99九九视频精彩在线| 超碰在线caop| 天天夜天天色天天| 9在线9在线婷婷在线国产| 色九月国产| 熟妇国产| 操人精品| 久久精品这里只有精品免费首页| 亚洲色婷婷| 99热免| 99re热在线视频观看| 精品久久久人妻| 色一情一乱一乱一区91Av| 久久免片| 久艹伊| 激情五月色综合网| 久久婷婷色情7777网站| 丁香婷婷五月天校园春色| 九九激情综合| 九色七七| 狠狠色婷婷色| 五月六月播婷婷| av大香蕉| 五月停停色| 丁香五月天激情网址| 青青草a在线| 久久99热在线观看| 开心五月婷婷激情| 五月天久久婷| 色人妻五月| 五月丁香综合精品欧美| 婷婷丁香六月天| 操91| 婷婷五点亚洲| caopeng97人人| 成人一级片| 综合激情啪啪| 91干在线| 99热在线观看| 亚洲va欧美va国产综合久久久| 精品热九九| 无码橾| 婷婷色色狠狠| 色婷婷av在线| 日韩欧美成人网| 99精品网| 亚洲精品五月| 五月花综合| 综合另类激情| 婷婷综合天堂| 午夜少妇在线观看视频| 99色综合| 色婷婷久久综合久色| 丁香五月激情五月| 婷婷丁香91| 99在线精品视频| 久久 无毛。| 99热老网站| 五月婷婷在线网站| 激情久久五月天| 色色婷婷色色| 色综合伊人网| 成人av在线网站| 开心激情综合| 中文字幕永久免费| 五月丁香免费视频| 激情五月婷在线精品| #NAME?| 欧美色五月| 丰满人妻妇伦又伦精品国产| 91精品久久久久久| 欧美日韩成人免费在线| WWW色五月天| 丁香97综合| 婷婷五月激情在线| 激情婷婷久久| 啪到高潮激情丁香五月| 亚洲XX日本| 伊人色五月| www.9操| 91chinese在线| 婷婷五月天综合久久| 亚洲欧美另类在线23p| 日韩免费乱轮网站| 黄色成人网站在线播放| 99玖玖免费视频| 久久黄色片| 五月天激情婷婷五月天久久| 亚洲天堂AV免费片| 超碰超碰在线| 丁香综合伊人AV| 激情综合五月激情17| 五月丁香婷婷色| 日本啪啪网| 99热 在线播放| 色色狼人综合| 激情综合亚洲色婷婷五月| 色婷婷丁香五月天在线视频| 久久aaa| 九九热只有精品| 色五月视频,小说| 国产永久一二一起草| 久久大香免费| 丁香五月婷婷激情完整版| 六九色综合婷婷五月天| 综合五月天| 日本色婷婷| 婷婷五月亚洲激情| 在线成人网站| 久久色这里只有精品| 深爱五月激情| 久久综合丁香激情五月| 91碰超| 久久99精品久久久久久三级| 思思色综合网站| 亚洲婷婷六月天| 综合婷婷| 国产亚洲99久久精品熟女| 丁香五月天社区婷婷| 欧美婷婷丁香五月社区| 狠狠色丁香婷婷基地| 99.色| 色5月婷婷| 婷婷成人在线| 99视频精品全部免费观看| 天天久| www超碰| 色婷五月天| 九月丁香婷婷| 亚洲六月婷婷| 五月天精品视频| 免费亚洲婷婷中文字幕| 嫩草AV久久伊人妇女超级A| 九九美女视频| 深爱激情五月天色婷婷| 米奇影视五月天| 婷婷六月综合激情| 99操99| 97婷婷五月激情六月丁香伊人| 色五月六月婷婷| 亚艹艹| 色播六月| 91操在线视频| 成人五月天在线观看| 六月丁香激情网| 91狼友视频网页更新| 色婷婷五月天激情在线播放| 97亚洲婷婷| 免费看欧美成人A片无码| 九九热亚洲中文在线观看免费| 思思热在线播放| 国自产拍偷拍精品啪啪一区二区| 九色 在线| 久色国产| 日韩av手机在线观看| 天天爽爽日日做做| ..真实国产乱子伦对白在线_欧| 婷婷99中文字幕| 中文字幕乱轮| 天天色中文字幕女优AV| 五月天基地| 激情5月舔| 免费观看大片视频 丁香婷婷 六月欧美| 搡BBBB搡BBB搡18 | 99热欧美| pom538精品视频| 婷婷亚洲在线| 思思精品久久艹| 久久精品性爱| 五月丁香中文婷婷中文| 久热这里只有| 九九激情视频| 五月婷婷9| 欧美婷婷五月| 久久久人妻门| 99人妻碰碰碰久久久久视| 五月婷色啪| 六月婷婷综合网2| 另类视频五月天| 欧美婷婷精品激| 亚洲va综合va国产va中文| 9这里只有精品| 久久久久久久久久久久63| 深爱综合网| 婷婷五月天无码视频| 成人五月天综合网| 超碰97干| 婷婷五月激情丁香激情| 狠狠爱成人综合网| 亚洲色域网| 久久 中文 日本| 九九精品99| 久久亚洲婷婷| 久久9视频| 日韩九区| 不卡在线超碰| 五月丁香六月婷婷玖玖| 日韩久久日| 天天婷婷综合亚洲亚洲| 亚洲欧美在线观看| 青青福利网| 亞洲自怕| 久久综合激情| 五月草视频| 久月婷婷| 婷婷五月天 丁香五月天 裸体| 婷婷五月天第四色| 久久99精品日本| 亚洲色五月| 婷婷五月天成人网站| 九九九九九九九九九九九九九国产精品| 久色资源| 天天操夜夜啊| 人妻在线网站| 98国产精品综合一区二区三区| 婷婷五月天综合色| 色狠狠五月天| 婷婷丁香18| 狠狠狠狠狠狠色| 国产欧美性成人精品午夜| 丁香六月五月天| WWW.久久久久久久| 成人性生活免费观看。| 亚洲激情在线| 激情六月天| 高清无码一区二区三区四区| 色五婷婷| 婷婷亚州综合| 婷婷色五月91啪啪| 另类在线| 午夜激情婷婷| 五月丁香天堂网| 免费AAAAA网| 九九色区| 五月天激情小说网| 丁香五月影院| 色五月,婷婷大香蕉| 小香蕉av| 色婷婷丁香五月| 五月婷婷网站| 成人五月天在线观看| 91九色超碰正在播放| AV在线观看网站| 无码激情精品色婷婷久久久久| 天天在线久久综合 | 亚洲成人网无码| 九九九九九九九九九九九九九国产精品| 五月婷婷丁香| 亚洲无码11| 九九热这里只有精品一| 日本色婷婷久久99精品91| 婷婷久久五月| 久久九九99| WWW,婷婷,COM| 狠狠激情五月天| 综合深爱五月| 婷婷五月天论坛| 激情综合网五月天天| 五月丁香婷婷色| 五月丁香精品| 久久这里只精品66| 婷婷久久久久久久| 欧美色六月婷婷| 五月伊人婷婷| 婷婷伊人网| av免费人人| 99视频精品8| 99视频这里只有久久精品 | 亚洲免费99| 婷婷激情五月色综合| AV在线不卡播放| 久久五月情| 婷婷伊人75| 久草婷婷视频| www.五月天色色色| 五月丁香婷婷成人版| 99色综合网| 在线观看中文字幕亚洲| 99自拍视频| 精品视频这里只有精品| 狠狠干2007| 狠狠色丁香99| 五月婷婷六月婷| 六九色综合婷婷五月天| 色婷婷久久久| 精品激情| 五月九九综合| 精品成人久久久久久久_一二三四视| 色婷婷久久久| 婷婷干| 激情综合在线观看| 另类综合激情| jizzdr| 丁香五月婷婷激情尤物| 99久久综合| 色婷婷激情| 中文字幕在线视频播放| 久久只有精| 丁香婷婷伊人| 99自拍视频在线观看| 婷婷五月激情中文字幕| 人人看人人97| 午夜理论片最新午夜理论剧| www.色五月.com| 99精品在这里| 99热免费| 殴美97色| 六月婷伊人| 日韩99视频| 五月激情丁香六月狠狠干| 亚洲成人人人操| 国外亚洲成AV人片在线观看| 婷婷爱爱蜜臀天天操| 色欲日日躁| 亚洲激情五月| 免费观看欧美成人AA片爱我多深 | 欧美性爱丁香五月| 九九国产精视频| 精品成人a v无码内射| 久久精品人妻| 婷久久久| 丁香五月骚喷水视频| 色色色成人网| 亚洲免费av在线| 热99这里只是精品| 日本色色色| 99ri国产精品| 99操网站| 狠狠操天天操天天操| 少妇激情五月天| 亚洲精品中文字幕成人片| 丁香五月亚洲激情婷婷射| 天天五月情| 99re在线观看| 激情网站五月| 久久亚洲婷婷| 久久机热这里只有精品免费视频| 9久热在线视频精品| 久久免费试看120秒| 日 日干 日日做| 99热这里是精品| 欧美激情久| 99re在线这里只有精品视频首页| 欧美综合激情| 亚洲bt丁香五月天婷婷激情小说| 国产亚洲精品久久久久久郑州| 婷婷五月天伊人| 五月丁香六月婷| 欧美va在线| 精品99*| 色色色色色色97| 久久99热这里只频精品6学生| 无码成人AAAAA毛片AI换脸| 爽极品色| 色色色免费视频| 8区视频在线| 成人五月天丁香| 五月丁香六月婷| 青青草青青草五月天| 天天做天天爱综合| 绿色小导航AV| 操逼六区| 网色99| 九九色影院| 午夜理论片最新午夜理论剧| 精品人妻伦九区久久AAA片| 婷婷中文字幕在线| 婷婷五月在线观看| 丁香五月天啪啪| 婷婷五月天色播| 五月天婷婷在线啪啪视频| 99色在线观看视频者| 天天婷婷综合亚洲亚洲| 亚洲午夜AV| W色综合| 色婷婷亚洲精品天天综| 97五月婷婷| 国产无套精品一区二区| 综合五月网| 99视频91| 中文字幕在线aⅴ免费观看| 色五月婷婷亚洲| aa久久| 色色亚洲| nvrentiantang av| 亚洲精品乱码久久久久久综合| 亚洲成人网址在线观看| 色欧美影院| 五月天激情综合在线| 天天日日夜夜爽。| 色婷操逼| 91互操| 麻豆AV一区二区三区| 99国产这里只有精品| 久久婷婷亚洲| 日韩无码亚欧无码| 婷婷综合久久| 996热re视频精品视频| 色播五月天天| 九九99九九99九九99视频网| 色婷婷呢狠禁久禁| 色综合区| 天天爽天天摸人妻综合网| 91丨九色熟女丨首页| www.婷婷五月| 五月丁香成年黄色| 精品国产va久| 九九视频免费| 免费成人网在线观看| 99久久6| 六月婷婷五月天| 日日色五月天| 97久久人人操| 色播五月天激情| 五月丁香婷在线| 欧美性爱五月天| 婷婷五月天综合AV| 精品人妻在线| 97色干| 大香蕉精品视频| 狼人婷婷久久| 丁香久久久| 久久久精品色色色| 五月激情偷拍婷婷| 99re这里只有精品国产99| 久久九九99| 色爱99| 久久免费试看120秒| 亚洲乱码日产精品BD| 五月综合色| 人人爱操| 丁香婷婷激情| 深爱激情五月网| 五月天综合在线观看视频| 久久激情中文| 九九AV| 五月激情天| 久久99热这里只频精品6学生| 色婷婷成人网| 91操操| 色色五月丁香| 色激情五月天| 欧美槡BBBB槡BBB少妇| 精品国产AV色一区二区深夜久久| 久久人妻熟女一区二区| 日本无码专区| 成人婷婷色综合| 久久婷婷原创视频| 99在线视频喷水| 综合九九久久| 99色五月| 天天摸天天舔在线视频| 色五月婷婷婷婷婷婷婷婷婷婷| 亚洲激情图文小说| 婷婷色色播五月天| 99热网址| 丁香六月狠狠干| 華人性愛AV在線| Jh7Uf088VHafNm| www。五月天。com| 婷婷大乡焦噜噜| 夜夜骑夜夜操| 热久久这里只有三级视频| 婷婷激情五月天小说| 欧美日本高清视频99| www91在线| 婷婷五月天色丁香| 五月丁香六月情亚洲| 婷香五月激情视频| 综合婷婷| 亚洲六月色| 丁香五月大香蕉AV| 五月丁香婷婷综合久久| 美女100%露全身无挡网站| 综合色色色色色色| 五月婷婷六月激情| 久久精品五月| 婷婷丁香五月精品| 色五月五月天色婷婷色五月| 国产精品美女久久久久AV超清 | 天天干天天爽| 99超级碰碰| 激情综合色婷婷啪啪六月天| 色综合九九| 在线视频九色97| 婷婷五月天午夜激情影院| 婷婷九月| 日日爽日日爽| 色噜噜狠狠色综无码久久合欧美| 婷婷情色五月| 性爱先锋AV| 色婷操逼| 六月婷婷网| 五月天成人网在线观看| 天天日天天色| 九九十99视频| 婷婷五月天色综合| 久久一热| 色色色97| 日本激情综合| 六月丁香网| 91日综合欧美| 色婷婷六月开心中文字| 丁香色五月天| 超碰资源在线| 五月婷婷中文字幕| 色综合香蕉| 开心激情站| 欧美一黄一色一乱一伦| 婷婷五月天六月综合| 色色操| 久久图色4| 久久人妻情侣| 久久婷婷色综合| 九九色之九九色之88| 五月丁香六月综合基地| 996黄色片| 欧美综合五月丁香五月天| 天天干天天操天天拍| 久久人人九九| 台湾无码A片一区二区| 97伊人综合婷婷| 天天精品视频免费观看| 丁香花社区av| 蜜桃五月天色| 日日夜夜九九| 久久色情综合免费网站| 久久六月婷婷| 天天日天天干天天天| 久热精品在看| 五月婷婷成人| 女人露出p毛视频www网站| 大香蕉久久久| 2015好吊操| 大香蕉手机视频| 99小精品| 四川BBB搡BBB搡多人乱亂| 欧美色播综合在线观看| 久久精品女人天堂AAA| 五月天天久久香| a在线观看| 久久九色| 夜夜做天天爽| 色婷婷丁香AV综合| 婷婷五月天开心网| 91久久五月天| 四色99久久| 影音先锋按摩| 99热网精品| 日日天天操| 亚洲黄网在线| 色停停香蕉视频| 亚洲在线激情婷婷五月| 2015在线中文字幕| 在线中文av| 97精品自拍| 亚洲第一成人无码A片| nvrentiantang av| 国产精品五月丁香| 久久九九99视频| 丁香五月综合| 99亚洲色| 国产熟女一区二区三区五月婷| 公的粗大挺进了我的密道| 思思热再线视频| 香蕉97碰碰碰超视精品| 97色碰| 天天骑天天操| 五月丁综合在线观看| 激情久久综合网| 91色久| 丁香婷婷十月| 久久精品婷婷| 丁香婷婷久| 五月婷婷六月丁香在线| 五月综合婷婷久久在线| 五月香蕉婷婷| 久久婷婷六月综合国际| 丁香五月天啪啪| 五月激激激情综合网| 婷婷五月成年人| 超碰永久在线| 欧美性猛交99久久久久99按摩 | 丁香久月| 五月综合激情网| 色五月 激情婷婷 综合五月天| 欧美性爱中文字幕| 1024欧美看片| 在线99热| 亚洲色综合| 91精品在线看| 色综合婷婷| 天天天天干| 五月婷婷久草在线视频综合| 99热日本| 激情五月天网| 99这里只有精品视频| AV在线资源| 欧美综合五月丁香六月婷| 成人五月天色天堂| 婷婷五月天综合激情| 六月撸婷婷| av免费在线网站| 九色综合五月天婷五月| 婷婷五月丁香激情| www.狠狠| 天天肏夜夜肏| 青草五月天| 91人人操人人| 狠狠丁香| Av性爱网| 欧美va| 99九九精品视频| 丁香五月婷婷成人网| 色五月 激情婷婷 综合五月天| 91大神操美女| 天搞天天天天天| 91精品电影18T| 久久6这里只有精品| 中文字幕+乱码+中文字幕在线观看| 婷婷久久久久久久| 九九色99| 天堂AV在线看| 激情五月天在线免费美女视频| 五月激情网站| 色色色色色色网| 九色无码| 丁香五月激情五月| 久久se 综合网| 国产精品美女久久久久AV超清| 99ER热精品视频| 日本色婷婷| 黄桃AV无码免费一区二区三区| 狠狠狠狠狠| 日韩ww| 综合九色| 成人AV在线网站| 性日本激情| 丁香五月综合在线播放| 综合婷婷五月天| 婷婷性爱| aaaa久久| 欧洲亚洲免费视频9| 婷婷丁香社区网| www.91有码.com| 99久久er| 丁香六月婷婷| 这里只有精品1| 中字幕视频在线永久在线观看免费| 色婷婷最新域名 | 九色亚洲| 日韩一级A片黄色| 99色综合网| 日本欧美成人片AAAA| 色九月欧美| 天天色天天色天天色天天色天天色| 中文字幕永久免费| 日本久久9| 精a品a视a频| 久热这里只有精品视频6| 性天天中文网| 精品久热| 丁香五月天社区婷婷| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 婷婷五月天偷拍| 六月 丁香 视频| 亚洲AV无码影院| 天天综合永久| 99热66| 成人AV中文字幕| 丁香五月激情站| 91人人网| 亚洲视频一区| 他改变了拜占庭| 日日噜噜夜夜狠狠久久丁香六月| 四川女人毛多水多A片| 性欧美日本| 天天干天天日天天操| 国产又黄又爽又色的免费| 91猫咪国产在线播放| 久久久久久久8| 天天操电影院色狼性av| 9热网站| 婷婷5月色| 色婷婷888| 欧美顶级少妇做爰HD| 欧美欧盟性爱网| 99九九玖玖| 丁香视频| 欧洲免费视频色| 激情综合丁香六| 六月婷婷视频| 久久er99热精品一区二区| 91九色精品熟女内射| 亚洲国产99| 99久久久久久www| 操人无码| 久久婷婷色情7777网站| 97在线刺激| 影音先锋毛片网站| 五月天另类激情在线| 就要去操亚洲成人精品五月天丁香婷婷| 激情小说婷婷| 久9热视频在线观看| 国产成人AV在线播放 | 激情网 久久| 99热精品免费| 日本啪啪网| 九月丁香婷婷综合| www久久99com| 国产精品人人做人人爽人人添| 国产婷婷五月中文字幕高清| 九九无码AV| 婷婷五月天激情免费在线观看| 婷婷狠狠爱| 国产美女无遮挡裸体毛片A片| 亚洲视频五区| 99久久这里只有精品| 亚洲激情综合色站| 91精品婷婷国产综合久久| 久久婷婷影院| 99这里都是精品| xxx综合在线| 亚洲欧洲一二| 99热在线精品观看| 亚洲九九99精品视频在线播放| 日本婷婷色| 97色色色色色| 9久国产精品| 婷婷99| 亚洲日本激情| 欧美色色色| 五月丁香婷婷AV天堂| 久9综合| 九九色色| 久久黄A片| 国外亚洲成AV人片在线观看| 九九人妻福利| 婷婷在线中文字幕| 婷婷色在线观看| 狠狠色丁香99| 99视频在线观看网址| 狠狠色丁香| 五月天播播中文字幕| 亲子乱AV一区二区三区下载| 国产露脸150部国语对白| 婷婷丁香69精华| 久久婷婷五月天大香蕉| 99只有这里有精品在线视频| 丁香五月婷婷呀| 五月天婷婷成人网| 99成人精品| 97操碰| 婷婷丁香五月基地| 国产精品久久久久久妇女6080| 欧美激情综合色综合| 丁香婷婷综合精品六月初| 人人操操97| 影音先锋91在线资源站| 99re这里| 免费在线观看欧美激情xx小视频| 婷婷性爱| 丁香婷婷综合激情五月色| 成人精品在线观看| 五月天婷婷影院| 超碰成人av| 六月丁香婷婷综合狠狠爱夜夜爱| 丁香六月啪啪| 九九综合九九| 99免费视频网| 激情图片亚洲| 人人干99| 秋霞AV吧| 97人人超| 五月婷婷婷婷婷婷艺术| 精品久久人妻热| 久久婷婷青草五月天| 久久九九玖玖| aV直接看| 综合激情站| 亚洲va在线∨a天堂va欧美va| 91爱操| 99日本视频| 婷婷激情啪啪| 久久97久久99久久综合欧美| 久久久com| 777色色色| 99热这里只有精品免费观看| 午夜不卡成人一区二区| 色优久久| 色99热| 丁香九月激情久久| 99精品超在线播放| 丁香激情四射| 在线成人国产| 五月丁香综合精品欧美| 北京熟妇搡BBBB搡BBBB | 九九成人电影婷婷| 久久婷婷丁香花综合网| 五月天成人综合| 亚州美女| 久久色情| 婷婷99视频在线| 五月婷婷婷色| 成人网站高清无码| 丁香六月欧美| 操比激情五月综合| 91艹人| 99热99热在线观看| 色婷婷五月丁香在线观看| 五月丁花色综合网| 人人干天天舔| 天天日天天做天天操| 热99在线| 天天干天天干天天干天天干天| 丰满人妻一区二区三区| 五月丁香久久激情综合| 99热1| 婷婷丁香久久五月综合| 99热这里只有精品2| 在线99热| 成人龟情网丁香五月| 超碰97色| 亚洲五月天第一综合干| 人人爱人人摸人人澡| 99久热这里只有精品| 国产成人AV| 97碰人人操| 99热爱爱干干日| 综合久久影院| AV操逼网| 丁香久久| 激情综合视频| 激情九月天天天天婷婷| 深爱五月激情网| 婷婷五月丁香伊人| 97九色| 春色激情| 97资源碰碰| 无码中文一区二区三区| 狠狠干五月天| 办公室少妇激情呻吟A片在线观看 白人荫道BBWBBB大荫道 | 婷婷五月天Av| 涩涩婷婷五月| 99re久热只有精品6在线直播| 狠狠操天天操天天操| 亚洲色 视频| 六月婷久久| 狠狠婷婷色| 色婷婷AⅤ| 天天草婷婷五月| 色色 亚洲| 97色色色| 影院久久久| 中文字幕丁香五月| 九九热免费视频| 中文字幕无码人妻少妇免费视频| 91色综合网| 成人av免费观看| 久久久精品视频79| 99热这里只有精品13| 天天天久久人人人合| 丁香六月综合| 影音先锋噜一噜| 亚洲亚洲永久无码777777| 丁香五月影院| 久操干| 99热99色| 国产成人精品一区二三区熟女在线| 丁香六月av| 九九视频精品这里只有| 开心激情婷婷| 国产69久久久欧美黑人A片| av激情在线| 色婷婷六月开心中文字| 五月婷婷激情| 五月天开心色情网| 狠狠色婷婷777| 色婷婷精品视频在线播放| 午夜激情五月| 五月婷婷色色| 久re热视频| 亚洲人妻五月丁香婷婷| 夜精品无码A片一区二区蜜桃| 丁香六月婷婷一区| 成人在线视频一区| 国产在线视频1234| 色色色色色色色色色色色色色97| 有码一区二区三区| 五月丁香六月情| 九九色院| 婷婷五月花| 欧美色碰| 91操在线视频| 亚洲欧洲国产精品| 婷婷综合五月| 亚洲 精品 综合 精品| 日日爽夜夜爽| 婷婷日日天天| 久久 无毛。| 玖玖婷婷色五月| 久久久婷婷五月亚洲97号色| 亚洲午夜一区二区| 丁香五月精品视频| 丰满老熟妇BBBBB搡BBB| Va另类视频| 日本3级片一区2区| 亚洲色啪| 色五月丁香婷婷| 五月丁香色综合| 婷婷久热| 麻豆五月丁香婷婷| 超级久久久| 色墦五月丁香| 夜夜爽天天| 九九九九操逼| www.激情五月| 婷婷五月在线免费| 激情又色又爽又黄的A片 | 婷婷久久亚洲| 欧美激情五月综合| 免费在线a| 九月婷婷久久| 色婷婷五月天天天天天天天天天| 五月丁香偷拍| 成人精品视频99在线观看免费| 婷婷深爱网| 欧亚洲在线高清视频| 五月综合激情图片| 国産精品| 热99re| 97成人丁香婷婷| 九九婷婷热| www久| 99色爱| 色婷婷基地| 成人五月天综合网| 亭亭社区五月天| 99久热| 五月天婷婷色情| 五月婷婷啪| 大伊香蕉精品视频在线| 成人婷婷桔色| 久久在线视频免费观看| 天天看A片| 天天色99| 97色色色| 五月丁香成人网| 91色逼| 97人人干| 久久国产AV| 97碰在线免费观看| 开心激情综合| 五月六月丁香婷婷在线观看| 99re这里只有精品首页| 久久激情四射| 嫩草视频观看| 色五月婷婷老师| 日本一道久久| 六月婷婷综合| 日本成人小说婷婷六月| 色久天| 久热九九| 大香蕉久久青青| 9久久AV| 蜜桃婷婷丁香五月天狠狠久久综合| 亚洲色欲AAAAAA| 97超碰在线免费观看| 99久久婷婷| 婷婷丁香综合色AV| 五月天啪啪视频| 五月丁香亭亭天天舔| 激情av在线| 美国少妇性做爰| 日韩欧美一道四区中文字幕| 亚洲激情网站无码| 日日操天天操| 大地9中文在线观看免费高清| 色碰97| 亚洲精品欧洲精品| 五月天啪啪啪| 五婷婷综合网| 丁香五月天在线观看视频| 久久婷婷五月综合伊人| 丁香色婷婷| 婷婷五月色惰| 亚洲99在线视频| 日韩无码成人电影| 禁片二区| 香蕉久久国产AV一区二区| 婷婷操超碰| 色婷婷九月| 99热在线里有精品| www.狠狠操| 久激情网| 五月天婷婷基地综合网| 影音先锋男士资源网一区| 五月激情四射婷婷丁香| 99在线精品视频| 免费AV在线网址| 五月丁香婷婷三级| 人人人操 超碰| 婷婷五月天无码熟女| 热久久99热欧美国产亚洲| 色九九综合热99| 天天天天天天操| 亚洲成片在线观看| 夜夜操,天天撸| 狠狠爱丁香婷| 天天做天天爱天天做| 婷婷五月丁香亚洲| 九九视频精品在线免费| 91久久99久久91熟女精品| 色五月综合在线| 九九精品综合| 婷婷五月情| 99精品在线观看| a网站免费观看| 狠狠做婷婷| www.色婷婷| 色偷偷人人| 美女爆乳18禁www久久久久久| 欧美内射AAAAAAXXXXX| 综合色色网| 这里只有精品免费| 丁香五月天堂| 婷婷六月丁香五月| 思思re99视频在线观看| 婷婷涩五月天综合| 七七久久综合| 婷婷狠狠97| 99热精品在线| 香蕉AV777XXX色综合一区| 欧美97p| 婷婷丁香五月基地| 色婷婷网| 9999热精品| 久久精品性爱| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 婷婷五月花| 在线只有精品| 婷婷五亚洲| www.久久99热地址发布| 激情亚洲网| 国产精产国品一二三在观看 | av国产精品| 色欲色欲久久宗合网| 夜夜AVV| 色色色综合色| 激情桃色网| 五月丁香久久久| 四月婷婷丁香| 色999五月色| 影音先锋男士资源网一区| 五月婷婷影| 色婷婷AV五月天| 色婷操逼| 色婷婷另类| 白人荫道BBWBBB大荫道| 丁香五月婷婷激情尤物| 丁香花五月天| 丁香激情久久| 五月婷婷丁香五月| 天天做天天爱天天爽| 97色在线观看视频| 第四色26uuu| 色综久久AV| 日韩操人| 99精品在线观看视频| 中文字幕精品推荐免费在线观| 国产精产国品一二三在观看| 午夜一区| 久久五月网| 丁香五月婷婷偷拍| 五月婷亚洲精品| 亚洲欧州色情在线观看| 婷婷五月综合婷婷| 中文字幕av在线| 丁香密臀AV激情网| 中文字幕成人影视| 久久婷婷五月丁香| 另类视频综合| 午夜激情四射影院| 亚洲另类婷婷五月丁香在线播放| 激情五月天在线视频| 九九色色| 色99视频| 久久久久99精品成人片| 丁香色婷婷五月天| 开心五月天激情网站| 激情丁香婷婷五月天| 婷婷亚洲日本| 五月天婷婷久久| 五月丁香婷婷在线| 99九九玖玖| 五月天婷婷基地综合网| 9热在线视频精品| 欧美人人草草| 性爱五月婷| 99视频综合网| 98热精品| 9l视频自拍九色9l视频在线观看| 色婷婷在线视频| 热99这里只是精品| 教师性爱毛片| 婷婷色在线视频| 人妻videos人妻高清| 区啪精品| 丁香六月婷婷社区| 色婷婷亚洲精品天天综| 久久五月天精品视频| 97日本在线播放| 日本五月天网站| 五月婷婷日本| 一区二区免费看| 丁香五月性爱| 五月色婷| 欧美色播综合在线观看| 色婷婷久久综| 性爱111111| 亚洲爆乳无码精品AAA片蜜桃| 99热网址| 日本人人xxx| 久久视频九九视频| 欧美狠狠一在草| 久久性操| 五月激情射| 婷婷五月丁香激情图片| 97干干干丁香| 桃色五月天| 99这里| 色~性~乱~伦~噜| 激情婷婷五月天| 丁香五月天在线观看| 这里只有精彩视| 国产免费一区二区在线A片视频| 丁香五月综合网| 婷婷久久婷婷色五月| 五月开心婷婷极品激情| 五月天激情图| 婷婷五月天AV在线| 婷婷五月久久| 五月丁香六月综合激情网| 99精品性爱| 久久草大香蕉| 中日韩狠狠色| 美英法精品无码免费视频| 婷婷六月丁香1| 五月丁香婷婷啪啪| 丁香五月www| 无码操B| 久久成人人妻| 婷色人人狠| 中文在线视频久9| 婷婷五月色播| 777色色色| 狠狠操之狠狠操| 9在线9在线婷婷在线国产| 超碰在线99| 五月婷婷免费看| 婷婷丁香色五月天久久88| 日本97久久久精品| 99热久久这里只有精品| 思思热视频| 97久久香草精品视频| 色噜噜狠狠色综合成人网| 五月丁香六月激情综合| 久热久操久热久草国产91| 啪啪啪大香蕉| 色丁香在线视频| 人人操碰| 夜夜骑天天操| 色色色综合视频| 久久超级碰碰| 久久久潮喷-久久久九九-成人AV| 欧美日韩99| 五月婷婷 激情五月| 五月色婷婷影视在线电影| 99热青青草| 天天碰夜夜操| 99热18| 99视频激情四射| 深爱激情网噜噜色| 九九热这里只有精品556| 婷婷久久免费看| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 亚洲成人网站在线| 少妇性按摩无码中文A片 | 26uuu国产精品| 婷色五月| 六月婷婷九月丁香| 五月综合激情啪啪啪啪啪| 五月天开心网| 在线观看av网站| 亚洲成人人人操| 激情婷婷狠狠干| 五月婷俺去也| 色噜噜五月天| 午夜丁香久久久久久| 99热久久这里只有精品| 二色av| 亚洲婷婷五月| 深爱激情丁香五月| 蜜乳国产网站| 亚洲婷婷月丁香五月| 五月婷婷三级| 久久在线92| 九九综合五月欧美| 噢美99| 亚洲欧美在线观看| 无码色| 97人妻碰碰中文无码久热丝袜| 色婷婷在线视频| 丁香六月无码| 五月丁花色综合网| 亚洲激情电影五月天色婷婷丁香一起草 | 六月婷婷色综合| 久久婷婷综| 天天舔天天摸| 伊人五月天在线| 狠狠插日日干撸| 五月天婷婷影院影院| 色婷婷视频| 夜夜爽天天| 国产伦理精品高清在线观看网站一区二区 | 99热啪啪| 五月丁香激情综合网| 久久这里只有精品热在99| 婷婷情色五月天| 狠狠操狠狠插| 亚洲免费婷婷| 国产婷婷五月色情综合| 色五月婷婷内射| 天天舔天天插天天干| 五月天婷婷丁香视频| 狠狠擼综合| 就爱操www com| 五月天色色激情综合| 久久婷婷视频| 色婷婷小说| 狠狠搞五月天| 那里有AV网址| 五月天激情黄色小说在线观看| 91超级碰|