国产十八禁视频在线播放_国产剧情丝袜熟女 欧美日韩_在线ay视频青青熟青青con_精品中文亚洲少妇_欧美视频三A片在线播放_影视久久亚洲无码_野狼AV午夜福利在线观看_亚洲人成人无码www_国产一级av免费观看_888影视网每天第一时间更新最新电影

第四章 集群的管理技巧

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

例如，如果讀者的組里有 VASP，則每個用戶對 VASP 的權(quán)限要嚴格控制。如果用戶不再 VASP 的使用者列表上而具有 VASP 的運行權(quán)限，則可能給讀者的組里惹來麻煩。

 

 

1. 用戶名的設(shè)置一定要有條理。在作者本組的集群中，除了 root 和一個普通管理帳戶外，所有使用者一律以“userXX”命名（如 user01，user02 等）。當

 

 

2. 設(shè)置好適當?shù)慕M。有些軟件對組的要求是必須的，如 Gaussian，必須要有一個組專門運行 Gaussian。另外有些組的設(shè)置與集群的權(quán)限有關(guān)。比如有的用

 

戶只允許發(fā)實驗性的小作業(yè)（如最多連續(xù)運行 1 個 CPU 小時），而有的用戶允許

 

運行大型作業(yè)（如連續(xù)幾天的大作業(yè)），可以分別設(shè)置兩個組 trail 和 large，并對

 

Torque 進行設(shè)置，這樣就可以對不同用戶做精確的權(quán)限限制。

 

 

 

 

 

對于前面提到的 coolrainbow，它的各種通信都已經(jīng)設(shè)計完備，這些東西的

 

實現(xiàn)是通過其家目錄下的文件夾.ssh 實現(xiàn)，并且，由于 coolrainbow 已經(jīng)與所有

 

的節(jié)點進行過通信（這只要在各個節(jié)點上 ssh  本機即可實現(xiàn)），它

 

的.ssh/knownhost 里已經(jīng)記載了全部信任主機的主機名，即通信時不會再詢問

 

 

第 38 頁

第四章 集群的管理技巧

 

 

 

“Are you sure you want to continue connecting (yes/no)?”這樣的問題。而且，

 

由于所有的用戶都將使用計算軟件，故將 coolrainbow 的 PBS 腳本（如

 

g03_submit.pbs 等）給所有用戶共享也是個不錯的選擇。因此，如果在建立新

 

 

 

這十分容易實現(xiàn)。/etc/skel 文件夾是個系統(tǒng)文件夾，新用戶建立時 skel 里的

 

所有文件會自動拷貝到新用戶的家目錄下。因此，可將/home/coolrainbow 下

 

的.ssh，*.pbs 全部拷貝到 skel 目錄下，新用戶建立后便可直接實現(xiàn)無密碼 SSH

 

 

當然，添加完新用戶后，一定要在/var/yp 下 make 一下，以更新 NIS 數(shù)據(jù)

 

庫。同時還要設(shè)置其 group。這一系列工作可以通過一個 shell 腳本即腳本 4-1-1 實現(xiàn)：

 

腳本 4-1-1 集群添加用戶的腳本

 

 

#!/bin/sh

 

username = $1

 

password = $2

 

useradd -m $username

 

echo $username:$password | chpasswd

 

cd /var/yp

 

make

 

假設(shè)這個腳本叫 useradd2cluster，要添加一個名為 user01、密碼為 123456 的用戶，只要執(zhí)行：

 

# ./useradd2cluster user01 123456

 

 

刪除用戶非常簡單，例如要刪除 user01 及其家目錄下的所有文件：

 

# usedel -r user01

 

# cd /var/yp

 

# make

 

 

 

 

Torque 的作業(yè)管理是以“隊列”的形式實現(xiàn)的。一個隊列是指具有某種權(quán)限

 

的用戶的集合。例如，可以設(shè)置一個 big32 的隊列，凡是這個隊列的用戶可以最

 

多同時用 32 個 CPU；而一個 trail 隊列的用戶只能用 1 個 CPU 最多算一個小時。

 

第 39 頁

第四章 集群的管理技巧

 

 

 

 

 

 

 

這里的管理員即可以是 root，也可以是配置過程中的配置的普通用戶管理員。管理員通常不提交作業(yè)，只用來管理。

 

1. 管理隊列

 

集群建立后，用戶要想通過 Torque 提交作業(yè)，必須以一定的隊列的身份提

 

交。Torque 在安裝時已經(jīng)創(chuàng)建了一個默認隊列 batch，要創(chuàng)建一個新隊列，需要

 

使用 qmgr 命令行提交一系列命令，可以創(chuàng)建一個 shell 腳本來實現(xiàn)這個功能，

 

 

這個腳本中，“qmgr -c”表示要調(diào)用 Torque 的 qmgr 命令進行工作，第四行

 

用表示創(chuàng)建一個名為 queue_name 變量值的隊列，剩下的每一行“set queue”

 

 

列的屬性值即可。常見屬性的含義見表 4-2-1。

 

2. 管理服務器端

 

Torque 安裝完成后，服務器端的默認配置基本能滿足要求。要修改可以采用

 

命令格式為“qmgr -c “set server attribute = values””，重要的內(nèi)容可以參見表

 

4-2-2。

 

3. prologue 和 epilogue 文件

 

這兩個文件夾位于/var/spool/torque/mom_priv 內(nèi)，它們都是一般的 shell 腳

 

本，只能由管理員修改，它們分別在 PBS 腳本之前和之后執(zhí)行，在本集群的設(shè)

 

 

gaussian.o112 中。

 

 

參數(shù)的意義可以參見表 4-2-3。

 

下面給出本集群中使用的 prologue 和 epilogue 文件。它要在所有的客戶端

 

的/var/spool/torque/mom_priv 中添加，權(quán)限為 755，可以參見腳本 4-2-2 和腳本

 

4-2-3。

 

 

 

 

第 40 頁

第四章 集群的管理技巧

 

 

腳本 4-2-1 建立隊列的 shell 腳本

 

 

#!/bin/sh

 

queue_name="paralle"

 

# Then you can modify the following items. qmgr -c "create queue $queue_name "

 

qmgr -c "set queue $queue_name queue_type = Execution" qmgr -c "set queue $queue_name Priority = 70"

 

qmgr -c "set queue $queue_name max_running = 8"

 

qmgr -c "set queue $queue_name resources_max.cput = 5000:00:00" qmgr -c "set queue $queue_name resources_min.cput = 00:00:01" qmgr -c "set queue $queue_name resources_default.cput = 5000:00:00" qmgr -c "set queue $queue_name resources_default.walltime = 5000:00:00" qmgr -c "set queue $queue_name max_user_run = 8"

 

qmgr -c "set queue $queue_name keep_completed = 0" qmgr -c "set queue $queue_name enabled = True" qmgr -c "set queue $queue_name started = True"

 

表 4-2-1 隊列常用屬性及其含義

 

 

表 4-2-2 服務器端管理常用屬性及其含義

 

 

屬性值 含義

 

default_queue 默認的隊列

 

max_running 同時最多運行的作業(yè)數(shù) max_user_run 每個用戶最多運行的作業(yè)數(shù) query_other_jobs 允許用戶查詢其他用戶的作業(yè)

 

表 4-2-3 prologue 和 epilogue 文件的名令行參數(shù)含義

 

 

參數(shù) 含義

 

$1 任務號

 

$2 用戶名

 

 

第 41 頁

第四章 集群的管理技巧

 

 

 

腳本 4-2-2 prologue 腳本示例

 

 

#!/bin/sh

 

echo "Job ID: $1"

 

echo "Job username: $2"

 

echo "Job group: $3"

 

 

echo "The job begins at `date`"

 

exit 0

 

 

腳本 4-2-3 epilogue 腳本示例

 

 

#!/bin/sh

 

echo "The job ends at `date`"

 

echo -n "Nodes for use are: "

 

for i in $(sort /var/spool/torque/aux/$1 | uniq)

 

 

 

 

Job ID: 168.compuchem

 

Job username: user02

 

Job group: user02

 

The job begins at Tue May 12 14:43:33 EDT 2011 <<<…用戶軟件的輸出（實際為 stdout 的重定位）…>>> The job ends at Tue May 12 14:43:35 EDT 2011

 

 

第 42 頁

 

Request Resource: cput=5000:00:00, neednodes=1: ppn=8, nodes=1: ppn=8, walltime=5000:00:00

 

Available Resource: cput=00:00:00,mem=0kb,vmem=0kb,walltime=00:00:02

 

 

 

 

 

 

 

1. 提交作業(yè):qsub

 

最簡單的例子，提交一個 PBS 腳本（普通用戶）：

 

$ qsub submit.pbs

 

以腳本 2-6-2 為例，最重要的幾個參數(shù)如下：

 

#PBS -l nodes=node023:ppn=8+node027:ppn=8

 

這是表明要使用節(jié)點的個數(shù)及每個節(jié)點所要使用的 CPU 數(shù)。通過下面的表 4-2-4 說明它的用法。

 

表 4-2-4 Torque 的資源分配方法舉例

 

 

#PBS -q batch

 

表示用戶要提交的隊列，這里是“batch”。

 

#PBS -N first_task

 

表示用戶的作業(yè)名稱，這里是“first_task”。它不能以數(shù)字開頭。這個名稱

 

 

 

2. 查看作業(yè):qstat

 

 

第 43 頁

第四章 集群的管理技巧

 

 

$ qstat

 

 

Job id Name User Time Use S Queue

 

------------------------------- -------------------------- ------------------------------ ----- --------

 

 

 

業(yè)狀態(tài)、作業(yè)所屬隊列。對于狀態(tài)，R 表示正在運行，Q 表示等待排隊中。

 

加上參數(shù)-n 則可以顯示作業(yè)占用資源的詳細情況。

 

$ qstat -n

 

Req'd Req'd Elap

 

Job ID Username Queue Jobname SessID NDS TSK Memory Time S Time

 

----------------------------------------------------------------------------------------------------------------

 

57.compuchem user03 parallel pc2-I 15995 1 -- -- 5000: R 32:46 node023/7+node023/6+node023/5+node023/4+node023/3+node023/2+node023/1 +node023/0

 

64.compuchem user02 parallel graphite_hf_opt 6359 1 -- -- 5000: R 7:15 node026/7+node026/6+node026/5+node026/4+node026/3+node026/2+node026/1 +node026/0

 

3. 刪除作業(yè):qdel

 

例如要刪除作業(yè)號為 123 的作業(yè)，只需：

 

$ qdel 123

 

可以同時刪除多個作業(yè)。如要刪除作業(yè)號為 97、98 兩個作業(yè)，可以：

 

$ qdel 97 98

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第 44 頁

第五章 GPU 在集群上的應用

 

 

 

 

 

 

 

 

 

 

GPU計算是現(xiàn)代計算機發(fā)展的一個非常有趣的新方向。它利用GPU中超大規(guī)

 

 

蒸蒸日上。很多最新的超級計算機，如天河一號，都在硬件中加入了GPU以提高

 

速度。至2011年5月，大量的分子動力學軟件，如Gromacs，NAMD等，和量子

 

化學軟件TeraChem都已經(jīng)提供了GPU計算的功能。因此，本教程在最后有必要

 

提供一些與GPU和CUDA配置有關(guān)的東西。

 

這里，將以GeForce GTX 460為例進行安裝。

 

 

 

 

讀者有了GPU的硬件后，需要將其配置在操作系統(tǒng)中。Linux（這里是Debian）必須事先裝好圖形界面。

 

 

GPU安裝非常容易。要安裝GPU的驅(qū)動，首先停止掉X，然后在nVIDIA的官

 

網(wǎng)下載其驅(qū)動devdriver_3.2_linux_64_260.19.21.run，執(zhí)行即可。不用重啟，執(zhí)

 

行startx就可以看到新的圖形界面�？梢栽�Linux的菜單System/Preference/中可以

 

找到nVIDIA的配置菜單，見圖5-1-1。

 

 

 

 

要利用GPU進行計算和編程，還需要安裝toolkit和SDK，它們的安裝非常簡

 

單，在nVIDIA的官方網(wǎng)站可以下載到符合系統(tǒng)名稱的文件，直接安裝即可。

 

我們的系統(tǒng)是Debian，在nVIDIA下沒有專門適應Debian的，我們選擇Ubuntu

 

的即可，安裝文件為：cudatoolkit_3.2.16_linux_64_ubuntu10.04.run和gpucom putingsdk_3.2.16_linux.run。這兩個文件直接執(zhí)行，即可，一般不會有什么錯誤。

 

 

第 45 頁

第五章 GPU 在集群上的應用

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

CUDA編程所需的編譯器命令為nvcc，我們通過一個程序來調(diào)試一下，見腳

 

本5-1-1。這個腳本的功能是計算機器中GPU硬件的數(shù)量，并列出每一個GPU的

 

名稱。這個程序命名為firstcuda.cu，編譯：

 

$ nvcc firstcuda.cu -o firstcuda

 

 

There are 1 devices supporting CUDA!

 

Device 1: "GeForce GTX 460"

 

 

 

 

NAMD2.7增加了對CUDA的支持。這里講一下NAMD CUDA版的編譯方法。

 

其實和§3.2的步驟類似，但是要注意：在CUDA 3.0版本之前，NAMD CUDA

 

版本不能用intel編譯器編譯，因為nVIDIA在Linux下目前只支持gcc，不支持icc。

 

作者的經(jīng)驗表明，如果用icc編譯，可以通過，但是運行NAMD后會出現(xiàn)一些莫

 

名奇妙的內(nèi)存訪問錯誤，如Signal: segmentation violation。而且在編譯與CUDA

 

 

 

第 46 頁

第五章 GPU 在集群上的應用

 

 

 

 

如果讀者拿到這份文檔時，nVIDIA和intel公司已經(jīng)達成了合作，那么，沒準CUDA版的NAMD就可以用intel編譯器順利編了。

 

腳本 5-1-5 CUDA 程序示例

 

 

/ firstcuda.cu #include <stdio.h> #include <stdlib.h>

 

#include <cuda_runtime_api.h>

 

int main(int argc, char** argv)

 

{

 

int count;

 

int i;

 

cudaDeviceProp devprop;

 

if(cudaGetDeviceCount(&count) != cudaSuccess)

 

{

 

printf("Error: CUDA test failed!\n");

 

exit(1);

 

}

 

printf("There are %d devices supporting CUDA!\n", count);

 

for(i = 0; i < count; i++)

 

{

 

if(cudaGetDeviceProperties(&devprop, i) == cudaSuccess)

 

printf("Device %d: \"%s\"\n", count, devprop.name)

 

 

{

 

printf("Error: Get CUDA properties failed!\n");

 

exit(1);

 

}

 

}

 

return 0;

 

}

 

如果要編譯CUDA，只要修改相應的arch/Linux-<your arch>.cuda即可，將CUDADIR改成你安裝CUDA的路徑。特別注意

 

LIBCUDARTSO=libcudart.so.2

 

這一行，如果你安裝的是CUDA3，需要把它改成

 

LIBCUDARTSO=libcudart.so.3

 

如果是CUDA4，自然要改成LIBCUDARTSO=libcudart.so.4。

 

 

 

第 47 頁

第五章 GPU 在集群上的應用

 

 

 

 

# ./config tcl fftw --with-cuda Linux-x86_64-g++-cuda

 

 

NAMD的CUDA和MPI并行是不矛盾的。執(zhí)行NAMD-CUDA，需要對namd2

 

后面加上一些參數(shù)：+idlepoll以及+devices 0（如果讀者有多個GPU）等等。如

 

腳本3-2-1的第7行改為：

 

/usr/local/mpitorque/bin/mpiexec /usr/local/chemsoft/namd2.7/namd2 +idlepoll ubq.conf > ubq.log

 

 

好了，我們的集群成功的使用了GPU加速！根據(jù)作者的實驗表明，一個GPU至少相當于12個CPU（比如，12個2.83GHz的Q9550）的速度！

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第 48 頁

 

 

 

 

 

 

 

 

 

 

 

 

大名鼎鼎的China Unix：

 

 

中國集群網(wǎng)，formal的信息：

 

 

Debian Cluster，專門介紹以Debian為基礎(chǔ)的集群構(gòu)建：

 

 

 

 

 

 

 

 

 

 

 

 

 

車靜光. 微機集群組建、優(yōu)化和管理. 北京：機械工業(yè)出版社，2004.

 

MIT出的一本介紹集群的非常全面的書，從硬件，軟件配置到MPI編程都有

 

 

Thomas Sterling. Beowulf Cluster Computing with Linux. MIT Press. 2001.

 

 

 

 

 

 

 

 

 

 

第 49 頁