1 主机规划

1.1 硬件环境

1.2 软件环境

1.3 网络规划

1.31 ip 地址规划

1.32 DNS 服务器

1.4 安装目录规划

1.5 存储规划

1.5.1 grid、ASM 安装目录

1.5.2 Clusterware 安装目录

1.5.3 OCR、VOTE存储规划

2 安装准备

2.1 系统硬件环境检查

2.11 Oracle11gR2 RAC 最低安装要求

2.12 验证方法

2.2 安装操作系统软件包

2.21 安装 FILESETS

2.22 配置 IP 地址

2.23 修改/etc/hosts 文件

2.3 文件系统准备

2.31 方法 1 ：使用命令创建

2.4 调整系统参数

2.41 打开异步 IO

2.42 调整虚拟内存管理

2.43 调整 maxuproc （系统最大进程数）和 ncargs （系统块大小）参数

2.44 调整 SHELL 限制

2.45 确认网络配置参数

2.5 创建用户、组

2.51 要求

2.52 创建命令

2.53 修改用户属性

2.6 用户环境变量设置

2.61 grid 用户

2.62 oracle 用户

2.7 创建安装目录并修改权限

2.8 SSH 信任关系设置

2.81 首先在两台机器上安装好 OpenSSH 软件

2.82 在在 grid 安装中选择自动配置 SSH 双机信任关系

2.9 配置磁盘设备

2.91 设置磁盘属性

2.92 修改用于数据库存储的 PV 的属主

2.93 修改用于数据库存储的 PV 的权限

2.94 清除 PVID

3 安装 Grid

3.1 Grid 安装前检查

3.11 执行rootpre.sh

3.12 安装grid

3.13 Clusterware 安装校验

4 安装 Database

5 创建 ASM 磁盘组

6 DBCA 创建数据库

1 主机规划

1.1 硬件环境

服务器：两台 IBM P740

存储：DS5020 存储；

1.2 软件环境

数据库：

p10404530_112030_AIX64-5L_1of7.zip

p10404530_112030_AIX64-5L_2of7.zip

集群软件:

p10404530_112030_AIX64-5L_3of7.zip

这三个包

操作系统:

AIX 7.1,Oracle 11gR2

1.3 网络规划

1.31 ip地址规划

1.32 DNS服务器

使用/etc/hosts 来解析 scan

1.4 安装目录规划

安装目录规划原则：建立/u01 文件系统用来安装 grid、 datbase 程序。程序都安装在/u01/app下面，对于 grid 与 database分别建立不同的目录，分配不同的权限。其中grid 的 ORACLE_BASE和 ORACLE_HOME 建议安装在不同的目录下，具体规划如下：

新建 50g lv ：fslv

新建文件系统，挂载点：/u01

gridbase 目录：/u01/app/grid #grid 用户的 ORACLE_BASE

grid asm 安装目录：/u01/app/11.2/grid #grid 用户的 ORACLE_HOME，也即是安装时的

software location

Oracle base 目录：/u01/app/oracle #oracle 用户的 ORACLE_BASE

1.5 存储规划

1.5.1grid 、ASM 安装目录

在 Oracle 11gR2 中 grid 和 ASM 是安装在同一目录下的，我们将 grid 和 ASM安装在/u01/app/grid 目录下，为 JFS2 文件系统，大小为 50G。

1.5.2Clusterware 安装目录

我们将 Clusterware 安装在/u01/app目录下。

1.5.3OCR 、VOTE 存储规划

在我们的方案中规划如下：

OCR、 VOTE hdisk2 容量：3x1G

DATAhdisk3 容量：500G

FLASH hdisk8 容量：200G

2 安装准备

2.1 系统硬件环境检查

2.11 Oracle11gR2 RAC 最低安装要求：

内存：

安装 grid infrastructure最少需要 1.5GB 的内存，

安装 grid infrastructure和 RAC 最少需要 2.5GB 的内存

swap ：最少需要 4GB,有的资料介绍最少 1.5G，不过安装环境检查时显示需要16G。

temp ：推荐 10G，可以将安装文件上传至/tmp 目录下，8GB 合适

安装目录：grid infrastructure+ASM+Clusterware 最少需要 12GB

操作系统：

AIX 7.1, 64-bitkernel

2.12 验证方法：

2.121 确认内存大小

r lsattr l -El 0 sys0 a -a realmem

2.122 确认 SWAP 空间，最少 4G。。

s lsps -a

若不够 4G，需要增加 PPS 数。本系统一个 PPS 为 128M，所以增加 20 个，使 swap 达到 4G。

PPS 大小可以通过lsvg rootvg 查看。

s chps s -s 2 32 hd6

s lsps -a

2.123 确认/tmp 大于 1.5GB 和/oracle 目录空间于大于 15GB

oracle 安装目录在 50GB左右，grid infrastructure+ASM 安装在/u01/app/grid目录下，其中 Oracle11g 安装在/u01/app/oracle/目录下.

s chfs –a a G size=10G /tmp

2.124 确认系统结构

f getconf HARDWARE_BITMODE

2.125 确认系统 CPU 个数和主频：

v lsdev C -C \| \| p grep proc

r lsattr l -El proc0

2.2 安装操作系统软件包

2.21 安装 FILESETS

AIX 7 71 .1 需要安装如下软件包：

The following operatingsystem filesetsare required for X AIX 7.1:

 bos.adt.base

 bos.adt.lib

 bos.adt.libm

 bos.perf.libperfstat

 bos.perf.perfstat

 bos.perf.proctools

 xlC.aix61.rte:10.1.0.0 or later

 xlC.rte.10.1.0.0 or later

 gpfs.base 3.3.0.11 or later

以上 filesets 安装与否可以用命令 lslpp －l 进行检查确认。默认安装都是全的，不需要手工进行添加。其中 gpfs.base 不需要安装。验证如下：

2.22 配置 IP 地址

根据前面的规划先配置要两台机器的 IP 地址，就是 interlib1、interlib1-priv 和

interlib2、interlib2-priv 这四个IP 地址。

同样配置几块网卡的 IP 地址，en0 和 en1 做冗余绑定（en4），其中服务地址要配置网关，

网关地址为：80.10.1.254。

2.23 修改/etc/hosts 文件

修改每个节点上的/etc/hosts 文件。

127.0.0.1 loopback localhost # loopback (lo0) name/address

80.10.1.1 interlib1

80.10.1.3 interlib1-vip

192.168.0.2 interlib1-priv

80.10.1.2 interlib2

80.10.1.4 interlib2-vip

192.168.0.3 interlib2-priv

80.10.1.5 interlib-scan

注意：如果你的环境里不具备 DNS 服务器，那么 SCAN 地址解析可以通过/etc/hosts 或 GNS来实现，这需要在你的所有数据库主机的 host 文件里添加一个 SCAN 地址，并且这个地址的解析名不要超过 16 个字符，超过的话，oracle 只会解析前 16 个字符。本例中我们通过/etc/hosts 来解析 scan。

2.3 文件系统准备

创建1 /u01 文件系统

2.31 方法 1 ：使用命令创建

1、r mkdir /u01

2、建立一个lv v mklv –t t 2 jfs2 –y y 0 fslv00 g rootvg 100 #100个pps，可视需要而定

3、建立一个文件系统 s crfs –v v 2 jfs2 d -d 0 /dev/fslv00 m -m /u01

4、mount文件系统 t mount /u01

5、使用smitchfs，修改/u01启动自动mount。

创建文件系统

1、r mkdir /u01

2、建立一个lv v mklv –t t 2 jfs2 –y y 0 fslv00 g rootvg 100 #100个pps，可视需要而定

3、建立一个文件系统 s crfs –v v 2 jfs2 d -d 0 /dev/fslv00 m -m /u01

4、mount文件系统 t mount /u01

5、使用smitchfs，修改/u01启动自动mount。

2.4 调整系统参数

2.41 打开异步 IO

AIX5.3 中，在安装grid 软件前执行 rootpre.sh 会自动打开异步 IO 服务，在AIX7.1 中默认异步 IO 服务是打开的。推荐的 aio_maxreqs 值为 64k (65536)，检查方法如下：

AIX 7.1

o ioo o -o aio_maxreqs

aio_maxreqs = 65536

2.42 调整虚拟内存管理

Oracle推存使用vmo命令去调优虚拟内存管理，参数推荐如下：

命令如下:

o vmo p -p o -o minperm%=3

o vmo p -p o -o maxperm%=90

o vmo p -p o -o maxclient%=90

o vmo p -p o -o lru_file_repage=0

o vmo p -p o -o strict_maxclient=1

o vmo p -p o -o strict_maxperm=0

You must restart the system forthese changes to take effect.

2.43 调整 maxuproc （系统最大进程数）和 ncargs （系统块大小）参数

v chdev l -l 0 sys0 a -a maxuproc=16384

sys0 changed

也可以使用：smitty chgsys 修改"Maximum number of PROCESSES allowed per user”

修改完成后查看：

r lsattr l -El 0 sys0 a -a maxuproc

maxuproc 16384 Maximum number of PROCESSES allowed per user True

v chdev l -l 0 sys0 a -a ncargs=256

sys0 changed

2.44 调整 SHELL 限制

在 /etc/security/limits文件中增加如下行:

default:

e fsize = = -1

e core = = - -1 1

u cpu = = -1

a data = = -1

s rss= -1

k stack = = -1

s nofiles = = -1

2.45 确认网络配置参数

用# /usr/sbin/no -a \| more来查看网络参数是否满足下面的要求

PARAMETER RECOMMENDED VALUE

ipqmaxlen 512

rfc1323 1

sb_max 1500000

tcp_recvspace 65536

tcp_sendspace 65536

udp_recvspace1351680 这个值应该是 udp_sendspace 的 10 倍，但是必须小于 sb_max

udp_sendspace 135168 这个值至少应该是 4K ＋

（db_block_size*db_multiblock_read_count）的大小

修改命令

no -r -o ipqmaxlen=521

no -p -o rfc1323=1

no -p -o sb_max=1500000

no -p -o tcp_recvspace=65536

no -p -o tcp_sendspace=65536

no -p -o udp_recvspace=1351680

no -p -o udp_sendspace=13516

在修改前需要先查看系统设置的兼容性：

r lsattr l -El 0 sys0 a -a pre520tune

1 、输出如：

pre520tune disable Pre-520 tuning compatibilitymode True

说明是不兼容方式，这样就可以用上面的方式调整：

2 、如果是 y compatibility 模式，则：

/usr/sbin/no -o parameter_name=value

并且编辑文件/etc/rc.net 加入下面内容：

if [ -f/usr/sbin/no ] ; then

/usr/sbin/no -oudp_sendspace=65536

/usr/sbin/no -oudp_recvspace=655360

/usr/sbin/no -otcp_sendspace=65536

/usr/sbin/no -otcp_recvspace=65536

/usr/sbin/no -orfc1323=1

/usr/sbin/no -osb_max=2*655360

/usr/sbin/no -oipqmaxlen=512

2.5 创建用户、组

2.51 要求

本次安装我们就规划了多个组，但是规划两个用户，一个用于管理 ASM 实例，另一个用于管理 DB 实例。

2.52 创建命令：

mkgroup -A id=500 adms='root' oinstall

mkgroup -A id=501 adms='root' dba

mkgroup -A id=502 adms='root' oper

mkgroup -A id=503 adms='root' asmadmin

mkgroup -A id=504 adms='root' asmdba

mkgroup -A id=505 adms='root' asmoper

mkuser id=500 pgrp=oinstall groups=asmadmin,asmdba,asmoper home=/home/grid grid

mkuserid=501 pgrp=oinstall groups=dba,asmdba,oper home=/home/oracle oracle

！注意保持双机用户与组的 D ID 的一致。

2.53 修改用户属性

2.531 grid 用户

1、在两台主机上要保证 grid 用户具有以下能力：

CAP_NUMA_ATTACH, CAP_BYPASS_RAC_VMM, and CAP_PROPAGATE

查看grid用户能力：

lsuser-a capabilitiesgrid

增加grid用户能力：

r chuser E capabilities=CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM,CAP_PROPAGATE grid

2、设置grid用户密码：

d passwd grid

3、在两台主机上最消grid用户shell限制

可以通过smit chuser去修改grid用户限制，或直接修改/etc/security/limits 文件，具体

参数如下：

default:

fsize = -1

core = 2097151

cpu = -1

data = -1

rss = -1

stack = -1

nofiles = -1

2.532 oracle 用户

1、在两台主机上要保证 oracle 用户具有以下能力：

CAP_NUMA_ATTACH, CAP_BYPASS_RAC_VMM, and CAP_PROPAGATE

查看oracle用户能力：

lsuser -a capabilities oracle

增加oracle用户能力：

r chuser E capabilities=CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM,CAP_PROPAGATE oracle

2、设置oracle用户密码：

passwdoracle

3、在两台主机上最消oracle用户shell限制

可以通过smit chuser去修改oracle用户限制，或直接修改/etc/security/limits 文件，具体参数如下：

oracle:

fsize = -1

core = 2097151

cpu = -1

data = -1

rss = -1

stack = -1

nofiles = -1

2.533 root 用户

在两台主机上最消root用户shell限制，因为CRS进程（crsd）需要以root用户运行。可以通过smit chuser去修改root用户限制，或直接修改/etc/security/limits 文件，具体参数如下：

default:

fsize = -1

core = 2097151

cpu = -1

data = -1

rss = -1

stack = -1

nofiles = -1

2.6 用户环境变量设置

2.61grid 用户

在两台服务器的的 grid 用户的.profile 最后，增加如下内容：

umask 022

ORACLE_BASE=/u01/app/grid #需手工创建

ORACLE_HOME=/u01/app/11.2.0/grid #需手工创建

ORACLE_SID=+ASM1 #节点 2 是+ASM2

NLS_DATE_FORMAT=“yyyy-mm-dd hh24:mi:ss”

PAHT=$ORACLE_HOME/bin:$PATH

export ORACLE_SID ORACLE_BASE ORACLE_HOME PATH NLS_DATE_FORMAT

2.62oracle 用户

在两台服务器的的 oracle 用户的.profile 最后，增加如下内容：

umask 022

ORACLE_SID=interlib1

ORACLE_BASE=/u01/app/oracle

ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1

ORACLE_UNQNAME=interlib

NLS_DATE_FORMAT=“yyyy-mm-dd hh24:mi:ss”

PATH=$ORACLE_HOME/bin:$PATH

export ORACLE_SID ORACLE_BASE ORACLE_HOME ORACLE_UNQNAME PATH NLS_DATE_FORMAT

2.7 创建安装目录并修改权限

注意：如果 grid 与 orcle 安装在同一文件系统下面，如上，在进行权限修改的时候要注意顺序，先进行/u01 赋权，再进行/u01/db 赋权，否则会被覆盖。

2.8 SSH 信任关系设置

2.81 首先在两台机器上安装好 OpenSSH 软件；

具体安装方法本处不详述，需要下载 openssh、openssl，安装时需先安装 openssl，然后再安装 openssh。也可以通过 AIX 系统光盘，执行 smitty install，选择所有 ssh 包安装。

安装完毕后可以检查：

lslpp –l \| grep ssh

2.82 在 grid 安装中选择自动配置 SSH 双机信任关系

以下两个节点都执行：

su – grid

$mkdir –p \~/.ssh

$chmod 700 \~/.ssh

$/usr/bin/ssh-keygen -trsa

提示输入密码时，保持为空，直接回车即可。

以下只在节点 1 1 上执行：

$ touch\~/.ssh/authorized_keys

$ ssh interlib1cat \~/.ssh/id_rsa.pub>>\~/.ssh/authorized_keys

$ ssh interlib2cat \~/.ssh/id_rsa.pub>>\~/.ssh/authorized_keys

$ scp \~/.ssh/authorized_keys interlib2:.ssh/authorized_keys

以下只在节点 2 2 上执行：

$ chmod600 \~/.ssh/authorized_keys

2.9 配置磁盘设备

2.91 设置磁盘属性

该步骤若不做，在 grid 安装完成建立 ASM 时，第二个节点会找不到硬盘，同时加入不了群集。

检测:

lsattr -El hdisk3 \|grep reserve_

查看一个即可

设置保持策略:

如果上面查看的结果是 reserve_policy

chdev -l hdisk2 -a reserve_policy=no_reserve

chdev -l hdisk3 -a reserve_policy=no_reserve

chdev -l hdisk8 -a reserve_policy=no_reserve

chdev -l hdisk9 -a reserve_policy=no_reserve

如果上面查看的结果是 reserve_lock

chdev -l hdisk3 -a reserve_lock=no

……

2.92 修改用于数据库存储的 PV 的属主

chown grid:dba /dev/rhdisk2

chown grid:dba /dev/rhdisk3

chown grid:dba /dev/rhdisk8

chown grid:dba /dev/rhdisk9

2.93 修改用于数据库存储的 PV 的权限

chmod 777 /dev/rhdisk2

chmod 777 /dev/rhdisk3

chmod 777 /dev/rhdisk8

chmod 777 /dev/rhdisk9

2.94 清除 PVID

查看 LUN，如果已经有了 PVID 的话，需要进行清除。

chdev -l hdisk3 -a pv=clear

重复同样的操作，清除所有 LUN 的 PVID

3 安装 Grid

3.1 Grid 安装前检查

切换到 grid 用户并执行安装前检查，进入 grid 安装目录：

$./runcluvfy.sh stage -pre crsinst -n interlib1,interlib2 -fixup -verbose

检查失败项并进行相应的调整。

3.11 执行 rootpre.sh

1、以 root 身份登录在所有节点执行：slibclean

2、以 root 身份登录在所有节点执行 grid 软件下的：rootpre.sh

3.12 安装 grid

使用 xmanager 登录，

$ export DISPLAY=80.10.254.126:0.0 #安装终端 IP

在上传的 grid 安装文件目录下，键入./runInstaller 开始安装：

在这个界面下选择合适的安装类型，选择 typical，将遇到更少的选择，并且在后续Oracle 可以生成一个 fixup 脚本叫你执行，然后自动调整你没有按要求调整的系统参数，如果选择 advanced，那么你将遇到更多的选择，并且所有环境变量要按要求事先准备，否则会报错,在这里我们选择 advanced选项：

在上图选择产品语言时加上中文件语句，否则在使用 EM 时如果你的 IE 优先使用中文的话会出乱码的：

本次实施中我们使用的是/etc/hosts 解析，直接填写 scan，即可。

若是有 DNS 解析，这里填上在 DNS 服务器中建立的 SCAN.IBM.COM 的名称。

这里如果 DNS 没有配置好，会报 scan vip 出错。

指定网络接口，public 和 private.

这里选择 ASM 存储：

创建 ASM磁盘组 SYSTEMDG，用于放置 OCR、VOTE 文件：

设置一致的密码，这里我们设置为：interlib。密码不要忘记，在建立 RAC集群数据库时还需要。

会提示密码过于简单，不用理会。Next：

上图指定特权操作系统组：Next

上图指定 oracle base 和 software install 目录，按我们的规划要求进行调整：

Oracle Base：/u01/app/grid

Software Location：/u01/app/11.2.0/grid

安装不通过，将software location改为/u01/db后可以继续， /u01/db的属主是oracle:dba,不解

创建临时目录 inventory：

预安装检查，如下：

检查结果：

尝试忽略其它 Failed 继续安装。

点击：Finish 开始安装：

安装时间较长，达数十分钟。

在两个节点上分别按提示的顺序执行 oraInstRoot.sh 和 root.sh，注意一定要按提示的顺序执行。若是在 node1 上安装，则执行顺序：

Node1:

/../orainstRoot.sh

Node2:

/../orainstRoot.sh

Node1:

/../root.sh

Node2:

/../root.sh

完成后点击 OK：

完装完成后点击:close。

3.13 Clusterware 安装校验

查看集群启动了哪些服务，以 grid 用户执行 crs_stat –t –v 命令：

如果看到启动的许多相应的服务，则显示正常。

4 安装 Database

这里只安装数据库软件，之后再用 dbca 命令建立集群数据库。安装完 database 软件后，还要建立 ASM 磁盘组。

使用 oracle 用户通过 xmanager 登录进行安装。

选择不接收更新，Next：

选择只安装数据库软件，Next：

选择 realapplication cluster database installlation，然后选中所有的节点，Next：

在上图中，需要进行 oracle 用户的 ssh 信任配置，如果在前面没有配置好，可以在这里进行配置。Test 一下是否正常，Next：

选择语言，添加 Simplitied Chinese，Next：

选择数据库版本：Enterprise Edition，Next：

选择安装目录，Next：

如果环境变量设置正确，上面会自动填充，否则的话需要手工调整，这里的调整要和 oracle用户的环境变量保持一致，Next：

由于我们这里只建了一个 dba 组，所以，Next：

开始执行安装前检查，

Next，开始进行安装：

此安装过程较为耗时。

安装进度完成后，提示需要运行相关脚本，按要求的顺序执行，正确执行完毕后点击：OK

关闭窗口，完成 database 的安装。

5 创建 ASM 磁盘组

在建库前需要先创建存储数据文件的 ASM 磁盘组。以 grid 用户通过 xmanager 登录，执行 asmca 命令：

$asmca

切换到 Disk Group 界面，点击 Create：

按我们的规划，选择 rhdisk3 为 DATADG 磁盘组。

6 DBCA 创建数据库

使用 oracle 用户，通过 xmanager 登录运行 dbca 来建立 RAC 集群数据库。建库时可以先不配置企业管理器（Enterprise Manager），等建库完成后，执行脚本配置 EM。原因是在安装过程中配置 EM 导致建库时间很长，如果 RAC 节点的主机性能不好，可能导致安装程序的界面停止响应。

$export DISPLAY=80.10.254.126:0.0

$dbca