首页 系统运维提升篇文章正文

Linux系统multipath Iscsi多路径实验

系统运维提升篇 2021年08月31日 21:10 994 weichun

一、组网图

image.png

二、配置多路径前相关基础配置

1、linux服务器配置网卡地址,使用ip add命令查看当前的网卡系信息。

image.png

2、设置连个网卡的ip地址,输入vi /etc/sysconfig/network-scripts/ifcfg-ens160

vi /etc/sysconfig/network-scripts/ifcfg-ens192设置相应的ip地址,:wq保存退出

image.png

image.png

3、重启网卡

[root@linux ~]# systemctl restart network

4、查看网卡状态

image.png

5、从linux服务器测试下跟存储的连通性,发现只有一个网卡可以通。

image.png

6、出现只有一个网卡通,说明Linux默认启用了反向路由检查,我们只需要关闭反向路由检查即可。

echo 0 > /proc/sys/net/ipv4/conf/all/rp_filter

echo 0 > /proc/sys/net/ipv4/conf/ens160/rp_filter

echo 0 > /proc/sys/net/ipv4/conf/ens192/rp_filter

image.png

6、这个是临时的重启就丢失了,我们需要写入开机启动文件/etc/rc.d/rc.local里,并保存退出

image.png

7、再测试两边的联通性,显示已经通。

image.png

三、安装 iSCSI initiator插件

1、查看当前是否已经安装了iSCSI initiator插件rpm -qa|grep iscsi   #如输出没东西,说明没安装

2、安装iSCSI initiator插件,使用yum -y install iscsi-initiator-utils iscsi-initiator-utils-devel 

#yum安装方式服务器要么能上网或者本机无网情况下需要挂载系统ISO镜像才能安装

image.png

3、使用rpm -qa|grep iscsi  查询当前安装情况,输出信息说明安装成功

image.png

4、启动ISCSI服务,并加入开机自动加载

[root@linux ~]# systemctl enable iscsi.service

[root@linux ~]# systemctl start iscsi.service

[root@linux ~]# systemctl start iscsid.service

四、多路径配置

1、在linux服务器系统发射存储上的iqn信息,使用iscsiadm -m discovery -t st -p 192.168.10.93,经发现只有2条路径,正常是要有4条路径

image.png

2、以上情况问题,我们需要建立iscsi端口。

iscsiadm -m iface -I iscsi_ens160 --op=new     #红色标注需要根据自己端口号

iscsiadm -m iface -I iscsi_ens192 --op=new

image.png

3、绑定iscsi端口,建立iscsi_ens60和ens160、iscsi_ens192和ens192的映射关系。

iscsiadm -m iface -I iscsi_ens160 --op=update -n iface.net_ifacename -v ens160

iscsiadm -m iface -I iscsi_ens192 --op=update -n iface.net_ifacename -v ens192

image.png

4、确认iface配置

[root@linux ~]# iscsiadm -m iface

image.png

5、重启ISCSI服务

[root@linux ~]# systemctl restart  iscsi.service

6、重启ISCSI服务有可能网络不通,在执行一下关闭反向路由

echo 0 > /proc/sys/net/ipv4/conf/all/rp_filter

echo 0 > /proc/sys/net/ipv4/conf/ens160/rp_filter

echo 0 > /proc/sys/net/ipv4/conf/ens192/rp_filter

7、再次发射存储映射信息,发现已经有4条路径

iscsiadm -m discovery -t st -p 192.168.10.93

iscsiadm -m discovery -t st -p 192.168.10.94

image.png

8、查询端口状态

[root@linux ~]# netstat -anp|grep 3260

image.png

9、查询磁盘情况,发现有6块磁盘信息,因为前面没配置iscsi端口前登陆了一次,可以先删除连接在重新获取。

删除失效的iscsi 连接,重新获取

iscsiadm -m node

image.png

iscsiadm -m node --targetname iqn.2006-01.com.openfiler:tsn.98c70dc33804 -u

iscsiadm -m node -o delete -T iqn.2006-01.com.openfiler:tsn.98c70dc33804 -p 192.168.10.93:3260

iscsiadm -m node -o delete -T iqn.2006-01.com.openfiler:tsn.98c70dc33804 -p 192.168.10.94:3260

image.png

10、重新获取

iscsiadm -m discovery -t st -p 192.168.10.93

11、重启ISCSI服务,并且查询端口服务信息

systemctl restart iscsi.service

netstat -anp|grep 3260

image.png

12、安装DM-multipath 软件包

yum -y install device-mapper multipath-tools device-mapper-multipath device-mapper-event

image.png

13、使用下面的命令初始化DM

modprobe dm-multipath

modprobe dm-round-robin

systemctl start multipathd.service

systemctl enable  multipathd.service

image.png

14、检查安装服务是否正常,显示正常

lsmod |grep dm_multipath

image.png

15、查询磁盘wwid

/lib/udev/scsi_id --whitelisted --device=/dev/sdb

/lib/udev/scsi_id --whitelisted --device=/dev/sdc

image.png

16、拷贝一份模板配置文件到etc目录,然后编辑multipath.conf文件。

cp /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf /etc/

image.png

17、编辑multipath.conf文件

blacklist {

        devnode "^sda"

}

multipaths {

        multipath {

                wwid "14f504e46494c455274783449546b2d557767332d77394d56"                      

                alias yellow                              

                path_grouping_policy multibus #如果multibus 改为failover是主备模式

                path_checker readsector0

                path_selector "round-robin 0"

                failback manual

                rr_weight priorities                     

                no_path_retry 5

        }

}

image.png

18、查询多路径生成的磁盘信息,可以看出有个yellow的磁盘LUN信息

fdisk -l

image.png

19、查看多路径配置是否成功,用 multipath –ll 命令查看到四条活跃路径,他们之间互为A/A 关系。起到链路负载。

[root@linux ~]# multipath -ll

image.png

五、磁盘格式化、及挂载

1、格式化LUN及挂载,在对多路径软件生成的磁盘进行分区之前最好运行一下pvcreate命令

[root@linux ~]# pvcreate /dev/mapper/yellow

image.png

2、对LUN磁盘分区

fdisk /dev/mapper/yellow

image.png

WARNING: Re-reading the partition table failed with error 22:

WARNING: Re-reading the partition table failed with error 22: 无效的参数.

用fdisk对多路径软件生成的磁盘进行分区保存时会有一个报错,此报错可以忽略

3、重新扫描分区

partprobe  /dev/mapper/lyellow

4、格式化分区,我这边采用ext4模式分区

mkfs.ext4 /dev/mapper/yellow1

image.png

5、挂载磁盘,在/mnt目录上建议一个目录作为LUN的挂载。

mkdir  /mnt/weichun

image.png

6、挂载/dev/mapper/yellow1到/mnt/weichun目录上

mount /dev/mapper/yellow1  /mnt/weichun

image.png

7、查看挂载信息,可以显示挂载已经成功

image.png

8、为了机器以后重启挂载失效,需要永久挂载,在/etc/fstab文件上进行写入,并保存退出

输入  vi  /etc/fstab 命令进行编辑写入

image.png


打赏

发表评论

贫僧法号酱油Copyright © 2019-2021贫僧法号酱油社区版权所有 | 桂ICP备19007038号-1 | 桂公网安备 45010502000470号 |
本网站已运行:
 
QQ在线咨询
提供技术咨询
QQ:517155804
售后服务接单
扫描二维码添加好友