Fork me on GitHub

NFS文件存储系统-部署

字数统计: 2.3k字   |   阅读时长≈ 10分

NFS工作流程

1
2
3
NFS（文件存储系统）服务器启动后会随机启动N个进程并生成N个随机端口，NFS服务启动后首先会向PRC服务注册，注册后这些NFS进程和端口信息由RPC(类似房产中介)统一管理，然后NFS客户端统一使用RPC端口与NFS服务进行通信。rpc服务端口号：111

服务启动：/etc/init.d/rpcbind start

nfs_ys

环境：

NFS服务器：172.16.1.31

NFS服务端部署

1
2
3
4
5
6
# 检查nfs和rpc是否安装(注：CentOS5 rpcbind软件为portmap)
rpm -qa nfs-utils rpcbind
yum install -y nfs-utils rpcbind

#查看安装了哪些软件
rpm -ql nfs-utils rpcbind

启动NFS文件系统服务

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
#先启动rpc服务
/etc/init.d/rpcbind start
chkconfig rpcbind on
#再启动nfs服务
/etc/init.d/nfs start
chkconfig nfs on

#查看nfs服务注册端口信息
[root@nfs01 ~]# rpcinfo -p localhost

#新建配置文件
cat >>/etc/exports<<EOF
/data  172.16.1.0/24(rw,sync,all_squash)
EOF

############################################
参数释义：
/home/nfs/share 为共享的目录，使用绝对路径。
192.168.1.0/24或10.10.10.1/32   允许访问的客户端主机IP
rw：read-write，可读写；
ro：read-only，只读；
sync：文件直接写入硬盘；-- 同步数据
async：文件暂存内存，再写入磁盘；数据易丢失 -- 异步同步
no_root_squash：NFS客户端连接服务端时如果使用的是root的话，那么对服务端分享的目录来说，也拥有root权限。显然开启这项是不安全的。
root_squash：NFS客户端连接服务端时如果使用的是root的话，那么对服务端分享的目录来说，拥有匿名用户权限，通常他将使用nobody或nfsnobody身份；
all_squash：不论NFS客户端连接服务端时使用什么用户，对服务端分享的目录来说都是拥有nfsnobody身份用户权限；
anonuid：指定匿名用户；
anongid：匿名用户的GID值。
##############################################

#创建共享目录
mkdir /data -p

#检查NFS共享目录管理专用用户
id nfsnobody

#授权
chown -R nfsnobody:nfsnobody /data
ls -ld /data
drwxr-xr-x 2 nfsnobody nfsnobody 4096 Aug  5 22:19 /data

#重启nfs服务(只修改了NFS信息，所以无需重启rpc服务)
/etc/init.d/nfs reload     平滑重启

#排错
[root@nfs01 data]# rpcinfo -p localhost    #检查nfs服务注册端口信息
[root@nfs01 data]# showmount -e 172.16.1.31  #检查共享目录
Export list for 172.16.1.31:
/data/r 172.16.1.41/32
/data/w 172.16.1.8/32


[root@nfs01 data]# mount -t nfs 172.16.1.31:/data /mnt  #本地挂载测试
[root@nfs01 data]# df -h
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
查看服务器进程
[root@nfs01 mnt]# ps -ef |egrep "rpc|nfs"
rpc        2847      1  0 22:12 ?        00:00:00 rpcbind
root       2902      2  0 22:14 ?        00:00:00 [rpciod/0]
root       2903      2  0 22:14 ?        00:00:00 [rpciod/1]
root       2912      1  0 22:14 ?        00:00:00 rpc.mountd
root       2919      2  0 22:14 ?        00:00:00 [nfsd4]
root       2920      2  0 22:14 ?        00:00:00 [nfsd4_callbacks]
root       2921      2  0 22:14 ?        00:00:00 [nfsd]
root       2922      2  0 22:14 ?        00:00:00 [nfsd]
root       2923      2  0 22:14 ?        00:00:00 [nfsd]
root       2924      2  0 22:14 ?        00:00:00 [nfsd]
root       2925      2  0 22:14 ?        00:00:00 [nfsd]
root       2926      2  0 22:14 ?        00:00:00 [nfsd]
root       2927      2  0 22:14 ?        00:00:00 [nfsd]
root       2928      2  0 22:14 ?        00:00:00 [nfsd]
root       2959      1  0 22:14 ?        00:00:00 rpc.idmapd
root       3045      2  0 22:32 ?        00:00:00 [nfsiod]
root       3046      2  0 22:32 ?        00:00:00 [nfsv4.0-svc]
root       3112   2692  0 22:58 pts/0    00:00:00 egrep rpc|nfs

客户端配置（多个客户端可多次挂载）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 检查nfs和rpc是否安装(注：CentOS5 rpcbind软件为portmap)
rpm -qa nfs-utils rpcbind
yum install -y nfs-utils rpcbind
#注：如果不安装nfs-utils软件就没有showmount命令，也没有不能正常挂载nfs。但服务无需启动！

showmount -e 172.16.1.31  #查看共享
mount -t nfs 172.16.1.31:/data /mnt  #挂载共享
df -h  #查看

#卸载共享目录
方式1:退出共享目录
方式2:在共享目录强制卸载
命令：umount -lf /mnt     
--l参数表示懒惰的卸载；-f参数表示强制卸载
修改共享目录管理用户（不使用默认的nfsnobody）-实践
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
####服务端测试
#创建指定匿名用户
注：要求服务端与客户端的匿名用户uid和gid必须一致
useradd -s /sbin/nologin -M www -u 888

[root@nfs01 mnt]# id www
uid=888(www) gid=888(www) groups=888(www)


#修改配置文件
vim /etc/exports
/data  172.16.1.0/24(rw,sync,all_squash,anonuid=888,anongid=888)

#重新授权共享目录
chown -R www:www /data

#重启nfs服务
/etc/init.d/nfs reload
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
客户端-挂载测试
mount -t nfs  172.16.1.31:/data /mnt
cd /mnt
touch 111.txt 

[root@web01 mnt]# ls -l
total 0
-rw-r--r-- 1 nobody nobody 0 Aug  6 01:37 111.txt
#查看发现文件的属主属组依然是之前的nobody，因为默认匿名用户变化时要与服务端的匿名用户uid和gid必须一致

#创建用户并指定uid和gid为888
[root@web01 mnt]# useradd -s /sbin/nologin -M www -u 888

接下来是个重点了...否则不生效。。。

服务端与客户端需要同时重启以下rpc服务
/etc/init.d/rpcidmapd restart
然后，客户端等待约2-3分钟，再次挂载，里面的文件属主属组就变为了www
mount -t nfs 172.16.1.31:/data /mnt

客户端挂载排错思路

1
2
3
4
5
6
7
8
9
10
11
12
13
1. 检查服务端NFS进程（房源）等信息
   rpcinfo -p 172.16.1.31
   如果没有注册房源信息，原因可能如下：
   1) 服务器：nfs服务没有启动
   2) 服务器：nfs服务与rpc服务启动顺序不正确。
   
2. 检查服务端共享目录信息是否存在
   showmount -e 172.16.1.31
   如果共享目录没有，可能是nfs配置文件编写错误
   
3. 直接进行目录挂载测试
   mount -t nfs 172.16.1.31:/data  /mnt
   挂载后进入挂载点创建或编辑文件测试权限

客户端-系统开机自动挂载

1
2
3
4
5
6
7
8
9
10
方式1：
echo "/bin/mount -t nfs 172.16.1.31:/data  /mnt" >>/etc/rc.local

方式2：
vim /etc/fstab
172.16.1.31:/data/r  /data/r      nfs     defaults    0 0
注：系统启动过程中，/etc/fstab在系统网卡启动之前被加载，所以系统启动后NFS挂载失败。
解决方案：配合netfs服务实现/etc/fstab开机启动之后进行重新加载
开机自启动netfs服务
chkconfig netfs on

客户端参数-扩展

1
2
3
4
5
6
7
8
9
10
11
mount挂载时使用以下参数：
rsize 单位:bytes；高并发请求时，读取内存缓存可以降低磁盘IO，比如:200000bytes 200M 
wsize 单位:bytes；高并发请求时，读取内存缓存可以降低磁盘IO
注：具体大小由内存总量以及业务整体使用占比而定
示例：
[root@web01 ~]# mount -t nfs -o rsize=20000,wsize=20000 172.16.1.31:/data/w /data/w

exec   文件具有可执行权限
noexec 文件无可执行权限（推荐）
示例：
mount -t nfs -o noexec,rsize=20000,wsize=20000 172.16.1.31:/data/w /data/w

系统进入只读模式-修复

1
2
3
4
5
6
remount命令
案例：系统意外进入只读模式
修复方案：
在root用户下
mount -o remount,rw  /     #重新挂载为读写模式
remoot

扩展-使用命令共享目录

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
exportfs -o rw,sync  172.16.1.0/24:/data
showmount -e localhost  #查看共享目录信息

注；命令方式共享目录可以临时生效，重启服务共享则消失。

##################################################
/etc/init.d/nfs restart
注：nfs服务器使用上述命令重启后，冷却时间需要等待90秒（无敌时间），之后客户端进行挂载后，才能进行写入操作。

此文件中有指定,可以进行修改:
vim /etc/sysconfig/nfs 
#NFSD_V4_GRACE=90
#NFSD_V4_LEASE=90
#NLM_GRACE_PERIOD=90

################################################
客户端实际挂载与否，不能依据df -h，需要查看cat /proc/mounts。
df -h没有的话，如果/proc/mounts文件中还存在挂载信息的话，就需要再多次卸载。否则再次挂载会出现“Stale file handle”的错误

其他

1
2
3
4
5
6
7
8
#查看默认nfs服务端配置文件信息（如果定义了/etc/exports文件后，优先使用/etc/exports文件）

[root@nfs01 ~]# cat /var/lib/nfs/etab

注：在配置共享目录时，需要考虑共享目录的权限；如果存在多级目录，数据存储也会受到上级目录的权限影响。

PS：
suid命令，当一个普通用户没有权限查看root权限文件内容，给命令添加s权限后，就可以查看了。-- 不常用

NFS单点故障问题

1
2
3
drbd+heartbeat 可以解决NFS单点故障。

对于大中小网站（参考点：2000万以下的PV）可以使用NFS文件存储系统。

用户压缩映射-流程图

两种映射方式

(1) all_squash

(2) all_squash root_squash

用户压缩映射

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......