Fork me on GitHub

老男孩-Day11-磁盘管理与AWK数组

字数统计: 2.2k字   |   阅读时长≈ 10分
RIAD
1
2
3
4
5
6
7
8
9
10
11
12
RIAD0 磁盘容量不浪费，存储性好，读写速度块。至少要有1块物理磁盘才能使用RIAD0

RIAD1 镜像，磁盘容量损失50% ；只能2块盘做1个RIAD1。
      应用场景：对数据安全性比较高的情况下使用。

RIAD5 至少需要3块以上物理磁盘才能实现RIAD5. 空间利用率n-1 
      如果任意1块硬盘坏掉，通过奇偶校验会将数据恢复。
      
RIAD5+Spare（空闲热备盘）

RIAD10 至少需要4块硬盘
dd命令
1
2
3
4
5
6
dd if=/dev/sda of=/tmp/mbr.bin  bs=512 count=1

if（input file）输入文件或设备名称，从哪里读取数据
of (output file) 输出文件或设备名称，把数据放到哪里
bs(block size) 每次读取数据的大小,单位字节
count 读取多少次
分区名称
1
2
3
4
5
6
7
8
9
sata/scsi/sas	以sd开头 
sata第一块硬盘	sda
sata第二块硬盘	sdb
sata磁盘第一块硬盘的第一个分区	sda1
sata磁盘第一块硬盘的第一个逻辑	sda5

第二块ide磁盘的第一个分区	hdb1
第三块sas磁盘的第二个分区	sdc2
第四块sata磁盘的第二个逻辑分区 sdd6
fdisk磁盘分区
1
2
3
4
5
6
7
8
fdisk -cu /dev/sdb       分区

Command (m for help): n                                                                          
+50M   例如分50M空间
p  查看分区
w  保存

注：（输入错误的话，ctrl+u 清除）
Parted磁盘分区
1
2
3
4
5
6
7
fdisk与Parted区别？
（1）fdisk用于小于2TB磁盘，大于2TB需要使用parted命令
（2）fdisk需要使用w命令保存后才能生效，而parted命令配置实时生效。

引导记录
小于2TB的磁盘引导记录叫做MBR（BIOS）
大于2TB的磁盘引导记录叫做GPT（UEFI）【它的出现是为了解决主分区最多只能有4个的问题】
1
2
3
4
5
6
7
parted /dev/sdc

print 显示磁盘分区信息
mklable或mktable   创建磁盘分区表
mkpart name exit4 0 50   创建分区,默认单位M （其中，name随意定义; exit4文件系统类型）
rm  1   删除第一个分区
quit   推出parted状态
刷新分区表、格式化与挂载
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
通知系统某个磁盘的分区表改变了
partprobe /dev/sdb

格式化
mkfs.ext4 /dev/sdb1         格式化为ext4

挂载
mount /dev/sdb1 /mnt       把/dev/sdb1分区挂载到/mnt目录下

卸载已挂载的目录
umount /mnt   

开机自动挂载
vim /etc/fstab
/dev/sdb1     /mnt         ext4     defaults     0 0
 挂载分区     挂载目录  系统文件类型     参数    是否需要备份

注：
This filesystem will be automatically checked every 37 mounts or 180 days, whichever comes first.

这个分区在每挂载37次的时候或每180天进行一次磁盘检查 fsck

取消fsck磁盘检查功能
tune2fs -c 0 -i 0 /dev/sdb1

企业案例：利用文件来增加swap空间
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
1. 创建文件块
   # dd if=/dev/zero of=/tmp/100m bs=1M count=100
   /dev/zero文件代表一个永远输出 0的设备文件，使用它作输入可以得到全为空的文件。
   
   # ll /tmp/100m -h
     -rw-r--r--. 1 root root 100M Jul  4 12:49 /tmp/100m
     
2. 让这个文件块成为swap
   [root@oldboy202 ~]# file /tmp/100m   查看类型
   [root@oldboy202 ~]# mkswap /tmp/100m   让文件块成为swap
   [root@oldboy202 ~]#file /tmp/100m   再查看类型
   
3. 给正在使用的swap增加空间
   free -m      查看目前swap空间
   swapon /tmp/100m   给正在使用的swap增加空间
   free -m      再次检验


开机自动挂载swap
vim /etc/fstab
/dev/sdb1     /mnt         ext4     defaults     0 0
/tmp/100m     swap         swap     defaults     0 0

注；卸载或删除增加的swap空间   swapoff   /tmp/100m
swapon -a    挂载所有的swap，也可以作为验证/etc/fstab中关于swap配置的正确性。

AWK数组

awk查找
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
awk 'NR==5' passwd    显示第5行（2个等号才表示等于）

awk '条件{动作}' filename
awk '模式{动作}' filename

awk -F ":" 'NR==5{print $NF}' passwd    显示第5行的最后一列
/sbin/nologin

awk '/^root/' passwd  查找出以root开头的行


[root@oldboy202 ~]# awk -F “:” '$6~/home/' passwd   查找第6列中包含home的行
oldboy:x:500:501::/home/oldboy:/bin/bash
oldgirl:x:501:501::/home/oldgirl:/bin/bash
注；波浪线（~）表示包含
AWK
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
测试环境
mkdir -p /server/files/
cat >>/server/files/reg.txt<<EOF
Zhang Dandan    41117397   :250:100:175
Zhang Xiaoyu    390320151  :155:90:201
Meng  Feixue    80042789   :250:60:50
Wu    Waiwai    70271111   :250:80:75
Liu   Bingbing  41117483   :250:100:175
Wang  Xiaoai    3515064655 :50:95:135
Zi    Gege      1986787350 :250:168:200
Li    Youjiu    918391635  :175:75:300
Lao   Nanhai    918391635  :250:100:175
EOF

注： '/oldboy/' 就相当于 '$0/oldboy/'    表示整行

（1）显示姓Zhang第二次捐款的金额（并显示姓名）
[root@oldboy202 files]# awk -F "[ :]+" '$1~/^Zhang/{print $1,$2,$5}' reg.txt 
Zhang Dandan 100
Zhang Xiaoyu 90
[root@oldboy202 files]# awk -F "[ :]+" '$1~/^Zhang/{print $1,$2,$(NF-1)}' reg.txt 
Zhang Dandan 100
Zhang Xiaoyu 90
注；波浪线（~）表示包含.
    $1~    表示第一列包含XXX
1
2
3
4
5
6
（2）显示Xiaoyu的姓氏和ID号码
[root@oldboy202 files]# awk '$2~/Xiaoyu/' reg.txt 
Zhang Xiaoyu    390320151  :155:90:201

[root@oldboy202 files]# awk '$2~/Xiaoyu/{print $1,$3}' reg.txt 
Zhang 390320151
1
2
3
4
（3）查找第三列以41开头的行
[root@oldboy202 files]# awk '$3~/^41/' reg.txt 
Zhang Dandan    41117397   :250:100:175
Liu   Bingbing  41117483   :250:100:175
1
2
3
4
显示所有以41开头的ID号码的人的全名和ID号码
[root@oldboy202 files]# awk '$3~/^41/{print $1,$2,$3}' reg.txt 
Zhang Dandan 41117397
Liu Bingbing 41117483
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
显示所有以一个D或X开头的人名全名
[root@oldboy202 files]# awk '$2~/^D|^X/' reg.txt 
Zhang Dandan    41117397   :250:100:175
Zhang Xiaoyu    390320151  :155:90:201
Wang  Xiaoai    3515064655 :50:95:135

[root@oldboy202 files]# awk '$2~/^D|^X/{print $1,$2}' reg.txt 
Zhang Dandan    41117397   :250:100:175
Zhang Xiaoyu    390320151  :155:90:201
Wang  Xiaoai    3515064655 :50:95:135

##################################################################

[root@oldboy202 files]# awk '$2~/^[DX]/' reg.txt 
Zhang Dandan    41117397   :250:100:175
Zhang Xiaoyu    390320151  :155:90:201
Wang  Xiaoai    3515064655 :50:95:135

[root@oldboy202 files]# awk '$2~/^[DX]/{print $1,$2}' reg.txt 
Zhang Dandan
Zhang Xiaoyu
Wang Xiaoai
1
2
3
4
5
6
7
8
9
10
11
12
13
14
显示ID号为1或5结尾的人的全名

[root@oldboy202 files]# awk '$3~/[14$]/' reg.txt     方法1
Zhang Dandan    41117397   :250:100:175
Zhang Xiaoyu    390320151  :155:90:201
Meng  Feixue    80042789   :250:60:50
Wu    Waiwai    70271111   :250:80:75

[root@oldboy202 files]# awk '$3~/1$|5$/' reg.txt     方法2
Zhang Xiaoyu    390320151  :155:90:201
Wu    Waiwai    70271111   :250:80:75
Wang  Xiaoai    3515064655 :50:95:135
Li    Youjiu    918391635  :175:75:300

1
2
3
4
5
6
7
8
9
10
11
显示Xiaoyu的捐款，结果每个值都以$开头，如$520$200$135  
awk '$2~/Xiaoyu/{print $NF}' reg.txt |tr ":" "$"       方法1
$155$90$201

awk '$2~/Xiaoyu/{gsub(/:/,"$",$NF);print $NF}' reg.txt   方法2
$155$90$201

gsub格式：
gsub(找谁,替换成什么,替换哪一列)
gsub(找谁,替换成什么)  ==== gsub(找谁,替换成什么,$0)
echo oldboy|awk '{gsub(/oldboy/,"oldgirl");print $0}'
1
2
3
4
5
6
7
8
9
10
11
显示所有人的全名，以姓,名的格式显示，如Meng,Feixue
[root@oldboy202 files]# awk '{print $1,$2}' reg.txt 
Zhang Dandan
Zhang Xiaoyu
Meng Feixue
Wu Waiwai
Liu Bingbing
Wang Xiaoai
Zi Gege
Li Youjiu
Lao Nanhai
1
2
3
查找第二列包含Waiwai的列，并替换$3列中的内容70271111改为garywu
[root@oldboy202 files]# awk -F "[ ]+" '$2~/Waiwai/{gsub(/70271111/,"garywu",$3);print $3}' reg.txt 
garywu
数组
1
2
3
4
5
6
7
8
测试环境
vim html.txt
http://www.etiantian.org/index.html
http://www.etiantian.org/1.html
http://post.etiantian.org/index.html
http://mp3.etiantian.org/index.html
http://www.etiantian.org/3.html
http://post.etiantian.org/2.html
1
2
3
4
5
6
7
8
9
10
11
统计第二列内容出现的总次数

[root@oldboy202 ~]# awk -F "[:/.]+" '{print $2}' html.txt

[root@oldboy202 ~]# awk -F "[:/.]+" '{print $2}' html.txt |sort |uniq -c
      1 mp3
      2 post
      3 www
      
注：sort 是排序，务必先排序
    uniq -c  统计次数

awk数组

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
[root@oldboy202 ~]# awk -F "[/.]+" '{myarr[$2]=myarr[$2]+1}END{for(x in myarr)print x,myarr[x]}' html.txt 
www 3
mp3 1
post 2

注：
{myarr[$2]=myarr[$2]+1}  意思是给数组赋值，当该赋值语句被执行后，则值为myarr[$2]+1
END  可以理解为数组赋值定义结束时需要使用
{for(x in myarr)print x,myarr[x]}  当你使用for循环中的这个in格式时，awk将把数组中的myarr的每一个赋值交给“循环控制变量” X。在本例中，x即为$2的内容，即www或mp3或post。而myarr[x]就等于myarr[$2]+1} 即计算出的次数。所以后半部分我们要打印计算的结果，所以使用print x,myarr[x] 最终显示的结果就是
www 3
mp3 1
post 2


[root@oldboy202 ~]# awk -F "[/.]+" '{myarr[$2]++}END{for(x in myarr)print x,myarr[x]}' html.txt 
www 3
mp3 1
post 2
注： myarr[$2]=myarr[$2]+1 可以简写为myarr[$2]++

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......