Fork me on GitHub

mail命令抄送与密送

写shell经常使用mail发送邮件，抄送与密送使用方法如下：

参考：postfix+mailx发送邮件

此命令很可能会在你写脚本的过程中起到至关重要的作用，方法如下：

1
2
#发送给单个人或单个群组
echo "这里是邮件内容正文" | mail -s "主题" xxx@xxx.com 
1
2
#发送给单个人或单个群组
echo "这里是邮件内容正文" | mail -s "主题" -c xxx2@xxx.com -b xxx3@xxx.com xxx1@xxx.com

参数释义：

  • -c: 抄送
  • -b: 密送
  • 最后指定第一个收件人

展开全文 >>

linux系统使用dd命令克隆与恢复

适用场景
1
服务器硬件老化，数据和业务迁移导出困难，这种情况下，使用dd将整个盘的数据制作成镜像，恢复到新服务器中是个不错的方案。
基本思想
1
2
3
4
5
6
7
(1) 使用U盘制作livecd启动盘，在livecd环境进行操作
(2) 准备1TB移动硬盘,在livecd系统中挂载，用于存储系统镜像
(3) dd制作系统镜像

(4) 新服务器进入livecd环境，挂载移动硬盘
(5) dd系统数据恢复
(6) 网卡服务启动错误修复
more >>

展开全文 >>

Hue部署并接入Impala等组件 

1
2
3
本篇介绍下Hue的开源版安装与对接Impala组件，以及CDH版Impala对接注意事项。

Hue提供一个用于查询的Web展示平台，Impala的作用是查询器，Impala后端可以配置与KuDu集群对接。这样就实现了从Hue Web平台查询KuDu集群数据库的内容。
环境准备

(1) 安装编译环境

1
yum -y groupinstall "Development tools"
1
2
3
4
5
yum install -y python-devel.x86_64 openssl-devel python-devel openldap-devel gmp-devel libffi-devel sqlite-devel 

#安装xml依赖
yum install -y libxml2 libxml2-devel libxslt libxslt-devel
yum install -y "perl(XML::LibXML)" && xml2-config --version
more >>

展开全文 >>

linux sudoers文件详解

如果linux系统安装的是minimal最小化版本，无/etc/sudoers文件怎么办？

以CentOS为例：

1
2
yum search sudo
yum install -y sudo

以Gentoo为例：

1
emerge --ask app-admin/sudo

普通用户如何执行一个root权限的命令或执行一个文件 ,需要编辑/etc/sudoers文件, 编辑完毕, 输入”:wp!”保存

给普通用户添加命令执行权限
1
spark  ALL=(ALL) NOPASSWD:/bin/sz
让普通用户执行shell脚本
1
spark ALL=(ALL)  NOPASSWD:/etc/init.d/nagios restart
将某个用户设置超管权限
1
spark ALL=(ALL)  NOPASSWD:ALL

展开全文 >>

Hadoop HA 2.7.3完全分布式集群部署-终极版

HDFS-NameNode(NN) HA 实现方式

Hadoop 从2.0版本通过基于zookeeper实现了高可用 (High Availability, HA)。QJM（Qurom Journal Manager）是当前主流HDFS NameNode HA方案。故本讲也是使用QJM实现HA

NN HA

QJM 的基本原理：

Active NameNode（ANN）

1
在HDFS集群中，对外提供读写服务的唯一Master节点。ANN将客户端请求过来的写操作通过EditLog写入共享存储系统（即JournalNode Cluster），为Standby NameNode及时同步数据提供支持；

Standby NameNode（SBN）

1
与ANN相互形成热备，SBN及时从共享存储系统中读取EditLog数据并更新内存，以保证当前状态尽可能与ANN同步。当前在整个HDFS集群中最多一台处于Active状态，最多一台处于Standby状态；

JournalNode Cluster（JNs）

1
ANN与SBN之间共享Editlog的一致性存储系统，是HDFS NameNode高可用的核心组件。借助JournalNode集群ANN可以尽可能及时同步元数据到SBN。其中ANN采用Push模式将EditLog写入JN，SBN通过Pull模式从JN拉取数据，整个过程中JN不主动进行数据交换；

ZKFiloverController（ZKFC）

1
ZKFailoverController以独立进程运行，对NameNode主备切换进行控制，正常情况ANN和SBN分别对应各自ZKFC进程。ZKFC主要功能：NameNode健康状况检测；借助Zookeeper实现NameNode自动选主；操作NameNode进行主从切换；

Zookeeper（ZK）

1
为ZKFC实现自动选主功能提供统一协调服务。

YARN-ResourceManager(RM) HA实现方式

ResourceManager(RM) HA 实现方式： RM 将状态信息存储在 Zookeeper 中，当 Active 故障，Standby 切换为 Active 后， 从 ZK 读取相应的作业信息，重新构建作业的内存信息，然后开始接受 NodeManager 心 跳，并接受客户端提交作业的请求等。

more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......