Fork me on GitHub

linux通用系统备份与恢复

适用场景

Linux系统备份与恢复使用dd命令将整块磁盘拷贝与恢复就可以快速的启动操作系统。但有个问题是：如果之前的磁盘有逻辑坏道怎么办？这样一来，dd恢复后的操作系统也大几率存在逻辑坏道的问题。

基于此，本文章详细介绍如何使用tar来备份与还原系统。

准备环境

  • boot分区为独立分区

    这里备份恢复的系统所使用的boot分区，均为独立分区，大小200M

  • 对应linux发行版的livecd

    这里是Gentoo系统，故这里下载 install-amd64-minimal-20170302.iso

  • 移动硬盘

    tar压缩后，将压缩文件放到移动硬盘中

more >>

展开全文 >>

binlog2sql之MySQL数据闪回实战

MySQL闪回特性最早由阿里彭立勋开发，彭在2012年给官方提交了一个patch，并对闪回设计思路做了说明。但是因为种种原因，业内安装这个patch的团队至今还是少数，真正应用到线上的更是少之又少。

而binlog2sql则是借鉴的这种思路，它由美团点评DBA团队(上海)出品，多次在线上环境做快速回滚。

适用场景

某天，同事A误删了大批线上用户MySQL表的数据……

他急忙找到公司DBA请求帮助，“客服电话已被打爆，大量用户投诉无法登陆，领导非常恼火。请问多久能恢复数据？”DBA一脸懵逼，沉默十秒后，伸出一根手指。“你的意思是一分钟就能恢复？太好了。”小明终于有些放松，露出了一丝笑容。“不，我们中有个人将会离开公司……” DBA沉痛的说道。

参考：GitHub MySQL闪回

more >>

展开全文 >>

HDFS的Block数据balancer重新分布

HDFS balancer重新平衡，即实现HDFS Block数据物理存储重新分布，可以有效解决物理磁盘空间占用高的问题。

在CDH HDFS集群中，务必至少有1个节点为balancer节点，否则CM平台将无“重新平衡”选项。如果集群中无balancer节点，则需要新增balancer角色。另外，balancer节点应运行在非namenode节点上

CM平台的“重新平衡” 实际上调用的是hadoop重平衡命令，即：hadoop balancer -threshold 5

参数注释：其中-threshold参数是用来判断数据平衡的依据，值范围为0-100。默认值为10，表示HDFS达到平衡状态的磁盘使用率偏差值为10%，如果机器与机器之间磁盘使用率偏差小于10%，那么我们就认为HDFS集群已经达到了平衡的状态。

注：Balancer阈值越高，需要平衡的量越少，DN占用率不够均衡；阈值越低，需要平衡的量越大， DN占有率越均衡；

more >>

展开全文 >>

Mars-hadoop hive架构介绍

Hive介绍

Hive是建立在 Hadoop上的数据仓库基础构架，它提供了一系列的工具，可以通过SQL轻松的访问数据，可以完成数据仓库任务、报表及数据分析。可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。

Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

more >>

展开全文 >>

mysql从库降低延迟

slave复制延迟较大优化

默认mysql从库SQL为单线程，所以从库同步执行速度相对较慢，进而导致延迟增大。在MySQL5.7版本可以通过设置逻辑时钟来实现从库多线程复制

查看从库复制线程状态

主从环境部署完毕后，查看从库当前的线程状态

1
2
3
4
5
6
7
8
9
mysql> show processlist;
+--------+-------------+-----------+------+---------+-------+------------------------------
| Id     | User        | | db   | Command | Time  | State                                   
+--------+-------------+-----------+------+---------+-------+------------------------------
| 148594 | system user | NULL | Connect | 22286 | Waiting for master to send event         
| 148595 | system user | NULL | Connect |  2672 | Slave has read all relay log; waiting for
| 150081 | root        | NULL | Query   |     0 | starting                                 
+--------+-------------+-----------+------+---------+-------+------------------------------
3 rows in set (0.00 sec)

可以看到当前只有一个复制线程

more >>

展开全文 >>

ESXI vm磁盘精简置备转换为厚置备

前提条件
  • 关闭vm虚拟机电源
  • 移除快照
  • 要转换的vm磁盘类型为精简置备
操作过程

  • 浏览要扩充vm的虚拟磁盘文件夹，找到并选中xxx.vmdk文件

  • 右键xxx.vmdk文件，选择“扩充磁盘” 。此过程花费时间较长，需要耐心等待…

    注：此操作会将磁盘类型从精简置备变更为厚置备磁盘，此时扩充的虚拟磁盘将占据最初为其置备的整个数据存储空间。

置备转换

关于磁盘置备类型，参考：ESXI虚拟机磁盘置备

展开全文 >>

ESXI虚拟机磁盘置备

虚拟磁盘置备策略分类
  • 精简置备
  • 厚置备置零
  • 厚置备延迟置零
怎么理解？举个例子
1
2
3
4
5
6
7
8
比如：在酒店办酒席~ ~ ~

-- 精简置备
   来了多少客人就开多少桌酒席，每次来了新客人就需要重新划分空间，摆桌子摆椅子什么的。
-- 厚置备置零
   腾出一层楼面，桌子椅子全部摆好，客人来了可以直接就座。
-- 厚置备延迟置零
   先腾出一层楼面来摆酒席，等客人来的时候再摆桌子摆椅子。

这个例子参考自：知乎-西瓜

more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......