Fork me on GitHub

Linux上学会使用DNS over HTTPS 

1
适用场景：在国内有台linux服务器，解析不想被污染,可以采用此方法。
官网下载Cloudflared二进制程序

下载链接

1
2
3
4
wget https://bin.equinox.io/c/VdrWdbjqyF/cloudflared-stable-linux-amd64.tgz
tar -zxvf cloudflared-stable-linux-amd64.tgz
mv cloudflared /usr/sbin/
cloudflared --version
Glibc升级到2.17
1
如果报glibc.so.6的相关错误，就需要升级glibc版本

无损升级glibc-参考

more >>

展开全文 >>

CDH集群的Gateway节点

什么是Gateway节点？
1
Gateway节点又称为客户端节点，它是Hadoop集群的接口机。主要会部署一些客户端的配置、脚本命令等。如：HDFS的core-site.xml , hdfs-site.xml以及hadoop的操作命令
1
2
3
如果你使用的是Apache Hadoop，你只需要将hadoop相关服务的配置和脚本命令拷贝到客户端机器即可，但一旦集群的配置有所修改，你需要注意也同步到客户端机器。

如果是CDH集群，客户端节点也会是Cloudera Manager管理的一台机器，它会被安装cloudera-scm-agent服务，以及CDH的Parcel，部署客户端配置Cloudera Manager会统一做，另外如果客户端机器出现异常，Cloudera Manager也会告警。
more >>

展开全文 >>

KAFKA扩容节点和分区迁移-CDH 

1
2
由于服务器老化原因，需要迁移CDH KAFKA集群中的一台服务器，上面运行有KAFKA服务，假设broker id为536
假设老化服务器IP地址是10.0.0.200

CDH新增KAFKA节点

1
2
3
(1)通过CDH 管理界面在KAFKA集群上新增一个KAFKA角色,并启动KAFKA服务,假设broker id为577 。
(2)停用并删除集群中10.0.0.200上的KAFKA角色
(3)查看现有KAFKA集群节点的 Kafka broker id，假设为(535,577)

CDH新增KAFKA节点后，若出现启动错误

1
2
3
请检查如下配置：
     （1）JDK版本是否与其他KAFKA节点版本一致，不一致则需要升级
      (2) 若启动日志扔报错，需要检查CDH管理页面，新增kafka节点的配置是否与其他正常节点一致，尤其是参数Java Heap Size of Broker in Megabytes这两个参数，如果设置为0，则会导致启动KAFKA服务失败。
more >>

展开全文 >>

为CDH/CM集群配置机架感知

什么是CDH机架感知

1
机架感知是一种计算不同计算节点之间距离的技术，用以在任务调度过程中尽量减少网络带宽资源的消耗，除此之外，NameNode通过机架感知，可以确定每个DataNode所属的机架ID，优化数据副本存放策略。
1
Hadoop作为典型的大数据处理平台，为充分发挥数据本地性的优势，避免数据跨网络传输，优化集群网络带宽资源，最大程度发挥Hadoop的性能，通常会为Hadoop集群配置机架感知，要为Hadoop集群配置机架感知，需要提前知道Hadoop集群的网络拓扑结构。一般来说，配置机架感知就是将逻辑机架和物理机架一一对应。
more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true


不论我写了什么...
其实都是错的......