CDH集成配置KAFKA

2018-11-29

字数统计: 372字 | 阅读时长≈ 1分

查看CDH Web页面中当前集群已分配的parcel包

1	主机 ---> Parcel ---> 如图

kafka_parcel

加载KAFKA包

1	假设KAFKA parcel包未加载，就在此Web页面点击下载

或者

访问Cloudera官方Kafka组件的parcel包
下载地址为：<http://archive.cloudera.com/kafka/parcels/latest/

照旧下载 percel 文件，以及该文件的 sha1 串，然后把xxx.sha1重命名为xxx.sha即可，最后将下载好以上两个文件后，放到 cm-server节点的 /opt/cloudera/parcel-repo/ 目录下

完成后，无需重启 server 守护进程，在Web页面点击刷新即可进行分配、激活。

集群内安装KAFKA服务

1	主页 ---> Cluster1 ---> 添加服务(如图)

add_kafka_services

根据添加服务向导配置即可。 

在此过程中，需要注意一下几个配置,具体按需设置：
    (1)复制进程，默认为1，修改为 3（视业务量而定）
    (2)分区数，默认分区数为 50，这里暂且保留。
    (3)删除旧topic，默认打开，不做更改。

配置 HDFS LZO 压缩

LZO 功能也是封装在单独的 parcel包中，选择对应平台的包。 

下载地址为：http://archive-primary.cloudera.com/gplextras/parcels/latest/ 

这里并没有直接的提供 sha 文件，所以需要查看 manifest.json 文件，找到对应 parcel 包的 hash 值，手动保存至本地文件即可。下载后，存放至 cm-server 的 /opt/cloudera/parcel-repo/ 目录下。

本文作者： GaryWu
本文链接： https://garywu520.github.io/2018/11/29/CDH集成配置KAFKA/
版权声明： 本博客所有文章除特别声明外，均采用 MIT 许可协议。转载请注明出处！

jsonContent: meta: false pages: false posts: title: true date: true path: true text: false raw: false content: false slug: false updated: false comments: false link: false permalink: false excerpt: false categories: false tags: true