5.1 cdh基础优化

1. linux

①禁用透明大页面压缩：
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

②优化交换分区：
修改文件vim /etc/sysctl.conf 【追加一行】
vm.swappiness = 10
执行生效：sysctl -p /etc/sysctl.conf

③修改文件限制vim /etc/security/limits.conf：【重新登录生效】

* soft noproc 11000
* hard noproc 11000
* soft nofile 4100
* hard nofile 4100

2. zk

①MaxSessionTimeout=120000 不宜过大

3. hdfs

①修改cm中hdfs配置dfs.datanode.max.transfer.threads为8192【默认4096】
②hdfs文件权限问题：
sudo -u hdfs hadoop fs -mkdir /user/root
sudo -u hdfs hadoop fs -chown root:root /user/root
sudo -u hdfs hadoop fs -ls /user
sudo -u hdfs hadoop fs -chmod 777 /user
将cm上dfs.permissions修改为False

4. Hbase

①勾选启用编制索引和hbase.replication；##该项为hbase-indexer必须；
②zookeeper.session.timeout：120000
hbase.regionserver.lease.period：240000
hbase.rpc.timeout：280000

5. kafka

①Java Heap Size of Broker至少为1G；##内存少kafka易报错；
②维持zookeeper.chroot默认为空，若设置了目录则kafka命名行需带上目录；
③2≤min.insync.replicas＜replication.factor
④auto.create.topics.enable=false delete.topic.enable=true

来源：https://blog.csdn.net/weixin_40700855/article/details/98745700