文章介绍了在CentOS 7.6环境下Spark集群的部署模式（Local、Standalone、YARN、Mesos、Kubernetes）、安装步骤、环境配置及测试方法。重点涵盖Standalone HA模式的实现原理（基于Zookeeper），Spark on YARN的配置优化及Executor内存和CPU参数设定，以及Spark与Hive集成的编译、配置和上传jar包操作。

Presto 由 Facebook 开发，后分裂成 Trino 与 PrestoSQL。文章主要介绍 Presto/Trino 的部署架构、安装配置步骤和日志自定义方法，强调其支持多数据源 MPP 查询、内存计算优势及 Kerberos 集成关键配置。

Ozone是针对大数据场景设计的分布式存储系统，支持S3和HDFS协议，优化小文件存储问题，部署包含SCM、OM和Datanode等组件，并可通过CSI接入Kubernetes。

常用命令 Kafka 2.0 版本开始，默认的连接方式已从使用 ZooKeeper 转变为使用 Bootstr…

​ 介绍 Hue 支持以下服务 HDFS、HBase、S3 Hive、Impala、Presto、Trino、…

本文详细介绍了Hive 3.1.2在Hadoop 3.1.1和MySQL 8环境下的安装与配置过程，包括MySQL的安装与授权、Hive环境变量配置、元数据库初始化、常用属性配置、Log4j配置调整以及如何通过命令行和脚本启动和测试Hive服务。

HBase 2.4.1在CentOS 7.6环境中部署，依赖Hadoop 3.2.1（HA模式）和Zookeeper 3.4.13集群。配置关键文件包括hbase-env.sh和hbase-site.xml，设置HDFS存储路径、ZooKeeper集群及端口等参数。通过SCP分发安装包至各节点，并后台启动Master、RegionServer、REST及Thrift服务。测试包括curl访问REST接口、WebUI及HBase shell操作。未显式配置Hadoop环境变量，HBase通过其脚本自动识别Hadoop路径。

文章主要介绍了Hadoop集群中HDFS和YARN组件的动态扩缩容操作流程，包括添加新磁盘目录和主机扩容的具体配置，如hdfs-site.xml和yarn-site.xml的调整，需同步白名单和黑名单并刷新节点信息。同时，退役节点需先迁移数据块，利用hdfs balancer和yarn rmadmin保证集群均衡和节点状态更新。最后提到操作中需注意相关权限和路径配置，并提供了一些网络链接作为参考。

问题 ​ hive 集群配置完成，web 监控界面的 8808 和 8042 和 10002 端口不需用户验证…

文章详细描述了在Centos7虚拟机集群环境下搭建Hadoop 3.1.1分布式系统的步骤，包括配置静态IP、关闭防火墙、设置主机名、免密登录和时间同步等。重点内容涉及集群规划、核心配置文件修改、JDK1.8安装与环境变量配置、Hadoop与Hive软件部署、启动和关闭集群命令脚本、以及日志服务器的配置。确保数据、路径、软件版本号等信息与原文一致，如IP地址（192.168.2.21/22/23）、日志保留时间（604800秒）等均准确保留。