Docker docker容器间跨宿主机通信-基于overlay Dockeroverlay网络实现容器跨宿主机通信。通过consul服务发现注册IP池,两节点配置后创建全局overlay网络并测试,容器间成功通信。数据封装通过vxlan隧道传输。
Hadoop Yarn调度器 本文对比介绍了Yarn的三种调度器:FIFOScheduler简单不适用于生产环境,FairScheduler支持多级队列与资源公平共享但调度特性不如CapacityScheduler完善。 CapacityScheduler具备分层队列、资源配额、安全性、弹性多租户管理,且支持Node Labels与Placement Constraints,是最推荐使用的调度方案。
ELK ELK日志系统搭建 本文详细介绍如何搭建 ELK 日志系统,包括安装配置 Elasticsearch、Kibana、LogStash、Filebeat 以及集成 Kafka 进行日志缓冲。主要步骤涵盖安装路径、核心配置修改、服务启动与监控,强调在高日志量场景下的系统优化需求。
openstack Openstack集成ceph 文章介绍了Openstack Train版集成Ceph的步骤,包括安装Ceph客户端、创建存储池、配置Glance、Cinder和Nova组件使用Ceph作为后端存储,以及验证各组件是否成功对接。
spark Spark集群安装 文章介绍了在CentOS 7.6环境下Spark集群的部署模式(Local、Standalone、YARN、Mesos、Kubernetes)、安装步骤、环境配置及测试方法。重点涵盖Standalone HA模式的实现原理(基于Zookeeper),Spark on YARN的配置优化及Executor内存和CPU参数设定,以及Spark与Hive集成的编译、配置和上传jar包操作。
presto Presto部署 Presto 由 Facebook 开发,后分裂成 Trino 与 PrestoSQL。文章主要介绍 Presto/Trino 的部署架构、安装配置步骤和日志自定义方法,强调其支持多数据源 MPP 查询、内存计算优势及 Kerberos 集成关键配置。
ozone Ozone原理与部署 Ozone是针对大数据场景设计的分布式存储系统,支持S3和HDFS协议,优化小文件存储问题,部署包含SCM、OM和Datanode等组件,并可通过CSI接入Kubernetes。
Hive Hive集群安装 本文详细介绍了Hive 3.1.2在Hadoop 3.1.1和MySQL 8环境下的安装与配置过程,包括MySQL的安装与授权、Hive环境变量配置、元数据库初始化、常用属性配置、Log4j配置调整以及如何通过命令行和脚本启动和测试Hive服务。