🕵️‍♂️匿名运维栈
  • 📑 书签
  • 📁 网盘
  • 🔧 运维
    • 🐧Linux
    • Jupyter
    • openstack
    • Mysql
  • 💻 开发
    • Java
    • python
    • golang
  • ☁️ 云原生
    • Docker
    • prometheus
    • kubernetes
    • cicd
  • 📊 大数据
    • Hadoop
    • Hbase
    • Hive
    • spark
    • ELK
  • 🤖 AI
  • 📜 记录
    • 杂记
  • 📑 书签
  • 📁 网盘
  • 🔧 运维
    • 🐧Linux
    • Jupyter
    • openstack
    • Mysql
  • 💻 开发
    • Java
    • python
    • golang
  • ☁️ 云原生
    • Docker
    • prometheus
    • kubernetes
    • cicd
  • 📊 大数据
    • Hadoop
    • Hbase
    • Hive
    • spark
    • ELK
  • 🤖 AI
  • 📜 记录
    • 杂记
Openstack集成ceph

openstack Openstack集成ceph

文章介绍了Openstack Train版集成Ceph的步骤,包括安装Ceph客户端、创建存储池、配置Glance、Cinder和Nova组件使用Ceph作为后端存储,以及验证各组件是否成功对接。

120次阅读 0个评论
openstack 2025-06-03
Spark集群安装

spark Spark集群安装

文章介绍了在CentOS 7.6环境下Spark集群的部署模式(Local、Standalone、YARN、Mesos、Kubernetes)、安装步骤、环境配置及测试方法。重点涵盖Standalone HA模式的实现原理(基于Zookeeper),Spark on YARN的配置优化及Executor内存和CPU参数设定,以及Spark与Hive集成的编译、配置和上传jar包操作。

148次阅读 0个评论
spark 2025-05-31
Presto部署

presto Presto部署

Presto 由 Facebook 开发,后分裂成 Trino 与 PrestoSQL。文章主要介绍 Presto/Trino 的部署架构、安装配置步骤和日志自定义方法,强调其支持多数据源 MPP 查询、内存计算优势及 Kerberos 集成关键配置。

102次阅读 0个评论
presto 2025-05-31
Ozone原理与部署

ozone Ozone原理与部署

Ozone是针对大数据场景设计的分布式存储系统,支持S3和HDFS协议,优化小文件存储问题,部署包含SCM、OM和Datanode等组件,并可通过CSI接入Kubernetes。

75次阅读 0个评论
ozone 2025-05-31
kafka操作

kafka kafka操作

常用命令 Kafka 2.0 版本开始,默认的连接方式已从使用 ZooKeeper 转变为使用 Bootstr…

48次阅读 0个评论
kafka 2025-05-31
Hue部署、服务集成

hue Hue部署、服务集成

​ 介绍 Hue 支持以下服务 HDFS、HBase、S3 Hive、Impala、Presto、Trino、…

109次阅读 0个评论
hue 2025-05-31
Hive集群安装

Hive Hive集群安装

本文详细介绍了Hive 3.1.2在Hadoop 3.1.1和MySQL 8环境下的安装与配置过程,包括MySQL的安装与授权、Hive环境变量配置、元数据库初始化、常用属性配置、Log4j配置调整以及如何通过命令行和脚本启动和测试Hive服务。

98次阅读 0个评论
Hive 2025-05-31
Hbase集群安装

Hbase Hbase集群安装

HBase 2.4.1在CentOS 7.6环境中部署,依赖Hadoop 3.2.1(HA模式)和Zookeeper 3.4.13集群。配置关键文件包括hbase-env.sh和hbase-site.xml,设置HDFS存储路径、ZooKeeper集群及端口等参数。通过SCP分发安装包至各节点,并后台启动Master、RegionServer、REST及Thrift服务。测试包括curl访问REST接口、WebUI及HBase shell操作。未显式配置Hadoop环境变量,HBase通过其脚本自动识别Hadoop路径。

131次阅读 0个评论
Hbase 2025-05-31
hadoop之DataNode扩缩容

Hadoop hadoop之DataNode扩缩容

文章主要介绍了Hadoop集群中HDFS和YARN组件的动态扩缩容操作流程,包括添加新磁盘目录和主机扩容的具体配置,如hdfs-site.xml和yarn-site.xml的调整,需同步白名单和黑名单并刷新节点信息。同时,退役节点需先迁移数据块,利用hdfs balancer和yarn rmadmin保证集群均衡和节点状态更新。最后提到操作中需注意相关权限和路径配置,并提供了一些网络链接作为参考。

191次阅读 0个评论
Hadoop 2025-05-31
Hadoop集群的webUI监控界面设置Simple安全机制

Hadoop Hadoop集群的webUI监控界面设置Simple安全机制

问题 ​ hive 集群配置完成,web 监控界面的 8808 和 8042 和 10002 端口不需用户验证…

141次阅读 0个评论
Hadoop 2025-05-31
  • «
  • 1
  • ...
  • 5
  • 6
  • 7
  • 8
  • 9
  • ...
  • 11
  • »
匿名者的博客
匿名者的博客
知道的越多,不知道的越多!
用户数
2
文章数
108
评论数
25
阅读量
17957
文章搜索
最新文章
一言一句话
-「」
陕ICP备2025068122号-1
 Theme by Puock