请选择 进入手机版 | 继续访问电脑版
 找回密码
 立即注册
搜索

大数据组件基础知识之组件

大数据组件:
hadoop包括三大核心组件:HDFS、Mapreduce、YARN。Hadoop是存储、计算、资源调度为一体的大数据分布式框架。
hdfs:是Hadoop内的分布式数据存储组件,可以构建分布式文件系统用于数据存储。hdfs采用主从结构模型,一般是一主多从。
MapReduce:hadoop内的分布式计算组件,提供编程接口供给给用户开发分布式计算程序。
yarn:Hadoop内的分布式调度系统,可以调度资源和管理任务。
Hive:基于Hadoop的关系型数据仓库,数据存储在Hadoop中,主要用于数据批处理和数据分析。
Hbase:Hbase是一个分布式、可扩展的NoSQL数据库,用于存储海量数据和支持高并发访问。它基于列存储,适合实时数据处理和随机访问操作。
Kafka:kafka是一种高吞吐量的分布式消息发布订阅系统。
Spark:是一个快速通用的计算引擎。
Zookeeper:查看zookeeper的节点角色:
echo mntr| nc -w 3 $ip 2181 | grep zk_server_state
zookeeper查看句柄数:
echo mntr | nc localhost 2181
里面的zk_open_file_descriptor_count和zk_max_file_descriptor_count是打开的句柄数和系统最大打开文件数的数值。
未释放文件句柄的被删除的文件:
lsof | grep deleted



杯酒释兵权~顶级阳谋
鼓励的话语:真正的勇士,不是百战百胜,而是屡败屡战的人。失败,不足惧矣。站起来,重振旗鼓,迭代冲锋,可谓魅力之大者,能量之高者。惟有大英雄真本色,是真名士自风流。大难面前,方显男儿本色!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies