智客公社

标题: 大数据组件基础知识之组件 [打印本页]

作者: Rao丶小龚 时间: 2024-10-7 09:10
标题: 大数据组件基础知识之组件
大数据组件：
hadoop包括三大核心组件：HDFS、Mapreduce、YARN。Hadoop是存储、计算、资源调度为一体的大数据分布式框架。
hdfs:是Hadoop内的分布式数据存储组件，可以构建分布式文件系统用于数据存储。hdfs采用主从结构模型，一般是一主多从。
MapReduce:hadoop内的分布式计算组件，提供编程接口供给给用户开发分布式计算程序。
yarn:Hadoop内的分布式调度系统，可以调度资源和管理任务。
Hive:基于Hadoop的关系型数据仓库，数据存储在Hadoop中，主要用于数据批处理和数据分析。
Hbase:Hbase是一个分布式、可扩展的NoSQL数据库，用于存储海量数据和支持高并发访问。它基于列存储，适合实时数据处理和随机访问操作。
Kafka:kafka是一种高吞吐量的分布式消息发布订阅系统。
Spark:是一个快速通用的计算引擎。
Zookeeper:查看zookeeper的节点角色：
echo mntr| nc -w 3 $ip 2181 | grep zk_server_state
zookeeper查看句柄数：
echo mntr | nc localhost 2181
里面的zk_open_file_descriptor_count和zk_max_file_descriptor_count是打开的句柄数和系统最大打开文件数的数值。
未释放文件句柄的被删除的文件：
lsof | grep deleted

杯酒释兵权～顶级阳谋
鼓励的话语：真正的勇士，不是百战百胜，而是屡败屡战的人。失败，不足惧矣。站起来，重振旗鼓，迭代冲锋，可谓魅力之大者，能量之高者。惟有大英雄真本色，是真名士自风流。大难面前，方显男儿本色！

欢迎光临智客公社 (http://bbs.cnaiplus.com/)