门户
图库
科技
数据
VR
区块链
学院
论坛
百科
导航
登录
注册
帮助
请选择
进入手机版
|
继续访问电脑版
公社首页
中国人工智能社区
公社版块
公社群组
Group
升级会员
用户名
Email
自动登录
找回密码
密码
登录
立即注册
登录后你可以:
登录
首次使用?
点我去注册
搜索
搜索
本版
帖子
公社群组
用户
道具
勋章
任务
设置
我的收藏
退出
首页
›
智能技术
›
大数据
›
大数据组件基础知识之组件
返回列表
大数据组件基础知识之组件
[复制链接]
Rao丶小龚
2024-10-7 09:10:39
显示全部楼层
|
阅读模式
大数据组件:
hadoop包括三大核心组件:HDFS、Mapreduce、YARN。Hadoop是存储、计算、资源调度为一体的大数据分布式框架。
hdfs:是Hadoop内的分布式数据存储组件,可以构建分布式文件系统用于数据存储。hdfs采用主从结构模型,一般是一主多从。
MapReduce:hadoop内的分布式计算组件,提供编程接口供给给用户开发分布式计算程序。
yarn:Hadoop内的分布式调度系统,可以调度资源和管理任务。
Hive:基于Hadoop的关系型数据仓库,数据存储在Hadoop中,主要用于数据批处理和数据分析。
Hbase:Hbase是一个分布式、可扩展的NoSQL数据库,用于存储海量数据和支持高并发访问。它基于列存储,适合实时数据处理和随机访问操作。
Kafka:kafka是一种高吞吐量的分布式消息发布订阅系统。
Spark:是一个快速通用的计算引擎。
Zookeeper:查看zookeeper的节点角色:
echo mntr| nc -w 3 $ip 2181 | grep zk_server_state
zookeeper查看句柄数:
echo mntr | nc localhost 2181
里面的zk_open_file_descriptor_count和zk_max_file_descriptor_count是打开的句柄数和系统最大打开文件数的数值。
未释放文件句柄的被删除的文件:
lsof | grep deleted
杯酒释兵权~顶级阳谋
鼓励的话语:真正的勇士,不是百战百胜,而是屡败屡战的人。失败,不足惧矣。站起来,重振旗鼓,迭代冲锋,可谓魅力之大者,能量之高者。惟有大英雄真本色,是真名士自风流。大难面前,方显男儿本色!
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
发表新帖
回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
本版积分规则
发表回复
回帖后跳转到最后一页
Rao丶小龚
中级会员
0
关注
0
粉丝
85
帖子
Ta的主页
发布
加好友
最近发表
特斯拉Cybercab亮相Giga Texas,员工试乘无人驾驶出租车
无人驾驶
无人驾驶赛车第一次与真人车手同场对决,车手赢了
无人驾驶大战开启,大规模商业化运营真的要来了?
潍坊邮政首辆无人驾驶快递车正式上路运行
新车 | 续航400公里/无人驾驶/无线充电,红旗二代智能小巴亮相
公社版块
版块推荐
更多版块
智能穿戴
智能家居
机器人
无人驾驶
无人机
反馈吐槽
闲聊灌水
大话智能
大数据
图像识别
自然语言
数据挖掘
大话智能
数据挖掘
北大讲座
清华讲座
网贷观察
股市评论
区块链
闲聊灌水
反馈吐槽
站务通知
关注我们