智客公社
标题:
一同大数据吧-Kafka环境搭建和实际
[打印本页]
作者:
郭少兵
时间:
2021-6-10 13:02
标题:
一同大数据吧-Kafka环境搭建和实际
Kafka和Zookeeper引见
Kafka是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式音讯系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,音讯服务等等,用scala和Java言语编写,Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。
ZooKeeper是一个分布式的,开放源码的分布式运用程序协调服务,是Google的Chubby一个开源的完成,是Hadoop和Hbase的重要组件。它是一个为分布式运用提供分歧性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
由于Kafka是支持集群的,所以需求经过Zookeeper来停止管理。
环境和软件版本
基于windows环境,kafka和zookeeper版本都是取自官网最新发布的波动版本。
windows 10
kafka_2.12-2.8.0
apache-zookeeper-3.6.3
安装zookeeper
复制zoo_sample.cfg并重命名为zoo.cfg
执行安装命令
D:\LearnFile\bigdata\apache-zookeeper-3.6.3-bin\bin> .\zkServer.cmd
[attach]622831[/attach]
新建zookeeper配置文件
安装Kafka
执行安装命令
D:\LearnFile\bigdata\kafka> .\bin\windows\kafka-server-start.bat .\config\server.properties
有如下打印代表已安装成功。
[attach]622832[/attach]
安装Kafka
分别创建一个producer和consumer
新建一个窗口,创建一个producer,用于发送音讯创建一个消费者,指定的broker列表为:localHost:9092(本机创建的kafka), 制定音讯主题为hellotest
D:\LearnFile\bigdata\kafka> .\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic hellotest
[attach]622833[/attach]
创建消费者
新建一个窗口,创建一个consumer,用于从kafka pull音讯
D:\LearnFile\bigdata\kafka> .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic hellotest
[attach]622834[/attach]
创建消费者
国际惯例-Hello World
消费者发送一个音讯,可以看到在消费者端接遭到了该音讯
[attach]622835[/attach]
经过消费者发生Hello World
总结
Kafka作为一个分布式、高功能、高牢靠性的音讯中间件,已广泛运用于各种实时大数据处理中,比如hadoop的批处理系统和实时系统、storm/Spark的流式处理引擎、ELK日志系统、web实时数据、音讯服务等。
经过搭建环境,熟习kafka的基本原理和配置,后续基于该环境,大家可以经过Java API对Kafka停止用户数据的注入和消费。
后续会引见Kafka的源码环境,本人构建Kafka,并引见如何经过Java API停止Kafka音讯的编程。
作者:
脑袋长歪了
时间:
2021-6-10 18:25
LZ帖子不给力,勉强给回复下吧
作者:
美丑一张脸Miss
时间:
2021-6-11 15:09
垃圾内容,路过为证。
作者:
人生如刺客
时间:
2021-6-12 15:20
楼主呀,,,您太有才了。。。
欢迎光临 智客公社 (http://bbs.cnaiplus.com/)
Powered by Discuz! X3.4