一同大数据吧-Kafka环境搭建和实际

Kafka和Zookeeper引见

Kafka是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式音讯系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，音讯服务等等，用scala和Java言语编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。
ZooKeeper是一个分布式的，开放源码的分布式运用程序协调服务，是Google的Chubby一个开源的完成，是Hadoop和Hbase的重要组件。它是一个为分布式运用提供分歧性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
由于Kafka是支持集群的，所以需求经过Zookeeper来停止管理。
环境和软件版本

基于windows环境，kafka和zookeeper版本都是取自官网最新发布的波动版本。

windows 10kafka_2.12-2.8.0apache-zookeeper-3.6.3

安装zookeeper

复制zoo_sample.cfg并重命名为zoo.cfg执行安装命令

D:\LearnFile\bigdata\apache-zookeeper-3.6.3-bin\bin> .\zkServer.cmd

新建zookeeper配置文件

安装Kafka

执行安装命令

D:\LearnFile\bigdata\kafka> .\bin\windows\kafka-server-start.bat .\config\server.properties
有如下打印代表已安装成功。

安装Kafka

分别创建一个producer和consumer

新建一个窗口，创建一个producer，用于发送音讯创建一个消费者，指定的broker列表为：localHost:9092(本机创建的kafka)， 制定音讯主题为hellotest

D:\LearnFile\bigdata\kafka> .\bin\windows\kafka-console-producer.bat   --broker-list localhost:9092  --topic hellotest

创建消费者

新建一个窗口，创建一个consumer，用于从kafka pull音讯

D:\LearnFile\bigdata\kafka> .\bin\windows\kafka-console-consumer.bat   --bootstrap-server localhost:9092   --topic hellotest

创建消费者

国际惯例-Hello World

消费者发送一个音讯，可以看到在消费者端接遭到了该音讯

经过消费者发生Hello World

总结

Kafka作为一个分布式、高功能、高牢靠性的音讯中间件，已广泛运用于各种实时大数据处理中，比如hadoop的批处理系统和实时系统、storm/Spark的流式处理引擎、ELK日志系统、web实时数据、音讯服务等。
经过搭建环境，熟习kafka的基本原理和配置，后续基于该环境，大家可以经过Java API对Kafka停止用户数据的注入和消费。
后续会引见Kafka的源码环境，本人构建Kafka，并引见如何经过Java API停止Kafka音讯的编程。

LZ帖子不给力，勉强给回复下吧

垃圾内容，路过为证。

楼主呀，，，您太有才了。。。