自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

朱小厮的博客

你若盛开 蝴蝶自来 你若精彩 天自安排

原创 消息中间件选型分析——从Kafka与RabbitMQ的对比来看全局

一、前言 消息队列中间件(简称消息中间件)是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下提供应用解耦、弹性伸缩、冗余存储、流量削峰、异步通信、数据同步等等功能,其作为分布式系统架构中的一个重要组件...

2018-04-07 00:56:44

阅读数 28812

评论数 18

原创 Scala与Java集合互转摘要

在上一篇文章《再看Kafka Lag》中笔者提及了Scala与Java集合互转的内容,但是并未有详述,本文对此做一个补充说明,方便在使用的时候可以随时翻阅。 对于集合而言,Scala从2.8.1开始引入scala.collection.JavaConverters用于Scala与Java集合的互...

2018-04-23 22:24:08

阅读数 1043

评论数 0

原创 再看Kafka Lag

在《Kafka的Lag计算误区及正确实现》一文中提及了kafka.admin.ConsumerGroupCommand.PartitionAssignmentState无法被外部访问,故要么将PartitionAssignmentState前的protected修饰符去掉,要么像《 如何获取Kaf...

2018-04-21 19:25:17

阅读数 2668

评论数 0

原创 Kafka解析之topic创建(3)——合法性验证

前文摘要 在《Kafka解析之Topic创建(1)》这篇文章中,我们讲述了创建Topic的方式有两种: 如果kafka broker中的config/server.properties配置文件中配置了auto.create.topics.enable参数为true(默认值就是true),那么...

2018-04-18 20:24:10

阅读数 1914

评论数 2

原创 集群管理工具KafkaAdminClient——改造

前文概述 在上一篇文章《集群管理工具KafkaAdminClient——原理与示例》中讲述了KafkaAdminClient的功能以及相应的原理,但是同时也提出了目前的KafkaAdminClient并没有非常的完善,还有许多功能还需要去丰富,这些功能可以自定义实现,在《如何获取Kafka的消费...

2018-04-18 20:19:55

阅读数 2154

评论数 1

原创 集群管理工具KafkaAdminClient——原理与示例

前言 一般情况下,我们都习惯使用Kafka中bin目录下的脚本工具来管理查看Kafka,但是有些时候需要将某些管理查看的功能集成到系统(比如Kafka Manager)中,那么就需要调用一些API来直接操作Kafka了。在Kafka0.11.0.0版本之前,可以通过kafka-core包(Kaf...

2018-04-18 20:14:46

阅读数 9837

评论数 4

原创 如何获取Kafka的消费者详情——从Scala到Java的切换

前文摘要 在上一篇文章《Kafka的Lag计算误区及正确实现》中介绍了如何计算消费者的消费滞后量(Lag),并且讲解了如何调用Kafka的kafka.admin.ConsumerGroupCommand文件中的KafkaConsumerGroupService来发送OffsetRequest和O...

2018-04-16 23:47:29

阅读数 3684

评论数 5

原创 Kafka的Lag计算误区及正确实现

前言 消息堆积是消息中间件的一大特色,消息中间件的流量削峰、冗余存储等功能正是得益于消息中间件的消息堆积能力。然而消息堆积其实是一把亦正亦邪的双刃剑,如果应用场合不恰当反而会对上下游的业务造成不必要的麻烦,比如消息堆积势必会影响上下游整个调用链的时效性,有些中间件如RabbitMQ在发生消息堆积...

2018-04-16 01:19:50

阅读数 13026

评论数 13

提示
确定要删除当前文章?
取消 删除