自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

朱小厮的博客

你若盛开 蝴蝶自来 你若精彩 天自安排

  • 博客(4)
  • 资源 (12)
  • 论坛 (2)
  • 收藏
  • 关注

原创 [Kafka与Spark集成系列四] Spark运行结构

在分布式环境下,Spark集群采用的是主从架构。如下图所示,在一个Spark集群中,有一个节点负责中央协调,调度各个分布式工作节点,这个中央协调节点被称为驱动器(Driver)节点,与之对应的工作节点被称为执行器(Executor)节点。驱动器节点可以和大量的执行器节点进行通信,它们也都作为独立的进程运行。驱动器节点和所有的执行器节点一起被称为一个Spark应用(Application)。...

2018-08-26 16:56:55 1008

原创 [Kafka与Spark集成系列三] Spark编程模型

在Spark中,我们通过对分布式数据集的操作来表达我们的计算意图,这些计算会自动地在集群上并行进行。这样的数据集被称为弹性分布式数据集(Resilient Distributed Dataset),简称RDD。RDD是Spark对分布式数据和计算的基本抽象。在Spark中,对数据的所有操作不外乎创建RDD、转换已有RDD以及调用RDD操作进行求值。在《Spark的安装及简单应用》的单词统计示例中,...

2018-08-26 16:54:27 757

原创 [Kafka与Spark集成系列二] Spark的安装及简单应用

下载Spark安装包是安装的第一步,下载地址为http://spark.apache.org/downloads.html。截止撰稿之时,Spark最新版本为2.3.1,如下图所示,我们可以从官网中选择spark-2.3.1-bin-hadoop2.7.tgz进行下载。在下载过后,笔者是先将安装包拷贝至/opt目录下,然后执行相应的解压缩动作,示例如下:[root@node1 op...

2018-08-26 16:48:00 1469

原创 [Kafka与Spark集成系列一] Spark入门

Spark是一个用来是实现快速而通用的集群计算的平台。Spark是UC Berkeley AMP Lab(加州大学伯克利分销的AMP实验室)所开源的类MapReduce的通用并行框架, 现在已经是Apache中的一个顶级项目。Spark使用Scala语言开发,支持Scala、Java、Python、R语言相关的API,运行于JVM之上。Spark基于内存计算,提高了在大数据环境下数据处理的实时性,...

2018-08-26 16:41:38 3190

序列化工具(Gson, Jackson, FastJson, ProtoBuf)

各种序列化工具类,包括Gson, Jackson, FastJson, ProtoBuf以及proto.exe,希望大家喜欢

2016-02-23

memcached安装包以及MemCachedClient

memcached, libevent, MemCachedClient

2016-04-06

测试对象大小的jar包

测试对象大小的jar包

2016-03-29

spring+activemq必备jar包

spring+activemq必备jar包:activeio-core-3.1.4.jar,activemq-all-5.13.2.jar,activemq-pool-5.13.2.jar,commons-pool2-2.4.2.jar

2016-04-15

cglib动态代理

cglib和asm搭配的jar,方便你使用动态代理

2016-03-25

memcached-session-manager

memcached-session-manager 以及kryo的jar包 完整版 经过实际检验

2016-04-06

jedis-2.1.0.jar

java操作redis的jar包

2016-04-11

zookeeper查看器

zookeeper查看器

2016-11-27

redis安装包-linux

redis的安装包 版本3.0.5 是linux版的

2016-04-11

HttpClient的jar包

commons-codec-1.6.jar commons-httpclient-3.1.jar

2016-03-31

Cglib两个jar包

cglib动态代理的jar包

2016-03-25

HttpClient的jar包 plus

之前的不给力

2016-03-31

朱小厮的留言板

发表于 2020-01-02 最后回复 2020-01-02

linux 程序如何解析shell中的#

发表于 2015-10-15 最后回复 2015-10-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除