首页 > 原创文章 > 技术应用 > 查看文章

K8s,Hadoop,Spark,Zookeeper,Elisticsearch,Kafka,Redis等等都是些什么?

所属分类:技术应用 来源: 丁老师原创 更新时间:2025-02-16 15:20 浏览: 8380 IP属地: 重庆

有同学问到,在java程序员招聘时,常被问到什么k8s,hadoop,zookeeper,elisticsearch,kafka等等名词,什么乱七八糟的,根本不知道是些什么东西,这些到底是什么啊?今天丁老师来给你解答。

其实这些都是java的中间件,主要用于分布式计算、大数据等,并且即使在对应的领域(如分布式计算,也有不同的用途),具体如下:


K8s
k8s是Kubernetes的简称,其实就是一个容器管理工具,所谓的容器,就是不同的应用环境,k8s提供这些容器单独管理,互相可以通信,但谁也不妨碍谁,遇到故障也可以快速更新或替换容器。
一般大项目才用,中小项目用不到也不需要用。


Hadoop
hadoop主要用来处理大数据的,支持GB到PB,可以对大数据高校快速的处理,一般中小项目用不到。


Spark
spark和hadoop一样,也是主要用来处理大数据的,只不过中间结果存储在内存中,减少对磁盘的读写,处理速度比hadoop要快。但是过于依赖内存,处理小文件时,性能不如hadoop。大型项目才用的到。


Zookeeper
zookeeper是一个分布式协调管理员,帮助一群服务器一起高效有序的工作,主要是协调顺序、共享信息,用于分布式架构中,解决数据一致性和协调服务的问题。是Hadoop和Hbase的重要组件,一般中小项目用不到。


Elisticsearch
elisticsearch是大数据搜索引擎,可以用来对大数据进行搜索查询。实时查询、分布式、可扩展,并且支持文本、日期、数值等查询,还支持全文搜索、分词、排序、聚合等功能。一般中小项目用不到。


Kafka
kafka也是处理大数据的,只不过是处理实时数据流,支持高吞吐量的数据读写,和hadoop不是一种类型的系统,不过经常一起使用,以处理不同的数据。比如用kafka接受实时数据流,然后存储起来让hadoop进行处理。一般中小项目用不到。


Redis
redis是本地存储程序,常用作本地缓存、消息代理和实时分析,支持各种数据结构,是各种高吞吐高并发访问的必备缓存中间件,可以明显减少对数据库的查询和依赖,提升web性能,广泛应用于各种系统中。大中小项目必备。

标签:

相关文章

在Parrot OS中运行Zenmap失败的...

Zenmap是专为Nmap安全扫描器而设计的免费开源的软件,支持跨平台,拥有图形用户界面(GUI)。在Parrot OS中,安装Zenmap成功,但运行Zenmap时却提示File "/usr/bin/zenmap"...

解决Xcode 15在Mac Os Seq...

在开发苹果IOS APP时,遇到了个问题。最近把我的mac os更新到了Sequoia版本,然后xcode15居然不能用了(囧),查了很多资料,发现原来是Sequoia不支持xcode15,这可怎么办呢,没必要因为这个重装系统啊,在经过...

Google LiteRT.js是什么?能实...

Google于2026年7月9日发布了LiteRT.js库,是一个用于在JavaScript环境中运行AI模型的工具库,今天丁老师就Google LiteRT.js进行介绍。一、Google LiteRT.js介绍LiteRT.js,读...

网页Iframe读取PDF文件的参数设置

在网页中读取和显示PDF文件,可以使用Iframe加载,只需要在iframe的src中设置pdf地址即可,如:<iframe src="pdf地址" </iframe 通过iframe加载pdf,不但可以...

推荐文章

Bagisto-基于Laravel框架的免费...

软件介绍Basgito是基于Laravel框架的免费电子商务平台,可以快速搭建自己企业专属的电子商务交易平台,适用于中小型外贸企业。该电商平台拥有无头laravel商务(headless laravel commerce)的强大功能,可以快...

Wordpress如何开启错误调试,查看错误...

在使用wordpress的过程中,有的时候部分页面打不开,或是程序不能正常使用,也没有显示具体的错误信息,这个时候该怎么办呢?首先是查看错误日志,可以查看wordpress本身的错误日志,以及php的错误日志。这时有朋友提问了,wordpr...

fontawesome所有图标class类名...

fontawesome所有图标class类名单,适用于4.7.0版本。总计有593个图标class类(包含别名):fa-500pxfa-address-bookfa-address-book-ofa-address-cardfa-addre...

微信小程序如何接入微信AI生态?附接入方法

2026年6月8日,微信团队发布了《关于开发者接入微信AI生态的指引》文章,旨在面向开发者提供接入微信AI生态的能力,对于开发者和企业而言,把自己的微信小程序接入微信AI生态,将有机会被微信AI推荐和调用,在传统小程序运营的基础上,等于是又...