首页 > 原创文章 > 技术应用 > 查看文章

K8s,Hadoop,Spark,Zookeeper,Elisticsearch,Kafka,Redis等等都是些什么?

所属分类:技术应用 来源: 丁老师原创 更新时间:2025-02-16 15:20 浏览: 9900 IP属地: 重庆

有同学问到,在java程序员招聘时,常被问到什么k8s,hadoop,zookeeper,elisticsearch,kafka等等名词,什么乱七八糟的,根本不知道是些什么东西,这些到底是什么啊?今天丁老师来给你解答。

其实这些都是java的中间件,主要用于分布式计算、大数据等,并且即使在对应的领域(如分布式计算,也有不同的用途),具体如下:


K8s
k8s是Kubernetes的简称,其实就是一个容器管理工具,所谓的容器,就是不同的应用环境,k8s提供这些容器单独管理,互相可以通信,但谁也不妨碍谁,遇到故障也可以快速更新或替换容器。
一般大项目才用,中小项目用不到也不需要用。


Hadoop
hadoop主要用来处理大数据的,支持GB到PB,可以对大数据高校快速的处理,一般中小项目用不到。


Spark
spark和hadoop一样,也是主要用来处理大数据的,只不过中间结果存储在内存中,减少对磁盘的读写,处理速度比hadoop要快。但是过于依赖内存,处理小文件时,性能不如hadoop。大型项目才用的到。


Zookeeper
zookeeper是一个分布式协调管理员,帮助一群服务器一起高效有序的工作,主要是协调顺序、共享信息,用于分布式架构中,解决数据一致性和协调服务的问题。是Hadoop和Hbase的重要组件,一般中小项目用不到。


Elisticsearch
elisticsearch是大数据搜索引擎,可以用来对大数据进行搜索查询。实时查询、分布式、可扩展,并且支持文本、日期、数值等查询,还支持全文搜索、分词、排序、聚合等功能。一般中小项目用不到。


Kafka
kafka也是处理大数据的,只不过是处理实时数据流,支持高吞吐量的数据读写,和hadoop不是一种类型的系统,不过经常一起使用,以处理不同的数据。比如用kafka接受实时数据流,然后存储起来让hadoop进行处理。一般中小项目用不到。


Redis
redis是本地存储程序,常用作本地缓存、消息代理和实时分析,支持各种数据结构,是各种高吞吐高并发访问的必备缓存中间件,可以明显减少对数据库的查询和依赖,提升web性能,广泛应用于各种系统中。大中小项目必备。

标签:

相关文章

小程序原型图设计规范与注意事项

在开发微信小程序之前,一般都要先做原型图设计,顾名思义,就是把这个微信小程序前期的效果图做出来,发给客户进行确认,确认内容包含界面排名、功能和内容布局、大致样式等。做原型图是设计师和前端的工作,但是很多刚入行的新人以及没有做过原型图的同...

丁老师关于使用AI GEO的心得分享

不要强行灌输AI内容,而是要让AI共情。不要批量导入内容,而是循序渐进式引导AI。合理、合法、合规、合乎逻辑。核心词需紧扣品牌优势和用户痛点。结论先行,在文章开头1-2句就直接给出核心答案,后续内容围绕结论进行阐述和说明。多用表格、分段...

Uniapp微信小程序后退传参数的方法

有同学在群里咨询,使用Uniapp开发微信小程序和APP应用,想实现后退时给上个页面传递参数,有没有办法呢?当然是有的,可以通过Uniapp的自定义全局事件来实现,今天丁老师教给你。一、当前页在后退的方法中,添加uni.$emit方式来...

宝塔网站安全增强 - 禁止访问读取指定文件

在上一篇文章中,我们介绍了如何在宝塔的网站中设置禁止在指定目录中读取运行php文件(见:《宝塔网站安全增强 - 禁止在指定目录执行PHP等脚本文件》),在本篇中,我们将会介绍如何在包头的网站中设置,禁止蜘蛛、爬虫、黑客扫描探针等恶意程序...

推荐文章

Wordpress如何开启错误调试,查看错误...

在使用wordpress的过程中,有的时候部分页面打不开,或是程序不能正常使用,也没有显示具体的错误信息,这个时候该怎么办呢?首先是查看错误日志,可以查看wordpress本身的错误日志,以及php的错误日志。这时有朋友提问了,wordpr...

APP和小程序如何集成AI实现机器人客服?

有同学咨询丁老师,他们公司的小程序和APP,是属于C端的客户服务类APP,提供会员注册、下单、发货、订单查询、业务办理进度查看等模块。其中有一个功能是在线咨询,之前是对接的人工在线客服坐席咨询,在用户量大的时候,峰值可能同时需要5-8个客服...

小红书个人账号/认证账号/企业号区别一览

普通账号个人认证号企业认证号蓝色认证标识薯条推广聚光平台效果广告普通应商业合作以KOL/KOC身份和品牌合作以品牌方身份发起起合作开设店铺个人店铺或个体户(不支持港澳台公司申请)旗舰店店或专卖店(支持港澳台公司申请)主动私信每天10位陌生用...

国产信创项目操作系统要求用什么?web中间件...

从事技术开发的同学都知道,不管是做网站也好,开发各种业务系统也好,目前大多数企业部署的web环境是-操作系统:Linux,数据库:Mysql/MariaDB/PostgreSQL/MongoDB,Web容器:Nginx/Tomcat/Apa...