有同学问到,在java程序员招聘时,常被问到什么k8s,hadoop,zookeeper,elisticsearch,kafka等等名词,什么乱七八糟的,根本不知道是些什么东西,这些到底是什么啊?今天丁老师来给你解答。
其实这些都是java的中间件,主要用于分布式计算、大数据等,并且即使在对应的领域(如分布式计算,也有不同的用途),具体如下:
K8s
k8s是Kubernetes的简称,其实就是一个容器管理工具,所谓的容器,就是不同的应用环境,k8s提供这些容器单独管理,互相可以通信,但谁也不妨碍谁,遇到故障也可以快速更新或替换容器。
一般大项目才用,中小项目用不到也不需要用。
Hadoop
hadoop主要用来处理大数据的,支持GB到PB,可以对大数据高校快速的处理,一般中小项目用不到。
Spark
spark和hadoop一样,也是主要用来处理大数据的,只不过中间结果存储在内存中,减少对磁盘的读写,处理速度比hadoop要快。但是过于依赖内存,处理小文件时,性能不如hadoop。大型项目才用的到。
Zookeeper
zookeeper是一个分布式协调管理员,帮助一群服务器一起高效有序的工作,主要是协调顺序、共享信息,用于分布式架构中,解决数据一致性和协调服务的问题。是Hadoop和Hbase的重要组件,一般中小项目用不到。
Elisticsearch
elisticsearch是大数据搜索引擎,可以用来对大数据进行搜索查询。实时查询、分布式、可扩展,并且支持文本、日期、数值等查询,还支持全文搜索、分词、排序、聚合等功能。一般中小项目用不到。
Kafka
kafka也是处理大数据的,只不过是处理实时数据流,支持高吞吐量的数据读写,和hadoop不是一种类型的系统,不过经常一起使用,以处理不同的数据。比如用kafka接受实时数据流,然后存储起来让hadoop进行处理。一般中小项目用不到。
Redis
redis是本地存储程序,常用作本地缓存、消息代理和实时分析,支持各种数据结构,是各种高吞吐高并发访问的必备缓存中间件,可以明显减少对数据库的查询和依赖,提升web性能,广泛应用于各种系统中。大中小项目必备。
用MCP+知识库+工作流+OpenClaw实现自动化办公,是以OpenClaw为核心,对接AI大模型完成日常办公自动化,可以实现企业级智能化办公,可将复杂任务自动化、降低开发成本的AI解决方案。本文将从技术原理、组件介绍、协同方式、应用...
开发抖音小程序所需资料及费用概览随着短视频平台抖音(TikTok)在全球范围内的迅速崛起,越来越多的企业和个人开始意识到在抖音平台上开发小程序的重要性。抖音小程序不仅可以增强品牌曝光率,还能为用户提供更加便捷的服务体验。那么问题来了,开...
最近丁老师团队在开发软件项目时,使用的是Cursor IDE来进行AI辅助开发,前几天一直都用的好好的,今天却突然提示“the model default does not work with your current plan or ...
在使用docker命令的时候,提示Error response from daemon: Get "https://registry-1.docker.io/v2/":原因该url国内网络无法访问,这个时候就需要切换...
普通账号个人认证号企业认证号蓝色认证标识薯条推广聚光平台效果广告普通应商业合作以KOL/KOC身份和品牌合作以品牌方身份发起起合作开设店铺个人店铺或个体户(不支持港澳台公司申请)旗舰店店或专卖店(支持港澳台公司申请)主动私信每天10位陌生用...
二维码码有三个参数: 数据类型、大小(“像素 ”数)和纠错级别。能存储多少信息也取决于这些参数。例如,纠错级别越低,可存储的信息越多,但代码越难被读者识别。最大尺寸和最小纠错值如下:最大字符数 7089个字符(纯数字)字母数字 4296个字...
挺不错的浏览器,强加入了edge image viewer图片浏览器,感觉不是那么好,对于开发者来说,更想要原生的东西。包括微信网页版里的表情图片,用edge image viewer打开的话,无法保存为gif格式,即使保存了,也只是第一帧...
国外很多VPS购买后,只有密码,没有登录账号,如何登录呢?我们以one.com为例,购买了VPS后,只能设置密码,但是用root,也无法登录,是怎么回事呢?查了官方文档,原来修改的VPS密码,不是root的,这个VPS默认的账号是admin...