
至于说ETL工程师做什么,从传统的ETL到大数据背景下的ETL,作为技术人员,确实需要不断提升自己的技术实力。传统时期的ETL工程师,主要负责数据采集环节,且数据流动往往是单向性的,而在大数据时代,ETL工程师面临的应用场景更多,ETL需要采取和处理的对象也在升级,需要解决的问题也更多。
从业务角度讲,随着数据应用的日益丰富,不同平台、系统的相互大批量数据交互成常态,仅仅满足于采集数据已经不适应业务需要,还需要能够为数据的目的端落地提供支撑,ETL工程师需要一个端到端的更适应业务需要的数据交换系统。
从技术角度讲,ETL做一定的扩展可以升级为兼具交换能力,两者有传承,可以实现平滑过渡,但交换却要考虑用另一个工具实现,同时未来大数据平台组件将异常丰富,相互之间的数据交换将是常态,必要要有更高级别的交换工具满足这些需求。
实际上2020年大数据人才将再度紧缺,我们来看看去年大数据人才需求情况。

疫情使得世界就业市场受到严重干扰
2020年的开年,一场新冠病毒席卷全球,一直持续到今天,给全世界人民带来了巨大的危害。一些产业的供应链受到重大影响,进出口受到不同程度冲击,世界各国经济也不同程度地出现下滑。许多行业的就业也受到挑战,包括曾经红极一时的互联网、泛金融行业等。

2020年3月,中共中央政治局常务委员会召开会议提出,加快新型基础设施建设进度。“新基建”是指以5G、大数据、人工智能、工业互联网、物联网为代表的新型基础设施,本质上是信息数字化的基础设施。
有报告称,2020年,中国大数据产业将破万亿,各个中心城市都在抢先布局。目前,大数据的行业已经大面积覆盖,纵观未来三十年都属于紧俏行业,而目前我国大数据对应专业只有“数据科学与大数据技术”专业,它是2019年教育部公布新增的。数据科学与大数据技术是个交叉性很强的专业,很难说完全归属于哪个独立的学科,我们有理由相信今后一定时期内,大数据的就业前景会非常乐观。
大数据成为热门头衔
大数据一些热门的头衔有:大数据开发工程师、大数据挖掘工程师、大数据算法工程师、大数据分析师、Hadoop工程师、ETL工程师、Spark/Flink工程师等等。谁在用大数据,百度海量信息的闪电搜索、新浪微博回复消息的实时显示、淘宝双11的亿级流量、蚂蚁花呗的额度计算、王者亿万玩家的数据信息、互联网金融风控等等。大数据正悄然地用自己改变着世界,而真正改变世界的需要大量的大数据方向从业者。
而大数据ETL就业方向:
1、负责数据接入、数据清洗、底层重构,业务主题建模等工作;大数据整体的计算平台开发与应用。
2、在拥有行业数据的电商、金融、电信、咨询等行业里做业务咨询,商务智能,出分析报告。
3、在多媒体、电商、搜索、社交等大数据相关行业里做机器学习算法实现和分析。
4、在高校、科研单位、企业研究院等高大上科研机构研究新算法效率改进及未来应用。
在ETL工程师的未来职业发展上,除了要掌握足够的数据库开发技术,相关的大数据技术也要掌握,这样才能更好地解决大数据时代的ETL数据采集与处理。欢迎对大数据技术感兴趣的朋友相互关注学习!