ETL软件开发工程师简称ETL工程师,是从事系统编程、数据库编程与设计,要掌握各种常用的编程语言的专业技术人员。也叫数据库工程师。
ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。
ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库,数据仓库技术没有严格的数学理论基础,它更面向实际工程应用。所以从工程应用的角度来考虑,按着物理数据模型的要求加载数据并对数据进行一些系列处理,处理过程与经验直接相关,同时这部分的工作直接关系数据仓库中数据的质量,从而影响到联机分析处理和数据挖掘的结果的质量。
数据仓库是一个独立的数据环境,需要通过抽取过程将数据从联机事务处理环境、外部数据源和脱机的数据存储介质导入到数据仓库中;
在技术上,ETL主要涉及到关联、转换、增量、调度和监控等几个方面;数据仓库系统中数据不要求与联机事务处理系统中数据实时同步,所以ETL可以定时进行。但多个ETL的操作时间、顺序和成败对数据仓库中信息的有效性至关重要。
ETL工程师岗位职责:
1. 海量数据的ETL开发,抽取成各种数据需求。
2. 参与数据仓库架构的设计及开发 。
3. 参与数据仓库ETL流程优化及解决ETL相关技术问题。
4、熟悉主流数据库技术,如oracle、db2、Sql server等。
5、精通ETL架构,有一定的etl开发经验,了解日常作业的部署和调度。
6、熟悉ETL开发工具,如Datastage,Congos,Kettle等。
ETL工程师发展方向:
ETL工程师,涉及到的领域广泛,就业范围广泛,例如各种大型公司的开发部,研发部,科技部等等,其中BI工程师作为ETL工程师分支中的佼佼者。BI工程师包含了数据仓库工程师的工作,数据仓库工程师在建立数据仓库的工作时又得干ETL的工作;
换句话说:BI是整个商业智能的大概念,而商业智能的支撑正是数据仓库,数据仓库的建立靠的是ETL。
ETL工程师就业去向:
1.数据库工程师:作为任何软件项目开发不可或缺的人才,现实生活中我们所有能看到的计算机界面,都需要后台数据的处理存储,这就是数据库工程师的工作,比如:银行、网购平台、游戏、医疗、保险、养老、酒店、学校、政府等等的机构,他们的后台数据需要有存储的数据库,这些就用到了数据库工程师。
数据库工程师的工作是新时代的铁饭碗,为什么这么说?只要银行还想有人去存贷款,网购平台还想继续网络交易,医疗机构还需要刷卡,保险行业还需要记录客户信息,养老保险还需要缴纳记录,集聚点还需要客人提供自己的身份信息,学校还需要学生的信息存档,政府机构还需要各种文件的保密等等,都需要有数据库工程师,给他们处理后台的信息更新加载和存储及保密等一系列处理。
2.银行:银行的职位每年都会是一些名牌大学的热点,曾有多少名牌大学的学生为了区区一个银行柜台的职位各种竞争,最后却不得进入,BI工程师是银行必争的人才。
3.咨询顾问:一些开发经验比较丰富的ETL工程师,不再从事开发工作,对公司的产品比较了解,作为公司对外的窗口般存在,一般三年左右的开发经验可以作为公司的中级咨询顾问,五年左右的可以做到高级咨询顾问。
4.项目管理:每个公司开发部的基层领导,ETL工程师晋升项目管理一般用时三到四年,项目管理对于技术的要求不高,仅仅需要对项目的整体流程有较为清晰的认识,能够协调乙方公司与甲方公司的关系,并处理好项目组的日常工作及生活;至于部门主管,部门经理甚至更高的管理层,都是从基层一步步走上去的。
5.资深专家:一般从事ETL开发10年左右可以晋升专家级别,专家拥有资深的项目经验,脱离实际的开发,更多的是对公司各项目组的疑难杂症给予指导及解决方案。
6.机构讲师:拥有ETL工程师两到三年的开发经验,可以进培训机构从助教做起,或者一些大学的讲师,或者企业的培训讲师,五年以上的开发经验为中高级讲师,供不应求。
月薪过万的BI工程师每天都在干什么呢?
在一线大城市,很多BI工程师的月薪都在万元以上,就是很普通的刚入门的那些小菜鸟们工资都在7000左右。你想不想知道,这些高工资的IT业精英们,每天都在忙些什么呢?
其实,BI工程师只是对于商业智能的一个统称,它包含好很多方面,大体有以下四类:
1)ETL数据整合 2)数据存储管理 3)数据挖掘设计 4)多维分析展现
单就ETL数据整合就分为:Oracle OWB;Oracle ODI;IBM Datastage;Informatica
知识点很多,在今后的工作中大家需要不断地学习,在项目中不断进步,现在大家还没有入门,举个简单的例子让大家先了解一下日后的工作:
其实,简单的来说,那些商业中的数据,就好比我们收苹果。
数据整合,就是摘苹果,我们把果树上的苹果全部采摘下来。
数据存储管理,就是我们要把这些苹果放到仓库里。
数据挖掘设计,就像我们把苹果进行归类,好的大的归在一起,不好看的小的归在一起。
最后的多维分析展现,就像我们把这些苹果整理好了,卖给不同的人群,高需求的人群吃什么样的苹果,普通百姓吃什么样的苹果一样。当然,他们的工作要比收苹果复杂的多,他们面对的都是那些看不见的数据,用代码给他们进行归类。
其实,BI工程师是一个入门相对高的行业,计算机相关行业的大学本科毕业生,也都需要经过20天左右的基础培训,才能够入门,如果是非计算机相关行业的大学生,需要经过30天左右的基础培训才可以入门,但是,这个行业的商业需求是很大的,而且是未来的发展方向。重点是在于你自己够不够努力,认真学习技术和相关行业的知识,这才是最重要的,也是那些真正月薪数万的原因所在。