ETL详解

   日期:2022-05-04     来源:1688加盟网     作者:莱牛教育     浏览:0    
莱牛教育加盟

莱牛教育

品牌名称:莱牛教育

所属行业:教育 > 成人教育

门店数量:100家

投资金额:20~50万

    ETL(Extraction-Transformation-Loading)数据抽取、转换和加载。
    ETL软件开发工程师简称ETL工程师,是从事系统编程、数据库编程与设计,要掌握各种常用的编程语言的专业技术人员。也叫数据库工程师。
    ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。
    ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库,数据仓库技术没有严格的数学理论基础,它更面向实际工程应用。所以从工程应用的角度来考虑,按着物理数据模型的要求加载数据并对数据进行一些系列处理,处理过程与经验直接相关,同时这部分的工作直接关系数据仓库中数据的质量,从而影响到联机分析处理和数据挖掘的结果的质量。
    数据仓库是一个独立的数据环境,需要通过抽取过程将数据从联机事务处理环境、外部数据源和脱机的数据存储介质导入到数据仓库中;
    在技术上,ETL主要涉及到关联、转换、增量、调度和监控等几个方面;数据仓库系统中数据不要求与联机事务处理系统中数据实时同步,所以ETL可以定时进行。但多个ETL的操作时间、顺序和成败对数据仓库中信息的有效性至关重要。
    ETL工程师岗位职责:
     1. 海量数据的ETL开发,抽取成各种数据需求。
     2. 参与数据仓库架构的设计及开发 。
     3. 参与数据仓库ETL流程优化及解决ETL相关技术问题。
     4、熟悉主流数据库技术,如oracle、db2、Sql server等。
     5、精通ETL架构,有一定的etl开发经验,了解日常作业的部署和调度。
     6、熟悉ETL开发工具,如Datastage,Congos,Kettle等。
    ETL工程师发展方向:
    ETL工程师,涉及到的领域广泛,就业范围广泛,例如各种大型公司的开发部,研发部,科技部等等,其中BI工程师作为ETL工程师分支中的佼佼者。BI工程师包含了数据仓库工程师的工作,数据仓库工程师在建立数据仓库的工作时又得干ETL的工作;
    换句话说:BI是整个商业智能的大概念,而商业智能的支撑正是数据仓库,数据仓库的建立靠的是ETL。
    ETL工程师就业去向:
    1.数据库工程师:作为任何软件项目开发不可或缺的人才,现实生活中我们所有能看到的计算机界面,都需要后台数据的处理存储,这就是数据库工程师的工作,比如:银行、网购平台、游戏、医疗、保险、养老、酒店、学校、政府等等的机构,他们的后台数据需要有存储的数据库,这些就用到了数据库工程师。
    数据库工程师的工作是新时代的铁饭碗,为什么这么说?只要银行还想有人去存贷款,网购平台还想继续网络交易,医疗机构还需要刷卡,保险行业还需要记录客户信息,养老保险还需要缴纳记录,集聚点还需要客人提供自己的身份信息,学校还需要学生的信息存档,政府机构还需要各种文件的保密等等,都需要有数据库工程师,给他们处理后台的信息更新加载和存储及保密等一系列处理。
    2.银行:银行的职位每年都会是一些名牌大学的热点,曾有多少名牌大学的学生为了区区一个银行柜台的职位各种竞争,最后却不得进入,BI工程师是银行必争的人才。
    3.咨询顾问:一些开发经验比较丰富的ETL工程师,不再从事开发工作,对公司的产品比较了解,作为公司对外的窗口般存在,一般三年左右的开发经验可以作为公司的中级咨询顾问,五年左右的可以做到高级咨询顾问。
    4.项目管理:每个公司开发部的基层领导,ETL工程师晋升项目管理一般用时三到四年,项目管理对于技术的要求不高,仅仅需要对项目的整体流程有较为清晰的认识,能够协调乙方公司与甲方公司的关系,并处理好项目组的日常工作及生活;至于部门主管,部门经理甚至更高的管理层,都是从基层一步步走上去的。
    5.资深专家:一般从事ETL开发10年左右可以晋升专家级别,专家拥有资深的项目经验,脱离实际的开发,更多的是对公司各项目组的疑难杂症给予指导及解决方案。
    6.机构讲师:拥有ETL工程师两到三年的开发经验,可以进培训机构从助教做起,或者一些大学的讲师,或者企业的培训讲师,五年以上的开发经验为中高级讲师,供不应求。
    月薪过万的BI工程师每天都在干什么呢? 
    在一线大城市,很多BI工程师的月薪都在万元以上,就是很普通的刚入门的那些小菜鸟们工资都在7000左右。你想不想知道,这些高工资的IT业精英们,每天都在忙些什么呢?
其实,BI工程师只是对于商业智能的一个统称,它包含好很多方面,大体有以下四类:
    1)ETL数据整合   2)数据存储管理   3)数据挖掘设计   4)多维分析展现
    单就ETL数据整合就分为:Oracle OWB;Oracle ODI;IBM Datastage;Informatica
    知识点很多,在今后的工作中大家需要不断地学习,在项目中不断进步,现在大家还没有入门,举个简单的例子让大家先了解一下日后的工作:
    其实,简单的来说,那些商业中的数据,就好比我们收苹果。
    数据整合,就是摘苹果,我们把果树上的苹果全部采摘下来。
    数据存储管理,就是我们要把这些苹果放到仓库里。
    数据挖掘设计,就像我们把苹果进行归类,好的大的归在一起,不好看的小的归在一起。
    最后的多维分析展现,就像我们把这些苹果整理好了,卖给不同的人群,高需求的人群吃什么样的苹果,普通百姓吃什么样的苹果一样。当然,他们的工作要比收苹果复杂的多,他们面对的都是那些看不见的数据,用代码给他们进行归类。
    其实,BI工程师是一个入门相对高的行业,计算机相关行业的大学本科毕业生,也都需要经过20天左右的基础培训,才能够入门,如果是非计算机相关行业的大学生,需要经过30天左右的基础培训才可以入门,但是,这个行业的商业需求是很大的,而且是未来的发展方向。重点是在于你自己够不够努力,认真学习技术和相关行业的知识,这才是最重要的,也是那些真正月薪数万的原因所在。
分享
 
项目其他资讯
友情提示:关于ETL详解小编就给大家说这么多了,大家要是想加盟的话,可以到文章底部留言,我们客服会及时联系你!另外,小编提醒大家根据自己的创业规划和经济实力来选择适合自己的加盟品牌。如果大家想要了解其他的教育品牌,可以打开教育了解更多的教育加盟品牌项目!
快速留言,获得商家回复,第一时间获取项目加盟准确情况
推荐品牌资讯 更多
热门行业更多