大数据比你自己更懂你
马云曾经在一次公开演讲中表示，未来30年数据将取代石油，成为最强大能源。而在大数据改变世界之前，我们已经清楚地看到它对我们日常生活的改变。
“太神奇了，它怎么知道我要买这一款？”最近，马莉在网购时遇到了一件怪事。她想买一个品牌的旧款针织开衫，于是在淘宝搜索栏里输入了关键词，却没有找到。但是，三个小时后当她再次打开淘宝时却发现，那件心仪已久的开衫正安静地“躺”在“猜你喜欢”一栏里。她吃惊地和同事交流此事，对方指着刚刚收到的一条短信说：“我也赶巧了，家里孩子的奶粉过两天就吃完了，正准备买，就有促销活动！”
当我们的衣食住行、吃喝玩乐与各种APP牢牢绑在一起的时候，整个社会已进入到一个数据化生存时代。用户只要拿起手机，就无时无刻不在产生着数据。而另一头连接着的好像港剧中的“读心神探”，只不过这一次的判断依据，不是肢体语言，而是我们在互联网“冲浪”时留下的点滴痕迹。
它们用无限的推送，戳破现代人的心。随机播放的歌都是你喜欢的，给中年人推荐防脱发洗发水，知道你是连续11次独自看电影的单身狗……很多人生活中唯一的要求就是渴望被人理解，最终却发现最懂自己的是大数据。更重要的是，它记录下你的审美，你的情绪，你的失眠，帮你过滤掉它认为的无用信息。
“大数据的‘大’，就意味着它的价值密度低。如果不‘深挖’，这些数据就没有价值。”作为国家最知名的大数据公司之一，拓尔思新闻出版事业部总经理林松涛对记者说。海量数据本身是孤岛，让“沙漠”变“绿洲”，就需要人类的智慧。于是，ETL工程师这一新职业在时代的催生下诞生了。他们每天面对千万级和亿级的数据，找到数据与数据之间的规律或者异常，形成结论和知识，推动小到企业大到社会的发展，最后影响到我们每个人的日常生活。
在ETL工程师看来，数据并没有好坏之分，关键看你怎么用、用在哪。也没有绝对的客观，如果说摄影师的取景框是他们裁剪世界的一种“偏见”，那么ETL工程师给数据贴上不同的标签、采用不同的分析模式，出来的结果也不一样。但是这种价值的“提纯”，会让整个社会的生产效率得到极大提高。近日发布的《2019中国薪酬标准指南》中显示，由于越来越多的管理决策正转向数据驱动，数据分析能力已成为中国公司招聘时高度关注的技能。
有人将ETL工程师等同于“码农”，认为写写代码取数，便是数据分析工作的核心，其实是错误的。“数据提取只是一种手段，而不是目的。真正的工作在于‘分析’，这才是核心。”途牛旅游网的ETL工程师Mandy解释到。
美国沃尔玛超市有一个很经典的案例，把看上去毫不相关的啤酒和尿布摆放在一起，两者的销量大幅提升。“商品的关联是件很神奇的事，通过数据分析发现，男性顾客在购买婴儿尿片时，常常会顺便搭配几瓶啤酒来犒劳自己。”1990年出生的沈海旺，是苏宁集团自产的一位ETL工程师，前面提到的关于买奶粉的短信提醒，可能就是他的杰作。沈海旺做过一个婴幼儿奶粉“周期购”的数据分析，让苏宁易购上的奶粉销量上升了三成。
沈海旺发现，商城上卖出去的一件奶粉，有可能是一箱，也有可能是一听，每一种都分900克、1200克等不同规格。通过参照每个年龄段孩子摄入奶粉量的不同，可以大致推断出用户的购买周期，最终通过短信方式，在适当的时机提醒用户购买。说起来简单，但实际的购买行为多样而复杂，比如有的人是帮亲戚家孩子买的，有的人这次在A平台购买下次换到B平台，数据不连贯。沈海旺将这些无用的数据形象地称之为“脏数据”，他说初期会有大量的时间花费在“脏数据”的清洗上。
“数据本身，既不是答案也不是真相，只有不停拷问，它才会坦白一切。”今年3月，交汇点APP给“积分落户”的4133名新南京人进行了画像，原本复杂的调查过程，因为清晰的大数据的介入而变得简单。“外地人落户南京的时候，公安局都会出一个公示。我们找到这些公示，根据身份证号的前几位就可以判断他迁入南京前的户籍所在地。”
对P2P网贷平台的风险进行及时预警，ETL工程师也出了把力。他们设计了一个名叫“冒烟指数”的体系，汇总了互联网、公检法、工商税务一切公开信息进行数据分析后评分，“冒烟指数”一旦超过60分，相关部门就要列入重点监管；超过80分，则要启动打击处置程序。
调查中发现，目前市面上的ETL工程师的教育背景多元，学统计学、计算机、数学、金融学甚至情报学的都有，他们大多是大专及以上学历，90后男性为主。男生工具分析的能力强，而女生心细，自我要求高，两个性别在这个行业各有优势。对于这个职业来说男生更深，女生更广。
数字化转型浪潮席卷各行各业，大数据以极快的速度从概念走向现实，深度嵌入到经济社会的方方面面。“截至2018年，世界500强公司里，90%以上都有类似ETL工程师的岗位。”沈海旺所在的标签平台产品部是苏宁大数据中心下面的一个部门，2013年他从江苏科技大学毕业加入苏宁时，还没有这个部门。从孤身一个人做大数据，到如今发展成数十人的部门，也折射出大数据分析在中国的热度。而作为一家世界500强企业，苏宁目前拥有200-300的大数据人才，除了位于IT总部底下的大数据中心，各个业务部门也都分别有自己的ETL工程师。
事实上，2016年2月,北京大学、对外经济贸易大学、中南大学首次成功申请到“数据科学与大数据技术”本科新专业。也就是说，真正专业对口的第一批毕业生要到2020年才能走上ETL工程师的工作岗位。而现在从业的ETL工程师，都是从计算机、信息、金融、统计学等专业分流而来的。
“刚刚毕业的大学生，薪水就等同于我们企业中层，即使这样，想招到一个优秀的ETL工程师依然很难！”一家国际家电集团的江苏总部人力资源部负责人说。“他们不愁找工作，普通从业经验超过3年的人，都比较抢手，猎头跟着挖，一旦跳槽工资跟着翻倍。”
