大大数据工程师每天工作内容包括:数据采集、数据清洗、数据存储、数据分析统计、数据可视化。除此之外,大数据工程师还负责大数据平台的搭建与维护。
1、数据采集:用Flume监控接收这些分散的日志,实现分散日志的聚合,采集。
2、数据清洗:为了保证数据下游的"数据分析统计"能拿到比较高质量的数据,需要对这些记录进行过滤或者字段数据回填。
3、数据存储:清洗后的数据可以落地入到数据仓库(Hive),供下游做离线分析。
4、数据分析统计:数据分析是数据流的下游,消费来自上游的数据。
5、数据可视化:用数据表格、数据图等直观的形式展示上游"数据分析统计"的数据。
以上是小编的分享,希望能帮到大家。