当前位置:科普知识站>IT科技>

大数据工程师每天工作内容是什么

IT科技 阅读(2.98W)

大大数据工程师每天工作内容包括:数据采集、数据清洗、数据存储、数据分析统计、数据可视化。除此之外,大数据工程师还负责大数据平台的搭建与维护。

1、数据采集:用Flume监控接收这些分散的日志,实现分散日志的聚合,采集。

2、数据清洗:为了保证数据下游的"数据分析统计"能拿到比较高质量的数据,需要对这些记录进行过滤或者字段数据回填。

3、数据存储:清洗后的数据可以落地入到数据仓库(Hive),供下游做离线分析。

4、数据分析统计:数据分析是数据流的下游,消费来自上游的数据。

5、数据可视化:用数据表格、数据图等直观的形式展示上游"数据分析统计"的数据。

大数据工程师每天工作内容是什么

以上是小编的分享,希望能帮到大家。