用户需求 :
政府部门数据来源自不同场景，数据量大且杂，由于缺少开发能力等原因，往往数据的处理方式并不科学且不严谨。
同时原来的数据库由于技术更新，目前看来低效且使用不便，不能很有效的监控路况，数据也不能及时到达控制台。
需要一个强有力的大数据计算平台将数据整合清理后展示出来，方便工作人员查看并维护。
功能模块 ：
- 数据接入：接入各种来源包括但不限于：http，mysql，ftp，oracle等数据库数据到平台中。
- 平台建设：搭建大数据平台，承载千亿级别数据的计算、存储、查询
- 数据清洗统计：清洗归整接入的各种数据源，并按照场景统计相关指标，录入大数据仓库
- 平台展示 : 搭建可视化展示平台,展示各种主题分析指标
技术栈和工具
HBase, Hadoop, Spark, Java, Python, Hive, MySQL, Azkaban
完成效果
- 实时展示主题分析结果，计算速度提升数倍
- 由中心化数据库转化为大数据仓库，安全可靠性大大提高
- 展示效果直接简洁，协助客户了解实时路况
