基于分布式计算与存储的交通大数据分析系统应用方案
一、建设背景
随着经济发展、城市规模不断扩大，城市的机动车保有量及道路交通流量急剧增加。城市交通供给与交通需求之间的矛盾日益突出，交通发展面临严峻形势和新的挑战。交通拥堵、停车困难、等交通问题不断加剧，影响了城市的可持续发展及人民生活水平的提高，阻碍了经济的发展。
目前，各交通管理部门不仅具备了交通基础信息，还拥有了各类动态数据，如车辆实时营运信息、道路交通状况等，采集的数据类型包括属性数据、空间数据、影像数据等。对交通三要素（人流、车辆、道路）连续不断采集的多源交通数据流产生了巨量的交通数据。
如何高效地从海量数据中分析、挖掘所需的信息和规律，为交通引导、交通控制、紧急事件管理等提供决策支持，为运营者和个体出行者提供信息参考，成为当务之急。显然，传统常规的数据分析系统已经难以招架海量交通信息数据的分析需求。而基于分布式计算与存储的交通大数据分析系统，在数据分析方面，有着传统常规的数据分析系统无可比拟的性能和功能优势，可以以分、时、日、月甚至年为时间粒度，实现对城市道路交通的整体运营水平和人们出行规律的深度挖掘，解决上述数据分析需求。
二、 平台架构
本系统采用分布式并行处理架构，融合多种数据存储和分析处理组件，支持海量信息的收集、存储、分配、管理和分析，支持对结构化和非结构化数据的差异性存储和处理能力，可以满足用户对高计算性能、大容量、数据多样化处理的需求。系统平台架构，如图1所示。
图1 系统平台架构图
三、 功能模块
基于分布式计算与存储的交通大数据分析系统，由数据采集模块、数据存储模块、数据分析模块、数据展示模块、数据管控模块、数据安全模块等六个功能模块构成。系统功能模块架构，如图2所示。
图2 系统功能模块架构图
四、 产品优势
开箱即用，运维简单：工厂预装，集中交付，开箱即用，易于部署，只需插电、连接网络、启动等简单几步即可开始使用，组件化交付，一体化运维。一站完成对大数据软件、计算、网络和存储单元的运维管理，无需频繁切换控制台。
支持海量数据分析：支持PB级的数据处理、存储和访问。
完善的图形化界面：大数据一体机系统具备直观、统一的图形化界面，通过集中式监控管理工具，简化了日常运维管理的难度。
基于开源的生态圈组件进行开发：支持Hadoop和Spark生态圈产品，集成了Yarn、Hbase、Hive、Zookeeper等多个组件，适配流式计算、离线处理、交互式分析、迭代预测、图计算等多种计算场景。
真正的SQL on Hadoop的解决方案：大数据一体机系统支持传统SQL直接操作大数据，功能和性能远远超过Hive等类SQL工具。它实现真正无共享的大规模并行处理架构，提高了结构化数据的分析能力。
强大的机器学习函数库：提供基于Mahout和MADLib的高级机器学习和数据挖掘功能；无需数据导入，即可直接访问HDFS、Hive、HBase数据。实现应用开发者不需要太多关心技术细节，而把主要精力用在顶层设计和应用的功能实现上。引入了GraphLab和OpenMPI，能在大数据一体机内完成机器学习的计算。
完美应对复杂的数据结构需求：可满足非结构化、半结构化和结构化数据的数据类型，能够实现数据的采集、存储、离线分析、实时分析、交叉分析、比对碰撞、内容检索、特征提取等应用需求。
故障恢复：故障切换和恢复，对用户透明。
自动备份和同步：能自动实现冲突检测和冲突解决，支持多个数据备份和数据自动同步。
五、商用案例
某市交通运输管理委员会（以下称交委）的交通局交通运输行业GPS监管平台中心公共监控管理平台系统（简称监管平台）可以实现对该市的出租车运营进行监管。该平台中仅出租车每天产出的GPS轨迹数据就达3G左右。其原有的数据系统无法满足对如此海量数据的分析挖掘需求，大量的数据只能被压缩存储，甚至丢弃。
为了应对交通管理业务中产生的海量信息数据，同时让这些静态的交通信息数据产生更大的社会经济效益，交委建设了基于分布式计算与存储的交通大数据分析系统，对该市交通行业数据进行深层次分析和挖掘利用。
该系统建设完成后大大提高了其大数据量分析报表的统计、查询能力。同时通过将多维数据融合，提高数据分析和预测的准确性，为交通管理决策人员提供了客观的数据参考。
1、系统架构
图3 系统架构图
图4 系统网络拓扑图
出租车轨迹分析系统
通过出租车轨迹分析系统，用户可根据区域、日期、时段等过滤条件，获取相对应的出租车轨迹大数据分析结果。
其中，散点分布图（见图5）可以直观体现一定区域，某时期的出租车上客点纪录，点越密集，说明此处对出租车的需求量越高，此可为营运和交通管制部门提供车辆调度和候车点规划提供决策参考。
空重车比例（见图5）则从总体上反映了相同过滤条件下，出租车的使用率。相关决策人员可根据出租车的使用率，增加或减少该区域和时段的营运出租车数量。若能依此恰到好处地调配营运车辆数量，则可以在满足人们出行需求的同时，最大限度地降低出租车的空载率，既能在一定程度上减少道路交通压力，又能辅助出租车公司降低营运成本，从而实现社会效益最大化。
图5 出租车轨迹数据分析平台UI界面1
上客热点分布图（见图6）是出租车上客点分布热度的体现，可以直观地从总体上反映相应时间内，人们对出租车出行需求的区域分布状况。热度图的颜色越趋近于红色，说明该区域对出租车的需求越高。
重点监控区域图表（见图6）可以直观体现这些区域对出租车的需求量和各区域之间的需求量差异。
上客走势分布图（见图7）可以按时段、按天、按周展示一定区域和时间内的上客走势变化。这可为出租车营运和交通规划管制提供客观的决策参考。
图7 出租车轨迹数据分析平台UI界面3
出租车营运分析系统由“详情分析”、“按时段分析”和“总体分析”三个模块构成。用户可通过设定一定的过滤条件获取相应的分析结果。
详情分析模块（见图8）
用户可通过设定时间、查询类型（企业/车辆）、单笔营业金额范围等条件获取相应的出租车营运分析结果。
其中，通过总营业额、总交易量、总里程可以总体把握出租车的营运效益；通过交易详情记录表可以获取详细的交易记录；通过对详细交易记录进行按字段排序分析或通过单笔营业金额分布图可以从整体上把握人们的出行概况等信息。例如，单笔营运金额低的和营运里程短的交易比例高，说明人们乘坐出租车大多用于都距离出行和营运里程；单笔营运时长长，但是营运里程短，则说明可能交通不顺畅等。
按时段分析模块（见图9）
用户可通过设定时间、企业名称、车辆类型、统计类型（按企业/按车辆）等条件获取相应的出租车营运分析结果。
其中，通过总营业额、总交易量、总里程可以总体把握出租车的营运效益；通过表格可以获取出租车营运公司或者出租车的一定时期内的总体和平均营运状况；通过营业额和营业数走势图可以获取到一定时期内，出租车企业或者车辆一天的营业状况变化。
这些客观数据都可以为制定营运计划提供客观直观的决策参考。
图9出租车营运数据分析系统-按时段分析模块界面
总体分析模块（见图10）
用户可通过设定时间、企业名称、车辆类型、单车单天营业额、单车单天营运总里程等条件获取相应的出租车营运分析结果，从整体上把握一段时期内，企业的总体营运状况。
营运分析报表（见图11）
出租车营运分析系统由“详情分析”、“按时段分析”和“总体分析”三个模块均具备图表导出功能。用户可以将获得的结果数据表导出到Excel文档，将图表导出为图片，以供存档或决策参考。
图11 出租车营运数据分析平台报表实例
