综合交通大数据应用 技术的发展展望
刘晓波1,2, 蒋阳升1,2, 唐优华1,2, 张仪彬1,2, 王子兰1,2, 罗洁1,2
1 西南交通大学交通运输与物流学院，四川 成都 611756
2 综合交通大数据应用技术国家工程实验室，四川 成都 611756
摘要：在移动互联的大数据时代，大数据、人工智能、云计算、物联网、智能终端等先进技术的不断发展，为综合交通的一体化、智能化、智慧化发展提供了坚实的资源和技术支撑。针对现阶段综合交通规划设计、运营管控、安全环保维护、物流服务过程中出现的数据异构质量差、“信息孤岛”、挖掘程度低等症结，对综合交通大数据基础技术与应用技术发展过程中需突破的关键技术点进行分析与展望，为大数据在综合交通中全面、有效、系统地应用提供一定的借鉴与参考。
关键词： 大数据 ; 综合交通 ; 基础技术 ; 应用技术
论文引用格式：
刘晓波, 蒋阳升, 唐优华, 张仪彬, 王子兰, 罗洁. 综合交通大数据应用技术的发展展望[J], 2019, 5(3）：55-68
LIU X B, JIANG Y S, TANG Y H, ZHANG Y B, WANG Z L, LUO J.Development prospect of integrated transportation big data application technology[J], 2019, 5(3): 55-68
1 引言
随着国内外大数据核心技术的逐步成熟和行业大数据应用的规模扩张，基于传统交通数据采集和移动交通采集大数据的综合交通一体化、数字化、智慧化逐渐成为未来交通的发展趋势。随着我国铁路“走出去”“一带一路”“交通强国”“大数据战略”等国家战略的实施，有着多源、异构、海量特征的交通大数据成为我国重点的大数据应用领域。铁路、航空、高速公路、城市交通、物流等领域的交通大数据应用需求已经呈现出爆炸式的增长。现阶段，交通规划设计、运营管控、安全环保维护、物流服务等跨地域、跨行业的限制及各类管理主体的分割造成了交通信息的条块分割和碎片化，无法实现规划“一张图”、运营管控“一张表”、交通出行“一张票”等愿景。这就需要综合交通大数据应用技术的支撑，从而最终实现“更好服务我国经济社会发展和人民生活改善”的初衷。本文对综合交通大数据的基础技术与应用技术两个技术体系所需突破的关键技术进行了展望。
2 综合交通大数据基础技术
大数据技术生态体系庞杂，基础技术覆盖数据采集、数据预处理、分布式存储、NoSQL数据库、多模式/模态计算、数据仓库、数据挖掘、可视化等各个层级。要支撑基于大数据的综合交通一体化、智能化，需对大数据本身的基础型技术支撑体系进行研究，包括技术的成熟度、稳定性和可扩展性。大数据技术的关键词是预测、迭代和优化，其技术模型和系统设计不同于传统的信息化领域的技术模型和系统设计，很多技术采用的是全新的技术范型，核心技术的突破短期内仍受限于理论、技术成熟度和研发能力，具有复杂性和不确定性。在国内大数据应用的过程中，这一点特别突出，因此需要对支撑综合交通大数据应用的基础技术进行深入的研究。下面分别从综合交通大数据采集与集成技术、综合交通大数据云存储与资源管理调度技术、综合交通大数据计算与挖掘分析技术、综合交通大数据可视化与决策支持技术等大数据基础技术对综合交通大数据基础技术的发展趋势和应用前景进行分析。
2.1 综合交通大数据采集与集成技术
近年来，物联网、车联网传感采集、智能终端、移动终端设备在城市交通、铁路、航空、水运、公路等领域的普及应用使得交通数据采集的范围、广度和深度得到了进一步的加强，这为交通大数据的发展提供了基础。包含移动终端采集方式在内的各种新的数据采集与集成技术不断涌现，并被国内外学者广泛地运用于各类交通数据的采集过程中，但仍存在着“信息孤岛”、数据碎片化等问题。综合交通数据类型繁多、结构多样、体量巨大，这决定了其采集的复杂性，如高铁列车在高速运行状态下的数据采集。目前，各个行业交通数据的基础信息平台呈现出分布式和网络化的特点，数据集成技术要向着多源异构数据之间的数据信息资源、平台资源、网络资源和应用资源的有效融合和共享方向发展，而传统信息采集技术无法满足上述需求。从技术发展趋势来看，学者需研究大数据条件下的跨行业、跨地域的交通动静态数据特征、数据交换共享以及预处理的关键技术，从而支撑对静态、动态两大类交通数据的采集、抽取和融合集成。这些数据包括公路、铁路、航空、水运等多行业的设施（如路网）、设备（如车辆）、人员、安全保障等基础数据，还包括综合交通网络中人、车、路、环境等相互作用的关系数据，如速度、密度、流量、位置、票价等。因此，需要进行多用户海量、异构、有效数据的高质量、高效率共享与交换的系统性研究，特别是需要进一步通过研究综合交通跨行业/多源异构大数据集成化采集技术（包括基于时空感知的移动式交通数据采集技术、固定式交通数据采集技术、交通实时流数据采集技术、基于Hadoop的多源异构数据抽取技术等）、综合交通跨行业多源异构大数据预处理技术（包括交通多源异构大数据ETL技术、交通大数据隐私保护技术等）、综合交通跨行业多源异构大数据集成融合技术（包括交通跨行业数据编码与标准化技术、交通跨行业数据共享与交换技术、交通跨行业多源异构数据泛化建模技术等），实现多源异构数据之间的数据信息资源、平台资源、网络资源和应用资源的有效融合和共享，为大规模综合交通系统的时空感知和运行状态管控提供基础。
2.2 综合交通大数据云存储与资源管理调度技术
在现代综合交通的信息化、物联网化驱使下的数据呈现几何增长的趋势，这使得传统的基于关系型数据库的存储技术无法支持大数据的爆炸性增长。而随着HBase、Redis等开源大数据存储技术的逐步成熟，基于Hadoop的分布式数据存储关键技术已经成为行业的必然趋势，并被逐步运用到了综合交通大数据各类问题的研究中。然而，现阶段还鲜有针对具有多源异构特性的综合交通大数据的云存储与资源管理调度技术的研究。因此，为了对综合交通中的人、车、路等诸多方面进行统一智能化的管理和资源统筹分配，实现畅通、节能、便利的交通，人们需要进一步系统性地研究综合交通多源异构大数据分布式存储技术（包括基于Hadoop的大规模数据分布式存储技术、大规模交通地理空间数据分布式存储技术、基于关系/关联矩阵的时空高效索引设计等）、基于云计算的多源异构交通数据一体化管理与数据仓库技术（基于分布式云存储的海量数据仓库技术、基于云计算的多源异构交通数据资源管理与调度技术等）。
2.3 综合交通大数据计算与挖掘分析技术
随着云计算、并行计算、深度学习等技术的发展，高效的数据挖掘与机器学习算法为具有多源、异构、海量等特征的交通大数据的挖掘、处理、分析的准确性、高效性以及决策合理性提供了有力的保障。不少学者已经将这些方法运用到了交通运输具体问题的分析中，但鲜有人针对综合交通大数据的系统性进行深入的研究。因此，需要进一步研究基于深度学习与类脑计算的交通目标识别技术（包括基于深度学习的交通大规模图像识别技术、基于深度学习的交通大规模视频分析技术、基于类脑计算与深度学习的交通关键目标智能管控技术等）、异构动态交通大数据关联挖掘与知识发现技术（包括基于粒计算的异构交通数据挖掘技术、基于关联分析的异构交通数据知识发现技术、综合交通数据时空特性分析与建模技术等）、面向综合交通需求与资源智能协同配置的机器学习技术（包括面向交通流数据的机器学习预测分析技术、面向交通指数数据的机器学习预测分析技术、支持交通智能协同诱导管理的实时数据挖掘技术、基于机器学习的交通资源供需匹配分析技术等）、面向交通安全预防与救援保障的大数据挖掘分析评价技术（包括面向交通危险源识别与分析的深度学习技术、基于数据挖掘的事故致因机理与处置评价技术、基于大数据预测的主动安全防范与应急管理技术等）、综合交通大数据分析计算模式和应用平台技术（包括基于MapReduce的交通数据离线批处理技术、基于Storm的交通实时流数据处理技术、基于数据融合的多模态交通大数据计算技术、基于云计算与GPU的大数据机器学习平台技术等），从而提升交通管理的主动性、及时性、预见性。
2.4 综合交通大数据可视化与决策支持技术
通过对交通数据进行大规模机器学习，人们可以获得领域专家或交通管理者关注的价值规律信息。要实现交通大数据应用的落地，形成可推广的应用示范项目的目标，对挖掘分析结果进行直观理解并形成知识辅助决策是很关键的。目前国内外学者已经基于各种可视化基础技术实现了一些交通数据的可视化展现，但这种展现多数是各种交通数据的特殊场景的显示，不是平台化的可视化展现，不能为智能化、一体化的综合交通管理提供基于知识库的、直观的、科学的决策支持。因此，要实现基于大数据分析的综合交通决策，需要以交通管理、运筹控制等为基础，以大数据挖掘、可视化、仿真等技术为手段，使用先进的人机交互方式，辅助管理者进行科学决策。针对交通大数据多源异构、多维度、时空动态及海量的特征，学者需从大数据本身的可视化和系统操作管理的可视化两个层面进行研究，研究大规模空间数据探索式分析技术，研发大数据可视化互动操作技术，设计能
结合全球定位系统（GPS）/地理信息系统（GIS）/卫星图像并基于大规模数据可视化的交通目标监控、预警、追踪技术，为智能化、一体化综合交通管理提供基于知识库的、直观的、科学的决策支持。
2.5 综合交通大数据安全与应用融合技术
在大数据环境下，交通大数据应用涉及的技术生态体系庞杂，其中不少技术（如机器智能、深度学习、分布式并行计算等）属于前沿信息技术，新的技术框架和平台层出不穷。同时，相比于传统的信息安全，大数据条件下的信息安全更加复杂，海量数据的集中存储加大了数据泄露的风险，数据可靠性、隐私问题也需要用先进的技术进行处理。面对这些问题，构建一体化、智能化的综合交通应用服务平台的需求对大数据技术体系架构提出了新的挑战。当前不少学者对单一交通方式下的大数据安全和应用技术进行了探索，但缺乏对综合交通跨行业、一体化管理和服务存在的数据共享交换不充分、数据来源渠道众多、数据表现形式复杂等瓶颈问题的研究。因此，为了构建具有敏捷性、组件化特性的大数据体系架构及综合交通大数据安全与应用相融合的技术支撑体系，实现综合交通在不同行业中的多式协作资源优化配置，需要学者进一步地研究交通大数据系统风险评估和数据安全监测技术（包括数据安全监测与审计技术、数据隐私屏蔽技术、系统/应用软件安全防护技术等）、综合交通跨行业一体化大数据互通融合技术（包括交通与金融大数据融合技术、交通与电信/通信/广电大数据的融合技术、交通与零售营销行业大数据的融合技术、交通与医疗行业大数据的融合技术等）、综合交通大数据技术体系架构与服务平台技术（包括综合交通大数据分析系统架构技术、综合交通大数据跨行业应用融合技术等）。
3 综合交通大数据应用技术
要利用大数据及大数据技术实现综合交通跨行业和地域的管理服务能力的提升，实现综合交通发展从重土建基础设施建设到重基于信息的综合交通管理服务提升的理念转变，首先，要实现基于大数据驱动的综合交通规划设计、运营管理、安全保障、环保节能、评价维护等功能的成套关键技术的突破；其后，需要在上述各功能的应用领域利用大数据形成综合交通一体化、智能化技术革新的新思路、新模式和新方法等。美国等发达国家已经在基于大数据的综合交通应用领域开始了一系列的研究，虽未形成成套的关键技术，但发展速度非常迅猛，一些关键性技术已经开始推广应用。我国在体现综合交通软实力的规划设计、运营管控、安全环保维护等方面落后于发达国家。大数据及大数据技术的出现，改变了综合交通一体化、智能化关键技术的突破和发展思路、途径和方法，我国迎来了赶超发达国家综合交通一体化、智能化水平的机遇。要抓住这样的机遇，需要结合我国综合交通的发展现状，充分考虑我国发展战略的需要和以铁路为主的综合交通方式构成的特征，研究我国传统综合交通一体化、智能化的技术发展和应用存在的瓶颈，研究如何整合我国综合交通大数据的资源，研究利用大数据促进综合交通一体化智能化的突破口和实现途径，形成成套的应用型关键技术。这样才能真正实现综合交通跨行业和跨地域的管理服务能力质的提升，才能真正引领世界综合交通科技的潮流。下面分别从综合交通规划设计、运营管控、安全环保维护、智慧物流4个应用领域对综合交通大数据应用技术的发展趋势和应用前景进行分析。
3.1 大数据驱动的综合交通一体化与智能化规划设计
3.1.1 基于大数据的综合交通网络规划设计
传统的交通网络规划设计方法和流程缺乏对多源海量数据和数据挖掘方法的利用，而在综合交通一体化发展的背景下，多模式组合交通出行、多式联运发展迅速，亟需提出新的综合交通网络一体化规划设计技术对当前的综合交通网络规划设计理论与方法进行提升。因此，研究基于大数据的交通网络与枢纽一体化规划设计、城市群综合交通一体化规划设计、公共交通一体化规划设计，可以实现各交通模式间网络的合理分工、优势互补和有机衔接。
3.1.2 基于大数据的综合交通智能化规划设计
现阶段，已经有学者提出通过大数据技术深度挖掘与融合多源异构数据的方法，从而克服传统交通规划设计在基础数据采集、方法和流程以及方案评价过程中存在的人力耗费巨大、数据不准确、标准不统一等缺陷。因此，可以通过研究基于多源异构数据的综合交通规划设计自适应学习技术、基于人工智能的综合交通规划设计问题诊断与智能决策技术、大数据驱动的虚拟现实仿真技术，实现具有人类智慧、现实逼真和能够预先体验的综合交通智能化规划设计，从而实时响应变动的规划设计需求，精准评价规划设计方案。
3.1.3 基于大数据的综合交通政策制定与评估
在以往的交通政策制定与评估研究中，学者更多关注的是单一运输方式、静态的研究，并且在缺乏大数据和大数据有效分析方法的情况下，更多的是对宏观运输政策的研究。而在“互联网 交通”、交通物流融合发展的背景下，数据采集来源与应用方式、交通组织方式不断革新，综合交通政策存在政出多头、更新速度慢、动态适应性差和激励效应不足等问题。因此，进一步加强对综合交通动态运价、差异化收费政策设计、综合交通路网供需能力评估、综合交通大数据交换标准与交易模式、综合交通受限数据全生命周期管理的研究，不仅可以营造有利于综合交通大数据推广应用政策体系的环境，而且能够实现政策的精准化、差异化和一体化。
3.2 大数据驱动的综合交通运营管控一体化与智能化
3.2.1 基于大数据的综合交通需求管理
当前综合交通需求管理主要是以静态历史数据为基础的，用宏观和集计的交通模型描述交通参与者的行为。在管理层面，行程时间/拥堵的单目标优化问题是学者关注较多的内容，其他相关的外部效应考虑得较少。通过研究基于非集计模型、智能体模型和活动基模型的交通出行特征精准分析技术，基于实时交通状态数据、交通拥堵指标、交通环保大数据、医疗大数据的交通活动的社会费用评估方法，构建综合考虑多种外部效应的系统费用的多目标（如Pareto最优）需求管理模型，完善道路拥挤收费与补偿理论，发展交通路径诱导与停车诱导技术，分析乘客出行共享方法和跨区域跨组织边界的物流信息共享技术，这样就可以对动态交通需求及其对应的外部效应以及出行者社会经济属性与出行偏好进行精准的描述，从而合理地运用错峰出行、交通诱导、拥堵收费、补贴、出行共享及车货匹配等技术手段进行需求管理，降低交通活动的系统费用。
3.2.2 基于大数据的综合交通运行控制
传统的交通控制研究主要采用固定检测器数据作为交通控制优化的依据。这些数据形式单一，无法从全方位、动态、时空关联角度分析交通系统的运行状态，无法区分不同出行者的需求，使得交通系统的控制能力和效率不足。通过研究基于多源动态异构数据融合和挖掘技术的时空关联的交通状态估计方法、基于多模式交通（如公交车/快速公交系统、有轨电车、常规小汽车等）的智能信号优先控制和混合路权控制技术、基于多维度交通（如城市交叉口、快速路匝道控制、高速公路匝道控制与动态限速控制）的一体化协调控制技术，可以有效地提高交通系统运行状态（如车辆排队长度、延误、可靠性等）的估计精度，为制定基于时空分配的下一代分布式智能交通控制方案提供基础。
3.2.3 基于大数据的综合交通运力资源配置
目前，国内外学者对综合交通运营的研究更多聚焦于利用静态的不完全的需求数据，进行单一方式下的运力资源配置，缺乏各种方式的有效衔接，缺乏对多样化需求的挖掘与支持。因此，为了进行运力资源的有效配置，发挥各种运输方式的技术经济优势和交通网络效能，提升服务水平、物流效率和整体效益，首先，有必要深入研究如何有效利用挖掘的多维度信息耦合乘客和货物需求数据，从而开展联程联运一体化对接服务；其次，研究基于实时客货流需求数据响应的综合运输计划编制技术与物流车货匹配优化技术；最后，研究针对多维度综合交通时空数据的运力资源调度技术以及满足多样化需求的运力资源配置技术等。
3.2.4 基于大数据的综合交通枢纽资源动态运用
现阶段，多源异构的综合交通枢纽信息平台的建立成为枢纽运作的瓶颈，制约了枢纽换乘、换装和集散功能的发挥。虽然学者利用各种方法对综合枢纽进行了优化，但是信息不足引起的对换乘需求挖掘深度不够的问题造成了资源动态运用、需求匹配和响应的困难，导致枢纽效能无法得到实质性的提升。为了建立多源异构的综合交通枢纽信息平台，实现综合交通枢纽乘客零距离换乘与货物的无缝化衔接，需要深入研究应对客运、货运需求的综合交通枢纽资源动态运用技术、综合交通货运枢纽运作管理技术、综合交通多枢纽动态协同组织技术。
3.2.5 基于大数据的综合交通运营评估
在传统的综合交通运营评估研究中，评估指标偏重于运量和设备能力，对服务质量和服务水平涉及的较少。指标体系结构性不强，指标评价系统只能处理部分信息系统产生的规范化数据，这就导致海量数据的处理效率较低，影响了对数据信息的有效利用。因此，只有深入研究综合交通运营指标耦合机理、综合交通运营指数、全社会综合交通指数体系标准化方案、一定服务水平条件下的综合交通运营能力计算理论、基于综合交通运营指标体系的综合交通要素配置及协调等问题，才能实现拓展评估边界、深化评估技术、提升评估频率和多元视角评估的目标，为综合交通规划与管理提供有力支撑。
3.3 大数据驱动的综合交通安全环保维护
3.3.1 基于大数据的综合交通安全可靠性分析
现阶段，应用较多的安全可靠性分析评估方法或理论存在没有对系统可靠度/失效率/维修度等基础数据的支撑、没有多维度的动态数据支撑以及没有系统性的综合交通安全可靠性评价等问题。学者可以通过研究综合交通基础设施网络安全可靠性分析、人员作业可靠性分析、交通事故预测与防治、特种作业可靠性分析等关键技术，进一步增强交通安全研究的系统性、逻辑性。
3.3.2 基于大数据的综合交通环保
目前，学者对综合交通环保的研究主要聚焦于宏观和中观层面的交通能耗与排放，准确性和实时性较低。通过完善交通排放扩散模型，建立交通排放对人类活动及健康的影响评价体系，发展降低车辆排放与能耗的绿色驾驶、协同驾驶与路径选择技术，制定优化一体化低碳物流通道办法，可以实现利用多源交通数据在微观层面对交通状态、能耗与排放进行精细化的建模。
3.3.3 基于大数据的综合交通系统应急保障
传统的单一交通方式的安全保障技术难以满足综合交通系统风险预警、处置与恢复时效性的要求，因此，需要深入研究灾情模拟与安全保障技术、设施运行风险评估和预测预警技术、跨行业应急调度与疏散救援关键技术、跨区域应急保障决策支持技术，解决对综合交通领域的突出风险和突发事件的辨识、准备、监测、评估、判定、决策、预警、处置、救援和恢复等重要问题。
3.3.4 基于大数据的综合交通设施全生命周期状态监测与维护
目前，虽然学者们已经关注到了交通设施全生命周期状态监测与维护的问题，但是由于缺乏大数据支撑，人们对交通设施动态性能的时空演变机制和规律缺乏较为系统的深入研究，导致在交通设施初始缺陷演化、动态性能劣化、特殊条件下，对突变状态如何影响综合交通安全的分析不够。研究综合交通设施伤损机理和服役寿命预测技术、综合交通设施服役失效机制和高效检测技术、综合交通设施自愈/维护/修复技术以及交通气象服务预警理论与技术，可以解决综合交通设施的性能服役演变、状态控制和修复等重要问题，真正实现对综合交通设施全生命周期状态的监测，为综合交通设施的准确评价提供科学决策依据，从而提升综合交通设施维护管理水平。
3.4 大数据驱动的智慧物流服务
3.4.1 基于大数据的O2O平台国家货运资源优化配置
我国货运资源的优化配置存在着货运供需信息来源单一、许多重要的信息缺失、集中程度低、数据分析挖掘程度低等问题，这就导致现有的研究缺乏从经济社会系统的相关指标中提前发现和预判货运供需状态的能力。现在不少学者已经开始研究运载工具和货物的智能匹配技术，从而支撑对车辆资源调度、车辆路径选择、物流配送网络设计等关键问题的研究，实现货运资源的动态优化配置。
3.4.2 基于大数据的综合运输多式联运
当前，联运方式的货运供需信息存在缺失严重、流动性差、缺乏有效的整理和分析、各运输方式之间各自为政等问题，导致我国多式联运的水平不高。因此，研究基于大数据的车、箱、货的全程信息监控技术、多式联运平台互联互通技术，可以大幅度地提高我国多式联运的水平，从而实现我国物流业降本增效的蓝海。
3.4.3 基于大数据的供应链管理决策
目前，我国企业构成的供应链存在着数据规模少、数据质量差、数据共享程度差、数据利用率不高等问题，因此，借助已有的供应链情景智能技术、供应链能力提升技术、优化整合供应链配送网络技术、供应链优化技术、供应链运营整合技术、供应链财务指标的追踪技术、产品质量追踪技术、供应商质量提升技术等，有望使我国供应链管理水平得到显著的提升。
4 结束语
大数据不只是一项技术，还是信息化发展的一个新阶段。本文通过对综合交通大数据基础技术与应用技术所需突破的关键技术进行探讨，为综合交通大数据基础技术和应用技术的发展指明方向，有助于推动综合交通一体化、智能化尽早实现。
作者简介
刘晓波（1974- ），男，博士，西南交通大学交通运输与物流学院教授、院长，博士生导师，综合交通大数据应用技术国家工程实验室主任。2003年被授予George Krambles交通基金奖，2006年获得美国新泽西工程企业理事会颁发的杰出工程奖，2018年获得美国国家科学委员会交通分会网络建模最佳论文奖，主要研究方向为交通大数据在无人驾驶路径规划、智慧物流资源配置优化的应用和车联网环境下的交通流控制技术。
蒋阳升（1976- ），男，博士，西南交通大学交通运输与物流学院教授、副院长，博士生导师，综合交通大数据应用技术国家工程实验室副主任，中国交通运输 协会青年科技工作者委员会副秘书长，主要研究方向为交通大数据应用、交通系统优化与规划设计、智能公共交通系统、智能交通控制等。
唐优华（1977- ），男，西南交通大学交通运输与物流学院高级工程师、副院长，硕士生导师，综合交通大数据应用技术国家工程实验室副主任，主要研究方向为大数据在智能交通和物流规划方面的应用、交通信息安全。
张仪彬（1986 - ），男，西南 交通大学交通运输与物流学院实验师，主要研究方向为大数据在智能交通和物流规划方面的应用、交通信息安全。
王子兰（1984- ），女，西南交通大学交通运输与物流学院实验师，交通运输规划与管理专业博士生，主要研究方向为大数据在铁路运营组织和物流规划设计方面的应用、交通系统优化与规划设计。
罗洁（1978- ），女，西南 交通大学交通运输与物流学院助理研究员，综合交通大数据应用技术国家工程实验室综合部部长，长期从事教学管理、实验室管理工作。
《大数据》期刊
《大数据（Big Data Research，BDR）》双月刊是由中华人民共和国工业和信息化部主管，人民邮电出版社主办，中国计算机学会大数据专家委员会学术指导，北京信通传媒有限责任公司出版的中文科技核心期刊。
关注《大数据》期刊
微信
公众号，获取更多内容
