单位文秘网 2021-10-23 08:15:07 点击: 次
信息也越来越丰富,有浮动车数据、车辆识别数据、交通流数据等。这些不断生成的数据已经逐渐形成了极具价值的大规模交通流数据,对解决交通拥堵问题、提升交通管理水平等具有重要意义。
上述交通数据是一类典型的流数据,除了种类多以外,还具有速率快、总量大的特点。仅以一个大型城市的车辆识别交通数据为例,城市道路上所部署的车辆识别传感器数量为5000,每个点的高峰采样频率为每秒1条,则每秒将产生5000条车辆识别数据,每天的高峰折算率为0.33,一年车辆识别数据记录数将超过500亿条,数据存储量为10TB级(来自实际项目)。
本文重点关注这一类流数据的实时存储问题。传统的基于关系数据库的数据存储系统在面对交通流数据时存在写入延迟高、水平扩展能力差以及固定数据结构等诸多问题。以HBase为代表的NoSQL类数据库由于采用了简单数据模型,相对于传统的关系数据库,具有存储速度快、扩展性高、数据结构随机等特点,非常适合作为交通流数据的存储介质。但是在实际运用HBase过程中,也暴露出一些问题,如下所示。
1)行键(row key)冗余设计对存储效率的影响。为了提供高效的查询能力,HBase往往需要对行键进行冗余设计,比如,交通识别数据可以把行键结构设置为图1所示格式。
这种行键结构提高了查询交通流数据的效率,但是相对于简单短小的行键(row key)结构,存储量大带来了数据存储性能的下降。
2)数据写入中的热点问题。对于row key具有连续性特质的流数据,其会按照row key的字典序依次插入集群中的一个region中,待此region达到一定的阈值后才会向其他region依次插入。这种数据写入热点,降低了HBase数据库的写入性能。
为此本文设计并实现了一种基于HBase的交通流数据实时存储系统。该系统通过前端的多源实时感知数据接入预处理,利用多源缓冲区结构对不同类型的流数据进行队列划分,并在数据写入时采用多线程技术,数据存储时采用一致性哈希算法和HBase行键优化设计等策略将数据均衡分布到HBase集群服务器中,保证了存储的性能和可伸缩性。
1 相关工作
在流数据存储系统方面,文献[1-2]是一类典型的以关系数据库作为持久化存储介质的工作。尤其是文献[2]提出一种基于Oracle的面向流数据的分布式实时存储(Distributed Real-Time Storage, DRTS)方法,该方法依据窗口阈值,不间断地从缓存区接收数据,然后结合一定的分布策略将数据分布存储到数据服务器中。虽然这些工作在一定程度上提升了数据实时存储的效率,但是如引言中所示,其在交通流数据存储方面仍存在许多不足。文献[3]给出了一个基于HBase的大规模无线传感网络数据存储系统。该系统虽然实现了传感数据近实时的存储,但是其忽略了数据在传输过程中的完整性、多元性所带来的存储问题。例如对于不完整的或者是不合规范的传感数据的存储会造成存储空间的浪费和数据冗余;将不同类型传感网络数据直接存储到数据库时,百亿条数据对象无规则性的存储方式一方面会加大对海量数据管理难度,另一方面也会降低针对特定类型数据的查询效率。
在具体优化技术方面,包括数据切分和数据分布策略。在数据切分方面,文献[2]中还提出了车辆流数据切分策略,该方法解决了使用单一队列接受数据时的阻塞问题。但是该方法也忽略了多源数据之间模式不同的问题,使用该方法会将所有类型的数据统一管理存储,在影响数据写入效率的同时也降低了流数据查询的效率。在数据分布策略方面,一致性哈希算法克服了传统Hash数据分布算法的不能够满足单调性,致使某台数据服务器负载过高的问题,已经在实际应用中广泛使用。具体实现可参考文献[4]。
基于多线程技术的并行数据写入也是提升数据存储性能的方法。文献[5]从开发数据通信软件的实际问题入手,提出了多线程技术编程方案,最后示例了多线程技术在数据通信中的应用,较好地解决了数据通信的延时处理问题。
文献[6]中提出了一种基于NoSQL的LaUD-MS系统存储架构,该系统在一定程度上解决了海量数据存储、快速读写响应等难题。本文设计的系统在系统架构的设计上参考了文献[6]所提及的存储架构。
本文在以上研究工作的基础上,设计实现了基于一个HBase的交通流数据实时存储系统,在一定程度上有效地解决了高数据流速的实时存储问题,提高了交通流数据的存储效率。
2 基于HBase的交通流数据实时存储系统
针对交通流数据多源、异构、海量、高速的特点,本文设计和实现了基于HBase的交通流数据实时存储系统,接下来分别从系统架构、关键设计及核心流程三方面对系统进行介绍。
(责任编辑:单位文秘网) )地址:https://www.kgf8887.com/show-203-96639-1.html
上一篇:DCS集散型控制系统发展综述
下一篇:阐述电力继电保护现状及发展
版权声明:
本站由单位文秘网原创策划制作,欢迎订阅或转载,但请注明出处。违者必究。单位文秘网独家运营 版权所有 未经许可不得转载使用