基于SpringBatch框架的数据批量处理
DOI:
作者:
作者单位:

河海大学计算机与信息学院南京210098

作者简介:

通讯作者:

中图分类号:

TP202

基金项目:


Application of data batch processing in decision analysis system based on SpringBatch framework
Author:
Affiliation:

Department of Computer and Information, Hohai University, Nanjing 210098,China

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    通常企业决策分析系统需要对关键业务信息进行批处理操作,而这些业务的批处理操作是在没有用户进行交互的情况下对大量复杂的信息进行自动处理。为了解决批处理数据操作效率低下的问题,本文在对SpringBatch框架进行深入的研究和分析的基础上,选用SpringBatch框架,开源作业调度库 Quartz以及关系型数据库MySQL和非关系型数据库Cassandra,设计并实现了高效批处理的决策分析系统。同时本文还对该系统进行相关性能测试,测试结果证明使用SpringBatch框架的决策分析系统批数据处理能力得到了极大的提升。

    Abstract:

    Usually the enterprise decision analysis system needs to deal with the key business information. These operations are automaticly deal with lots of complex information without user interaction. In order to solve the problem of low efficiency of batch data operation, in this paper, based on indepth research and analysis on the Spring Batch framework, we use SpringBatch framework, open source job scheduling Quartz and relational database MySQL and non relational database Cassandra to design and implement the decision analysis system of efficient batch processing. At the same time, this paper also carry out the performance test of the system, test results show that the decision analysis system which used the SpringBatch framework to implement is more efficient in batch data processing.

    参考文献
    相似文献
    引证文献
引用本文

徐杨,周文彬.基于SpringBatch框架的数据批量处理[J].电子测量技术,2016,39(4):145-151

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:
  • 最后修改日期:
  • 录用日期:
  • 在线发布日期: 2016-05-25
  • 出版日期: