基于开源架构的任务调度系统在证券数据处理中的探索和实践
摘要: 为了应对证券行业盘后批处理业务复杂度上升带来的批处理时间窗口逐步缩小和运维越来越困难的挑战,上交所技术积极拥抱开源技术,结合上交所批处理的生产经验教训,以零人工介入、自动化运维为目标,开发了一种跨平台、支持多种部署模式的任务调度系统。本文从上交所批处理系统面临的实际挑战出发,通过调研几类典型的批处理架构,选择以开源软件Spring cloud dataflow为基础,设计并研发了上交所批处理任务调度系统。目前,该系统已经在交易系统生产环境上平稳试运行半年有余,为该系统在上交所各技术系统的推广打下了坚实的基础。 关键字:( 任务调度、批处理、Spring cloud dataflow、上交所技术 ) 背景和挑战 随着证券交易市场的快速发展,交易业务种类和待处理数据量也随之不断增加,核心应用系统的批处理业务越来越复杂。不同的批处理业务不但内部批处理单元相互依赖,而且与上下游对接系统的交互也越来越繁杂,导致留给批处理业务的处理时间窗口和应急时间窗口越来越小,这些都对新的批处理架构的高效性、高可用性和易维护性等方面提出了更高的要求。针对上交所批处理业务目前的实际情况,面临着如下问题和挑战。 首先是上交所各系统业务类型和数据量的增多对批处理架构的调度性能和功能提出了更多的要求。目前,上交所的核心交易盘后批处理业务类型越来越多,比如A/B股、综合业务、期权、沪港通等