FunData — 电竞大数据系统架构演进
电竞出现在人们视野中的频率越来越高了，此次选取FunData作为电竞数据平台，v1.0 beta版本主要提供由Valve公司出品的顶级MOBA类游戏DOTA2相关数据接口(详情：open.varena.com)。 本文将介绍FunData的架构演进中的设计思路及其涉及的相关技术，包括大数据流处理方案、结构化存储转非结构化存储方案和数据API服务设计等。 电竞数据的丰富性从受众角度来看，可分为赛事、战队和玩家数据；从游戏角度来看，维度可由英雄、战斗、道具以及技能等组成；电竞数据的实时性包括赛前两支战队的历史交战记录、赛中的实时比分、胜率预测、赛后比赛分析和英雄对比等。 因此多维度的数据支持，TB到PB级别的海量数据存储与实时分析都对底层系统的架构设计有着更高的要求，亦带来了更严峻的挑战。 架构 系统主要有两个模块：Master与Slave。 Master模块功能如下： 定时调用Steam接口获取比赛ID与基础信息 通过In-Memory的消息队列分发比赛分析任务到Slave节点 记录比赛分析进度，并探测各Slave节点状态 Slave模块功能如下： 监听队列消息并获取任务(任务主要为录像分析，录像分析参考github项目clarity(https://github.com/skadistats/clarity)与manta(https://github.com/dotabuff