系统上线那点事 - 记一次线上系统故障
该项目是一个微信转盘游戏抽奖营销项目。因为运营营销时间要求紧迫。开发測试部署上线用了10天不到,有些准备工作并没有到位,如: 1.因为总体开发在上线前2天才完毕,測试了解这个项目需求是在开发的第二周,并没有充足的时间进行完好的功能,UI机型适配,系统压力測试。 2.技术上因为合作方的公众号密钥并不适合直接给出,所以由对方封装微信接口获取所需功能,对方封装的微信接口给出比較迟,在预定開始时间前三天; 微信的网页接口授权回调域名仅仅有一个。这个回调域名还有其它应用在使用,不能直接简单的改为我们部署应用的域名。须要合作方在其内网设置nginx进行http转发。保证微信的回调能发送到我们的server,封装的API接口測试也要等转发配置完毕才干进行。 此种网络配置方式也导致了之后遇到的部分用户页面无法加载时,排除问题难度加大,不能在自己的机房解决。 3.线上应用机器在最后一天才准备好,tomcat及数据库部署环境的检查并没有全然完毕。留下了隐患。 如mariadb的binlog功能在设置了my.cnf后仍然没有生成,部分核心表的索引没有建全然。 而且活动仅仅有七天,经过估算。觉得摇奖压力大部分应该在应用端,数据库无压力。所以配置了10几台tomcat及redis缓存,没有为mariadb配置主从结构做备份,成为了一个单点。 4