最佳实践 | RDS & POLARDB归档到X-Pack Spark计算
X-Pack Spark服务通过外部计算资源的方式,为Redis、Cassandra、MongoDB、HBase、RDS存储服务提供复杂分析、流式处理及入库、机器学习的能力,从而更好的解决用户数据处理相关场景问题。 RDS & POLARDB分表归档到X-Pack Spark步骤 一键关联POLARDB到Spark集群 一键关联主要是做好spark访问RDS & POLARDB的准备工作。 POLARDB表存储 在database ‘test1’中每5分钟生成一张表,这里假设为表 'test1'、'test2'、'test2'、... 具体的建表语句如下: *请左右滑动阅览 CREATE TABLE `test1` ( `a` int(11) NOT NULL, `b` time DEFAULT NULL, `c` double DEFAULT NULL, PRIMARY KEY (`a`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 归档到Spark的调试 x-pack spark提供交互式查询模式支持直接在控制台提交sql、python脚本、scala code来调试。 1、首先创建一个交互式查询的session,在其中添加mysql-connector的jar包。 *请左右滑动阅览 wget https://spark-home.oss-cn