Presto性能调优的五大技巧
概述 Presto架构 Presto是一个分布式的查询引擎，本身并不存储数据，但是可以接入多种数据源，并且支持跨数据源的级联查询。 Presto的架构分为： Coodinator： 解析SQL语句，生成执行计划，分发执行任务给Worker节点执行。 Discovery Server： Worker节点启动后向Discovery Server服务注册，Coordinator从Discovery Server获得可以正常工作的Worker节点。 Worker： 负责执行实际查询任务，访问底层存储系统。 存储 ：Presto的数据可以存储在HDFS/OBS，推荐热数据存储在HDFS，冷数据存储在OBS。 内存调优 内存管理原理 Presto有三种内存池，分别为GENERAL_POOL、RESERVED_POOL、SYSTEM_POOL。 GENERAL_POOL：用于普通查询的physical operators。GENERAL_POOL值为 总内存（Xmx值）- 预留的（max-memory-per-node）- 系统的（0.4 * Xmx）。 SYSTEM_POOL：系统预留内存，用于读写buffer，worker初始化以及执行任务必要的内存。大小由config.properties里的resources.reserved-system-memory指定。默认值为JVM max