InternalError_: Spectrum Scan Error. S3 to Redshift copy command
来源： https://stackoverflow.com/questions/60921001/internalerror-spectrum-scan-error-s3-to-redshift-copy-command
parquet
数据仓库之Hive快速入门
数据仓库VS数据库 数据仓库的定义: 数据仓库是将多个数据源的数据经过ETL（Extract（抽取）、Transform（转换）、Load（加载））理之后，按照一定的主题集成起来提供决策支持和联机分析应用的结构化数据环境 数据仓库VS数据库： 数据库是面向事务的设计，数据仓库是面向主题设计的 数据库一般存储在线交易数据，数据仓库存储的一般是历史数据 数据库设计是避免冗余，采用三范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计 OLTP VS OLAP： 联机事务处理OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易 联机分析处理OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果 常规的数仓架构： 为什么建设数据仓库： 各个业务数据存在不一致，数据关系混乱 业务系统一般针对于OLTP，而数据仓库可以实现OLAP分析 数据仓库是多源的复杂环境，可以对多个业务的数据进行统一分析 数据仓库建设目标： 集成多源数据，数据来源和去向可追溯，梳理血缘关系 减少重复开发，保存通用型中间数据，避免重复计算 屏蔽底层业务逻辑，对外提供一致的、 结构清晰的数据 如何实现： 实现通用型数据ETL工具 根据业务建立合理的数据分层模型 数据仓库分层建设 数仓建设背景： 数据建设刚起步
Hive alter table change column name gives 'NULL' to the renamed column
来源： https://stackoverflow.com/questions/52091433/hive-alter-table-change-column-name-gives-null-to-the-renamed-column
Difference in time taken for importing parquet files between SparkR and sparklyr
来源： https://stackoverflow.com/questions/64058553/difference-in-time-taken-for-importing-parquet-files-between-sparkr-and-sparklyr
Difference in time taken for importing parquet files between SparkR and sparklyr
来源： https://stackoverflow.com/questions/64058553/difference-in-time-taken-for-importing-parquet-files-between-sparkr-and-sparklyr
Apache Hudi和Presto的前世今生
一篇由Apache Hudi PMC Bhavani Sudha Saktheeswaran和AWS Presto团队工程师Brandon Scheller分享Apache Hudi和Presto集成的一篇文章。 1. 概述 Apache Hudi 是一个快速迭代的数据湖存储系统，可以帮助企业构建和管理PB级数据湖，Hudi通过引入 upserts 、 deletes 和增量查询等原语将流式能力带入了批处理。这些特性使得统一服务层可提供更快、更新鲜的数据。Hudi表可存储在Hadoop兼容的分布式文件系统或者云上对象存储中，并且很好的集成了 Presto, Apache Hive, Apache Spark 和Apache Impala。Hudi开创了一种新的模型（数据组织形式），该模型将文件写入到一个更受管理的存储层，该存储层可以与主流查询引擎进行互操作，同时在项目演变方面有了一些有趣的经验。 本博客讨论Presto和Hudi集成的演变，同时讨论Presto-Hudi查询即将到来的文件Listing和查询计划优化。 2. Apache Hudi Apache Hudi（简称Hudi）提供在DFS上存储超大规模数据集，同时使得流式处理如果批处理一样，该实现主要是通过如下两个原语实现。 Update/Delete记录 : Hudi支持更新/删除记录，使用文件/记录级别索引
CUDF error processing a large number of parquet files
来源： https://stackoverflow.com/questions/58114113/cudf-error-processing-a-large-number-of-parquet-files
CUDF error processing a large number of parquet files
来源： https://stackoverflow.com/questions/58114113/cudf-error-processing-a-large-number-of-parquet-files
Pandas Read/Write Parquet Data using Column Index
来源： https://stackoverflow.com/questions/62252259/pandas-read-write-parquet-data-using-column-index
Process continuously parquet files as Datastreams in Flink's DataStream API
来源： https://stackoverflow.com/questions/54514057/process-continuously-parquet-files-as-datastreams-in-flinks-datastream-api