phoenix

大数据技术知识体系 大数据技术知识体系 --持续更新，建议收藏 最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”数据，让一切有迹可循，让一切有源可溯。我们每天都在产生数据，创造大数据和使用大数据，只是，你，仍然浑然不知。 企业组织利用相关数据和分析可以帮助它们降低成本、提高效率、开发新产品、做出更明智的业务决策等等。大数据的价值，远远不止于此，大数据对各行各业的渗透，大大推动了社会生产和生活，未来必将产生重大而深远的影响。对海量数据进行存储、计算、分析、挖掘处理需要依赖一系列的大数据技术。然而大数据技术其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。本文对大数据技术知识体系进行划分，总共分为基础技术、数据采集、数据传输、数据组织集成、数据应用、数据治理。 具体展开图，详细内容请看后面： 想学习好大数据可以关注公众号程序员大牛 有视频资源分享一起学习 一、大数据基础技术 数据分片路由 在大数据的背景下，数据规模已经由GP跨越大屏PB的级别，单机明显已经无法存储与处理如此规模的数据量，只能依靠大规模集群来对这些数据进行存储和处理。对于海量的数据，通过数据分片

近日有朋友问及如何编译和使用 D-Phoenix 库。于是就有了这篇文章的存在。 这个年代，没有 IDE 进行编码编译是痛苦的。所以，博主将主要介绍使用 Poseidon 来编译 D-Phoenix 库(为啥子要讲 Poseidon ，而不是 CodeBlocks 之类的 IDE。哈，因为 Poseidon 是国产货)。 首先，D 语言编译器是必备武器。 D-Phoenix 库推荐使用 DMD 2.019 for Win32编译器。你可以按照下面的方法安置好 D 语言编译器： 从 http://ftp.digitalmars.com/dmc.zip 处获得 DMC Linker & Utilities for Win32，并解压缩到 C:\ 根目录下。 从 http://ftp.digitalmars.com/dmd.2.019.zip 处获得 DMD 2.019 编译器，并解压缩到 C:\ 根目录下。 然后，从 http://www.dsource.org/projects/poseidon/changeset/head/trunk?old_path=%2F&format=zip 处获得最新版 Poseidon IDE。 接下来，在你指定的位置新建文件夹 d-phoenix 。然后从 http://d-phoenix.googlecode.com/files/Phoenix

前面讲述了Phoenix hbase 的数据迁移： hbase数据迁移：基于 hbase Snapshot 。 但这个是相同版本的。但是我想要将Phoenix4.7创建的表的数据迁移到Phoenix5.0.0集群中（Phoenix5.0.0 hbase 2.1.5），数据迁移过去了，但是查询时只有pk, 其他数据查询不出来。 问题排查：通过hbase shell 查看不通版本的数据格式，会发现column列名有变化。 那么这个问题怎么解决呢？遇到问题肯定要去官网查看了。 官网中有介绍 Storage Formats ，里面有关于版本升级以后的变化： As part of Phoenix 4.10, we have reduced the on disk storage size to improve overall performance by implementing the following enhancements: Introduce a layer of indirection between Phoenix column names and the corresponding HBase column qualifiers. Support a new encoding scheme for immutable tables that packs all values