apache

<div id="content_views" class="markdown_views"> <!-- flowchart 箭头图标 勿删 --> <svg xmlns="http://www.w3.org/2000/svg" style="display: none;"> <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path> </svg> <p>在maven项目中找到pom.xml，打开。</p> <pre class="prettyprint" name="code"><code class="hljs xml has-numbering" onclick="mdcp.signin(event)"> <span class="hljs-tag"><span class="hljs-tag"><</span><span class="hljs-title"><span class="hljs-tag"><span class="hljs-name">dependencies</span></span></span><span class="hljs-tag">

作者徐蓓，腾讯云容器专家工程师，10年研发经验，7年云计算领域经验。负责腾讯云 TKE 大数据云原生、离在线混部、Serverless 架构与研发。 背景 大数据发展至今，按照 Google 2003年发布的《The Google File System》第一篇论文算起，已走过17个年头。可惜的是 Google 当时并没有开源其技术，“仅仅”是发表了三篇技术论文。所以回头看，只能算是揭开了大数据时代的帷幕。随着 Hadoop 的诞生，大数据进入了高速发展的时代，大数据的红利及商业价值也不断被释放。现今大数据存储和处理需求越来越多样化，在后 Hadoop 时代，如何构建一个统一的数据湖存储，并在其上进行多种形式的数据分析，成了企业构建大数据生态的一个重要方向。怎样快速、一致、原子性地在数据湖存储上构建起 Data Pipeline，成了亟待解决的问题。并且伴随云原生时代到来，云原生天生具有的自动化部署和交付能力也正催化这一过程。本文就主要介绍如何利用 Iceberg [1] 与 Kubernetes 打造新一代云原生数据湖。 何为 Iceberg Apache Iceberg is an open table format for huge analytic datasets. Iceberg adds tables to Presto and Spark that use a

作者徐蓓，腾讯云容器专家工程师，10年研发经验，7年云计算领域经验。负责腾讯云 TKE 大数据云原生、离在线混部、Serverless 架构与研发。 背景 大数据发展至今，按照 Google 2003年发布的《The Google File System》第一篇论文算起，已走过17个年头。可惜的是 Google 当时并没有开源其技术，“仅仅”是发表了三篇技术论文。所以回头看，只能算是揭开了大数据时代的帷幕。随着 Hadoop 的诞生，大数据进入了高速发展的时代，大数据的红利及商业价值也不断被释放。现今大数据存储和处理需求越来越多样化，在后 Hadoop 时代，如何构建一个统一的数据湖存储，并在其上进行多种形式的数据分析，成了企业构建大数据生态的一个重要方向。怎样快速、一致、原子性地在数据湖存储上构建起 Data Pipeline，成了亟待解决的问题。并且伴随云原生时代到来，云原生天生具有的自动化部署和交付能力也正催化这一过程。本文就主要介绍如何利用 Iceberg [1] 与 Kubernetes 打造新一代云原生数据湖。 何为 Iceberg Apache Iceberg is an open table format for huge analytic datasets. Iceberg adds tables to Presto and Spark that use a

前言 上云目前已经是绝大数企业首选的IT基础设施建设方案，但是云上仍然存在一些不确定因素（机房硬件故障、网络故障、断网/断电、人为操作失误），导致各大云厂商每年在不同的数据中心都会发生一些故障，所以建设具备容灾能力的业务应用是必需的。公共云上容灾解决方案涵盖同城双活、跨Region容灾和异地多活等容灾场景，对公共云上大多数中长尾客户来说，更需要的是一种对应用侵入性小甚至透明，但又能保证高可用的容灾方案，同城双活无疑是首选的容灾方案，大多数业务应用只要做到同城双活，就可以避免掉大多数数据中心不可用故障。 本实践就是帮助大家高效、低成本地实现自己的业务应用具备同城双活容灾能力。通过这篇文章可以基于EDAS高效的实现同城双活容灾，在实现这些容灾场景的同时需要其他的阿里产品配合，也会一并介绍对应的解决方案，可以参考下面架构图： 鉴于目前需要做容灾的主流架构都已经拆分为微服务架构，而且微服务架构本身也是一种具备更强容灾高可用能力的架构。微服务架构一般由网关（统一接入层）、RPC框架（Dubbo，Spring Cloud）、消息(MQ)、分布式数据库、缓存等核心软件构成，通过EDAS可以高效地实现入口流量切流、RPC路由容灾、多可用区部署等能力，参考下图： 方案主要产品介绍 EDAS 企业级分布式应用服务 EDAS（Enterprise Distributed Application