大数据

作者徐蓓，腾讯云容器专家工程师，10年研发经验，7年云计算领域经验。负责腾讯云 TKE 大数据云原生、离在线混部、Serverless 架构与研发。 背景 大数据发展至今，按照 Google 2003年发布的《The Google File System》第一篇论文算起，已走过17个年头。可惜的是 Google 当时并没有开源其技术，“仅仅”是发表了三篇技术论文。所以回头看，只能算是揭开了大数据时代的帷幕。随着 Hadoop 的诞生，大数据进入了高速发展的时代，大数据的红利及商业价值也不断被释放。现今大数据存储和处理需求越来越多样化，在后 Hadoop 时代，如何构建一个统一的数据湖存储，并在其上进行多种形式的数据分析，成了企业构建大数据生态的一个重要方向。怎样快速、一致、原子性地在数据湖存储上构建起 Data Pipeline，成了亟待解决的问题。并且伴随云原生时代到来，云原生天生具有的自动化部署和交付能力也正催化这一过程。本文就主要介绍如何利用 Iceberg [1] 与 Kubernetes 打造新一代云原生数据湖。 何为 Iceberg Apache Iceberg is an open table format for huge analytic datasets. Iceberg adds tables to Presto and Spark that use a

首届国家网络安全宣传周（2014北京） “首届国家网络安全宣传周”于2014年11月24日至30日举行。本活动由中央网络安全和信息化领导小组办公室（中央网信办）会同中央机构编制委员会办公室（中央编办）、教育部、科技部、工业和信息化部、公安部、中国人民银行、新闻出版广电总局等部门联合主办。 11 月24日启动日 11 月25日政务日 11 月26日金融日 11 月27日产业日 11 月28日电信日 11 月29日青少年日 11 月30日法治日 图片为第七届主题公园之紫荆山公园 第二届国家网络安全宣传周（2015北京） 为进一步加强全党全社会网络安全意识，发动全社会参与维护网络安全，中央网信办、中央编办、教育部、科技部、工业和信息化部、公安部、新闻出版广电总局、中国人民银行、共青团中央、中国科协10 个部门于2015 年6 月1 日至7 日联合举办第二届国家网络安全宣传周, 全国各地同步开展。 第二届宣传周沿用首届“共建网络安全 共享网络文明”主题，传播“安全方面最大的风险是没有意识到风险”的理念，重点加强青少年网络安全教育。线下活动包括启动仪式暨国家网络安全青少年科普基地揭牌仪式、“赢在未来”青少年网络安全教育联合行动、“感知身边的网络安全”公众体验展、“争做网络安全卫士”系列青少年网络安全知识竞赛、“网络安全知识大讲堂”知识讲座、“网络安全知识进万家”知识手册发放等。线上活动包括

什么是多租户？ “软件多租户是指一个软件体系结构，其中一个软件实例在一个服务器上运行，并为多个租户提供服务*租户是一组共享具有软件实例特定权限的公共访问权限的用户。 架构中，软件应用程序旨在为每个租户提供一个包含其数据*，配置，用户管理，租户个人功能和非功能属性的实例共享*多租户与多实例架构形成鲜明对比，其中独立的软件实例运行 代表不同的租户“（维基百科），简而言之，多租户是一种用于创建SaaS（软件即服务）应用程序的技术。 数据库和部署体系结构 有一些不同的多租户数据库和部署方法： 1、多个部署 - 多个数据库 实际上这不是多租户，但是如果我们为每个客户（租户）运行一个具有独立数据库的应用程序实例，则可以在一台服务器上为多个租户提供服务。我们只需确保应用程序的多个实例在相同的服务器环境中不会相互冲突。 对于不是被设计为多租户的现有应用来说，这也是可能的。由于应用程序不知道多租户，创建这样的应用程序更容易。然而，这种方法存在设置，使用和维护问题。 2、单一部署 - 多个数据库 在这种方法中，我们在服务器上运行应用程序的单个实例。我们有一个主（主机）数据库来存储租户元数据（如租户名和子域）和每个租户的单独数据库。一旦我们确定了当前的租户（例如，从子域或从用户登录表单），那么我们可以切换到该租户的数据库来执行操作。在这种方法中，应用程序应该在一定程度上被设计为多租户

　　供应链管理系统的重要性：任何企业小到一个组织，大到一个企业，都离不开供应链。但在如今生产全球化的大背景下，如果在供应链管理环节出现任何纰漏也将导致自己的市场地位受到影响。全球来看，欧美日等国家高度重视供应链的发展，将供应链战略上升为国家战略。 　　供应链管理是指：商品到达消费者手中之前各相关者的连接或业务的衔接，是围绕核心企业，通过对信息流，物流，资金流的控制，从采购原材料开始，制成中间产品以及最终产品，最后由销售网络把产品送到消费者手中的将供应商，制造商，分销商(零售商，批发商等)直到最终用户连成一个整体的功能网链结构。 　　中国产业发展将进入到“供应链+”的新阶段。“供应链+制造”将促使制造业利用供应链管理方法推动行业创新和发展，提升制造业竞争力;“供应链+服务”将使服务业在供应链模式下得到更加细分和融合，实现服务业升级;“供应链+物流”将激励物流服务企业的服务创新与变革;“供应链+金融”将实现物流金融与互联网金融齐头并进，共谋发展;“供应链+技术”将促进大数据等新兴技术推动供应链管理系统模式的全面转型。中国各产业要全面迎接“供应链+”时代的到来。 　　供应链管理系统给企业带来的好处作用如下： 　　1. 降低了企业间的采购成本; 　　2. 节约企业间的交易成本; 　　3. 降低了企业的库存; 　　4. 减少循环的周期; 　　5. 企业的收入和利润增加。 　　罗浮云

2021年1月28日，为进一步促进大数据和信息技术相关产业发展，加强与企业的沟通和联系，广州市科学技术局夏局一行4人莅临广州思迈特软件调研交流，实地了解我司在大数据分析领域的各项技术成果及应用情况。 思迈特软件创始人兼 CEO吴华夫热情接待了调研团，并邀请夏局一行参观了公司的展厅。在座谈会上，吴华夫详细介绍了公司的基本概况、发展历史及未来规划，并重点阐述了思迈特软件近年来在 大数据分析领域 所取得的成绩，得到了来访嘉宾的一致好评。 会上讨论热烈，嘉宾们分别发言，并对我司的下一步发展提出一些指导性建议。 夏局对我司在大数据创新发展方面的成绩给予了充分肯定，并希望思迈特软件切实发挥好企业的标杆与示范效应，为大数据行业的快速发展做出更多积极贡献。 思迈特软件 十分感谢广州市科学技术局对我司的大力支持。未来，我们将继续深耕 大数据 BI领域 ，积极探索技术创新，坚持为客户创造价值，积极响应国家大数据产业发展的规划和要求，推动国内外企业与大数据技术的深度融合，争做全省乃至全国大数据创新发展的先锋和表率，为国家经济发展增添新动力！ 来源： oschina 链接： https://my.oschina.net/u/4954899/blog/4945200

国际著名的咨询公司Gartner在2013年总结出了一套数据分析的框架，数据分析的四个层次：描述性分析、诊断性分析、预测性分析、处方性分析。 Gartner于2020年中给出预测，到2024年底，75%的企业机构将从AI试点转为AI运营。同期，Gartner发布了数据与分析领域的十大技术趋势，首先映入眼帘的是：更智能、更高速、更负责的AI，也指出了仪表板的衰落，更青睐上层次和实用化的决策智能。 1. 前言 我们在设计数据分析产品和数据可视化的时候，依据是什么？怎样设计数据分析产品才能给用户更多的业务支撑？我们做趋势预测、精准识别目的是什么？ 最近，我有些感悟分享与读者探讨、研究。 对于设计数据分析产品和数据可视化，我们首先想到的是需求，然后是业务机理。但是，在大数据、新一代人工智能高速发展的今天，对比Gartner给出数据分析咨询意见，我们不应拘泥于当前的业务场景，业务创新也可以通过新技术引领。 我们回到数据分析产品和数据可视化设计，除了需求和业务机理以外，我们不妨以金字塔思维模型来构建这样的场景。 一、目的 我们的目的是实现经济发展和利润，解决未来或当下的问题。比如新零售业务核心是围绕客户展开，解决客户发展和流速问题，是企业发展和利润的基石。 二、分析需求和识别待解决问题 分析需求是深入业务机理，重塑业务模型，以发展的眼光识别问题，解决问题。仍以新零售客户发展为例

实践目的 通过操作一个开源例子，学习大数据的架构 及基本的使用，各种概念。不涉及自编码与创新。 环境搭建 需要建立 hadoop,hbase ,spark 等大数据环境 在10.30.2.5上建立六个docker , 分别对应 s141~s146 分别用于装大数据环境，具体操作步骤 参考本人 hadoop-spark https://blog.csdn.net/dualvencsdn/article/details/112007643?spm=1001.2014.3001.5501 habase https://blog.csdn.net/dualvencsdn/article/details/112905925?spm=1001.2014.3001.5501 学会操作hbase https://blog.csdn.net/dualvencsdn/article/details/113309385?spm=1001.2014.3001.5501 flume初步学习与使用 https://blog.csdn.net/qq_1018944104/article/details/85462011 /usr/local/flume/do.sh kafka与zookeeper的使用与编程 https://blog.csdn.net/dualvencsdn/article/details

概述： flink kafka实时流计算时都是用默认的序列化和分区器，这篇文章主要介绍如何向Kafka发送消息，并自定义消息的key,value,自定义消息分区类，这里选择最新的Flink1.9.1进行讲解。 自定义序列化类KeyedSerializationSchema： 通常我们都是用默认的序列化类来发送一条消息，有时候我们需要执行发送消息的key,value值，或者解析消息体后，在消息的key或者value加一个固定的前缀，这时候我们就需要自定义他的序列化类，Flink提供了可自定的的序列化基类KeyedSerializationSchema，这里先看下他的源码，： package org .apache .flink .streaming .util .serialization ; import java .io .Serializable ; import org .apache .flink .annotation .PublicEvolving ; /** @deprecated */ @ Deprecated @PublicEvolving public interface KeyedSerializationSchema<T> extends Serializable { byte [] serializeKey ( T var1 ); byte []

友情提示：全文2000多文字，预计阅读时间8分钟 云堡垒机 一、简介 云堡垒机是移动云为用户提供的云资源安全管理平台，帮助用户更加精细的管理云上资产，实现对云上资产运维过程的事前规划、事中控制和事后审计，同时，移动云堡垒机还支持自动化运维、资产拓扑发现、工单审批等功能，帮助用户建立完善的运维管理与内控体系，建立安全、高效、可控的运维管理机制。 二、产品优势 2.1 精细化访问控制 支持对用户访问时间、IP、剪切板使用、文件传输等进行精细化管控，同时支持对指令和脚本的精准拦截，防止越权操作、误操作及恶意操作的发生。 2.2 远程会话协同 支持用户实现远程会话协同，只需创建者分享链接，参与者即可加入其中，创建者可根据自身需求实现多种应用，例如远程协助，统一培训，多方协同会话等，灵活性强，操作便捷。 2.3 异步动态授权 支持敏感指令触发工单系统进行审批复核方可执行，同时针对核心资产的访问，借鉴银行金库模型，可设置双人授权，授权人需要现场授权才能访问目标资源。 2.4 自动化运维 针对重复性的运维工作，支持预置脚本和任务，云堡垒机据此进行定期的自动化执行，并将执行结果记录下来，供运维人员查看，大大提高运维管理的效率。 三、产品功能 3.1 身份管理 云堡垒机主账号通过本地认证、AD认证、RADIUS认证等多种认证方式，将主帐号与实际用户身份一一对应，确保行为审计的一致性

移动互联网应用的高度普及，已经让移动App成为企业开展不同场景移动应用的标配。在移动互联网红利逐渐消失的今天，移动App之间的流量之争也变得异常激烈，为此，大多数的开发者和运营者正努力对移动App进行更加细化的测试和数据分析，以提升移动App的用户体验和运营效果。 在移动App测试过程中，最耗时耗力的就是在不同设备上进行测试，目前移动云测试平台已经成为测试人员进行各种测试的首要选择。为了满足不同企业和开发者对移动应用测试的需求，百度推出了百度MTC（Mobile Test Center），即百度移动云测试中心。 相比较其他移动App测试平台而言，百度移动App测试服务覆盖了移动 App 开发完整生命周期的各种测试解决方案，力求为开发者提供简单易用、快速高效的测试服务，帮助他们解决设备、人力、技术等问题。 移动App测试难度持续增加 百度云这样破局 在移动App的开发测试过程中，开发人员通常都会面临测试版本多、测试机型多、测试人员严重不足、测试时间短等诸多问题。许多开发者都试图寻找一个更加全面的测试解决方案，以开展App的功能、性能、兼容性、安全性、稳定性等的综合性测试。 尤其目前移动App的测试，不仅会给用户体验带来不小的影响，甚至还会影响到后续运营和数据分析等工作。如果能够在前期移动App测试过程中，充分考虑多样化的数据分析、用户行为洞察等，就可以为后续的移动运营提供指导。