Apache Atlas

最糟糕的是人们在生活中经常受到错误志向的阻碍而不自知，真到摆脱了那些阻碍时才能明白过来。 —— 歌德 说到UGUI的图集初学者可能觉得没什么难度，包括我刚开始接触的时候也是，甚至你在开发的时候只需要把图片导入到项目中，拖拖拽拽就能做出能用的东西来。因为UGUI刚出的时候就打出了“Unity会自动帮你维护图集”的旗号。可现实真的是这样的吗？要解释这个问题就需要从Unity4.6说起了，那我们来捋一下！ Sprite Packer 散图的加载问题 这功能是从Unity4.6版本随着UGUI的问世一起发布的，我们在做开发的时候只需要把图片导入工程，设置一下，然后在通过tag标签Unity就会自动打成图集。但是，这种方法有个问题，就是我们在运行时无法通过代码取出某张图集中的一张小图。 所以后来开发者们做了一套prefab引用sprite的解决方案，做法就是：建一个空prefab挂一个自定义脚本，脚本里有一个sprite数组，我们在编辑时把要打的图集中的sprite添加到这个sprite数组中，然后在把prefab打成bundle，这样这个bundle中的脚本就会有atlas中的Sprite的引用，我们在脚本里写一个GetSprite方法即可。这样我们在运行时加载完bundle后就可以通过脚本取出atlas里的sprite。 using System.Collections.Generic

阿里妹导读 ：当前移动互联网业务研发运维模式，云与多端互相割裂，有些全栈的探索缺乏成功案例，行业对云端一体化研发这块仍是空白，我们要思考：如何能实现 1 个研发支撑云 + android + iOS 三端的业务快速落地？是否有新的研发运维模式，让程序员回归程序？“一次编码、到处运行”是我们的答案。我们在闲鱼项目验证，原本 60 天的项目时间减少了 20 天，提效 33% 。希望阿里高级技术专家孙棋的分析能够给大家带来收获。 业务研发模式的演进 效率是业务研发运维模式演进核心驱动力 PC 互联网时代，单体应用包含前后端是最初的研发模式（淘宝经历开发人员写 velocity 模板，以及更早的 jsp、asp 页面）其实质是中心化搭火车的研发模型。 随着业务发展复杂性快速增加，赶火车的交付模式，极大的限制了业务发展，因此诞生了服务化的拆分，淘宝在 09 年的五彩石项目即基于这样的背景，微服务是一种软件架构，这背后更是一种研发模式的变革，从中心化研发模式到分布式的研发模式升级。 在业务分布式研发模式升级的同时，前后端分离研发模式也在同步的演进，从 ajax 到专业前端独立完成业务闭环，职业分工细化提效。但对前端同学而言，服务端的运维始终是其痛苦的技术门槛，以及在阿里以 Java 语言为基础的中间件生态内，一直没有很好解决。 进入移动互联网时代，客户端同样也经历同样的演进，阿里集团以

0、建初心 优秀DBA的素质 1 、人品，不做某些事情 2 、严谨，运行命令前深思熟虑，三思而后行，即使是依据select 3 、细心，严格按照步骤一步一步执行，减少出错 4 、心态，遇到灾难，首先要稳住，不慌张，不要受到旁人的影响 5 、熟悉操作系统，Linux系统的工具和命令 6 、熟悉业务 ( 开发 )，编程语言 7 、熟悉行业 8 、喜欢数据库 • 什么是数据？ 数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符号。 • 什么是数据库管理系统？ 将大量的数据规范的管理在一起的软件 • 数据库管理系统种类 关系型和非关系型 • 关系型数据库的特点 　　– 二维表 　　– 典型产品 Oracle传统企业， MySQL是互联网企业 　　– 数据存取是通过SQL 　　– 最大特点，数据安全性方面强（ACID） • NoSQL：非关系型数据库（Not only SQL） 　　– 不是否定关系型数据库，做关系型数据库的的补充。 　　– 想做老大，先学会做老二。 RDBMS与NoSQL对比 • web1.0时代 　　企业提供内容，用户浏览，所以关系型数据库够用，并发并不高，所以不需要NoSQL。 • web2.0时代 　　核心是企业提供平台，用户参与提供内容。这时关系型数据库无法满足需求了。 •

文 | 曾响铃 来源 | 科技向令说（xiangling0815） 丘陵山间，茂林深处，激流河谷……无论是闷热异常还是狂风大雨，只要有输电铁塔或电力基站的地方，常常能看到几个电力运检工人连走带爬赶来巡视。 有业内人士统计过，一名普通线路工人三十年巡线所走过的山路可绕赤道1周。 经济的发展推动输电线路密度快速上升，随之而来的是电力运检任务不断加重。点多面广的设备布局下，电力运检工人的巡查线路覆盖着许多常人不会到达的区域，在过去数十年中，除了跋山涉水，登高、野外作业等带来的人身安全风险更成为痛点。 现在，变化正在发生。 新基建浪潮下，电力作为重要的基础设施升级对象正在加速落地人工智能、物联网等前沿技术，围绕电力运检的去人工、智能化解决方案不断涌现和落地。 这其中，在华为推动的昇腾AI计算生态下，来自山东的智洋创新打造了一个基于物联网和人工智能的智能运检技术方案，已经成为业界典型案例，助力电力运检形成全新的模式。 旧有努力“差点劲”，AI推动电力运检智能化再升级 一方面因为运检任务越来越重而工人无法等比例增加，另一方面因为“断电”造成的后果越来越无法承受，传统电力企业联合外部技术服务伙伴在运检这件事上已经有过许多积极探索，与其他传统领域不一样，这里并不是一个全然没有数字化、智能化底子的场景。 但是，过去的探索，始终没有实现对传统运检的完全替代，自身也有许多不足。 例如，监测设备智能算力弱

2020年MongoDB中文社区年终大会 一起重新认识MongoDB！ （2021-1-8 上海线下） DB-Engines是对数据库管理系统的受欢迎程度进行排名的网站，近年来，MongoDB在DB-Engines 数据库流行度排行榜稳居榜单前五，在DB-Engines Ranking上Relational环抱中赫然出现一个Document。 对于MongoDB，不少朋友可能还带着疑惑： MongoDB究竟是一个怎样的存在？ 为什么MongoDB可以突破关系型的重围出现在大家的视野之中，并连续几年位居前五？ MongoDB仅仅是一个文档型数据库吗？ 跟其它数据库相比，MongoDB具有怎样的特性？ MongoDB有什么应用场景和解决方案？ 2020 跨时代的一年，MongoDB中文社区带大家重新认识 MongoDB。 01 大会速递 MongoDB,More than Document Database. 时间：2021年1月8日（星期五）9:00-17:30 地点：上海市静安区市北高新园区江场三路258号上海市大数据产业基地商务中心三楼宴会厅中厅 大会名额：200名 报名链接： http://hdxu.cn/RInMN *大会优享票：9.9元优享票，联系小芒果领取（微信ID：mongoingcom) 长按识别二维码 添加小芒果微信 并根据提示进行回复获取优惠票 添加后请备注

MySql主从复制流程 转载： http://www.cnblogs.com/nulige/p/6034301.html MySQL的主从复制是MySQL本身自带的一个功能，不需要额外的第三方软件就可以实现，其复制功能并不是copy文件来实现的，而是借助binlog日志文件里面的SQL命令实现的主从复制，可以理解为我再Master端执行了一条SQL命令，那么在Salve端同样会执行一遍，从而达到主从复制的效果。 binlog的格式： statement:记录的是修改SQL语句 row：记录的是每行实际数据的变更 mixed：statement和row模式的混合 5.0后默认是row格式，所以应该是传给slave每行数据的变更 。 复制过程有一个很重要的限制——复制在slave上是串行化的，也就是说master上的并行更新操作不能在slave上并行操作。 MySQL的主从复制是一个异步的复制过程，数据库从一个Master复制到Slave数据库，在Master与Slave之间实现整个主从复制的过程是由三个线程参与完成的，其中有两个线程(SQL线程和IO线程)在Slave端，另一个线程(IO线程)在Master端。 MySQL主从复制之前我们需要先启动Master数据库然后再启动Salve数据库，然后在Salve数据库中执行 start slave; ，执行完成之后，流程就如下了：

学习网址： https://developer.salesforce.com/docs/atlas.ja-jp.apexcode.meta/apexcode/apex_batch_interface.htm 来源： oschina 链接： https://my.oschina.net/bechange/blog/4914685

2021年1月8日，MongoDB中文社区联合MongoDB官方、锦木信息、Tapdata和华为开展2020年MongoDB中文社区年终大会。 （文末附本次大会PPT资料包） 点击下方链接 即可观看线上会议回放 http://www.itdks.com/Home/Act/apply?id=5533 大会要点回顾 会议开场由社区常委会委员、北京分会主席李丹给大家介绍社区的基本情况，MongoDB中文社区是由技术大会、技术培训、技术问答、原创博客、文档翻译和线上活动板块组成，是专注于MongoDB的技术交流平台。 MongoDB究竟是一个怎样的数据库？ 话不多说，MongoDB究竟是一个怎样的数据库？ MongoDB中文社区委员及 WiredTiger存储引擎专栏作者郭远威为我们进行整体解读： 在云数据库和NewSQL时代，该有的的核心特性MongoDB早就有了， 而且更好用！ 将集群中的分片部署成复制集，实现故障自动恢复和高可用性。 原生分布式架构，通过分片Shard实现水平弹性伸缩。 3.6的版本以后MongoDB就向ACID 4个特性的事务看齐了，所以MongoDB不仅适用于分布式数据库场景，也支持传统关系型数据库应用场景。 MongoDB多种“读参考”模式，实现灵活的读写分离。 MongoDB模式自由，类JSON格式存储（最接近真实对象模型），对开发者友好。

坑爹的东西，花了我2天时间才成功编译！主要一个问题卡的太久 - 。 -。把我的踩坑过程记录一下，希望可以帮助大家，有其他问题可以在评论区留言，我会一一解答。 一、编译环境 contOS7 JDK8 Maven 3.6 部署包：2.1.0 https://atlas.apache.org/#/Downloads mvn仓库地址： http://maven.aliyun.com/nexus/content/groups/public 编译环境不一样，问题肯能不一样。 二、安装atlas 1、 下载好包，移到/opt目录下执行tar-xzvf 进行解压,目录如下 2、进入 apache-atlas-sources-2.1.0目录，然后执行 mvn clean -DskipTests package -Pdist,embedded-hbase-solr（自带hbase和solr） 如果出现node-saas安装目录没有权限，则执行（此处我踩了2天坑，( Ĭ ^ Ĭ )） sudo mvn clean -DskipTests package -Pdist,embedded-hbase-solr 注意： root的环境变量和sudo的环境变量不一定一样的 。我就是root状态下执行命令结果安装node-saas的时候提示没权限。sudo 执行之后编译环境版本存在问题。

一、Atlas是什么？ 在当今大数据的应用越来越广泛的情况下，数据治理一直是企业面临的巨大问题。 大部分公司只是单纯的对数据进行了处理，而数据的血缘，分类等等却很难实现，市场上也急需要一个专注于数据治理的技术框架，这时Atlas应运而生。 Atlas官网地址： https://atlas.apache.org/ Atlas是Hadoop的数据治理和元数据框架。 Atlas是一组可扩展和可扩展的核心基础治理服务，使企业能够有效，高效地满足Hadoop中的合规性要求，并允许与整个企业数据生态系统集成。 Apache Atlas为组织提供了开放的元数据管理和治理功能，以建立其数据资产的目录，对这些资产进行分类和治理，并为数据科学家，分析师和数据治理团队提供围绕这些数据资产的协作功能。 Atlas支持各种Hadoop和非Hadoop元数据类型 提供了丰富的REST API进行集成 对数据血缘的追溯达到了字段级别，这种技术还没有其实类似框架可以实现 对权限也有很好的控制 ​ 二、架构原理 Atlas包括以下组件： 采用Hbase存储元数据 采用Solr实现索引 Ingest/Export 采集导出组件 Type System类型系统 Graph Engine图形引擎 共同构成Atlas的核心机制 所有功能通过API向用户提供，也可以通过Kafka消息系统进行集成