Apache Griffin

数据质量监控工具-Apache Griffin

时光怂恿深爱的人放手 提交于 2020-12-06 08:38:16
[TOC] 一、概述 随着业务发展和数据量的增加,大数据应用开发已成为部门应用开发常用的开发方式,由于部门业务特点的关系,spark和hive应用开发在部门内部较为常见。当处理的数据量达到一定量级和系统的复杂度上升时,数据的唯一性、完整性、一致性等等校验就开始受到关注,而通常做法是根据业务特点,额外开发job如报表或者检查任务,这样会比较费时费力。 目前遇到的表大部分在几亿到几十亿的数据量之间,并且报表数量在不断增加,在这种情况下,一个可配置、可视化、可监控的数据质量工具就显得尤为重要了。Griffin 数据质量监控工具正是可以解决前面描述的数据质量问题的开源解决方案。 二、Apache Griffin Griffin起源于eBay中国,并于2016年12月进入Apache孵化器,Apache软件基金会2018年12月12日正式宣布Apache Griffin毕业成为Apache顶级项目。 Griffin是属于模型驱动的方案,基于目标数据集合或者源数据集(基准数据),用户可以选择不同的数据质量维度来执行目标数据质量的验证。支持两种类型的数据源:batch数据和streaming数据。对于batch数据,我们可以通过数据连接器从Hadoop平台收集数据。对于streaming数据,我们可以连接到诸如Kafka之类的消息系统来做近似实时数据分析。在拿到数据之后

我用飞桨Parakeet仅六步实现了一个语音合成模型

感情迁移 提交于 2020-09-30 15:18:06
【 飞桨 开发者说】顾茜,PPDE 飞桨 开发者技术专家,烟草行业开发工程师,毕业于厦门大学数学科学学院,研究方向为:人工智能在烟草行业的应用。 ​ 该项目使用WaveFlow(Github地址: https://github.com/ PaddlePaddle /Parakeet/blob/develop/examples/waveflow/train.py)作为语音合成模型示例任务,并结合Transformer TTS验证语音合成效果。 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu Parakeet是 飞桨 近期上新的语音合成套件,用于实现端到端的语音合成 。如果您使用过各类读书app或者某些浏览器、插件的朗读功能,这些都是典型的TTS(Text To Speech)场景。本项目将使用WaveFlow语音合成模型完成相关任务,并结合Transformer TTS验证语音合成效果,比如输入“Hello World”,文字转语音效果如下。 WaveFlow模型介绍

物联网开发中加强安全性的4种优秀方法

烈酒焚心 提交于 2020-07-26 21:56:13
云栖号资讯:【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 在物联网行业中有一个笑话,说是物联网中的S是代表安全。虽然这只是一个笑话,但在很多厂商生产物联网设备时并没有考虑到安全性。 这是一个严重的问题,因为行业专家预计2020年将有2140万个智能音箱投入使用。而这一趋势将会持续下去。而谷歌搜索平台至少有20%的搜索是通过语音助理进行的, 22%的美国人表示购买了物联网智能音箱。 迄今为止,物联网设备生产商已经在安全性方面进行了权衡,以使其产品更快地投放市场。但是如今,物联网产品的安全性日益受到关注,人们非常关注企业如何管理用户的个人信息。 欧盟通用数据保护条例(GDPR)的实施是当今影响企业并继续影响个人信息安全的重要事件之一。根据欧盟通用数据保护条例(GDPR),在收集个人信息时没有获得同意的企业将面临其全球收入最高4%的罚款或2000万欧元(以数额较高者为准)的处罚。并且可以肯定的是,没有在物联网设备中加强安全性的企业将来可能会遭受巨大冲击。 那么如何在物联网设备开发中增加安全性呢?值得庆幸的是,还有许多解决方案可以提供安全性。最好将安全性作为开发过程的一部分,而不是导致技术债务,这使得未来的产品更改极其困难。 当物联网出现安全问题时,可以看到现实损害。除了可能侵犯个人隐私之外,还可能对公共基础设施进行网络攻击。例如

在 Git 中写下 master 的开发者反省“错误”,这些计算机术语错了吗?

匆匆过客 提交于 2020-07-24 05:01:54
6月17日,最初在 Git 中写下“master”一词 的开发者 Petr Baudis 在社交网站上说, “当我说话时,是给别人听的,而不是给我自己听的。” 意指当年不该使用“master”这个可能给别人造成伤害的词语。 Petr Baudis 2005年参与编写 Git 时,选择了“master”(和“origin”),他曾多次希望可以改成“main”(和“ upstream” )。直到现在,才由 GitHub 开始主导替换工作。 这几天, GitHub 首席技术官 Billy Griffin 也在社交网站上忙着回帖。他的大多数回复都在表达一个意思:谢谢您的意见,我们非常同意,并且 我们已经开始着手将 master 替换成 main 。 他们发表上述言论的直接原因是,6月12日, 推特用户 Una Kravets 喊话 GitHub,建议把 Git 中默认分支名字 “master” 改成 “main”。随后,GitHub CEO 称赞了这个提议,并在评论区@ Billy Griffin。 紧接着,更多人提出自己的意见,参与讨论。Billy Griffin 开始一遍遍回应:我们在改了、我们在改了…… Petr Baudis 则说要去研究计算机术语“master/slave”的历史。 GitHub 不是第一个在公众的监督下,换掉 “ master”的主体,也不会是最后一个。

「网易官方」极客战记(codecombat)攻略-网页开发1-头条新闻-headliner

主宰稳场 提交于 2020-04-26 11:39:41
(点击图片进入关卡) 使用标题标签标记内容,为了每个人都知道接下来发生什么。 简介 <h1> , <h2> 和 <h3> 标签用于定义标题。 它们适用于标注内容。 默认代码 <!-- 标头标签用于标注内容。--> <!-- <h1>标签用于页面标题。 --> <!-- <h2>到<h4>标记是子标题。--> <h1>[What?]</h1> <!-- ∆ 将此行更改为任何内容--> <h2>Ogreball</h2> <!-- 添加另一个带有运动名称的<h2>! --> 概览 #标头标签 标题是标记内容的一种方式。 使用 <h1> , <h2> 和 <h3> 标签添加标题。 这些是开放和关闭的标签,因此包括像</h1> 这样的结束标签。 <h1> tBest Game </h1> <p> CodeCombat has ogres! Ogres are blue and stomp around angrily. I beat up ogres and get experience for winning. </p> 头条新闻 解法 <!-- 标头标签用于标注内容--> <!-- <h1>标签用于页面标题。--> <!-- <h2>到<h4>标记是子标题。--> <h1>[What?]</h1> <!-- ∆ 将此行更改为任何内容。--> <h2>Ogreball</h2> <!-

「网易官方」极客战记(codecombat)攻略-网页开发1-头条新闻headliner

孤街浪徒 提交于 2020-03-12 17:04:15
使用标题标签标记内容,为了每个人都知道接下来发生什么。 简介 <h1> , <h2> 和 <h3> 标签用于定义标题。 它们适用于标注内容。 默认代码 <!-- 标头标签用于标注内容。--> <!-- <h1>标签用于页面标题。 --> <!-- <h2>到<h4>标记是子标题。--> <h1>[What?]</h1> <!-- ∆ 将此行更改为任何内容--> <h2>Ogreball</h2> <!-- 添加另一个带有运动名称的<h2>! --> 概览 #标头标签 标题是标记内容的一种方式。 使用 <h1> , <h2> 和 <h3> 标签添加标题。 这些是开放和关闭的标签,因此包括像</h1> 这样的结束标签。 <h1> tBest Game </h1> <p> CodeCombat has ogres! Ogres are blue and stomp around angrily. I beat up ogres and get experience for winning. </p> 头条新闻 解法 <!-- 标头标签用于标注内容--> <!-- <h1>标签用于页面标题。--> <!-- <h2>到<h4>标记是子标题。--> <h1>[What?]</h1> <!-- ∆ 将此行更改为任何内容。--> <h2>Ogreball</h2> <!-

关键两步+6个要点,让Windows应用程序享有K8S的绝佳优势

落爺英雄遲暮 提交于 2020-02-26 02:52:39
本文来自 Rancher Labs 前 言 实际上,没有一个迁移路径能够适用于将所有传统应用程序迁移到云。这些应用程序通常在物理机、虚拟机或本地。虽然一般情况下是重新设计应用程序架构以适用云原生服务,但这并非是唯一的答案。将一个现有的应用程序的架构重新构建为微服务架构或云原生架构会面临诸多挑战,如重构成本、复杂性以及应用程序的依赖性。 虽然将应用程序的架构现代化有诸多好处,但许多组织仍在Windows 2003 Servers上运行现有服务。而微软不再支持Windows 2003为此带来了一些挑战。首先,人们不得不开始决定要如何处理这些应用程序,特别是Windows 2008的生命周期也即将结束。 许多企业想要迁移到现代架构中,期望以此能让他们的应用程序获得复杂性、安全性和可用性。而容器提供了使应用程序现代化并将其移至云原声服务的灵活性。在本文中,我们将重点介绍能够迁移到容器的应用程序,一般是.Net、Web、SQL和其他没有依赖性但在Windows2003上运行的应用程序。你可以无需更改代码就能将这些应用程序迁移到容器,并且使它们在将来具备可移植性。你将会享受到在Kubernetes上运行容器的好处,如可编排、可用性、更高的弹性伸缩和密度。 请注意:不是所有的应用程序和服务都能运行在容器中。有些应用程序存在核心依赖项(如数据库、存储需求等),这些都需要解决。此外