OpenSSL

美团配送数据治理实践

落爺英雄遲暮 提交于 2020-11-01 14:45:36
总第385篇 2020年 第8篇 今天,数据资产日益成为企业的核心竞争力 。但如果企业在走向数字化过程中遗忘了数据治理,可能再多的投入都会变成一种“徒劳”。 今天的文章来自美团配送数据治理团队,他们从数据治理的概念、达成的目标、何时启动数据治理以及如何开展数据治理等几个维度进行阐述,全面、系统地介绍了美团配送技术团队在数据治理过程中所进行的一些探索和实践。 背景 大数据时代的到来,让越来越多的企业看到了数据资产的价值。将数据视为企业的重要资产,已经成为业界的一种共识,企业也在快速探索应用场景和商业模式,并开始建设技术平台。 但这里要特别强调一下,如果在大数据“拼图”中遗忘了数据治理,可能再多的技术投入也是一种徒劳。因为没有数据治理这一环节,其带来后果往往是:随处可见的数据不统一,难以提升的数据质量,难以完成的模型梳理,难以保障的数据安全等等,源源不断的基础性数据问题会进一步产生,进而导致数据建设难以真正发挥其商业价值。 因此,消除数据的不一致性,建立规范的数据标准,提高数据治理能力,实现数据安全共享,并能够将数据作为企业的宝贵资产应用于业务、管理、战略决策中,发挥数据资产价值变得尤为迫切和重要,数据治理呼之欲出。本文将介绍美团配送技术团队在数据治理方面的一些探索和实践,希望能够对大家有所启发和帮助。 1. 如何理解数据治理 数据治理

SSH编译安装升级

a 夏天 提交于 2020-11-01 13:51:51
1.在官网下载源码http://www.openssh.com/ 依次点击进行下载 随意选择一个下载地址 选择合适版本下载 2.将源码包上传到服务器,解压,进入解压后的目录 3.执行./configure,有如下报错,表示没有安装编译器,于是用yum安装编译器gcc 继续执行./configure,有如下报错,于是yum安装zlib 继续执行./configure,有如下报错,需要yum安装openssl-devel 重新执行./configure,出现了如下内容,这次成功了,执行make 编译完毕,执行make install开始安装 安装完成,查看版本,发现还是安装之前的版本 是不是有点郁闷?不要急,升级完需要重启下ssd服务,如果重启sshd后还是没有显示升级后的版本,则重启下主机试试(你看,可以了,我这里就是重启主机后升级才生效的,之前是只重启了下sshd服务就可以,可能是和要升级的版本有关系吧) 来源: oschina 链接: https://my.oschina.net/u/4348626/blog/4698046

PowerShell禁止执行脚本解决方法

寵の児 提交于 2020-11-01 06:28:53
无法加载文件 C:\***.p s1,因为在此系统中禁止执行脚本。有关详细信息,请参阅 "get-help about_signing"。 所在位置 行:1 字符: 18 + .\checkEvents.ps1 <<<< + CategoryInfo : NotSpecified: (:) [], PSSecurityException + FullyQualifiedErrorId : RuntimeException 详细说明 Restricted 执行策略不允许任何脚本运行。 AllSigned 和 RemoteSigned 执行策略可防止 Windows PowerShell 运行没有数字签名的脚本。 允许运行签名脚本 首次在计算机上启动 Windows PowerShell 时,现用执行策略很可能是 Restricted(默认设置)。 Restricted 策略不允许任何脚本运行。 若要了解计算机上的现用执行策略,请键入: get -executionpolicy 若要在本地计算机上运行您编写的未签名脚本和来自其他用户的签名脚本,请使用以下命令将计算机上的 执行策略更改为 RemoteSigned,然后重新运行**.ps1,就可以了 set -executionpolicy remotesigned 来源: oschina 链接: https://my.oschina

expect

谁说胖子不能爱 提交于 2020-10-31 06:01:48
linux expect 详解 (ssh 自动登录 ) shell脚本实现ssh自动登录远程服务器示例: #!/usr/bin/expect spawn ssh root@192.168.22.194 expect "*password:" send "123\r" expect "*#" interact Expect是一个用来处理 交互 的命令。借助Expect,我们可以将交互过程写在一个脚本上,使之自动化完成。形象的说,ssh登录,ftp登录等都符合 交互 的定义。下文我们首先提出一个问题,然后介绍基础知四个命令,最后提出解决方法。 问题 如何从机器A上ssh到机器B上,然后执行机器B上的命令?如何使之自动化完成? 四个命令 Expect中最关键的四个命令是send,expect,spawn,interact。 send:用于向进程发送字符串 expect:从进程接收字符串 spawn:启动新的进程 interact:允许用户交互 1. send 命令 send命令接收一个字符串参数,并将该参数发送到进程。 expect1.1> send "hello world\n" hello world 2. expect 命令 (1) 基础知识 expect命令和send命令正好相反,expect通常是用来等待一个进程的反馈。expect可以接收一个字符串参数

MD5摘要

寵の児 提交于 2020-10-30 19:59:46
MD5简介 MD5即Message-Digest Algorithm 5(信息-摘要算法),属于摘要算法,是一个不可逆过程,就是无论多大数据,经过算法运算后都是生成固定长度的数据,结果使用16进制进行显示的128bit的二进制串。通常表示为32个十六进制数连成的字符串。 MD5有什么用? 用于确保信息传输完整一致。是计算机广泛使用的杂凑算法之一(又译摘要算法、哈希算法),主流编程语言普遍已有MD5实现。 更多用在文档校验上,用来生成密钥检测文档是否被篡改。 理论上MD5是不可逆的,而且MD5本来也不是作加密使用,而是用来校验数据的完整性。譬如,我们用迅雷下载电影,就有个MD5校验: 平时,我们在 云盘 上,秒传文件,可以通过MD5校验实现: 客户端在上传文件之前将文件的MD5码上传到服务器 服务器端判断是否已存在此MD5码(MD5校验),如果存在,说明该文件已存在,则此文件无需再上传,在此文件的计数器加1,说明此文件多了一个用户共用 如果服务器没有此MD5码,说明上传的文件是新文件,则真正上传此文件 只是因为其不可逆且稳定、快速的特点,被广泛用于对明文密码的加密。 但是简单密码来说,破解者完全可以将一定范围内的密码字典全部计算出来之后存为数据库,之后直接查询进行破解。 用户重要信息(如密码)不应该明文保存到数据库,可以通过MD5加密后再保存: 所谓加密:

只需15分钟!阿里教你开发视觉AI应用!(附网盘链接)

纵然是瞬间 提交于 2020-10-30 17:00:38
今天分享给大家的是阿里15分钟教你开发视觉AI应用, 文末有网盘链接 一、视觉开放平台简介 二、开发前准备 步骤一:开通阿里云视觉智能开放平台 步骤二:开通OSS服务 步骤三:创建密钥并安装Java SDK 三、人脸识别实战教程 1.背景信息 2.前提条件 3.人脸属性识别 4.人体计数 5.人脸搜索 四、口罩识别实战教程 1.前提条件 2.人脸搜索 五 、图片内容安全实战教程 1.背景信息 2.前提条件 3.图片内容安全 点击链接获取完整文档 链接: https://pan.baidu.com/s/1JcIPIco29xxLrm2xV_m_Jg 提取码:p19a ※部分文章来源于网络,如有侵权请联系删除;更多文章和资料|点击后方文字直达 ↓↓↓ 100GPython自学资料包 阿里云K8s实战手册 [阿里云CDN排坑指南] CDN ECS运维指南 DevOps实践手册 Hadoop大数据实战手册 Knative云原生应用开发指南 OSS 运维实战手册 云原生架构白皮书 Zabbix企业级分布式监控系统源码文档 10G大厂面试题戳领 来源: oschina 链接: https://my.oschina.net/u/4601114/blog/4696362

Centos7部署k8s[v1.16]高可用[keepalived]集群

泪湿孤枕 提交于 2020-10-30 06:04:23
实验目的 一般情况下,k8s集群中只有一台master和多台node,当master故障时,引发的事故后果可想而知。 故本文目的在于体现集群的高可用,即当集群中的一台master宕机后,k8s集群通过vip的转移,又会有新的节点被选举为集群的master,并保持集群的正常运作。 因本文体现的是master节点的高可用,为了实现效果,同时因资源条件限制,故总共采用4台服务器完成本次实验,3台master,1台node。 看到这也需有人有疑惑,总共有4台机器的资源,为啥不能2台master呢?这是因为通过kubeadm部署的集群,当中的etcd集群默认部署在master节点上,3节点方式最多能容忍1台服务器宕机。如果是2台master,当中1台宕机了,直接导致etcd集群故障,以至于k8s集群异常,这些基础环境都over了,vip漂移等高可用也就在白瞎。 环境说明 基本信息 # 主机列表 10.2.2.137 master1 10.2.2.166 master2 10.2.2.96 master3 10.2.3.27 node0 # 软件版本 docker version:18.09.9 k8s version:v1.16.4 架构信息 本文采用kubeadm方式搭建集群,通过keepalived的vip策略实现高可用,架构图如下:    # 主备模式高可用架构说明 a

Postman-关于设置

送分小仙女□ 提交于 2020-10-29 20:41:51
用Postman的时候由于没有中文版,所以想设置的完全符合自己的使用习惯不太容易,于是找了下关于设置的使用并转载记录一下,链接:https://www.jianshu.com/p/518ab60ebef7 一、进入设置 在Postman应用程序的标题工具栏中,点击扳手图标,然后选择设置(Settings)打开SETTINGS窗口。您还可以使用键盘快捷键(CMD / CTRL +,)打开设置窗口。 二、常规设置(General Settings) Postman尽量减少必须更改的设置数量,因此我们建立了一些默认设置。但是,考虑到用例的多样性,如果您需要进行调整,那么如下: 1. 在请求中装饰键和值(Trim keys and values in request body) : 如果使用表单数据(form-data )或网址编码(url-encoded)模式将数据发送到服务器,将其切换为ON将导致任何参数被装饰。 2. SSL证书验证(SSL certificate verification) (仅限本机应用程序):防止应用程序在发出请求时检查SSL证书的有效性。详细了解管理客户端证书。 3. 语言检测(Language detection) : 将此设置为JSON将强制JSON呈现,而不管Content-Type标题的响应。 4. XHR超时(ms)

Redis集群教程

瘦欲@ 提交于 2020-10-29 16:57:12
Redis集群教程 本文档是对Redis Cluster的简要介绍,其中没有使用难以理解的分布式系统概念。 它提供了有关如何设置集群,测试和操作集群的说明,而没有涉及Redis集群规范中涵盖的细节,而只是从用户的角度描述了系统的行为。 但是,本教程尝试从最终用户的角度提供有关Redis Cluster的可用性和一致性特征的信息,并以一种易于理解的方式进行陈述。 请注意,本教程需要Redis 3.0或更高版本。 如果您打算运行认真的Redis Cluster部署,则建议您阅读更为正式的规范,即使并非严格要求也是如此。 但是,最好从本文档开始,与Redis Cluster一起玩一些时间,然后再阅读规范。 Redis集群101 Redis Cluster提供了一种运行Redis安装的方法,在该安装中,数据会在多个Redis节点之间自动分片。 Redis Cluster在分区期间还提供了一定程度的可用性,这实际上就是在某些节点出现故障或无法通信时继续操作的能力。 但是,如果发生较大故障(例如,大多数主服务器不可用时),群集将停止运行。 因此,实际上,Redis Cluster能带来什么? 自动在多个节点之间拆分数据集的能力。 当一部分节点出现故障或无法与其余群集通信时,可以继续操作。 Redis群集TCP端口 每个Redis群集节点都需要打开两个TCP连接。用于服务客户端的常规Redis

Jumpserver堡垒机简单配置,管理Windows及Linux系统

≯℡__Kan透↙ 提交于 2020-10-29 11:17:17
Jumpserver 是一款由python编写完全开源的跳板机(堡垒机)系统,实现了跳板机应有的功能。基于ssh协议来管理,客户端无需安装agent。此文简要介绍实际操作时,简单配置过程。 Jumpserver基于CentOS7安装,可参考⬇️ CentOS7一步步安装Jumpserver堡垒机(官方教程版) 创建Jumpserver用户 1.点击页面左侧"用户列表"菜单下的"用户列表", 进入用户列表页面 2.点击页面左上角"创建用户"按钮, 进入创建用户页面, (也可以通过右上角导入模版进行用户导入) 3.其中, 用户名即 Jumpserver 登录账号(具有唯一性, 不能重名)。名称为页面右上角用户标识(可重复) 4.成功提交用户信息后, Jumpserver 会发送一条设置"用户密码"的邮件到您填写的用户邮箱 5.点击邮件中的设置密码链接, 设置好密码后, 您就可以用户名和密码登录 Jumpserver 了。 6.用户首次登录 Jumpserver, 会被要求完善用户信息, 按照向导操作即可。 添加用户 编辑资产树并创建资产 "节点"不能重名, 右击节点可以添加、删除和重命名节点, 以及进行资产相关的操作 注:如果有 linux 资产和 windows 资产, 建议先建立 Linux 节点与 Windows 节点, 不然"授权"时不好处理 资产树 点击页面左侧的"资产管理