Deploy

阅读目录 序 集群搭建 监控 系列索引 本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文链接，谢谢合作。 文章是哥(mephisto)写的， SourceLink 序 　　上一篇，我们把Ambari的环境基本搭建好了，那么我们趁热打铁，打造我们的第一个HDP集群，这样，离我们下一步就越来越近了，在安装中还是会碰到很多想不到的情况的。所以，注意分析，找到解决方法很重要。 　　对了，这里我们还是多搭建了一个机器H34,怕集群机器不够。大家按照原来的步骤在做一个吧。 集群搭建 一：登陆 　　使用我们设置的Ambari服务器登陆，还记得么，在H30上面。 二：主界面 　　我们看到圈起来的地方就是我们要搭建集群的地方。 三：新建集群 　　这里，我们使用MyCluster作为我们第一个集群的名称。 四：选择HDP版本和源 　　我们当然选择最新的HDP2.3，玩就玩最新的，要不老是在别人后面，多不好啊。 　　这里我们得设置HDP和 HDP-UTILS的源，我们已经搭建好了仓库，可以直接使用本地源了。 五：将SSH私有Key放到本机 　　由于是页面登陆，当然如果H30开启了GUI界面，是可以不用这个操作的。 　　目前我们使用的没有GUI界面的Linux，所以，得在浏览器使用的机器上能使用的到ssh private key。 　　过程很简单，就不上图了。 六

前几期阿牛 ger主讲了代码编码规范，整洁规范的代码有利于我们查询和再次开发，也方便我们检测与修复bug！这期，阿牛ger主要与大家分享数据库编码配置： 数据库配置 Niushop数据库配置方式与thinkphp相同，文件路径：config/database.php <?php use think\facade\Env; return [ // 默认使用的数据库连接配置 'default' => 'mysql', // 自定义时间查询规则 'time_query_rule' => [], // 自动写入时间戳字段 // true为自动识别类型 false关闭 // 字符串则明确指定时间字段类型 支持 int timestamp datetime date 'auto_timestamp' => true, // 时间字段取出后的默认时间格式 'datetime_format' => 'Y-m-d H:i:s', // 数据库连接配置信息 'connections' => [ 'mysql' => [ // 数据库类型 'type' => 'mysql', // 服务器地址 'hostname' => '******', // 数据库名 'database' => '****', // 用户名 'username' => '*****', // 密码 'password' => '*

spring cloud服务提供者接口迭代兼容策略 接口表现形式 传统接口形式的兼容（java、feign级别的兼容），如public ReturnType methodName(Params...){...return object;}； http请求形式的兼容，比如uri、method等等 解决方式 当只需要修改接口实现，不需要修改接口表现形式时，且接口语义没有发生变化，这种情况下可以无感知升级（不需要通知其他人或团队，因为没必要【这时候表现形式与实现分离，只改动实现就是无感知的原因】）； 当接口语义发生变化或接口形式发生变化时，通过以下两个步骤来平滑升级： 通过升级客户端jar的版本号，保持编译时的接口兼容； 通过新增接口（并同时给旧接口标注 @Deprecated 注解表示未来会下线/删除）的形式，保持运行时的接口调用兼容 另外，删除旧接口，可通过发公告、邮件甚至口头等方式通知其他人或团队整改，迁移到新接口，最后一道防线，通过流量监控等方式确保没有调用方使用旧接口了，这时候才敢下线标注了 @Deprecated 的过时陈旧接口。 原则 只新增、删除接口，修改接口实现（语义未发生重大变化时）这三种情况。 具体实施 一、当不需要升级客户端jar版本时（SNAPSHOT）： mvn clean install deploy ； 通知服务调用方强制刷新SNAPSHOT包的缓存（可选

基本的docker使用参考： Docker 入门 到部署Web 程序- (阿里面试常用的docker命令和优点) 昨天去阿里面试 问我如果给你5台服务器 如何部署docker,我说一个个拷贝，面试官听了脸都绿了， 说有没有听说过用swarm和compose 部署docker集群，我说没用过， 后来回来一看自己的项目，我晕，每天用的yaml文件 就是 compose。 赶紧做一下总结：阿里的人喜欢让你写命令，比如 你是否记得 docker的部署命令启动命令之类的： 5. 部署与维护 docker stack 部署命令: docker stack deploy -c docker-compose.yml --with-registry-auth youclk， 私有仓库必须加 --with-registry-auth 才能下载镜像。除此之外常用的如下： # network volume service secret 用法都类似，同出一系嘛... docker stack ls docker stack ps youclk docker stack rm youclk docker service 我使用 Compose 的场景一般都结合 Swarm，因此很少去记手动创建或者更改配置的命令了，意义也不大。除了查看移除等与上文相似以外，此处还应记两个: docker service

重启suite 全部都在Master节点操作 查看suite namespace, 进入/opt/kubernetes/bin ， 获取对应的itsma na 名称如下： kubectl get ns 结果如下： [10.225.50.90][root@cnsd2sapwill003 bin]# kubectl get ns NAME STATUS AGE core Active 176d default Active 176d itsma-hdtup Active 176d kube-node-lease Active 176d kube-public Active 176d kube-system Active 176d 停止Suite ./cdfctl.sh runlevel set -l DOWN -n itsma-hdtup 启动Suite ./cdfctl.sh runlevel set -l UP -n itsma-hdtup 对应结果如下： NAME READY STATUS RESTARTS AGE auth-7d6bf797c4-t2k5k 2/2 Running 0 27m autopass-lm-v2-76cbc87f74-4vwgb 2/2 Running 0 27m idm-78fcddccf-rzc64 2/2 Running 0 27m infra

作者：张丰哲 www.jianshu.com/p/20b39ab6a88c 在如今的互联网项目开发当中，特别是Java领域，可以说Maven随处可见。Maven的仓库管理、依赖管理、继承和聚合等特性为项目的构建提供了一整套完善的解决方案，可以说如果你搞不懂Maven，那么一个多模块的项目足以让你头疼，依赖冲突就会让你不知所措，甚至搞不清楚项目是如何运行起来的.... OK，博主就曾经被Maven“伤害”过，那么该专题的目的就是：彻底搞定Maven！ 回想一下，当你新到一家公司，安装完JDK后就会安装配置 Maven （MAVEN_HOME、path），很大可能性你需要修改settings.xml文件，比如你会修改本地仓库地址路径，比如你很可能会copy一段配置到你的settings.xml中（很可能就是私服的一些配置）。 接下来，你会到IDEA或者Eclipse中进行Maven插件配置，然后你就可以在工程中的pom.xml里面开始添加 标签来管理jar包，在Maven规范的目录结构下进行编写代码，最后你会通过插件的方式来进行测试、打包（jar or war）、部署、运行。 上面描述了我们对Maven的一些使用方式，下面我们进行一些思考： 1. 本地仓库？Maven到底有哪些仓库？它们什么关系？ Maven仓库 本地仓库路径配置 你要jar包，不可能每次都要联网去下载吧，多费劲

古诗词是中国文化殿堂的瑰宝，记得曾经在韩国做 Exchange Student 的时候，看到他们学习我们的古诗词，有中文的还有翻译版的，自己发自内心的骄傲，甚至也会在某些时候背起一些耳熟能详的诗词。 本文将会通过深度学习为我们生成一些古诗词，并将模型部署到 Serverless 架构上，实现基于 Serverless 的古诗词生成 API。 项目构建 古诗词生成实际上是文本生成，或者说是生成式文本。关于基于深度学习的文本生成，最入门级的读物包括 Andrej Karpathy 的博客。他使用例子生动讲解了 Char-RNN (Character based Recurrent Neural Network) 如何用于从文本数据集里学习，然后自动生成像模像样的文本。 上图直观展示了 Char-RNN 的原理。以要让模型学习写出「hello」为例，Char-RNN 的输入输出层都是以字符为单位。输入「h」，应该输出「e」；输入「e」，则应该输出后续的「l」。 输入层我们可以用只有一个元素为1的向量来编码不同的字符，例如，「h」被编码为「1000」、「e」被编码为「0100」，而「l」被编码为「0010」。使用 RNN 的学习目标是，可以让生成的下一个字符尽量与训练样本里的目标输出一致。在图一的例子中，根据前两个字符产生的状态和第三个输入「l」预测出的下一个字符的向量为 <0.1, 0

验证码识别是搞爬虫实现自动化脚本避不开的一个问题。通常验证码识别程序要么部署在本地，要么部署在服务器端。如果部署在服务器端就需要自己去搭建配置网络环境并编写调用接口，这是一个极其繁琐耗时的过程。 本文来自 Serverless 社区用户「乂乂又又」供稿 但是现在我们通过腾讯云云函数 SCF，就可以快速将本地的验证码识别程序发布上线，极大地提高了开发效率。 效果展示 可以看到，识别效果还是蛮好的，甚至超过了肉眼识别率。 操作步骤 传统的验证码识别流程是 图像预处理（灰化，去噪，切割，二值化，去干扰线等） 验证码字符特征提取（SVM，CNN 等） 验证码识别 下面我就带大家一起来创建、编写并发布上线一个验证识别云函数 第一步：新建 python 云函数 参见系列文章 《万物皆可Serverless之使用 SCF+COS 快速开发全栈应用》 第二步：编写验证识别云函数 Life is short, show me the code. 这里我就以一个最简单的验证码识别程序为例，直接上代码 import io import os import time from PIL import Image as image import json #字符特征 chars = { '1': [1, 1, 1, 0, 1, ...], '2': [1, 0, 0, 1, 0, ...], '3': [0,

2020年8月PyCaret2.1 更新版本正式发布。 Py Caret是一个开源的、低代码率的Python机器学习库，它可以使机器学习工作流程自动化，同时，它也是一个端到端的机器学习和模型管理工具，可以缩短机器学习实验周期，将生产力提高10倍。 与其他开源机器学习库相比，Py Caret是低代码库的一个很好的选择，只利用几个单词，便可以用它来替换数百行代码，从而使得实验快速高效。 如果以前没有听到或使用过PyCaret，请参阅先前发布的指南，以便快速入门。 安装PyCaret 安装Py Caret非常容易，只需要几分钟的时间。建议使用虚拟环境来避免与其他库的潜在冲突。请参阅下面的示例代码，以创建Conda环境并在该Conda环境中安装pycaret： #创建conda环境 conda create --name yourenvname python=3.6 #激活环境 conda activate yourenvname #安装pycaret pip install pycaret #创建与conda环境链接的notebook内核 python -m ipykernel install --user --name yourenvname --display-name "display-name" 如果已经安装好了PyCaret，还可以使用pip对它更新： pip install

> 前面两篇说了一下 Wiki 系统的选择和 docsify 的部署和配置，这一篇说一下「我的 Wiki」。 我的 Wiki 只写自己用到的，用不到的写了用处也不大，而且只有用得到的东西才能学会。 > 掘墓人的 Wiki： https://wiki.juemuren4449.com 当前模块 我的 Wiki 目前有以下几个模块： CentOS：对外开放端口、定时任务和程序自启动。 Docker：环境搭建。 Mac：环境变量配置、软件推荐、Homebrew 和疑难杂症。 NPM：安装和修改源。 博客推荐：博客、公众号、视频博客和微博推荐。 佳软推荐：各种好用的软件推荐。 奇怪的知识：奇怪的知识又增加了。 目前模块还不算多，还在不断整理和积累。 待添加模块 技术方面： shell 脚本 yum 命令使用 Nginx 安装及使用 Linux 下 Java、Maven 等安装 技术的内容，用到了就得记录下来，不然下次还是想不起来，有个地方把这些知识点记录下来，查询起来方便太多了，这也是我搭建自己的 Wiki 的初衷。 生活方面： 生活好物推荐 生活小技巧 目前我的 Wiki 主要是技术相关的内容，但是我的设想是，不仅要包含「技术」，还要有「生活」的东西，毕竟我博客的 slogan 是「记录生活，分享技术」。 博客和Wiki > 为什么有了博客还要搭 Wiki 呢？ 在我看来