Deploy

一、需要在pom.xml文件添加plugin 项目目录结构 pom.xml 1 <build> 2 <plugins> 3 4 <plugin> 5 <artifactId>maven-assembly-plugin</artifactId> 6 <version>2.6</version> 7 <configuration> 8 <!--G:\IdeaWorkspace\sic_platform\probe\chromProbe\src\assembly\assembly.xml--> 9 <!--描述文件路径--> 10 <descriptor>src/assembly/assembly.xml</descriptor> 11 <!-- 生成的tar.gz文件的名字,如果没有设置就默认用pom文件里的artifactId+version--> 12 <finalName>${project.name}-${project.version}</finalName> 13 <!--属性控制是否在生成的打包文件的文件名中包含assembly id--> 14 <appendAssemblyId>false</appendAssemblyId> 15 </configuration> 16 <executions> 17 <execution> 18 <id>make-assembly

mysql 收集静态文件 nginx配置 # For more information on configuration, see: # * Official English Documentation: http: // nginx.org/en/docs/ # * Official Russian Documentation: http: // nginx.org/ru/docs/ user root; worker_processes 4 ; error_log / var /log/nginx/ error.log; pid / var /run/ nginx.pid; events { worker_connections 1024 ; } http { log_format main ' $remote_addr - $remote_user [$time_local] "$request" ' ' $status $body_bytes_sent "$http_referer" ' ' "$http_user_agent" "$http_x_forwarded_for" ' ; access_log / var /log/nginx/ access.log main; sendfile on; tcp_nopush on; tcp_nodelay on;

点击关注上方“ Java大数据编程学习 ”，设为“置顶或星标”，第一时间送达技术干货。 作者丨张丰哲 www.jianshu.com/p/20b39ab6a88c 在如今的互联网项目开发当中，特别是Java领域，可以说Maven随处可见。Maven的仓库管理、依赖管理、继承和聚合等特性为项目的构建提供了一整套完善的解决方案，可以说如果你搞不懂Maven，那么一个多模块的项目足以让你头疼，依赖冲突就会让你不知所措，甚至搞不清楚项目是如何运行起来的.... OK，博主就曾经被Maven“伤害”过，那么该专题的目的就是：彻底搞定Maven！ 回想一下，当你新到一家公司，安装完JDK后就会安装配置Maven（MAVEN_HOME、path），很大可能性你需要修改settings.xml文件，比如你会修改本地仓库地址路径，比如你很可能会copy一段配置到你的settings.xml中（很可能就是私服的一些配置）。 接下来，你会到IDEA或者Eclipse中进行Maven插件配置，然后你就可以在工程中的pom.xml里面开始添加<dependency>标签来管理jar包，在Maven规范的目录结构下进行编写代码，最后你会通过插件的方式来进行测试、打包（jar or war）、部署、运行。 上面描述了我们对Maven的一些使用方式，下面我们进行一些思考： 1. 本地仓库？Maven到底有哪些仓库

在整个加密货币市场的市值超过7000亿美元之后，加密货币市场在过去几个月太疯狂了，但这只是一个开始。随着区块链系统的不断发展和扩展，进入这一新领域并利用这项技术的一个好方法是使用去中心化应用程序，也称为dApps。 CryptoKitties 以其使以太坊区块链拥挤而闻名，是dApp的一个很好的例子，它将可养殖和可收藏的概念与区块链相结合。这个耸人听闻的游戏只是一个创造性的例子，几乎有无限的机会。 虽然看似非常复杂，但已经开发出某些框架和工具来抽象你与区块链和智能合约的交互。在这篇博文中，我将通过一种方式在以太坊上创建一个去中心化的投票应用程序。我将简要介绍以太坊，但你可能应该对它有所了解，以便充分利用本指南。另外，我希望你知道Javascript。 为什么要开发去中心化投票应用？ 从本质上讲，利用区块链技术的去中心化应用程序允许你在没有可信赖的第三方的情况下执行与今天相同的操作（如转移资金）。最好的dApp具有特定的真实世界的用例，以便利用区块链的独特特征。 从本质上讲，区块链是一个共享的，可编程的，加密安全的，可信赖的分类账本，没有任何一个用户可以控制，任何人都可以查询。- Klaus Schwab 即使投票应用对大家来说可能不是一个伟大的应用程序，但是我选择使用它作为本指南，这是因为区块链解决的主要问题：透明度，安全性，可访问性，可信任，是困扰当前民主选举的主要问题。

作者 | 宋文龙（闻可） 阿里云全球技术服务部高级交付专家 来源 | Serverless 公众号 什么是无服务计算 无服务器计算（Serverless Computing）在构建和运行应用时无需管理服务器等基础设施。它描述了一个细粒度的部署模型，在该模型中，应用被拆解为一个或多个细颗粒度的函数，在云端托管环境中被触发运行，然后根据需要执行、扩展容量并且计费。各大云厂商 Amazon、微软、Google、IBM、阿里云、腾讯云、华为云相继推出 Serverless 产品。 无服务计算本身是一个概念或者理论模型，落地到具体技术上主要有函数即服务（FaaS）以及后端即服务（BaaS）两种形式，阿里云提供函数即服务 FaaS 产品。 阿里云对于 FaaS 的定义如下： 函数计算是事件驱动的全托管计算服务。使用函数计算，您无需采购与管理服务器等基础设施，只需编写并上传代码。函数计算为您准备好计算资源，弹性地、可靠地运行任务，并提供日志查询、性能监控和报警等功能。 关于 FaaS 的详细介绍 官方文档 已经讲的很清楚，本文不再赘述。本文重点讨论无服务计算的应用场景以及应用实践。 无服务计算应用场景 1. 无服务计算的优势 无服务计算有很多优点，个人认为其中最主要的有三点： 使用无服务计算，用户无需考虑基础设施，可以更加专注于业务逻辑； 无服务计算支持弹性伸缩，按需使用，按量计费

简介 通过简单的几行指令，部署一个自己的表白神器，用技术为心爱的人写诗，将诗句，整理成图片，发送给心爱的Ta。 阿里云体验实验室地址（尚未购买ECS可在此处体验） https://developer.aliyun.com/adc/scenario/c6415182ebba4c9f990c2298e9a73eba 步骤一：连接ECS服务器 1.打开系统自带的终端工具。 Windows：CMD或Powershell。 MAC：Terminal。 2.在终端中输入连接命令ssh [username]@[ipaddress]。您需要将其中的username和ipaddress替换为第1小节中创建的ECS服务器的登录名和公网地址。例如： ssh root@123.123.123.123 命令显示结果如下： 输入yes。 同意继续后将会提示输入登录密码。 密码为已创建的云服务的ECS的登录密码。 登录成功后会显示如下信息。 步骤二：下载命令行工具 1.按照以下操作安装Node.js环境。 a. 下载Node.js安装包。 wget https://npm.taobao.org/mirrors/node/v12.4.0/node-v12.4.0-linux-x64.tar.xz b. 解压安装包并重命名。 tar -xvf node-v12.4.0-linux-x64.tar.xz && mv

一.Client提交模式 　　提交命令： 　　　　./spark-submit --master spark://node1:7077 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadooop2.6.0.jar 100 　　　　等价【默认为client】： 　　　　./spark-submit --master spark://node1:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadooop2.6.0.jar 100 　　执行流程： 　　 　　分析： 　　　　standalone-client模式提交任务，会在客户端看到task的执行情况和结果。当在客户端提交多个application时，每个application会启动自己的dirver，driver与集群worker有大量的通信，会造成客户端网卡流量激增的问题，这种模式适用于测试而不适应于生产环境。 二.Cluster提交模式 　　提交命令： 　　　　./spark-submit --master spark://node1:7077 --deploy-mode cluster -

Spark 集群相关 <style> table td{ width: 15% } </style> <font face="微软雅黑"> 来源于官方, 可以理解为是官方译文, 外加一点自己的理解. 版本是2.4.4 本篇文章涉及到: 集群概述 master, worker, driver, executor的理解 打包提交,发布 Spark application standalone模式 SparkCluster 启动 及相关配置 资源, executor分配 开放网络端口 高可用(Zookeeper) 名词解释 Term（术语） Meaning（含义） Application 用户构建在 Spark 上的程序。由集群上的一个 driver 程序和多个 executor 组成。 Driver program 该进程运行应用的 main() 方法并且创建了 SparkContext。 Cluster manager 一个外部的用于获取集群上资源的服务。（例如，Standlone Manager，Mesos，YARN） Worker node 任何在集群中可以运行应用代码的节点。 Executor 一个为了在 worker 节点上的应用而启动的进程，它运行 task 并且将数据保持在内存中或者硬盘存储。每个应用有它自己的 Executor。 Task 一个将要被发送到

1. 安装服务器： pip install scrapyd 启动： scrapyd 访问：127.0.0.1:6800 2. 安装客户端 pip install scrapyd-client 3. 进入爬虫项目根目录：找到 scrapy.cfg 文件 修改如下 [settings] default = blog.settings [deploy:zwb] url = http://localhost:6800/ project = blog 4. 发布项目 scrapyd-deploy target -p prject 这里target 为你的服务器命令，prject是你项目的名字，发布项目之前我们的scrapyd.cfg必须修改，上面我们已经修改过了， 因此我的命令是：scrapyd-deploy zwb -p blog scrapyd-deploy < target> -p < project> --version < version> 4.2 启动爬虫 curl http://localhost:6800/schedule.json -d project=blog -d spider=demo 4.3 停止爬虫 curl http://localhost:6800/cancel.json -d project=blog -d job=demo blog：你爬虫项目的名字

scrapyd 安装 scrapyd-中心节点,子节点安装scrapyd-client pip3 install scrapyd pip3 install scrapyd-client scrapyd-client两个作用 把本地的代码打包生成egg包 把egg上传到远程的服务器上 windows配置scrapyd-deploy H:\Python36\Scripts下创建scrapyd-deploy.bat python H:/Python36/Scripts/scrapyd-deploy %* curl.exe放入H:\Python36\Scripts 启动scrapyd启动服务!!!!!!!!!! scrapyd-deploy 查询 切换到scrapy中cmd运行scrapyd-deploy H:\DDD-scrapy\douban>scrapyd-deploy scrapyd-deploy -l scrapy中scrapy.cfg修改配置 [deploy:dj] #开发项目名 url = http://localhost:6800/ project = douban #项目名 scrapy list这个命令确认可用,结果dang是spider名 如不可用,setting中添加以下 scrapyd-deploy 添加爬虫 scrapyd-deploy dj -p douban