curl

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。 Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 建立一个网站或应用程序，并要添加搜索功能，令我们受打击的是：搜索工作是很难的。希望我们的搜索解决方案要快，希望有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP的索引数据，我们希望我们的搜索服务器始终可用，我们希望能够一台开始并扩展到数百，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。Elasticsearch旨在解决所有这些问题和更多的问题。 ElasticSearch的Schema与其它DB比较： ElasticSearch三方访问方式: 环境是 CentOS 6.4，安装方法有好几种，在这儿我们直接从官网下载包, 1.71版解压后，进入目录执行: bin/elasticsearch 检查服务是否正常工作 curl -X GET http://localhost:9200/ elasticsearch默认是9200端口，返回一个JSON数据，有版本说明运行正常。 elasticsearch的伸缩性很高

ELK集群配置 安装初始化 iptables 关闭 selinux 关闭 配置hosts解析 [root@localhost elasticsearch]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 10.211.55.170 node-1 10.211.55.171 node-2 10.211.55.172 node-3 1、配置三个主机的配置文件 [root@localhost elasticsearch]# cat elasticsearch.yml |grep -v "^#" cluster.name: my-application node.name: node-1 #需要变更的配置 node-2或者node3 path.data: /var/lib/elasticsearch path.logs: /var/log/elasticsearch network.host: 10.211.55.170 #需要变更的配置 ip 为 该机器的IP http.port: 9200 discovery

安装 docker # step 1: 安装必要的一些系统工具 sudo apt-get update sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common # step 2: 安装GPG证书 curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add - # Step 3: 写入软件源信息 sudo add-apt-repository "deb [arch=amd64] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable" # Step 4: 更新并安装Docker-CE sudo apt-get -y update sudo apt-get -y install docker-ce docker-compose # 安装指定版本的Docker-CE: # Step 1: 查找Docker-CE的版本: # apt-cache madison docker-ce # docker-ce | 17.03.1~ce-0~ubuntu-xenial |

scrapyd 安装 scrapyd-中心节点,子节点安装scrapyd-client pip3 install scrapyd pip3 install scrapyd-client scrapyd-client两个作用 把本地的代码打包生成egg包 把egg上传到远程的服务器上 windows配置scrapyd-deploy H:\Python36\Scripts下创建scrapyd-deploy.bat python H:/Python36/Scripts/scrapyd-deploy %* curl.exe放入H:\Python36\Scripts 启动scrapyd启动服务!!!!!!!!!! scrapyd-deploy 查询 切换到scrapy中cmd运行scrapyd-deploy H:\DDD-scrapy\douban>scrapyd-deploy scrapyd-deploy -l scrapy中scrapy.cfg修改配置 [deploy:dj] #开发项目名 url = http://localhost:6800/ project = douban #项目名 scrapy list这个命令确认可用,结果dang是spider名 如不可用,setting中添加以下 scrapyd-deploy 添加爬虫 scrapyd-deploy dj -p douban

　　随着云计算、大数据和人工智能的迅速发展，Linux技术收到了很大的推动。越来越多的人们开始学习Linux技术，转行成为Linux运维工程师。那么不可避免的就是找工作时都要经历面试。那么关于Linux工具、Linux命令有哪些相关知识点需要谨记呢？ 　　1选择 　　1.1一个文件的名字为rr.Z，可以用来解压缩的命令时（） 　　tar 　　gzip 　　compress 　　uncompress 　　1.2可以结束进程命令（） 　　kill 　　ctrl+c 　　shutdown 　　halt 　　1.3 Linux下对文件进行归档的命令为：（多选） 　　dd 　　tar 　　zip 　　unzip 　　1.4 Linux查当前目录下30天以前的文件并移动到/dev/null下的命令：（多选） 　　find.-mtime 30-type f xargs mv{}/dev/null; 　　find.-mtime+30-type xargs mv{}/dev/null; 　　find.-mtime+30-type f-exec mv{}/dev/null; 　　find.-mtime+30-type f-exec rm–rf{}; 　　1.5 dstat与下面哪个命令类似 　　vmstat 　　sar 　　iotop 　　abc 　　1.6 rpm安装软件的参数 　　rpm-ivh

1. apache 　　apache 需要依赖几个模块：apr, apr-util, pcre，也分别源码安装。 1.1 编译安装 1.1.1 apr apr-util 　　下载地址： http://apr.apache.org/download.cgi 　　分别下载解压，然后在源码目录下 ./configure --prefix=xxx（apr-util 需要设置 --with-apr=[apr的安装路径]），然后 make && make install 即可。 1.1.2 pcre 　　下载地址： ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/ 　　可以下载一个最新版的，然后同样也是在源码目录下 ./configure --prefix=xxx && make && make install 即可。 1.1.3 httpd 　　官网下载地址： http://httpd.apache.org/ 　　下载解压后在源码目录下 ./configure --with-apr=[apr安装路径] --with-apr-util=[apr-util安装路径] --with-pcre=[pcre安装路径] --prefix=[httpd安装路径] && make && make install 完成安装。 1.2

原文地址:http://blog.wiseturtles.com/posts/scrapyd.html Tags scrapyd scrapy scrapyd-client By crazygit On 2015-10-29 scrapyd是一个用于部署和运行scrapy爬虫的程序，它允许你通过 JSON API来部署爬虫项目和控制爬虫运行 概览 项目和版本 scrapyd可以管理多个项目，并且每个项目允许有多个版本，但是只有最新的版本会被用来运行爬虫. 最方便的版本管理就是利用 VCS工具来记录你的爬虫代码，版本比较不是简单的通过字母排序，而是通过智能的算法，和 distutils 一样，例如: r10比r９更大. 工作原理 scrapyd是一个守护进程，监听爬虫的运行和请求，然后启动进程来执行它们 启动服务 # 注意，启动scrapyd的目录会保存整个scrapyd运行期间生成的log, item文件，所以请选择合适的位置运行该命令 $ scrapyd 调度爬虫运行 $ curl http://localhost:6800/schedule.json -d project =myproject -d spider =spider2 { "status": "ok", "jobid": "26d1b1a6d6f111e0be5c001e648c57f8" } web接口 http

在做微信开发时候，请求为你接口报错： 解决方案： 1 下载cacert https: // curl.haxx.se/ca/cacert.pem 2 修改 php.ini , 并重启 curl.cainfo= " 真实路径/cacert.pem " 注意： 开启 php_curl php_openssl 扩展， 如果是用php curl() 方法 的话。可以 清除ssl证书校验 <? php // 创建curl资源 $ch = curl_init(); // 设置url curl_setopt($ch, CURLOPT_URL, " https://www.test.com " ); // 将Transfer作为字符串返回 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1 ); // 关闭SSL验证 curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0 ); curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0 ); // 执行并输出 $output = curl_exec($ch); // 查看错误 $error = curl_error($ch); echo $error; // 释放curl资源 curl_close($ch); 来源： oschina 链接： https:/

cmder cmder是一个增强型命令行工具，不仅可以使用windows下的所有命令，更爽的是可以使用linux的命令,shell命令 下载 Cmder官网 下载的时候，会有两个版本，分别是mini与full版；唯一的差别在于有没有内建msysgit工具，这是Git for Windows的标准配备；全安装版 cmder 自带了 msysgit, 压缩包 23M, 除了 git 本身这个命令之外, 里面可以使用大量的 linux 命令；比如 grep, curl(没有 wget)； 像vim, grep, tar, unzip, ssh, ls, bash, perl 对于爱折腾的Coder更是痛点需求。 安装 cmder 是绿色软件解压就可以使用 配置环境变量 在系统变量添加 变量名： CMDER_HOME 变量值： 安装绝对路径 添加 cmder 到右键菜单 配置环境变量后，在管理员权限的终端输入以下语句。 Cmder.exe /REGISTER ALL 问题 中文乱码（win10） Settings->Startup->Environment 添加 set LANG=zh_CN.UTF-8 set LC_ALL=zh_CN.utf8 文字重叠 Win + Ait + P 唤出设置界面 > mian > font > monospce 的勾勾去掉(点两下) 常用功能 1,