curl

大数据节点轮换

北城余情 提交于 2020-12-24 19:54:16
初始化脚本 curl -sL http://wuyou.run/scripts/system/centos7/init.sh | bash -s cdh-us-11 check项目 加入集群前检查: 时间,swap,内核参数是否修改 加入顺序:先 Add hosts to Cloudera Manager ,然后 Add hosts to cluster 磁盘 mkfs.ext4 /dev/sdb mkfs.ext4 /dev/sdc mkfs.ext4 /dev/sdd mkdir /mnt/{sdb,sdc,sdd}/ -p mount /dev/sdb /mnt/sdb mount /dev/sdc /mnt/sdc mount /dev/sdd /mnt/sdd echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled mkdir /{sdb,sdc,sdd,sda4}/dfs/dn -p chown -R hdfs:hadoop {sdb,sdc,sdd,sda4}/ # 保存到 /etc/rc.local 坑 添加datanode节点不要修改默认目录方式,这样方式导致我原来的HDFS数据都不显示了

php微信开放平台--第三方网页微信扫码登录(OAuth2.0)

你离开我真会死。 提交于 2020-12-24 06:12:42
第一、OAuth2.0   OAuth(开放授权)是一个开放标准,允许用户让第三方应用访问该用户在某一网站上存储的私密的资源(如照片,视频,联系人列表),而无需将用户名和密码提供给第三方应用。   允许用户提供一个令牌,而不是用户名和密码来访问他们存放在特定服务提供者的数据。每一个令牌授权一个特定的网站(例如,视频编辑网站)在特定的时段(例如,接下来的2小时内)内访问特定的资源(例如仅仅是某一相册中的视频)。这样,OAuth允许用户授权第三方网站访问他们存储在另外的服务提供者上的信息,而不需要分享他们的访问许可或他们数据的所有内容。 第二、目标   我们这里主要模拟使用OAuth2.0,用户通过扫描我们网页应用的二维码并进行授权登录来获取用户的基本信息的过程。详细的接口相关信息可以在微信开放平台上查看:https://open.weixin.qq.com/cgi-bin/showdocument?action=dir_list&t=resource/res_list&verify=1&lang=zh_CN 第三、前期准备(获取微信开发者权限)   我们这里主要讲的是网站(Web)应用,网站应用微信登录是基于OAuth2.0协议标准构建的微信OAuth2.0授权登录系统(即上面的协议)。在微信客户端授权登录(获取用户信息)的可以查看:http://www.cnblogs.com

Hacker News 简讯 2020-10-09

微笑、不失礼 提交于 2020-12-24 03:58:25
最后更新时间: 2020-10-09 21:00 Memory Safe ‘Curl’ for a More Secure Internet - (abetterinternet.org) 内存安全的“Curl”可实现更安全的互联网 得分:26 | 评论:9 Matt Levine makes sense of Wall Street like none other - (nytimes.com) 马特莱文对华尔街的理解是独一无二的 得分:119 | 评论:34 Why the Arabic world turned away from science (2011) - (thenewatlantis.com) 阿拉伯世界为何远离科学(2011) 得分:80 | 评论:39 Microsoft is letting employees work from home permanently - (theverge.com) 微软允许员工永久在家工作 得分:68 | 评论:38 Iron, How Did They Make It, Part IVa: Steel Yourself - (acoup.blog) 铁,他们是怎么做的,第四部分:钢铁你自己 得分:143 | 评论:20 Faith in government declines when mobile internet

使用Minikube运行一个本地单节点Kubernetes集群(阿里云)

两盒软妹~` 提交于 2020-12-24 03:10:48
  使用Minikube运行一个本地单节点Kubernetes集群 中使用谷歌官方镜像由于某些原因导致镜像拉取失败以及很多人并没有代理无法开展相关实验。   因此本文使用阿里云提供的修改版Minikube创建一个单节点的Kubernetes集群。   阿里云教程地址: https://yq.aliyun.com/articles/221687 ⒈下载Minikube curl -Lo minikube http://kubernetes.oss-cn-hangzhou.aliyuncs.com/minikube/releases/v1.2.0/minikube-linux-amd64 && chmod +x minikube && sudo mv minikube /usr/local/bin/ ⒉启动 cd /usr/local/ bin minikube start --docker-env HTTPS_PROXY=${https://registry.docker-cn.com} --registry-mirror=https://registry-mirror.com --vm-driver=none      ⒊打开Kubernetes控制台 minikube dashboard      来源: oschina 链接: https://my.oschina.net/u

利用scrapy-client发布爬虫的远程服务器

南楼画角 提交于 2020-12-24 02:32:32
一.环境准备   远程服务器必须装有scapyd,我们使用的机器必须有scrapy-client(我这里是windows),并确保这两者正常安装并启动。 二.客户端准备上传   首先进入到爬虫项目的根文件夹: scrapyd-deploy     这样就是成功了。 三.配置爬虫项目    打开爬虫项目中的scrapy.cfg文件,这个文件就是给scrapyd-deploy使用的 将url这行代码解掉注释,并且给设置你的部署名称   再次执行scrapyd-deploy -l 启动服务,可以看到设置的名称 四.打包项目   1.开始打包前,执行命令:scrapy list,这个命令执行成功说明可以打包了,如果没执行成功说明还有工作没完成      这边会显示的是我的爬虫项目中具有的爬虫名称:jd   2.执行打包命令: scrapyd-deploy 部署名称 -p 项目名称     如下显示表示scrapy项目打包成功     如果出现     版本不对,建议安装pip install scrapyd==1.1.1,直到你的egg文件夹中有项目即可        3.上传运行爬虫 curl http://远程ip:6800/schedule.json -d project=项目名称 -d spider=爬虫名称   执行后,如果出现   则爬虫运行成功   可以去网页中106.12

openshift 入门 部署 openshift-origin-server-v3.7.0

半世苍凉 提交于 2020-12-23 19:27:49
OpenShift是一个基于容器技术的云平台,这里的容器技术指的就是docker和kubernetes. Openshift 错误解决 错误信息 failed to run Kubelet: failed to create kubelet: misconfiguration: kubelet cgroup driver: "systemd" is different from docker cgroup driver: "cgroupfs" 解决 vi /usr/lib/systemd/system/docker.service 改为 #ExecStart=/usr/bin/dockerd ExecStart=/usr/bin/dockerd --exec-opt native.cgroupdriver=systemd 重启docker systemctl daemon-reload systemctl restart docker 参考:https://blog.csdn.net/engchina/article/details/78823347 根据官方文档,selinux要修改为: SELINUX= enforcing SELINUXTYPE= targeted cd /opt/ tar -zxf openshift-origin-server-v3.7.0-7ed6862

Android 源码

被刻印的时光 ゝ 提交于 2020-12-22 17:15:39
Ubuntu16.04 python3 -V ##python版本要大于等于3.6 安装Python3.7 更新软件源 https://blog.csdn.net/lxlong89940101/article/details/89488461 下载安装Python https://blog.csdn.net/u014775723/article/details/85213793 AOSP curl https://mirrors.tuna.tsinghua.edu.cn/git/git-repo -o repo chmod +x repo 为了方便可以将其拷贝到你的PATH里。 export REPO_URL='https://mirrors.tuna.tsinghua.edu.cn/git/git-repo' repo的运行过程中会尝试访问官方的git源更新自己,如果想使用tuna的镜像源进行更新,可以将如下内容复制到你的~/.bashrc里 git config --global user.email "you@example.com" git config --global user.name "Your Name" repo init -u https://mirrors.tuna.tsinghua.edu.cn/git/AOSP/platform/manifest -b

docker入门

删除回忆录丶 提交于 2020-12-21 16:46:37
最近刚接触docker这块知识,也对这块知识,结合自己的实践做个汇总。docker和传统的虚拟化不同,docker是在操作系统层面上实现虚拟化,直接复用本地主机的操作系统,而传统方式则是在硬件层面实现。 我们学习docker,需要了解docker的3个概念,镜像,容器,仓库。 Docker 镜像就是一个只读的模板。例如:一个镜像可以包含一个完整的 ubuntu 操作系统环境,里面仅安装了 Apache 或用户需要的其它应用程序。Docker 提供了一个很简单的机制来创建镜像或者更新现有的镜像,用户甚至可以直接从其他人那里下载一个已经做好的镜像来直接使用。 容器是从镜像创建的运行实例。它可以被启动、开始、停止、 删除。每个容器都是相互隔离的、保证安全的平台。可以把容器看做是一个简易版的 Linux 环境(包括root用户权限、 进程空间、用户空间和网络空间等)和运行在其中的应用程序。镜像是只读的,容器在启动的时候创建一层可写层作为最上层。 仓库是集中存放镜像文件的场所。 docker安装: 1. 如果Ubuntu里apt官方库里的docker版本比较低,先用下面的命令行卸载旧版本(如果有的话) sudo apt-get remove docker docker-engine docker-ce docker.io 更新apt包索引: sudo apt-get update

这些 Nginx 常见异常,帮你快速定位故障!

你。 提交于 2020-12-19 00:02:08
点击上方“ 杰哥的IT之旅 ”,选择“ 星标 ”公众号 重磅干货,第一时间送达 提示:文章前面部分是关于 nginx 下 https 连接 curl 请求被 reset 的处理经历,不想看可以直接跳到最后看nginx快速定位异常,建议收藏! 问题描述 网站上线后,添加了https证书,浏览器访问正常,通过curl请求,请求被reset,如上图。 一路艰难 先 curl 请求同域名下http的url,返回正常,说明两边起码80端口网络正常 接着curl请求网站同服务器下其他https域名,返回正常,说明两边443端口网络正常 难道是证书问题?查看证书未到期,通过myssl.com查询证书详情,没有问题。 怀疑加密套件配置文件,添加兼容性更高的加密套件后尝试,依然无果 附兼容性加密套件: "ECDHE-RSA-AES256-GCM-SHA384:ECDHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:ECDHE-RSA-AES256-SHA384:ECDHE-RSA-AES128-SHA256:ECDHE-RSA-AES256-SHA:ECDHE-RSA-AES128-SHA:DHE-RSA-AES256-SHA256:DHE-RSA-AES128-SHA256:DHE-RSA