zlib

scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。关于框架使用的更多详情可浏览官方文档，本篇文章展示的是爬取漫画图片的大体实现过程。 Scrapy环境配置 首先是 scrapy 的安装，博主用的是Mac系统，直接运行命令行： pip install Scrapy 对于html节点信息的提取使用了 Beautiful Soup 库，大概的用法可见之前的一篇文章，直接通过命令安装： pip install beautifulsoup4 对于目标网页的 Beautiful Soup 对象初始化需要用到 html5lib 解释器，安装的命令： pip install html5lib 安装完成后，直接在命令行运行命令： scrapy 可以看到如下输出结果，这时候证明scrapy安装完成了。 Scrapy 1.2.1 - no active project ​ Usage: scrapy <command> [options] [args] ​ Available commands: bench Run quick benchmark test commands fetch Fetch a URL using the Scrapy downloader genspider Generate new spider using pre-defined templates

实战环境 LNMP项目实战： L：Linux（centos 7.6） http://mirrors.cqu.edu.cn/CentOS/7.6.1810/isos/x86_64/ N：Tengine（1.12.2） http://tengine.taobao.org/download/tengine-2.1.2.tar.gz 主机信息： 部署规划： 172.24.77.242(sr2.dj.com)：运行Tengine 172.24.77.241(sr1.dj.com)：运行Tomcat 1 安装依赖包 #yum install -y pcre pcre-devel zlib zlib-devel openssl openssl-devel glibc-headers gcc-c++ #yum -y install gcc \ gcc-c++ \ bzip2 perl curl curl-devel \ expat-devel gettext-devel openssl-devel \ libxml2 libxml2-devel libjpeg-devel libpng-devel \ freetype-devel libmcrypt-devel autoconf #yum -y install epel-release #yum -y install libmcrypt

1. 需求 将生产环境的流量拷贝到预上线环境或测试环境，这样做有很多好处，比如： 可以验证功能是否正常，以及服务的性能； 用真实有效的流量请求去验证，又不用造数据，不影响线上正常访问； 这跟灰度发布还不太一样，镜像流量不会影响真实流量； 可以用来排查线上问题； 重构，假如服务做了重构，这也是一种测试方式； 为了实现流量拷贝，Nginx提供了 ngx_http_mirror_module 模块 2. 安装Nginx 首页，设置yum仓库。为此，创建一个文件/etc/yum.repos.d/nginx.repo 将以下内容写入文件 [nginx- stable] name = nginx stable repo baseurl =http: // nginx.org/packages/centos/$releasever/$basearch/ gpgcheck=1 enabled =1 gpgkey =https: // nginx.org/keys/nginx_signing.key module_hotfixes= true ​ [nginx - mainline] name = nginx mainline repo baseurl =http: // nginx.org/packages/mainline/centos/$releasever/$basearch/

一 Nginx简介 1.1 什么是Nginx Nginx 是一个高性能的 http 和反向代理服务器，其特点是占用内存小，并发能力强。 Nginx 专为性能优化而开发，性能是其最重要的考量，能经受高负载的考验，有报告表明能支持高达50000个并发连接数。 1.2 反向代理 正向代理：在浏览器中配置代理服务器，通过代理服务器进行互联网访问。 反向代理：将请求发送到反向代理服务器，由反向代理服务器去选择目标服务器获取数据后，再返回给客户端，此时反向代理服务器和目标服务器对外就是一个服务器，暴漏的是代理服务器地址。 1.3 负载均衡 如果请求数过大，单个服务器解决不了，我们增加服务器的数量，然后将请求分发到各个服务器上，将原先请求集中到单个服务器的情况改为请求分发到多个服务器上，就是负载均衡。 1.4 动静分离 为了加快服务器的解析速度，可以把动态页面和静态页面交给不同的服务器来解析，加快解析速度，降低原来单个服务器的压力。 二 Nginx的安装 Nginx 需要几个依赖包，分别是 pcre ， openssl ， zlib ，在安装 nginx 之前需要先安装这几个依赖。 2.1 安装pcre依赖 使用命令下载 pcre 压缩包 wget http://downloads.sourceforge.net/project/pcre/pcre/8.37/pcre-8.37.tar.gz

在ubuntu上安装Python有两种方法 方式一 1. 以root用户或具有sudo访问权限的用户身份运行以下命令，以更新软件包列表并安装必备组件： 2. $ sudo apt update $ sudo apt install software-properties-common 3. 将Deadsnakes PPA添加到系统的来源列表中： $ sudo add-apt-repository ppa:deadsnakes/ppa 4. 启用存储库后，请使用以下命令安装Python 3.8： $ sudo apt install python3.8 5. 通过键入以下命令验证安装是否成功： $ python3.8 --version 方式二 1.更新软件包列表并安装构建Python所需的软件包： $ sudo apt update $ sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev wget 2. 使用wget从Python下载页面下载最新版本的源代码，或者访问 https://www.python.org/ 网站下载： $ wget https://www.python.org/ftp

#!/bin/bash A() { file="/root/mysql-8.0.17-linux-glibc2.12-x86_64.tar.xz" if [ ! -f "$file" ]; then echo "mysql-8.0.17-linux-glibc2.12-x86_64.tar.xz does not exist,need Upload it to /root directory" exit 0 else echo "mysql-8.0.17-linux-glibc2.12-x86_64.tar.xz is exist!!!" fi if [ `whoami` != "root" ];then echo "root is no" exit 0 else echo "root is ok" fi a=`cat /etc/redhat-release |awk 'NR==1' | awk -F '[ ]+' '{print $4}'| cut -d . -f 1` if [ $a != "7" ];then echo "centos7.X is no" exit 0 else echo "centos7.X ok" fi } IPtables() { systemctl stop firewalld.service systemctl disable firewalld

by 潮汐 Python 的标准库非常广泛，提供了各种各样的工具。该库包含内置模块（用C编写），可以访问系统功能，例如 Python 程序员无法访问的文件 I / O，以及用 Python 编写的模块，这些模块为许多问题提供标准化解决方案。其中一些模块明确地旨在通过将平台特定的内容抽象为平台中立的 API 来鼓励和增强 Python 程序的可移植性。 Python 的标准库(standard library) 是 Python 的一个组成部分，也是 Python 的利器，它可以让编程事半功倍。 本章节就 Python3 的标准库作一个轮廓概览，后续章节将对每个标准库模块进行详细 讲解 1、操作系统接口 1.1 os 模块简介 os 模块提供了很多与操作系统相关联的函数，这使得程序员们在编程的时候能利用函数便携操作,如果你希望你的程序能够与平台无关的话，运用这个模块中的功能就尤为重要。在使用 os 模块前，需要先 import os 引入模块。以下方法只做介绍，具体的应用可以使用 help(os) 查看帮助文档，最重要的是实际操作。 1.1.1 操作系统相关调用和操作 os.name 获取操作系统平台 os.environ 一个 dictionary 包含环境变量的映射关系 print(os.environ) 输出环境变量值 os.system() 用来运行shell命令 os

源码编译安装nginx 1.下载nginx源码包（这里以nginx-1.18.0为例） wget http: // nginx.org/download/nginx-1.18.0.tar.gz 2.如果已安装nginx请先卸载 rpm -ql nginx // 检测是否安装nginx rpm -e --nodeps nginx // 强制卸载nginx 3.创建nginx安装目录 mkdir /usr/local/nginx 4.下载需要用到的插件 yum groupinstall -y “开发工具” // 下载开发工具包 yum install -y pcre pcre-devel // 下载插件pcre yum install -y zlib zlib-devel // 下载插件zlib 5.解压nginx源码包 tar -zxf nginx- 1.18 . 0 -C /usr/src/ // 把nginx包解压到/usr/src/ cd /usr/src/nginx- 1.18 . 0 / // 进入解压后的包内 6.添加模块(以下是最基础的) ./configure --prefix=/usr/oical/nginx --with-http_ssl_module //如果报错： ./configure: error: SSl modules require the ???