pv

lvm pv > vg > lv lv 限制于vg的大小 物理盘区 : Pe phsical Extent 开始的时候没有块大小 只有加入vg 才能确定 PE块大小 默认 4m lv 就是PE 构成的 可以动态扩展 PE--> lvE pv 可以删添 但是呢 删的时候得把数据移走 1. 首先得创建Linux lvm 8e 分区 2. pv管理工具: pvs: 简要信息 pvcreate 创建pv pvdipaly 显示所有信息 pvmove 3. vg管理工具 基本一样 vgceate 创建 vgcreate myvg(名字) /dev/sda3 (这个就是PE) 默认4m vgextend 添加 vgduce 删除 首先得 pvmove掉PV 在使用这个命令 4. lv管理工具和上面一样 lvs 简要 lvcreate -L:指定大小 -n: 名字 e.g. lvcreate -L 10g -n dudu myvg 创建好后其实也相当一块硬盘 扩展逻辑卷: lvextend -L [+]#[kmgT] /dev.... 这个时候还得扩展文件系统 及逻辑边界 resize2fs /dev... #[mkgt] 缩减逻辑卷: lvreduce 先卸载逻辑卷 2. 文件系统检测和修复 e2fsck -f /dev... 在这里一定要修改文件系统大小不然会错 resize2fs .

Xen 是一个开放源代码虚拟机监视器 (Virtual Machine Monitor ，简称为 VMM) ，由剑桥大学开发，它致力于实现在单个计算机上运行多达 128 个有完全功能的操作系统。 Xen 通过一种叫做半虚拟化 (paravirtualization) 的技术获得高效能的表现（较少的效能损失，典型的情况下大约损失 2% ，在最糟的情况下会有 8% 的效能耗损；与其它使用完全的虚拟化却造成最高到 20% 损耗的其他解决方案形成一个明显的对比），甚至在某些与传统虚拟技术极度不友好的架构上（ x86 ）， Xen 也有极佳的表现。 Xen 虚拟化环境由几个虚拟化组件协同实现： Xen Hypervisor 、 Domain 0 和 Domain U 。 Xen 架构 ( 图片来源： http://wiki.xen.org/wiki/Xen_Overview ) 1.1 Xen Hypervisor Xen Hypervisor 是计算机硬件的软件抽象层，它直接运行于硬件之上，并将其计算能力通过抽象接口 ( 虚拟机 ) 提供给运行于其上的任何操作系统。它的首要任务在各虚拟机之间进行 CPU 资源调度、内存资源分配及中断请求管理，并负责控制共享处理环境的各虚拟机的执行。但它并不负责实现计算机系统应该具备的网络、外部存储设备、显示设备或其它通用 I/O 功能等。 1.2 Dom0

最近有个需求，实时统计pv,uv，结果按照date,hour,pv,uv来展示，按天统计，第二天重新统计，当然了实际还需要按照类型字段分类统计pv,uv,比如按照date,hour,pv,uv,type来展示。这里介绍最基本的pv,uv的展示。 id uv pv date hour 1 155599 306053 2018-07-27 18 关于什么是pv,uv，可以参见这篇博客: https://blog.csdn.net/petermsh/article/details/78652246 1、项目流程 日志数据从flume采集过来，落到hdfs供其它离线业务使用，也会sink到kafka，sparkStreaming从kafka拉数据过来，计算pv,uv，uv是用的redis的set集合去重，最后把结果写入mysql数据库，供前端展示使用。 2、具体过程 1）pv的计算 拉取数据有两种方式，基于received和direct方式，这里用direct直拉的方式，用的mapWithState算子保存状态，这个算子与updateStateByKey一样，并且性能更好。当然了实际中数据过来需要经过清洗，过滤，才能使用。 定义一个状态函数 // 实时流量状态更新函数 val mapFunction = (datehour:String, pv:Option[Long], state

基本分区特点 1、分区创建好不能扩容 2、分区的空间不能跨盘 LVM：逻辑卷管理 基本概念： PV：物理卷，使用pvcreate将物理磁盘或者物理分区创建成LVM中物理卷pv VG：卷组，pv的集合。相当于逻辑上的大硬盘。pv加入VG后转换为配块，然后由vg同一管理 LV：逻辑卷在VG上划分的一块存储空间，对该空间制作文件系统挂载使用。 PE：物理存储块，当PV加入到到卷组时，按照事先的设定将PV空间划分成多个PE LE：逻辑存储块，PE被LV占用后称为LE 查看文件系统的使用率 df -h 重置文件系统 resize2fs /dev/bluevg/lv1 查看所有VG信息 vgs 扩容时强制重置文件系统 lvexrend -L +1G -rf /dev/bluevg/lv1 标记lvm 命令：toggle 1 lvm #标记成lvm =========================== LVM逻辑卷管理 逻辑卷管理-LVM LVM（ Logical Volume Manager，逻辑卷管理器） LVM最早源于IBM的AIX系统 LVM是建立在磁盘和分区之上的一个逻辑层，用来提高磁盘分区管理的灵活性 LVM可以对磁盘分区按照组的方式进行命名、管理和分配 LVM术语: 1. Physical Volume(PV) 实际分区需要调整System ID成为LVM表示(8e)

并发的基本概念 并发的概念： 　　指网站在同一时间访问的人数，人数越大，瞬间带宽要求更高。 服务器并发量分为： 　　1.业务并发用户数；2.最大并发访问数；3.系统用户数；4.同时在线用户数；　　　　 估算业务并发量的公式： 　　C=nL/T 　　C^=C+3×(C的平方根) 　　其中：C是平均的业务并发用户数、n是login session的数量、L是login session的平均长度、T是指考察的时间段长度、C^是指业务并发用户数的峰值。 例子分析 　　假设OA系统有1000用户，每天400个用户发访问，每个登录到退出平均时间2小时，在1天时间内用户只在8小时内使用该系统。则平均并发量和最大并发量如下： 　　C=400×2/8=100 　　C^=100+3×(100的平方根)=100+3×10=130 　　此外，如果知道平均每个用户发出的请求数u，则系统吞吐量可以估算为u×C。 服务器压力计算(转载： https://www.cnblogs.com/ylcms/p/7738692.html ） 　　你想建设一个能承受500万PV/每天的网站吗？ 500万PV是什么概念？服务器每秒要处理多少个请求才能应对？如果计算呢？ PV是什么： PV是page view的简写。PV是指页面的访问次数，每打开或刷新一次页面，就算做一个pv。 计算模型： 每台服务器每秒处理请求的数量=((80

5.持久化存储 5.1pv,pvc k8s中的副本控制器保证了pod的始终存储，却保证不了pod中的数据。只有启动一个新pod的，之前pod中的数据会随着容器的删掉而丢失！ pv和pvc的概念: PersistentVolume（一些简称PV）：由管理员添加的的一个存储的描述，是一个全局资源，包含存储的类型，存储的大小和访问模式等。它的生命周期独立于Pod，例如当使用它的Pod销毁时对PV没有影响。 PersistentVolumeClaim（一些简称PVC）：是Namespace里的资源，描述对PV的一个请求。请求信息包含存储大小，访问模式等。 #1.所有节点安装nfs-utils [root@k8s-master ~]# yum install -y nfs-utils #2.master配置nfs服务端 [root@k8s-master ~]#yum install -y rpcbind [root@k8s-master ~]# vim /etc/exports [root@k8s-master ~]# systemctl restart nfs [root@k8s-master ~]# cat /etc/exports /data 10.0.0.0/24(rw,async,no_root_squash,no_all_squash) [root@k8s-master ~]#

单纯的从每个栏目去爬取是不显示的，转换一下思路，看到搜索页面，有时间~，有时间！ 注意看URL链接 https://zzk.cnblogs.com/s/blogpost?Keywords=python&datetimerange=Customer&from=2019-01-01&to=2019-01-01 这个链接得到之后，其实用一个比较简单的思路就可以获取到所有python相关的文章了，迭代时间。 下面编写核心代码，比较重要的几个点，我单独提炼出来。 页面搜索的时候因为加了验证，所以你必须要获取到你本地的cookie，这个你很容易得到 字典生成器的语法是时候去复习一下了 import scrapy from scrapy import Request,Selector import time import datetime ''' 遇到不懂的问题？Python学习交流群：821460695满足你的需求，资料都已经上传群文件，可以自行下载！ ''' class BlogsSpider(scrapy.Spider): name = 'Blogs' allowed_domains = ['zzk.cnblogs.com'] start_urls = ['http://zzk.cnblogs.com/'] from_time = "2010-01-01" end_time = "2010

Kubernetes PV与PVC的关系 PersistenVolume（PV）：对存储资源创建和使用的抽象，使得存储作为集群中的资源管理，分为有静态与动态。 PersistentVolumeClaim（PVC）：让用户不需要关心具体的Volume实现细节 PV：提供者、提供存储容量 PVC：消费者、消费容量 注：PV与PVC成绑定关系。 容器应用-->卷需求模板-->数据卷定义 来源： https://www.cnblogs.com/xiangsikai/p/11424148.html

Kubernetes 静态PV使用 Kubernetes支持持久卷的存储插件： https://kubernetes.io/docs/concepts/storage/persistent-volumes/ 缺点：手动创建pv比较繁琐、不适合大工程 优点：小规模使用方便灵活 1、创建pvc yaml文件 vim pvc.yaml apiVersion: v1 kind: Pod metadata: name: nginx6 spec: containers: - name: nginx6 image: nginx # 挂在点 volumeMounts: - name: wwwroot mountPath: /usr/share/nginx/html ports: - containerPort: 80 # 挂载来源 volumes: - name: wwwroot # 定义PVC persistentVolumeClaim: # 定义PVC名称 claimName: my-pvc --- apiVersion: v1 # 使用PVC类型 kind: PersistentVolumeClaim metadata: # 与容器应用PVC相同 name: my-pvc spec: # 定义读写权限 accessModes: - ReadWriteMany # 请求资源 resources

· 几种存储类型 1） emptyDir emptyDir Volume 的生命周期与 Pod 一致， Pod 中的所有容器都可以共享 Volume ，它们可以指定各自的 mount 路径，当 Pod 从节点删除时， Volume 的内容也会被删除。他所创建的空目录会在 Pod 的命名空间里的 volumes 下。 2 ） hostPath hostPath Volume 的作用是将 Docker Host 文件系统中已经存在的目录 mount 给 Pod 的容器。如果 Pod 被销毁了， hostPath 对应的目录也还会被保留，持久性比 emptyDir 强，但是灵活性不足，增加了 Pod 与 Host 的耦合性，一般不建议使用。 3） 静态创建 基于 NFS 的 pv 此种 Volume 类型的最大特点就是不依赖 Kubernetes ， Volume 的底层基础设施由独立的存储系统管理，与 Kubernetes 集群是分离的，数据被持久化后，即使整个 Kubernetes 崩溃也不会受损 ，但是手动创建增加了管理员工作量，降低了效率。 3） 自动创建基于 NFS 的 pv 此种类型 volume ，如果没有满足 PVC 条件的 PV ，会动态创建 PV 。相比静态供给，动态供给有明显的优势，不需要提前创建 PV ，减少了管理员的工作量，效率高。 · PV