信息存储

今天记录下图片的分布式存储和负载均衡实现原理。 对于Web服务器而言，用户对图片信息的访问是很消耗服务器资源的。当一个网页被浏览时,Web服务器与浏览器建立连接,每个连接表示一个并发。当页面包含多个图片时,Web服务器与浏览器会产生多个连接,同时发送文字和图片以提高浏览速度。因此,页面中图片越多Web服务器受到的压力也就越大。 一般小型网站是把所有页面和图片统一存放在一个主目录下,这样的网站对系统架构、性能要求都很简单。下面是原理图 一些稍有规模的网站都保存有大量图片资源。用户在访问这些站点网页时,网页中图片信息占到页面数据流量的大部分。由于受客户端浏览器限制,无法从一台服务器上同时下载页面中所有图片信息,因此即使服务器有很高带宽,用户的访问速度还是会受到很大影响。由于图片保存在物理硬盘上,访问图片需要频繁进行I/O 操作,因此当并发用户数越来越多时,I/O操作就会成为整个系统的性能瓶颈。这个时候我们就要考虑把这些图片信息进行分布式存储了。 下面说一个适用于中等规模商务网站的图片数据分布式动态存储及负载均衡的解决方案的思路。这种思想只需增加很少的硬件成本,即可提升网站的访问速度,并且可以根据需要动态调整图片服务器的数量及图片的存储目录,确保系统具有可扩展性和伸缩性。但对于大型的网站系统来说，他们可能会有更好的技术来实现数据的分布式存储。 增加了图片服务器后,对于客户端而言

名字和年龄、性别、成绩有对应关系，使用字典内嵌列表的数据结构 {“姓名”:[年龄,“性别”,成绩],“姓名”:[年龄,“性别”,成绩],……} """ 在终端中循环录入学生信息(名称,年龄,性别,成绩...) 如果名称为空，停止录入 1.在终端中打印所有学生信息(一行一个) 格式：xxx的年龄是xxx,性别是xxx,成绩是xxx 2.如果录入了”小明“，单独打印其成绩 """ name_dict = { } while True : info_list = [ ] name = input ( "请输入姓名：" ) if name == "" : break else : age = int ( input ( "请输入年龄：" ) ) info_list . append ( age ) sex = input ( "请输入性别(男/女)：" ) info_list . append ( sex ) score = float ( input ( "请输入成绩：" ) ) info_list . append ( score ) name_dict [ name ] = info_list # 也可以 = [age,sex,score] for key in name_dict : print ( "%s的年龄是%d,性别是%s,成绩是%.1f" % ( key , name

# 下载redis服务的包 pip install redis # 下载redis存储session的包 pip install django-redis-sessions==0.5.6 # 下面是settings.py文件中需要增加的配置项 # 设置redis存储session信息 SESSION_ENGINE = 'redis_sessions.session' # redis服务的ip地址 SESSION_REDIS_HOST = 'localhost' # redis服务的端口号 SESSION_REDIS_PORT = 6379 # redis中的哪一个数据库 SESSION_REDIS_DB = 2 # 链接redis的密码，没有写空 SESSION_REDIS_PASSWORD = '' # 指定session信息的前缀 SESSION_REDIS_PREFIX = 'session' 来源： CSDN 作者： 专职 链接： https://blog.csdn.net/weixin_42289273/article/details/104069229

简介 该篇blog只是存储系列科普文章中的第四篇，所有文章请参考： 博客所有文章 在工程架构领域里，存储是一个非常重要的方向，这个方向从底至上，我分成了如下几个层次来介绍： 硬件层：讲解磁盘，SSD，SAS, NAS, RAID等硬件层的基本原理，以及其为操作系统提供的存储界面； 操作系统层：即文件系统，操作系统如何将各个硬件管理并对上提供更高层次接口； 单机引擎层：常见存储系统对应单机引擎原理大概介绍，利用文件系统接口提供更高级别的存储系统接口； 分布式层：如何将多个单机引擎组合成一个分布式存储系统； 查询层：用户典型的查询语义表达以及解析； 分布式系统主要分成存储模型和计算模型两类。本文主要描述的是存储模型的介绍。其中计算模型的分布式系统原理跟存储模型类似，只是会根据自身计算特点加一些特殊调度逻辑进去。 分布式层 分布式系统简介 任何一个分布式系统都需要考虑如下5个问题： 数据如何分布 就像把鸡蛋放进篮子里面。一般来说篮子大小是一样的，当然也有的系统支持不一样大小的篮子。鸡蛋大小也不一样，有很多系统就把鸡蛋给"切割"成一样大小然后再放。并且有的鸡蛋表示对篮子有要求，比如对机房/机架位的要求。 衡量一个数据分布算法好不好就看他是否分得足够均匀，使得所有机器的负载方差足够小。 如何容灾 分布式系统一个很重要的定位就是要让程序自动来管机器，尽量减少人工参与

（一）关键问题 数据分布 对于存储系统，最重要的问题就是数据分布，即什么样的数据放置在什么样的节点上。数据分布时需要考虑数据是否均衡、以后是否容易扩容等一系列问题。不同的数据分布方式也存在不同的优缺点，需要根据自身数据特点进行选择。 1）哈希分布 => 随机读取 取模直接哈希： 将不同哈希值的数据分布到不同的服务器上 关键： 找出一个散列特性很好的哈希函数 问题： 增加、减少服务器时的大量数据迁移 解决： 1）将<哈希值,服务器>元数据存储在元数据服务器中；2）一致性哈希 一致性哈希： 给系统每个节点分配一个随机token，这些token构成一个hash环。执行数据存放操作时，先计算key的hash值，然后存放到顺时针方向第一个大于或者等于该hash值的token所在节点。 关键： 哈希值变成了一个范围，每个物理节点上存储的数据是哈希值处于前一段范围的数据。 优点： 节点增加/删除时只会影响到在hash环中相邻的节点，而对其他节点没影响。 维护每台机器在哈希环中的位置方式：1） 记录它前一个&后一个节点的位置信息，每次查找可能遍历整个哈希环所有服务器；2） O（logN）位置信息，查找的时间复杂度为O（logN）；3） 每台服务器维护整个集群中所有服务器的位置信息，查找服务器的时间复杂度为O（1） 虚拟节点： 将哈希取模的模数取得很大，就会得到更多的哈希值，这个哈希值成为逻辑节点

一、监控系统介绍 硬件-->系统-->应用 监控： 1.发现故障 2.监控业务系统业务流量 监控的两种方式： 1.有agent 2.无agent 监控应该具有的主要功能 1.周期性的数据采集 被监控的主机安装agent 不需要安装agentless 时间流数据数据项称之为一个监控的指标数据 监控模板，调用模板工具 发现能力：当增加设备时，可以自动纳入监控中 同步内置接口，来发现监控系统，从而完成自动发现新增加的主机 添加主机的方式：1.手动添加。2.自动发现 监控数据的类型的设定：1.手动添加。2.使用模板 2.数据 存储 数据存储位置，可以自主研发，也可以使用已存在在数据库，Zabbix使用的存储为MySQL或者PGSQL，存储容易成为瓶颈 3.定义阈值，发出警告 合理区间，每一项参数都需要定义一个合理的数据，超过该数据则发出警告，定义表达式，计算结构满足条件才是危险，不满足才认为正常。告警需要通过邮件等， 远程命令或脚本完成自我修复、发出警告 4.可视化 将数据流生成图标展示出来 1.cacti：采集数据，展示，存储，告警不好，结合nagios 经过定义crontab任务+snmp+rrd(roundrobin database)数据库 nagios：只报警，符合就报警，不符合就丢弃 2.Zabbix：采集数据，存储数据，告警功能，可视化，可使用grafana做可视化 3

一、NFS 原理图 二、NFS 原理描述 　　2.1：什么是NFS 　　　　NFS中文名字：网络共享存储，就是通过网络共享目录，让网络上的其他服务器能够挂载访问共享目录的数据(NFS一般都是用来存放视频、附件、图片等静态数据的). 　　　　 NFS是通过网络来进行服务端和客户端数据传输的，那么只要是通过网络的就一定会有端口，那NFS的端口是什么呢？很失望的是NFS的端口是随机的，每次重启服务端口都会改变. 　　　　那么客户端是怎样知道服务端的端口的呢？其实NFS服务器是通过远程过程调用(RPC)协议/服务来实现的，也就是说RPC服务会统一管理NFS的端口，客户端和服务端通过RPC来确定端口，进行数据传输. 　　　　PS：(哦，原来是RPC管理服务端的NFS端口分配，客户端要传数据，那客户端的RPC会先跟服务端的RPC去要服务器的端口，要到端口后再建立连接，然后传输数据)。 　　2.2：什么是RPC 　　　　RPC（Remote Procedure Call）—远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。 　　　　 RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了 传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。 　　　　RPC采用客户机

1. 共享存储服务概念： # NFS是Network File System的缩写,中文意思是网络文件系统， # 它的主要功能是通过网络（一般是局域网）让不同的主机系统之间可以共享文件或目录。 2. NFS共享存储服务的应用： # 将数据存储到一台服务器上，实现数据统一一致，共享访问 # NFS存储服务器中主要存储哪些信息：用户上传的图片 音频 视频 附件等信息 # NFS服务是分为服务端和客户端 # 存储服务器：NFS服务端 网站web服务器：NFS客户端 # 实现共享存储好处： 01. 实现数据统一一致 02. 节省网站磁盘资源 03. 节省网站访问带宽 3. NFS共享存储服务的原理： ①. nfs服务端创建共享存储目录 ②. nfs客户端创建远程挂载点目录 ③. nfs客户端进行远程挂载 ④. 实现客户端数据信息统一一致 4. NFS服务重要概念说明： 4.1 NFS共享文件系统RPC服务介绍 4.2 NFS共享文件系统RPC服务由来: # NFS服务启动进程和端口过程，需要由rpc服务统一管理 5. NFS服务部署实践过程 5.1 NFS服务端部署流程： # 第一步：检查服务软件是否安装 [root@nfs01 ~]# rpm -qa|egrep "nfs-utils|rpcbind" # 检查 nfs 和 rpc 服务是否已经安装 # 第二步：进行软件服务安装

背景 了解MySQL的架构图，对MySQL有一个整体的把握，对于以后深入理解MySQL是有很大帮助的。比如：很多查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行。 MySQL从概念上分为四层，如下图: 这四层自顶向下分别是 网络连接层，服务层（核心层），存储引擎层，系统文件层 。 我们自顶向下开始讲解。 网络接入层 作用 主要负责 连接管理、授权认证、安全 等等。每个客户端连接都对应着服务器上的一个线程。服务器上维护了一个线程池，避免为每个连接都创建销毁一个线程。当客户端连接到MySQL服务器时，服务器对其进行认证。可以通过用户名与密码认证，也可以通过SSL证书进行认证。登录认证后，服务器还会验证客户端是否有执行某个查询的操作权限。这一层并不是MySQL所特有的技术。 为什么要设计成线程池？ 在服务器内部，每个client都要有自己的线程。这个连接的查询都在一个单独的线程中执行。想象现实场景中数据库访问连接实在是太多了，如果每次连接都要创建一个线程，同时还要负责该线程的销毁。对于系统来说是多么大的消耗。由于线程是操作系统宝贵的资源。这时候线程池的出现就显得自然了，服务器缓存了线程，因此不需要为每个Client连接创建和销毁线程。 服务层 作用 第二层服务层是MySQL的核心，MySQL的核心服务层都在这一层， 查询解析，SQL执行计划分析

mariadb（第一章） 数据库介绍 1.什么是数据库？ 简单的说，数据库就是一个存放数据的仓库，这个仓库是按照一定的数据结构（数据结构是指数据的组织形式或数据之间的联系）来组织，存储的，我们可以通过数据库提供的多种方法来管理数据库里的数据 更简单的理解形象，数据库和我们生活追踪存放杂物的储物间仓库性质一样，区别只是存放的东西不通，杂物间存放实体的物件，而数据库里存储的是数据，这样我们就对数据库有一个初步了解了。 数据库诞生于1950年，随着信息技术的发展和人类社会的不断进步，特别是2000年后，数据库不在仅仅是存储和管理数据了，而转变成用户所需要的各种数据管理的方式，数据库有很多种类和功能，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。 数据库的种类 按照早起的数据库理论，比较流行的数据库模型有三种，分别为层次式数据库，网络式数据库和关系型数据库，而在当今的互联网中，最常见的数据库模型主要是两种，即关系型数据库和非关系型数据库 关系型数据库 　　（1）关系型数据库的由来 　　　　 虽然网状数据库和层次数据库已经很好的解决了数据的集中和共享问题，但是在数据独立性和抽象级别上仍有很大欠缺，用户在对这两种数据库进行存取时，仍然需要明确数据库的存储结构，支出存取路径，而关系型数据库就可以很好的解决这些问题 （2）关系型数据库介绍