空间数据

又熬夜了... 这篇博客可能会将QGIS数据管理部分和ArcGIS数据管理进行对比学习。 1. 本地数据文件与数据库(矢量) 1.1 文件 QGIS用的是shp文件、kml文件、geojson文件较多，gml也可... ArcGIS不用说，几乎全都支持（请放弃使用远古的Coverage格式・・・） 当前最通用还是shp文件，不是因为它性能优秀，是因为历史缘故。 1.2 本地数据库 QGIS我目前使用了GeoPackage这个本地数据库，它有3个子文件组成：*.gpkg、*.gpkg-wal、*.gpkg-shm ArcGIS本地数据库有两种，mdb已经不推荐了，大多数时候还是gdb ps：ArcGIS内置的数据结构规定了ArcGIS的数据库只能是面向对象的。 1.3 关系数据库 为了提高性能，一般采用关系数据库。 QGIS我目前已经学会Postgresql的PostGIS插件，通常称为PostGIS数据库 此外，QGIS还支持SpatialLite、SQLite、MySQL、Oracle、DB2这些数据库MS ArcGIS在ArcSDE的支持下，几乎所有的第三方关系数据库都可以连接上去，但是不一定是最新版本 PostGIS提供了一款shp/dbf2postgis工具，支持dbf或者shp文件（必须英文名）导入导出PostGIS数据库 2. QGIS数据编辑 肯定会有数据编辑的时候

地理编码：给数据赋予坐标值； 3S系统包括： 1. GIS（地理信息系统） 2. RS（遥感系统） 3. GPS 4D产品： 2. DOM（数字正射影像） 3. DLG（数字线画图） 4. DRG（数字栅格地图） 是对地图进行扫描的产品 系统安全设计 包括：（ 重 ）（ 2013、2015、2016 ） 网络安全 与保密‘ 2. 应用 系统安全 措施 3. 数据 备份与恢复 机制 用户管理 （容易漏） （迷惑项目：审计与认证，数字水印技术（这个应该是著作权问题）） 地理信息系统的分类包括：（ 重 ） 专题 地理信息系统； 区域 地理信息系统； 3. 地理信息 系统工具 ；（易漏） 专题地理数据 的 更新原则 ：（ 重 ） 精度匹配 原则； 现势性 原则； 3. 空间信息与属性 同步更新 原则； GIP设计的主要方法有： 原型 法；（容易漏） 2. 结构化生命周期法； 　　当用户对于新系统的功能需求十分明确时使用 地理数据的三个基本特征是：（重） 1. 空间特征； 2. 属性特征； 3. 时间特征； （因为地理数据要保持 现势性 ） （易错：地理特征，拓扑特征） 专题 地理信息数据采集，包括： 1. 地理数据采集； 文档数据 采集； 3. 专题统计数据采集； 声像数据 采集；（容易漏） 根据 应用层次 的高低，从低到高，GIS可以分为： 1. 空间事物 处理 系统； 2. 空间 管理

1.为什么要引入RAID？ 在传统的计算机存储系统中，存储工作通常是由计算机内置的磁盘来完成的，这种设计方式性能和容量都很容易遇到瓶颈。 内置存储存在诸多问题(重点)： 1.由于机箱空间有限，硬盘数量的扩展受到限制了，单台服务器上存储容量自然也会受到限制； 2.不便于扩容，机箱满载的情况下需要扩展容量，只能通过添购服务器的方式实现，投资成本高，而且数据分散存储在不同的服务器上，不利于共享和备份； 3.可靠性低，机箱内部的硬盘相互独立，没有相关数据保护措施，坏盘情况下数据丢失的风险大； 4.存储空间利用率低，一台主机内置一块或几块容量较大的硬盘，而自身业务只需极小部分存储空间的情况下，其他主机也无法利用这些闲置的空间，总体而言造成了存储资源的浪费； 5.内置存储直接通过总线与内存相连，占用总线资源，影响主机性能。 随着大型计算、海量数据存储的发展，各类应用对计算能力、数据存储资源方面都有更高的要求，计算机内置存储已经很难满足各类信息化应用的需求。为了克服传统内置存储存在的问题，扩展磁盘数量，人们把磁盘从机箱里面挪到了机箱外面，通过SCSI总线将主机与外置的磁盘联系起来，进而通过扩展磁盘数量获得足够大的存储容量（引入RAID）。 重点：RAID技术的初衷，是将多个小容量的磁盘组合成一个大的逻辑磁盘，以获得更大的存储容量给大型计算机使用。随着磁盘技术不断发展，单个磁盘容量不断增大

1.相同： 都是List接口实现类 数据结构都是线性的 2.不同： 一个底层是顺序存储结构，一个是链式存储结构 顺序存储按索引查询快，增删慢，按内容查询慢，只存数据不存地址，节省空间，但分配空间未 占满，浪费空间 链式结构增删快，不移动数据，查询慢，挨个比较。每个节点的组成部分非为两块，数据域和指 针域，占用空间大，但是链式结构不存在空间未占满的情况，节省空间。 一个是分配的连续空间，一个是非连续空间 文章来源: https://blog.csdn.net/GiantCrocodile/article/details/91334897

今天下班早些来普及下nginx io模型： 用户空间与内核空间： 现在操作系统都是采用虚拟存储器，那么对32位操作系统而言，它的寻址空间（虚拟存储空间）为4G（2的32次方）。操作系统的核心是内核，独立于普通的应用程序，可以访问受保护的内存空间，也有访问底层硬件设备的所有权限。为了保证用户进程不能直接操作内核（kernel），保证内核的安全，操作系统将虚拟空间划分为两部分，一部分为内核空间，一部分为用户空间。针对linux操作系统而言，将最高的1G字节（从虚拟地址0xC0000000到0xFFFFFFFF），供内核使用，称为内核空间，而将较低的3G字节（从虚拟地址0x00000000到0xBFFFFFFF），供各个进程使用，称为用户空间。 进程切换： 为了控制进程的执行，内核必须有能力挂起正在CPU上运行的进程，并恢复以前挂起的某个进程的执行。这种行为被称为进程切换。因此可以说，任何进程都是在操作系统内核的支持下运行的，是与内核紧密相关的。 从一个进程的运行转到另一个进程上运行，这个过程中经过下面这些变化： 保存处理机上下文，包括程序计数器和其他寄存器。 更新PCB信息。 把进程的PCB移入相应的队列，如就绪、在某事件阻塞等队列。 选择另一个进程执行，并更新其PCB。 更新内存管理的数据结构。 恢复处理机上下文。 注：总而言之就是很耗资源，具体的可以参考这篇文章： http:/

第三章：数据结构： 数据结构是程序设计的重要基础 学会数据结构的目的： 　　学会从问题出发，分析和研究计算机加工的数据的特性， 　　以便为应用所涉及的数据选择适当的逻辑结构、存储结构及其相应的操作方法； 　　【对于一个数据结构，需要考虑三个因素：逻辑结构、存储结构、运算方法（操作方法）】 　　为提高利用计算机解决问题的效率服务； 　　数据结构是指：数据元素的集合及元素间的相互关系和构造方法。 　　　　元素间的相互关系：数据的逻辑结构 　　　　元素间关系的存储：存储结构（或称之为 物理结构） 　　　　 　　数据结构的分类： 　　　　线性结构 　　　　非线性结构 　　　　　　又分为树结构、图结构； 　　 　　 数据结构是算法设计的基础。 　　线性结构：线性结构主要用于 对客观世界中具有单一前驱和后继的数据关系进行描述。 　　　　线性表 　　　　　　按照存储方式分类： 　　　　　　　　采用顺序存储：用一组地址连续的存储的存储单元 依次存储线性表中的数据元素， 　　　　　　　　　　现象：逻辑上相邻的两个元素，在物理位置上也相邻。 　　　　　　　　　　优点：可以随机存取表中的元素，即可以对数据随机访问。 　　　　　　　　　　缺点：插入和删除需要移动其他元素；（有时的移动量挺大） 　　　　　　　　　　特点： 　　　　　　　　　　　　 各个结点的空间应该需要事先分配完毕，后续不论是否有数据

类提供了将数据和功能捆绑在一起的手段。 创建一个新类创建一个新类型的对象，允许创建该类型的新实例。 每个类实例都可以附加属性以保持其状态。 类实例也可以有方法（由其类定义）来修改其状态。 与其他编程语言相比，Python的类机制为类添加了最少量的新语法和语义。 它是C ++和Modula-3中的类机制的混合体。 Python类提供了面向对象编程的所有标准功能：类继承机制允许多个基类，派生类可以重写其基类或类的任何方法，并且方法可以调用具有相同名称的基类的方法。 对象可以包含任意数量和种类的数据。 与模块一样，类也具有Python的动态特性：它们是在运行时创建的，并且可以在创建后进一步修改。 **在C++术语中，通常类成员（包括数据成员）是公有的（例外见下面的Privat Variables），并且所有的成员函数都是虚的（virtual）。和Modula-3中一样， 没有快捷的办法从对象的方法中来引用对象的成员：方法的第一个显示函数代表了对象本身，对对象本身的调用是隐式的。和Smaltalk中一样，类本身也是对象。 这为导入和重命名提供了语义。不像C++和Modula-3，内置类型可以作为基类来扩展。同样，和C++中的一样，大部分内置操作符有特殊的语法（算术操作符， 下标等），它们可以在类实例中重定义。** （由于缺乏普遍接受的术语来讨论类，我偶尔会使用Smalltalk和C +

所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用 MySQL 保留关键字【设计表后逐一排查】 所有表必须使用 Innodb 存储引擎，数据库和表的字符集统一使用 UTF8 所有表和字段都需要添加注释 禁止在数据库中存储图片,文件等大的二进制数据 【 通常存储于文件服务器，数据库只存储文件地址信息 】 优先选择符合存储需要的最小的数据类型【能用整型就不要用字符串】【ip字符串转换成整型】 避免使用text，blob类型，会大大降低SQL执行效率 避免使用ENUM类型，无法使用索引，查询效率低 尽可能把所有列定义为 NOT NULL【实在不行赋予默认值】 【索引 NULL 列需要额外的空间来保存，所以要占用更多的空间】 使用 TIMESTAMP(4 个字节) 或 DATETIME 类型 (8 个字节) 存储时间【切忌使用字符串】 同财务相关的金额类数据必须使用 decimal 类型【精准浮点数据类型，double和float是非精准的】 第一范式：具备原子性，不可分解。 id name age address 其中address可以细分为国家，省市，区域。 第二范式：需要确保数据库表中每一列都和主键相关 第三范式：不允许数据冗余 1.所有数据库对象名称必须使用小写字母并用下划线分割 表名：users，users_like-videos，users_fans

真实数据的存储在不同的存储引擎中存放的格式一般是不同的 ，有的存储引擎比如Memory都不用磁盘来存储数据，就跟NoSQL一样，服务器关闭后数据就不见了。InnoDB是MySQL的默认储存引擎，也是我们大家常用的存储引擎。 InnoDB 储存引擎中页的结构。 InnoDB数据页结构 InnoDB 是一个将表中的数据存储到磁盘上的存储引擎，所以即使关机后重启我们的数据还是存在的。而真正处理数据的过程是发生在内存中的，所以需要把磁盘中的数据加载到内存中，如果是处理写入或修改请求的话，还需要把内存中的内容刷新到磁盘上。而我们知道读写磁盘的速度非常慢，和内存读写之间的差距就不再多说，所以当我们想从表中获取某些记录时， InnoDB 存储引擎需要一条一条的把记录从磁盘上读出来么？不，那样会慢死， InnoDB 采取的方式是：将数据划分为若干个页，以页作为磁盘和内存之间交互的基本单位，InnoDB中页的大小一般为 16 KB。也就是在一般情况下，一次最少从磁盘中读取16KB的内容到内存中，一次最少把内存中的16KB内容刷新到磁盘中。 数据页 ，大小也为16KB，但是这16KB大小的存储空间被划分为多个部分，不同的部分当然有着不同的功能，结构如下： 名称 中文名 占用空间大小 简单描述 File Header 文件头 38字节 描述页的信息 Page Header 56字节 页的状态信息

看到一篇讲解Linux中有关buffer和cache的文章，内容很不错，顺手粘过来了原文地址： https://www.cnblogs.com/M18-BlankBox/p/5326484.html 对于一个即将踏上“系统运维”或者更加高大尚的工作“系统调优”，如果这不跟这两哥们搞好关系了，坑的不只有内存，更坑的是你拿着调优的钱却干着随时被调的活。因为作为一个系统运维人员来说监控和优化IO性能这是最有可能你生存下来的技能，为啥呢？因为你不仅给老板省了钱，还提高了机器的工作效率。。虽然钱都进了老板兜里，但你渐渐地植入了他深深地脑海里，总有一天你比钱重要！好了闲话少扯，接下来说说这两个哥们到底是什么？ 　　之前我自己也对到底buffer和cache是什么，有什么不同，什么时候用buffer，什么时候用cache存在疑惑，不能说不知道，只是别人问起来说起来，我知道，但是讲讲他们的区别，还真是说不出来。无奈查了好多资料，要么太底层要么含糊不清，学术再权威再有见地，让读者理解不了也白搭，这就跟一个牛逼的程序，你再怎么运行在内核空间，但如果你不提供一个用户空间的接口，用的人不能通过一种调用接口认识你，那说明你确实牛，牛到使用的人不知道你是什么。服务的最终是面向用户的，你天天说些机器语言，你真的快乐吗？所以我谈谈我自己对buffer和cache的理解 ，希望能帮到一部分人