空间数据

一.IO多路复用 前面用协程实现IO阻塞自动切换，‘如何去实现事件驱动的情况下IO的自动阻塞的的切换，这个学名叫IO多路复用。 比如socketsew64hmay'y'yver，多个客户端连接，单线程下实现并发效果，这就叫多路复用. 同步io和异步IO，阻塞IO和非阻塞IO的区别？ 二.IO模型的前戏准备 　　1.用户空间与内核空间 　　　　操作系统的核心是内核，独立于普通应用程序，可以访问受保护的内存空间也有访问底层硬件的权限 　　　　为了保证用户进程不能直接操作内核（kernel）,保证内核的安全，操作系统将虚拟空间划分为两部分，一部分为内核空间，一部分为用户空间。 　　　　各个进程的使用，称为用户空间。 　　2.进程切换 　　　　为了控制进程的执行，内核必须有能力挂起正在CPU运行的程序，并恢复以前挂起的某个进程。进程切换由操作系统完成,任何进程都是在操作系统内核的支持下运行的，是与内核紧密相关. 　　　　把进程的pbc移入相应的队列，选择另一个进程执行，并更新pbc。 　　3.进程的阻塞 　　　　正在执行的进程，由于期待的某些事件未发生，入请求系统资源失败，等待某种操作的完成，新数据尚未到达或无新工作等。则由系统自动执行阻塞，使自己由运行状态变为阻塞状态。进程阻塞是进程自身的一种主动行为，因此只有处于运行状态的进程（获得cpu），才可能将其转换为阻塞状态。当进程进入阻塞状态

#导入包 from osgeo import ogr #打开文件（False - read only, True - read/write） filename = "文件名.shp" ds = ogr.Open(filename, False) #获取第一个图层 layer = ds.GetLayer(0) #获取投影信息 spatialref = layer.GetSpatialRef() s=spatialref.ExportToWkt() #图层定义信息 lydefn = layer.GetLayerDefn() #几何对象类型（点、线、面） geomtype = lydefn.GetGeomType() #获取第一个属性字段，字段名、字段类型等 fd0=lydefn.GetFieldDefn(0) fd0.GetName() fd0.GetType() fd0.GetWidth() #读取数据（空间几何信息及属性信息） feature=layer.GetNextFeature() #拿出几何图形 geom=feature.GetGeometryRef() #查看数据(Wkt给人看，Wkb给计算机看) geom.ExportToWkt() #查看空间某一字段信息 feature.GetField('FIPS_CNTRY') del layer 来源： https://www

在c语言中，结构体数据类型与共用体数据类型都属于构造类型。共用体与结构体数据类型在定义上十分相似，但它们在存储空间的占用分配上有本质的区别。结构体变量是各种类型数据的集合，各成员占据不同的存储空间，而共用体变量的所有成员占用相同的存储空间，在某一时刻只有一个成员起作用。 （1）共用体类型的定义 定义共用体类型的一般形式： union 共用体类型名 { 数据类型 成员名1; 数据类型 成员名2; 数据类型 成员名3; ...... }; 以上定义了一个名为data的共用体类型。它说明该类型由三个不同类型的成员组成，这些成员共享同一块存储空间。 （2）共用体变量的定义 与结构体变量的定义类似； （3）共用体变量的引用和初始化 1.引用共用体变量中的一个成员 引用共用体变量的成员的一般形式 共用体变量名.成员名 共用体指针变量->成员名 第一种引用方式应用于普通共用体变量，第二种引用方式应用于共用体指针变量。 union data a,*p=&a; 2.共用体类型变量的整体引用 可以将一个共用体变量作为一个整体赋给另一个同类型的共用体变量。例如： union data a,b; ...... a=b; 3.共用体变量的初始化 在共用体变量定义的同时只能用第一个成员的类型值进行初始化，共用体变量初始化的一般形式： union 共用体类型名 共用体变量={第一个成员的类型名}; 例如：

变量： 通常，根据内存地址可以找到这块内存空间的位置，也就找到了存储数据的位置，但是内存地址非常的不好记，因此，我们给这块内存地址空间起一个别名，通过使用别名找到对应空间存储的数据。变量名是一个数据存储空间的表示。将数据指定给变量，就是将数据存储到以别名为变量名 的那个房间；调用变量，就是将那个房间中的数据取出来。 数据类型： 数据类型分为数值类型（整型和非整型）和非数值类型 char（字符型）：用于存储单个字符 int （整型）：用于存储整数类型 double（双精度浮点型）：用于存储小数 String（字符串）：用于存储字符串类型数据 创建变量的两种方式： 1.声明-->赋值-->取值 //声明变量 int money; //存钱 //=:赋值运算符（将右边的值赋值给左边） //赋值变量 money=1000; //+:用于连接 //调用变量 System.out.println("存储"+"："+money); 2.声明+赋值-->取值 double price=99.99; System.out.println(price); 变量的命名规则： 1.变量名必须以字母，"_"或者"$"符号开头 2.变量名可以包含数字，但是不能以数字开头 3.除了"_"和"$"不能包含其他字符 4.不能使用Java的关键字 注意事项： 1.变量名不能出现重复！！！！！！！！！！ 2

常见IPC Linux环境下，进程地址空间相互独立，每个进程各自有不同的用户地址空间。任何一个进程的全局变量在另一个进程中都看不到，所以进程和进程之间不能相互访问，要交换数据必须通过内核，在内核中开辟一块缓冲区，进程1把数据从用户空间拷到内核缓冲区，进程2再从内核缓冲区把数据读走，内核提供的这种机制称为进程间通信（IPC，InterProcess Communication）。 常用的进程间通信方式有： ① 管道 ( 使用最简单 ) ② 信号 ( 开销最小 ) ③ 共享映射区 ( 无血缘关系 ) ④ 本地套接字 ( 最稳定 ) 管道基础 管道是Linux进程间的一种通信方式，两个进程可以通过一个共享内存区域来传递信息，并且管道中的数据只能是单向流动的，也就是说只能有固定的写进程和读进程。 管道是一种最基本的IPC机制，作用于有血缘关系的进程之间，完成数据传递。调用pipe系统函数即可创建一个管道。有如下特质： 1. 其本质是一个伪文件 ( 实为内核缓冲区 ) 2. 由两个文件描述符引用，一个表示读端，一个表示写端。 3. 规定数据从管道的写端流入管道，从读端流出。 管道的原理 : 管道实为内核使用环形队列机制，借助内核缓冲区 ( 4 k ) 实现。 管道可以分为两种类型：匿名管道和命名管道。 其缺点为： 1 、读写数据过程中数据自己读不能自己写。 2 、数据一旦被读走

1、缓存雪崩 缓存雪崩指的是原有的缓存数据出现了大批量的缓存过期，造成一时间大批量并发请求都到了数据库，造成数据库的压力激增，严重的会造成数据库宕机。从而形成一系列连锁反应，造成整个系统崩溃。 【解决方案】 从上面的分析可以看出只有当缓存同时大批量过期的时候，才会出现缓存雪崩的情形，所以只要想办法让缓存过期的时间分散开来即可。那方法就多了，比如说将热数据的缓存时间设置长一点，冷数据的过期时间设置得短一点，另外数据也可以分类设置不同的过期时间，或者加一个随机扰乱因子。 2、缓存穿透 缓存穿透是指查询一个不存在于缓存且不存在于数据库的数据，这时如果遭到恶意攻击，频繁地请求这个缺失数据，必然会每次都要读缓存和读数据库，增加了数据库的压力负担。 【解决方案】 对于缺失的数据，每次请求完数据库之后，都要更新到缓存，设置其key对应的value为空即可。这样当下一次请求该缺失数据对应的key，就可以直接通过缓存判断了，不需要再去请求数据库。 ——缺点：显然，当数据缺失很多的时候，必然会极大地浪费缓存的内存空间。 采取bloom filter（布隆过滤器），布隆过滤器的原理如下。 3、布隆过滤器 首先明确我们要解决的问题，即如何快速判断一个数据是否存在于数据库中。那我们自然而然想到的便是采取hash思想，只需要将数据库中的所有数据key存储到一个hash结构中，便可以快速判断

在单道程序设计系统中，内存被划分成两个部分：一部分供操作系统使用（驻留监控程序、内核），一部分供当前正在执行的程序使用。在多道程序设计系统中，必须在内存中进一步细分出“用户”部分，以满足多个进程的要求。细分的任务由操作系统动态完成，这称为内存管理。 有效的内存管理在多道程序设计系统中是至关重要的。如果只有少量进程在内存中，所有进程大部分时间都用来等待IO，这种情况下，处理器也处于空闲状态。因此，必须有效地分配内存来保证有适当数目的就绪进程可以占用这些可用的处理时间。 一、内存管理的需求 1 重定位 在多道程序设计系统中，可用的内存空间通常被多个进程共享。 通常情况下，程序员并不能事先知道在某个程序执行期间会有其他哪些程序驻留在内存中。此外还希望通过提供一个巨大的就绪进程池，能够把活动进程换入或换出内存，以便使处理器的利用率最大。 一旦程序被换出磁盘，当下一次被换入时，需要把进程重定位到内存的不同区域。因此，我们事先不知道程序将会被放置到哪个区域，并且我们必须允许程序通过交换技术在内存中移动。 操作系统需要知道进程控制信息和执行栈的位置，以及该进程开始执行程序的入口点。 2 保护 每个进程都应该受到保护，以免被其他进程有意无意地干涉。因此，该进程以外的其他进程中的程序不能未经授权地访问（进程读操作或写操作）该进程的内存单元。 通常，用户进程不能访问操作系统的任何部分

原文：http://blog.csdn.net/yujianmin1990/article/details/48223001 　数据的形式是多种多样的，维度也是各不相同的，当实际问题中遇到很高的维度时，如何给他降到较低的维度上？前文提到进行属性选择，当然这是一种很好的方法，这里另外提供一种 从高维特征空间向低纬特征空间映射 的思路。 数据降维的目的 　　数据降维，直观地好处是维度降低了，便于计算和可视化，其 更深层次的意义在于有效信息的提取综合及无用信息的摈弃 。 数据降维的方法 　　主要的方法是线性映射和非线性映射方法两大类。 线性映射 　　 线性映射方法的代表方法有：PCA（Principal Component Analysis），LDA（Discriminant Analysis） PCA方法简介 　　主成分分析的 思想 ，就是线性代数里面的K-L变换，就是 在均方误差准则下失真最小的一种变换 。是将原空间变换到特征向量空间内，数学表示为 A x = λ x 。 　　特征向量和特征值的意义：分别表示不同频率及其幅度。 　　 特征向量和特征值的直白理解： 想在特征空间内找到某个向量 x ，使得其满足 A x = λ x 。这个式子可以这样理解， A 是空间内的运动， x 经过运动 A 后，保持方向不变（仍是 x 的方向），只是大小伸缩了 λ 倍。这样我们找到了 k

内存管理 基本概念 内存管理主要分为连续区管理和非连续区管理 注意汇编语言也需要翻译下 ，但不是编译，因为它基本上就是一对一的翻译了下，比编译任务简单的多 base表示该进程的最小的地址位置，limit表示最大的 由存储管理单元在地址送往地址总线之前进行逻辑地址到物理地址的转换 ： 两种方法可以实现运行时不将所有代码装入内存： 动态连接提供系统级的支持，操作系统升级时，动态链接库可以直接升级，不需要重新编译应用程序 存储管理的基本内存就是逻辑地址和物理地址之间的映射 交换 后备存储空间一般是一个单独划出的存储空间，要提供直接访问机制 来源： https://zhidao.baidu.com/question/72920995.html 内存交换（对换）的基本思想是，把处于等待状态（或在 CPU 调度原则下被剥夺运行权利） 的程序从内存移到辅存，把内存空间腾出来，这一过程又叫换出；把准备好竞争 CPU 运行的程序从辅存移到内存，这一过程又称为换入。 　　有关交换需要注意以下几个问题： 　　1、交换需要备份存储，通常是快速磁盘。它必须足够大，并且提供对这些内存映像的直接访问。 　　2、为了有效使用 CPU ，需要每个进程的执行时间比交换时间长，而影响交换时间的主要是转移时间。转移时间与所交换的内存空间成正比。 　　3、如果换出进程，必须确保该进程是完全处于空闲状态。 　　4

作者： 吴香伟 发表于 2014/09/05 版权声明：可以任意转载，转载时务必以超链接形式标明文章原始出处和作者信息以及版权声明 数据分布是分布式存储系统的一个重要部分，数据分布算法至少要考虑以下三个因素： 1) 故障域隔离。同份数据的不同副本分布在不同的故障域，降低数据损坏的风险； 2) 负载均衡。数据能够均匀地分布在磁盘容量不等的存储节点，避免部分节点空闲部分节点超载，从而影响系统性能； 3) 控制节点加入离开时引起的数据迁移量。当节点离开时，最优的数据迁移是只有离线节点上的数据被迁移到其它节点，而正常工作的节点的数据不会发生迁移。 对象存储中一致性Hash和Ceph的CRUSH算法是使用地比较多的数据分布算法。在Aamzon的Dyanmo键值存储系统中采用一致性Hash算法，并且对它做了很多优化。OpenStack的Swift对象存储系统也使用了一致性Hash算法。 一致性Hash算法 假设数据为 x ，存储节点数目为 N 。将数据分布到存储节点的最直接做法是，计算数据 x 的Hash值，并将结果同节点数目 N 取余数，余数就是数据x的目的存储节点。即目的存储节点为 Hash(x) % N 。对数据计算Hash值的目的为了可以让数据均匀分布在N个节点中。这种做法的一个严重问题是，当加入新节点或则节点离开时，几乎所有数据都会受到影响，需要重新分布。因此，数据迁移量非常大。