数据存储

这里有一个 ceph 的原则，就是所有存储的不管是块设备、对象存储、文件存储最后都转化成了底层的对象 object ，这个 object 包含 3 个元素 data ， xattr ， omap 。 data 是保存对象的数据， xattr 是保存对象的扩展属性，每个对象文件都可以设置文件的属性，这个属性是一个 key/value 值对，但是受到文件系统的限制， key/value 对的个数和每个 value 的大小都进行了限制。如果要设置的对象的 key/value 不能存储在文件的扩展属性中，还存在另外一种方式保存 omap ， omap 实际上是保存到了 key/vaule 值对的数据库 levelDB 中，在这里 value 的值限制要比 xattr 中好的多。 一开始不太明白 key/value 是做什么的？在 ceph 中起到什么作用？ 这里要说明的是这些 key/value 是保存对象的元数据相关信息，这些元数据相关信息是可以单独创建和设置的，等于对象存储的扩展，支持属性的值对存储。这个作用就是提供给 ceph 内部使用，暂时用处不大。 一、块存储设备元数据管理 对于块存储，在存储的过程中主要是块的相关信息。块的元数据信息管理，创建一个块设备后会创建一个默认的 rbd 的元数据文件。 0001 ：这里首先创建一个块设备，该块设备的大小为 100M 。 0002

ODS （操作数据存储） 编辑 讨论 操作数据存储ODS（Operational Data Store）是 数据仓库 体系结构中的一个可选部分，也被称为贴源层。ODS具备数据仓库的部分特征和 OLTP 系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。 中文名 操作数据存储 外文名 Operational Data Store 用 途 业务系统 功 能 存储、查询以及形成隔离层 目录 1 作用 2 设计方法 3 设计指南 ▪ 数据调研 ▪ 数据范围 ▪ 主题元素 作用 编辑 一般在带有ODS的 系统体系结构 中，ODS都设计为如下几个作用： 1、在业务系统和数据仓库之间形成一个隔离层 一般的数据仓库应用系统都具有非常复杂的数据来源，这些数据存放在不同的地理位置、不同的数据库、不同的应用之中，从这些业务系统对数据进行抽取并不是一件容易的事。因此，ODS用于存放从业务系统直接抽取出来的数据，这些数据从数据结构、数据之间的逻辑关系上都与业务系统基本保持一致，因此在抽取过程中极大降低了数据转化的复杂性，而主要关注数据抽取的接口、数据量大小、抽取方式等方面的问题。 2、转移一部分业务系统细节查询的功能 在数据仓库建立之前，大量的报表、分析是由业务系统直接支持的，在一些比较复杂的报表生成过程中，对业务系统的运行产生相当大的压力。ODS的数据从粒度

备注： 　　ContentProvider1进程一代码： https://github.com/zengyuan/ContentProvider1Mode 　　ContentProvider1进程二代码： https://github.com/zengyuan/ContentProvider2Mode 注意，最主要是provider的配置，以及URl的provider地址要相同； 一，ContentProvider 主要用于不同的应用程序之间实现数据共享功能！ 主要分为6个： 　　1.使用SQLite技术，创建好数据库和数据表； 　　2.新建类继承ContentProvider，重写6个抽象方法（通过这六个方法对数据库进行操作）； 　　3.在Manifest中注册provider； 　　4.创建UriMatcher，定义Uri规则，添加注册数据库链表的名称； 　　5.ContentResolver对ContentProvider中共享的数据进行增删改查操作； 　　6.获取数据并修改等（进程一进程二增删改查方式一样）； 二，进程一代码伺候： 　　　　第一步创建数据库（sql语句直接执行的）： package com.saiyi.contentproviderdemo1; import android.content.Context; import android.database

1 #include <stdio.h> 2 #include <stdlib.h> 3 #define Max 100 4 5 int *p; 6 int *tos; 7 int *bos; 8 9 /*添加一个数据放到堆栈对顶端*/ 10 void push(int i) 11 { 12 if (p > bos) 13 { 14 printf("堆栈以满\n"); 15 return; 16 } 17 *p = i; 18 p++; 19 } 20 21 /*丛堆栈顶端取出一个数据*/ 22 int pop(void) 23 { 24 p--; 25 if (p < tos) 26 { 27 printf("堆栈下溢\n"); 28 return 0; 29 } 30 return *p; 31 } 32 33 int main() 34 { 35 int a, b; 36 char s[80]; 37 p = (int *)malloc(Max*sizeof(int)); 38 if (!p) 39 { 40 printf("分配内存失败"); 41 exit(1); 42 } 43 tos = p; 44 bos = p + Max - 1; 45 printf("请输入第一个数据:\n"); 46 scanf("%d", &a); 47 push(a); 48

行存储 与 列存储 行业业务集中焦点: 有效地处理海量数据 兼顾安全, 可靠, 完整性 example: HBase采用列存储, MongoDB采用文档型的行存储, Lexst采用二进制的行存储 列存储(column-based) 传统关系型数据库行式存储(Row-based storage storestable in a sequence of rows) 列存储(Column-based storage storesatable in a sequence of columns) 行式存储下一张表的数据是放在一起的, 但列式存储下都被分开保存了。 数据写入对比 行存储的写入是一次完成。如果这种写入建立在操作系统的文件系统上, 可以保证写入过程的成功或者失败, 数据的完整性因此可以确定。 列存储由于需要把一行记录拆分成单列保存, 写入次数明显比行存储多(意味着磁头调度次数多, 而磁头调度需要时间, 一般在1ms ~ 10ms)， 再加上磁头需要在盘片上移动和定位话费的时间, 实际时间消耗会更大。所以, 行存储在写入上占有很大的优势。 数据修改实际上也是一次写入过程。区别是数据修改是对磁盘上的记录做删除标记。行存储是在指定位置写入一次, 而列存储是将磁盘定位到多个列上分别写入, 这个过程仍是行存储的列数倍, so数据修改也是行存储占优势。 数据读取对比 数据读取时,

1、什么是存储器？存储器的分类有哪些？ 　　存储器（Memory）是计算机系统中的记忆设备，用来存放程序和数据。计算机中全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。它根据控制器指定的位置存入和取出信息。有了存储器，计算机才有记忆功能，才能保证正常工作。 　　按用途存储器可分为主存储器（内存）和辅助存储器（外存）, 也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。 　　按读写功能存储器可分为只读存储器(ROM)和随机读写存储器(RAM)两种。ROM存储的内容是固定不变的，它是只能读出而不能写入的半导体存储器; RAM是既能读出又能写入的半导体存储器。当机器电源关闭时，ROM仍然可以保持数据，而存于RAM中的数据则会丢失。 　　在制造ROM的时候，信息（数据或程序）就被存入并永久保存。这些信息只能读出，一般不能写入，即使机器掉电，这些数据也不会丢失。ROM一般用于存放计算机的基本程序和数据，如BIOS ROM。其物理外形一般是双列直插式（DIP）的集成块。 　　我们通常购买或升级的内存条就是用作电脑的内存，内存条（SIMM）就是将RAM集成块集中在一起的一小块电路板，它插在计算机中的内存插槽上

一、Android的数据存取技术分类 本地数据存取技术： 1.SharedPreferences存储 2.文件存储 3.SQLite轻量型数据库 远程数据存取技术： 1.ContentProvider 2.网络存储 二、本地数据存取的位置： 三、SharedPreferences存储： SharedPreferences是一种轻量级的数据存储方式，可以将键/值对的数据，保存在Android的文件系统中，完全屏蔽了文件系统的操作过程。SharedPreferences支持整型、布尔型、浮点型、长整形、字符串数据类型，特别适合用于保存少量数据，更新不频繁且安全性要求不高的场合，如：软件配置参数。 1.操作前，须获取SharedPreferences对象 1.1. Context.getSharedPreferences(String name, int mode)： name为文件名称。 mode为操作模式，默认的模式为0或MODE_PRIVATE，还可以使用MODE_WORLD_READABLE 和MODE_WORLD_WRITEABLE。 1.2. Activity.getPreferences(int mode):只能在当前activity使用，一般不用： 使用当前不带包名的类名作为文件的名称。 mode为操作模式，默认的模式为0或MODE_PRIVATE，还可以使用MODE

转自： https://www.cnblogs.com/ay-a/p/10520425.html MySql连接空闲8小时自动断开引起的问题 一、问题描述 ​ 最近遇到了一个奇怪的MySql数据库问题，好几次前一天晚上历史数据还正常存储，第二天早上来了看实时数据存储还正常，历史数据不存储了。找了好久也没找到问题。后来仔细想了想，历史数据设置了变化才存储，是不是数据一直不变，就一直没有往数据库写数据，导致MySql的连接太久不用自动断开了。然后就百度了一下，Mysql空闲连接有效时长，一看都说是8个小时就自动断开了。嗯，有点感觉了，应该就是这个原因。 二、问题排查 根据查到的资料查看MySql 有两个参数，可以设定空闲连接的有效时长，分别是 interactive_timeout 和 wait_timeout ，可以在mysql配置文件中设置。根据这一点，可以来进行排查了。 使用 show variables like '%timeout%'; 命令查询以上两个参数的值，一查都是28800(单位是秒，刚好8小时)。 在mysql配置文件中修改 interactive_timeout 和 wait_timeout 都为100，这样连接100秒不使用就自动关闭了。 重启mysql服务，开始向数据库中插入数据，中间暂停3分钟(确保空闲连接已经断开)，可以使用 show status

客户端的数据存储 引言 随着Web应用程序的出现，也产生了对于能够直接在客户端存储用户信息的要求。想法很合乎逻辑，属于某个特定用户的信息应该存在该用户的机器上。无论登录信息，偏好设定或其他数据，Web应用提供者在找各种方式将数据存在客户端上。 我们来用一张表总结将数据存储在客户端上的各种方式的优缺点 方式 优点 缺点 cookie (1)能用于和服务器端通信；(2)当cookie快要过期时，可以重新设置cookie中的expires而不是删除。 (1)同源限制，(2)它会随着http头信息一起发送，增加了网络流量（文档传输的负载）；(3)它只能储存少量的数据；(4)它只能储存字符串；(5)有潜在的安全问题。 sessionStorage (1)针对会话的小段数据的存储，也就是该数据只保持到浏览器关闭。(2)存储在其中的数据可以跨越页面刷新而存在。 同源策略限制：若想在不同页面之间对同一个sessionStorage进行操作，这些页面必须在同一协议、同一主机名和同一端口下 localStorage 如果不使用removeItem()或者delete删除，或者用户未清除浏览器缓存，数据将会一直保存在磁盘上，因此很适合在客户端存储文档或者长期保存用户偏好设置 (1)同源限制，(2)localStorage本质上是对字符串的读取，它是同步操作，如果存储内容多的话会消耗内存空间

本文引用 https://www.jianshu.com/p/479431256bca 通常我们在运行 Python 爬虫脚本时经常需要将爬取到的数据信息保存到本地做持久化存储，常见的存储方式有直接保存到文本文件和存储到数据库这两种。比如说我们写个爬虫脚本去爬取猫眼电影上的前100部影片的信息，我们可以将爬取到的信息保存为 csv 文件，这种文件可以直接通过 excel 软件打开查看，还可以将爬取的信息格式化成 json 格式数据直接保存到 TXT 文本文件中，这样爬取的数据就轻松实现了本地持久化存储的目的。今天我们来聊聊 python3 是如何利用 MySQL 数据库来存储爬取到的数据的。 MySQL 是一种关系型数据库，同样属关系型数据库的还有 SQLite 、 Oracle 、 SQL Server 、 DB2 等。(后期我们会讲另一种非关系型数据的存储，如 MongoDB )至于为何选择 python3 而不是 python2 来讲，是因为 Python2 实在是太 TMD 难用了，同时在 Python 2 中，连接 MySQ L的库大多是使用 MySQLdb ，但是此库的官方并不支持 Python 3 ，所以这里推荐使用的库是 PyMySQL 。好了，废话就不多啰嗦了，开始正文！ 1. 安装MySQL数据库 首先请移玉步至 https://dev.mysql.com