数据存储

本文源自于 Rebooting Web of Trust 组织在 RWOT IX — Prague, 2019会议上的论文《Encrypted Data Vaults》的部分章节。 原文： https://github.com/WebOfTrustInfo/rwot9-prague/blob/master/final-documents/encrypted-data-vaults.md 作者（按字母顺序）：Amy Guy、David Lamers、Tobias Looker、Manu Sporny 和 Dmitri Zagidulin 贡献者（按字母顺序）：Daniel Bluhm 和 Kim Hamilton Duffy 我们在线上存储了大量敏感数据，例如个人识别信息（PII）、商业机密、家庭照片和客户信息，而这些数据通常没有得到应有的保护。 一般来说，人们主要通过立法，如《通用数据保护条例》（GDPR）等来约束服务提供商，以确保他们在发生数据泄露事件时承担责任，激励其更好地保护个人隐私。这种责任压力暴露了技术上的短板，服务供应商通常没有完善的技术来保护其客户的隐私。而加密数据仓库弥补了这一空白，并具有诸多其他的优势。 本文介绍了当前的方法和体系结构、派生的要求、设计目标以及开发者在实现数据存储时应意识到的风险。同时还探讨了这类系统的基本假设，如提供用于存储

本文源自于 Rebooting Web of Trust 组织在 RWOT IX — Prague, 2019 会议上的论文《 Encrypted Data Vaults 》的第二部分。继上一部分介绍了当前加密数据仓库的方法和体系结构、派生的要求、设计目标以及开发者在实现数据存储时应意识到的风险之后，本部分将主要讲述 数据存储系统的常见用例 、 需求分析 以及 建设加密数据仓库的一些指导原则和设计目标 。下一期我们将带来《Encrypted Data Vaults》的最后一部分，探讨加密数据仓库的架构及一些安全和隐私方面的考虑等问题。 原文： https://github.com/WebOfTrustInfo/rwot9-prague/blob/master/final-documents/encrypted-data-vaults.md 作者（按字母顺序）：Amy Guy、David Lamers、Tobias Looker、Manu Sporny 和 Dmitri Zagidulin 贡献者（按字母顺序）：Daniel Bluhm 和 Kim Hamilton Duffy 一、核心用例 以下四个用例是数据存储系统常见的应用模式，但绝不是唯一的用例。 1. 存储和使用数据 用户希望将数据存储在安全的位置，但不希望存储服务提供商能够看到他存储的任何数据

1、 Hive的数据存储 Hive的数据存储基于Hadoop HDFS Hive没有专门的数据存储格式 存储结构主要包括：数据库、文件、表、试图 Hive默认可以直接加载文本文件(TextFile),还支持sequence file 创建表时，指定 Hive数据的列分隔符与行分隔符，Hive即可解析数据。 2、 Hive的数据模型-数据库 类似传统数据库的 DataBase 默认数据库 "default" 使用 #hive命令后，不使用hive>use <数据库名>，系统默认的数据库。可以显式使用hive> use default; 创建一个新数据库 hive > create database test_dw; 3、 Hive的数据模型-表 Table 内部表 与数据库中的 Table 在概念上是类似 每一个 Table 在 Hive 中都有一个相应的目录存储数据。例如，一个表 test，它在 HDFS 中的路径为：$HIVE_HOME/warehouse/test。warehouse是在 hive-site.xml 中由 ${hive.metastore.warehouse.dir} 指定的数据仓库的目录 所有的 Table 数据（不包括 External Table）都保存在这个目录中。 内部表，删除表时，元数据与数据都会被删除 具体操作如下： 创建数据文件 inner

HDFS架构图 HDFS原理 　　1) 三大组件　　 　　NameNode、 DataNode 、SecondaryNameNode 　　2）NameNode 　　　　存储元数据（文件名、创建时间、大小、权限、文件与block块映射关系） 　　3）DataNode 　　　　存储真实的数据信息 　　4)SecondaryNameNode 　　　　合并edits日志文件和fsimage镜像文件进行合并 　　 (1)dfs.namenode.name.dir　　file://{$hadoop.tmp.dir}/dfs/name hadoop.tmp.dir　　　　　　/tmp/hadoop-${user.name} 多次格式化的问题： hdfs格式化会改变VERSION文件中的clusterID, 首次格式化时datanode和namenode会产生相同的clusterID; 如果重新执行格式化，namenode的clusterID改变，就会愈datanode的cluseterID不一致，如果重启或者读写hdfs，就会挂掉 (2)dfs.datanode.data.dir　　file://${hadoop.tmp.dir}/dfs/data hadoop.tmp.dir　　　　　 /tmp/hadoop-${user.name} 例：/tmp/hadoop-root/dfs目录下：

集群数据存储结构主要分三种（主机也可以说叫作存储点，一个主机也可以有多个存储点） 1.每个主机存储一样的数据：主要用来做负载平衡，复制等等。 2.每个主机存储的数据结构一样，但是数据不同，也就是一个数据分开存储，每个机器存储一部分数据，也就是分表分库：主要用来做并行计算。 3.分布式存储：比如作者数据存储在一个主机中，业务数据存储在另一个主机中。分布式计算。 来源： https://www.cnblogs.com/cuihongyu3503319/p/11396199.html

Sping Cloud 分布式数据存储 分布式事务 常见搜索引擎 1. Lucene 搜索引擎库，功能强大，接入复杂 2. Solr 基于Lucene的搜索引擎服务器 3. Elasticsearch 基于Lucene的搜索引擎服务器，分布式 Elasticsearch基础概念3-1 node 节点，部署Elasticsearch程序的服务器 cluster 集群，多个节点组成的架构 index 索引，相当于关系型数据库的database shard 索引分片，索引可以被设置为多个分片 replicas 索引副本 Elasticsearch基础概念3-2  type 类型，对应于关系型数据库的table document 文档，类似于关系型数据库的row 关系型数据库 Elasticsearch Database index Table type Row document Elasticsearch基础概念3-3  文档三元素 _index：文档对应的索引 _type：文档对应的数据类型 _ID：文档的唯一ID Elasticsearch客户端 - Kibana  Kibana → Dev Tools Elasticsearch命令分类 索引管理 创建、配置、删除索引 文档管理 创建、修改、删除文档 数据查询 空查询 指定索引查询、指定类型查询 请求体查询（过滤查询

1. 链接物联网的概念 物联网（The Internet of Things，简称IOT）是指通过 各种信息传感器、 射频识别技术 、 全球定位系统 、 红外感应器 、激光扫描器等各种装置与技术，实时采集任何需要监控、 连接、互动的物体或过程，采集其声、光、热、电、力学、化 学、生物、位置等各种需要的信息，通过各类可能的网络接入，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。物联网是一个基于 互联网 、传统电信网等的信息承载体，它让所有能够被独立寻址的普通物理对象形成互联互通的网络 [1] 。 ---来自百度百科 2. 接入物联网平台设备 此处的接入物联网平台指的是设备接入阿里云物联网平台之后，开发者在云端直接基于物联网平台提供的接口对设备上报的数据进行处理；如果设备接入物联网平台之后、开发者是基于物联网平台之上的某个行业平台（比如智能生活开放平台）进行云端数据处理，那么设备端需要具备的功能存在一定差异。 本文的适用场景为：设备接入阿里云物联网平台并在云端直接基于物联网平台进行开发的场景。 WiFi设备 WiFi设备指设备使用WiFi连接网络，并继而与阿里云物联网通信的设备： WiFi设备接入LP说明 以太网设备 以太网设备指设备使用以太网协议连接网络，并继而与阿里云物联网通信的设备 以太网设备接入LP说明 广域网设备 这里的广域网设备指通过2/3/4G

通常，我们在数据库中存储数据。不过，如果希望数据的可移植性更强，我们可以把数据存储 XML 文件中。 创建并保存 XML 文件 如果数据要被传送到非 Windows 平台上的应用程序，那么把数据保存在 XML 文件中是有好处的。请记住，XML 有很强的跨平台可移植性，并且数据无需转换！ 首先，我们将学习如何创建并保存一个 XML 文件。下面的这个 XML 文件将被命名为 "test.xml"，并被保存在服务器上的 c 目录中。我们将使用 ASP 和微软的 XMLDOM 对象来创建并保存这个 XML 文件： <% Dim xmlDoc, rootEl, child1, child2, p '创建XML文档 Set xmlDoc = Server.CreateObject("Microsoft.XMLDOM") '创建根元素并将之加入文档 Set rootEl = xmlDoc.createElement("root") xmlDoc.appendChild rootEl '创建并加入子元素 Set child1 = xmlDoc.createElement("child1") Set child2 = xmlDoc.createElement("child2") rootEl.appendChild child1 rootEl.appendChild child2 '创建 XML

对技术，我还是抱有敬畏之心的。 Hadoop概述 Hadoop是一个开源分布式云计算平台，基于Map/Reduce模型的，处理海量数据的 离线分析工具 。基于Java开发，建立在HDFS上，最早由Google提出，有兴趣的同学可以从 Google三驾马车: GFS,mapreduce,Bigtable 开始了解起，这里我不详细介绍了，因为网上的资料实在是太多了。 Hadoop项目的结构如下： Hadoop中最重要的应该就是HDFS和Mapreduce了，从HDFS讲起： HDFS 主要由以下优点： 1）、支持超大文件，一般来说，一个Hadoop文件系统可以轻松的存储TB、PB级别的数据。 2）、检测和快速应对硬件故障，在大量通用的廉价硬件构建的集群上，特别是硬件故障很常见，一班的HDFS系统由成百上千台存储着数据文件的服务器组成，越多的服务器也就意味着高故障率，因此故障检测和制动恢复就是HDFS的一个设计目标。 3）、流式数据访问方式，HDFS要处理的数据规模都比较大，应用程序一次需要访问大量数据， 适用于批量处理而非用户交互式处理数据，HDFS以流式方式访问数据，注重的是数据的高吞吐量而非访问速度 。 HDFS是建立在最有效的数据处理模式是一次写多次读（write-once,read-many-times）的模式的概念之上的， 当写入操作被关闭后

Adapter在Android中占据一个重要的角色，它是数据和UI（View）之间一个重要的纽带。在常见的View(ListView GridView Gallery Spinner)等地方都需要用到Adapter。 一、ArrayAdapter: BaseAdapter的具体实现，在实例化时可以使用泛型结构，ArrayAdapter 负责把一个字符串数组中的数据填充到一个View当中。 1 // 首先声明一个Spinner类的对象 2 Spinner s = (Spinner)findViewById(R.id.flipper); 3 // 之后调用ArrayAdapter 4 ArrayAdapter < String > adapter = new ArrayAdapter < String > ( this ,android.R.layout.simple_spinner_item,mStrings); 5 android.widget.ArrayAdapter.ArrayAdapter(Context context, int textViewResourceId, String[] objects) 6 /* 7 *public ArrayAdapter(Context context, int textViewResourceId, T[] objects) 8