数据存储

您可使用热迁移或冷迁移将虚拟机从一个主机或存储位置移至另一位置。例如，您可使用 vMotion 将已打开电源的虚拟机从主机上移开，以便执行维护、平衡负载、并置相互通信的虚拟机、将多个虚拟机分离以最大限度地减少故障域、迁移到新服务器硬件等等。 您可使用冷迁移或热迁移将虚拟机移至其他主机或数据存储。 冷迁移 您可将已关闭电源或已挂起的虚拟机移至新主机。您可选择将已关闭电源或已挂起虚拟机的配置文件和磁盘文件重定位到新的存储位置。您也可使用冷迁移将虚拟机从一个数据中心移至另一个数据中心。要执行冷迁移，您可手动移动虚拟机或设置调度的任务。 热迁移 根据您使用的迁移类型是 vMotion 还是 Storage vMotion，您可以将打开的虚拟机迁移到其他主机，或者将其磁盘或文件夹迁移到其他数据存储，而不破坏虚拟机的可用性。vMotion 也称为“实时迁移”或“热迁移”。 您不能在不同的数据中心之间移动已打开电源的虚拟机。 注： 复制虚拟机是指创建新的虚拟机，并不是迁移形式。通过克隆虚拟机或复制其磁盘和配置文件可以创建新的虚拟机，克隆并不是迁移的一种形式。 在 vCenter Server 中，有以下迁移选项： 更改主机 将虚拟机而非其存储移至另一主机。您可使用冷迁移或热迁移移动虚拟机。您可使用 vMotion 将已打开电源的虚拟机移至另一主机。 更改数据存储 将虚拟机及其存储

一、Hive简介 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。还可以将 SQL 语句转换为 MapReduce 任务进行运行，通过自己的 SQL 去 查询分析需要的内容，这套 SQL 简称 HQL。使用hive的优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合 数据仓库 的统计分析。 Hive将元数据存储在数据库（RDBMS）中，比如MySQL、Derby中。Hive有三种模式连接到数据，其方式是：单用户模式，多用户模式和远程服务模式。（也就是内嵌模式、本地模式、远程模式）。 Hive特点： 1.可扩展 Hive可以自由的扩展集群的规模，一般情况下不需要重启服务。 2. 延展性 Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。 3.容错 良好的容错性，节点出现问题SQL仍可完成执行。 二、Hive架构 Hive体系结构如下图： 再来一张中文的图： 其中第一张图中的Jobtracker是hadoop1.x中的组件，它的功能相当于hadoop2.x中的： Resourcemanager+AppMaster TaskTracker 相当于： Nodemanager + yarnchild 从上图可以看出

一、Android数据的存储方式： Android系统一共提供了 四种数据存储方式 。分别是： SharePreference、SQLite、Content Provider和File ；此外还有一种网络存储。由于Android系统中，数据基本都是私有的，都是存放于“data/data/程序包名”目录下， 所以要实现数据共享，正确方式是使用Content Provider 。 在Android中，可以使用几种方式实现数据持久化： Shared Preferences：除SQLite数据库外，另一种常用的数据存储方式。共享参数形式， 一种以Key-Value的键值对形式 保存数据的方式，其本质就是一个xml文件。Android内置的， 一般应用的配置信息，推荐使用此种方式保存 。 Internal Storage：使用Android设备自带的内存存储数据。 External Storage：使用外部存储设备存储数据，一般是指Sdcard。 SQLite Databases：以SQLite数据库存储结构化的数据。SQLite是一个轻量级的数据库，支持基本SQL语法，是常被采用的一种数据存储方式。Android为此数据库提供了一个名为SQLiteDatabase的类，封装了一些操作数据库的API。 Network Connection：使用基于网络的服务获取数据。 二

Android中的5种数据存储方式 数据存储在开发中是使用最频繁的，在这里主要介绍Android平台中实现数据存储的5种方式，分别是： 1 使用SharedPreferences存储数据； 2 文件存储数据； 3 SQLite数据库存储数据； 4 使用ContentProvider存储数据； 5 网络存储数据； Android中数据存储的5种方法 简介：这是Android中数据存储的5中方法的详细页面，介绍了和手机软件,Android Android中数据存储的5中方法有关的知识， Android数据存储 Android提供了5种方式存储数据： --使用SharedPreferences存储数据； --文件存储数据； --SQLite数据库存储数据； --使用ContentProvider存储数据； --网络存储数据； 先说 下，Preference，File， DataBase这三种方式分别对应的目录是/data/data/Package Name/Shared_Pref, /data/data/Package Name/files, /data/data/Package Name/database 。 在Android中通常使用File存储方式是用Context.openFileOutput(String fileName, int mode)和Context

现在都说，是大数据时代，可是百度了，也不能给我一个通俗易懂的答案：到底什么是大数据，为什么会出现这种情况，怎么处理呢？ 起初，数据量很少的时代，通过表格工具、mysql等关系型数据库（二维表数据库，数据逐行插入）就能够解决数据存储的问题。 但是，随着互联网的飞速发展，产品以及用户的激增，产生了海量的数据。 考虑到长足发展，公司会对产品、用户相关的原生数据、埋点数据等进行分析，传统的关系型数据库就无法满足需要，只能通过行式、分布式等数据库来存储这些数据（HBASE、hive等，能够实现集群化，及分配到多台主机上同时计算）。 当数据量大了，光秃秃的数字就难免让人产生困意，所以就出现了由数据向图表的转变，也就是我们说的数据可视化。 认识数据可视化 有了数据之后，对数据分析就是成了最关键的环节，我公司的分析师就曾对我说过一句话： 数据分析主要对整体分析，而不执着于特殊的个体数据，这样才能够给产品提供宏观、有效的参考价值 。 海量的数据让用户通过逐条查看是不可行的，图像化才是有效的解决途径。少量的数据可以通过表格工具生成图表、透视表的方式进行分析，但是大数据的分析就需要借助专门的可视化工具了，常见的可视化工具包括：Tableau、FineBI等。 大部分商用数据可视化工具的计算、图表展示虽然比较强大，但是却无法做到实时数据快速生成，数据也多为push（固定的范围）的方式

Prometheus vs Zabbix Zabbix 使用的是 C 和 PHP, Prometheus 使用 Golang, 整体而言 Prometheus 运行速度更快一点。 Zabbix 属于传统主机监控，主要用于物理主机，交换机，网络等监控，Prometheus 不仅适用主机监控，还适用于 Cloud, SaaS, Openstack，Container 监控。 Zabbix 在传统主机监控方面，有更丰富的插件。 Zabbix 可以在 WebGui 中配置很多事情，但是 Prometheus 需要手动修改文件配置。 Prometheus vs Graphite Graphite 功能较少，它专注于两件事，存储时序数据， 可视化数据，其他功能需要安装相关插件，而 Prometheus 属于一站式，提供告警和趋势分析的常见功能，它提供更强的数据存储和查询能力。 在水平扩展方案以及数据存储周期上，Graphite 做的更好。 Prometheus vs InfluxDB InfluxDB 是一个开源的时序数据库，主要用于存储数据，如果想搭建监控告警系统， 需要依赖其他系统。 InfluxDB 在存储水平扩展以及高可用方面做的更好, 毕竟核心是数据库。 Prometheus vs OpenTSDB OpenTSDB 是一个分布式时序数据库，它依赖 Hadoop 和 HBase

对于 SQL 数据库（关系型数据库）我们大家都有所了解，比如 MySQL ， sqlserver ， oracle 等数据库。在日常的开发过程中我们遇到服务器端的数据存储时几乎第一反应就是使用 SQL 据库像我们最常见的 Mysql 数据库。 数据库存在的意义就是存储和读取数据， SQL 数据库用二维表存储数据，在使用过程中我们会觉得这种存储方式可以很形象的表示出数据之间的关系。尤其是 SQL 语句的出现使得 SQL 数据库的使用变得更加广泛容易。但是注重严密的数据关系带来的就是拓展性差和大量数据存储时性能的问题。 NoSQL 数据库（非关系数据库）它的出现就是为了解决上述问题。它去掉了数据之间的关系重视数据的读写使得它在大数据的存储上表现出很棒的性能， 它没有固定的表结构使得它在拓展上表现的非常灵活。 MongoDB 是由 C++ 语言编写的基于分布式文件存储的开源数据库系统是最常用的 NoSQL 数据库也是最像 SQL 类型的数据库。它采用的数据存储方式是 json----key:value 方式，在存储数据时不需要提前规定表的结构它的数据存储在文档中（ document ）大量的文档组成集合（ collection ）大量的集合组成数据库。 MongoDB 的数据存储于 SQL 语句的对照 : MongoDB支持的数据类型有：null、boolean、String

前言：获取数据后可以选择多种存储方式，可以是TXT纯文本形式，也可以为JSON格式、CSV格式等。TXT文本几乎兼容任何平台，但不利于检索的缺点也暴露无遗。若是对检索和数据结构的要求不高，追求方便的情况下可以采用TXT文本存储。 参考：《Python3网络爬虫开发实战-崔庆才》 一，实例 保存知乎上“法线页面的‘热门话题”部分，将其问题和答案统一保存成文本形式。 思路： 1. 使用requests将网页源代码获取下来 2. 使用pyquery解析库解析 3. 提取标题、回答者、回答保存为文本 code: ''' 以知乎为例 1. 使用requests将网页源代码获取下来 2. 使用pyquery解析库解析 3. 提取标题、回答者、回答保存为文本 ''' import requests from pyquery import PyQuery as pq url = 'https://www.zhihu.com/explore' headers = { 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36' } html = requests.get(url,headers=headers).text doc

最近搞毕设，又一次接触到51单片机系列了，但是由于之前学习单片机的时间过去的有点久，我对单片机的有些硬件知识记得有点模糊了，现在重新翻旧账出来复习复习。 单片机的RAM，学名叫随机存储器，就是一个可读可写而且速度还比较快的存储器，缺点是断电数据会丢失，在单片机中用作程序运行时所产生的中间变量的数据存储器。 ROM，只读存储器，从名字就可以看出ROM生产完成后就不能再写数据，只能读取数据。后来技术发展，出现了EPROM，EEPROM等可擦除重写的存储器，但是成本高，而且寿命限制大，所以一般用作存储不会频繁改动的程序指令和数据。 Flash，又称Flash EEPROM、Flash Memory，是一种新的存储结构，成本低、寿命大。 以下内容转载自 https://www.cnblogs.com/renchong/p/6594229.html 传送门： 为什么单片机中既有Flash又有EEPROM 单片机运行时的数据都存在于RAM（随机存储器）中，在掉电后RAM 中的数据是无法保留的，那么怎样使数据在掉电后不丢失呢？这就需要使用EEPROM 或FLASHROM 等存储器来实现。 插播一段：ROM最初不能编程，出厂什么内容就永远什么内容，不灵活。后来出现了PROM，可以自己写入一次，要是写错了，只能换一片。随着不断改进，终于出现了可多次擦除写入的EPROM

解决数据存储问题 步骤 编写数据存储文件 位置：data目录下 内容： { "url" : "....." , "mobile" : "....." , "code" : "..." , "预期结果" ： ".." , "响应状态码" : '....' , } 编写读取json工具 #导包 json #新建读取工具类 #1.使用初始化方法，获取读取的文件名称 #2.读取文件方法 #1.打开json文件获取文件流 #2.调用load方法加载文件流 import json class ReadJson ( object ) : def __init__ ( self , filename ) : self . filepath = ".../data/" + filename def read_json ( self ) : with open ( self . filepath , "r" , encoding = "utf-8" ) as f : return json . load ( f ) # 调用load方法加载文件流 if __name__ == "__main__" : datas = ReadJson ( 'login_more.json' ) . read_json ( ) #新建空列表，添加读取json数据 arrs = [ ] for data in datas