数据存储

存储方式 Android提供以下四种存储方式： SharePreference SQLite File ContentProvider Android系统中数据基本都是私有的，一般存放在“data/data/程序包名”目录下。如果要实现数据共享，正确的方式是使用ContentProvider。 SharedPreference SharedPreference是一种轻型的数据存储方式，实际上是基于XML文件存储的“key-value”键值对数据。通常用来存储程序的一些配置信息。其存储在“data/data/程序包名/shared_prefs目录下。 SharedPreference本身只能获取数据，不支持存储和修改。存储和修改要通过Editor对象来实现。 修改和存储数据 根据Context的getSharedPrerences(key, [模式])方法获取SharedPreference对象； 利用SharedPreference的editor()方法获取Editor对象； 通过Editor的putXXX()方法，将键值对存储数据； 通过Editor的commit()方法将数据提交到SharedPreference内。 综合例子： //设置单例里面的数值，然后再将数值写入到SharedPreference里 private String setCityName(String

1.memcached：单一键值对内存缓存的，做对象缓存无可替代的分布式缓存； 2.redis：是算法和数据结构的集合，快速的数据结构操作是他最大的特点，支持数据持久化； 3.mongodb 是 bson 结构、介于 rdb 和 nosql 之间的，更松散更灵活的，但是不支持事务，只用作非重要数据存储。 转载请标明出处: Nosql 数据库 MemCache、Redis、MongoDB 的区别 文章来源: https://blog.csdn.net/tlsxtk/article/details/92084613

今天我们可以通过第三方平台（如：Google,Facebook等）可以很容易的访问和抓取数据。用户的个人信息，社交网络，地理位置，用户生成的数据和用户操作日志已经成倍的增加。我们如果要对这些用户数据进行挖掘，那SQL数据库已经不适合这些应用了, NoSQL数据库的发展也却能很好的处理这些大的数据。 使用NoSQL数据库 NoSQL - not only SQL 非关系型数据存储 使用NoSQL：redis、mongodb Redis简介 Redis是REmote DIctionary Server的缩写，它是一个用ANSI C编写的高性能的key-value存储系统，与其他的key-value存储系统相比，Redis有以下一些特点（也是优点）： Redis的读写性能极高，并且有丰富的特性（发布/订阅、事务、通知等）。 Redis支持数据的持久化（RDB和AOF两种方式），可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis不仅仅支持简单的key-value类型的数据，同时还提供hash、list、set，zset、hyperloglog、geo等数据类型。 Redis支持主从复制（实现读写分析）以及哨兵模式（监控master是否宕机并调整配置）。 Redis的安装和配置 可以使用Linux系统的包管理工具（如yum）来安装Redis，也可以通过在Redis的

hiveѧϰ 数据仓库 定义 优缺点 优点 缺点 Hive和RDBMS的对比 Hive 和 HBase 的差别 Hive架构 基本组成 一、用户接口 二、Thrift Server 三、元数据存储 四、Driver：编译器（Compiler），优化器（Optimizer），执行器（Executor） 五、Hive的执行流程 Hive 的数据存储 数据仓库 数据仓库是面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。 定义 hive是由facebook开源并实现。 hive是基于hadoop的数据仓库工具。 hive的元数据存储于关系型数据库中，真是数据存储于HDFS中。 hive是将HDFS中的数据映射为一张二维表。 hive提供HQL语句对数据进行操作。 hive的本质是将HQL语句转换为Mapreduce程序执行。 hive目的是简化MR程序的编写难度。 优缺点 优点 1、可扩展性： 横向扩展：可以自由的扩大集群规模，一般情况不需重启服务器。 纵向扩展：通过提升服务器的配置来扩展。 2、延展性：hive支持自定义函数，用户可根据需求自定义函数。 3、良好的容错性：可以保障即使节点出故障，HQL语句仍然可以执行完。 缺点 1、Hive 不支持记录级别的增删改操作，但是用户可以通过查询生成新表或者将查询结 果导入到文件中（当前选择的 hive-2.3.3

YottaChain 拥有对区块链存储至关重要的“加密后去重”独 家专利技术、确保用户数据主权不受侵犯的数据安全专业能力和确保数据永不丢失的存储专业能力，使存储个人与企业数据所需的安全性和将数据存储空间扩大 5-10 倍的去重能力能同时满足，还将区块链存储应用领域扩大扩大了数倍，在规模达数百亿美元的市场上比现有中心化存储具有压倒性优势（可靠性提升万倍、 成本降低数倍，并额外增加抗 DDoS 和容灾等奢侈特性），从而颠覆了区块链存 储的格局。 想了解可以加Vwongwingkan咨询 互联网巨头云存储服务长期以来事故频发，其可靠性已经接近瓶颈，不改变架构的话任何技术手段都很难进一步提高其可靠性水平，而区块链技术为此提供了解决路径，存储是区块链的最佳落地应用场景。YottaChain目前在做的是最专业的区块链存储公链，在技术、商业模式、经济模型和社区治理这四个核心要素上都有明显优势；并且随着6月29日测试网的率先上线，成为首个区块链改造实体经济的落地项目。区块链存储是万亿美金的蓝海市场，在这条赛道上，YottaChain愿和更多的优质同类项目一起发展，开启区块链存储硬刚互联网巨头云存储的时代。 在商业模型上，YottaChain 具有强大的与企业用户对接的专业能力，包括技 术上与中心化存储的应用无缝对接的专业能力、深刻了解市场需求和用户痛点的专业能力

Hive 1.概念 Hive是基于Hadoop的数据仓库,SQL ON HADOOP,将结构化的文件映射成一张表，并提供类sql查询的功能。 数据库和数据仓库 数据库:mysql,oracle,sqlsever,db2,sqlite,mdb 数据仓库:Hive,是MR的客户端，不必每台机器都安装部署Hive。 2.基本组成 用户接口：包括 CLI、JDBC/ODBC、WebGUI。 元数据存储:通常是存储在关系型数据库中，如MySQL中。 解释器、编译器、优化器、执行器。 用户接口主要由三个：CLI、JDBC/ODBC和WebGUI。其中，CLI为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库JDBC类似；WebGUI是通过浏览器访问Hive。 元数据存储：Hive 将元数据存储在数据库中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有 MapReduce 调用执行。 3.特点 1.操作接口是采用SQL语法，HQL 2.避免了写MapReduce的繁琐过程 4.数据存储 1、Hive中所有的数据都存储在 HDFS 中，没有专门的数据存储格式（可支持Text

想贮存下面td里面的data-date属性内容储存到一个时间数组。 <tr> <td class="fc-day-top fc-sun fc-other-month fc-past" data-date="2019-06-30"> <span class="fc-day-number">30</span> </td> </tr> var weekArr=[]; $("tr").each(function (i) { }); var weekArr=[] ; $ ( "tr" ). each ( function (i) { $ ( this ). children ( ". fc-day-header " ). each ( function (j) { push ( $ ( this ). attr ( "data-date" ) ; }) ; }) ; var weekArr=[] ; $ ( "tr" ). each ( function (i) { $ ( this ). children ( ". fc-day-header " ). each ( function (j) { push ( $ ( this ). attr ( "data-date" ) ; }) ; }) ; var weekArr=[] ; $ ( "tr" ). each ( function

Druid 的目标是提供一个能够在大数据集上做实时数据摄入与查询的平台，然而对于大多数系统而言，提供数据的快速摄入与提供快速查询是难以同时实现的两个指标。例如对于普通的RDBMS，如果想要获取更快的查询速度，就会因为创建索引而牺牲掉写入的速度，如果想要更快的写入速度，则索引的创建就会受到限制。Druid通常是基于时序的事实事件，事实发生后进入Druid，外部系统就可以对该事实进行查询。 Druid系统架构 Druid是一组系统，按照职责分成不同的角色。目前存在五种节点类型： Historical ： 历史节点的职责主要是对历史的数据进行存储和查询，历史节点从Deep Storage下载Segment，然后响应Broker对于Segment的查询将查询结果返回给Broker节点，它们通过Zookeeper来声明自己存储的节点，同时也通过zookeeper来监听加载或删除Segment的信号。 Coordinator ：协调节点监测一组历史节点来保证数据的可用和冗余。协调节点读取元数据存储来确定哪些Segment需要load到集群中，通过zk来感知Historical节点的存在，通过在Zookeeper上创建entry来和Historical节点通信来告诉他们加载或者删除Segment。 Broker ：节点接收外部客户端的查询，并且将查询路由到历史节点和实时节点

Zabbix 3.4.6 版本开始支持历史数据存储到 Elasticsearch, 早就想测试这个功能，最近有个需求需保存 zabbix 的历史数据上达十亿条，因此决定测试这功能的实用性，事实证明确实效果挺好。从今以后 zabbix 也支持大量的历史数据。 这里就不说明安装教程了，详情请参考以前的教程 Elasticsearch 支持 Zabbix 的监控项类型：uint，dbl，str，log，text，对应如下 Zabbix 监控项数据类型 对应 Zabbix 表 对应 Elasticsearch 类型 Numeric(unsigned)(无符号整型) history_uint uint Numeric(float)（浮点型） history dbl Character（字符） history_str str Log（日志） history_log log Text history_text text # curl -H "Content-Type:application/json" -XPUT http://192.168.1.231:9200/uint -d ' { "settings" : { "index" : { "number_of_replicas" : 1, "number_of_shards" : 5 } }, "mappings" : { "values"

TXT文本存储 将知乎的发现板块的内容存入txt文本 import requests from pyquery import PyQuery as pq url="https://www.zhihu.com/explore" myheader={ "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_5) AppleWebKit 537.36 (KHTML, like Gecko) Chrome" } html=requests.get(url,headers=myheader).text doc=pq(html) items=doc('.explore-tab .feed-item').items() for item in items: question=item.find('h2').text() author=item.find(".author-link-line").text() answer=pq(item.find(".content").html()).text() file=open("explore.txt","a",encoding="utf-8") file.write("\n".join([author,answer])) file.write("\n"+"="*50+"\n") file