nosql

Ordered Timeseries data / Stock Market data using structure variants

由 流过昼夜 提交于 2019-12-13 01:23:58
问题 I'm looking into getting some advice on organizing the time-series information into the database. My current implementation is PostgreSQL with single table for all symbols. It is slow on getting customized information but very easy to append. Based on the information from here I wanted to replicate the structure of the database with creating a separate table per symbol. After thinking about it more careful I realized that it would be a bit hard for me to query multiple symbols based on some

HBase基本介绍

由 时间秒杀一切 提交于 2019-12-13 01:20:23
简介 hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。 它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。 主要用来存储结构化和半结构化的松散数据。 Hbase查询数据功能很简单，不支持join等复杂操作，不支持复杂的事务（行级的事务） Hbase中支持的数据类型：byte[] 与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。 HBase中的表一般有这样的特点： 大：一个表可以有上十亿行，上百万列 面向列:面向列(族)的存储和权限控制，列(族)独立检索。 稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。 传统数据表 HBase的发展历程 HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。 官方网站： http://hbase.apache.org 2006年Google发表BigTable白皮书 2006年开始开发HBase 2008 HBase成为了 Hadoop的子项目

HBase基本介绍与安装

由 时光毁灭记忆、已成空白 提交于 2019-12-13 00:28:18
简介 hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。 它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。 主要用来存储结构化和半结构化的松散数据。 Hbase查询数据功能很简单，不支持join等复杂操作，不支持复杂的事务（行级的事务） Hbase中支持的数据类型：byte[] 与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。 HBase中的表一般有这样的特点： 大：一个表可以有上十亿行，上百万列 面向列:面向列(族)的存储和权限控制，列(族)独立检索。 稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。 传统数据表 HBase的发展历程 HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。 官方网站： http://hbase.apache.org 2006年Google发表BigTable白皮书 2006年开始开发HBase 2008 HBase成为了 Hadoop的子项目

Max / min values with MongoDB document

由 限于喜欢 提交于 2019-12-13 00:08:42
问题 I am using Spring Data to access MongoDB database. How can I retrieve max a document with max value in one of its fields, using MongoTemplate class. Thanks! 回答1: use a combination of sort and limit to emulate min and max: db.test.insert({a: 1}) db.test.insert({a: 2}) db.test.insert({a: 3}) db.test.find().sort({a: 1}).limit(1) db.test.find().sort({a: -1}).limit(1) sort({a: 1}) is an ascending (minimum-first) sort on the a field, and then only return the first document, which will be the

HBase基本介绍

由 北城以北 提交于 2019-12-12 23:00:43
文章目录 简介 2、HBase与Hadoop的关系 3、RDBMS与HBase的对比 4、HBase特征简要 5、HBase的基础架构 组件： 简介 hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。 它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。 主要用来存储结构化和半结构化的松散数据。 Hbase查询数据功能很简单，不支持join等复杂操作，不支持复杂的事务（行级的事务） Hbase中支持的数据类型：byte[] 与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。 HBase中的表一般有这样的特点： 大：一个表可以有上十亿行，上百万列 面向列:面向列(族)的存储和权限控制，列(族)独立检索。 稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。 2、HBase与Hadoop的关系 1、HDFS 为分布式存储提供文件系统 针对存储大尺寸的文件进行优化，不适用对HDFS上的文件进行随机读写 直接使用文件 数据模型不灵活 使用文件系统和处理框架 优化一次写入，多次读取的方式 2、HBase

Should I use redundancy or a simple query on a large dataset with Firebase Cloud Firestore database?

由 半城伤御伤魂 提交于 2019-12-12 20:58:13
问题 I have a collection, itemsCollection, which contains a very large amount of small itemDocs. Each itemDoc has a subcollection, statistics. Each itemDoc also has a field "owner" which indicates which user owns the itemDoc. itemsCollection itemDoc1 statistics itemDoc2 statistics itemDoc3 statistics itemDoc4 statistics ... I also have a collection, usersCollection, which contains basic user info. usersCollection user1 user2 user3 ... Since each itemDoc belongs to a specific user, it's necessary

How to model a forum using Amazon DynamoDB without hot-partitions?

由 岁酱吖の 提交于 2019-12-12 19:13:14
问题 The AWS DynamoDB documentation includes an example schema for a forum. However, the number of questions this schema is able to answer seems very small. In addition, the table seems to suffer from a hot-key problem (a burst of replies backs up on the same partition). In a talk title "Advanced Design Patterns for Amazon DynamoDB" the presenter around 43 minutes breaks down a complex use-case from Audible using only a single table with 3 GSI (indexes). I'm trying to learn proper DynamoDB

Redis Python（二）

由 ╄→尐↘猪︶ㄣ 提交于 2019-12-12 18:35:26
Infi-chu: http://www.cnblogs.com/Infi-chu/ 一、NoSQL（Not only SQL） 1.泛指非关系数据库 2.不支持SQL语法 3.存储结构与传统的关系型数据库不同，NoSQL的存储形式是key-value形式 4.NoSQL中没有通用语言，每种NoSQL都有自己的api和语法，以及擅长的业务场景 5.产品种类较多： Redis MongoDB Hbase Hadoop Cassandra Hadoop 二、NoSQL与SQL比较 1.适应场景不同： SQL：关系比较复杂的数据查询场景 NoSQL：与SQL相反 2.事务特性的支持： SQL：非常完善 NoSQL：基本不支持 3.两者取长补短，在慢慢融合 三、Redis特性 1.Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载使用 2.不仅支持key-value，还支持set、zset、list、hash等数据结构存储 3.Redis支持数据的备份，Master-Slave模式 四、Redis优势 1.性能高。读能力：110000次/秒，写能力：81000/秒 2.丰富的数据类型。Redis支持二进制案例的Strings，Lists，Hashes，Sets及Ordered Sets数据类型操作 3.原子。Redis的所有操作都是原子性的

Firebase database structure - need advice

由 耗尽温柔 提交于 2019-12-12 17:57:34
问题 I know this question might be seen as an opinion-based one, however I think it's worth to discuss the way to properly structure database. I work on iOS app in Swift and decided to use firebase as my backend service Let's start with the app description The app aims to provide tracking and social features to book reading experience, as well as create books database. User adds book, fill basic info like title, author, language, number of pages etc. Next, this book is visible on the list in app,

Cassandra clustername mismatch

由 二次信任 提交于 2019-12-12 17:22:05
问题 I'm trying to add a single node to an already existing cluster called ClusterA. Prior to bootstrapping this node, it was running a single node cassandra cluster called "Test" with an older version 0.7.4. ClusterA is running 0.7.5 and I've upgraded the node to be added to 0.7.5 as well. I configured the yaml properly, but when I run Cassandra I get spammed with the following: INFO 20:04:24,262 Logging initialized INFO 20:04:24,275 Heap size: 5156896768/5156896768 INFO 20:04:24,276 JNA not
订阅 nosql