nosql

NoSQL

别来无恙 提交于 2020-03-03 16:48:12
以下四种 NoSQL 是最常使用的: 1 Redis:基于内存、支持持久化的键值型数据库 2 HBase:面向列、高效随机读写的 NoSQL 3 Cassandra:面向列、写入优化的 NoSQL 4 MongoDB:查询高效、支持多索引的文档型数据库。 Redis 是一个高性能、Key-Value的 NoSQL 数据库,内存访问,支持持久化磁盘,支持多种数据结构和算法(string,hash,list,set,zset等),主要应用在缓存场景。 主要特点:高性能/纯内存访问(非数据同步无需读取磁盘)/单线程/非阻塞多路IO复用 MongoDB 是一个分布式、面向文档的 NoSQL 数据库,用于大容量数据存储,提供统一的数据格式(bson),支持不同类型的索引。适用于存放对象或Json格式数据、追求高性能的业务场景。 主要特点:面向文档,非常灵活/支持各种类型的索引/复制和故障切换,实现高可用性/自动分片,易于扩展 来源: https://www.cnblogs.com/wangby511/p/12402757.html

Lookup and sort the foreign collection

删除回忆录丶 提交于 2020-03-03 10:25:13
问题 so I have a collection users , and each document in this collection, as well as other properties, has an array of ids of documents in the other collection: workouts . Every document in the collection workouts has a property named date . And here's what I want to get: For a specific user, I want to get an array of {workoutId, workoutDate} for the workouts that belong to that user, sorted by date. This is my attempt, which is working fine. Users.aggregate([ { $match : { _id : ObjectId(

十大最热门的大数据技术

﹥>﹥吖頭↗ 提交于 2020-03-01 15:00:12
随着大数据分析市场的快速渗透到各行业务,哪些大数据技术是刚需?哪些技术有极大的潜在价值? 根据弗雷斯特研究公司发布的 指数 ,这里给出最热的十个大数据技术: 预测分析:随着现在硬件和软件解决方案的成熟,许多公司利用大数据技术来收集海量数据、训练模型、优化模型,并发布预测模型来提高业务水平或者避免风险; NoSQL数据库:非关系型数据库包括Key-value型(Redis)数据库、文档型(MonogoDB)数据库、图型(Neo4j)数据库; 搜索和知识发现:支持信息的自动抽取,可以从多数据源洞察结构化数据和非结构化数据; 流式分析:软件可以对多个高吞吐量的数据源进行实时的清洗、聚合和分析; 内存数据结构:通过动态随机内存访问(DRAM)、Flash和SSD等分布式存储系统提供海量数据的低延时访问和处理; 分布式存储系统:分布式存储是指存储节点大于一个、数据保存多副本以及高性能的计算网络; 数据可视化:数据可视化技术是指对各类型数据源(包括Hadoop上的海量数据以及实时和接近实时的分布式数据)进行显示; 数据整合:通过亚马逊弹性MR(EMR)、Hive、Pig、Spark、MapReduce、Couchbase、Hadoop和MongoDB等软件进行业务数据整合; 数据预处理:数据整合是指对数据源进行清洗、裁剪,并共享多样化数据来加快数据分析; 数据校验

NoSql redis windows下的环境搭建

妖精的绣舞 提交于 2020-03-01 12:42:13
Redis 简介 Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库。 Redis 与其他 key - value 缓存产品有以下三个特点: Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。 Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。 Redis支持数据的备份,即master-slave模式的数据备份。 Redis 优势 性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。 丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。 原子 – Redis的所有操作都是原子性的,同时Redis还支持对几个操作全并后的原子性执行。 丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。 (一)、下载Redis 下载地址:https://github.com/dmajkic/ Redis /downloads 下载下来的包里有两个,一个是32位的,一个是64位的。根据自己的实情情况选择,我的是64bit; (一)、安装步骤 在D盘新建文件夹【redis】

ubuntu 14.04 安装 Redis 2.8.13

大城市里の小女人 提交于 2020-03-01 06:18:16
本文系统版本以及redis版本信息如下: 系统:ubuntu Kylin 14.04 64位 Redis:Redis 2.8.13 stable 安装过程: wget http://download.redis.io/releases/redis-2.8.13.tar.gz tar zxvf redis-2.8.13.tar.gz cd redis-2.8.13 sudo make cd src && sudo make install sudo make test 安装完成后,可以在/usr/local/bin/下看到redis-server 启动redis: redis-server 来源: oschina 链接: https://my.oschina.net/u/1015166/blog/306414

RDBMS 关系型数据库与 NoSQL 全面比较

廉价感情. 提交于 2020-02-29 11:28:32
随着互联网的不断发展,各种类型的应用层出不穷,所以导致在这个云计算的时代,对技术提出了更多的需求,主要体现在下面这四个方面: 低延迟的读写速度:应用快速地反应能极大地提升用户的满意度; 支撑海量的数据和流量:对于搜索这样大型应用而言,需要利用PB级别的数据和能应对百万级的流量; 大规模集群的管理:系统管理员希望分布式应用能更简单的部署和管理; 庞大运营成本的考量:IT经理们希望在硬件成本、软件成本和人力成本能够有大幅度地降低; 一、关系型数据库 关系型数据库,是指采用了关系模型来组织数据的数据库。关系模型是在1970年由IBM的研究员E.F.Codd博士首先提出的,在之后的几十年中,关系模型的概念得到了充分的发展并逐渐成为主流数据库结构的主流模型。 简单来说,关系模型指的就是二维表格模型,而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组织。 关系模型中常用的概念 关系:可以理解为一张二维表,每个关系都具有一个关系名,就是通常说的表名 元组:可以理解为二维表中的一行,在数据库中经常被称为记录 属性:可以理解为二维表中的一列,在数据库中经常被称为字段 域:属性的取值范围,也就是数据库中某一列的取值限制 关键字:一组可以唯一标识元组的属性,数据库中常称为主键,由一个或多个列组成 关系模式:指对关系的描述。其格式为:关系名(属性1,属性2, ... ... ,属性N)

redis实战_01_redis安装

旧街凉风 提交于 2020-02-28 20:46:57
早就想对redis进行实战操作了,最近看了一些视频和参考书籍,总结总结一下,redis实战内容: 1 NOSQL(redis)简介,redis安装与部署 2 Redis基础数据类型详解 3 Redis高级命令 4 Redis与java的使用 5 Redids集群搭建 6 Redis集群与spring的整合 7 Redis与Lua 8 SSDB使用 9 Redis + SSDB结合 实战前先对redis做一个大概的认识: Redis是以key-value形式存储,和传统的关系型数据库不一样,不一定遵循传统数据库的一些基本要求(非关系型的、分布式的、开源的。水平扩展的)。 优点:对数据高并发读写 对海量数据的高效率存储和访问 对数据的可扩展性和高可用性 缺点:ACID处理非常简单,无法做到太复杂的关系数据模型 redis是以key-value store存储,data structure service数据结构服务器。 键可以包含: string 字符串,哈希 list 链表 set 集合 zset 有序集合 这些数据集合支持push/pop,add/remove及取交集和并集以及更丰富的操作,redis支持各种不同的方式排序,为了保证效率,数据都是缓存在内存中,它也可以周期性的把更新的数据写入磁盘或者把修改操作写入追加到文件中。 现在开始安装redis了。。。 redis的安装

谈谈报表工具支持的数据源

て烟熏妆下的殇ゞ 提交于 2020-02-27 12:50:13
报表工具早期基本都是基于关系型数据库作为数据来源,但现在文件类、newsql、nosql,服务类来源应用越来越广泛。 报表工具也应与时俱进!目前都搞不搞的定?靠 Api 还是有更好的方式? 本篇将介绍报表工具支持的那些数据源,怎么连,有啥更好的方案解决取数及数据处理问题。 来源: oschina 链接: https://my.oschina.net/u/3651044/blog/3162834

MongoDB document design for comments (and their reply comments)

a 夏天 提交于 2020-02-27 11:04:45
问题 I have a model that looks like: class Comment { public string ID { get; set; } public string ArticleType { get; set; } public string ArticleID { get; set; } public string Body { get; set; } public DateTime DateCreated { get; set; } public string UserID { get; set; } } I am creating an app to store comments about other stuff in our application For example, if the comment was regarding a product, the ArticleType could be “product” and the ArticleID would be the product id... I am going to use

MongoDB document design for comments (and their reply comments)

夙愿已清 提交于 2020-02-27 11:04:10
问题 I have a model that looks like: class Comment { public string ID { get; set; } public string ArticleType { get; set; } public string ArticleID { get; set; } public string Body { get; set; } public DateTime DateCreated { get; set; } public string UserID { get; set; } } I am creating an app to store comments about other stuff in our application For example, if the comment was regarding a product, the ArticleType could be “product” and the ArticleID would be the product id... I am going to use