Apache Ignite

ignite入门

拈花ヽ惹草 提交于 2021-02-13 09:16:35
基本概念 1.1.Ignite是什么 Ignite是: 一个以内存为中心的分布式数据库、缓存和处理平台,可以在PB级数据中,以内存级的速度进行事务性、分析性以及流式负载的处理。 1.1.1.固化内存 可以按需将持久化打开或者关闭。如果持久化关闭,那么Ignite就可以作为一个分布式的内存数据库或者内存数据网格。 1.1.2.Ignite持久化 Ignite的原生持久化是一个分布式的、支持ACID以及兼容SQL的磁盘存储。 1.1.3.ACID兼容 存储在Ignite中的数据,在内存和磁盘上是同时支持ACID的,使Ignite成为一个强一致的系统,Ignite可以在整个网络的多台服务器上保持事务。 1.1.4.完整的SQL支持 Ignite提供了完整的SQL、DDL和DML的支持,可以使用纯SQL而不用写代码与Ignite进行交互,这意味着只使用SQL就可以创建表和索引,以及插入、更新和查询数据。有这个完整的SQL支持,Ignite就可以作为一种分布式SQL数据库。 1.2 特性 1.2.1 Advanced Clustering 通过心跳服务自动发现。从而: (1)加节点无需重启(支持CacheRebalanceMode); (2)获取度量指标(如CPU负载、使用内存等); (3)自修复(自动重连,慢客户端会被自动踢出); (4)容错性

Ignite笔记-NET嵌入Ignite

∥☆過路亽.° 提交于 2021-02-13 09:12:23
参考: 官方文档 https://apacheignite-net.readme.io/docs .NET 问题 跨平台 1.Nuget 安装 Apache Ignite 目前NETCORE版本无法安装 提示需要NET4.6.1 官网有NETCORE案例具体原因不明 2.启动代码: using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; using Apache.Ignite; using Apache.Ignite.Core; using Apache.Ignite.Core.Compute; namespace NetCmd { class Program { static void Main( string [] args) { using ( var ignite = Ignition.Start()) { var funcs = " Count characters using callable " .Split( ' ' ) .Select(word => new ComputeFunc { Word = word }); ICollection < int > res = ignite

Apache Ignite 学习笔记(一): Ignite介绍、部署安装和REST/SQL客户端使用

拜拜、爱过 提交于 2021-02-13 08:42:53
Apache Ignite 介绍 Ignite是什么呢?先引用一段官网关于Ignite的描述: Ignite is memory-centric distributed database , caching , and processing platform for transactional, analytical, and streaming workloads delivering in-memory speeds at petabyte scale 直接翻译就是,Ignite是以内存为中心的分布式的数据库,缓存和处理平台。它可以在数据量达到PB级别,依然为事务性处理,数据分析和流式任务提供了内存级的操作速度。 再从官网借用一张架构图,从下面这张图也可以看出来Ignite提供了哪些能力: 图中红色部分属于Ignite提供的组件,我们依次从下往上看: 持久化层:Ignite同时支持原生持久化和用第三方存储做持久化,比如RMDBMS,HDFS等。虽然Ignite有以内存为中心的存储,但是毕竟内存中数据在节点出现故障的时候都有丢失的可能性。 因此持久化层为Ignite提供了故障恢复的能力。另外有了持久化能力,可以让冷热数据更合理使用内存。比如在内存足够情况下,数据可以全部加载到内存中。 而当内存紧张时,可以只加载热数据至内存中,冷数据就留在硬盘上。 Ignite内存存储层

微软将Office语音办公啦

你离开我真会死。 提交于 2021-01-17 06:40:03
微软的人工智能助手Cortana最早出现在Windows Mobile系统上,被寄希望于同苹果的siri抗衡。 但即便在后来微软持续将其推广到Windows 10、Xbox One、智能音箱等产品上,Cortana的使用率始终表现得不温不火。 而据Petri报道,Cortana在未来将脱离微软全球副总裁沈向洋带领的AI部门,并入Office事业部。 Office团队一直在对沈向洋施以压力,要求将Cortana转移到Office部门下。 在不久前举办的Ignite 2018大会上,微软已经宣布过为Office办公套件引入人工智能服务 ,将Cortana划入Office门下这一决定也是顺理成章的。 显然,微软想要把Cortana推广至用户群更加可观的商用领域,以此提升软件产品的竞争力与Cortana自身的智能水平。 也许在不久的将来,我们就可以对着Office办公软件喊出“小娜,加粗/求和”了。 原文来自: http://news.mydrivers.com/1/598/598419.htm 本文地址: https://www.linuxprobe.com/cortana-office-microsoft.html 编辑:小花,审核员:逄增宝 来源: oschina 链接: https://my.oschina.net/u/3308739/blog/2254408

BeetlSQL3.0.0-M5 发布,Spring框架集成

狂风中的少年 提交于 2020-12-05 05:42:51
BeetlSQL3.0.0-M5主要对Spring,Spring Boot ,JFinal,Solon等框架进行集成,并新增 ignite,CouchBase内存数据库的支持。 M6 计划对更多的国产数据库支持, 内存和图数据库支持。以及发布BeetlSQL3的Idea 插件。 <dependency> <groupId>com.ibeetl</groupId> <artifactId>beetlsql-all</artifactId> <version>3.0.0-M5</version> </dependency> 轻松集成Spring BeetlSQL的目标是提供开发高效,维护高效,运行高效的数据库访问框架,在一个系统多个库的情况下,提供一致的编写代码方式。 传统数据库:MySQL,MariaDB,Oralce,Postgres,DB2,SQL Server,H2,SQLite,Derby,神通,达梦,华为高斯,人大金仓等 大数据:HBase,ClickHouse,Cassandar,Hive 物联网时序数据库:Machbase,TD-Engine SQL查询引擎:Drill,Presto,Druid 内存数据库:ignite,CouchBase BeetlSQL 不仅仅是简单的类似MyBatis或者是Hibernate,或者是俩这的综合

微软全面拥抱 AI!「云+终端」打造「世界计算网络」

放肆的年华 提交于 2020-11-13 02:22:35
记者 | Aholiab 责编 | 刘静 出品 | CSDN(ID:CSDNnews) 11月4日,一年一度的微软IT大会Ignite在美国奥兰多举行,来自全球的2.6万名IT从业者、开发者、数据专家出席会议。在本次会议中,微软发布了多项最新的技术、产品、服务与解决方案,涵盖从Azure到经典的办公服务等多个领域。CSDN记者应邀出席了本次大会,并从现场发回了最新报道。 作为专业的技术社区,本篇文章除了向大家介绍微软本次发布的重要服务和产品之外,也特别为国内的开发者整理了新发布的开发工具。接下来就让我们一起来看看本次Ignite大会的那些亮点吧~ 美国东部时间11月4日~8日,一年一度的微软IT大会Ignite在美国奥兰多举行。作为微软最重要的技术会议之一,每年微软都会在Iginite大会上宣布一系列的产品及服务的升级,也会发布一些新的技术解决方案。今年也是如此。 萨提亚: 让所有公司都成为软件技术公司 在万众瞩目中,微软CEO萨提亚·纳德拉(Satya Nadella)以「技术密集度」(Tech Intensity)为主题的演讲拉开了大会的序幕,并以一种「行为艺术」的方式来阐释选择这个主题的原因。 微软CEO萨提亚·纳德拉 在过去的110天里,一个临时组成的开发团队在奥兰多环球影城实现了一个新的展厅。利用Azure Kinect的AI传感器所提供的计算机视觉能力和语音模型,萨提亚

微软全面拥抱 AI!

∥☆過路亽.° 提交于 2020-11-13 01:36:53
记者 | Aholiab 责编 | 刘静 出品 | CSDN(ID:CSDNnews) 11月4日,一年一度的微软IT大会Ignite在美国奥兰多举行,来自全球的2.6万名IT从业者、开发者、数据专家出席会议。在本次会议中,微软发布了多项最新的技术、产品、服务与解决方案,涵盖从Azure到经典的办公服务等多个领域。CSDN记者应邀出席了本次大会,并从现场发回了最新报道。 作为专业的技术社区,本篇文章除了向大家介绍微软本次发布的重要服务和产品之外,也特别为国内的开发者整理了新发布的开发工具。接下来就让我们一起来看看本次Ignite大会的那些亮点吧~ 美国东部时间11月4日~8日,一年一度的微软IT大会Ignite在美国奥兰多举行。作为微软最重要的技术会议之一,每年微软都会在Iginite大会上宣布一系列的产品及服务的升级,也会发布一些新的技术解决方案。今年也是如此。 萨提亚: 让所有公司都成为软件技术公司 在万众瞩目中,微软CEO萨提亚·纳德拉(Satya Nadella)以「技术密集度」(Tech Intensity)为主题的演讲拉开了大会的序幕,并以一种「行为艺术」的方式来阐释选择这个主题的原因。 微软CEO萨提亚·纳德拉 在过去的110天里,一个临时组成的开发团队在奥兰多环球影城实现了一个新的展厅。利用Azure Kinect的AI传感器所提供的计算机视觉能力和语音模型,萨提亚

译 | 将数据从Cosmos DB迁移到本地JSON文件

偶尔善良 提交于 2020-11-05 03:30:15
点击上方蓝字关注“汪宇杰博客” 原文:Azure Tips and Tricks 翻译:汪宇杰 在Cosmos DB中使用数据迁移工具 有一项重复的任务是将数据从一种数据库格式迁移到另一种数据库格式。我最近使用Cosmos DB作为数据库来存储Ignite大会发出的所有推文。然而一旦获得了数据并且不再使用Cosmos DB进行该操作,我就需要将数据转储到本地文件中保存并节省开销。本文介绍我的方法。 工具 下载并安装 Azure DocumentDB Data Migration Tool https://aka.ms/csdmtool 开工 首先确保已创建要迁移的Cosmos DB数据库和集合。 在 Cosmos DB 管理页面中打开 Keys ,并复制 Primary Connection String 将数据库名称附加到字符串的末尾。 例如 Database=cosmosdb-ignite 会被附加到刚才复制的 Key 末尾,变成 AccountEndpoint=https://mbcrump.documents.azure.com:443/;AccountKey=VxDEcJblah==;Database=cosmosdb-ignite 启动 Data Migration Tool ,在 Source Information 中选择 DocumentDB 您需要将

FPGA,你为什么这么牛?

孤街浪徒 提交于 2020-11-02 14:54:54
最近几年,FPGA这个概念越来越多地出现。 例如,比特币挖矿,就有使用基于FPGA的矿机。还有,之前微软表示,将在数据中心里,使用FPGA“代替”CPU,等等。 其实,对于专业人士来说,FPGA并不陌生,它一直都被广泛使用。但是,大部分人还不是太了解它,对它有很多疑问—— FPGA到底是什么?为什么要使用它? 相比 CPU、GPU、ASIC(专用芯片),FPGA有什么特点?…… 今天,带着这一系列的问题,我们一起来—— 揭秘FPGA 。 一、为什么使用 FPGA? 众所周知,通用处理器(CPU)的摩尔定律已入暮年,而机器学习和 Web 服务的规模却在指数级增长。 人们使用定制硬件来加速常见的计算任务,然而日新月异的行业又要求这些定制的硬件可被重新编程来执行新类型的计算任务。 FPGA 正是一种硬件可重构的体系结构。它的英文全称是 Field Programmable Gate Array,中文名是现场可编程门阵列。 FPGA常年来被用作专用芯片(ASIC)的小批量替代品,然而近年来在微软、百度等公司的数据中心大规模部署,以 同时提供强大的计算能力和足够的灵活性 。 不同体系结构性能和灵活性的比较 FPGA 为什么快? 「都是同行衬托得好」。 CPU、GPU 都属于冯·诺依曼结构,指令译码执行、共享内存。 FPGA 之所以比 CPU 甚至 GPU 能效高,本质上是无指令

为什么越来越多的数据中心使用 FPGA ?

别来无恙 提交于 2020-10-29 07:32:20
前几天我们推送了一篇文章: 采用FPGA加速的腾讯云是如何快速做基因测序的 ,可以看到包括腾讯、微软、百度等很多巨头数据中心都采用或者准备采用FPGA,那么为什么FPGA会逐渐被这些巨头所采用?我们找到一篇文章,以微软数据中心采用FPGA来做分析讲解。 原标题:如何评价微软在数据中心使用 FPGA 代替传统 CPU 的做法? 来源:知乎、AI科技评论 作者:李博杰 https://www.zhihu.com/question/24174597/answer/138717507 问题「用 FPGA 代替 CPU」中,这个「代替」的说法不准确。我们并不是不用 CPU 了,而是用 FPGA 加速适合它的计算任务,其他任务仍然在 CPU 上完成,让 FPGA 和 CPU 协同工作。 本回答将涵盖三个问题: 为什么使用 FPGA,相比 CPU、GPU、ASIC(专用芯片)有什么特点? 微软的 FPGA 部署在哪里?FPGA 之间、FPGA 与 CPU 之间是如何通信的? 未来 FPGA 在云计算平台中应充当怎样的角色?仅仅是像 GPU 一样的计算加速卡吗? 一、为什么使用 FPGA? 众所周知,通用处理器(CPU)的摩尔定律已入暮年,而机器学习和 Web 服务的规模却在指数级增长。 人们使用定制硬件来加速常见的计算任务,然而日新月异的行业又要求这些定制的硬件可被重新编程来执行新类型的计算任务