元数据

大数据技术之HBase

故事扮演 提交于 2020-03-09 08:44:44
第1章 HBase简介 1.1 什么是HBase HBase的原型是Google的BigTable论文,受到了该论文思想的启发,目前作为Hadoop的子项目来开发维护,用于支持结构化的数据存储。 官方网站:http://hbase.apache.org -- 2006年Google发表BigTable白皮书 -- 2006年开始开发HBase -- 2008年北京成功开奥运会,程序员默默地将HBase弄成了Hadoop的子项目 -- 2010年HBase成为Apache顶级项目 -- 现在很多公司二次开发出了很多发行版本,你也开始使用了。 HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统 ,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。 HBase是Google Bigtable的开源实现,但是也有很多不同之处。比如:Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MAPREDUCE来处理Bigtable中的海量数据,HBase同样利用Hadoop MapReduce来处理HBase中的海量数据;Google

块存储、文件存储、对象存储意义及差异

£可爱£侵袭症+ 提交于 2020-03-08 23:50:54
关于块存储、文件存储、对象存储方面的知识在知乎上看到了个很好的解答: https://www.zhihu.com/question/21536660 通俗易懂,查了些资料做了详细的补充。 块存储 典型设备:磁盘阵列、硬盘 块存储主要是将裸磁盘空间整个映射给主机使用的。 就是说例如:磁盘阵列里面有5块硬盘,然后可以通过划逻辑盘、做Raid、或者LVM等方式逻辑划分出N个逻辑的硬盘。但是逻辑盘和物理盘是两个完全不同的概念。假设每个硬盘100G,共有5个硬盘,划分为逻辑盘也为5个,每个100G,但是这5个逻辑盘和原来的5个物理盘意义完全不同了。例如第一个逻辑盘第一个20G可能来自物理盘1,第二个20G来自物理盘2,所以逻辑盘是多个物理盘逻辑虚构出来的硬盘。 接着块存储会采用映射的方式将这几个逻辑盘映射给主机,主机上面的操作系统会识别到有5块硬盘,但是操作系统是无法区分到底是物理盘还是逻辑盘,它一概就认为只是5块裸的物理硬盘而已,跟直接拿一块物理硬盘挂载到操作系统没区别,至少操作系统感知上没有区别的。 在此方式下,操作系统还需要对挂载的裸硬盘进行分区、格式化后,才能使用,与平常主机内置的硬盘无差异。 优点 (1)这种方式的好处当然是因为通过了Raid与LVM等手段,对数据提供了保护; (2)可以将多块廉价的硬盘组合起来,称为一个大容量的逻辑盘对外提供服务,提高了容量; (3)写入数据时

播放音乐

落花浮王杯 提交于 2020-03-08 19:28:17
播放音乐 1.2.#import "ViewController.h"3.#import <AVFoundation/AVFoundation.h>4.5.@interface ViewController () <AVAudioPlayerDelegate> {6. AVAudioPlayer *myAudioPlayer;7.}8.@property (weak, nonatomic) IBOutlet UILabel *artistLabel;9.@property (weak, nonatomic) IBOutlet UILabel *albumLabel;10.@property (weak, nonatomic) IBOutlet UIImageView *artworkImageView;11.12.@end13.14.@implementation ViewController15.16.- (void)viewDidLoad {17. [super viewDidLoad];18.19. // 获得音频会话的单例对象20. AVAudioSession *audioSession = [AVAudioSession sharedInstance];21. // 激活音频会话22. [audioSession setActive:YES error:nil];23.

【10笔记】HBase基础

点点圈 提交于 2020-03-08 06:34:16
1、HBase概述 HBase是一个开源的非关系型分布式数据库(NoSQL),它参考了谷歌的BigTable建模,实现的编程语言为 Java。 是Apache软件基金会的Hadoop项目的一部分,运行于HDFS文件系统之上,因此可以容错地存储海量稀疏的数据。 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 2、HBase特性 1. 海量存储 HBase适合存储PB级别的海量数据,在PB级别的数据以及采用廉价PC存储的情况下,能在几十到百毫秒内返回数据。这与HBase的极易扩展性息息相关。正式因为HBase良好的扩展性,才为海量数据的存储提供了便利。 2. 列式存储 HBase是根据列族来存储数据的。列族下面可以有非常多的列,列族在创建表的时候就必须指定。 3. 易扩展 HBase的扩展性主要体现在两个方面,一个是基于上层处理能力(RegionServer)的扩展,一个是基于存储的扩展(HDFS)。 通过横向添加RegionSever的机器,进行水平扩展,提升HBase上层的处理能力,提升HBase服务更多Region的能力。 RegionServer的作用是管理region、承接业务的访问,这个后面会详细的介绍通过横向添加Datanode的机器,进行存储层扩容

SAP CRM扩展字段的元数据仓库

走远了吗. 提交于 2020-03-07 11:50:29
AXT_RUN_FIELDUSE There are also some other metadata repository tables which would be accessed in the runtime: AXT_RUN_FIELDDEF Extensibility runtime field definition One example: From table above, every AET field should have a data type assigned during creation. One data type has one dedicated handler class: As a result if we would like to "cheat" AET framework to consider the extension field created by S4 Key user tool also as an AET field, we have to insert one entry to this table manually, OR ELSE: 要获取更多Jerry的原创文章,请关注公众号"汪子熙": 来源: https://www.cnblogs.com/sap-jerry/p/12433111.html

第二周作业

て烟熏妆下的殇ゞ 提交于 2020-03-06 17:34:18
1、 描述Linux发行版的系统目录名称命名规则以及用途。 /:根目录 /home:普通用户的家目录 /root:管理员用户的家目录 /boot:存放系统启动引导程序的目录,内核文件(vmlinuxz)以及引导加载器(bootloader)都存放在此目录下 /etc:存放配置文件的目录 /bin:存放所有用户使用的基本命令,该目录不能独立分区,OS在启动时会使用到该目录下的文件 /sbin:存放管理类的基本命令,该目录不能独立分区,OS在启动时会使用到该目录下的文件 /lib:存放系统启动时程序依赖的基本共享库文件以及内核模块文件(/lib/modules) /lib64:专用于x86_64系统上的辅助共享库文件存放的位置 /dev:设备文件以及特殊文件的存储位置 /media:便携式移动设备挂载点 /mnt:临时文件挂载点 /opt:第三方引用程序的安装位置 /srv:存放系统上运行的服务用到的数据 /tmp:临时文件存储位置 /var:存放经常发生变化的数据文件的目录,如:日志 /srv:srv是service的缩写,主要用来存放服务数据 /run和/sys:用来存储某些程序的运行时信息和系统需要的一些信息,注意:这两个位置的数据都存放在内存中,一旦重启/run和/sys目录的信息就会丢失 /proc:存放基于内存的虚拟文件系统,内核和进程存储的相关信息 2

分布式文件系统HDFS

微笑、不失礼 提交于 2020-03-05 21:52:49
HDFS全称为Hadoop Distributed File System,是整个Hadoop平台上的两大核心组件之一 HDFS用于解决海量数据的分布式存储问题 计算机集群结构 分布式文件系统把文件分布存储到多个计算机节点上,成千上万的计算机节点构成计算机集群 与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是,目前的分布式文件系统所采用的计算机集群,都是由普通硬件构成的,这就大大降低了硬件上的开销 机架内部的机器通过光纤高速交换机进行连接,机架和机架之间通过带宽更高的几个光纤交换机来完成彼此之间的交互和连接 分布式文件系统的结构 分布式文件系统在物理结构上是由计算机集群中的多个节点构成的,这些节点分为两类,一类叫“主节点”(Master Node)或者也被称为“名称结点”(NameNode),另一类叫“从节点”(Slave Node)或者也被称为“数据节点”(DataNode)一个作为主节点,其余作为从节点,主节点承担起数据目录(元数据)服务,从节点要具体完成数据的存储任务 HDFS简介 HDFS要实现以下目标: 兼容廉价的硬件设备 流数据读写 大数据集 简单的文件模型 强大的跨平台兼容性 传统的文件系统在进行数据读写的时候是以块数据为单位,每一次可以读取指定的某一部分数据,而HDFS设计的目标就是对大量数据的读写,不会访问某个文件的子集或去访问一块一块的数据

WCF编程系列(二)了解WCF

我只是一个虾纸丫 提交于 2020-03-05 07:26:15
面向服务 服务是复用进化的结果,起初的复用是函数,面向对象编程的出现使复用从函数上升到对象,随后面向组件编程又将复用从对象上升到组件,现在面向服务编程将复用提升到服务层次。 在面向服务的应用程序中,开发者只需要关注业务逻辑的编写,以及通过可交换的、可互操作的服务终结点暴露业务逻辑。客户端调用这些终结点,而不是服务代码或它的实现包。客户端与服务终结点的交互基于标准的消息交换,服务发布各种标准元数据,描述服务的功能,以及客户端调用服务操作的方式。正因为是基于标准的交互,所以实现服务端与客户端的技术与品台可以完全不同。 WCF的优势 在WCF之前,.NET Framework提供了多种分布式技术,如ASP.NET Web服务、.NET Framework远程处理、企业服务、WSE以及Microsoft消息队列。一般我们在编写一个应用程序时通常会同时使用多项技术,现在WCF已经将这些技术整合,通过WCF即可实现这些技术的所有功能。 WCF的基本通信机制是基于SOAP的Web服务,因此基于WCF的应用程序可以与运行在各种不同坏境中的软件进行通信: 1.运行在同一台Windows计算机的不同进程中、基于WCF的应用程序 2.运行在另一台Windows计算机的基于WCF的应用程序 3.基于J2EE应用服务器等其他技术构建的、支持标准Web服务的应用程序。 WCF的体系结构 如上图所示

JPA和Spring-Data-JPA简介

时光总嘲笑我的痴心妄想 提交于 2020-03-05 00:41:05
什么是JPA JPA(Java Persistence API)是Sun官方提出的Java持久化规范。它为Java开发人员提供了一种对象/关联映射工具来管理Java应用中的关系数据。它的出现主要是为了简化现有的持久化开发工作和整合ORM技术 ORM:通过使用描述对象和数据库之间映射的元数据,将程序中的对象自动持久化到关系数据库中。本质就是将数据从一种形式转换到另外一种形式。 结束现在Hibernate、TopLink等ORM框架各自为营的局面。JPA是在充分吸收了现有Hibernate、TopLink等ORM框架的基础上发展起来的,具有易于使用,伸缩性强等优点。 注意: JPA不是一种新的ORM框架,它的出现只是用于规范现有的ORM技术,它不能取代现有的Hibernate等ORM框架,相反,采用JPA开发时,我们仍将使用这些ORM框架,只是此时开发出来的应用不在依赖于某个持久化提供商。应用可以在不修改代码的情况下载任何JPA环境下运行,真正做到低耦合,可扩展的程序设计。类似于JDBC,在JDBC出现以前,我们的程序针对特性的数据库API进行编程,但是现在我们只需要针对JDBC API编程,这样能够在不改变代码的情况下就能换成其他的数据库。 JPA是一套规范,不是一套产品。Hibernate是一套产品,如果这些产品实现了JPA规范,那么我们可以叫它们为JPA的实现产品。使用JPA

MySQL 元数据:获取查询语句影响的记录数

China☆狼群 提交于 2020-03-04 10:26:11
MySQL 元数据 你可能想知道MySQL以下三种信息: 查询结果信息: SELECT, UPDATE 或 DELETE语句影响的记录数。 数据库和数据表的信息: 包含了数据库及数据表的结构信息。 MySQL服务器信息: 包含了数据库服务器的当前状态,版本号等。 在MySQL的命令提示符中,我们可以很容易的获取以上服务器信息。 但如果使用Perl或PHP等脚本语言,你就需要调用特定的接口函数来获取。 接下来我们会详细介绍。 获取查询语句影响的记录数 PERL 实例 在 DBI 脚本中, 语句影响的记录数通过函数 do( ) 或 execute( )返回: # 方法 1 # 使用do( ) 执行 $query my $count = $dbh->do ($query); # 如果发生错误会输出 0 printf "%d 条数据被影响\n", (defined ($count) ? $count : 0); # 方法 2 # 使用prepare( ) 及 execute( ) 执行 $query my $sth = $dbh->prepare ($query); my $count = $sth->execute ( ); printf "%d 条数据被影响\n", (defined ($count) ? $count : 0); 来源: https://www.cnblogs.com