元数据

1、MapRedece从读取数据开始到将最终结果写入HDFS经过哪些步骤? 第一步:inputformat进行数据读读取,将数据发送给split 第二步:split 将数据进行切分,发送给RecordReader 第三步:RR将数据按照行再次切分,将切分好的数据组装成key(行首偏移量),value(每行的数据) 发送给map 第四步:map 进行自定义逻辑的书写,将数据传给Shuffle 第五步:Shuffle中的Partition 将数据key的哈希值与ReduceTask数量取余,余几就分到哪个区 第六步:Shuffle中的Sort 将数据按照一定规则进行排序 第七步:Shuffle中的Combine 将数据在map端先进行局部聚合,这样做的好处数节省了网络带宽的消耗,效率更高 第八步:Shuffle中的Group 将数据相同的key变成一个key,将这个key的Value拼装成一个Value的list 第九步:Reduce 进行自定义计算逻辑的书写,将结果发送给OutputFormat 第十步:OutPutFormat 将结果数据输出保存到HDFS上 2、Hadoop 的组成部分有哪些模块？ HDFS 分布式文件存储系统 管理者：NameNode 工作者：DataNode 辅助者：SecondayNameNode MapReduce 分布式离线计算框架 Yarn

什么是MFS？ MooseFS是一个容错，高可用，高性能，扩展，网络分布式文件系统。它将数据分布在多个物理商品服务器上，这些服务器对用户可视为一个虚拟磁盘。它符合POSIX并且像任何其他类Unix文件系统一样支持： 分层结构：文件和文件夹， 文件属性， 特殊文件：管道，插座，块和字符设备， 符号和硬链接， 安全属性和ACL。 它适用于需要标准文件系统的所有应用程序。 分布式原理 分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。简单来说，就是把一些分散的（分布在局域网内各个计算机上）共享文件夹，集合到一个文件夹内（虚拟共享文件夹）。对于用户来说，要访问这些共享文件时，只要打开这个虚拟共享文件夹，就可以看到所有链接到虚拟共享文件夹内的共享文件夹，用户感觉不到这些共享文件是分布于各个计算机上的。分布式文件系统的好处是集中访问、简化操作、数据容灾，以及提高文件的存取性能。 MFS原理 MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是统一的资源。 MFS文件系统的组成 元数据服务器（Master）：在整个体系中负责管理文件系统，维护元数据。 元数据日志服务器（Metalogger）：备份Master服务器的变化日志文件，文件类型为changelog_ml.*.mfs

MFS工作原理 分布式原理 分布式文件系统就是把一些分散在多台计算机上的共享文件夹，集合到一个共享文件夹内，用户要访问这些文件夹的时候，只要打开一个文件夹，就可以的看到所有链接到此文件夹内的共享文件夹。 MFS原理 MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。 MFS的组成 •元数据服务器（Master）：在整个体系中负责管理文件系统，维护元数据，目前不支持高可用。 •元数据日志服务器（MetaLogger）：备份Master服务器的变化日志文件，当master服务器损坏，可以从日志服务器中取得文件恢复。 •数据存储服务器（Chunk Server）：真正存储数据的服务器，服务器越多，容量就越大，可靠性越高，性能越好。 •客户端（Client）： 可以像挂载NFS一样 挂载MFS文件系统 MFS读数据的处理过程 •客户端向元数据服务器发出读请求 •元数据服务器把所需数据存放的位置（Chunk Server的IP地址和Chunk编号）告知客户端 •客户端向已知的Chunk Server请求发送数据 •Chunk Server向客户端发送数据 写入的过程 •客户端向元数据服务器发送写入请求 •元数据服务器与Chunk Server进行交互，但元数据服务器只在某些服务器创建新的分块Chunks，创建成功后由hunk

不生产博客，只是汉化别人的成果 目录 摘要 介绍 用户角度的impala 物理schema设计 sql 支持 架构 state distribution catalog service impala paper的链接 http://cidrdb.org/cidr2015/Papers/CIDR15_Paper28.pdf 摘要 impala是一个现代化，开源的mpp sql引擎架构，一开始就是为了处理hadoop环境上的数据。impala提供低延迟和高并发的query对于hadoop上的BI/OLAP，不像hive那样的批处理框架，这篇paper从使用者的角度阐述impala的总体架构和组件，简要说明Impala较别的sql on hadoop的优势 介绍 impala是开源的，最先进的mpp sql引擎，与hdaoop高度集成，高伸缩、高灵活。impala的目的是结合sql支持与传统数据库的多用户高性能(高并发)在hadoop上 不像别的系统，eg:postgre，impala是一个全新的引擎，由c++和java编写，拥有像hadoop一样的灵活性通过结合一些组件，eg:hdfs、hbase、hive metastore等等，并且能够读取常用的存储格式数据，eg:parquet、rcfile、avro等，为了降低延迟，没有使用类似mapreduce和远程拉取数据

转自： https://blog.csdn.net/bingduanlbd/article/details/51914550#t24 1. 介绍 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中，引入网络，就不可避免地引入了所有网络编程的复杂性，例如挑战之一是如果保证在节点不可用的时候数据不丢失。 传统的网络文件系统（NFS）虽然也称为分布式文件系统，但是其存在一些限制。由于NFS中，文件是存储在单机上，因此无法提供可靠性保证，当很多客户端同时访问NFS Server时，很容易造成服务器压力，造成性能瓶颈。另外如果要对NFS中的文件中进行操作，需要首先同步到本地，这些修改在同步到服务端之前，其他客户端是不可见的。某种程度上，NFS不是一种典型的分布式系统，虽然它的文件的确放在远端（单一）的服务器上面。 从NFS的协议栈可以看到，它事实上是一种VFS（操作系统对文件的一种抽象）实现。 HDFS，是Hadoop Distributed File System的简称，是Hadoop抽象文件系统的一种实现。Hadoop抽象文件系统可以与本地系统、Amazon S3等集成，甚至可以通过Web协议（webhsfs）来操作。HDFS的文件分布在集群机器上，同时提供副本进行容错及可靠性保证

1 一对多|多对一 1.1 关系表达 表中的表达 表中的表达 实体中的表达 orm元数据中表达 一对多 多对一 1.2 操作 操作关联属性 1.3 进阶操作 级联操作 结论: 简化操作.一定要用,save-update,不建议使用delete. 关系维护 问题的产生 在保存时.两方都会维护外键关系.关系维护两次,冗余了. 多余的维护关系语句,显然是客户这一端在维护关系 解决 2 多对多 2.1 关系表达 表中 对象中 orm元数据 2.2 操作 inverse属性 级联属性 练:添加联系人 源码 链接： https://pan.baidu.com/s/1sSiMPeGz782daftW7Y_eQA 密码：8xqg 来源： https://www.cnblogs.com/liu-wang/p/8675628.html

蒋金楠 老师的 How ASP.NET MVC Works? 一、ASP.NET + MVC IIS与ASP.NET管道 MVC、MVP以及Model2[上篇] MVC、MVP以及Model2[下篇] ASP.NET MVC是如何运行的[1]: 建立在“伪”MVC框架上的Web应用 ASP.NET MVC是如何运行的[2]: URL路由 ASP.NET MVC是如何运行的[3]: Controller的激活 ASP.NET MVC是如何运行的[4]: Action的执行 二、URL 路由 ASP.NET的路由系统：URL与物理文件的分离 ASP.NET的路由系统：路由映射 ASP.NET的路由系统：根据路由规则生成URL ASP.NET MVC路由扩展：路由映射 ASP.NET MVC路由扩展：链接和URL的生成 ASP.NET路由系统实现原理：HttpHandler的动态映射 在ASP.NET MVC中通过URL路由实现对多语言的支持 三、Controller的激活 ASP.NET MVC Controller激活系统详解：总体设计 ASP.NET MVC Controller激活系统详解：默认实现 ASP.NET MVC Controller激活系统详解：IoC的应用[上篇] ASP.NET MVC Controller激活系统详解：IoC的应用[下篇] 四

一、ASP.NET + MVC IIS与ASP.NET管道 MVC、MVP以及Model2[上篇] MVC、MVP以及Model2[下篇] ASP.NET MVC是如何运行的[1]: 建立在“伪”MVC框架上的Web应用 ASP.NET MVC是如何运行的[2]: URL路由 ASP.NET MVC是如何运行的[3]: Controller的激活 ASP.NET MVC是如何运行的[4]: Action的执行 二、URL 路由 ASP.NET的路由系统：URL与物理文件的分离 ASP.NET的路由系统：路由映射 ASP.NET的路由系统：根据路由规则生成URL ASP.NET MVC路由扩展：路由映射 ASP.NET MVC路由扩展：链接和URL的生成 ASP.NET路由系统实现原理：HttpHandler的动态映射 在ASP.NET MVC中通过URL路由实现对多语言的支持 三、Controller的激活 ASP.NET MVC Controller激活系统详解：总体设计 ASP.NET MVC Controller激活系统详解：默认实现 ASP.NET MVC Controller激活系统详解：IoC的应用[上篇] ASP.NET MVC Controller激活系统详解：IoC的应用[下篇] 四、Model元数据的提供 ASP.NET MVC Model元数据及其定制

一、ASP.NET + MVC IIS与ASP.NET管道 MVC、MVP以及Model2[上篇] MVC、MVP以及Model2[下篇] ASP.NET MVC是如何运行的[1]: 建立在“伪”MVC框架上的Web应用 ASP.NET MVC是如何运行的[2]: URL路由 ASP.NET MVC是如何运行的[3]: Controller的激活 ASP.NET MVC是如何运行的[4]: Action的执行 二、URL 路由 ASP.NET的路由系统：URL与物理文件的分离 ASP.NET的路由系统：路由映射 ASP.NET的路由系统：根据路由规则生成URL ASP.NET MVC路由扩展：路由映射 ASP.NET MVC路由扩展：链接和URL的生成 ASP.NET路由系统实现原理：HttpHandler的动态映射 在ASP.NET MVC中通过URL路由实现对多语言的支持 三、Controller的激活 ASP.NET MVC Controller激活系统详解：总体设计 ASP.NET MVC Controller激活系统详解：默认实现 ASP.NET MVC Controller激活系统详解：IoC的应用[上篇] ASP.NET MVC Controller激活系统详解：IoC的应用[下篇] 四、Model元数据的提供 ASP.NET MVC Model元数据及其定制

原文地址：http://www.cnblogs.com/artech/archive/2012/04/10/how-mvc-works.html?ADUIN=7783008&ADSESSION=1414992522&ADTAG=CLIENT.QQ.5359_.0&ADPUBNO=26397 一、ASP.NET + MVC IIS与ASP.NET管道 MVC、MVP以及Model2[上篇] MVC、MVP以及Model2[下篇] ASP.NET MVC是如何运行的[1]: 建立在“伪”MVC框架上的Web应用 ASP.NET MVC是如何运行的[2]: URL路由 ASP.NET MVC是如何运行的[3]: Controller的激活 ASP.NET MVC是如何运行的[4]: Action的执行 二、URL 路由 ASP.NET的路由系统：URL与物理文件的分离 ASP.NET的路由系统：路由映射 ASP.NET的路由系统：根据路由规则生成URL ASP.NET MVC路由扩展：路由映射 ASP.NET MVC路由扩展：链接和URL的生成 ASP.NET路由系统实现原理：HttpHandler的动态映射 在ASP.NET MVC中通过URL路由实现对多语言的支持 三、Controller的激活 ASP.NET MVC Controller激活系统详解：总体设计 ASP.NET