数据集成

1 HBase与Hive的对比 1．Hive (1) 数据仓库 Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。 (2) 用于数据分析、清洗 Hive适用于离线的数据分析和清洗，延迟较高。 (3) 基于HDFS、MapReduce Hive存储的数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行。 2．HBase (1) 数据库 是一种面向列存储的非关系型数据库。 (2) 用于存储结构化和非结构化的数据 适用于单表非关系型数据的存储，不适合做关联查询，类似JOIN等操作。 (3) 基于HDFS 数据持久化存储的体现形式是Hfile，存放于DataNode中，被ResionServer以region的形式进行管理。 (4) 延迟较低，接入在线业务使用 面对大量的企业数据，HBase可以直线单表大量数据的存储，同时提供了高效的数据访问速度。 2 HBase与Hive集成使用 尖叫提示：HBase与Hive的集成在最新的两个版本中无法兼容。所以，我们只能含着泪勇敢的重新编译：hive-hbase-handler-1.2.2.jar！！好气！！ 环境准备 因为我们后续可能会在操作Hive的同时对HBase也会产生影响，所以Hive需要持有操作HBase的Jar

转载地址: http://blog.csdn.net/qq_19916577/article/details/44988015 一、序言 大家或多或少都听过WebService（Web服务），有一段时间很多计算机期刊、书籍和网站都大肆的提及和宣传WebService技术，其中不乏很多吹嘘和做广告的成分。但是不得不承认的是WebService真的是一门新兴和有前途的技术，那么WebService到底是什么？何时应该用？ 当前的应用程序开发逐步的呈现了两种迥然不同的倾向：一种是基于浏览器的瘦客户端应用程序，一种是基于浏览器的富客户端应用程序（RIA），当然后一种技术相对来说更加的时髦一些（如现在很流行的Html5技术），这里主要讲前者。 基于浏览器的瘦客户端应用程序并不是因为瘦客户能够提供更好的用户界面，而是因为它能够避免花在桌面应用程序发布上的高成本。发布桌面应用程序成本很高，一半是因为应用程序安装和配置的问题，另一半是因为客户和服务器之间通信的问题。传统的Windows富客户应用程序使用DCOM来与服务器进行通信和调用远程对象。配置好DCOM使其在一个大型的网络中正常工作将是一个极富挑战性的工作，同时也是许多IT工程师的噩梦。事实上，许多IT工程师宁愿忍受浏览器所带来的功能限制，也不愿在局域网上去运行一个DCOM。关于客户端与服务器的通信问题

本文的课程来源： https://www.bilibili.com/video/av23908372/?p=3 集成模型需要各种各样的子模型： 但同时我们又不需要很高的准确率： 随着子模型地增加，总体准确率上升。 具体地，创建差异（每个子模型是看样本数据的一部分）有两种方式： 下面用代码来实现一个集成学习： 准备数据： 使用Bagging训练数据： n_estimators 表示子模型的个数，max_samples表示每个子模型的样本数目，bootstrap表示是Bagging或者Pasting 对于Bagging方法来说，实际上约有三分之一的数据取不到： 那么，我们可以直接用这部分的数据来当作测试样本，加入oob_score属性即可，代码如下： 关于Bagging的更多探讨： 下面开始介绍Boosting: Boosting中子模型之间不是独立的，每个模型都在尝试增强整体的效果。 Ada Boosting: Gradient Boosting: 这种方法是每次对误差值进行训练。 来源： CSDN 作者： 少儿西笑 链接： https://blog.csdn.net/weixin_42936560/article/details/81810752

架构 Apache Flink 是一个框架和分布式处理引擎，用于在 无边界和有边界 数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。 接下来，我们来介绍一下 Flink 架构中的重要方面。 处理无界和有界数据 任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录，所有这些数据都形成一种流。 数据可以被作为 无界 或者 有界 流来处理。 无界流 有定义流的开始，但没有定义流的结束。它们会无休止地产生数据。无界流的数据必须持续处理，即数据被摄取后需要立刻处理。我们不能等到所有数据都到达再处理，因为输入是无限的，在任何时候输入都不会完成。处理无界数据通常要求以特定顺序摄取事件，例如事件发生的顺序，以便能够推断结果的完整性。 有界流 有定义流的开始，也有定义流的结束。有界流可以在摄取所有数据后再进行计算。有界流所有数据可以被排序，所以并不需要有序摄取。有界流处理通常被称为批处理 Apache Flink 擅长处理无界和有界数据集 精确的时间控制和状态化使得 Flink 的运行时(runtime)能够运行任何处理无界流的应用。有界流则由一些专为固定大小数据集特殊设计的算法和数据结构进行内部处理，产生了出色的性能。 通过探索 Flink 之上构建的 用例 来加深理解。 部署应用到任意地方

一，mvc做的事情 　　1，将url映射到java类或者java的方法。 　　2，封装用户提交的数据 　　3，处理请求--调用相关的业务处理--封装想相应的数据 　　4，将相应数据进行渲染，jsp或者html 二，spring mvc是一个轻量级的，基于请求响应的mvc框架。 三，为什么要学mvc 　　1，性能比struts2好，开发效率高，性能不高 　　2，简单，便捷，开发简单 　　3，天生和spring无缝集成，核心功能（ioc和aop） 　　4，使用约定优于配置， 来源： https://www.cnblogs.com/xiaozhang666/p/11637804.html

废话不多说，就说一句：在 JFinal 中集成 EhCache，可以提高系统的并发访问速度。 可能有人会问 JFinal 是什么，EhCache 是什么，简单解释一下。 JFinal 是一个基于Java 语言的极速 Web 开发框架，用起来非常爽，谁用谁知道。EhCache 是一个纯 Java 的进程内缓存框架，具有快速、精干的特点，用起来非常爽，谁用谁知道。 JFinal 本身已经集成了 EhCache 这个缓存插件，但默认是没有启用的。那怎么启用呢？ 请随我来。 01、在 pom.xml 中加入 EhCache 依赖 <dependency> <groupId>net.sf.ehcache</groupId> <artifactId>ehcache-core</artifactId> <version>2.6.11</version></dependency> 02、在 JFinalConfig 中配置 EhCachePlugin public class DemoConfig extends JFinalConfig { public void configPlugin(Plugins me) { me.add(new EhCachePlugin()); }} 基于 JFinal 的 Web 项目需要创建一个继承自 JFinalConfig 类的子类，该类用于对整个 Web

1.1.1 Spring是什么 Spring是一个开源的轻量级Java SE（Java 标准版本）/Java EE（Java 企业版本）开发应用框架，其目的是用于简化企业级应用程序开发 。应用程序是由一组相互协作的对象组成。而在传统应用程序开发中，一个完整的应用是由一组相互协作的对象组成。所以开发一个应用除了要开发业务逻辑之外，最多的是关注如何使这些对象协作来完成所需功能，而且要低耦合、高内聚。 业务逻辑开发是不可避免的，那 如果有个框架出来帮我们来创建对象及管理这些对象之间的依赖关系 。可能有人说了，比如“抽象工厂、工厂方法设计模式”不也可以帮我们创建对象，“生成器模式”帮我们处理对象间的依赖关系，不也能完成这些功能吗？可是这些又需要我们创建另一些工厂类、生成器类，我们又要而外管理这些类，增加了我们的负担，如果能有种通 过配置方式来创建对象，管理对象之间依赖关系，我们不需要通过工厂和生成器来创建及管理对象之间的依赖关系，这样我们是不是减少了许多工作，加速了开发，能节省出很多时间来干其他事 。Spring框架刚出来时主要就是来完成这个功能。 Spring框架除了帮我们管理对象及其依赖关系，还提供像通用日志记录、性能统计、安全控制、异常处理等面向切面的能力，还能帮我管理最头疼的数据库事务，本身提供了一套简单的JDBC访问实现，提供与第三方数据访问框架集成（如Hibernate、JPA

一、MongoDB 简介 MongoDB 如今是最流行的 NoSQL 数据库，被广泛应用于各行各业中，很多创业公司数据库选型就直接使用了 MongoDB，但对于大部分公司，使用 MongoDB 的场景是做大规模数据查询和离线分析。MongoDB 一经推出就受到了广大社区的热爱，可以说是对程序员最友好的一种数据库，下面我们来了解一下它的特性。 MongoDB（Humongous，庞大）是可以应用于各种规模的企业、各个行业以及各类应用程序的开源数据库，作为一个适用于敏捷开发的数据库，MongoDB 的数据模式可以随着应用程序的发展而灵活地更新。与此同时，它也为开发人员提供了传统数据库的功能：二级索引、完整的查询系统及严格一致性等。MongoDB 能够使企业更加具有敏捷性和可扩展性，各种规模的企业都可以通过使用 MongoDB 来创建新的应用，来提高与客户之间的工作效率，加快产品上市时间，以及降低企业成本。 MongoDB 是专门为可扩展性、高性能和高可用性而设计的数据库，它可以从单服务器部署扩展到大型、复杂的多数据中心架构。利用内存计算的优势，MongoDB 能够提供高性能的数据读写操作。 MongoDB 的本地复制和自动故障转移功能使应用程序具有企业级的可靠性和操作灵活性。 MongoDB 相关概念 在学习 MongoDB 之前需要先了解一些专业术语，常说 MongoDB

文章目录 12、HBase与MapReduce的集成 需求一：读取myuser这张表当中的数据写入到HBase的另外一张表当中去 第一步：创建myuser2这张表 第二步：创建maven工程，导入jar包 第三步：开发MR的程序 第四步：运行 运行第一种方式：本地运行 运行第二种方式：打包集群运行 第一步：pom.xml当中添加打包插件 第二步：代码当中添加 第三步：使用maven打包 需求二：读取HDFS文件，写入到HBase表当中去 第一步：准备数据文件 第二步：开发MR程序 需求三：通过bulkload的方式批量加载数据到HBase当中去 第一步：定义我们的mapper类 第二步：开发我们的main程序入口类 第三步：将代码打成jar包然后进行运行 第四步：开发代码，加载数据 13、HBase与hive的对比 Hive 数据仓库工具 用于数据分析、清洗 基于HDFS、MapReduce HBase nosql数据库 用于存储结构化和非结构话的数据 基于HDFS 延迟较低，接入在线业务使用 总结：Hive与HBase 14、hive与HBase的整合 需求一：将hive分析结果的数据，保存到HBase当中去 第一步：拷贝hbase的五个依赖jar包到hive的lib目录下 第二步：修改hive的配置文件 第三步：修改hive-env.sh配置文件添加以下配置 第四步

关于Redis缓存 为什么使用缓存？ 提升重复访问数据的访问效率。 Redis的三个用途 数据库， 缓存 ，消息中间件 Redis的应用场景（针对被重复访问的数据） 页面缓存（图片，CSS，html等静态数据）——热点数据 最新列表 排行榜 计数器 session存储 使用建议 Redis 速度快是建立在内存数据库基础上的，但是一台服务器的内存要比磁盘金贵许多，所以在项目初期不要想什么都往 Redis 里放，这样当数据量上来后很快内存就会不够用，反而得不偿失。合理的利用有限的内存，将读（写）频繁的热数据放在 Redis 中才能更好感受到它带来的性能提升。 Redis 虽然提供了 RDB 和 AOF 两种持久化方式，但是普遍还是认为 Redis 的持久化并不是很靠谱。非常重要的数据不要依赖 Redis 来开发，或者最起码不要只在 Redis 中持久化 MySQL 经过不断优化性能已经非常好，所以 MySQL 提供的数据结构和访问效率能满足的需求的情况下不要引入 Redis，多引入一个组件就多一个可能的故障节点，尤其在保持数据一致性的场景中数据（比如用户余额）应该只放在数据库中，除非你知道怎么解决考系统的分布式事务。 Redis数据类型 文档参考：http://doc.redisfans.com/ string（一个键最大能存储 512MB） hash（适合存储对象）每个 hash