Oracle

数据库的基本操作 通过mysql客户端进入mysql后,实际位于所有仓库之外: * 选中要操作的数据库实例 * 操作数据库实例中的表或其他实体. 注意: ";"表示一条SQL命令的结束,当命令结束后才会执行此命令 * 登陆数据库 mysql[-h主机名或者ip] -u账号 -p密码 一、库操作 查询所有的数据库实例: show databases; 选中要操作的数据库实例: use 数据库实例名; 查询当前数据库实例中的所有表: show tables; 查询数据库信息[版本,编码,位置等等]: \s 创建数据库实例: create database 数据库实例名; 删除数据库实例: drop database [if exists] 数据库实例名; 查看当前使用的数据库 select databases(); 二、表操作 操作之前应连接某个数据库 建表: ​ 命令：create table <表名> ( <字段名> <类型> [,..<字段名n> <类型n>]); mysql> create table MyClass( > id int(4) not null primary key auto_increment, > name char(20) not null, > sex int(4) not null default ’′, > degree double(16,2))

3月21日，“十年再出发”阿里云峰会于国家会议中心正式召开。阿里云智能总裁张建锋（行癫）携核心管理团队首次悉数亮相，并对阿里云做了全面的战略解读。以下是演讲全文。 张建锋：今天是我们阿里云智能升级之后第一次和大家见面，所以我们给大家讲一讲阿里云智能，对云智能的一些思考，对生态合作伙伴的思考。 阿里云智能总裁张建锋 阿里云到今天做了十年，大家看到我们这次主题叫“十年再出发”。在十年前，阿里云也是一件非常小众的事情，那时候做电子商务觉得是一件非常小众的事情，当时我们一直关注电子商务到底会对未来产生什么样的变化，包括2005年我加入淘宝网的第二年，马老师突然有一天说，我们还要做一个支付宝，让全国以后都要用支付宝付钱，大家也是觉得不可思议，到2009年马老师说“没有云就没有未来”，那个时候是觉得非常不可思议的事情，但是阿里巴巴就这样一点一点走到今天，也走到了阿里云第十年。 在十年前，很多人在问一个问题，云是什么？第二个问题我为什么要上云？十年后，大家在讨论的问题是“我为什么不上云？”所以十年间发生太多的变化。我们看过去的十年，阿里云到底做了什么样的事情？ 第一、开创了中国的云时代。 这是09年阿里巴巴、阿里云真正第一次在中国开创了这个云时代，在此之前在中国是没有一个公司把云作为一个业务、作为一个技术的未来在看待。 09年之前，阿里巴巴做淘宝，我们前六年都是处于亏损的状态

mysql安装总结 mysql主从准备工作： 准备两台机器，每台机器安装msyql服务，并启动mysql服务 mysql详细安装 1.首先下载二进制免编译的包，下载到/usr/local/src/目录下 2.解压压缩包 3.解压完之后，把解压出来的目录放到 /usr/local/mysql/ 目录下 注意点： 首先检查 /usr/local/mysql/ 目录是否存在 若是这个目录存在，首先把这个目录改个名字，或者把目录下的内容删除 然后把解压出来的目录放到 /usr/local/mysql/ 目录下面 目录内容应该如下 [root@xuexi-001 ~]# ls /usr/local/mysql bin data include man my-new.cnf README share support-files COPYING docs lib my.cnf mysql-test scripts sql-bench 4.然后切换到 /usr/local/mysql/ 目录下，进行初始化 命令 初始化命令 ./scripts/mysql_install_db --user=mysql --datadir=/data/mysql 注意点： 其中的--user=mysql 需要提前创建 5.初始化成功的标志就是两个OK，或者用 echo $? 检查是否初始化成功 6.编辑 /etc

由于Oracle授权问题，Maven3不提供Oracle JDBC driver，为了在Maven项目中应用Oracle JDBC driver,必须手动添加到本地仓库。 手动添加到本地仓库需要本地有oracle驱动包。 有两种方式获取oracle的驱动包： 一种：是去oracle官网下载 另一种：是如果本地安装了对应版本的oracle，可以在安装文件中找到。 下载oracle驱动包 1）：oracle官方网站上下载： 　　如果本地没有安装Oracle数据库的话，可以从Oracle官网上边进行下载： 　　下载地址： http://www.oracle.com/technetwork/indexes/downloads/index.html 2）：从本地安装的oracle目录中获取 　　如果本地安装着Oracle数据库的话，可以从安装路径：E:\app\product\11.2.0\dbhome_1\jdbc\lib（我的路径），一般选择ojdbc6.jar。 　　如果不知道本地oracle的版本可以通过：SELECT * FROM v$version;结果如下所示： 　　 点我下载驱动包： 加载到本地maven库中： mvn install:install-file -DgroupId=com.oracle -DartifactId=ojdbc6 -Dversion=11.2.0

ORA-12516: TNS:listener could not find available handler with matching protocol stack ORA-12519, TNS:no appropriate service handler found show parameter processes; select count(*) from v$process; alter system set processes=1000 scope=spfile; alter system set sessions=1522 注意一下processes的值和sessions的值，Oracle官方文档中要求： sessions=processes * 1.1 + 5 (10g) sessions=processes * 1.5 + 22 (11g) 也就是说sessions的值是根据processes的值计算得到的，这里需要注意一下，最后重启一下Oracle服务即可，此时再分别开启应用服务器2的3个tomcat并依次访问主页后再看一下process和session的参数值和占用值情况： 如上图，可以看到process的值已经成功修改为1000，而此时开启了6个tomcat所占用的process值为378，session的占用值为375，都远远小于参数值

1、datax 介绍安装 1.1 简单介绍 DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。 Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。 Writer： Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。 Framework：Framework用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。 DataX3.0六大核心优势：可靠的数据质量监控、丰富的数据转换功能、精准的速度控制、强劲的同步性能、健壮的容错机制、极简的使用体验 1.2 安装环境 Linux（windows 实测也可） JDK(1.8以上，推荐1.8) Python(推荐Python2.6.X，2.7 实测也可) Apache Maven 3.x (服务器上也不装、只用来编译datax) 1.3 支持数据库类型 类型 数据源 Reader(读) Writer(写) 文档

一、 问题背景与适用场景 在以前的文章中我们介绍过，关系数据库在进行表间关联时是使用HASH分段技术。设两个关联表的规模（记录数）分别是 N 和 M，则 HASH 分段技术的计算复杂度（关联字段的比较次数）大概是 SUM(Ni*Mi)，其中 Ni 和 Mi 分别是 HASH 值为 i 的两表记录数，满足 N=SUM(Ni) 和 M=SUM(Mi)，这大概率会比完全遍历时的复杂度 N*M 要小很多（运气较好的时候会小 K 倍，K 是 HASH 值的取值范围）。 如果这两个表针对关联键都有序，那么我们就可以使用归并算法来处理关联，这时的复杂度是 N+M；在 N 和 M 都较大的时候（一般都会远大于 K），这个数会远小于刚才那个 SUM(Ni*Mi)。因此有序归并关联的计算速度会比HASH分段关联快很多。 在实际应用中，因为同维表和主子表总是针对主键或主键的一部分关联，我们可以事先把这些关联表的数据按其主键排序，以后就可以总是使用归并算法实现关联，效率能提高很多。SPL即采用了这样的算法。 下面我们就用集算器SPL与关系数据库Oracle作个对比，来测试一下有序归并关联的效率。 二、 测试环境 1、小数据全内存测试 测试机有两个Intel2670 CPU，主频2.6G，共16核，内存128G，SSD固态硬盘。 采用TPCH标准生成的50G数据，主表是orders

一、 问题背景与适用场景 通常分组计算都采用hash方案，即先计算分组字段的hash值，hash值相同的记录被分拣到一个小集合里，然后在这个小集合中遍历找分组字段值相同的聚合成一组。分组的复杂度(比较次数)，取决于hash函数的重码率。在hash空间比较小时，重码率就高，比较次数就会多，性能会受较大影响。为了提高性能，就需要分配较大的内存来存放 hash 表。另外，有些数据类型（长字串）的 hash 计算也比较慢，这也会影响性能。 如果分组字段是有序的，在分组的时候，每条记录只与上一条记录比较，发现有不同时则新建一个分组，相同则聚合到当前组中。这样的分组运算的复杂度为n(被分组集合的长度)，而且没有 hash 计算和重码率的问题，可以获得比 hash 分组更快的性能，而且并不需要太多内存用于存放 hash 表。 SPL提供了这种分组方法，我们实例测试一下，并且与使用hash分组算法的Oracle对比。 二、 测试环境 测试机有两个Intel2670 CPU，主频2.6G，共16核，内存64G，SSD固态硬盘。在此机上安装虚拟机来测试，设置虚拟机为16核、8G内存。 三、 小数据量小结果集测试 在虚拟机上创建数据表orderdetail_1，共三个字段：orderid(整数)、detailid(整数)、amount(实数)，前两个字段是主键，生成数据记录8千万行

备注：本文是面向数据领域的一篇专业文章，里面有大量的专有术语，阅读完大约需要15分钟左右. 前言，这个数据平台发展史仅是自己经历过由传统数据平台到互联网数据平台发展一些简单回忆，文章引用了历史项目&平台规划架构，在这里不做更深入描述。 我是从2000年开始接触数据仓库，大约08年开始进入互联网行业，那时在互联网接触到数据平台与传统第三代数据架构还是有很大的类似之处，随着互联网的突飞猛进，每一次的技术变革都带来一场从技术、架构、业务的渐进式变革，到今天互联网、非互联网的数据平台架构已经差异非常大。 回顾早期的企业环境，企业的生产与服务是一个很长周期，导致业务数据呈现一种粗粒度模式。随着互联网的快速渗透从早期的PC终端到“裆下“的 移动终端，对用户的需求与服务周期将逐渐的缩短，业务量级、数据类型多样化与存储的暴增，对应着技术、架构、业务呈现出迅猛发展，相应的数据沉淀与积累也成指数暴涨。 从”数据仓库“ 词开始到现在的“大数据”，中间经历了太多的知识、架构模式的演进与变革，比如说“数据仓库、海量数据、大数据”等。（备注：数据仓库一般指的是：在相当长的时间内堆积数据，仅仅需要处理大量数据请求中的少部分的系统。数据仓库不等同于“海量数据” 。恰恰相反，而是其子集。海量数据也包含：通过大量的连接提供每秒百万次服务请求的系统。大数据是海量数据+复杂类型数据基础上的大分析、高宽带、大内容）。

数据泵是10g推出的功能，个人倒数据比较喜欢用数据泵。 其导入的时候利用remap参数很方便转换表空间以及schema，并且可以忽略服务端与客户端字符集问题（exp/imp需要排查字符集）。 数据泵也有不方便的地方，如果远程导出导入，必须安装数据库服务端（client不行）；需要在数据库中创建一个路径directory（dba_directories）；并且主流工具支持exp/imp的导入导出（plsql developer），所以发现数据泵流行程度没有想象中高。 以下简单介绍schema的导入导出 以schema方式导出生产库用户下所有对象，并导入测试库。 注：eamdb为生产库，eamprd为生产库用户，密码为eamprd eamuat为测试库，eamprduat为测试库用户，密码为eamprduat 一、 生产库的导出（以 sqlplus 命令行的方式）。 1.以sys或者system用户身份登录生产数据库。 2.创建schema导出路径（DUMP_DIR名称可替换），并在dba_directories中查看 create directory DUMP_DIR as ‘/xxx/xxx’; select * from dba_directories; 3.把导出路径与导出权限授权给eamprd，如果用system等高级帐号导出，则不用。 grant read,write on