数据库系统

CMDB和运维自动化 一、运维 运维，指的是对已经搭建好的网络，软件，硬件进行维护。运维领域也是细分的，有硬件运维和软件运维 硬件运维 主要包括对基础设施的运维，比如机房的设备，主机的硬盘，内存这些物理设备的维护 软件运维 主要包括系统运维和应用运维，系统运维主要包括对OS，数据库，中间件的监控和维护，这些系统介于设备和应用之间，应用运维主要是对线上业务系统的运维 讨论的主要是软件运维的自动化，包括系统运维和应用运维的自动化 二、软件运维 传统运维 日常工作繁琐 日常运维工作是比较繁琐的，研发同学会经常需要到服务器上查日志，重启应用，或者是说今天上线某个产品，需要部署下环境。这些琐事是传统运维的大部分工作 应用运行环境不统一 在部署某应用后，应用不能访问，就会听到开发人员说，在我的环境运行很好的，怎么部署到测试环境后，就不能用了，因为各类环境的类库不统一 还有一种极端情况，运维人员习惯不同，可能凭自己的习惯来安装部署软件，每种服务器上运行软件的目录不统一 运维及部署效率低下 想想运维人员需要登陆到服务器上执行命令，部署程序，不仅效率很低，并且非常容易出现人为的错误，一旦手工出错，追溯问题将会非常不容易 无用报警信息过多 经常会收到很多报警信息，多数是无用的报警信息，造成运维人员经常屏蔽报警信 另外如果应用的访问速度出了问题，总是需要从系统、网络、应用、数据库等一步步的查找原因

系统架构演化历程-初始阶段架构 <img data-rawheight="367" data-rawwidth="516" src="https://pic4.zhimg.com/13bd5a6612620fdf51c8987ab3eb1273_b.jpg" class="origin_image zh-lightbox-thumb" width="516" data-original="https://pic4.zhimg.com/13bd5a6612620fdf51c8987ab3eb1273_r.jpg"> 初始阶段 的小型系统 应用程序、数据库、文件等所有的资源都在一台服务器上通俗称为LAMP 特征： 应用程序、数据库、文件等所有的资源都在一台服务器上。 描述： 通常服务器操作系统使用linux，应用程序使用PHP开发，然后部署在Apache上，数据库使用Mysql，汇集各种免费开源软件以及一台廉价服务器就可以开始系统的发展之路了。 系统架构演化历程-应用服务和数据服务分离 <img data-rawheight="408" data-rawwidth="510" src="https://pic2.zhimg.com/c2ff4e51eec15231b2f69fe6a4038239_b.jpg" class="origin_image zh

winserver系统oracle数据库存在多个实例后，出现异常如下： 一、监听服务服务正常启动； 二、无法通过lsnrctl status 查看监听状态，内容显示不全； 三、非本机数据库无法实现数据库登录访问。 通过以下办法实现了数据库监听的正常启动： 一、找到HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\ OracleTNSListener，将相关的监听实例全部删除，重启服务器； 二、修改sqlnet.ora，修改为如下内容： SQLNET.AUTHENTICATION_SERVICES= (NTS) NAMES.DIRECTORY_PATH= (TNSNAMES,HOSTNAME) 保存后，启动监听程序，即可正常启动。 来源： CSDN 作者： qq_31466883 链接： https://blog.csdn.net/qq_31466883/article/details/104356240

Oracle数据库查询十个小技巧 数据查询，是数据库操作中最主要的功能之一；有时候数据库查询性能的好坏，直接关系到数据库的运行效率，关系到数据库的选型。下面笔者不谈大道理，只是对其中对一些平时大家容易忽略的查询小技巧做一些总结。或许大家可能正在为此犯愁呢? 　　第一个技巧：利用连接符连接多个字段。 　　如在员工基本信息表中，有员工姓名、员工职位、出身日期等等。如果现在视图中这三个字段显示在同一个字段中，并且中间有分割符。如我现在想显示的结果为“经理Victor出身于1976年5月3日”。这该如何处理呢?其实，这是比较简单的，我们可以在Select查询语句中，利用连接符把这些字段连接起来。 　　如可以这么写查询语句： 　　SELECT员工职位 ||’ ’ ||员工姓名||’出身于’||出身日期 as 员工出身信息 FROM 员工基本信息表; 　　通过这条语句就可以实现如上的需求。也就是说，我们在平时查询中，可以利用||连接符把一些相关的字段连接起来。这在报表视图中非常的有用。如笔者以前在设计图书馆管理系统的时候，在书的基本信息处有图书的出版社、出版序列号等等内容。但是，有时会在打印报表的时候，需要把这些字段合并成一个字段打印。为此，就需要利用这个连接符把这些字段连接起来。而且，利用连接符还可以在字段中间加入一些说明性的文字，以方便大家阅读。如上面我在员工职位与员工姓名之间加入了空格

JDBC技术 1、JDBC简介 大型网站是离不开数据库的，使用JDBC技术链接数据库 JDBC：java Data Base Connectivity，使用JDBC连接数据库后数据库的增/删/改/查及批处理等操作 JDBC是java程序与数据库系统通信的标准API，定义在JDK的API中，JDBC在java程序和数据库系统之间建立了桥梁 java程序<------->JDBC API<--------->数据库驱动<--------->数据库系统 2、JDBC连接数据库的流程 1）注册数据库驱动 　　连接数据库需要将数据库厂商提供的数据库驱动类注册到JDBC的驱动管理器中，通常是将数据库驱动类加载到JVM虚拟机。 　　Class.forName("com.mysql.jdbc.Driver");//加载数据库驱动，注册到驱动管理器 2）构建数据库连接URL 　　这个URL一般由数据库厂商制定，不同的数据库的URL不同，但基本的格式都是；JDBC协议+IP地址或域名+端口+数据库名称。 　　MySQL数据库的URL的字符串为："jdbc:mysql://localhost:3306/db_admin"; //db_admin是本地创建的一个数据库名称 3）获取Connection对象 　　在前两步完成后，即可通过驱动管理器获取数据库的Connection对象

一、 设计理念 1. 空间换时间 1) 多级缓存，静态化 客户端页面缓存（http header中包含Expires/Cache of Control，last modified(304，server不返回body，客户端可以继续用cache，减少流量)，ETag） 反向代理缓存 应用端的缓存(memcache) 内存数据库 Buffer、cache机制（数据库，中间件等） 2) 索引 哈希、B树、倒排、bitmap 哈希索引适合综合数组的寻址和链表的插入特性，可以实现数据的快速存取。 B树索引适合于查询为主导的场景，避免多次的IO，提高查询的效率。 倒排索引实现单词到文档映射关系的最佳实现方式和最有效的索引结构，广泛用在搜索领域。 Bitmap是一种非常简洁快速的数据结构，他能同时使存储空间和速度最优化（而不必空间换时间），适合于海量数据的的计算场景。 2. 并行与分布式计算 1) 任务切分、分而治之(MR) 在大规模的数据中，数据存在一定的局部性的特征，利用局部性的原理将海量数据计算的问题分而治之。 MR模型是无共享的架构，数据集分布至各个节点。处理时，每个节点就近读取本地存储的数据处理(map)，将处理后的数据进行合并(combine)、排序(shuffle and sort)后再分发(至reduce节点)，避免了大量数据的传输，提高了处理效率。 2) 多进程、多线程并行执行

从各个角度总结了电商平台中的架构实践，由于时间仓促，定了个初稿，待补充完善，欢迎大家一起交流。 转载请声明出处： http://blog.csdn.net/yangbutao/article/details/12242441 作者：杨步涛 关注分布式架构、大数据、搜索、开源技术 QQ:306591368 技术Blog： http://blog.csdn.net/yangbutao 一、 设计理念 1. 空间换时间 1) 多级缓存，静态化 客户端页面缓存（http header中包含Expires/Cache of Control，last modified(304，server不返回body，客户端可以继续用cache，减少流量)，ETag） 反向代理缓存 应用端的缓存(memcache) 内存数据库 Buffer、cache机制（数据库，中间件等） 2) 索引 哈希、B树、倒排、bitmap 哈希索引适合综合数组的寻址和链表的插入特性，可以实现数据的快速存取。 B树索引适合于查询为主导的场景，避免多次的IO，提高查询的效率。 倒排索引实现单词到文档映射关系的最佳实现方式和最有效的索引结构，广泛用在搜索领域。 Bitmap是一种非常简洁快速的数据结构，他能同时使存储空间和速度最优化（而不必空间换时间），适合于海量数据的的计算场景。 2. 并行与分布式计算 1) 任务切分、分而治之

从各个角度总结了电商平台中的架构实践，由于时间仓促，定了个初稿，待补充完善，欢迎大家一起交流。 转载请声明出处： http://blog.csdn.net/yangbutao/article/details/12242441 作者：杨步涛 关注分布式架构、大数据、搜索、开源技术 QQ:306591368 技术Blog： http://blog.csdn.net/yangbutao 一、 设计理念 1. 空间换时间 1) 多级缓存，静态化 客户端页面缓存（http header中包含Expires/Cache of Control，last modified(304，server不返回body，客户端可以继续用cache，减少流量)，ETag） 反向代理缓存 应用端的缓存(memcache) 内存数据库 Buffer、cache机制（数据库，中间件等） 2) 索引 哈希、B树、倒排、bitmap 哈希索引适合综合数组的寻址和链表的插入特性，可以实现数据的快速存取。 B树索引适合于查询为主导的场景，避免多次的IO，提高查询的效率。 倒排索引实现单词到文档映射关系的最佳实现方式和最有效的索引结构，广泛用在搜索领域。 Bitmap是一种非常简洁快速的数据结构，他能同时使存储空间和速度最优化（而不必空间换时间），适合于海量数据的的计算场景。 2. 并行与分布式计算 1) 任务切分、分而治之

KeyLife富翁笔记 作者: HongYuan 标题: sql server数据库性能的优化 关键字: 分类: 个人专区 密级: 公开 (评分: , 回复: 0, 阅读: 676) »» 数据库设计 　　实现sql server数据库的优化，首先要有一个好的数据库设计方案。在实际工作中，许多sql server方案往往是由于数据库设计得不好导致性能很差。实现良好的数据库设计必须考虑这些问题: 　　1. 逻辑数据库规范化问题 　　一般来说，逻辑数据库设计会满足规范化的前3级标准： 　　第1规范：没有重复的组或多值的列; 　　第2规范: 每个非关键字段必须依赖于主关键字，不能依赖于一个组合式主关键字的某些组成部分; 　　第3规范: 一个非关键字段不能依赖于另一个非关键字段。 　　遵守这些规则的数据库设计会产生较少的列和更多的表，因而也就减少了数据冗余，也减少了用于存储数据的页。 　　2. 生成物理数据库 　　要想正确选择基本物理实现策略，必须了解和利用好数据库访问格式和硬件资源的操作特点，特别是内存和磁盘子系统i/o。以下是一些常用技巧： 　　与每个表列相关的数据类型应该反映数据所需的最小存储空间，特别是对于被索引的列更是如此。比如能使用smallint类型就不要用integer类型，这样索引字段可以被更快地读取，而且可以在一个数据页上放置更多的数据行，因而也就减少了i

数据库设计 　　实现sql server数据库的优化，首先要有一个好的数据库设计方案。在实际工作中，许多sql server方案往往是由于数据库设计得不好导致性能很差。实现良好的数据库设计必须考虑这些问题: 　　1. 逻辑数据库规范化问题 　 　一般来说，逻辑数据库设计会满足规范化的前3级标准： 　　 第1规范：没有重复的组或多值的列; 　　 第2规范: 每个非关键字段必须依赖于主关键字，不能依赖于一个组合式主关键字的某些组成部分; 　　 第3规范: 一个非关键字段不能依赖于另一个非关键字段。 　　 遵守这些规则的数据库设计会产生较少的列和更多的表，因而也就减少了数据冗余，也减少了用于存储数据的页。 　　2. 生成物理数据库 　　 要想正确选择基本物理实现策略，必须了解和利用好数据库访问格式和硬件资源的操作特点，特别是内存和磁盘子系统i/o。以下是一些常用技巧： 　　 与每个表列相关的数据类型应该反映数据所需的最小存储空间，特别是对于被索引的列更是如此。比如能使用smallint类型就不要用integer类型，这样索引字段可以被更快地读取，而且可以在一个数据页上放置更多的数据行，因而也就减少了i/o操作。 　　 把一个表放在某个物理设备上，再通过sql server的段把它的不分簇索引放在一个不同的物理设备上，这样能提高性能