关系型数据库

python3爬虫系列09之爬虫数据存入MySQL数据库 1. 前言 在上一篇当中呢， python3爬虫系列08之新版动态智联爬虫 ，我们已经把智联招聘的某地区，某岗位，某页数的所有数据爬下来了，然后保存为了一个text文件。 这一篇呢，我们说说把数据存入数据库的操作，毕竟真的项目爬虫出来，数据肯定是要入库的。 反正我以前搞java的，所以还是要学习一下的关于python怎么操作数据库的？ 说到数据库呢。在当今的互联网企业中，最常用的数据库模式主要有两种，即关系型数据库和非关系型数据库。 数据库现在分： SQL关系型数据库：常见的MySQL和Oracle数据库、SQL Server NoSQL非关系型数据库： 键值存储数据库：Redis、 列存储数据库：HBase、 面向文档数据库：MongoDB、 更多请参考百度百科： 数据库 。 这里以Mysql为例（主要是其他我也不会啊~）： 为了使python连接上数据库，你需要一个驱动，这个驱动是用于与数据库交互的库。是一个叫PyMySQL 的工具。 2.什么是 PyMySQL？ PyMySQL ： 这是一个使Python连接到MySQL的库，它是一个纯Python库。 PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库，Python2中则使用mysqldb。 手动安装： PyMySQL 下载地址：

初识数据库 数据库优势 程序稳定性：程序崩溃不会影响数据和服务 数据一致性：所有数据存储在一起 并发：数据库本身支持并发 效率：使用数据库对数据进行的增删改查效率要高 数据: 描述事物的符号记录称为数据 （Data） 数据库: 专门用来存储数据 （DataBase，简称DB） mysql: 数据库软件 （DataBase Management System 简称DBMS） 数据库管理员 管理数据库软件(DBA) 数据库服务器-：运行数据库管理软件 数据库管理软件：管理-数据库 数据库：即文件夹，用来组织文件/表 表：即文件，用来存放多行内容/多条记录 数据库分类 关系型数据库（表结构）：　　特点相对慢，数据关联性强　　关系型数据库 : mysql oracle sqllite sql server db2 access 非关系型数据库（key，value）：　　特点相对快，数据与数据的关联性小　　非关系型数据库 : redis mongodb memcache区别：　　关系型数据库存储效率相对低，数据与数据之间关联紧密　　关系型数据库存储效率相对高，数据与数据之间的关系是key:value Mysql语句分为三种（了解） 　　DDL 语句， 数据库定义语言：数据库，表，视图，索引，存储过程，例如create，drop，alter 　　DML 语句，数据库操纵语言：插入、删除、更新

PI 实时数据库系统(Plant Information System)是由美国 OSI Software 公司开发的基于C/S、B/S结构的商品化软件应用平台， 是工厂底层控制网络与上层管理信息系统连接的桥梁 ，PI在工厂信息集成中扮演着特殊和重要的角色。PI实时数据库系统适用于电力、石油、化工、冶金、造纸、制药、水处理、食品饮料、通讯等各种生产流程企业的生产过程优化。 PI是全世界装机量最多的实时数据库系统，已成为OSI公司的标志产品。 美国OSI Software公司创建于1980年，总部设在加州San Leandro。在休斯顿、西雅图、克里夫兰设有分部，在美国的IL、FL、MO、MA、NY、NC等州设有办事处，在澳大利亚、新西兰、德国、新加坡设有办事处，全球范围有超过50多个分销商，智网科技（杭州）有限公司是OSI Software 公司在中国的指定分销商。同时，智网科技还利用自身的技术优势，在PI系统的平台上，二次开发了诸多的电厂应用子系统，使用户十分方便地进行电厂生产过程优化及安全运行管理。 OSI Software公司与Microsoft、SAP、KBC等著名公司保持着良好的合作关系， PI的客户端产品中底层完全采用微软Windows技术，同时也将用户界面Windows化。迄今为止，PI的客户端模块以功能强大、灵活、易用的特点在业界一直保持着领先的地位。OSI

数据库初识 DBMS(数据库管理系统) ​ 数据库管理系统是为管理数据库而设计的电脑软件系统, 一般具有存储, 截取, 安全保障, 备份等基础功能 ​ 通俗来说, 这个工具负责通过操作系统和硬盘交流, 高效的管理数据, 并且还支持对外通信, 相当于一个socket服务端, 想操作数据的人或项目都可以连接到这个工具, 并通过这个工具来管理数据 关系型数据库(RDBMS) ​ 关系型数据库模型是把负责的数据结构归结为简单的二元关系 ​ 这几个表之间建立了某种关系, 共享着双方的数据. 这就是关系. 关系型数据库存储的数据大概就是这个样子 结构化查询语言(SQL) ​ 操作关系型数据库的命令, 称之为SQL ​ SQL是一种特殊目的的编程语言, 是一种数据库查询和程序设计语言, 用于存取数据以及查询, 更新和管理关系数据库系统; 同时也是数据库脚本文件的扩展名. ​ 不同数据库系统之间的SQL不能完全相互通用 常用的关系型数据库: oracle数据库 ​ Oracle前身叫SDL、由Larry Ellison和两个变成任意在1977创办，他们开发了主机的拳头产品，在市场上大量销售。Oracle公司是最早开发关系型数据库的厂商之一，其产品支持最广泛的操作系统平台。目前Oracle关系数据库产品的市场占有率数一数二 。 　　Oracle公司是目前全球最大的数据库软件公司

前言 你是否在为系统的数据库来一波大流量就几乎打满CPU，日常CPU居高不下烦恼？你是否在各种NoSql间纠结不定，到底该选用那种最好？今天的你就是昨天的我，这也是写这篇文章的初衷。 这篇文章是我好几个月来一直想写的一篇文章，也是一直想学习的一个内容，作为互联网从业人员，我们要知道关系型数据库（MySql、Oracle）无法满足我们对存储的所有要求，因此对底层存储的选型，对每种存储引擎的理解非常重要。同时也由于过去一段时间的工作经历，对这块有了一些更多的思考，想通过自己的总结把这块写出来分享给大家。 结构化数据、非结构化数据与半结构化数据 文章的开始，聊一下结构化数据、非结构化数据与半结构化数据，因为数据特点的不同，将在技术上直接影响存储引擎的选型。 首先是结构化数据，根据定义 结构化数据指的是由二维表结构来逻辑表达和实现的数据，严格遵循数据格式与长度规范，也称作为行数据 ，特点为：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。例如： 因此关系型数据库完美契合结构化数据的特点，关系型数据库也是关系型数据最主要的存储与管理引擎。 非结构化数据，指的是 数据结构不规则或不完整，没有任何预定义的数据模型，不方便用二维逻辑表来表现的数据 ，例如办公文档（Word）、文本、图片、HTML、各类报表、视频音频等。 介于结构化与非结构化数据之间的数据就是半结构化数据了

关系型数据库： 数据库架构，索引，锁模块，语法，理论范式 数据库架构 RDBMS 程序实例 存储管理 缓存机制 SQL解析 日志管理 权限划分 容灾机制 索引管理 锁模块 存储（文件系统） 来源： https://www.cnblogs.com/fanzihao/p/11342240.html

每个大型网站都是由小变大的，在变大的过程中，几乎都需要经历单机架构、集群架构到分布式架构的演变。而伴随着业务系统架构一同演变的，还有各种外围系统和存储系统，比如关系型数据库的分库分表改造、从本地缓存到分布式缓存的过渡等。 在业务架构逐渐复杂的同时，保证系统的高性能、高可用、易扩展、可伸缩，使框架能有效地满足业务需要，是一个长远而艰巨的任务。本文介绍了五种相关的技术：分布式服务化架构、大流量的限流和削峰、分布式配置管理服务、热点数据的读写优化和数据库的分库分表。 值得注意的是，技术并不是越复杂越好，技术是为了更好地服务业务，只要能达到业务的需求，就是好的技术。简单说就是，即使你有实现复杂技术的能力，没有用户量和利润为基础，也难以落地实施。所以虽然下文中提到了一些框架，但是并不是每一种框架都需要你去亲自实践。很多时候，只是给你提供一个新的思路，一种新的方法，而至于是不是值得被实践，还需要得到业务和用户的考验。 文章目录 分布式服务化架构 集群和分布式 服务化架构，微服务和RPC 服务化架构的组成 服务的横向拆分 服务治理方案 总结 大流量的限流和削峰 分布式系统为什么要进行流量管制 限流方案 削峰方案 基于时间分片的削峰方案 基于异步调用的削峰方案 分布式配置管理服务 热点数据的读写优化 缓存技术 热卖商品的高并发读 基于Redis集群的多写多读方案

关系型数据库和非关系型数据库的种类和区别 数据库 类型 特性 优点 缺点 关系型数据库 SQLite、Oracle、mysql 1、关系型数据库，是指采用了关系模型来组织 数据的数据库； 2、关系型数据库的最大特点就是事务的一致性； 3、简单来说，关系模型指的就是二维表格模型， 而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组织。 1、容易理解：二维表结构是非常贴近逻辑世界一个概念，关系模型相对网状、层次等其他模型来说更容易理解； 2、使用方便：通用的SQL语言使得操作关系型数据库非常方便； 3、易于维护：丰富的完整性(实体完整性、参照完整性和用户定义的完整性)大大减低了数据冗余和数据不一致的概率； 4、支持SQL，可用于复杂的查询。 1、为了维护一致性所付出的巨大代价就是其读写性能比较差； 2、固定的表结构； 3、高并发读写需求； 4、海量数据的高效率读写； 非关系型数据库 MongoDb、redis、HBase 1、使用键值对存储数据； 2、分布式； 3、一般不支持ACID特性； 4、非关系型数据库严格上不是一种数据库，应该是一种数据结构化存储方法的集合。 1、无需经过sql层的解析，读写性能很高； 2、基于键值对，数据没有耦合性，容易扩展； 3、存储数据的格式：nosql的存储格式是key,value形式、文档形式、图片形式等等，文档形式、图片形式等等

1、数据的定义 数据库是存放数据的仓库，数据库中的数据是按照一定的格式存放的DBS(数据库系统) 包含DB(数据库)DBMS(数据库管理系统) 数据库的定义 DB DataBase ： 存储数据的仓库。 数据库管理系统 DBMS ：科学的存储数据和管理数据 数据库管理员 DBA 数据库排名 2、关系型数据库和非关系型数据库 关系型数据库：Mysql，oracle，SQL server ,SQLite， 关系型数据库最典型的数据结构是表，由二维表及其之间的联系所组成的一个数据组织 关系型数据库 SQL：底层存放数据是二维表的方式，存在硬盘中的。 非关系型数据库 NOSQL：存放数据库 键值对 存放在内存中。 非关系型数据库：mongoDB、redis 指非关系型的，分布式的，且一般不保证遵循ACID原则的数据存储系统。 1 window +r --->运行窗口 mysql -uroot -p密码 密码输错 --- ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES) 出错---- 无法连接mysql服务 ERROR 2003 (HY000): Can't connect to MySQL server on 'localhost' (10061) 2 数据的定义 Data

数据库就是我们再日常工作时保存一些数据，我们不能用白纸，word文档来记录信息，因为有些复杂的关系，关联的结构是表示不出来的。 我们可以通过数据库把它关系和相关信息保存下来，这样就有一个数据库产生，数据库首先是有oracle的数据库，比较早的一个关系型数据库。 什么是关系型，即它会存在实体于实体间的关系，比如老师。学生、班级 ；班级可以对应多个学生，但学生只能对应一个班级，在数据库可以清楚的表示这种关系 这种就是比较早的关系型数据库 oracle 关系型数据库实体与实体间关联收费 接下来的数据库是 mysql 开源 相对比较稳定 SQL server 简单易用 相对稳定 收费 只能在windows下用 关系型数据库只有值 不是关系的数据库 nosql 会记录键 和值 非关系型数据库 School 数据库 学校 1、实体：学生、老师、课程都是一个实体。我定义一个数据库里面保存了哪些数据，每一个数据它是独立为一个整体的，那它就是一个实体。 学生：学号 名字 （可以称为属性 、字段 、列） 老师：教师号名字 课程：课号 班级： 2、关系：（关系就是说学生跟课程存在一个选课的关系） 选课：学号 课号 数据库里可以存我们的实体，也可以存关系 这个要明白，要不然哪些是关系表哪些课堂的表 配置： 1、win+r 2、我的电脑 -管理 服务 3、任务管理器 来源： https://www