数据库脚本

R语言- 实验报告 - 数据清洗

烈酒焚心 提交于 2020-01-06 12:32:01
一、 实训内容 能对基本的开发环境进行检验和错误排查,以及对新语言软件进行安装。 能使用Navicat for MySQL对MySQL数据库进行基本的连接测试,同时,在mysql中新建student数据库。能利用外部SQL脚本文件对数据库进行数据集的导入和初始化。 熟悉利用eclipse编程工具,新建项目和工具类对mysql数据库进行相应的操作,以及从该项目中导出可执行的jar文件。 利用R-3.6.1-win.exe运行,导出的可执行的jar文件。并编写一个“数据清洗.r”脚本文件,对C:\ inputdir目录下,导出的studentdata.txt数据文件进行数据清洗操作,包括过滤字段等操作。同时,在C:\outputdir目录下生成已经进行数据清洗的数据文件studentdata.txt 。 二、 实验课题目标 掌握基本的开发环境的搭建、检验和错误排查能力,熟悉新的开发语言。 熟悉使用Navicat for MySQL软件对MySQL数据库进行基本的操作。重要的是,能利用外部SQL脚本文件对特定的数据库进行数据集的导入和初始化。 掌握eclipse编程工具的使用,以及在编程过程中熟悉常用的快捷键,提高编程的效率。掌握如何编写一个常规的Java类程序,对mysql数据库进行进本的数据操作,以及能从Java项目中导出相应可执行的jar文件。 掌握R语言的基本语法,以及R-3.6

高版本SQL备份在低版本SQL还原问题

浪子不回头ぞ 提交于 2019-12-26 22:42:14
问题描述: 高版本SQL备份在低版本SQL还原问题(出现媒体簇的结构不正确) 分析原因: SQL版本兼容问题,SQL SERVER兼容级别是用作向下兼容用,高版本的SQL备份在低版本中不兼容 解决方法: 1:通过管理器的脚本生成向导,把数据库,表,存储过程等对象的脚本生成,然后在低版本的SQL Server下执行建立这些对象.。 2:通过DTS/SSIS,将表中的数据导过去。 此处我们把第1种方法做下详细介绍(以SQL2008的数据库还原到SQL2005为例)。 1.首先我们在SQL2008中生成对应数据库的脚本。 2.我们在生成脚本界面中点击“下一步”。 3.在设置脚本编写选项这一步中点击“高级”,设置“要编写的脚本的数据类型”和“为服务器编写脚本”为“SQL SERVER 2005”和“构架与数据”。 4.“下一步”,“下一步”生成我们的脚本文件。 5.在SQL2005数据库中创建同名称数据库。 6.打开脚本并选择对应的数据库。 7.分析并执行脚本查询。 8.完成。 来源: https://www.cnblogs.com/accumulater/p/6734396.html

flask-alembic数据迁移工具

本秂侑毒 提交于 2019-12-25 22:11:04
alembic是用来做ORM模型与数据库的迁移与映射。alembic使用方式跟git有点类似,表现在两个方面, 第一,alemibi的所有命令都是以alembic开头; 第二,alembic的迁移文件也是通过版本进行控制的。安装方式: pip install alembic ; 1.1.alembic的使用 (1)定义模型 models.py from sqlalchemy import Column,Integer,String,create_engine from sqlalchemy.ext.declarative import declarative_base DB_URI = "mysql+pymysql://root:123456@127.0.0.1:3306/alembic_demo?charset=utf8" engine = create_engine(DB_URI) Base = declarative_base(engine) class User(Base): __tablename__ = 'user' id = Column(Integer,primary_key=True,autoincrement=True) username = Column(String(50),nullable=False) (2)在cmd终端初始化,创建一个仓库

高版本数据库导出到低版本,sql2012到sql2005

怎甘沉沦 提交于 2019-12-25 13:03:45
SQLServer提供了多种数据导出导入的工具和方法,在此,分享我实践的经验(只涉及数据库与Excel、数据库与文本文件、数据库与数据库之间的导出导入)。 (一)数据库与Excel 方法1: 使用数据库客户端(SSMS)的界面工具。右键选择要导出数据的数据库,选择“任务”——“导出数据”,下图1,按照向导一步一步操作即可。而导入则相反,导入时,SQLServer会默认创建一张新表,字段名也默认跟导入的Excel标题一样,并且会默认字段数据类型等。当然在可以在向导进行修改。需要注意的是如果标题不是英文而是中文,默认创建字段名也是中文,这将给后面数据更新操作带来麻烦,所以最好还是以有意义的英文字段名。把数据导入后,再通过执行语句,把数据插入/更新到业务表。 figure-1:任务——导出数据 方法2: 从SQLServer2005开始,可以直接在SSMS上查询出来的结果复制,然后粘贴到Excel上,对于少量数据来说,是非常快速方便的,需要注意的是长数字可能会变成科学记数法的形式,提前在Excel上指定列的格式为文本即可。 导入的话,ctrl + c 复制Excel上的数据,然后在选择相关表,编辑数据,把数据直接粘贴上去即可。但是不建议直接粘贴到业务表(如果表是空白没有数据,并且字段顺序对应,可以这样操作),而是建议先粘贴到一个新建的中间表中,然后再通过语句,把数据插入/更新到业务表。

用shell脚本实现MongoDB数据库自动备份

試著忘記壹切 提交于 2019-12-22 03:22:26
一、创建MongoDB备份目录 用来存放数据 mkdir -p /data/mongodb_bak/mongodb_bak_now mkdir -p /data/mongodb_bak/mongodb_bak_list 二、创建MongoDB数据库备份脚本 #!/bin/bash # DUMP=/usr/local/mongodb/bin/mongodump #mongodump命令路 径 OUT_DIR=/data/mongodb_bak/mongodb_bak_now #临时备份目录 TAR_DIR=/data/mongodb_bak/mongodb_bak_list #备份存放路径 DATE=`date +%Y_%m_%d` #获取当前系统时间 DB_USER=myadmin #数据库账号 DB_PASS=****** #数据库密码 DAYS=20 #DAYS=20代表删除20天前的备份,即只保留近20天的备份 TAR_BAK="mongodb_bak_$DATE.tar.gz" #最终保存的数据库备份文件 cd $OUT_DIR rm -rf $OUT_DIR/* mkdir -p $OUT_DIR/$DATE $DUMP -h 127.0.0.1:27017 -u $DB_USER -p $DB_PASS --authenticationDatabase "admin"

keepalived+nginx+lnmp 网站架构

蓝咒 提交于 2019-12-21 13:43:05
《网站架构演变技术研究》 项目实施手册 2019年8月2日 第一章 : 实验环境确认 4 1.1-1.系统版本 4 1.1-2.内核参数 4 1.1-3.主机网络参数设置 4 1-1-4 .项目拓扑图 5 第二章 : 部署后端web服务 6 2-1 .安装Nginx服务端 6 2-1-1 .安装nginx 依赖包 6 2-1-3.修改Nginx配置文件 7 2-1-4.创建nginx启动文件软链接 8 2-1-5.启动nginx,开机自启 8 2-1-6. 查询端口80状况 8 2-1-7.安装其他web服务器 8 2-2 .部署PHP环境 9 2-2-1 .安装PHP 软件 9 2-2-3. 查询端口9000状况 9 2-2-3.安装其他web服务器 9 第三章 : 部署NFS服务 9 3-1 .安装NFS 服务器端 10 3.1-1 .nfs软件安装 10 3-1-2 .创建共享目录 10 3-1-3. 修改/etc/exports配置文件 10 3-1-4. 启动服务,开机自启 10 3-1-5. 本地挂载测试 10 3-2. 部署web客户端挂载nfs存储 11 3-2-1.配置web服务器 11 3-2-2.手动挂载-临时挂载 11 3-2-3. 配置开机自动挂载-永久挂载 11 3-2-4. 安装其他 web服务器 12 3-3. 部署rsync备份服务器 12 3-3

linux 常用Mysql脚本命令

半城伤御伤魂 提交于 2019-12-19 18:30:29
常用命令 无需系统Root权限 新数据库设置Root密码 visible > mysql -uroot -p visible > mysqladmin -uroot password "**" 创建用户和授权 visible > mysql -uroot -p MariaDB > GRANT ALL PRIVILEGES ON *.* TO {账户名}@"{ip}" IDENTIFIED BY "***" WITH GRANT OPTION; MariaDB > flush privileges; 脚本创建数据库 visible > mysql -uroot -p MariaDB > CREATE DATABASE db_name DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci; 导入sql结构文件 visible > mysql -uidcv -p mariadb > use tbs_system_db mariadb > set names utf8; mariadb > source /webapp/**.sql 对于数据库的常用操作命令 visible > mysql -uroot -p MariaDB [(none)]> show databases; //查看数据库 MariaDB [(none)]> drop

MySQL数据库定时备份Shell脚本

余生颓废 提交于 2019-12-17 22:01:14
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 这是一个简单的MySQL数据库备份 shell 脚本,适用于单台 Linux 服务器或者VPS的mysql数据库备份工作, 工作原理是使用mysql的mysqldump工具来导出数据库为.sql文件,然后将所有导出的文件打包归档。 然后我们在shell脚本中使用 scp命令把备份文件复制到另外一台备份机器,由于scp每次传送文件要密码 因此我们需要使用 expect插件 或者利用密钥。在这里介绍采用生成密钥对的方法。 1,生成密匙对,我用的是rsa的密钥。使用命令 "ssh-keygen -t rsa" 生成的过程中提示输入密钥对保存位置及密码,直接回车,接受默认值就行了。 其中公共密钥保存在 ~/.ssh/id_rsa.pub,私有密钥保存在 ~/.ssh/id_rsa 。 2,然后修改 .ssh 目录权限,chmod 755 ~/.ssh 。最后把 公共密钥复制到你要访问 的机器上去,并保存为: ~/.ssh/authorized_keys 。 scp -P 1110 ~/.ssh/id_rsa.pub daniel@*.*.*.*:/home/daniel/.ssh/authorized_keys (注意这里- P 为大写, 表示目标机器daniel 的ssh端口为1110,小写的p为源ssh端口,

Deepgreen数据库日志清理脚本

梦想的初衷 提交于 2019-12-17 20:09:45
原文链接 数据库时间久了,难免会产生很多日志,Deepgreen的日志与Greenplum一样,都存在pg_log文件夹下,我们可以使用以下脚本,配合Linux定时任务,保存固定日期的日志即可: #!/bin/bash # filename: gp_clear.sh # start time start_time=$(date) echo "-------- Start time is $start_time --------" start_seconds=$(date +%s) # delete log files #find /data/gpmaster/gpseg-1/pg_log -mtime +15 -name "*.csv" -exec rm -rf {} \; find /seg0/gpseg0/pg_log -mtime +15 -name "*.csv" -exec rm -rf {} \; #find /seg1/gpseg1/pg_log -mtime +90 -name "*.csv" -exec rm -rf {} \; #find /seg2/gpseg2/pg_log -mtime +90 -name "*.csv" -exec rm -rf {} \; #find /seg3/gpseg3/pg_log -mtime +90 -name "*.csv

MHA高可用群集

 ̄綄美尐妖づ 提交于 2019-12-17 19:18:47
MHA高可用集群 文章目录 一、MHA 简介: 二、部署 MHA: 第一步:三台主从服务器安装 mysql 第二步:修改 mysql 的主配置文件:/etc/my.cnf ,注意三台服务器的 server-id 不能一样 第三步:三台服务器启动 mysql 服务 第四步:配置 Mysql 主从同步(一主两从) 第五步:安装 MHA 第六步:启动 MHA 一、MHA 简介: MHA(Master High Availability) (1)简介 目前在MySQL高可用方面是一个相对成熟的解决方案,它由日本DeNA公司youshimaton(现就职于Facebook公司)开发,是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中,MHA能做到在0~30秒之内自动完成数据库的故障切换操作,并且在进行故障切换的过程中,MHA能在最大程度上保证数据的一致性,以达到真正意义上的高可用。 (2)该软件由两部分组成: MHA Manager(管理节点)和MHA Node(数据节点)。MHA Manager可以单独部署在一台独立的机器上管理多个master-slave集群,也可以部署在一台slave节点上。MHA Node运行在每台MySQL服务器上,MHA Manager会定时探测集群中的master节点,当master出现故障时