数据迁移

sqlalchemy + alembic数据迁移

爷,独闯天下 提交于 2020-02-12 20:30:33
需要安装的包工具 pip install pymysql pip install sqlalchemy pip install alembic 创建表 新建models.py 1 from sqlalchemy import create_engine 2 from sqlalchemy.ext.declarative import declarative_base 3 from sqlalchemy import Column, Integer, String 4 5 DATABASE = { 6 'HOST': 'localhost', 7 'USERNAME': 'root', 8 'PASSWORD': 'qwe123', 9 'PORT': '3306', 10 'DATABASE': 'test', 11 'PARAMS': 'utf8' 12 } 13 14 MYSQL_URL = 'mysql+pymysql://{USERNAME}:{PASSWORD}@{HOST}:{PORT}/{DATABASE}?{PARAMS}' 15 16 engine = create_engine(MYSQL_URL.format(**DATABASE)) 17 18 Base = declarative_base(engine) 19 20 21 class Test(Base)

redis数据迁移

痴心易碎 提交于 2020-02-11 05:27:52
一: AOF 方式 需求: 一个没有数据的 redis 。 清空 redis 数据方法 bash> echo "keys *" | redis-cli --raw -p 6378 |sed -r 's/(.*)/redis-cli --raw -p 6378 del \1 /g' |bash 1. 备份 bash> redis-cli --raw -p 6378 redis> config get dir # 查看 aof 文件保存路径 redis> config set appendonly yes # 允许调用 fsync 将 AOF 日志同步到硬盘 redis> SLAVEOF 192.168.10.52 6378 # 需要备份的服务器的 ip 端口 bash > cat $dir/appendonly.aof # 查看备份的 aof 日志 redis> SLAVEOF NO ONE # 取消主从同步 redis> config set appendonly no # 取消调用 fsync 2. 还原 bash> redis-cli --raw -p 6378 redis> config set appendonly yes # 允许调用 fsync 将 AOF 日志同步到硬盘 redis> redis-cli --raw -p 6378 --pipe <

TensorFlow keras 迁移学习

空扰寡人 提交于 2020-02-06 01:09:11
数据的读取 import tensorflow as tf from tensorflow.python import keras from tensorflow.python.keras.preprocessing.image import ImageDataGenerator class TransferModel(object): def __init__(self): #标准化和数据增强 self.train_generator = ImageDataGenerator(rescale=1.0/255.0) self.test_generator = ImageDataGenerator(rescale=1.0/255.0) #指定训练集数据和测试集数据目录 self.train_dir = "./data/train" self.test_dir = "./data/test" self.image_size = (224,224) self.batch_size = 32 def get_loacl_data(self): ''' 读取本地的图片数据以及类别 :return: ''' train_gen = self.train_generator.flow_from_directory(self.train_dir, target_size=self.image

nova虚拟机迁移一

a 夏天 提交于 2020-02-01 22:22:20
虚拟机迁移 虚拟机迁移也就是把一台虚拟机从原计算节点迁移到一个新的计算节点,并且能够保证虚拟机在新的计算节点可以正常工作, 虚拟机的迁移根据虚拟机的运行状态可以分为两种1、动态迁移;2、静态迁移 虚拟机动态迁移 虚拟机的动态迁移又被称之为热迁移,或者被称之为在线迁移。 虚拟机的动态迁移,便是在虚拟机处于运行中的状态下,在保证虚拟机业务不中断的情况下,将虚拟机从源计算节点迁移到目标计算节点,整个过程对用户来说没有较大影响,用户的业务工作正常进行。 迁移过程中,主要处理的是虚拟机的数据在线迁移,而虚拟机的数据主要包含三个方面 虚拟机内存数据 虚拟机在开机运行状态,内存会保留系统运行中的所有所需数据,所有程序的运行都是在内存中进行的,因此内存的数据对虚拟机的影响非常大。 虚拟机设备状态 及虚拟机运行过程中的所有相关设备的状态标记,例如CPU寄存器、显存等。 虚拟机磁盘文件 虚拟机的磁盘文件,便是虚拟机的系统文件,相当于PC的硬盘。是虚拟机所有数据的保存地方。 动态迁移根据虚拟机的系统盘磁盘文件是否在共享存储上分为基于共享存储的动态迁移和基于本地存储的块迁移。 基于共享存储的动态迁移 基于共享存储的动态迁移,也就是虚拟机的磁盘文件在共享存储上,并没有存放在虚拟机所在的计算节点上,而是通过一定的协议(网络协议、iscsi协议)关联到计算节点上并提供给虚拟机使用。

Mysql 数据迁移后 启动出错

偶尔善良 提交于 2020-02-01 18:02:22
今天上班后不知道为什么,mysql一直无法启动,折腾了半天于是决定重装 我本地的server用的是wamp , 重装的时候, 要进行数据备份 , 我使用的最简单粗暴的备份方式, 就是直接进入到mysql的安装文件夹下, 把data拷贝一份就能够了. 然后卸载wamp后重装, 数据迁移就是把data贴到同样位置替换下就ok了 可是今天迁移完后,mysql怎么也启动不了,查看log,显示各种错误 2014-11-13 13:40:29 5196 [Note] Plugin 'FEDERATED' is disabled. 2014-11-13 13:40:29 5196 [Note] InnoDB: The InnoDB memory heap is disabled 2014-11-13 13:40:29 5196 [Note] InnoDB: Mutexes and rw_locks use Windows interlocked functions 2014-11-13 13:40:29 5196 [Note] InnoDB: Compressed tables use zlib 1.2.3 2014-11-13 13:40:29 5196 [Note] InnoDB: Not using CPU crc32 instructions 2014-11-13 13:40:29

Django框架的初使用-1

|▌冷眼眸甩不掉的悲伤 提交于 2020-01-29 23:45:58
目录 Django框架的初使用-1 1 Django MVT回顾 2 模型M 2.1 ORM框架 2.2 模型设计 3 视图V 3.1 定义视图函数 3.2 配置URLconf 3.3 视图-匹配过程的解释 4 模版T 4.1 创建模版 4.2 定义模版 4.3 视图调用模板 5 总结 Django框架的初使用-1 笔者在上篇文章 Django框架的初使用 已对Django框架的前世今生、基本逻辑以及使用的基本框架搭建( 搭建虚拟环境/创建Django项目/创建Django项目下的应用/运行服务器 )进行了阐述,本文将从M模版、V视图、T模版依次论述,进一步梳理Django框架使用操作的逻辑流程,期望可以在加深本人理解的同时给他人带来一点帮助。 1 Django MVT回顾 (1)Django MVT框架图 (2)具体功能介绍: M全拼为Model:负责和数据库交互,进行数据处理。 V全拼为View:接收请求,进行业务处理,返回应答。 T全拼为Template:负责封装构造要返回的html。 下面依次对模型M、视图V以及模版T进行逻辑梳理: 2 模型M 问1: 我们之前操作数据库是通过写sql语句,那么在使用Django能不能不写sql语句就可以操作数据库呢? 答1: 可以,就是通过接下来要给大家讲的 ORM框架 。 2.1 ORM框架 即通过类和对象操作对应的数据表

阿里云oss数据迁移到腾讯云cos 方法二(强烈推荐)

自古美人都是妖i 提交于 2020-01-26 16:43:47
迁移工具使用方法 迁移工具支持将S3, OSS, Qiniu,文件列表等文件迁移到COS对象存储。工具只支持在 linux/macos 下运行,系统自带的Python版本在2.6以上。 系统依赖 工具运行平台为*nix,需要有Python2.7及以上环境,同时机器应该安装pip, gcc与python-dev。您可以使用系统自带的包管理器安装相关依赖。 在centos上,使用如下命令安装: 1 sudo yum install python-pip python-devel gcc gcc-c++ libxml2-devel 在ubuntu/debian上,使用如下命令安装: sudo apt-get install python-pip python-dev gcc gcc-c++ libxml2-devel 安装方法 推荐使用pip安装,安装pip的方法,可以参考 官网 或者使用apt/yum等包管理工具安装python-pip包。 pip install -U cos_migrate_tool 执行完上述命令后,可以尝试使用如下命令检测是否安装成功。 cos_migrate_tool -h 卸载方法 执行如下命令: pip uninstall cos_migrate_tool 使用方法 在安装成功后,系统会有一个可执行命令 cos_migrate_tool

从SQL Server 2000/2005到SQL Server 2008的升级测试

六眼飞鱼酱① 提交于 2020-01-26 14:52:44
本文部分内容摘 自《SQL Server 2008管理实战》,人民邮电出版社;《深入MSSQL 2008升级和应用程序的兼容性》,IT专家网;《SQL Server 2008联机丛书》 ,主要整理了如何把SQL Server 2000/2005升级到2008。 如果系统不大,数据库设计简单,只有单纯的数据表,其他数据库对象不多,且应用系统设计不复杂,你也许可以直接将数据库复制或备份,再到SQL Server 2008执行附加或还原数据库,然后更新索引统计,设置数据库兼容性。或是通过安装程序,就地将SQL Server2000/2005直接升级到SQL Server 2008即可。但如果数据库庞大,系统复杂,则最好先完成升级测试后,再按照系统需求,拟定升级计划,照计划一步步实施。 一般情况下,SQL Server 2005与SQL Server 2008的版本兼容性相当高,2005升级到2008一般没什么问题。但2000升级到2008版本,可能需要先行测试,这两者差异比较大,包括:服务器 内置的系统对象、T-SQL语法定义、新增的关键词、禁用的功能等,相距两版后较会有兼容性的问题。 在升级测试之前应先评估需求,列出有用到哪些功能,如数据库引擎、Analysis Services、Reporting Services、SSIS/DTS、丛集等大项,以及Replication、Log

MS SQL Server迁移至Azure SQL

被刻印的时光 ゝ 提交于 2020-01-25 10:30:40
SQL Server的数据目前是存在于公司服务器的,现时需要将它迁移至Azure SQL 迁移分两种 数据库结构复制 数据库结构复制与数据迁移至Azure SQL 第1种方法针对的是将现有数据库创建新库至新服务器,做法是在原服务器生成结构脚本,在新服务器执行即可 第2种方法针对的是将现有数据库完整迁移至Azure SQL,做法是使用Azure SQL迁移向导工具,将数据库结构与数据同时迁移至Azure SQL中 一:数据库结构复制 使用SSMS生成Azure SQL运行的DB脚本 第一步 :在SSMS找到原数据库,鼠标右键点击任务(Task),并选择生成脚本(Generate Scripts) 第二步 :选择要生成脚本的数据库对象,如果是生成新库的话需要全部选择 第三步 :在弹出的SQL脚本向导窗口中,出现数据库窗口,选择我们需要迁移的目标数据库,并选择一个目录保存生成的脚本文件 【表/视图选项】 编写数据压缩选项的脚本:设置为FALSE,因为我们不能将数据写入至生成的脚本中 【常规】 编写USE DATABASE脚本:设置为FALSE,Azure SQL暂时不支持该选项 编写扩展属性脚本:设置为FALSE,Azure SQL暂时不支持扩展属性 将UDDT转换为基类型:设置为TRUE,Azure SQL暂时不支持用户自宝义数据类型,能够使用的数据类型就是Azure站点里列出的类型

爱思助手 ---- 一款集“高效管理 iOS 设备数据”,“智能刷机”和“免费下载海量应用游戏、铃声壁纸”等为一体的 iOS 设备管理工具

亡梦爱人 提交于 2020-01-24 15:40:10
https://www.i4.cn/ 具有独创的云智能一键刷机和一键越狱功能 简单易用的备份恢复,数据迁移等高级工具 免帐号,免越狱高速安装海量的应用和游戏 铃声壁纸彩铃等海量个性化资源任你使用 来源: https://www.cnblogs.com/onelikeone/p/12232203.html