数据迁移

alembic是用来做ORM模型与数据库的迁移与映射。alembic使用方式跟git有点类似，表现在两个方面， 第一，alemibi的所有命令都是以alembic开头； 第二，alembic的迁移文件也是通过版本进行控制的。安装方式： pip install alembic ； 1.1.alembic的使用 （1）定义模型 models.py from sqlalchemy import Column,Integer,String,create_engine from sqlalchemy.ext.declarative import declarative_base DB_URI = "mysql+pymysql://root:123456@127.0.0.1:3306/alembic_demo?charset=utf8" engine = create_engine(DB_URI) Base = declarative_base(engine) class User(Base): __tablename__ = 'user' id = Column(Integer,primary_key=True,autoincrement=True) username = Column(String(50),nullable=False) （2）在cmd终端初始化，创建一个仓库

云计算经过10多年的发展已经从概念到务实、从落地到应用，进入了一个爆发期，全面云化的时代正在到来，云计算作为数字化转型的重要支撑技术，可降低IT复杂性、缩短交付时间，让业务更加敏捷，同时提升资源利用率，有效改善IT成本结构。在云计算的基础上，更孕育了大数据、人工智能、物联网等数字化创新应用的发展。因此，企业应用云化，采用云服务来加速数字化转型是必然的方向，且已经成为各行各业的共识。 企业IT在采用云服务的过程中需考虑多种因素，包括时间、成本、性能、高可用、性价比、合规性、安全风险、法律遵从以及关键信息资产保护等，而单一云服务商很难同时满足企业的所有需求。根据去年right scale的年度云计算报告显示，全球受调查的企业中，有81%的企业运用了多云（Multi-Cloud）架构，其中10%使用多个私有云、21%使用多个公有云，51%使用混合云。整体上来看，国外市场对多云的接受程度是非常高的。从去年信通院调研的数据对比来看，我国企业应用云计算的比例是58.6%，其中36.4%使用公有云、14.1%使用私有云、8.1%使用混合云。虽然这个并不直接说明了国内企业多云的使用情况，但是可以由此类推，国内企业使用多云的比例在8.1%到58.6%之间。 投资界有条至理名言：“不要把蛋放在同一个篮子里！”告诫人们要做多手准备，以免风险来了抵挡不住。这一思路在云计算领域也同样适用

前言： 　　由于系统升级，新开发的系统对数据验证，及数据关联做了很多优化，现需要将原历史版本的数据迁移到新系统中；原数据库大约有 1千多万数据，大约 50个表。 　　历史数据库命名为：A。 新系统库暂命名为 ：B； 　　使用 .net 4.5 控制台程序 + EF + MSSQL 数据库，由于有业务逻辑及时序处理，故只能按时序从单表一条条的写入到新库中； 化化过程： 　　1、EF 如果使用多线程会出现 Sql 连接超过，或是连接不上数据库； 　　2、EF 优化连接 自定义 SqlConnection，并传到入 多线程中，解决连接不上数据库的问题减少数据库连接数，但由于 EF 在 SaveChangesAsync的时候做了事务提交，但事务是不支持并行操作，故会出现异常； 　　3、EF 优化事务，关闭EF默认事务 DbContextConfiguration.EnsureTransactionsForFunctionsAndCommands = false; 这里有个坑 关闭事务对 SaveChangesAsync 无效，问题依然存在； 　　4、找了很多资料总算找到可以通过 ExecuteSqlCommandAsync 执行 Sql 语句，可以关闭事务； 　　5、优化成执行Sql 语句：await db.Database.ExecuteSqlCommandAsync

为什么要分库分表，分库分表的实践请看之前的文章： 微服务-分库分表思路 分库分表之前我们首先要选出分片字段、然后根据一定的分片算法将数据写入不同的库表，查询数据的时候根据分片字段+分片算法从对应的库表中拿取数据即可 因此，由单独进行横向拆分后需要将老数据按照我们定义的，分片字段和分片算法重新洗数据，那么我们本节主要讲解3中方法：停机数据迁移、新老库双写、写老库通过binlog同步新库 一、上线前停服数据迁移 实践思路： 新建线上新库（按照分片键+分片算法新建） 编写数据同步程序（查询老库，然后按照分片算法迁移到新库） 在数据访问最少的时间段（比如半夜2点）停服务、开始跑我们的同步程序 数据同步完成后（要进行数据一致性校验，比如校验总数）上新代码，连接新库 优点： 数据一致性能得到保障 简单，没什么技术含量 缺点： 需要停服务（如果不停服务可能导致已经同步的数据在同步过程中有变更，导致数据不一致） 数据同步时间较长，出错率高 熬夜 题外话：最后一步一定要做数据校验，如果停服务的话一般校验数据总条数即可，如果同步过程中出现错误，一定要记录，否则数据矫正略麻烦；如果真的出现数据不一致的情况，提供一直校验思路： 同样的查询条件分表查询新老库，分别MD5，然后做对比 二、新老库双写 上一种为什么要停服务：就是怕在迁移过程中，有数据修改出现数据不一致的情况

laravel基础课程---16、数据迁移（数据库迁移是什么） 一、总结 一句话总结： 是什么：数据库迁移就像是【数据库的版本控制】，可以让你的团队轻松修改并共享应用程序的数据库结构。 使用场景：解决让同事手动在数据库结构中添加字段的情况 数据库迁移就像是数据库的版本控制，可以让你的团队轻松修改并共享应用程序的数据库结构。迁移通常会搭配上 Laravel 的数据库结构构造器来让你方便地构建数据库结构。如果你曾经出现过让同事手动在数据库结构中添加字段的情况，数据库迁移可以解决你这个问题。 Laravel 的 Schema facade 对所有 Laravel 支持的数据库系统提供了创建和操作数据表的相应支持。 1、lavarel使用session老是报错怎么办？ 查看session是否开启：session_start() 2、lavarel中打印数据方式？ dd打印：dd($arr) 3、lavarel如何移除session中的所有数据？ flush方法：$request->session()->flush(); forget 方法可以从 session 内删除一条数据。如果你想删除 session 内所有数据，则可以使用 flush 方法： $request->session()->forget('key'); $request->session()->flush(); 4

宜信公司从2018年初开始建设容器云，至今，容器云的常用基本功能已经趋于完善，主要包括服务管理、应用商店、Nginx配置、存储管理、CI/CD、权限管理等，支持100+业务线、3500+的容器运行。伴随公司去VMware以及DevOps、微服务不断推进的背景，后续还会有更多的业务迁移到容器云上，容器云在宜信发挥着越来越重要的作用。本次分享主要介绍宜信容器云平台的背景、主要功能、落地实践及未来规划。 一、宜信容器云平台背景 宜信容器云平台的建设背景主要包括： 提高资源利用率。容器云建设之前，每台物理机上平均运行的虚拟机大概是20个，使用了容器云之后，每台物理机上平均运行的容器数达到50个；之前的CPU利用率大概在10%左右，迁移到容器云后，CPU利用率提高到20%以上，整个资源利用率得到了极大的提升。 提升服务可靠性。传统的虚拟机运维方式下，当机器宕机或系统故障时，需要运维手动重启虚拟机和服务，整个过程最快需要几十分钟到几个小时才能解决；使用容器云后，通过健康检查的方式，一旦发现有问题就自动重启恢复服务，可以达到分钟级甚至秒级的恢复。 节约成本。通过容器云提高了资源利用率，同时也节约了成本。公司每年会采购一些商业化软件，如虚拟化软件、商业存储等，费用动辄千万。我们基于开源技术自研一套容器解决方案，每年为公司节省上千万的软件采购和维保费用。 弹性伸缩。我们公司每年都会组织财富峰会

年份：2017 摘要： 由于工作负载分配不均，一些服务器变得过载，而另一些服务器仍处于欠载状态。 为了实现负载平衡，需要从过度使用的节点迁移一些虚拟机。 但是与此不同的是，本文提出了一种负载预测算法，该算法将根据系统的当前以及将来的工作量来决定是否迁移。 因此，一旦声明节点过载，我们提出的技术就不会立即启动虚拟机迁移。 我们的算法已在CloudSim中进行了仿真，并将其性能与现有的基准算法进行了比较。 结果证明，所提出的技术不仅使数据中心更节能，而且更有效地平衡了工作量。 介绍 当前的大多数研究工作[5-12]基于系统的当前利用率。 如果服务器当前过载，则VM迁移将立即启动[7]。 但是由于迁移的开销，不必要的VM迁移可能会导致违反SLA。 结果，每次VM迁移都会增加运营成本。 因此，问题在于确定何时应开始迁移，以使与SLA违规和额外能耗有关的成本降至最低。 为此，提出了一种基于时间序列的负载预测方法，该方法决定了VM迁移的决策。 当主机的利用率水平超过动态上限时，该主机将被声明为过度利用。 如果服务器现在过载，并且下一个预测的负载也大于动态上限，则将进行迁移。 负载预测模型使我们的算法能够成功减少VM迁移的数量，并通过提供绿色IT解决方案来节省能源。 相关工作 动态比较和平衡算法（DCABA）算法使用了两个云优化概念。 首先是在物理机器级别上优化云系统

云的时代： 云时代已经到来，在选择云之后，企业首要的问题是选择什么样的方式迁移上云？这会影响企业的迁移周期和迁移后的业务服务品质，所以迁移时一定要按照一定的方法论和流程，而不是盲目的迁移。最基本的也要遵守这五个过程：计划，设计，迁移，运营及优化，在这套方法论里面您可以按您们的实际业务情况进行微调。 所有云厂商里面，AWS拥有最完善的迁移方法论。例如：CAF（采用云框架），LandingZone，Well-architected（良好的架构）和三天迁移培训课程，这些能使您意识到使用云会是一种什么样的模式，解决您在使用过程中的疑问。 个人认为一个AWS初级用户学习CAF的方法论更为关键，这样可以让您对云有更深次的使用体验。 借鉴我们过往的经验， 我们建议客户在AWS上有小量的应用后，再来研读Well-architected ，Well-architected中的专业术语较多，建议可以进行初步的了解后，进行简单的应用实践，后期在实践过程中不断的巩固知识点，以掌握该部分的精髓。当然也有缩短学习时间的方法，那就是选择有经验的AWS Partner做一次详细的讲解以及陪您们一起上云实践，他们会根据您企业的业务运行状况告诉您们什么是最佳实践。 实践分享： 根据我们经历过大量迁移的实践总结，让我们一起分享在迁移过程中，最为关键的两个阶段，分别是计划和设计。它们是整个迁移中最为基础的部分

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 1. insert into values 或 insert into select批量插入时，都满足事务的原子性与一致性，但要注意insert into select的加锁问题。 2. replace into与insert into on duplicate key update都可以实现批量的插入更新，更新还是插入取决与记录中的pk或uk，前者是先delete后insert，后者是update。 3. insert ignore into会忽略很多数据上的冲突与约束，谨慎使用。 批量插入数据的效率比单数据行插入的效率高 插入无索引的数据表比插入有索引的数据表快一些 较短的SQL语句的数据插入比较长的语句快 来源： oschina 链接： https://my.oschina.net/8808/blog/3141734

一：删除子应用下migrations文件夹下的迁移文件 二：进入数据库找到django_migrations的表，删除该app名字的所有记录。 三：执行迁移命令 python manage.py makemigrations python manage.py migrate 来源： CSDN 作者： Lovehanxiaoyan 链接： https://blog.csdn.net/Lovehanxiaoyan/article/details/103486654