merge

#coding=utf-8 import pandas as pd ws=pd.read_excel('F:\\项目\\20200129\\level_title_review都相同(1)(1).xls') wp=pd.read_excel('F:\\项目\\20200201\\tp_2020conference_rebuttal.xlsx') df=pd.merge(ws,wp,on=['title','reviewscore','reviewlevel'],how='left') df.to_excel('totalhigh9999999.xlsx',index=False) 来源： CSDN 作者： 济职小混混 链接： https://blog.csdn.net/zhuiyunzhugang/article/details/104135976

有同学反馈，我们决赛的数据比较大，由于机器资源的限制，在处理数据和构建模型的时候，会遇到一些瓶颈。以下来抛一下我们了解的一些处理思路： 1 采样 可以对数据进行下采样，然后使用不同的子集进行特征抽取和建模，最后再进行集成。 2 特征处理 在处理大规模原始数据时，需要充分借助外存（硬盘）空间，只把真正需要处理的数据放进内存。一般而言，采用流式、分块的方式处理数据可以解决大部分问题。以下是一些具体的技巧。 a） 只加载需要的数据到内存。 有些特征可以通过单条数据直接得到，如星期特征。这种情况下，可以使用 streaming 的方式进行处理，每次读入若干数据（chunk），处理，生成特征，然后再写到硬盘。使用 pandas 的 read_csv，可以设置 chunksize 参数，譬如 for chunk in read_csv ( infile, chunksize=10000 )； b） 只保留需要的数据在内存。 决赛的数据可以直接装到 16G 内存中，每次生成一条样本的特征，就把特征直接写入硬盘，不在内存保留。如果生成的特征较多，可以分多次生成，写到分散的特征文件，最后进行一个 merge 操作。在 merge 的时候，可以对多个特征文件按照统一的 key 进行排序，然后同时扫描多个特征文件，进行merge，再写到硬盘； c） 充分利用排序加速。 在上面的 streaming

MySQL存储引擎 存储引擎 MySQL存储引擎 存储引擎   MySQL数据库在实际的工作中分为了语句分析层和存储引擎层，其中语句分析层主要负责与客户端完成连接并且事先分析出SQL语句的内容和功能，存储引擎层则主要负责接收来自语句分析层的分析结果，完成相应的数据输入输出和文件操作，即如何存储数据、如何为存储的数据建立索引和如何更新、查询数据等技术的实现方法。因为在关系数据库中数据的存储是以表的形式存储的，所以存储引擎也可以称为表类型（即存储和操作此表的类型）。 MySQL存储引擎 （1）MyISAM存储引擎   不支持事务、也不支持外键，优势是访问速度快，对事务完整性没有要求或者以SELECT、INSERT为主的应用基本上可以用这个引擎来创建表。支持3种不同的存储格式，分别是：静态表、动态表、压缩表 静态表：表中的字段都是非变长字段，每个记录都是固定长度的，优点存储非常迅速，容易缓存，出现故障容易恢复；缺点是占用的空间通常比动态表多（因为存储时会按照列的宽度定义补足空格） 动态表：记录不是固定长度的，这样存储的优点是占用的空间相对较少；缺点：频繁的更新、删除数据容易产生碎片，需要定期执行OPTIMIZE TABLE或者myisamchk -r命令来改善性能 压缩表：因为每个记录是被单独压缩的，所以只有非常小的访问开支 （2）InnoDB存储引擎   该存储引擎提供了具有提交

  通过前面的实例，可以基本了解MapReduce对于少量输入数据是如何工作的，但是MapReduce主要用于面向大规模数据集的并行计算。所以，还需要重点了解MapReduce的并行编程模型和运行机制。   我们知道， MapReduce计算模型主要由三个阶段构成：Map、shuffle、Reduce 。Map和Reduce操作需要我们自己定义相应Map类和Reduce类。而 shuffle则是系统自动帮我们实现的，是MapReduce的“心脏”，是奇迹发生的地方。 是其主要流程基本如下图所示： 1、数据的输入   首先，对于MapReduce所要处理的数据，应当存储在分布式文件系统（如HDFS）中，通过使用Hadoop资源管理系统YARN，将MapReduce计算转移到存储有部分数据的机器上。   对于输入数据，首先要对其进行输入分片，Hadoop为 每个输入分片构建一个map任务 ，在该任务中调用map函数对分片中的每条数据记录进行处理。处理每个分片的时间小于处理整个数据所花的时间，因此， 只要合理分片，整个处理过程就能获得很好的负载均衡 。   而关于合理分片，我们不难想到：如果分片数据太大，那么处理所花的时间比较长，整体性能提升不多；反之，如果分片数据切分的太小，那么管理分片的时间和构建map任务的时间又会加大。因此分片要合理，一般情况下，