bindata

python机器学习-乳腺癌细胞挖掘（博主亲自录制视频,包含数据预处理scale） https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share 数据预处理方法包括scale,normalization,Binarizer # -*- coding: utf-8 -*- """ Created on Sat Apr 14 09:09:41 2018 @author:Toby standardScaler==features with a mean=0 and variance=1 minMaxScaler==features in a 0 to 1 range normalizer==feature vector to a euclidean length=1 normalization bring the values of each feature vector on a common scale L1-least absolute deviations-sum of absolute values(on each row)=1;it is insensitive to

DataX是阿里巴巴团队开发的一个很好开源项目，但是他们对如何使用只提供了python命令启动方式，这种方式对于只是想简单的用下DataX的人来说很是友好，仅仅需要几行代码就可以运行，但是如果你需要在DataX上进行二次开发，那么用python来控制程序加显得很没有掌控力度，也不容易和别的模块进行融合，今天来说下DataX纯Java代码的启动方式，也顺便来记录一下以后想用的时候加能直接用了 先把测绘的代码写上 就一行。 突然想起来还有好多代码没敲完！！！！先写到这，后面的下午6点前更新。 --------------------------------------------------- 机器太差了，给mysql创建1000万条数据一直创建不好，正好趁这个时间来继续更新 这里面启动的时候会加载两个配置文件 一个是datax.py 另一个是 xxx.json 先说第一个 这是一个python格式的配置文件，如果我们用纯java来启动的话需要把这个配置转换一下 转换成Java格式大致就是下面这些 java //JVM启动参数 -server -Xms1g -Xmx1g -Xms1g -Xmx1g -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/Users/xx/JavaProjects/DataX-master/core/src

话不多说，直接干货走起： 看到了吗？字体加密了。那就找。。定位到加密字体的地方，然后看右边的styles,你是不是看到了与字体相关的名字—font-family，就是他，复制他然后源码里面全局搜索，你会看到如下东西： woff？就是这个字体文件。正则拿下来，接下来是正题 # 获取源码里面的字体加密源码 base_str = re.findall(r " base64,(.*?)\) " ,response.text)[0] 将base64编码的字体字符串解码成为二进制格式，写成.woff文件，再通过BytesIO 把一个二进制内存块当成一个文件来操作 def make_font_file(base64_string: str): # 将base64编码的字体字符串解码成为二进制格式 bin_data = base64.decodebytes(base64_string.encode()) with open( ' testotf.woff ' , ' wb ' ) as f: f.write(bin_data) return bin_data def convert_font_to_xml(bin_data): # BytesIO把一个二进制内存块当成一个文件来操作 font = TTFont(BytesIO(bin_data)) # 将解码字体保存为xml font

分片是数据跨多台机器存储，MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。 具有大型数据集或高吞吐量应用程序的数据库系统可能会挑战单个服务器的容量。 例如，高查询率会耗尽服务器的CPU容量。 工作集大小大于系统的RAM会强调磁盘驱动器的I / O容量。 有两种解决系统增长的方法：垂直和水平缩放。 垂直扩展 涉及增加单个服务器的容量，例如使用更强大的CPU，添加更多RAM或增加存储空间量。 可用技术的局限性可能会限制单个机器对于给定工作负载而言足够强大。 此外，基于云的提供商基于可用的硬件配置具有硬性上限。 结果，垂直缩放有实际的最大值。 水平扩展 涉及划分系统数据集并加载多个服务器，添加其他服务器以根据需要增加容量。 虽然单个机器的总体速度或容量可能不高，但每台机器处理整个工作负载的子集，可能提供比单个高速大容量服务器更高的效率。 扩展部署容量只需要根据需要添加额外的服务器，这可能比单个机器的高端硬件的总体成本更低。 权衡是基础架构和部署维护的复杂性增加。 MongoDB支持 通过 分片进行 水平扩展 。 一、组件 shard ：每个分片包含分片数据的子集。每个分片都可以部署为 副本集（replica set ）。可以分片，不分片的数据存于主分片服务器上。 部署为3成员副本集 mongos ：mongos充当查询路由器，提供客户端应用程序和分片集群之间的接口

如图应DEV同事要求，部署一套mongoDB DEV 环境，安装环境OS是 CentOS 7.4； 遂在网上查找些文档，因为使用的是4.0.2版本，有些步骤与网络文章稍有不同，自行尝试后均已解决。 本文只是一个安装演示，所以诸多命名和配置方法并不严谨，若是生产环境，请根据实际需求加入认证和连接参数，并建议将进程启动选项写入到配置文件持久化保存。 准备工作： 1.集群内设置时间同步 2.关闭防火墙，禁用SElinux 3.关闭 THP 特性 集群规划： 1.计划部署3个节点的分片集群，配置hosts如下： 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.197.131 svr131 192.168.197.130 svr130 192.168.197.129 svr129 2.设置3个分片，每个分片为2个实例的副本集 分片 shardaaa 位于 node-1,node-2 分片 shardbbb 位于 node-2,node-3 分片 shardccc 位于 node-1,node-3 MongoDB 服务器角色描述：

1.安装副本集介绍 副本集（Replica Set）是一组MongoDB实例组成的集群，由一个主（Primary）服务器和多个备份（Secondary）服务器构成。通过Replication，将数据的更新由Primary推送到其他实例上，在一定的延迟之后，每个MongoDB实例维护相同的数据集副本。通过维护冗余的数据库副本，能够实现数据的异地备份，读写分离和自动故障转移。 也就是说如果主服务器崩溃了，备份服务器会自动将其中一个成员升级为新的主服务器。使用复制功能时，如果有一台服务器宕机了，仍然可以从副本集的其他服务器上访问数据。如果服务器上的数据损坏或者不可访问，可以从副本集的某个成员中创建一份新的数据副本。 早期的MongoDB版本使用master-slave，一主一从和MySQL类似，但slave在此架构中为只读，当主库宕机后，从库不能自动切换为主。目前已经淘汰master-slave模式，改为副本集，这种模式下有一个主(primary)，和多个从(secondary)，只读。支持给它们设置权重，当主宕掉后，权重最高的从切换为主。在此架构中还可以建立一个仲裁(arbiter)的角色，它只负责裁决，而不存储数据。此架构中读写数据都是在主上，要想实现负载均衡的目的需要手动指定读库的目标server。 官方文档地址： https://docs.mongodb.com/manual

一、复制 复制允许多个数据库服务器共享相同数据的功能，从而确保冗余并促进负载平衡 1、数据冗余及可用性 复制技术提供数据冗余及可用性，在不同的数据库服务器上使用多个数据副本，复制技术防止单个数据库服务器出现数据故障而出现数据丢失。通过设置从库，你能在上面进行灾难切换、数据备份、报表服务等。在某些应用场景下，你还能提高读的能力，客户端通过将读和写请求分发到不同的服务器上面。 2、MongoDB复制技术 副本集： 一组MongoDB服务器，用于实现复制和自动故障转移。 MongoDB推荐的复制策略。 复制集(replica Set) 或者 副本集 ，由一组Mongod实例（进程）组成，包含 一个Primary节点 和 多个Secondary节点 ，Mongodb Driver（客户端）的所有数据都写入Primary，Secondary从Primary同步写入的数据通过上述方式来保持复制集内所有成员存储相同的数据集，提供数据的高可用性。 3、 复制集(replica Set)主要作用： Failover （故障转移，故障切换，故障恢复） Redundancy（数据冗余） 避免单点，用于灾难时恢复，报表处理，提升数据可用性 读写分离，分担读压力 对用户透明的系统维护升级 二、复制集 1、副本集中成员 主要包括三个：主节点、副节点、仲裁节点。 在一个副本集群中，对成员个数的最低要求是

Mongodb是一种非关系数据库(NoSQL)，非关系型数据库的产生就是为了解决大数据量、高扩展性、高性能、灵活数据模型、高可用性。MongoDB官方已经不建议使用主从模式了，替代方案是采用副本集的模式。主从模式其实就是一个单副本的应用，没有很好的扩展性和容错性，而 Mongodb副本集具有多个副本保证了容错性，就算一个副本挂掉了还有很多副本存在，主节点挂掉后，整个集群内会实现自动切换。 Mongodb副本集的工作原理 客户端连接到整个Mongodb副本集，不关心具体哪一台节点机是否挂掉。主节点机负责整个副本集的读写，副本集定期同步数据备份，一但主节点挂掉，副本节点就会选举一个新的主服务器，这一切对于应用服务器不需要关心。副本集中的副本节点在主节点挂掉后通过心跳机制检测到后，就会在集群内发起主节点的选举机制，自动选举一位新的主服务器。 看起来Mongodb副本集很牛X的样子，下面就演示下副本集环境部署过程， 官方推荐的Mongodb副本集机器数量为至少3个节点 ，这里我就选择三个节点，一个主节点，两个从节点，暂不使用仲裁节点。 一、环境准备 ip地址 主机名 角色 172.16.60.205 mongodb-master01 副本集主节点 172.16.60.206 mongodb-slave01 副本集副本节点 172.16.60.207 mongodb-slave02

[root @server /]# fdisk /dev/sdb WARNING: DOS-compatible mode is deprecated. It's strongly recommended to switch off the mode (command 'c') and change display units to sectors (command 'u'). Command (m for help): h h: unknown command Command action a toggle a bootable flag b edit bsd disklabel c toggle the dos compatibility flag d delete a partition l list known partition types m print this menu n add a new partition o create a new empty DOS partition table p print the partition table q quit without saving changes s create a new empty Sun disklabel t change a partition's system id u change