jobs

一、集成学习 集成学习就是合并多个分类器的预测。一般会在一个项目快结束的时候使用集成算法，一旦建立了一些好的分类器，就可以使用集成把它们合并成一个更好的分类器。 著名的集成方法：投票分类、bogging、pasting、boosting、stacking、和一些其它算法。 1.1 投票分类（少数服从多数） 令人惊奇的是这种投票分类器得出的结果经常会比集成中最好的一个分类器结果更好。 事实上，即使每一个分类器都是一个弱学习器（意味着它们也就比瞎猜好点），集成后仍然是一个强学习器（高准确率），只要有足够数量的弱学习者，他们就足够多样化。 如果每一个分类器都在同一个数据集上训练，会导致犯同一种类型的错误。相比较而言，每个分类器在不同的数据集上训练，集成后的结果会更好。 下面使用moons数据集，训练三个分类器，使用集成算法。 from sklearn.datasets import make_moons from sklearn.model_selection import train_test_split moons = make_moons(noise=0.3, random_state= 0) X, y = moons X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.4, random

APS 已成为实现从长期的供应链设计和优化到生产调度在内的整个生产过程的精确计算和全权掌控的核心，从而被誉为ERP精益化的核心、供应链优化的引擎、 MES系统 的指挥棒，成为制造业实现精益化、柔性化和智能化生产的重要组成部分，得到越来越多的企业关注和认可。 1、ERP改变中国 几年前，金蝶董事局主席徐少春撰写了《ERP改变中国》。的确，这本书出版之前的几年中，中国企业界开始认识并运用ERP（企业资源计划）提高企业的管理水平。一时间，ERP似乎成了企业管理的代名词。ORACLE、SAP等一批外国品牌的ERP大举进攻占领了中国的主要市场。 同时，ERP在企业的实际运作中开始出现了种种问题。“上ERP是找死，不上ERP是等死”，洋产品开始水土不服。 本来，这个现象并不是ERP本身的问题。任何企业信息化都要依照自身的基础条件来实施。 不能想象，当一个企业连物料都乱摆放，各种数据都不准确的情况下，ERP能够发挥作用改变企业的管理水平。于是，ERP在企业实施中的切换和磨合期非常漫长，等全部就绪了，才发现，与企业实际管理的预期目标相差甚远。ERP对于财务、进销存、人事薪金管理功能非常好，但对于生产管理的功能几乎为零。 其实，这完全错怪了ERP。 ERP从最初的出现就不是针对生产管理的。它依据的管理原则是：清晰的现状，未来可能的趋势。 它最大的贡献在于企业现状管理的信息透明、准确。因此

　　之前做数据同步时，用过timer、window服务，现在不用那么费事了，可以使用Quartz,并且配置灵活，使用cron表达式配置XML就可以。我用的是3.0.7版本支持.netcore。 首先创建一个.netcore控制台应用程序，添加Quartz、Quartz.Jobs、Quartz.Plugins引用，这里面添加了PostgreSql数据库的连接方法，其它数据库可以做为参考，添加Npgsql、Npgsql.EntityFrameworkCore.PostgreSQL引用，目录结构如下 创建数据库DBContext类 using System; using System.Collections.Generic; using System.Text; using Microsoft.EntityFrameworkCore; namespace QuartzPro.DbContext { public class PostgreDbContext : Microsoft.EntityFrameworkCore.DbContext { private string _conn; public PostgreDbContext(DbContextOptions<PostgreDbContext> options) : base (options) { } public

一、全表查询和特定列查询 1、全表查询： ------------------------------------------------------------------- hive (db_test)> select * from dept; OK dept.deptno dept.dname dept.loc 10 ACCOUNTING 1700 20 RESEARCH 1800 30 SALES 1900 40 OPERATIONS 1700 Time taken: 0.306 seconds, Fetched: 4 row(s) --------------------------------------------------------------- hive (db_test)> select * from emp; OK emp.empno emp.ename emp.job emp.mrg emp.hiredate emp.sal emp.comm emp.deptno 7369 SMITH CLERK 7902 1980-12-17 800.0 NULL 20 7499 ALLEN SALESMAN 7698 1981-2-20 1600.0 300.0 30 7521 WARD SALESMAN 7698 1981-2-22 1250.0 500.0 30

犹记得很早以前自己搭建个人博客（现在的博客是 python-online.cn ）的时候，那时候开始学习编程，什么东西都很陌生。建站成功后，我激动不已，还特地发了一个朋友圈得瑟。那是我的第一个 web 项目。 回顾一下，流程差不多是这样的。 1、 到云厂商那里购买一个服务器； 2、 将自己的网站服务部署到服务器； 3、 购买一个自己喜欢的域名； 4、 云解析这个域名指向你的服务器ip； 5、 最后就可以通过域名访问个人网站了。 如果你不想花钱购买域名，当然也可以直接使用 服务器ip 进行访问，和使用域名访问并不会有任何区别。 这次建站成功，也让我产生一种错觉（当时真的菜，毕竟还没工作），一个服务器对应一个网站，我们只要可以通过域名访问，也就可以通过ip访问。 可事实有可能并不是这样的。 这里用博客园为例，分析一下。 我用 nslookup 工具 对 ho me.cnblogs.com 做一个解析 $ nslookup home.cnblogs.com Server: 172.20.10.1 Address: 172.20.10.1#53 Non-authoritative answer: Name: home.cnblogs.com Address: 116.62.82.159 得到服务器ip地址：116.62.82.159，将这个 ip 敲入 chrome 地址栏，回车。

[TOC] 更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：<a target="_blank" href="https://www.cnblogs.com/nickchen121/p/11686958.html"> https://www.cnblogs.com/nickchen121/p/11686958.html </a> scikit-learn库之逻辑回归 相比较线性回归，由于逻辑回归的变种较少，因此scikit-learn库中的逻辑回归类就比较少，只有 LogisticRegression 、 LogisticRegressionCV 和 logistic_regression_path 。 接下来将会讨论这三者的区别，由于是从官方文档翻译而来，翻译会略有偏颇，有兴趣的也可以去scikit-learn官方文档查看 https://scikit-learn.org/stable/modules/classes.html#module-sklearn.linear_model ，需要注意逻辑回归和线性回归都在 sklearn.linear_model 包中。 一、LogisticRegression 1.1 使用场景 逻辑回归一般使用于分类场景，可以使用参数让普通的二元分类问题变成多分类问题。 1.2 代码 from

一个 Streaming Application 往往需要7*24不间断的跑，所以需要有抵御意外的能力（比如机器或者系统挂掉，JVM crash等）。为了让这成为可能，Spark Streaming需要 checkpoint 足够多信息至一个具有容错设计的存储系统才能让 Application 从失败中恢复。Spark Streaming 会 checkpoint 两种类型的数据。 Metadata（元数据） checkpointing - 保存定义了 Streaming 计算逻辑至类似 HDFS 的支持容错的存储系统。用来恢复 driver，元数据包括： 配置 - 用于创建该 streaming application 的所有配置 DStream 操作 - DStream 一些列的操作 未完成的 batches - 那些提交了 job 但尚未执行或未完成的 batches Data checkpointing - 保存已生成的RDDs至可靠的存储。这在某些 stateful 转换中是需要的，在这种转换中，生成 RDD 需要依赖前面的 batches，会导致依赖链随着时间而变长。为了避免这种没有尽头的变长，要定期将中间生成的 RDDs 保存到可靠存储来切断依赖链 总之，metadata checkpointing 主要用来恢复 driver；而 RDD数据的

首先前往 拉勾网“爬虫”职位相关页面 确定网页的加载方式是JavaScript加载 通过谷歌浏览器开发者工具分析和寻找网页的真实请求，确定真实数据在position.Ajax开头的链接里，请求方式是POST 使用requests的post方法获取数据，发现并没有返回想要的数据，说明需要加上headers和每隔多长时间爬取 我们可以看到拉勾网列表页的信息一般js加载的都在xhr和js中，通过发送ajax加载POST请求，获取页面信息。 这个是ajax的头信息，通过Form Data中的的信息获取页面 下面是scrapy爬虫的 代码部分 1 import scrapy 2 import json 3 from lagou.items import LagouItem 4 class LagoupositionSpider(scrapy.Spider): 5 name = ' lagouposition ' 6 allowed_domains = [ ' lagou.com ' ] 7 kd = input( ' 请输入你要搜索的职位信息: ' ) 8 ct =input( ' 请输入要搜索的城市信息 ' ) 9 page=1 10 start_urls = [ " https://www.lagou.com/jobs/list_ " +str(kd)+ " &city= " + str