def

Python线程池与进程池 前言 很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如何去学习更加高深的知识。 那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！ QQ群：1097524789 前面我们已经将线程并发编程与进程并行编程全部摸了个透，其实我第一次学习他们的时候感觉非常困难甚至是吃力。因为概念实在是太多了，各种锁，数据共享同步，各种方法等等让人十分头痛。所以这边要告诉你一个好消息，前面的所有学习的知识点其实都是为本章知识点做铺垫，在学习了本章节的内容后关于如何使用多线程并发与多进程并行就采取本章节中介绍的方式即可。 这里要介绍一点与之前内容不同的地方 ，即如果使用队列进行由进程池创建的进程之间数据共享的话不管是 multiprocessing 模块下的 Queue 还是 queue 模块下的 Queue 都不能为进程池中所创建的进程进行数据共享，我们需要用到另一个队列即 中的 。 当然这个我也会在下面介绍到。那么开始学习吧！ 官方文档 执行器 最早期的Python2中是没有线程池这一概念的，只有进程池。直到Python3的出现才引入了线程池，其实关于他们的使用都是非常简单，而且接口也是高度统一甚至说一模一样的。

　　选自towardsdatascience 　　 作者：Eugene Khvedchenya 　　 机器之心编译 　　 参与：小舟、蛋酱、魔王 　　 高性能 PyTorch 的训练管道是什么样的？是产生最高准确率的模型？是最快的运行速度？是易于理解和扩展？还是容易并行化？答案是，包括以上提到的所有。 　　 　　如何用最少的精力，完成最高效的 PyTorch 训练？ 一位有着 PyTorch 两年使用经历的 Medium 博主最近分享了他在这方面的 10 个真诚建议 。 　　在 Efficient PyTorch 这一部分中，作者提供了一些识别和消除 I/O 和 CPU 瓶颈的技巧。第二部分阐述了一些高效张量运算的技巧，第三部分是在高效模型上的 debug 技巧。 　　在阅读这篇文章之前，你需要对 PyTorch 有一定程度的了解。 　　好吧，从最明显的一个开始： 　　建议 0：了解你代码中的瓶颈在哪里 　　命令行工具比如 nvidia-smi、htop、iotop、nvtop、py-spy、strace 等，应该成为你最好的伙伴。你的训练管道是否受 CPU 约束？IO 约束？GPU 约束？这些工具将帮你找到答案。 　　这些工具你可能从未听过，即使听过也可能没用过。没关系。如果你不立即使用它们也可以。只需记住，其他人可能正在用它们来训练模型，速度可能会比你快 5%、10%、15%-

决策树思维导图 特征选择 特征选择是为了选取具有分类能力的特征，选取准则为信息增益或信息增益比 信息增益 def:特征A对训练数据D的信息增益为g(D,A),定义为集合D的经验熵H(D)和特征A给定条件下D的经验条件熵H(D|A)之差，即 g ( D , A ) = H ( D ) − H ( D ∣ A ) g(D,A)=H(D)-H(D|A) g ( D , A ) = H ( D ) − H ( D ∣ A ) 其中熵的定义为： H ( P ) = − ∑ i = 1 n p i l o g 2 p i （ p i = p ( X = x i ) , i = 1 , 2 , 3... ) H(P)=-\sum_{i=1}^{n}p_ilog_2p_i （pi=p(X=x_i),i=1,2,3...) H ( P ) = − i = 1 ∑ n ​ p i ​ l o g 2 ​ p i ​ （ p i = p ( X = x i ​ ) , i = 1 , 2 , 3 . . . ) 熵越大随机变量的不确定性就越大 条件熵的定义为： H ( Y ∣ X ) = ∑ i = 1 n p i H ( Y ∣ X = x i ) （ p i = p ( X = x i ) , i = 1 , 2 , 3... ) H(Y|X)=\sum_{i=1}^{n}p_iH(Y|X=x_i)

一、面向对象简介 考虑现实生活中，我们的思维方式是放在学生这个个人上，是学生做了自我介绍。而不是像我们刚刚写出的代码，先有了介绍的行为，再去看介绍了谁。 用我们的现实思维方式该怎么用程序表达呢？ 面向过程：根据业务逻辑从上到下写代码。 面向对象：将数据与函数绑定到一起，进行封装，这样能够更快速的开发程序，减少了重复代码的重写过程。 面向过程编程最易被初学者接受，其往往用一长段代码来实现指定功能，开发过程的思路是将数据与函数按照执行的逻辑顺序组织在一起，数据与函数分开考虑。 今天来学习一种新的编程方式：面向对象编程（Object Oriented Programming，OOP，面向对象程序设计）。 面向对象编程的2个非常重要的概念：类和对象。 对象是面向对象编程的核心，在使用对象的过程中，为了将具有共同特征和行为的一组对象抽象定义，提出了另外一个新的概念——类。 类就相当于制造飞机时的图纸，用它来进行创建的飞机就相当于对象。 二、分析类与对象 1. 类 物以类聚，人以群分。 具有相似内部状态和运动规律的实体的集合(或统称为抽象)。 具有相同属性和行为事物的统称。 类是抽象的，在使用的时候通常会找到这个类的一个具体的存在，使用这个具体的存在，一个类可以找到多个对象。 2. 对象 某一个具体事物的存在 ,在现实世界中可以是看得见摸得着的。可以是直接使用的。 3. 类和对象之间的关系

jenkins 是一款很好的CI（持续集成）工具，但是在常规化部署时如果碰到很多job需要构建和改变代码分支进行部署时还是挺麻烦的，所以考虑实现自动化。 * # - - coding: utf-8 -*- import jenkins import re def GetYaml(): yamlPath = os.path.join(os.getcwd(),"JenkinsBranch.yaml") f = open(yamlPath,'r',encoding='utf-8') yamldata = yaml.load(f.read()) return yamldata def linkJenkins(): jenkins_server_url = ' http://jenkins.test***.cn/jenkins/ ' server = jenkins.Jenkins(jenkins_server_url,username=userName,password=password) return server def CheckBranch(server): jobsLen = len(server.get_jobs()) list1 = [] list2 = [] for i in range(jobsLen): # print(server.get_jobs()[i][

Scala 有方法与函数，二者在语义上的区别很小。Scala 方法是类的一部分，而函数是一个对象可以赋值给一个变量。换句话来说在类中定义的函数即是方法。 有些翻译上函数(function)与方法(method)是没有区别的,比如都叫函数。 Scala 中的方法跟 Java 的类似，方法是组成类的一部分。 Scala 中的函数则是一个完整的对象，Scala 中的函数其实就是继承了 Trait 的类的对象。 Scala 中使用 val 语句可以定义函数，def 语句定义方法。 0.方法介绍 一个类可以有自己的方法， scala中的方法和Java方法类似。 但scala与Java定义方法的语法是不一样的， 而且scala支持多种调用方式。 1.定义方法 2.方法参数 *默认参数 *带名参数 *变长参数 3.方法返回值类型推断 4.方法调用方式 *后缀调用法 *中缀调用法 *花括号调用法 *无括号调用法 0.1.定义方法 定义方法的语法格式： def methodName (参数名:参数类型, 参数名:参数类型) : [return type] = { // 方法体： 一系列的代码 } 特别注意：Scala的语言是极度灵活的 如果方法体函数在{}中，但是没有=，那么它的返回值类型就是Unit，这样的方法被称为过程。比如： def p1(s:String){ var b = "-"*s

##【一、项目背景】 你是否在寻找可以与高手斗图的应用？ 你是否在寻找可以自制表情的应用？你是否在寻找最全、最爆笑的表情库？ 斗图网是一个收集了成千上万的撕逼斗图表情包,在这里你可以快速找到想要的表情, 更好的“斗图”，助您成为真正的斗图终结者! ##【二、项目目标】 下载表情包，保存文档。 ##【三、涉及的库和网站】 1、网址如下： https://www.doutula.com/photo/list/?page={} 2、涉及的库： requests **、lxml、ssl****、time** 3、软件： PyCharm ##【四、项目分析】 1、如何找到表情包图片地址？ F12右键检查，找到对应的图片的地址。 观察网址的变化（一般取前三页）： https://www.doutula.com/photo/list/?page=1 https://www.doutula.com/photo/list/?page=2 https://www.doutula.com/photo/list/?page=3 发现点击下一页时，page{}每增加一页自增加1，用{}代替变换的变量，再用for循环遍历这网址，实现多个网址请求。 2. 如何解除ssl验证？ 因为这个网址是https，需要导入一个ssl模块，忽略ssl验证。 **3. ** 如何获取Cookie？ 右键检查，找到NetWork

对于Python中的参数，可以有如下三种：位置和关键字参数、任意数量的位置参数、任意数量的关键字参数。 我们知道对于Python中的名字的解析被称为LGB规则，有以下三点 1.当在函数中使用一个无限制的名字时，Python依次查找三个作用域：局部(Local)、全局(Global)、内置(Built-in)，在第一个发现名字的位置停止。 2.在函数中赋值一个名字时，Python总在局部作用域中生成或者改变它，除非在函数中对它进行了global的声明。 3.在函数外部时，局部作用域与全局作用域等效，都是同一个模块的名字空间。 这里主要讨论一下 在自定义函数中应用参数传递 的实现，代码如下： x = 1 list = [ 1 , 2 ] def func ( x , y ) : x = 2 y [ 0 ] = 'A' func ( x , list ) print ( '调用函数后传入的参数变化为：' , x , list ) ) 调用函数后传入的参数变化为： 1 [ 'A' , 2 ] Process finished with exit code 0 func()对x和被y引用的对象中的组件赋值，x是函数作用域中的局部名字，第1个赋值对调用者没有影响，参数y也是个局部的名字。但传递了y[0]，这是一个可变的对象，最后就把list中的第一个位置换掉了！ 那我们思考一下，我还想换掉x

【一、项目背景】 博海拾贝是一支互联网从业者在线教育的团队，扎根于中国教育行业以及互联网行业的创新和眼球中，打造专业体系化的互联网人在线教育平台。精心创作许多精彩的文章，提供了很多有趣的图片。 今天来教大家如何使用Python来爬取博海拾贝的图片，分类保存，写入文档。 【二、项目目标】 创建一个文件夹， 分类保存所有文章图片。下载成功，结果显示控制台。 【三、项目分析】 1、如何找到真正访问的地址，多网页请求? 滑动鼠标，观察网站，右键F12 。鼠标滚轮滑动加载新内容。如图： 点开随机网页 , 点开Request URL ，观察网址的规律。 https://bh.sb/page/1/ https://bh.sb/page/2/ https://bh.sb/page/3/ https://bh.sb/page/4/ 观察到，每增加一页page/{}/自增加1，用{}代替变换的变量，再用for循环遍历这网址，实现多个网址请求。 2. 反爬处理 1）获取正常的 http请求头，并在requests请求时，设置这些常规的http请求头。 2）使用 fake_useragent ，产生随机的UserAgent进行访问。 【四、涉及的库和网站】 1、网址如下： https://www.doutula.com/photo/list/?page={} 2、涉及的库： requests 、 lxml

腾讯云 CKafka 作为大数据架构中的关键组件，起到了数据聚合，流量削峰，消息管道的作用。在 CKafka 上下游中的数据流转中有各种优秀的开源解决方案。如 Logstash，File Beats，Spark，Flink 等等。本文将带来一种新的解决方案：Serverless Function。其在学习成本，维护成本，扩缩容能力等方面相对已有开源方案将有优异的表现。 作者简介：许文强，腾讯云 Ckafka 核心研发，精通 Kafka 及其周边生态。对 Serverless，消息队列等领域有较深的理解。专注于 Kafka 在公有云多租户和大规模集群场景下的性能分析和优化、及云上消息队列 serverless 化的相关探索。 Tencent Cloud Kafka 介绍 Tencent Cloud Kafka 是基于开源 Kafka 引擎研发的适合大规模公有云部署的 Cloud Kafka。是一款适合公有云部署、运行、运维的分布式的、高可靠、高吞吐和高可扩展的消息队列系统。它 100% 兼容开源的 Kafka API，目前主要支持开源的 0.9, 0.10, 1.1.1, 2.4.2 四个大版本 ，并提供向下兼容的能力。 目前 Tencent Cloud Kafka 维护了超过 4000+ 节点的集群，每日吞吐的消息量超过 9 万亿+条，峰值带宽达到了 800GB+/s,