def

《Python Cookbook 3rd》笔记(4.13):创建数据处理管道

吃可爱长大的小学妹 提交于 2020-11-28 01:37:06
创建数据处理管道 问题 你想以数据管道 (类似 Unix 管道) 的方式迭代处理数据。比如,你有个大量的数据需要处理,但是不能将它们一次性放入内存中。 解法 生成器函数是一个实现管道机制的好办法。为了演示,假定你要处理一个非常大的日志文件目录: foo/ access-log-012007.gz access-log-022007.gz access-log-032007.gz ... access-log-012008 bar/ access-log-092007.bz2 ... access-log-022008 假设每个日志文件包含这样的数据: 124.115.6.12 - - [10/Jul/2012:00:18:50 -0500] "GET /robots.txt ..." 200 71 210.212.209.67 - - [10/Jul/2012:00:18:51 -0500] "GET /ply/ ..." 200 11875 210.212.209.67 - - [10/Jul/2012:00:18:51 -0500] "GET /favicon.ico ..." 404 369 61.135.216.105 - - [10/Jul/2012:00:20:04 -0500] "GET /blog/atom.xml ..." 304 - ... 为了处理这些文件

Python十大经典排序算法

☆樱花仙子☆ 提交于 2020-11-27 05:48:41
现在很多的事情都可以用算法来解决,在编程上,算法有着很重要的地位,将算法用函数封装起来,使程序能更好的调用,不需要反复编写。 Python十大经典算法: 一、插入排序 1.算法思想 从第二个元素开始和前面的元素进行比较,如果前面的元素比当前元素大,则将前面元素 后移,当前元素依次往前,直到找到比它小或等于它的元素插入在其后面, 然后选择第三个元素,重复上述操作,进行插入,依次选择到最后一个元素,插入后即完成所有排序。 2.代码实现 1 def insertion_sort(arr): 2 # 插入排序 3 # 第一层for表示循环插入的遍数 4 for i in range(1 , len(arr)): 5 # 设置当前需要插入的元素 6 current = arr[i] 7 # 与当前元素比较的比较元素 8 pre_index = i - 1 9 while pre_index >= 0 and arr[pre_index] > current: 10 # 当比较元素大于当前元素则把比较元素后移 11 arr[pre_index + 1] = arr[pre_index] 12 # 往前选择下一个比较元素 13 pre_index -= 1 14 # 当比较元素小于当前元素,则将当前元素插入在 其后面 15 arr[pre_index + 1] = current 16

【err】tensorflow.python.framework.errors_impl.OutOfRangeError: RandomShuffleQueue

五迷三道 提交于 2020-11-27 05:23:38
problem Traceback (most recent call last ): File " /home/xxx/anaconda3/envs/mtcnn_tfgpu/lib/python3.7/site-packages/tensorflow/python/client/session.py " , line 1356 , in _do_call return fn( * args) File " /home/xxx/anaconda3/envs/mtcnn_tfgpu/lib/python3.7/site-packages/tensorflow/python/client/session.py " , line 1341 , in _run_fn options, feed_dict, fetch_list, target_list, run_metadata) File " /home/xxx/anaconda3/envs/mtcnn_tfgpu/lib/python3.7/site-packages/tensorflow/python/client/session.py " , line 1429 , in _call_tf_sessionrun run_metadata) tensorflow.python.framework.errors_impl

计算机技术|我的第一个Flask程序

折月煮酒 提交于 2020-11-27 04:46:56
欢迎点击「算法与编程之美」↑关注我们! 本文首发于微信公众号: "算法与编程之美",欢迎关注,及时了解更多此系列文章。 提出问题 1 Flask介绍 Flask是目前十分流行的web框架,采用Python编程语言来实现相关功能。它被称为微框架(microframework),“微”并不是意味着把整个Web应用放入到一个Python文件,微框架中的“微”是指Flask旨在保持代码简洁且易于扩展,Flask框架的主要特征是核心构成比较简单,但具有很强的扩展性和兼容性,程序员可以使用Python语言快速实现一个网站或Web服务。 解决问题 2 Hello Flask 一个最小的Flask应用如下: from flask import Flask app = Flask(__name__) @app.route('/') def hello_world(): return 'Hello,Flask!' if __name__=='__main__': app.run() 首先我们导入了Flask类,接着我们创建了这个类的实例,第一个参数应该是模块或包的名称,如果使用一个单一模块,就该使用__name__,然后使用route()装饰器来告诉Flask触发函数的URL。最后保存的时候不要用Flask.py作为应用名称,因为这样会与Flask本身发生冲突。 最后运行

ResNet网络的Pytorch实现

一曲冷凌霜 提交于 2020-11-27 04:25:47
1.文章原文地址 Deep Residual Learning for Image Recognition 2.文章摘要 神经网络的层次越深越难训练。我们提出了一个残差学习框架来简化网络的训练,这些网络比之前使用的网络都要深的多。我们明确地将层变为学习关于层输入的残差函数,而不是学习未参考的函数。我们提供了综合的实验证据来表明这个残差网络更容易优化,以及通过极大提升网络深度可以获得更好的准确率。在ImageNet数据集上,我们评估了残差网络,该网络有152层,层数是VGG网络的8倍,但是有更低的复杂度。几个残差网络的集成在ImageNet数据集上取得了3.57%错误率。这个结果在ILSVRC2015分类任务上取得第一名的成绩。我们也使用了100和1000层网络用在了数据集CIFAR-10上加以分析。 在许多视觉识别任务中,表征的深度是至关重要的。仅仅通过极端深的表征,我们在COCO目标检测数据集上得到了28%的相对提高。深度残差网络是我们提交到ILSVRC & COCO2015竞赛的网络基础,在这里我们获得了ImageNet检测任务、ImageNet定位任务,COCO检测任务和COCO分割任务的第一名。 3.网络结构 4.Pytorch实现 1 import torch.nn as nn 2 from torch.utils.model_zoo import load_url as

OpenCV 学习笔记 07 目标检测与识别

有些话、适合烂在心里 提交于 2020-11-27 03:25:56
目标检测与识别是计算机视觉中最常见的挑战之一。属于高级主题。 本章节将扩展目标检测的概念,首先探讨人脸识别技术,然后将该技术应用到显示生活中的各种目标检测。 1 目标检测与识别技术 为了与 OpenCV 学习笔记 05 人脸检测和识别 进行区分;需重新说明一下什么是目标检测。 目标检测是一个程序,它用来确定图像的某个区域是否有要识别的对象,对象识别是程序识别对象的能力。识别通常只处理已检测到对象的区域。若人们总是会在有人脸图像的区域去识别人脸。 在计算机视觉中有很多目标检测和识别的技术,本章会用到: 梯度直方图(Histogram of Oriented Gradient, HOG) 图像金字塔(image pyramid) 滑动窗口(sliding window) 与特征检测算法不同,这些算法是互补的。如在梯度直方图(HOG)中会使用滑动窗口技术。 1.1 HOG 描述符 HOG 是一个特征描述符,因此 HOG 与 SIFT、SURF 和 ORB 属于同一类型的描述符。 在图像和视觉处理中常常会进行目标检测,其实目标检测的内部机制都差不多,如人脸识别的 LBPH 描述符: 第一步:将图像划分成多个部分 第二步:计算各个部分的梯度 HOG 不是基于颜色值而是基于梯度来计算直方图。 HOG 所得到的 特征描述符 能够为 特征匹配 和 目标检测 (或目标识别)提供非常重要的信息。

Flask之项目配置,目录构建,闪现

寵の児 提交于 2020-11-27 02:44:09
综合案例:学生成绩管理 新建项目目录students,并创建虚拟环境 mkvirtualenv students 安装开发中使用的依赖模块 pip install flask == 0.12.4 pip install redis pip install flask-session pip install flask-script pip install flask-mysqldb pip install flask-sqlalchemy pip install flask-migrate pip install flask_wtf 在pycharm中打开项目目录编写manage.py启动项目的文件 创建 manage.py 文件 from flask import Flask ​ app = Flask( __name__) ​ @app. route( '/index') def index(): return 'index' ​ if __name__ == '__main__': app. run() mange.py终不能存放大量的开发代码, 在开发中应该体现的是一种分工精神,所以我们可以把flask中各种功能代码进行分类分文件存储. 创建项目目录结构: 项目根目录/ ├── application/ # 项目主要逻辑代码保存目录 | ├── settings/ #

魔术方法

狂风中的少年 提交于 2020-11-27 02:29:14
1、__str__ : 将某一个类型强制转换为字符串型。   我们可以使用 __str__ 和 __repr__ 方法定义类到字符串的转化方式,而不需要手动打印某些属性或是添加额外的方法。   一般来说,__str__ 的返回结果在于强可读性,而 __repr__ 的返回结果在于准确性。   我们至少需要添加一个 __repr__ 方法来保证类到字符串的自定义转化的有效性,__str__ 是可选的。因为默认情况下,在需要却找不到 __str__ 方法的时候,会自动调用 __repr__ 方法。 # 如果要把一个类的实例变成 str,就需要实现特殊方法__str__(): # 不使用__str__()方法 class Student(object): def __init__ (self,id,name,age): self.id = id self.name = name self.age = age s =Student(111, " Bob " ,18 ) print (s) 输出结果: < __main__ .Student object at 0x0000024F21058208> # ----------------------------------------------------------------------- # 使用__str__()方法 class

08 Django组件-Forms组件

旧街凉风 提交于 2020-11-27 02:28:03
Django的Forms组件主要有以下几大功能: 页面初始化,生成HTML标签 校验用户数据(显示错误信息) HTML Form提交保留上次提交数据 一、小试牛刀   1、定义Form类 from django import forms class EmpForm(forms.Form): name = forms.CharField(min_length=5, label="姓名", error_messages={"required": "该字段不能为空!", "min_length": "用户名太短。"}) age = forms.IntegerField(label="年龄") salary = forms.DecimalField(max_digits=5, decimal_places=2, label="工资") class Emp(models.Model): name = models.CharField(max_length=32 ) age = models.IntegerField() salary = models.DecimalField(max_digits=8, decimal_places=2) Form类的字段与app01/models.py要相对应   2、设计url与视图对应关系 from django.contrib import

Jvm启动,关闭及对应钩子

荒凉一梦 提交于 2020-11-27 02:25:42
很多时候应用服务启动或关闭会做一些预加载(比如缓存,定时任务启动等)或收尾处理工作(比如程序失败记录等) 1. 首先看下Spring框架服务启动加载操作实现,直接上代码 继承实现接口ApplicationListener就可以实现: import com.today.service.financereport.action.ExportReportRecordFailureAction import com.today.service.financereport.common.ReportThreadManager import com.today.service.financereport.dto.ExportReportFailureInput import org.slf4j.LoggerFactory import org.springframework.context.ApplicationListener import org.springframework.context.event.ContextRefreshedEvent import org.springframework.stereotype.Service /** * 类功能描述:容器启动监听器 * * @author WangXueXing create at 18-11-20 上午9:35 *