人工智能

「Python爬虫系列讲解」2. Python基础知识大全初学

半世苍凉 提交于 2020-12-29 07:02:05
作者 :荣仔!最靓的仔! 专栏地址 : http://suo.im/5Rh1z1 注意:本文涉及到的知识点太多,建议初学者耐心看完! 本文目录 1 Python简介 1.1 Python的特点 Python是Guido Van Rossum在1989年开发的一种脚本解释语言,是ABC语言的一种继承。由于作者是Monty Python喜剧团的一名爱好者,故将其命名为Python(蟒蛇) Python 作为当下一种热门语言,具有以下 特点 : 语法清晰,代码友好,易读。 应用广泛,具有大量的第三方库(尤其是机器学习、人工智能相关库)支持。 Python可移植性强,易于操作各种存储数据的文本文件和数据库。 Python是一种面向对象语言,支持开源思想。 根据Tiobe编程语言最新排行榜(部分),其中Python排名第三,并且随着大数据、数据分析、深度学习、人工智能的迅速发展,Python收到的关注程度越来越高。 1.2 安装及第三方库导入过程 利用Python编程之前,首先需要安装Python软件:包括搭建Python环境、学会安装Python第三方库等。 搭建好Python环境之后是这个样子的(同时可以打印输出进行进一步的测试)。 当编写大段代码或自定义函数时,在command命令行中编写是不太现实的,因此可以进一步选择合适的编译器进行编译,我在这里用的是JetBrains

面试了一个 46 岁程序员,思绪万千

跟風遠走 提交于 2020-12-29 03:16:17
作者:frank909 https://blog.csdn.net/briblue/article/details/103609814 最近一直忙于面试,人事推给了我一份简历,职位是算法工程师,年龄是 46 岁,我揉了揉眼睛后再看看,确实是 46 岁。抱着忐忑的心,我电话面试一番后,还是不觉得他和我们的团队很适合。 人都会有同理心,尤其是这么大岁数的程序员还是为了生计来找工作,心还是会隐隐触痛。 年龄是多数程序员的天敌,之前没有概念因为生活中样本较少,现在来了一个鲜明的例子,并且还需要自己亲手关闭一扇门,总会有一个世道轮回的后怕。 写这篇文章的目的,是以这件事作为一面镜子,让我自己好好思考一下,我自己的前途和出路。 面试细节 学历亮眼 那位先生的学历其实挺好的,很早就研究生毕业,处于隐私保护我就不透漏详细了。 并且毕业后就一直从事视觉方面的工作,每一份工作都呆了 5 年以上,算是很稳定的那类人。 我能想象他年少轻狂,意气风发的状态,只是现在有些境遇大有不同,这是一个变化的世界。 表达能力的缺陷 看简历的时候,我有仔细看过他的简历。 简历的项目经历都没有什么问题。 但是有个细节让我很意外。 错别字。 简历上有很多的错别字,按照道理讲,在职场上打拼这么多年这是不应该的,况且电话面试的时候他说有担任过项目经理的经历。 除了错别字以外,简历上的描述没有重心。 也许是做了太多的项目

“互联网造车”的误会

情到浓时终转凉″ 提交于 2020-12-29 00:41:31
前些天有个朋友问我,为什么你们搞互联网的工程师,最近几年,都开始往汽车行业里挤了呢? 虽说之前网上也有过各种说互联网造车不靠谱的文章了,但当这个问题被真实地问到自己的时候我还是蛮惊讶的,当时脑海里第一时间的反应是,一场误会,一场误会。 Tesla是最早被贴上“互联网造车”标签的公司,而国内互联网造车的不靠谱新闻,最早或可追溯至2015年,某汽车startup一场发布会之后,被网友在知乎爆出其demo车是拿Tesla改装的PPT造车事件。此后,互联网背景的老板进入汽车行业便被贴上了“互联网造车”的标签。或许这个标签对于资本市场有着不同的含义,但其实在一个比赛里各个选手无论被外界贴着什么标签,最终的成绩仅与自己和对手的发挥有关。本文尝试从一个技术人员的角度来聊聊开头这个问题。 互联网造车不是让软件工程师去做底盘 专业的事情交给专业的人做,这是一个企业能够壮大发展的一个用人基本原则。汽车行业百年的发展历史,在汽车底盘,动力总成等各个地方已经累计非常丰富的行业经验和人才。被贴着“互联网造车”标签的公司,老板们可都不是傻子呀,自然也不会在这些地方重新发明轮子。一方面,整车架构的团队,往往会聘用拥有多年相关领域从事经验的专家和工程师;另一方面,“互联网造车”公司也会选择与各个零部件供应商合作,共创的方式快速整合行业的优质资源。所以请放心

漏洞扫描软件AWVS的介绍和使用

怎甘沉沦 提交于 2020-12-28 17:57:34
本文首发于: 行者AI Acunetix Web Vulnerability Scanner(AWVS)是用于测试和管理Web应用程序安全性的平台,能够自动扫描互联网或者本地局域网中是否存在漏洞,并报告漏洞。 1. AWVS简介 Acunetix Web Vulnerability Scanner(AWVS)可以扫描任何通过Web浏览器访问和遵循HTTP/HTTPS规则的Web站点。适用于任何中小型和大型企业的内联网、外延网和面向客户、雇员、厂商和其它人员的Web网站。 AWVS可以通过检查SQL注入攻击漏洞、XSS跨站脚本攻击漏洞等漏洞来审核Web应用程序的安全性。 1.1 AWVS功能及特点 自动的客户端脚本分析器,允许对Ajax和Web2.0应用程序进行安全性测试 业内最先进且深入的SQL注入和跨站脚本测试 高级渗透测试工具,例如HTPP Editor和HTTP Fuzzer 可视化宏记录器帮助您轻松测试web表格和受密码保护的区域 支持含有CAPTHCA的页面,单个开始指令和Two Factor(双因素)验证机制 丰富的报告功能,包括VISA PCI依从性报告 高速的多线程扫描器轻松检索成千上万的页面 智能爬行程序检测web服务器类型和应用程序语言 Acunetix检索并分析网站,包括flash内容,SOAP和AJAX

AI 基础:Scipy(科学计算库) 简易入门

空扰寡人 提交于 2020-12-28 11:38:40
0.导语 Scipy是一个用于数学、科学、工程领域的常用软件包,可以处理插值、积分、优化、图像处理、常微分方程数值解的求解、信号处理等问题。它用于有效计算Numpy矩阵,使Numpy和Scipy协同工作,高效解决问题。 Scipy是由针对特定任务的子模块组成: 在此之前,我已经写了以下几篇AI基础的快速入门,本篇文章讲解科学计算库Scipy快速入门: 已发布: AI 基础:Numpy 简易入门 AI 基础:Pandas 简易入门 AI基础:数据可视化简易入门(matplotlib和seaborn) 备注:本文代码可以在github下载 https://github.com/fengdu78/Data-Science-Notes/tree/master/4.scipy 1.SciPy-数值计算库 import numpy as np import pylab as pl import matplotlib as mpl mpl.rcParams['font.sans-serif'] = ['SimHei'] import scipy scipy.__version__#查看版本 '1.0.0' 常数和特殊函数 from scipy import constants as C print (C.c) # 真空中的光速 print (C.h) # 普朗克常数 299792458.0 6

如何理解卷积神经网络中的1*1卷积?

ぐ巨炮叔叔 提交于 2020-12-28 10:07:19
我们都知道,卷积核的作用在于特征的抽取,越是大的卷积核尺寸就意味着更大的感受野,当然随之而来的是更多的参数。 早在1998年,LeCun大神发布的LetNet-5模型中就会出,图像空域内具有局部相关性,卷积的过程是对局部相关性的一种抽取。 但是在学习卷积神经网络的过程中,我们常常会看到一股清流般的存在—1*1的卷积! 比如在残差网络的直连里: 残差网络的Bootleneck残差模块里: 在GoogleNet的Inception模块里: 都有1*1卷积核的出现,那么它到底是做什么的?我们应该如何理解1*1卷积的原理? 当1*1卷积出现时,在大多数情况下它作用是升/降特征的维度,这里的维度指的是通道数(厚度),而不改变图片的宽和高。 举个例子,比如某次卷积之后的结果是W*H*6的特征,现在需要用1*1的卷积核将其降维成W*H*5,即6个通道变成5个通道: 如下图就是一个W*H*6的特征,而1*1的卷积核在图上标出,卷积核自身的厚度也是6(图画的好难看!!) 通过一次卷积操作,W*H*6将变为W*H*1,这样的话,使用5个1*1的卷积核,显然可以卷积出5个W*H*1,再做通道的串接操作,就实现了W*H*5。 在这里先计算一下参数数量,一遍后面说明,5个卷积核,每个卷积核的尺寸是1*1*6,也就是一种有30个参数。 我们还可以用另一种角度去理解1*1卷积,可以把它看成是一种全连接 ,如下图

清华大学王晓智:大规模通用域事件检测数据集MAVEN

久未见 提交于 2020-12-28 09:41:13
点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入! 事件检测任务是事件抽取的第一步,对事件语义建模有重要意义。然而现有事件检测数据集存在两个严重的问题: (1)数据稀缺,现有小规模数据集不足以充分训练和稳定评测复杂的神经网络模型; (2)覆盖率低,现有数据集关心的有限数据类型不足以覆盖通用域中的广泛事件语义,也限制了事件检测模型的应用范围。 为了缓解这些问题带来的影响,本文构建了一个大规模通用域事件检测数据集MAVEN,它包含4480篇文章和118732个事件实例,覆盖了168种事件类型。同时也在MAVEN数据集上复现了一系列当前最佳的模型并进行了全面的实验。实验结果显示在传统数据集上表现极好的模型并不能在MAVEN上也取得理想的表现,这表明事件检测仍是一个具有挑战性的方向。本文也通过一些实证分析讨论了事件检测任务后续的发展方向。 本期AI TIME PhD直播间,我们有幸邀请到了清华大学计算机系的博士一年级研究生王晓智,为大家分享这项研究工作! 王晓智: 清华大学计算机系博士一年级研究生,导师李涓子教授。主要研究方向为事件抽取和预训练语言模型。已在EMNLP、NAACL、COLING等会议发表多篇文章。 一、 背景 一、 事件检测的定义 事件检测任务旨在从文本中识别事件触发词并正确分类事件类型。触发词指的是最能清晰明显表达事件出现的核心词语或短语

这一年,科学高度不断刷新

扶醉桌前 提交于 2020-12-27 10:04:49
来源:科技日报 ●存算一体架构在手写数字集上的识别准确率达到96.19% ●截至12月14日21时,“天问一号”探测器已在轨飞行144天,飞行里程约3.6亿公里,距离地球超过1亿公里 ●嫦娥五号经历了11个阶段、23天的在轨工作,采集了约1731克月球样品返回地球 ●“奋斗者”号创造了10909米的中国载人深潜新纪录 ●计算“高斯玻色取样”问题,处理100亿个样本,“九章”只需10小时,超级计算机则需要1200亿年 ●中国和尼泊尔联合公布珠峰“新身高”——8848.86米 即将过去的2020年,是极不平凡的一年。在这一年里,突如其来的新冠肺炎疫情打乱了人们生活与工作的节奏,而科学界奋斗的脚步却不曾停歇,并在奋力拼搏的过程中越战越勇。 “天问一号”开启人类探测火星的新旅程,嫦娥五号带回来自月球的馈赠,“奋斗者”号创造中国载人深潜新纪录……这一年,科学家们在上下求索的过程中点亮更广阔的世界,在追逐真理的道路上打开更崭新的天地。沧海横流显砥柱,随着科学的高度不断被刷新,一个更精彩的未来正展现在我们眼前。 “天琴一号”通过技术在轨验证 每项技术指标均优于任务目标 “天琴一号”卫星是我国“天琴”引力波探测计划的首颗技术验证卫星,其核心任务是验证空间惯性基准技术,这是空间引力波探测技术体系中的核心技术之一,包括高精度惯性传感、微牛级连续可调微推进和无拖曳控制三大关键技术

这一年,宇宙“面目”愈发清晰

风格不统一 提交于 2020-12-27 10:04:25
来源:科技日报 深邃的星空,埋藏着无数奥秘,叩问2020年的宇宙苍穹,阵阵回响唤起惊奇与敬畏无数:人类首次在银河系外发现氧气、绘制迄今最大宇宙三维地图、发现“不可能存在”的中等质量黑洞……宇宙的秘密,正在一点点被揭开。或是身边的天文奇观,或是地外的生命迹象,我们总在追问的路上,渴望收获更多。 宇宙还我们以新知,并以更多未知引领我们遥望未来。银河系边界探清后,“身边”的星系究竟有多少?借助引力波首次探测到中等质量黑洞后,人类是否能破解超大质量黑洞形成的谜团? 回望2020,我们以一趟时光穿越之旅,再次与宇宙对话。 氧气现身河外星系 氧在宇宙中的丰度仅次于氢和氦。此前,天文学家曾认为氧分子在恒星间的空间内应普遍存在,但一直未有证据表明银河系外也有氧气。 这一“悬疑”今年2月1日《天体物理学》杂志刊发的一篇文章被解开。在距地球5.6亿光年的“马卡良231”(Markarian 231)星系内,中外科学家联手发现了氧气。据悉,这是人类首次在银河系外发现氧气,也是迄今为止在太阳系外探测到氧气最多的一次。 “马卡良231”位于大熊星座。此前,天文学家在银河系内的猎户座星云和蛇夫座星云都探测到过氧气。据推算,“马卡良231”的氧气比重是猎户座星云内氧气比重的100倍。科学家推测,“马卡良231”内经历了比猎户座星云更强烈的氧气形成过程。 天文学家表示,在地外物质的光谱中发现氧气、水等存在的条件

互联网能改变农业吗?

夙愿已清 提交于 2020-12-27 10:03:59
来源|字母榜 作者|谭宵寒 2015年,拼多多依靠农产品在电商垄断的格局下突围成功。这难免颠覆了很多人的认知:一家靠帮农民卖货、商品详情页面都带着土味的电商,居然也能生存下来。 用后视镜来看这五年的历史,会发现拼多多出现和发展的背后,是一股默默流淌的趋势:互联网+农业。 这轮互联网+农业浪潮大约在2019年才进入公众视野,消费者端的感知是在网上选购农产品,价格更低了、网红水果越来越多。 事实上,互联网发展了二十多年,已经深入改变了很多行业,但农业的进化必然是日拱一卒式的,短期变化并不显著。即便是今天农产品上行的第一平台拼多多,在长达五年的耕耘之后,放在中国农产品流通的总量来看,提升空间仍然很大。 这使得入局农业的互联网公司时常会陷入类似争议中——它们到底能否改变农业? 宏观经济领域学者卢锋今年接受底层设计师采访时表示, 当下互联网公司进入农业更多是因应技术和社会结构条件演变在供应链组织方式方面的变革。他也指出,“我们应当充分重视这类变革带来的效率提升和价值创造等方面积极意义。” 农产品的末端分销因资本快速涌入而更受人关注,但如果要讨论互联网公司是否影响、改变了农业,上中游的生产端和流通端同样是不容忽略的话题。 01 大多数试图扎进农业的互联网公司都会想到减少流通环节这一条,但把这条路走通的公司寥寥无几。 “半年前我想的是把二道贩子替代掉,后来发现根本不是那么回事。