人工智能

Python爬虫实战零基础入门到入魔

血红的双手。 提交于 2020-12-27 09:01:06
最开始接触爬虫的时候,简直就是惊为天人,看别人十几行python代码就能把无数网页上的信息爬取下来。 利用爬虫我们可以获取大量的价值数据,从而获得感性认识中不能得到的信息,比如: 1、爬取数据,进行市场调研和商业分析 知乎: 爬取优质答案,为你筛选出各话题下最优质的内容。 淘宝、京东: 抓取商品、评论及销量数据,对各种商品及用户的消费场景进行分析。 房地产 : 抓取房产买卖及租售信息,分析房价变化趋势、做不同区域的房价分析。 2、爬取优质的资源: 图片、文本、视频 这些事情如果是单纯地手动操作,非常耗费时间,比如你想获取 B站 主站全网大量短视频下载,大约需忘寝废食重复工作两年。 而爬虫可以在一天之内帮你完成,而且完全不需要任何干预。 对于小白来说,爬虫可能是一件非常复杂的事情。比如有的人认为学爬虫必须精通 C,然后 哼哧哼哧系统学习C 的每个知识点,很久之后发现仍然爬不了数据 ; 有的人则认为先要掌握网页知识,遂 开始 HTML\CSS,结果入了前端的坑 ,瘁…… 为了帮助大家,推荐一套【 直播 】课《 Python爬虫实战-大型Python直播网课 》。 老师简介: 在百度任职4年,担任高级开发工程师,目前担任 Python软件学院 高级全栈开发工程师,Python软件学院负责人,主导参与人工智能上课平台研发工作 【在线学Python】从入门到企业项目实战! end

python机器学习:决策树ID3、C4.5

爱⌒轻易说出口 提交于 2020-12-27 03:46:58
向AI转型的程序员都关注了这个号 👇👇👇 大数据挖掘DT机器学习 公众号: datayx 决策树又称为判定树,是运用于分类的一种树结构,其中的每个内部节点代表对某一属性的一次测试,每条边代表一个测试结果,叶节点代表某个类或类的分布。 决策树的决策过程需要从决策树的根节点开始,待测数据与决策树中的特征节点进行比较,并按照比较结果选择选择下一比较分支,直到叶子节点作为最终的决策结果。 决策树的学习过程 特征选择:从训练数据的特征中选择一个特征作为当前节点的分裂标准(特征选择的标准不同产生了不同的特征决策树算法)。 决策树生成:根据所选特征评估标准,从上至下递归地生成子节点,直到数据集不可分则停止决策树停止声场。 剪枝:决策树容易过拟合,需要剪枝来缩小树的结构和规模(包括预剪枝和后剪枝)。 实现决策树的算法包括ID3、C4.5算法等。 ID3算法 ID3算法是由Ross Quinlan提出的决策树的一种算法实现,以信息论为基础,以信息熵和信息增益为衡量标准,从而实现对数据的归纳分类。 ID3算法是建立在奥卡姆剃刀的基础上:越是小型的决策树越优于大的决策树(be simple简单理论)。 奥卡姆剃刀(Occam's Razor, Ockham's Razor),又称“奥坎的剃刀”,是由14世纪逻辑学家、圣方济各会修士奥卡姆的威廉(William of Occam,约1285年至1349年

天猫精灵的人工智能宠物养成类游戏会是虚拟宠物爆发的前兆?

☆樱花仙子☆ 提交于 2020-12-27 00:00:43
文/离离 来源/智能相对论(aixdlun) “如果你驯养了我,我们就会彼此需要。对我来说,你就是我的世界里独一无二的了;我对你来说,也是你的世界里的唯一。” --《小王子》 相信不少人都曾在小时候特别想要拥有一只听话乖巧又可爱的汪星人,却因为经济条件受限或父母觉得脏乱、麻烦、没时间照料而无法实现愿望。于是,商人们看准这个机会,推出了"电子宠物"产品,通过在虚拟世界中的宠物养成游戏来达成这部份小朋友希望获得小动物陪伴的心愿。 小屏幕里的小可爱 相信不少80、90后都会对下面这张图有些印象: 没错,这就是上个世纪末风靡全亚洲的电子宠物游戏机Tamagotch,又称为电子鸡、电子蛋。是不是勾起了满满的回忆? 1996年,“电子宠物之父”横井昭裕带着一个由黑白液晶屏和三个按钮组成的 小型蛋型便携游戏机 来到BANDAI万代株式会社,世界上第一款电子宠物游戏机 “たまごっち(Tamagotch)” 就此诞生。 玩过的人应该很清楚,这款虚拟宠物游戏只有喂食、洗澡、看病、玩耍等最简单的养成功能,其实就是养一堆马赛克。和智能手机长期相处的你们心中肯定会冒出疑惑:这有什么好玩的? 生产商BANDAI一开始也是这么想的。 起初,BANDAI并不看好这个产品,仅将其视为年末商战中新品大促销的一个小项目,为避免亏损和不必要的库存,还特意控制首批产品的出货量。 令BANDAI出乎意料的是

社区回顾 | 12.21-12.23 DTCC2020 中国数据库技术大会 总结

随声附和 提交于 2020-12-26 19:08:04
2020年12月21日~12月23日,由 IT168 旗下 ITPUB 企业社区平台主办的第十一届中国数据库技术大会(DTCC2020),将在北京隆重召开。 大会以“架构革新 高效可控”为主题,设置 2 大主会场,20+ 技术专场,邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。 为了帮助更多企业落地数据项目实施方案,今年继续开设多门深度培训课程,内容涵盖数据中台、去 IOE 实践、区块链技术、内核开发实践等。 带来超过 100 场 主题演讲和超 5 场培训课程的头脑风暴 。 本 次,爱可生华南区负责人洪斌受邀参与并和大家分享主题《不太“智能”的数据库运管平台》。 本次大会,他分享了爱可生 在做数据库运管平台产品背后的一些 思考。 作为顶级的数据领域技术盛会,DTCC2020 汇聚了各行业精英、技术领袖、行业专家和数据英雄为大家带来精彩的分享。 社区近期动态 点一下“阅读原文”了解更多资讯 本文分享自微信公众号 - 爱可生开源社区(ActiontechOSS)。 如有侵权,请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”,欢迎正在阅读的你也加入,一起分享。 来源: oschina 链接: https://my.oschina.net/u

你与机器学习的距离,可能只差一个AWS

☆樱花仙子☆ 提交于 2020-12-26 17:06:50
AWS在机器学习上的持续深耕,大大拉近了众多企业与机器学习应用的距离。 出品 | 常言道 作者 | 丁常彦 从利用机器学习技术到输出开箱即用的机器学习能力,亚马逊用了二十年时间。尤其在近几年,人工智能产业的迅速崛起,亚马逊云服务(AWS)在机器学习服务的打造上也在不断加速。 正如AWS大中华区云服务产品管理总经理顾凡所说, 亚马逊利用机器学习技术已经有20多年时间,这是AWS机器学习服务的深厚源泉。 2016年,AWS开始发力在云上提供机器学习服务;当年只发布了三个服务,2017年开始加速。最近三年,AWS每年新增的服务和功能超过200个,为全球人工智能工作者丰富了他们急需的工具集。 在刚刚结束的亚马逊re:Invent大会上,AWS不仅全面展示了关于人工智能与机器学习的最新全景蓝图,还宣布推出一系列新服务和新功能,从而让机器学习更易用和拓展到更加广阔的使用者、应用场景和行业。 数据爆发式增长 机器学习已经成为主流 有一个事实你可能想象不到:今天一小时产生的数据,比2000年全年产生的数据还要多;未来三年内产生的数据,将比过去30年的还要多。 面对数据的爆炸式增长,我们亟需增强处理海量数据的能力。正因为如此,机器学习和人工智能行业近年来发展迅速,并为各行业组织带来了巨大的变革空间。来自调研机构Gartner公司的调查显示,约有37%的组织在其业务中使用某种类型的机器学习技术

科技爱好者周刊(第 138 期):失业难以避免,重构人生规划

烈酒焚心 提交于 2020-12-26 14:58:32
这里记录每周值得分享的科技内容,周五发布。 本杂志开源(GitHub: ruanyf/weekly ),欢迎提交 issue,投稿或推荐科技内容。 周刊讨论区的帖子 《谁在招人?》 ,提供大量程序员就业信息,欢迎访问或发布工作/实习岗位。 封面图 波士顿动力公司的机器狗生产车间,很像科幻电影的机器人军团。该公司最近以11亿美元的价格,卖给了韩国现代汽车集团。( via ) 本周话题:失业难以避免,重构人生规划 最近读到了 一段话 ,引起了我的思考。 "工作对于人生至关重要。它提供了收入,身份和意义,失业的创伤仅次于亲人的死亡。" 我完全同意这段话。因为我父母的人生就是这样,上了一辈子的班,如果把工作的部分去掉,就没有其他值得一说的东西了。 对于许多人来说,人生就是围绕着工作。上学是为了找工作,毕业是为了上班,等到退休不上班,就已经是晚年了。万一失业,生活顿时就崩溃了,就像上面的引言说的,收入、身份、意义瞬间都没了。 我今天想说的是,这种"工作型人生"已经过时了。要是现在你还把上班当作人生的主轴,是一件很危险的事情,因为失业的风险越来越大。 时代变了,稳定的工作越来越少,失业会是家常便饭,人生已经没法依附在某一份具体的工作上了。 由于经济全球化和技术进步,行业的兴衰正变得越来越快。往往几年时间,新事物就彻底取代了旧事物,比如网络淘汰了报纸杂志,电动车淘汰汽油车,自动驾驶以后会淘汰司机

“体检医生”黑科技|让AI开发更精准,ModelArts更新模型诊断功能

廉价感情. 提交于 2020-12-26 11:48:21
摘要: 华为云AI开发平台ModelArts黑科技加持AI研发,让模型开发更高效、更简单,降低AI在行业的落地门槛。全面的可视化评估以及智能诊断功能,使得开发者可以直观了解模型各方面性能,从而进行针对性的调优。 今年,全新发布的华为云ModelArts备受关注,创新黑科技成为AI界团宠。 模型构建一直是AI落地行业遇到的挑战之一,尤其是如何对即将部署上线的模型进行评估和诊断,以确保研发是否满足业务需求,保证AI产品的质量水平,让评测结果优秀的模型直接投入生产环境,对差强人意的模型进行调优。 华为云AI开发平台ModelArts黑科技加持AI研发,让模型开发更高效、更简单,降低AI在行业的落地门槛。全面的可视化评估以及智能诊断功能,使得开发者可以直观了解模型各方面性能,从而进行针对性的调优。 全方位为AI模型体检,降低AI研发门槛 长期以来,模型调优通常过于依赖数据科学家或算法工程师的个人经验,这就导致开发一个最优AI模型门槛高、代价大。另一方面,除了模型精度等常用指标之外,要将模型部署在生产环境,就必须考虑其性能、可解释性、鲁棒性、抗攻击性等其他指标。对于大多数数据科学家或算法工程师而言,这些指标的分析和优化并不是非常直观。这就导致AI模型进入生产环境困难重重。 为了解决上述两方面的问题,华为云ModelArts通过平台内置的工具帮助用户自动分析和评估出模型的各项指标

想做数据分析岗位,互联网数据分析的发展前景怎么样?

ぃ、小莉子 提交于 2020-12-26 08:37:23
最近总有人问我,数据分析师未来的发展前景怎么样?也许很多人都会有这个疑问吧。今天我来为大家解答一下未来数据分析师的发展前景以及在企业中扮演什么样的角色。 在互联网的快速发展下,目前各大公司对数据分析相关岗位的要求持续上升。据统计全国500强企业中,90%以上都建立了数据分析部门。 对于数据分析师来说,所有公司都有数据。他们需要找到一种方法,利用它来分析解决方案,让数据分析提高价值。 1.分析竞争对手 企业想要迅速发展,是一定要了解自己竞争对手的。比如说我们是一家电商公司,那么我们一定要了解竞争对手这个月的主营产品、销售额、折扣优惠等等。这样才有利于我们做好调整,更好的去安排。 2.推广渠道效果监测 当你为企业做广告投放的时候,你是不是需要提前对这些推广渠道的数据进行监测。比如说账号的活跃度、曝光量,只有把这些东西计算好了,你才能预估出这个广告可以为我们带来多首收益。 这个反馈完全可以给以后继续做营销做决定,按效果去调整哪些渠道继续投放广告,哪些渠道砍预算,哪些渠道不投放了。 是一个非常复杂和耗时的过程。这涉及到很多高技术知识。这些公司提供的是一套处理数据摄取、清理、建模和显示的工具。有些人什么都做,有些人只做一部分,这取决于他们想要探索的细分市场。 3.产品的用户群体 当我们一款新的产品上线时,首先要知道店铺里的哪些用户可以首批付费使用,这个和我们的日常监测以及标签有关

进化出行 一往无前 九号电动渠道赋能大会召开

痞子三分冷 提交于 2020-12-26 07:24:52
12月25日,九号电动正式召开了“进化出行,一往无前”渠道赋能大会,1000多位行业重要经销商参加了此次会议,共同探讨5G时代下智能电动车的发展新方向。 智能+矩阵+营销全面升级 开启2021新征程 作为智能电动车领域的新锐领军品牌,九号电动一直在不断提高电动车的智能上限:Ninebot RideyGo! 智能骑行系统和Ninebot Airlock感应解锁技术,让电动车的启停、锁车变得更加便捷;独特的AHRS姿态感应系统和异动报警功能,让车辆的安全性也大大增加;更有GPS+北斗+基站三重定位,车辆位置尽在掌握之中。 九号电动在会议现场发布了全新的真智能2.0技术:包含RideyGo!2.0 、RideyFUN 智控系统、MoleDrive 全新自研控制器、九号云电系统,以及自主研发的BMS 6.0升级、knock- knock快捷功能、生日&节日惊喜音效、智能终端互联控车等功能。细节功能将逐步升级上线,部分功能系统在已经上市的E&C&B 系列上同样能够通过OTA进行更新。 此次会议的第二大亮点就是产品矩阵的升级。九号电动已经成功布局电动自行车、电动摩托车等多个领域,在渠道会议现场还透露了明年的全新产品系列——D、N、A系列产品、全新C系列产品,甚至show了一把自动驾驶电摩和氢能源电动车等核武器! 氢能一直是新能源领域的热门话题,因为氢气是清洁能源,输出能量后产出的是水

遂宁市委常委赵京东调研红谷滩区·高通中国·影创联合创新中心

大憨熊 提交于 2020-12-26 06:25:58
9月18日上午,遂宁市委常委、市直机关工委书记赵京东等一行莅临红谷滩区·高通中国·影创联合创新中心指导工作,红谷滩区副区长钱赛等领导陪同调研。联合创新中心负责人刘知艳对各位领导的莅临表示热烈欢迎,全程陪同并对联合创新中心核心优势、经营思路、未来发展做了详细介绍。 在展区序厅,观看了沉浸式影片“以视界·看世界”,展示红谷滩区以VR为技术核心的新产业加速成势。江西南昌,升起中国第一面军旗,开启了中国革命的新纪元;红谷滩新区,从一片滩涂到一座新城,从历史名城到世界标杆。联合创新中心将有效整合高通和影创科技领先优势,可以有效整合高通和影创科技的技术领先优势、平台资源,在MR教育、医疗、工业以及各领域开展深度合作,推动江西省VR产业发展。 体验中国高通5G应用场景 在高通展区可以看到高通与中国生态的合作已经广泛覆盖智能手机、集成电路、物联网、软件、汽车等众多行业。高通公司是全球领先的无线科技创新者,也是5G研发、商用与实现规模化的推动力量。把手机连接到互联网,发明开启移动互联时代。高通的发明为改变生活的产品、体验和行业奠定了基础。 高通的发明改变生活 高通公司致力于发明突破性的基础科技,变革了世界连接、计算和沟通的方式,是全球移动科技的研发引擎,赋能合作伙伴、变革各行各业、丰富人类生活。 “我们将在2020年世界VR产业大会上推出具备新一代世界级水准的MR眼镜