神经网络

嘉楠科技成立于2013年，同年发布了全球首款基于ASIC芯片的区块链计算设备，引领行业进入ASIC时代，自此逐步积累了丰富的芯片量产经验。 2016年，16nm产品量产标志着嘉楠科技成为中国大陆地区先进制程首个阵营的公司。2018年至今，嘉楠科技相继实现全球首个基于自研的7nm芯片量产，以及量产基于RISC-V自研商用边缘智能计算芯片勘智K210。其中，作为AI神经网络加速器的KPU完全依托于自主研发。 目前，嘉楠科技已实现月均上千万颗芯片的量产，产品和服务遍布全球60多个国家和地区，在美国、加拿大、瑞典、冰岛、波黑、马来西亚、韩国、俄罗斯、亚美尼亚和香港等国家和地区均建立了良好的客户群基础。 未来，嘉楠科技将在芯片研发和高性能计算的基础上，协同业务伙伴推动AI在各领域的普惠化进程，通过AI让生活更美好。 面临的挑战 随着半导体制程工艺的逐步演进，现代芯片设计行业越来越依赖于各种各样的电子设计自动化(EDA, Electronic Design Automation)工具软件来辅助设计人员工作。但是在真实的生产实践中，嘉楠科技发现这些设计工具软件对于企业IT基础设施的要求近乎苛刻。如果投入大量人力物力自建数据中心尝试解决这些问题，往往会带来设计工作之外的额外负担。 首先，在芯片设计的不同阶段，设计人员需要用到不同的工具软件，但是不同的工具软件对于IT基础设施的特性要求不尽相同

Generative Adversarial Networks GAN框架 GAN框架是有两个对象（ discriminator，generator）的对抗游戏。 generator 是一个生成器，generator产生来自和训练样本一样的分布的样本。 discriminator 是一个判别器，判别是真实数据还是generator产生的伪造数据。discriminator使用传统的监督学习技术进行训练，将输入分成两类（真实的或者伪造的）。 generator训练的目标就是欺骗判别器。 游戏中的两个参与对象由两个函数表示，每个都是关于输入和参数的可微分函数。discriminator是一个以 x 作为输入和使用θ (D) 为参数的函数D，D(x)是指判断输入样本x是真实样本的概率 ； generator由一个以z为输入使用 θ (G) 为参数的函数G，G(z)是指输入样本z产生一个新的样本，这个新样本希望接近真实样本的分布。 discriminator与generator都用两个参与对象的参数定义的代价函数。 discriminator希望仅控制住 θ (D) 情形下最小化 J (D) (θ (D) , θ (G) ) 。generator希望在仅控制 θ (D) 情形下最小化 J (G) (θ (D) ,θ (G) ) 。 因为每个参与对象的代价依赖于其他参与对象的参数

理想很丰满，现实很骨感，线上业务系统，绝对不会万事如意，外在因素太多，总会出现这样那样的问题，所以，智能监控和报警，变得尤为重要；线上问题永远都是最重要的问题，必须尽早发现尽早解决。 一、背景 一张网络图，比较形象的描述线上业务系统的状况，虽然有点儿夸张，但这不假： 二、大纲 业务监控系统架构分析 监控模块的设计与优化 监控智能化的一些尝试 三、业务监控系统架构 没有完美的架构，任何架构都是平衡妥协的结果 3.1 设计背景 监控项不完善，需要快速完善监控项(痛点:快速实施) 运营活动频繁，报警收到麻木(痛点:报警太多) 上线调整时无实时直观的参考(痛点:不及时，不直观) 3.2 主流架构 3.2.1 案例 阿里： 蘑菇街： 3.2.2 特点 架构的核心关键字是:海量、实时 侧重于大数据的处理，报警分析偏弱，没有解决当时的痛点问题 公司已有大数据部门在做类似的事情 监控人手紧张且缺乏相关经验，存在一定风险 思考:大数据是否应该属于监控系统的一部分? 3.3 趣店当前监控架构 基于现有业务监控开发，利用已有资源 利用队列将系统拆分成不同模块，方便升级 利用现有的优秀开源软件 四、监控模块设计与优化 各个模块可以随时被更优的方案替换 4.1 采样模块 采集源： SQL、API、ElasticSea ch (实时日志收集)、其他更多 运行方式： crontab定时运行

理想很丰满，现实很骨感，线上业务系统，绝对不会万事如意，外在因素太多，总会出现这样那样的问题，所以，智能监控和报警，变得尤为重要；线上问题永远都是最重要的问题，必须尽早发现尽早解决。 一、背景 一张网络图，比较形象的描述线上业务系统的状况，虽然有点儿夸张，但这不假： 二、大纲 业务监控系统架构分析 监控模块的设计与优化 监控智能化的一些尝试 三、业务监控系统架构 没有完美的架构，任何架构都是平衡妥协的结果 3.1 设计背景 监控项不完善，需要快速完善监控项(痛点:快速实施) 运营活动频繁，报警收到麻木(痛点:报警太多) 上线调整时无实时直观的参考(痛点:不及时，不直观) 3.2 主流架构 3.2.1 案例 阿里： 蘑菇街： 3.2.2 特点 架构的核心关键字是:海量、实时 侧重于大数据的处理，报警分析偏弱，没有解决当时的痛点问题 公司已有大数据部门在做类似的事情 监控人手紧张且缺乏相关经验，存在一定风险 思考:大数据是否应该属于监控系统的一部分? 3.3 趣店当前监控架构 基于现有业务监控开发，利用已有资源 利用队列将系统拆分成不同模块，方便升级 利用现有的优秀开源软件 四、监控模块设计与优化 各个模块可以随时被更优的方案替换 4.1 采样模块 采集源： SQL、API、ElasticSea ch (实时日志收集)、其他更多 运行方式： crontab定时运行

本篇是论文Wide & Deep Learning for Recommender Systems的阅读笔记，这是谷歌的一篇发表在2016的论文。 ABSTRACT 对于解决regression和classification问题，有两类方法，一种是wide的一种是deep的。wide，通常是linear model，输入特征很多，带有能够实现非线性的交叉特征（所以wide。）。deep，主要就是基于神经网络的模型啦。 任何事情都有两面性，有利就有弊。wide的模型有什么好处呢？特征之间是如何相互作用的，是一目了然的，也就是可解释性好。缺点呢？特征工程很费劲，而且历史数据中没有的模式是学不到的。deep的模型有什么好处呢？更加general，可以学到一些没见过的特征组合（因为是基于对query和item做embedding的）。缺点呢？过分general了，可能会推荐出一些不相关的东西。 这篇论文提出的模型，就是把wide的模型和deep的模型融合到一起，让两种模型相互制约，取两种模型的优点。 如何融合？如何联合训练？为什么效果比单独的linear model或者deep model效果好。是这篇论文最值得研究的点。 这篇论文还从工程的角度，描述了如何部署，这也是值得学习借鉴的。 INTRODUCTION 这个部分作者进一步解释了abstract中提到的几个点。 One

1.深度学习框架 Pytorch https://github.com/pytorch/pytorch PyTorch 是一个 Torch7 团队开源的 Python 优先的深度学习框架，提供两个高级功能： ● 强大的 GPU 加速 Tensor 计算（类似 numpy） ● 构建基于 tape 的自动升级系统上的深度神经网络 ● 你可以重用你喜欢的 python 包，如 numpy、scipy 和 Cython ，在需要时扩展 PyTorch。 2.deepfake 的深度学习技术 Facewap https://github.com/deepfakes/faceswap deepfake 的深度学习技术，这款工具本来的用途是用来识别和交换图片、视频中人物脸部图像的工具 。该项目有多个入口，你需要做的事： ● 收集照片 ● 从原始照片中提取面部图像 ● 在照片上训练模型 ● 使用模型转换源代码 3.神经网络库 keras https://github.com/keras-team/keras Keras 是一个极简的、高度模块化的神经网络库，采用 Python（Python 2.7-3.5.）开发，能够运行在 TensorFlow 和 Theano 任一平台，好项目旨在完成深度学习的快速开发。 特性： ● 可以快速简单的设计出原型（通过总模块化、极简性、和可扩展性） ●

插播一个小新闻：最近建立了交流群~欢迎回复【加群】加入~ “Xavier”初始化方法是一种很有效的神经网络初始化方法，方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》。 论文的链接在这里：https://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2010_GlorotB10.pdf PyTorch代码 在介绍论文和理论之前，先讲一下如何使用在PyTorch中使用Xavier初始化： def _initialize_weights (self) : # print(self.modules()) for m in self.modules(): print(m) if isinstance(m, nn.Linear): # print(m.weight.data.type()) # input() # m.weight.data.fill_(1.0) init.xavier_uniform_(m.weight, gain= 1 ) print(m.weight) 通俗讲理论 论文提出的Xavier的主要思想： 每一层输出的方差应该尽量相等 。 前向传播 下面进行推导：

授权自AI科技大本营（ID：rgznai100) 本文 约4500字 ，建议阅读 9 分钟 本文介绍基于机器学习和深度学习的文本分类。 文本分类是自然语言处理中最基本而且非常有必要的任务，大部分自然语言处理任务都可以看作是个分类任务。近年来，深度学习所取得前所未有的成功，使得该领域的研究在过去十年中保持激增。这些文献中已经提出了许许多多的算法模型、基准数据集一集评测指标，因此需要一个对这个领域进行全面而且跟进趋势的调查。这里我们介绍基于机器学习和深度学习的文本分类，主要内容来自北航、伊利诺伊大学等学者联合发表论文 A Survey on Text Classification: From Shallow to Deep Learning。 本文通过回顾文本分类领域自1961年到2020年以来的历年SOTA模型来填补这类综述研究的空白，聚焦于从浅层学习到深度学习的各种模型。根据文本分类任务所涉及的文本数据来源、特征提取的方法以及分类模型的不同进行分类对比研究。随后，将讨论每一个类别的详细情况，其中涉及到给预测和测试提供可信支撑的技术变迁以及基准数据集。这项调查对不同模型之间的性能优劣进行了全面比较，而且指出了各种评测指标的优缺点。 最后，对各种算法模型的核心精髓、未来的研究趋势以及该研究领域面临的挑战进行了提炼总结。 1、文本分类 文本分类流程 在许多自然语言处理（NLP）下游任务中

图片来源：Pixabay 来源 公众号“机器之心” CASP14 组织者、年近七旬的 UC Davis 科学家 Andriy Kryshtafovych 在大会上感叹道，I wasn't sure that I would live long enough to see this（我活久见了）[1]。 11 月 30 日，一条重磅消息引发了科技界所有人的关注：谷歌旗下人工智能技术公司 DeepMind 提出的深度学习算法“AlphaFold”破解了出现五十年之久的蛋白质分子折叠问题。 最新一代算法 AlphaFold 2，现在已经拥有了预测蛋白质 3D 折叠形状的能力，这一复杂的过程对于人们理解生命形成的机制至关重要。 DeepMind 重大科研突破的消息一出即被《自然》、《科学》的新闻栏目争相报道，新成果也立刻获得了桑达尔 · 皮查伊、伊隆 · 马斯克等人的祝贺。 科学家们表示，Alphafold 的突破性研究成果将帮助科研人员弄清引发某些疾病的机制，并为设计药物、农作物增产，以及可降解塑料的“超级酶”研发铺平道路。 “这是该研究领域激动人心的一刻，”DeepMind 创始人、首席执行官德米斯 · 哈萨比斯说道。“这些算法今天已经足够成熟强大，足以被应用于真正具有挑战性的科学问题上了。” 蛋白质对于生命至关重要，它们是由氨基酸链组成的大型复杂分子，其作用取决于自身独特的 3D

出品 | AI科技大本营 一个人精通金庸武侠里的所有武功，这可能吗？现实中很难，但“绝悟“做到了。 11月28日腾讯宣布，由腾讯 AI Lab 与王者荣耀联合研发的策略协作型 AI“绝悟”推出升级版本。“绝悟”一年内掌握的英雄数从1个增加到100+个，实现了王者荣耀英雄池的完全解禁，此版本因此得名“绝悟完全体”。 这意味着，腾讯策略协作型AI的算法能力进一步得到提升，达到了国际领先水平。 升级后的“绝悟”AI不但掌握王者荣耀所有英雄的所有技能，能应对高达10的15次方的英雄组合数变化，还“自带军师”，能够做出最佳的英雄博弈策略选择，综合自身技能与对手情况等多重因素，派出最优英雄组合。 目前，这一“绝悟”完全体版本已在王者荣耀 App 限时开放，公众都可与之对战，亲身体验 AI 在复杂策略、团队协作与微观操作方面的强大能力。11 月 14 日至 30 日，绝悟在 20 个关卡的能力将不断提升，最强的20级于11月28日开放，接受 5v5 的组队挑战。 相关研究还被 AI 顶级会议 NeurIPS 2020 与顶级期刊 TNNLS 收录，展现出腾讯国际一流的 AI 研究与应用能力。 强化学习相关研究被 AI 顶级会议 NeurIPS 2020 收录 由于MOBA游戏本身的复杂性，现有的工作无法很好地解决智能体阵容组合数随着英雄池扩大而爆炸增长的问题，例如，OpenAI的Dota