机器学习

本文作者：y****n 百度云智学院首次对外发布了AI全栈学习路线图，由百度一众技术导师以及行业领域专家联合整理贡献，结合视频课程、实验项目等大量优质的学习资源，配套测评考试与能力认证，覆盖AI初学者从入门到行业专家的学习全周期。 AI全栈学习路线从数学基础、编程语言、算法原理再到框架精讲，基本涵盖了机器学习、深度学习的主要知识点：线性回归、逻辑回归、神经网络、K-Means等，还同步提供在线实训环境与足量的GPU、CPU计算资源，帮助学习者一键进入AI场景进行算法实践。在进阶学习阶段，百度云智学院从百度企业级开发案例中萃取出数个经典实战项目，涉及农业、医疗、卫生、汽车、等多个行业应用领域，真正提供人工智能体系化课程一站式在线学习服务。 学习者在课程学习与实践之后，可在线考取百度云智学院所颁发的能力认证证书，标识自己在AI学习领域的专业知识和技术水平，还可以通过百度云智学院才智中心，给自己所获认证相匹配的岗位投递简历，获得更多更好的就业机会。 此外，百度云智学院还同步发布了AI产品与应用学习路线与云计算学习路线，理论精讲与产品实践相结合，帮助学习者快速熟悉业内领先的百度AI、云计算技术在实践场景中的应用，系统了解相关产品架构设计与技术服务优势，深入掌握百度技术如何满足个人开发者和企业级用户的业务需求。 学习地址： 人工智能全栈学习路线 云计算学习路线 AI产品与应用学习路线

上礼拜从9月17号到21号和另外一位同事参加了在上海举办的“世界人工智能大会”和杭州的“云栖大会”。云栖大会就不用多介绍了，已经在杭州云栖小镇举办了好几届，主要涉及到人工智能、云计算、大数据、互联网+等领域。而这个世界人工智能大会好像才是第一届（当然不知道还会不会有第二届了），由上海市政府主要承办，邀请了国内外知名IT公司和技术达人参与，听说习大大还专门致信表示祝贺了，看来这个大会来头不小，当然事实也证明，确实比较隆重。两个大会都是以“主论坛”、“分论坛”以及“展览区”的形式存在的，主论坛我没去过，好像都是一帮IT大佬、市政领导发表演讲，大多都是精神上的解读，分论坛大多以技术为主，由各个公司承办，主要介绍他们比较有影响的技术和解决方案，作为技术人员，我当然选择晚去一天参加一些分论坛了。展览区都一样，每个公司（产品）占一块地方展示自己的东西。 由于公司业务关系，我在上海主要参加了商汤科技和阿里巴巴公司关于城市大脑的分论坛，然后参观了展览区，看到了谷歌、亚马逊、腾讯、阿里巴巴、商汤科技、pony.ai无人车、旷世face++、地平线、寒武纪等一些公司的产品（其它的记不住名字）。在杭州云栖大会上主要参加了Nvidia的一个分论坛，主要介绍了他们公司牛逼的显卡、以及专门用于AI视频分析的一个框架DeepStream 2.0。下面以流水账的形式简单记录一下上海三天的参会记录。

损失函数的定义 我们以分类问题为例来讨论，假如分类器f，那么对于输入 X， 输出为f( X ）那么，如何衡量这个分类器的好坏，我们用f( X )和真正的Y值进行比较，来衡量分类器f的好坏，这种衡量的标准就是损失函数，损失函数越小，代表分类器的性能越好。 损失函数的输入为f( x )和Y，输出是一个非负实数，记做L(f( x ),Y)。 期望风险、经验风险和结构风险 在学习损失函数时候，经常冒出来几个概念：经验风险、期望风险、结构风险。这些是什么意思？ 期望风险： 当损失函数越小，表示我们的模型越好。但是我们不能用一个样本来进行预测，然后说这个模型的性能比较好。正确的做法是比较所有的样本，这里的所有包括我们已有的训练数据还有未知的所有数据。这里有一个前提，那即是我们假设我们的样本x和y服从某种概率的分布P(x,y)。我们用所有样本的损失函数的均值，也就是期望风险（expected risk）来进行度量。 $ R_{exp}(f) = E_P[L(Y,F(X))] =\int_{x\times y} L(y,f(x)) P(x,y) dxdy$ 但是这里的问题是这样的，x和y的联合概率分布式不能够得知的，所以我们想要使用期望风险来度量模型的性能是不可以的。 经验风险： 虽然，我们不知道x和y的分布情况，但是我们手里有一些训练数据，我们直接在这训练数据上面的风险最小，于是

1. 何为损失函数： 在机器学习里面，基本上所有的算法都是在对一个目标函数进行最大化或者最小化的一个过程，那么我们常常把这个最小化的函数称为损失函数，一般采用梯度下降法求解这个损失函数的最小值所对应的参数。可以认为，损失函数为我们的模型优化提供了方向。 2. 损失函数类型： 2.1 平方损失L2 （回归损失函数）：预测值和目标值之间差值的平方和 2.2 平方绝对误差L1 2.3 对数损失函数（Cross Entropy Loss，Softmax Loss ）：用于Logistic 回归与Softmax 分类中； 2.4 指数损失函数（Exponential Loss） ：主要用于Adaboost 集成学习算法中； 2.5 铰链损失函数（Hinge Loss）：主要用于支持向量机（SVM） 中 3. 对数损失函数 对数损失函数用到了极大似然估计思想，p(y|x)。 假设样本服从伯努利分布（0-1）分布，然后求得改分布的似然函数，接着取对数求极值（最小化负的似然函数）。利用已知的样本分布，找到最有可能（即最大概率）导致这种分布的参数值 4. 交叉熵 交叉熵刻画的是实际的输出（概率）和期望的输出（概率）的距离，交叉熵的值越小，两个概率分布越接近。 log 类型损失函数的优势可以将连乘转为求和，由于是单调函数，不会改变原结果，并且还很方面求最优，因此 log 类型的损失函数函数也非常常用

Gartner’s Top Nine Strategic Tech Trends For 2021 编者按：今年由于疫情的关系，一些原本比较平稳的趋势得到了加速。总来说，因为疫情导致人与人之间被迫保持物理隔离，通过技术让大家（企业与客户，企业内部，以及企业与伙伴）保持虚拟连接的需求就显得更加迫切。Gartner对2021年的热门技术趋势做出了预测，发表在CRN上，标题是：Gartner’s Top Technology Trends That Will Define 2021。 Last week, Gartner, Inc. announced its top nine strategic technology trends for 2021. Analysts presented their findings during Gartner IT Symposium, which was virtual this year due to the Covid-19 pandemic. Just as the pandemic reshaped the conference, it has also reshaped the trends, as many of them are brought about or will be emphasized to a greater

“Serverless 能取代微服务吗？” 这是知乎上 Serverless 分类的高热话题。 有人说微服务与 Serverless 是相背离的，虽然我们可以基于 Serverless 后端来构建微服务，但在微服务和 Serverless 之间并不存在直接的路径。也有人说，因为 Serverless 内含的 Function 可以视为更小的、原子化的服务，天然地契合微服务的一些理念，所以 Serverless 与微服务是天作之合。马上就要 2021 年了，Serverless 是否终将取代微服务？从微服务到 Serverless 需要经过怎样的路径？本文将对 Serverless 与微服务在优势劣势上进行深度对比。 从概念上讲，微服务完全符合 Serverless 功能结构，微服务可以轻松实现不同服务的部署和运行时隔离。在存储方面，像 DynamoDB 这样的服务可以让每个微服务拥有独立的数据库，并独立地进行扩展。 在我们深入探讨细节之前，先别急着“站队”，不妨先基于你团队的实际情况，真实的去思考是否适合使用微服务，千万不要因为 "这是趋势 "而去选择它。 微服务在 Serverless 环境下的优势 可选择的可扩展性和并发性 Serverless 让管理并发性和可扩展性变得容易。在微服务架构中，我们最大限度地利用了这一点。每一个微服务都可以根据自己的需求对并发性/可扩展性进行设置

人类历史从本能到智能，历经了上千年的翻天覆地的变化，而数据存储同样如此。从远古时代的结绳记事，人类通过上万年的摸索，到现在智能存储时代，历史发展从未停止。今天，正走向未来的超级智能存储时代， 作为参与者的矿工们，很关注Filecoin未来价格走向 。 V zhang228289 占有市场，FIL价格是关键 今天，互联网从发展已经达到了一个新的瓶颈点。存储的数据量接近数百ZB，云存储市场的规模约在460亿美元至960亿美元之间。而这么大的存储市场，却集中在少数垄断企业集团手中。 亚马逊、微软、Google 、阿里、腾讯约占全球云存储市场的三分之二！ 这种中心化存储带来的一系列问题，比如隐私泄露、安全性不高、审查制度、运营终止、寡头垄断等，让人焦头烂额。 Filecoin作为一个为人类最重要的信息，打造的去中心化分布式存储网络，它的使命是分散和破坏高度集中的云存储市场。终结寡头云存储的垄断，允许用户识别和验证本地存储设施，并通过协议平台与矿工协商价格。 Filecoin独到之处是让客户有了自己的定价权和议价权，打破了中心化云存储商的独裁定价机制，回归市场支配经济的初衷，从长远来看，这无疑有益于数据存储行业的良性发展与进步 。 而且存储的分布可以实现本地优化，比中心化存储平台响应的速度更快，同时，本地优化能够让大数据存储距离用户更近，不再依赖大型区域数据运营商。 当然

介绍 华为机器学习（ML Kit）提供手部关键点识别服务，可用于手语识别。手部关键点识别服务能识别手部21个关键点，通过每个手指的方向和手语规则作比较去找手语字母表。 应用场景 手语通常被听力和口语有障碍的人来使用，是收集手势包含日常互动中所使用的动作和手势。 使用ML Kit 可以建立一个智能手语字母表识别器，它可以像一个辅助器一样将手势翻译成单词或者句子，也可以将单词或者句子翻译成手势。 这里尝试的是手势当中的美国手语字母表，是基于关节，手指和手腕的位置进行分类。接下来小编将会尝试从手势中收集单词“HELLO”。 开发步骤 1. 准备 详细的准备步骤可以参考华为开发者联盟： https://developer.huawei.com/consumer/cn/doc/development/HMS-Guides/ml-process-4 这里列举关键的开发步骤。 1.1 启动ML Kit 在华为开发者AppGallery Connect, 选择 Develop > Manage APIs 。确保ML Kit 激活。 1.2 项目级gradle里配置Maven仓地址 buildscript { repositories { ... maven {url 'https://developer.huawei.com/repo/'} } } dependencies { ...

工业物联网的数据特点和痛点 工业物联网的数据采集有着频率高、设备多、维度高的特点，数据量非常大，对系统的吞吐量有很高的要求。同时工业物联网往往需要系统能够实时处理数据，对系统预警，监控，甚至反控。不少系统还需要提供图形化终端供操作工人实时监控设备的运行，这给整个系统带来了更大的压力。对于采集到的海量历史数据，通常还需要进行离线的建模和分析。因此，工业物联网的数据平台有着非常苛刻的要求，既要有非常高的吞吐量，又要有较低的延时；既要能够实时处理流数据，又要能够处理海量的历史数据；既要满足简单的点查询的要求，又要满足批量数据复杂分析的要求。 传统的事务型数据库，比如SQL Server、Oracle和MySQL，无法满足高吞吐量的数据写入和海量数据的分析。即使数据量较小，能满足数据写入的要求，也不能同时响应实时计算的请求。 Hadoop生态提供了消息引擎、实时数据写入、流数据计算、离线数据仓库、离线数据计算等多个部件。这些大数据系统组合起来，可以解决工业物联网的数据平台问题。但这样的方案过于庞大和臃肿，实施和运维的成本很高。 数据是工业物联网的血液。但是国内绝大部分的MES系统，以及所谓的智慧工厂，对生产过程中产生的海量的工艺数据，保存不会超过三个月，更不用说进一步对积累的数据研究利用了。数据的实时采集、计算和反控则对工业物联网背后的数据平台的实时计算能力提出了很高的要求

摘要： 本文详细介绍了游戏类业务常见的攻击场景及影响，针对具体的受攻击场景提出有效的解决措施。 【场景汇总】 【解决措施】 场景一：DDoS & CC 现象描述 攻击者模拟海量正常的服务请求，占用大量的游戏服务资源至枯竭，从而使正常的游戏玩家无法使用服务，造成掉线、卡顿等游戏体验与口碑下降的情况。 解决措施 1、购买高防IP： 原理： ① 将受攻击的域名解析到高防IP ② 通过高防IP代理源站IP对外提供服务，将所有的公网流量都引流至高防IP ③ 隐藏源站，避免源站（用户业务）遭受大流量DDoS攻击。 选型推荐： l 服务区域：业务服务器在国内选择DDoS高防(大陆)，在海外选择DDoS高防（国际） l 线路资源：电信联通移动 l 保底防护带宽：建议保底防护带宽高于日常遭受攻击的峰值。 l 弹性防护带宽：购买高防实例后，可以根据业务实际情况，修改弹性防护带宽。 l 端口数、防护域名数：默认提供50个，如需扩容可联系华为云客户经理商务定制。 l 业务带宽：建议此业务带宽规格大于或等于源站出口带宽，否则可能会导致丢包或者影响业务。 网站类业务接入操作步骤： 购买→ 配置域名接入 →放行回源IP→放行回源IP→验证配置→ 修改DNS 详细配置指导见链接： https:// support.huaweicloud.com/qs-aad/index.html 非网站类业务接入操作步骤: 购买