python机器学习

Amazon SageMaker Python 开发工具包提供了开源 API 和容器，使您可在 Amazon SageMaker 中，轻松使用多种不同的机器学习和深度学习框架来训练和部署模型。有关 Amazon SageMaker Python 开发工具包的一般信息，请参阅 https://github.com/aws/sagemaker-python-sdk 。有关在 Amazon SageMaker 中使用特定框架的信息，请参阅以下主题： 主题 将 Apache Spark 与 Amazon SageMaker 结合使用 将 TensorFlow 与 Amazon SageMaker 结合使用 将 Apache MXNet 与 Amazon SageMaker 结合使用 将 Scikit-learn 与 Amazon SageMaker 结合使用 将 PyTorch 与 Amazon SageMaker 结合使用 将 Chainer 与 Amazon SageMaker 结合使用 使用 SparkML Serving 与 Amazon SageMaker 来源： https://www.cnblogs.com/cloudrivers/p/11931024.html

前言 最近在做一款图床服务，关注公号的小伙伴一定记得小柒曾说过，会在周末放出的，不好意思放大家鸽子了。之所以一直没敢放出，是因为鉴黄接口一直没调试好，虽然我对公号的小伙伴百分之百信任，奈何互联网鱼龙混杂，万一上传了什么不雅的图片，然后不巧被某部门发现了，我包括我的服务器域名可就彻底玩完了！ 架构 如图，先聊一下图床的架构： Nginx 代理那是必备神器了。 lua 限流是一定的了，虽然前期没啥子流量，后期可能也没有。 限量限制大小也是必须的了，不然带宽受不了。 接入鉴黄，毕竟咱是合法备案网站。 文件多重备份，OSS、分布式文件、本地文件各一份，防止走丢。 为了查询方便，最后落库。 工具 SpringBoot，一个简化 Spring 开发的框架。 WebUploader，一个简单的以 HTML5 为主， FLASH 为辅的现代文件上传组件。 Python，加持各种开源第三方库处理图片。 nsfw_data_scraper，一个近 1w 星标的珍藏数据资源。 docker_nsfw_data_scraper，用于收集训练数据。 TensorFlow，开源机器学习库。 ResNet，图像分类的预训练模型。 TensorFlow-serving，部署 tensorflow 模型，并提供服务。 训练模型 训练之前，先介绍一个名词 NSFW ，之前我也不知道啥意思，毕竟是村里来的，什么泷泽萝拉

MNIST机器学习入门 转自:http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/mnist_beginners.html?plg_nld=1&plg_uin=1&plg_auth=1&plg_nld=1&plg_usr=1&plg_vkey=1&plg_dev=1 这个教程的目标读者是对机器学习和TensorFlow都不太了解的新手。如果你已经了解MNIST和softmax回归(softmax regression)的相关知识，你可以阅读这个 快速上手教程 。 当我们开始学习编程的时候，第一件事往往是学习打印"Hello World"。就好比编程入门有Hello World，机器学习入门有MNIST。 MNIST是一个入门级的计算机视觉数据集，它包含各种手写数字图片： 它也包含每一张图片对应的标签，告诉我们这个是数字几。比如，上面这四张图片的标签分别是5，0，4，1。 在此教程中，我们将训练一个机器学习模型用于预测图片里面的数字。我们的目的不是要设计一个世界一流的复杂模型 -- 尽管我们会在之后给你源代码去实现一流的预测模型 -- 而是要介绍下如何使用TensorFlow。所以，我们这里会从一个很简单的数学模型开始，它叫做Softmax Regression。 对应这个教程的实现代码很短

[小编推荐] 首先声明，这个教程的目标读者是机器学习和TensorFlow的新手。如果你熟悉MNIST和Softmax回归，有另外一篇快速教程你可以学习。开始学习这篇教程前，请确认你已正确安装TensorFlow。另外，本文由北方大冬瓜翻译，转载并注明版权，谢谢！ 在我们学习任何一门编程语言的时候，我们做的第一件事情就是写一个“Hello World！”程序；机器学习的“Hello World！”就是MNIST。MNIST是一个简单的计算机视觉数据集，它由下述的手写阿拉伯数字图像构成： MNIST同时也包括这些图像的标注，比如上述图像的标注分别是5，0，4和1。 在这篇教程中，我们会训练一个模型去预测图像是什么数字。我们当前的目标并不是精心训练一个业内领先的模型，而是让你先简单了解一下TensorFlow；但我们后面会为你提供如何训练一个业内领先模型的代码！首先，我们从一个非常简单的、叫做Softmax回归的模型开始。 这个教程的实际代码非常短，所有有趣的内容3行左右就够了。然而，对于我们最重要的是理解这些代码背后的含义：TensorFlow和核心机器学习理念都是如何工作的？所以，下面我们会非常仔细的讲解这些代码。 在Yann Lecun的网站上可找到MNIST数据。为方便起见，我们放置了自动下载并安装MNIST数据的Python代码。你可以象下面一样下载并import这些代码

100天搞定机器学习 大家好，100天搞定机器学习前54天是对Avik-Jain开源项目100-Days-Of-ML-Code的翻译+自己的理解 https://github.com/Avik-Jain/100-Days-Of-ML-Code 但是这个项目到54天就鸽掉了，十分可惜。 从第55天开始，我将续写这个栏目。 由于之前的文章太多参考Avik-Jain，我也将不定期对之前的章节进行重置。欢迎star， 另：欢迎关注我的微信公众号：机器学习算法与Python实战 这个专栏将首发至公众号，也欢迎添加我的私人微信，一起交流，也可合作将这个项目进行到底！ 添加好友麻烦备注：github 100天搞定机器学习|Day1数据预处理 100天搞定机器学习|Day2简单线性回归分析 100天搞定机器学习|Day3多元线性回归 100天搞定机器学习|Day4-6 逻辑回归 100天搞定机器学习|Day7 K-NN 100天搞定机器学习|Day8 逻辑回归的数学原理 100天搞定机器学习|Day9-12 支持向量机 100天搞定机器学习|Day11 实现KNN 100天搞定机器学习|Day13-14 SVM的实现 100天搞定机器学习|Day15 朴素贝叶斯 100天搞定机器学习|Day16 通过内核技巧实现SVM 100天搞定机器学习|Day17-18 神奇的逻辑回归 100天搞定机器学习

上篇博客我们说了感知器，这篇博客主要记录自适应线性神经元的实现算法及一些其他的训练细节，自适应线性神经元（简称为Adaline）由Bernard Widrow和他的博士生Tedd Hoff提出，对感知器算法进行了改进。 当然Adaline对输入向量x的处理和感知器是一样的，都是使用一个权重向量w与x线性组合后得到z，再使用激活函数将z压缩到二元输入（1/-1），区别在于Adaline使用梯度下降法来更新w。 因为我们的目的是准确分类，那么我们需要来衡量分类效果的好坏，在这里我们介绍目标函数： \[ J(w) = \frac12 \sum_i^n(y^i - \phi(z^i))^2 \] 它也可以叫做损失函数，通过上式我们可以大致理解为什么叫做损失函数，此函数可以计算出所有训练样本的真实值和预测值之间的误差平方和（Sum of Squared Errors，简称SSE），式子前面的那个1/2是为了之后求导方便添加的，没有其他意义。 有了损失函数，于是我们的目的更具体一点，就是为了选择合适的w，使损失函数取得最小值，损失函数越小，就意味着错误分类的情况越少，算法的分类效果也就越好。而因为Adaline的损失函数是一个凸函数，所以我们可以使用梯度下降来找到使损失函数取值最小的权重向量w，我们可以想象为一个小球滚下山： 刚开始的w也许会得到一个很大的损失函数，但是由于损失函数J是w的函数

一.AI&ML&DL 1.机器学习 机器学习是解决人工智能问题的最核心的技术。机器学习的核心是，从数据中自动学出规律。 2.深度学习 深度学习是一个框架，“深”即为把多个简单的模型叠加在一起。 3.数据的特征，样本，标签 （1）标签 标签是我们要预测的事物，即简单线性回归中的 y 变量。标签可以是小麦未来的价格、图片中显示的动物品种、音频剪辑的含义或任何事物。 （2）特征 特征是输入变量，即简单线性回归中的 x 变量。简单的机器学习项目可能会使用单个特征，而比较复杂的机器学习项目可能会使用数百万个特征。 （3）样本 样本是指数据的特定实例：x，分为有标签样本和无标签样本。 4.编写第一个AI程序 （1） 首先，这道题是根据身高预测体重，身高即为特征，体重为预测变量。 （2）数据可视化 这道题的特征只有体重，所以可以将数据在二维空间进行可视化，绘制散点图，通过散点图可以看出身高与体重之间的线性关系，随着身高的增加，体重也呈线性增加，所以本题的数据可以采用线性模型。 （3）训练 根据数据来拟合线性模型，通过得到的模型去预测给出的身高体重。 1）实例化模型 2）使用fit函数训练模型，x为特征，y为标签。 在data[:,0]中添加了一个reshape的函数，主要的原因是在之后调用fit函数的时候对特征矩阵x是要求是矩阵的形式。 reshape()函数可以改变数组的形状

夏乙 发自 凹非寺 量子位 出品 | 公众号 QbitAI 让神经网络自己设计神经网络，大降机器学习门槛的Google AutoML，最近终于开始了Beta测试。 不过，很快就有同行纷纷跳出来表示不服。最新的一波来自美国德州农工大学（Texas A&M University）助理教授胡侠和他的两名博士生：金海峰、Qingquan Song。 下图从左到右，依次就是这三位： 他们不仅吐槽了Google AutoML的问题，还给出了自己的解决方案： Auto-Keras ，一个基于Keras的 开源 自动机器学习Python软件库。 胡老师和学生们所列出的Google AutoML三大缺陷，简单来说是这样的： 来源： CSDN 作者： 量子位 链接： https://blog.csdn.net/yH0VLDe8VG8ep9VGe/article/details/81396337

Python数据分析实战：泰坦尼克号之灾与机器学习算法—1573人已学习 课程介绍 泰坦尼克号遇难获救预测是kaggle（数据建模与数据分析竞赛平台）上的一道just for fun的题，数据整洁，拿来练手，是极好的。这是个二元分类的机器学习问题，但是由于数据样本相对较少，在当时慌乱的情况下幸存者有一定的随机性，所以还是有一定挑战的。 课程收益 这道挑战题很经典，但是！在这次分享上，唐宇迪老师会用最通俗易懂的方式一步步讲解每一行代码，以及机器学习算法（逻辑回归与决策树），不仅适合正在学习数据分析和机器学习的同学，同样能帮有些基础的同学带入门。 讲师介绍 CSDN公开课 更多讲师课程 CSDN线上公开课全掌握！ 课程大纲 1. 泰坦尼克号之灾与机器学习算法（上） 49:27 2. 泰坦尼克号之灾与机器学习算法（下） 49:28 大家可以点击【 查看详情 】查看我的课程 来源： CSDN 作者： CSDN学院官方账号 链接： https://blog.csdn.net/csdngkk/article/details/83576219

链接：https://www.jianshu.com/p/2642f9d28f34 库名称简介 Chardet字符编码探测器，可以自动检测文本、网页、xml的编码。 colorama主要用来给文本添加各种颜色，并且非常简单易用。 Prettytable主要用于在终端或浏览器端构建格式化的输出。 difflib，[Python]标准库，计算文本差异 Levenshtein，快速计算字符串相似度。 fuzzywuzzy,字符串模糊匹配。 esmre,正则表达式的加速器。 shortuuid,一组简洁URL/UUID函数库。 ftfy，Unicode文本工具7 unidecode，ascii和Unicode文本转换函数。 xpinyin，将汉字转换为拼音的函数库 pangu.py，调整对中日韩文字当中的字母、数字间距。 pyfiglet，Python写的figlet程序，使用字符组成ASCII艺术图片 uniout，提取字符串中可读写的字符 awesome slugify，一个Python slugify库，用于处理Unicode。 python-slugify，转换Unicode为ASCII内码的slugify函数库。 unicode-slugify，生成unicode内码，Django的依赖包。 ply，Python版的lex和yacc的解析工具 phonenumbers