tensorflow

https://www.zybuluo.com/Dounm/note/1031900 GBDT算法详解　　 http://mlnote.com/2016/10/05/a-guide-to-xgboost-A-Scalable-Tree-Boosting-System/ XGboost: A Scalable Tree Boosting System论文及源码导读 2016/10/29 XGboost核心源码阅读 2016/10/05 XGboost: A Scalable Tree Boosting System论文及源码导读 2016/11/18 简述FastDBT和LightGBM中GBDT的实现 2016/10/29 XGboost核心源码阅读 2016/10/05 XGboost: A Scalable Tree Boosting System论文及源码导读 2016/10/02 Gradient Boosting Decision Tree[下篇] 2016/09/24 Gradient Boosting Decision Tree[上篇] xgboost 解读（2）——近似分割算法 zhihu： -如何理解 Bregman 散度？ -有哪些指标可以描述两个图（graph）的相似度？ -CNN模型可以输入离散特征吗？ - xgboost

<h3>前边的章节介绍了什么是Tensorflow，本节将带大家真正走进Tensorflow的世界，学习Tensorflow一些基本的操作及使用方法。同时也欢迎大家关注我们的网站和系列教程：<a href="http://www.tensorflownews.com/">http://www.tensorflownews.com</a><a href="http://www.tensorflownews.com/">/</a>，学习更多的机器学习、深度学习的知识！</h3> Tensorflow是一种计算图模型，即用图的形式来表示运算过程的一种模型。Tensorflow程序一般分为图的构建和图的执行两个阶段。图的构建阶段也称为图的定义阶段，该过程会在图模型中定义所需的运算，每次运算的的结果以及原始的输入数据都可称为一个节点（operation ，缩写为op）。我们通过以下程序来说明图的构建过程： 程序2-1： <img class="alignnone size-full wp-image-1620 aligncenter" src="http://www.tensorflownews.com/wp-content/uploads/2018/03/图片57-1.png" alt="" width="623" height="224" /> 程序2-1定义了图的构建过程，

提起 AI ，大家都会先想到 Python ，确实 Python 作为一门好几十年的老语言，上一波的 AI 大流行使它焕发了青春。大家用 Phtyon 来做 AI ，最主要的原因无非就是编码量更少，很多数学和 AI 相关的 Api 都是现成的。但是随着 ML.net 的问世，我们现在可以在 .netcore 平台上使用比 Python 更少的代码来实现 AI 的功能了。 ML 是 Machine Learning 的缩写，从命名上可以看出微软对于对于 AI 的现状还是有非常清醒的认识的。目前我们所有声称的人工智能其实只是机器学习，离真正意义上的人工智能还差的很远。这也是为什么， AI 这个概念几乎每十年就火一次，然后陷入沉寂，因为我们在算法上其实始终没有突破，只是硬件比以前强大了，算的比以前快了而已。 上一波的 AI 创业大军已经纷纷倒下了，这也使我们认识到目前 AI 的水平是很难独立支撑一块完整的创新业务的，但是作为已有系统的补充，作为数据分析的工具， AI 还是很有用的，尤其是在图像识别，语义分析，数值预测等已有成熟算法的领域。 读到这里是不是以为这篇文章是喷概念的？必须不是啊，干货来了： ML.Net 主要特点： 跨平台，开源，使用简单，支持 Tensorflow 等扩展 一、 使用 ML.Net 的图形化工具生成机器学习代码 目前的 Visual Studio 2019

晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 只要解出薛定谔方程，你就能预测分子的化学性质。但现实很骨感，迄今为止，科学家只能精确求解一个电子的氢原子，即使是只有两个电子的氦原子都无能为力。 原因是有两个以上电子组成的薛定谔方程实在太复杂，根本无法精确求解。 既然找不到精确解，科学家们希望能找到一种实用的近似解求法，只要结果足够近似，也能预测原子或分子的行为。 近日，DeepMind开源了一个“ 费米网络 ”（FermiNet），用来求解分子的电子行为，在30个电子的有机分子上也达到了很高的精度。文章结果发表在期刊 Physical Review Research 上。 为什么叫费米网络 在量子力学中，电子没有精确的位置，我们只能从 波函数 预测电子在空间中出现的概率，也就是电子云。 比如氢原子的电子云就有以下几种形态。 曲面内表示电子出现的高概率区域。蓝色区域波函数为正，紫色区域波函数为负。（注：波函数平方表示电子出现的概率） 误差小于0.5%即可预测分子的能量，但这对于化学家来说远远不够，要准确预测分子的形状和化学性质，需要0.001%的精度，相当于以毫米精度测量足球场宽度。 电子在分子中不仅受到原子核的吸引力、其他电子的斥力，还遵循着量子力学中的 费米-狄拉克统计 ：如果两个电子交换状态，波函数要反号。 这也意味着两个电子的状态不可能完全相同，否则波函数为0

相信任何一个搞机器学习、深度学习的人都应该听说过一本经典教材：《Pattern Recognition and Machine Learning》，中文译名《模式识别与机器学习》，简称 PRML。出自微软剑桥研究院实验室主任 Christopher Bishop 大神之手。对，就是豆瓣评分 9.5 的这本书。 毫不夸张地说，PRML 当之无愧算得上是 AI 领域的圣经了。PRML 涵盖面广，语言通俗，例子和习题更加详细，附带更多基础性的讲解和指引，难度梯度设置更为合理，是其深受广大中老年 PHD 朋友喜爱的原因。 许多领域的学生和研究者都可以用到它，包括机器学习，统计学，计算机科学，信号处理，计算机视觉，数据挖掘和生物信息学等。 PRML 内容十分丰富，共有 14 章的内容，每一章都是干货满满。整体目录如下： 第一章 介绍 第二章 概率分布 第三章 线性回归模型 第四章 线性分类模型 第五章 神经网络 第六章 内核方法 第七章 稀疏内核机器 第八章 图形模型 第九章 混合模型和EM 第十章 近似推断 第十一章 采样方法 第十二章 连续潜在变量 第十三章 顺序数据 第十四章 组合模型 这本书虽然很经典很干货，但是书籍总页数达 700 多页,而且全书都是英文。相信很多人在啃这本书的时候有遇到了很多困难！ 重点来了！ 就在刚刚，PRML 被微软“开源”了。 这本书的官网为： https:

0、说明： 对于tensorflow配合keras使用，因为linux服务器没有root权限，所以目前最高可用版本是 1.6.0，否则就会报错某些 so找不到 conda install -n xujiandeeplearning tensorflow==1.6.0 ---------------------------分割线 说明：conda两个概念 环境envs，每个环境下可以安装packages，所以是有两个概念 env 和 package 而且conda可以同时安装python环境，所以执行conda命令之前不一定非得要有python环境的 1、首先是安装 bash ./Anaconda3-5.0.1-Linux-x86_64.sh #conda设置源 # 添加Anaconda的TUNA镜像 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ # TUNA的help中镜像地址加有引号，需要去掉 2、需要首先创建环境 env，然后在环境下创建 package #列举出所有环境 conda info -e查看已安装的环境，当前被激活的环境会显示有一个星号或者括号。 #创建一个环境 （注意这里制定了python=3.6,这个指定可以同时安装python

assignment 2 assignment2讲解参见： https://blog.csdn.net/BigDataDigest/article/details/79286510 http://www.cnblogs.com/daihengchen/p/5765142.html 最后一个作业Q5基于Tensorflow和Pytorch，将会需要在GPU上运行。 1. softmax_loss: log_probs[range(N), y]:从log_probs中取出纵值为yi，即正确标签，横值图像数，即从log_probs中取出y所指向的正确类的概率值，得到是一个[N,]数组，加和后除以N，即为softmax_loss。 2.关于batch normalization: 参见：https://www.cnblogs.com/guoyaohua/p/8724433.html 参见：https://www.cnblogs.com/skyfsm/p/8453498.html 反向传播参见：https://zhuanlan.zhihu.com/p/26138673 https://blog.csdn.net/kevin_hee/article/details/80783698 基本流程：减去均值（mini-batch mean）、除以方差(normalize)、scale and

作者：guan-yuan 项目地址： awesome-AutoML-and-Lightweight-Models 博客地址： http://www.lib4dev.in/info/guan-yuan/awesome-AutoML-and-Lightweight-Models/163359611 awesome-AutoML-and-Lightweight-Models A list of high-quality (newest) AutoML works and lightweight models including 1.) Neural Architecture Search, 2.) Lightweight Structures, 3.) Model Compression & Acceleration, 4.) Hyperparameter Optimization, 5.) Automated Feature Engineering. This repo is aimed to provide the info for AutoML research (especially for the lightweight models). Welcome to PR the works (papers, repositories) that are missed by the

#error "C++ versions less than C++11 are not supported." I encountered the same error. A nasty workaround was to add flags --std=c++11 and -DNDEBUG to the nvcc call in dnnlib/tflib/custom_ops.py ln 64 : cmd = 'nvcc --std=c++11 -DNDEBUG ' + opts.strip() https://mlog.club/article/2857895 “undefined symbol: _ZN10tensorflow12OpDefBuilder6OutputESs” https://blog.csdn.net/zaf0516/article/details/103618601 打开custom_ops.py中127行--compiler-options \'-fPIC -D_GLIBCXX_USE_CXX11_ABI=0，改为--compiler-options \'-fPIC -D_GLIBCXX_USE_CXX11_ABI=1，即可如下图所示： 来源： oschina 链接： https://my.oschina.net/u/4339825/blog

[深度应用]·Keras实现Self-Attention文本分类（机器如何读懂人心） 配合阅读： [深度概念]·Attention机制概念学习笔记 [TensorFlow深度学习深入]实战三·分别使用DNN,CNN与RNN(LSTM)做文本情感分析 笔者在 [深度概念]·Attention机制概念学习笔记 博文中，讲解了Attention机制的概念与技术细节，本篇内容配合讲解，使用Keras实现Self-Attention文本分类，来让大家更加深入理解Attention机制。 作为对比，可以访问 [TensorFlow深度学习深入]实战三·分别使用DNN,CNN与RNN(LSTM)做文本情感分析 ，查看不同网络区别与联系。 一、Self-Attention概念详解 了解了模型大致原理，我们可以详细的看一下究竟Self-Attention结构是怎样的。其基本结构如下 ​ 对于self-attention来讲，Q(Query), K(Key), V(Value)三个矩阵均来自同一输入，首先我们要计算Q与K之间的点乘，然后为了防止其结果过大，会除以一个尺度标度 ​ ，其中 ​ 为一个query和key向量的维度。再利用Softmax操作将其结果归一化为概率分布，然后再乘以矩阵V就得到权重求和的表示。该操作可以表示为 ​ 这里可能比较抽象，我们来看一个具体的例子（图片来源于 https:/