pytorch

这是本人第一次写博客，就当是自己实现算法的一个记录吧，有什么不好的地方也请多多指教。我会详细的从环境的配置到算法实现都说明一下，希望对大家能有帮助。 本火焰识别算法采用的是pytorch版本的yolov3检测，yolov3基于Darknet-53网络结构，在图像识别领域应用特别广。 本算法识别的效果如下： 下面开始实际操作啦 一、配置环境 算法所需环境如下： Python： 3.7.4 Tensorflow-GPU 1.14.0 Keras: 2.2.4 numpy:1.17.4 我的操作系统是Ubuntu16.04，windows系统同样可以实现此算法这里建议使用anaconda来快速搭建一个虚拟环境。 如果是ubuntu系统可以参考这篇博客安装anaconda，Anaconda 是 Python 的一个出色的集成开发工具集，对于搞深度学习的人来说应该是必备的。 ubuntu安装anaconda链接 有了anaconda后就可以用它创建虚拟环境啦。具体可以参考这篇博客。 anaconda创建虚拟环境 之后安装Tensorflow,由于我的显卡是AMD的，所以安装的CPU版的，大家可以根据自己的显卡安装相应版本。运行下面的命令安装Tensorflow。 pip install tensorflow==1.14.0 下一步安装相应版本的Keras,运行下面的命令。 pip

参考链接： https://blog.csdn.net/weixin_41519463/article/details/100863313 import torch import torch.nn as nn from pytorch_transformers import BertModel, BertConfig,BertTokenizer # 使用gpu device0 = torch.device( " cuda " if torch.cuda.is_available() else " cpu " ) # 输入处理 tokenizer = BertTokenizer.from_pretrained( ' bert-base-uncased ' ) # 从预训练模型中加载tokenizer # text = "[CLS] Who was Jim Henson ? [SEP] Jim Henson was a puppeteer [SEP]"#开始结束标记 # tokenized_text = tokenizer.tokenize(text) #用tokenizer对句子分词 # indexed_tokens = tokenizer.convert_tokens_to_ids(tokenized_text)#词在预训练词表中的索引列表 # segments_ids = [0,

注：文末附【深度学习与自然语言处理】交流群 介绍一个Seq2seq模型的实现tutorial，使用pytorch和torchtext实现。目前已经有2400个start，质量应该不错。有代码参考比没有代码参考可好太多了，尤其对于新手！ 还给出了一些其他Seq2seq的实现仓库： 机器学习算法-自然语言处理交流群 已建立机器学习算-自然语言处理微信交流群！想要进交流群进行学习的同学，可以直接加我的微信号： HIT_NLP 。加的时候备注一下： 知乎+学校+昵称 （不加备注不会接受同意，望谅解） ，即可。然后我们就可以拉你进群了。群里已经有非得多国内外高校同学，交流氛围非常好。 推荐阅读 156个参考文献！Visual Transformer 调研survey NLP生成任务痛点！58页generation评价综述 机器学习画图模板ML Visuals更新 谷歌最新28页高效 Transformer 模型综述 Papers with Code 2020 全年回顾 最新14页《图神经网络可解释性》综述论文 陶大程等人编写！最新41页深度学习理论综述 使用PyTorch时，最常见的4个错误 加拿大蒙特利尔大学助理教授刘邦招收2021/2022年博士生 【EMNLP2020】基于动态图交互网络的多意图口语语言理解框架 一文搞懂 PyTorch 内部机制 AAAI 2021论文接收列表放出!!

去年推荐的机器学习画图模板ML Visuals前几天已经更新，ML Visuals 现在包含了 100 多个可用的自定义图形，可以方便我们在任何论文、博客、PPT 中使用这些资源。伸手党福利好吧！ 我们来看一下几个图，秀一下： 项目地址： https://github.com/dair-ai/ml-visuals ​ github.com 赶紧fork+star吧。 机器学习算法-自然语言处理交流群 已建立机器学习算-自然语言处理微信交流群！想要进交流群进行学习的同学，可以直接加我的微信号： HIT_NLP 。加的时候备注一下： 知乎+学校+昵称 （不加备注不会接受同意，望谅解） ，即可。然后我们就可以拉你进群了。群里已经有非得多国内外高校同学，交流氛围非常好。 推荐阅读 谷歌最新28页高效 Transformer 模型综述 30页少样本学习综述！Learning from Very Few Samples Papers with Code 2020 全年回顾 最新14页《图神经网络可解释性》综述论文 陶大程等人编写！最新41页深度学习理论综述 使用PyTorch时，最常见的4个错误 加拿大蒙特利尔大学助理教授刘邦招收2021/2022年博士生 【EMNLP2020】基于动态图交互网络的多意图口语语言理解框架 一文搞懂 PyTorch 内部机制 AAAI 2021论文接收列表放出!

作者单位：微软，华盛顿大学 (jianfeng gao等人) 论文 Evaluation of Text Generation: A Survey 注：文末附【深度学习与自然语言处理】交流群 NLP领域的生成问题一直就是一个非常火的topic，衍生出了各种细化的问题，如摘要，对话生成，标题生成，代码生成等，任何一个都是一堆研究者关注的问题，但是评价始终是阻挠该方向真正突破的痛点。到底是BLEU好，还是ROUGE好，到最后还是不如人工评价好，难顶啊！ jianfeng gao等人对生成评价问题做了一个58页的详细综述，对这个问题的发展进程，未来趋势做了详细的看法，对这个方向感兴趣的可以了解，这个方向是一个可以出Best paper的方向，奥利给！ 机器学习算法-自然语言处理交流群 已建立机器学习算-自然语言处理微信交流群！想要进交流群进行学习的同学，可以直接加我的微信号： HIT_NLP 。加的时候备注一下： 知乎+学校+昵称 （不加备注不会接受同意，望谅解） ，即可。然后我们就可以拉你进群了。群里已经有非得多国内外高校同学，交流氛围非常好。 推荐阅读 机器学习画图模板ML Visuals更新 谷歌最新28页高效 Transformer 模型综述 Papers with Code 2020 全年回顾 最新14页《图神经网络可解释性》综述论文 陶大程等人编写！最新41页深度学习理论综述

©PaperWeekly 原创 · 作者｜张子逊 研究方向｜神经网络剪枝、NAS 在神经网络优化的研究中，有研究改进优化器本身的（例如学习率衰减策略、一系列 Adam 改进等等），也有不少是改进 normalization 之类的技术（例如 Weight Decay、BN、GN 等等）来提高优化器的性能和稳定性。除此之外，还有一个比较常见的技术就是 Weight Averaging，也就是字面意思对网络的权重进行平均，这也是一个不错的提高优化器性能/稳定性的方式。 Stochastic Weight Averaging (SWA) 在神经网络的优化中，有一个比较公认的问题就是 train loss 和 test loss 优化曲面不一致。导致这个问题可能的原因有很多，（以下是个人推测）可能是 train 和 test 数据本身存在分布不一致的问题、也可能是因为训练的时候在 train loss 中加入了一系列正则化等等。由于这个不一致的问题，就会导致优化出来的网络 generalization performance 可能会不好。 本文提出了一个比较简单直接的方式来解决这个问题，在优化的末期取 k 个优化轨迹上的 checkpoints，平均他们的权重，得到最终的网络权重，这样就会使得最终的权重位于 flat 曲面更中心的位置。这个方法也被集成到了 PyTorch 1.6