Jupyter Notebook

在线公开课 | 如何基于模型训练平台快速打造AI能力?

醉酒当歌 提交于 2020-03-05 11:55:11
课程概要 近年来,随着大数据的积累、理论算法的革新、计算能力的提升,人工智能人工智能再次受到学术界和产业界的广泛关注,并在很多应用领域取得了突破性进展。不过,定制模型往往需要 AI 算法科学家们搭建深度学习模型,不断地进行训练和测试才能得到。在实际工作中,业务方往往还要根据场景和数据的变化,持续进行模型改进工作。这时候,低成本快速定制并发布 AI 能力至关重要。那么京东在 AI 方向有哪些探索?AI 开发全流程是怎样的?如何加速模型开发?本文将解答这些问题。 点击【 阅读 】可查看课程视频! 基于模型训练平台快速打造AI能力 — 京东智联云 朱二涛 — AI能力开发全流程 目前,人工智能领域尚未形成完善的参考框架。但人工智能标准化白皮书(2018 版)基于人工智能的发展状况和应用特征,从人工智能信息流动的角度出发,提出了一种人工智能参考框架,这个框架描述了整个 AI 能力的产生。 在人工智能整个体系中有三大要素:数据、算力和算法。 基础设施提供者(算力) 基础设施提供者为人工智能系统提供计算能力支持,实现服务与外部世界的沟通,并通过基础平台实现支撑。AI 上的计算能力通常由智能芯片提供;与外部世界的沟通则通过新型传感器实现,比如摄像头、麦克风以及各种物联网设备,它们负责搜集终端数据供业务使用;基础平台包括分布式计算框架提供商及网络提供商提供平台保障和支持,即包括云存储和计算

文学式编程-nbdev入门教程

亡梦爱人 提交于 2020-02-27 14:13:40
nbdev是一个使用Jupyter Notebook进行多模块软件开发的辅助工具,可以将多个Notebook组装为一个大型的软件系统,自动生成代码和文档,并能够在Notebook中进行交互运行和探索性测试。 nbdev 源码: https://github.com/fastai/nbdev nbdev 文档: https://nbdev.fast.ai/ nbdev主要完成下面的功能: 建立python开发框架和git repo版本。 在notebook中的cell中使用#export标记为输出代码区块。 使用库函数notebook2script()将#export标记的代码转化为python库*.py。 所生成的代码放在project name的目录下,可以在notebook中引用或者直接运行。 例程项目,用于nCoV分析(初级阶段): https://github.com/openthings/anti2020ncov 1、安装 nbdev已经加入 PyPI,使用下面的命令安装: pip install nbdev 对于 editable install ,使用: git clone https://github.com/fastai/nbdev pip install -e nbdev 2、快速开始 2.1 创建项目 开始自己的 project, 点击: nbdev

开始Python编程,你一定需要的环境搭建!

佐手、 提交于 2020-02-27 07:41:19
工欲善其事,必先利其器 想要写好代码,首先得安装依赖环境。所以,今天我们来聊一聊写代码之前的工具准备。 1.安装python linux和macos下,python是直接安装好的。 我用的windows,在这里说说win下安装python的过程。 python.org 这是官网,下载windows最新版就好了; 外网比较慢,可在后台回复 编辑器 领取。 你可以选择安装到默认位置,也可以自定义安装目录。 **注意:** 勾选“Add Python 3.7 to PATH” 安装python安装包时,自动安装了pip包管理工具,后文中会讲到pip。 2.新建第一个python文件 打开IDLE ==> 选择 File 菜单下的New File ==> 输入以下代码:print('世界杯篮球赛') ==> 保存为 test.py 文件 3.print函数 4.运行python文件的两种方式 1)在终端中,进入 test.py 所在的目录,执行以下命令: python test.py 2)在IDLE中运行文件 5.选择编辑器 接下来,我们还得选择一款舒服的编辑器。 注意: python是解释器,有很多版本,可以共存。 pycharm、vs code是编辑器,可以让你的代码写得很轻松,并支持调试等其他功能。 对于pycharm IDE,你需要在setting中,选择python解释器

抗击新冠病毒(2)-基于Jupyter+nbdev的数据分析

。_饼干妹妹 提交于 2020-02-27 05:04:14
新型冠状病毒(ncov)肺炎疫情分析项目。 采用Jupyter Notebook,基于nbdev创建,目前还处于 初级阶段。 项目数据, https://github.com/openthings/anti2020ncov/tree/master/data 项目源码, https://github.com/openthings/anti2020ncov 其它项目, 2020-nCoV open-source projects “这不是数据,是生命。” 1、说明 本项目仅作为nbdev应用示范,nCoV数据及分析结论请参考专业机构发布的报告,如: 丁香园-新型冠状病毒肺炎疫情实时动态, https://ncov.dxy.cn/ncovh5/view/pneumonia?from=singlemessage&isappinstalled=0 全国卫健委-新型冠状病毒肺炎疫情防控, http://www.nhc.gov.cn/xcs/xxgzbd/gzbd_index.shtml 全国卫健委-官方网站, http://www.nhc.gov.cn 2、运行环境 运行环境为Jupyter Notebook。 Jupyter Notebook参考: https://my.oschina.net/u/2306127?q=jupyter 本项目采用nbdev( https://github

Anaconda3修改jupyter_notebook打开的默认路径

徘徊边缘 提交于 2020-02-26 11:34:55
1. windows下,找到jupyter_notebook配置文件jupyter_notebook_config.py: 默认安装在 C:\Users\Administrator\.jupyter\jupyter_notebook_config.py 修改jupyter_notebook_config.py #c.NotebookApp.notebook_dir = '' --> c.NotebookApp.notebook_dir = u'D:\\PythonProjs' 2. 找到Jupyter Notebook (Anaconda3)的快捷方式: 默认在C:\Users\Administrator\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Anaconda3 (64-bit)\Jupyter Notebook (Anaconda3) 选中,点击鼠标右键,修改 C:\Users\Administrator\Anaconda3\python.exe C:\Users\Administrator\Anaconda3\Scripts\jupyter-notebook-script.py "%USERPROFILE%/" 为 C:\Users\Administrator\Anaconda3\python.exe C:

运用Jupyter Notebook进行系统管理

谁说我不能喝 提交于 2020-01-10 09:26:49
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Jupyter Notebook可以将系统信息作为页面进行展示,将python等信息和shell等执行工具集成到统一的页面(参考《 IPython 6/Jupyter的magic操作符 》、 IPython的Magics魔法操作符 ),从而提供一个完整的自定义动态视图。Jupyter Notebook Server还提供Text/HTML/Markdown/JSON/YAML等多种文档编辑器以及可以打开多个并随意布局的Web shell支持,不仅可用于数据分析,也是系统管理、维护的利器。 上图,在Notebook中运行GlusterFS存储系统和Kubernetes的管理工具。 1、安装步骤 包括: JupyterLab的本地安装和使用(Ubuntu 18.04) 将Jupyter/JupyterHub/JupyterLab运行为系统服务 Jupyter notebook中的sudo问题详解 2、使用方法 Jupyter Notebook是在服务器上运行的,默认是安装(或服务)的账号。因此,所有的状态是持续的,上次打开的窗口下次在任何地方打开都是上次的状态,如果多个页面同时打开,普通页面可以刷新同步,终端shell是自动更新的。 Python代码 普通的python代码在打开notebook后,输入代码

Python 2 与 3 共存了 11 年,新年就要和它告别

我的梦境 提交于 2020-01-06 23:29:34
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> >在 Python 3.9 都已经进入 dev 版本的 2020 年,Python 2 终于要和我们告别了。 2 and 3 Python 2 第一个版本发布于 2000 年 10 月 16 日,到今年正好是第 20 个年头。而 Python 3 发布于 2008 年 12 月 3 日,但由于 3.0 版本在底层进行了大量重构(主要是 Unicode 与 C API 的改动),无法完整兼容 Python 2,因此官方并没有停止对 Python 2 的维护。 从此 2 与 3 依然都在发布新版本,官方想通过平滑的方式过渡到新版本。然而并不是所有的社区贡献者有这种精力去同时维护两个版本,许多开源库它们至今都停更在 2.X 版本。 两版本共存的日子,一晃就是 11 年。 2 to 3 好在 Python 3 更新了越来越多独有的特性与性能优化,加上社区的不断努力推动,在近几年爆发增长的初学者当中,大部分都被推荐使用了 3.X 版本作为入门版本,3 版本在近几年才占据了主导。 终于 Python 核心开发团队对外宣布,将在 2020 年逐步停止对 Python 2 的支持,但并没有给出具体时间。 2017 年 NumPy 正式宣布将在 2019 年 1 月 1 日停止支持 Python 2。之后 pandas 与

是程序员,就用python导出pdf

血红的双手。 提交于 2019-12-12 18:24:03
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 这两天一直在做课件,我个人一直不太喜欢PPT这个东西……能不用就不用,我个人特别崇尚极简风。 谁让我们是程序员呢,所以就爱上了Jupyter写课件,讲道理markdown也是个非常不错的写书格式啊。 安装Jupyter其实非常简单,你会python就应该会用jupyter,起码简单的 pip install jupyter, jupyter notebook 要会对伐~ 好那接下来就是使用jupyter了,启动jupyter后,使用浏览器访问相应IP:Port就可以使用了。没错,jupyter就是这么一个可以用网站来写python的地方。 但是发讲义给同学们看,ipynb格式的文件肯定不方便啊,别人还没上课呢,哪知道那么多?再者PDF传阅起来也随时随地能打开啊。所以我就想转换成PDF。 但是打开文件,点击下载,发现出现了Error 然后照着这个Error,就去谷歌了,发现说的最多的就是要装一个latex环境,mac下完整的安装包要将近3个G!我就为了一个PDF还不需要这么大一个包吧?所以寻思其他方法。 虽然jupyter对PDF支持的不是那么的友善,但是对于html是非常棒的,只不过html是一个html嘛(这不是废话)……不过我可以利用html转换到pdf上啊。 后来了解到python有一个包叫 pdfkit

使用jupyter notebook连接服务器进行远程炼丹

不羁岁月 提交于 2019-12-12 14:03:04
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 之前有人分享过使用VSCode远程炼丹 今天分享用jupyter notebook实现同样的功能 (1)简单介绍一下jupyter notebook的优点 Jupyter Notebook是一个开源的Web应用程序,旨在方便开发者创建和共享代码文档。 它提供了一个环境,用户可以在里面 写代码、运行代码、查看结果,并在其中可视化数据 。 直接进入主题 注意:以下操作均在服务器上操作 1)确认是否已经安装jupyter notebook 如未安装,打开终端输入 sudo pip install jupyter (如果后续出现提示缺少其他配置,需根据自身情况进行安装即可) 2)生成配置文件 终端中输入 jupyter notebook --generate-config 生成的配置文件(一般配置文件的位置** ~/.jupyter/jupyter_notebook_config.py** ),后面需要用到。这里请稍安勿躁!可查看确认是否正确生成 注意:如果之前安装过,可能会提示你是否要重置配置文件,推荐不要,例如本机上重置可能会导致jupyter notebook无法正常在浏览器打开(当然也是有办法解决的) 3)生成密码(后续写配置文件、登录Jupyter notebook需要,需要输入一大堆东西) 打开

Jupyter Notebooks的安装和使用介绍

♀尐吖头ヾ 提交于 2019-12-07 09:22:04
最近又开始重新学习Python,学习中使用到了一款编辑器Jupyter Notebooks ,非常想安利给初学python的同学。 注:本文内容仅针对windows环境下安装和配置Jupyter Notebooks 。 1.Jupyter Notebooks 简介 国际惯例还是来一段官方的介绍: Jupyter Notebook是一个Web应用程序,允许您创建和共享包含实时代码,方程,可视化和说明文本的文档。 用途包括:数据清理和转换,数值模拟,统计建模,机器学习等等。 1 Notebooks其实就像是你的python笔记本一样,不仅可以运行书写的python代码,同时还支持markdown格式的文本显示。 在Notebooks中不仅可以运行python,它还支持R、Julia 和 JavaScript等其他40余种语言。 2.安装Jupyter Notebooks 安装方式大致分为两种: pip 方法 Anaconda 方法 pip 方法 使用pip命令安装之前需要我们先安装Python。此处以python3.6为例 1.安装Python 可以在python下载处,选则对应的系统版本,我这里选择Windows x86-64 executable installer下载安装。 具体的安装就不再赘述,主要说明一下几点: 需要注意的是安装时记得勾选Add Python 3.6 to