Jupyter Notebook

数据科学家是“比软件工程师更擅长统计学，比统计学家更擅长软件工程的人”。许多数据科学家都具有统计学背景，但是在软件工程方面的经验甚少。我是一名资深数据科学家，在Stackoverflow的python编程方面排名前1%，并与许多（初级）数据科学家共事。以下是我经常看到的10大常见错误，本文将为你相关解决方案： 不共享代码中引用的数据 对无法访问的路径进行硬编码 将代码与数据混合 在Git中和源码一起提交数据 编写函数而不是DAG 写for循环 不编写单元测试 不写代码说明文档 将数据保存为csv或pickle文件 使用jupyter notebook 1. 不共享代码中引用的数据 数据科学需要代码和数据。因此，为了让别人可以复现你的结果，他们需要能够访问到数据。道理很简单，但是很多人忘记分享他们代码中的数据。 import pandas as pd df1 = pd.read_csv('file-i-dont-have.csv') # fails do_stuff(df) 解决方案：使用d6tpipe（ https://github.com/d6t/ d6tpipe）来共享你的代码中的数据文件、将其上传到S3/web/google驱动等，或者保存到数据库，以便于别人可以检索到文件（但是不要将其添加到git，原因见下文）。 2. 对无法访问的路径进行硬编码 与错误1相似

(base) C:\Users\panga>jupyter notebook --generate-config Writing default config to: C:\Users\panga\.jupyter\jupyter_notebook_config.py (base) C:\Users\panga> 修改值 #c.NotebookApp.notebook_dir = '' E:\soft\Anaconda\python.exe E:\soft\Anaconda\cwp.py E:\soft\Anaconda E:\soft\Anaconda\python.exe E:\soft\Anaconda\Scripts\jupyter-notebook-script.py %USERPROFILE% 删掉%USERPROFILE% 这时候再打开就可以了 来源： oschina 链接： https://my.oschina.net/jywm/blog/3131564

在Jupyter notebook的容器镜像栈中，使用了官方的jovyan账号来进行默认登录，该账号没有root权限，不能执行apt之类的操作安装软件。这是为了保护本机宿主系统，但对于容器就很不方便，而且不是很必要（分使用场景哈）。 开启root权限有两种办法： 以root账户运行notebook。 设置jovyan的root权限。 基本用法： docker run -p 8888:8888 -d --name jupyter jupyter/all-spark-notebook jupyter lab 1、以root账户运行notebook 容器启动参数 Password authentication is disabled for the NB_USER (e.g., jovyan ). This choice was made to avoid distributing images with a weak default password that users ~might~ will forget to change before running a container on a publicly accessible host. You can grant the within-container NB_USER passwordless sudo access by