pip

一、目录结构： pip.conf文件： [global] index-url = https://mirrors.aliyun.com/pypi/simple/ [install] trusted-host=mirrors.aliyun.com requirements.txt文件： Django== 2.2.2 PyMySQL== 0.9.3 xlrd== 1.2.0 XlsxWriter== 1.1.8 xlwt== 1.3.0 uWSGI== 2.0.18 uwsgitop== 0.1 Dockerfile文件： FROM ubuntu: 18.04 # 基础镜像 MAINTAINER yangjianliang < 526861348@qq.com > # 作者 RUN sed -i s@ /archive.ubuntu.com /@ /mirrors.aliyun.com /@g /etc /apt /sources.list # 设置apt源为阿里云源 RUN apt-get clean && \ apt-get update && \ apt-get upgrade -y # 检查软件包并升级 RUN apt-get update && \ apt-get install -y \ python3 && \ apt-get update && \ apt-get

最近在学习实时机器学习或者说增量学习相关的内容，目前中文资料相关的介绍非常少，今天借着creme这个库介绍下Online Learning的原理，以及Online Learning和Batch Learning的一些区别。 1 Online Learning和Batch Learning的区别 Batch就是目前常用的计算模式，需要离线数据，离线训练，离线评估，然后上线。 离线的好处就是比较稳定，可以用大的数据量去训练和评估，如果模型效果不好也方便替换。 OnlineLearning更多地是一个实时运行的体系，实时有样本产生，实时提取特征并且和目标列拼接成样本，实时评估和训练。 Online Learning需要具备下述的几个特点： 数据从流式数据源获取，比如Kafka、MQ 可以对Mini Batch甚至单样本训练并产生新模型 特征和目标可以实时生成并实时拼接成样本 2 Online Learning应用场景和优缺点 Online Learning优点很明显，就是可以对训练样本做实时的反馈。所以应用的场景也主要是互联网领域，对实时性要求很高的场景。在推荐广告领域，Online Learning后续非常有发挥的空间。 Online Learning的优势就是实时产出模型，数据的时效性强。之所以没有大范围普及，主要因为劣势也很明显，运维成本会比较高。比如如何保证实时样本拼接的准确性

　 Python入门：Anaconda和Pycharm的安装和配置 　　子曰：“工欲善其事，必先利其器。”学习Python就需要有编译Python程序的软件，一般情况下，我们选择在Python官网下载对应版本的Python然后用记事本编写，再在终端进行编译运行即可，但是对于我这样懒的小白，我喜欢装一些方便的软件来辅助我编写程序。在学习Java时，正常情况选择安装JDK然后配置环境变量后，用记事本编写程序再在终端编译运行即可，而我一般选择安装JDK+MyEclipse。将Python和Java进行类比的话，在Python中使用Python+Pycharm好比是在Java中使用JDK+MyEclipse，这里我们不用Python+Pycharm而是使用Anaconda+Pycharm，为什么呢? 　　Anaconda 是一个基于 Python 的数据处理和科学计算平台，它已经内置了许多非常有用的第三方库，装上Anaconda，就相当于把 Python 和一些如 Numpy、Pandas、Scrip、Matplotlib 等常用的库自动安装好了，使得安装比常规 Python 安装要容易。如果选择安装Python的话，那么还需要 pip install 一个一个安装各种库，安装起来比较痛苦，还需要考虑兼容性，非如此的话，就要去Python官网（https://www.python.org

现阶段python在人工智能及数据分析中得到了很多的实践成果。而python的编辑器也有很多种，如：pychram、N++、jupyter……其中jupyter以web的形式来进行编辑的工具。接下来讲下如何使用睿江云服务来部署jupyter这强大的工具。 一、环境配置 1.centeos7 2.python3 二、安装jupyter notebook 安装jupyter 安装Jupyter Notebook 通过pip安装Jupyter Notebook #安装jupyter notebook python3 -m pip install jupyter #安装完会在python3的包管理器，创建一个软连接以便在任何地方都可以直接执行 ln -s /usr/local/python3/bin/jupyter /usr/bin/jupyter 通过jupyter notebook命令启动Jupyter服务器，验证是否安装成功 [root@instance-hrnebyqu bin]# jupyter notebook --allow-root [I 11:26:22.273 NotebookApp] JupyterLab beta preview extension loaded from /root/anaconda3/lib/python3.6/site-packages

1 Jupyter简介 Jupyter Notebook是一个交互式笔记本，支持运行40多种编程语言，本质是一个Web应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和Markdown。 2 安装 使用 pip 或 pip3 安装： # sudo pip install jupyter sudo pip3 install jupyter 3 简单自定义设置 首先生成默认配置： jupyter notebook --generate-config 接着会提示默认配置的位置，打开，找到 c.NotebookApp.notebook.dir='' 可以修改默认目录： 注意需要加上 u 前缀，表示Unicode字符串。 c.NotebookApp.browser 可以修改默认浏览器，比如修改为Chrome： 需要加上 %s 参数，路径修改为对应路径。 其余配置请配合注释直接修改。 4 补全 补全需要安装 nbextensions 以及 nbextensions_configurator ： sudo pip3 install jupyter_contrib_nbextensions jupyter_nbextensions_configurator # sudo pip install jupyter_contrib_nbextensions jupyter

计算年、月、日需要安装组件包 pip install python-dateutil 当前日期时间 import datetime print datetime.datetime.now() # 2018-05-08 16:53:30.101000 格式化时间 import datetime print datetime.datetime.now().strftime("%Y-%m-%d %H:%M") # 2018-05-08 16:54 多加一天 import datetime print (datetime.datetime.now()+datetime.timedelta(days=1)).strftime("%Y-%m-%d %H:%M:%S") # 2018-05-09 16:56:07 减一天 import datetime print (datetime.datetime.now()+datetime.timedelta(days=-1)).strftime("%Y-%m-%d %H:%M:%S") # 2018-05-07 16:56:59 可以把days改为hours minutes，就可以提前XX小时/分钟了。 timedelta([days[, seconds[, microseconds[, milliseconds[, minutes[, hours[,

tidb 集群部署详细步骤 一、准备工作 1. 四台服务器（开通外网） 117.50.96.236 centos 7.3 64位 117.50.96.235 centos 7.3 64位 117.50.96.234 centos 7.3 64位 117.50.96.233 centos 7.3 64位 2、修改个机器主机名（永久修改） hostnamectl set-hostname centos701 3. 选取主控机, 并做些简单的配置 我选了 117.50.96.236 作为主控机器 ssh 到主控机 ssh root@117.50.96.236 添加用户 useradd -m -d /home/tidb tidb 赋予权限，并免密 visudo // 在文件尾部添加如下一行 tidb all=(all) nopasswd: all 切换到 tidb 用户 su - tidb 创建 ssh 密钥 ssh-keygen -t rsa 安装 tidb 依赖工具 安装 git sudo yum install git -y 安装 ansible sudo yum install ansible -y 克隆 tidb-ansible git clone -b v3.0.0 https://github.com/pingcap/tidb-ansible.git tidb-ansible

Python实战社群 Java实战社群 长按识别下方二维码， 按需求添加 扫码关注添加客服 进Python社群▲ 扫码关注添加客服 进Java社群 ▲ 来源丨 恋习Python https://mp.weixin.qq.com/s/6Oy0IzWepqILG0VSbLTczw 本文于网络整理，版权归原作者所有 这是一名5年经验的 Python小伙伴总结的90条python建议，如果你也在学pythpn，准备要学习python，希望这篇文章对你有用。 1. 首先 建议1、理解Pythonic概念—-详见Python中的《Python之禅》 建议2、编写Pythonic代码 （1）避免不规范代码，比如只用大小写区分变量、使用容易混淆的变量名、害怕过长变量名等。有时候长的变量名会使代码更加具有可读性。 （2）深入学习Python相关知识，比如语言特性、库特性等，比如Python演变过程等。深入学习一两个业内公认的Pythonic的代码库，比如Flask等。 建议3：理解Python与C的不同之处，比如缩进与{}，单引号双引号，三元操作符？，Switch-Case语句等。 建议4：在代码中适当添加注释 建议5：适当添加空行使代码布局更加合理 建议6：编写函数的4个原则 （1）函数设计要尽量短小，嵌套层次不宜过深 （2）函数声明应该做到合理、简单、易用 （3）函数参数设计应该考虑向下兼容

吾生也有涯，而知也无涯。以有涯随无涯，殆已！ 入市有风险，投资需谨慎，本文不作为任何投资参考依据。 前面通过形态和一些基本面的数据进行了选股，这篇文章就来研究一下相似度选股以及趋势选股吧。 相似度 我们一般比较在意股票的收盘价，比如均线或者各种指标如果需要计算一段序列值，我们一般选择收盘价作为序列中的值，就像5日均线计算的是五日的收盘价的均值一样。 那么每天的收盘价就是一个个数字，一年的收盘价就是一串大概220个数字的序列，这个序列在数学上我们可以用向量来表示，而向量与向量之间是可以计算余弦相似度的，通过这个相似度计算我们可以比较一下两支股票的相似程度。 余弦相似度的值在-1与1之间，越相似就越接近1，反之越接近-1. 它的公式如下: 假设我们对对一支股票很熟悉，那么和它走势极其相似的股票我们是不是可以认为会在以后也跟我们熟悉的那支股票大概一致呢？或者说，在某个特定的行情下，在手动选出了我认为有利的趋势股票，在通过相似度找到其他的股票或许是件不错的事。 这里研究一下最近一百个交易日内与平安银行(000001)这只股票最相似的前十只股票。 为了避免交易日范围相差太大的情况，比如虽然都是最近100个交易日，但是被计算的股票已经停牌了10个交易日或者它没有上市超过10个交易日，所以应该将这些情况给筛选掉。 还有就是股票之间的价格差距过大，那么通过两只股票的价格来进行相似度比较显然不够合理

最近师弟在做DQN的实验，由于是强化学习方面的东西，正好和我现在的研究方向一样于是我便帮忙跑了跑实验，于是就有了今天的这个内容。 首先在github上进行搜寻，如下图： 发现第一个星数最多，而且远高于其它的项目，于是拉取这个链接： https://github.com/devsisters/DQN-tensorflow 本篇博客主要是讲解一下该代码运行环境的如何搭建，采用 conda 配置。 首先看下 README 上的内容， 主要是requirement最重要： 考虑到运行的兼容性，于是决定使用python2.7版本环境运行，下面开始 conda 的配置： 搜寻python2.7版本，并采用最小自版本号 conda search python=2.7 选择 python2.7.3版本， 为环境命名 dqn_2 : conda create -n dqn_2 python=2.7.3 进入新建环境，并确认版本： conda activate dqn_2 安装 numpy scipy conda install numpy scipy 安装 tqdm (进度条模块) pip install tqdm==4.30 安装 gym (oepnai 的 游戏环境交互模块) 可选安装： pip install gym==0.1.0 必选安装： pip install gym[Atari]==0