Apache Axis

因为之前写的接口改了，更新了下 一：数据准备阶段 此次数据所有来源均从这两个地方得到 1.腾讯各省份市的疫情接口 2.腾讯疫情历史每日数据接口和国外疫情数据接口 二：工具和环境 IDE：Pycharm 第三方模块 1.json 主要功能：处理接口数据 2.requests 主要功能：获取接口数据 3.pandas 主要功能：将数据保存为csv 4.datetime 主要功能：文件保存时间 5.pyecahrts 主要功能：数据可视化制作地图等 版本1.7.0 6.flask 主要功能：web展示 环境 python3.7 浏览器：Chrome浏览器 三 绘制地图 获取数据方法 返回的是数据需要进行转换 json.loads方法是把json对象转化为python对象 def getdata ( self ) : r = requests . get ( self . url ) . json ( ) data = json . loads ( r [ 'data' ] ) return data 1.多国累计确诊趋势折线图 lines = ( Line ( ) . add_xaxis ( [ x . strftime ( '%Y-%m-%d' ) for x in list ( pd . date_range ( start = '2020-02-25' , end =

因为之前写的接口改了，更新了下 一：数据准备阶段 此次数据所有来源均从这两个地方得到 1.腾讯各省份市的疫情接口 2.腾讯疫情历史每日数据接口和国外疫情数据接口 二：工具和环境 IDE：Pycharm 第三方模块 1.json 主要功能：处理接口数据 2.requests 主要功能：获取接口数据 3.pandas 主要功能：将数据保存为csv 4.datetime 主要功能：文件保存时间 5.pyecahrts 主要功能：数据可视化制作地图等 版本1.7.0 6.flask 主要功能：web展示 环境 python3.7 浏览器：Chrome浏览器 三 绘制地图 获取数据方法 返回的是数据需要进行转换 json.loads方法是把json对象转化为python对象 def getdata ( self ) : r = requests . get ( self . url ) . json ( ) data = json . loads ( r [ 'data' ] ) return data 1.多国累计确诊趋势折线图 lines = ( Line ( ) . add_xaxis ( [ x . strftime ( '%Y-%m-%d' ) for x in list ( pd . date_range ( start = '2020-02-25' , end =

这是HSE系列课程第一门，Introduction to Advanced Machine Learning. 第二周第二个编程作业，难易程度：中等。 使用TensorFlow对MNIST数据集图片进行分类，是一个多类分类问题。 本篇笔记对这个任务分成三个部分。 1. 实现一个二类分类问题 2. 实现一个多类分类问题，使用softmax回归，没有隐层。 3. 实现一个多类分类问题，使用softmax回归，有隐层。 from preprocessed_mnist import load_dataset X_train, y_train, X_val, y_val, X_test, y_test = load_dataset() print(X_train.shape, y_train.shape) import matplotlib.pyplot as plt %matplotlib inline plt.imshow(X_train[ 1 ], cmap= "Greys" ); (50000, 28, 28) (50000,) import tensorflow as tf s = tf.InteractiveSession() import numpy as np 1. 二类分类问题 需要将28×28的二维图片转为一维，转换完的数组加上 ‘_flatten’ 后缀。

Series基本功能： axes 返回行轴标签列表。 dtype 返回对象的数据类型(dtype)。 empty 如果系列为空，则返回True。 ndim 返回底层数据的维数，默认定义：1。 size 返回基础数据中的元素数。 values 将系列作为ndarray返回。 head() 返回前n行。 tail() 返回最后n行。 DataFrame基本功能 T 转置行和列。 axes 返回一个列，行轴标签和列轴标签作为唯一的成员。 dtypes 返回此对象中的数据类型(dtypes)。 empty 如果NDFrame完全为空[无项目]，则返回为True; 如果任何轴的长度为0。 ndim 轴/数组维度大小。 shape 返回表示DataFrame的维度的元组。 size NDFrame中的元素数。 values NDFrame的Numpy表示。 head()返回开头前n行。 tail()返回最后n行。 T(转置) 返回DataFrame的转置。行和列将交换。 实例： import pandas as pd import numpy as np # Create a Dictionary of series d = {'Name':pd.Series(['Tom','James','Ricky','Vin','Steve','Minsu','Jack']), 'Age':pd

Pandas有两种排序方式，它们分别是 - 按标签 按实际值 按标签排序 使用sort_index()方法，通过传递axis参数和排序顺序，可以对Series， DataFrame进行排序。 默认情况下，按照升序对行标签进行排序。 实例： df = pd.Series(['E','B','C']) print(df.sort_index(axis=0,ascending=False)) unsorted_df = pd.DataFrame(np.random.randn(10,2),index=[1,4,6,2,3,5,9,8,0,7],columns = ['col2','col1']) #按行排列 print (unsorted_df.sort_index(axis=0, ascending=False)) # 按列排列 print (unsorted_df.sort_index(axis=1, ascending=False)) 输出： 2 C 1 B 0 E dtype: object col2 col1 9 -0.680375 0.450634 8 0.354761 -0.919791 7 0.539276 -0.416008 6 -0.067286 0.513746 5 -0.191821 -1.265648 4 -1.075135 0.717537 3 -0

目录 行的union pd.concat df.append 列的join pd.concat pd.merge df.join 行列转置 pivot stack & unstack melt 本文示例数据下载 ，密码: vwy3 import pandas as pd # 数据是之前在cnblog上抓取的部分文章信息 df = pd.read_csv('./data/SQL测试用数据_20200325.csv',encoding='utf-8') # 为了后续演示，抽样生成两个数据集 df1 = df.sample(n=500,random_state=123) df2 = df.sample(n=600,random_state=234) # 保证有较多的交集 # 比例抽样是有顺序的，不加random_state，那么两个数据集是一样的 行的union pandas 官方教程 pd.concat pd.concat 主要参数说明： 要合并的dataframe，可以用 [] 进行包裹，e.g. [df1,df2,df3] ; axis =0,axis是拼接的方向，0代表行，1代表列，不过很少用pd.concat来做列的join join ='outer' ignore_index : bool = False,看是否需要重置index 如果要达到 union all 的效果

概念 为了处理数字数据，Pandas提供了几个变体，如滚动，展开和指数移动窗口统计的权重。 其中包括总和，均值，中位数，方差，协方差，相关性等； 所谓窗口，就是将某个点的取值扩大到包含这个点的一段区间，用区间来进行判断 移动窗口就是窗口向一端滑行，默认是从右往左，每次滑行并不是区间整块的滑行，而是一个单位一个单位的滑行； 窗口函数主要用于通过平滑曲线来以图形方式查找数据内的趋势。如果日常数据中有很多变化，并且有很多数据点可用，那么采样和绘图就是一种方法，应用窗口计算并在结果上绘制图形是另一种方法。 通过这些方法，可以平滑曲线或趋势。 rolling() 这个函数可以应用于一系列数据。指定window=n参数并在其上应用适当的统计函数。 DataFrame.rolling(window, min_periods=None, center=False, win_type=None, on=None, axis=0, closed=None) 参数说明 window：表示时间窗的大小，有两种形式：1）使用数值int，则表示观测值的数量，即向前几个数据；2）也可以使用offset类型，这种类型较复杂，使用场景较少，此处暂不做介绍； min_periods：每个窗口最少包含的观测值数量，小于这个值的窗口结果为NA。值可以是int，默认None。offset情况下，默认为1； center:

要将自定义或其他库的函数应用于Pandas对象，有三个重要的方法，下面来讨论如何使用这些方法。使用适当的方法取决于函数是否期望在整个DataFrame，行或列或元素上进行操作。 表合理函数应用：pipe() 行或列函数应用：apply() 元素函数应用：applymap() 表格函数应用 可以通过将函数和适当数量的参数作为管道参数来执行自定义操作。 因此，对整个DataFrame执行操作。 例如，为DataFrame中的所有元素相加一个值2 实例： import pandas as pd import numpy as np def adder(ele1,ele2): return ele1+ele2 df = pd.DataFrame(np.random.randn(5,3),columns=['col1','col2','col3']) df.pipe(adder,2) print df 执行上面示例代码，得到以下结果 - col1 col2 col3 0 2.176704 2.219691 1.509360 1 2.222378 2.422167 3.953921 2 2.241096 1.135424 2.696432 3 2.355763 0.376672 1.182570 4 2.308743 2.714767 2.130288 行或列合理函数应用 可以使用apply(

3 月，跳不动了？>>> 01 重建索引 reindex是pandas对象的重要方法。该方法用于创建一个符合新索引的新对象。 import pandas as pd obj = pd.Series([4.5, 7.2, -5.3, 3.6], index=['d','b','a','c']) print(obj) Series调用reindex方法会按新索引重新排列。 obj2 = obj.reindex(['a','b','c','d','e']) print(obj2) fill向前填充数据，bfill向后填充数据： obj3 = pd.Series(['blue','purple','yellow'], index=[0, 2, 4]) print(obj3) print(obj3.reindex(range(6),method='ffill')) 在DataFrame中，reindex方法的index关键字可以改变行索引，columns关键字可以改变列索引。 可以使用loc进行简洁的标签索引。 02 轴向上删除条目 drop方法会返回一个含有指示值或轴向上删除值的新对象： obj = pd.Series(np.arange(5.),index=['a', 'b', 'c', 'd', 'e']) print(obj) new_obj = obj.drop('c')

3 月，跳不动了？>>> 本文参考原文- http://bjbsair.com/2020-03-25/tech-info/6302/ 今天来看看网红Attention的效果，来自ACL的论文Hierarchical Attention Networks for Document Classification **论文概述 ** 近年来，在NLP领域，好像最流行的就是RNN、LSTM、GRU、Attention等及其变体的组合框架。这篇论文里作者就对文本的结构进行分析，使用了双向GRU的结构，并且对Attention进行调整：考虑了word层面的attention和sentence层面的attention，分别对单词在句子中和句子在文档中的重要性进行了建模。仔细一想确实是挺合理的，一篇文档就是由无数句子构成的，而一个句子又是由无数单词构成的，充分考虑了文档的内部结构。 上图就是论文中文本分类模型的整体框架，可以看出主要分为四个部分： word encoder （BiGRU layer） word attention （Attention layer） sentence encoder （BiGRU layer） sentence attention （Attention layer） 首先回顾一下GRU的原理： GRU是RNN的一个变种，使用门机制来记录当前序列的状态