量化模型

Quantization 这个工具的主要功能是一个统一的量化工具。通常，此方法支持任意Bit(>=2)来表示权重和激活值。在量化过程中，会根据预先定义的硬件目标将 FakeQuantize 操作自动插入到模型图中，以生成硬件友好的优化模型。然后，不同的量化算法可以调整 FakeQuantize 参数或删除一些操作以满足精度标准。最后这个伪量化模型可以在运行时被解释并将其转换为真正的低精度模型，从而获得真正的性能改善。 量化算法 该工具包提供了多种量化和辅助算法来帮助量化权重和激活图后的模型恢复精度。潜在地，算法可以形成独立的优化流水线去优化一个或者多个模型。但是，我们仅对以下两种用于8Bit量化的算法进行了验证，建议将其用于获得DNN模型量化稳定和可靠结果的方案。 DefaultQuantization 用作默认方法以获得快速并且在大多数情况下比较准确的int8量化结果。 AccuracyAwareQuantization 允许在量化后精度下降在预定的范围内，同事牺牲一定的性能提升。可能需要更多的时间量化。 量化准则 量化是由量化范围和量化级数来参数化的。采样公式如下： 其中 input_low 和 input_high 代表量化范围， 代表四舍五入到最接近的整数。 对称量化 该公式由在量化过程中调整的 scale 参数来参数化： 在上面的规则中， level_low 和

参考：https://uqer.datayes.com/v3/community/share/5b6197d86bc62701e4bf52f9 目录： 需要哪些数据？ ---- 巧妇难为无米之炊 怎样测量策略的性能？ ----- 搭建回测系统 怎样衡量量化策略的好坏？ ---- 箩筐统计指标 开始挣钱！ ---- 从回测到实盘 1、需要哪些数据？ ---- 巧妇难为无米之炊 　　首先，讲下可能用到的数据类型有哪些 历史日行情数据：即提供历史上每天每只股票的高开低收等价格信息以及成交量相关的信息，这也是量化中最基础的数据。通常能提供历史日行情数据的，几乎都能在当天交易日收盘之后提供更新的数据，因此也是实时更新的日行情数据。 历史日内行情数据：即能提供历史上每一天中间更为详细的价量信息，通常为5分钟一个数据点，也有一分钟甚至是半秒频率的数据。每个数据点的形式一般为该数据点代表时间段内的一个价量综合统计，包括高开低收和成交量信息。 历史分笔数据：即历史上每一笔交易的明细，每一个数据点是一笔交易，记录了每一笔成交的价格、数量、时间等信息，是记录实际成交信息最为细致的数据。 历史限价委托薄数据：记录了历史上每一个时刻限价委托薄的快照，每一个数据点代表一个时刻，每个数据点之间的间隔通常较小，比如0.5秒。每个数据点包含该时刻十档（或者五档）报价和挂单量等数据

一、词袋模型 词袋模型将所有的词构建成一个向量，不考虑顺序，只统计每篇文档钟词出现的次数，直接构建特征。 词袋模型的问题： 。。无法区分同义词、多义词： 如： 用户浏览羽绒服后，只召回羽绒服，无法召回相近含义的“棉衣” 。。维度高 计算缓慢、存储量大xin 。。信息量小 一个词能传达的信息有限，没有考虑词之间上下文信息，不可调节；这个和N-gram相比，有很大缺陷 。。不稳定 受表达方式，习惯等影响，每个人都不一样 二、TF-IDF 相比与传统得词袋模型，将全局信息加入重要性度量 三、N-gram N-gram模型可以提高特征区分度，但是会带来稀疏性 来源： CSDN 作者： 滴水-石穿 链接： https://blog.csdn.net/sinat_34971932/article/details/104136326

在市场中，经常存在交易性机会，其中一个就是资金流模型，该模型使用资金流流向来判断股票在未来一段时间的涨跌情况，如果是资金流入的股票，则股价在未来一段时间将可能会上涨；如果是资金流出的股票，则股价在未来一段时间会可能下跌，那么，根据资金流向就可以构建相应的投资策略。 　　 基本概念 　　 资金流是一种反映股票供求关系的指标。传统的量价无法区分市场微观结构中的流动性和私有信息对股价的影响，而根据委托测算的资金流，能够有效地观察微观市场交易者的真实意图及对股价造成的影响。 　　 资金流定义如下：证券价格在约定的时间段中处于上升状态时产生的成交额是推动指数上涨的力量，这部分成交额被定义为资金流入；证券价格在约定的时间段中下跌时的成交额是推动指数下跌的力量，这部分成交额被定义为资金流出；若证券价格在约定的时间段前后没有发生变化，则这段时间中的成交额不计入资金流量。 　　 策略模型 　　 1．逆向选择理论 　　 在非强势有效的A股市场，普遍存在信息不对称的问题。机构投资者与散户投资者在对同一信息的评估能力上存在差异。在大部分情况下，散户投资者缺乏专业的投资能力和精力，那么根据“搭便车”理论，希望借助机构投资者对股价的判断进行投资，一旦机构投资者率先对潜在市场信息做出反应，羊群效应的散户投资者则追涨杀跌，往往导致在很多情况下市场对潜在信息反应过度。这样根据逆向选择理论

衡量股票趋势的指标最重要的就是均线系统，因为它是应用最为广泛的趋势追踪指标，所以均线是不可或缺的，把它作为捕捉大盘主趋势的基石。但是纯粹的均线由于噪音等原因，使得经常会出现误操作，需要进行更多的处理机制，包括极点、过滤微小波动、高低点比较策略、高低点突破策略、长波的保护机制、长均线的保护机制等概念和技术细节。 1．均线简化 股票价格的波动会让人感觉价格变化飘忽不定，很难把握。为了便于捕捉趋势，所以需要对价格走势曲线进行简化处理，这样可以借助于均线方法。将a个（a为模型参数）连续的交易日的收盘价取一个均值，形成MA(a)，比如a为10，即10个交易日数据取一均值，那么就可以得到股价的10日均线U，完成对价格曲线的第一步简化。 2. 记录极点 极点就是局部的高点或者低点，在极点处股价出现了转折，所以它们是记录股价变化的关键点，包含了比较多的信息。如果股价上涨至此，接下来又出现了下跌，那么就形成一个局部的高点；如果股价下跌至此，接下来又出现上涨，那么就形成一个低点。这些叫做极点，往往是股价变化的关键信息点，将它们记录下来，以备进一步制定策略。 3. 设置阀门，过滤微小波动 均线策略最大的优势跟踪趋势效果比较好，在形成趋势时能紧跟趋势，但是最大的问题在于碰到盘整行情，均线就摇摆不定，容易频繁地发出交易信号，所以必须对其进行进一步处理。 可以结合记录的极点形成过滤微小波动的方法

作者：国信证券总裁助理何诚颖 一、量化投资：寻根溯源 2011年，我赴美国沃顿商学院访问学习。当中有一门课程——投资组合管理引起我极大的兴趣，我跟量化投资的“因缘际会”正由此而来。沃顿不愧为世界第一流的商学院，教授们不仅学术上可圈可点，还管理着华尔街的对冲基金，并且做得有声有色。在美国学习期间，经常和朋友们在一起探讨中美两国证券市场发展的种种差异，当时的A股市场正处于漫漫熊途，股指期货的大门刚刚打开，而国内的量化投资犹如屏风后的少女，欲露还羞。 一直以来，中国市场上的多数机构投资者都是基于价值分析和主观判断进行投资决策。作为一个在证券市场有着近20年经历的人，我从未怀疑过价值投资是这个市场上亘古不变的真理。然而面对游戏规则的变化，以及不见终日的熊途，那些在牛市中“娇生惯养”的投资经理心急如焚却又束手无策。我强烈感觉到一场由量化投资带来的大变革即将来临，这场变革将会给券商、基金、私募等机构投资者所惯用的传统投资方式带来新的挑战。 2008年次贷危机让雷曼灰飞烟灭、让花旗大伤元气、让美林被美国银行所并购，有一家名不见经传的对冲基金——MagnetarCapital却逆势大发横财，而这家对冲基金正是量化投资的践行者。《诗经》有云，“知我者谓我心忧，不知我者谓我何求”，这句话与我当时的心境是如此的默契。回国之后，我们立即着手组建一支主要由博士后组成的高水平的量化研究团队。

模型量化 什么是量化 模型的weights数据一般是float32的，量化即将他们转换为int8的。当然其实量化有很多种,主流是int8/fp16量化,其他的还有比如 二进制神经网络：在运行时具有二进制权重和激活的神经网络，以及在训练时计算参数的梯度。 三元权重网络：权重约束为+1,0和-1的神经网络 XNOR网络：过滤器和卷积层的输入是二进制的。 XNOR 网络主要使用二进制运算来近似卷积。 现在很多框架或者工具比如nvidia的TensorRT，xilinx的DNNDK，TensorFlow，PyTorch，MxNet 等等都有量化的功能. 量化的优缺点 量化的优点很明显了,int8占用内存更少,运算更快,量化后的模型可以更好地跑在低功耗嵌入式设备上。以应用到手机端,自动驾驶等等。 缺点自然也很明显,量化后的模型损失了精度。造成模型准确率下降. 量化的原理 先来看一下计算机如何存储浮点数与定点数： 其中负指数决定了浮点数所能表达的绝对值最小的非零数；而正指数决定了浮点数所能表达的绝对值最大的数，也即决定了浮点数的取值范围。 float的范围为-2^128 ~ +2^128. 可以看到float的值域分布是极其广的。 说回量化的本质是： 找到一个映射关系,使得float32与int8能够一一对应. 。那问题来了,float32能够表达值域是非常广的，而int8只能表达[0,255

数据、模型、IT系统认知 量化投资定义 量化投资主要是指通过数理模型来实现投资理念，由计算机产生交易策略的一种投资方法。 量化投资是一种方法论，而不是具体的交易策略。 通常与基本面、技术面分析相结合。 并以定量方法进行投资的各种技术综合 量化投资的发展历程 初期1950 现代资产组合理论出现，金融投资开始部分转变为数学问题。 发展1980 量化主动管理方法出现，开始依靠量化方法进行投资。 黄金期2000 市场几乎有量化投资接管，并出现Q-quant 风云突变2008 量化史上最大的滑铁卢，随后开始回归P-quant 全新机遇2019 中国市场的兴起，给量化投资带来全新的发展机遇。 传统投资VS量化投资 传统投资方法的股票基金经理的一般投资步骤 首先。对市场上所有的股票进行初步筛选。 其次，对剩余的股票财务状况进行初步分析，一般通过估值指标进行筛选。保证剩余的标的是相对优质的股票。 之后可能还剩下几百、几十支股票，然后资金经理和分析师对他们进行详细的研究。 量化投资方法的股票基金经理的一般投资步骤 首先，构建基本面因子，这些因子可以是用来反映企业的经营状态；也可以访问企业的财务状况或反映企业的行业竞争地位等。 然后根据市值、行业等特殊情况，对因子进行调整，并构建量化分析模型，把各个因子容纳到模型当中。 最后将企业的相关信息输入模型中，并按照模型给出的交易信号进行交易。 相同点

在使用tensorflow这个功能时候需要先下载tensorflow的源代码： git clone https: //github.com/tensorflow/tensorflow.git 进入tensorflow根目录，这里使用tools文件下的两个工具进行量化压缩：graph_transforms、quantization。 安装bazel进行tensorflow工具包的编译。 这里需要注意的是，bazel最好使用最新的，这样编译tensorflow就不会报接口未部署的一些错误。 Linux安装bazel： https://github.com/bazelbuild/bazel/release 找到bazel-x.x.x-installer-linux-x86_64.sh下载到本地并安装。可以按照git的安装方法进行安装。 安装完毕后开始进行编译tensorflow： bazel build tensorflow/tools/graph_transforms:transform_graph bazel build tensorflow/tools/quantization:quantize_graph 编译需要占据很多内存以及cpu资源，建议在性能好点的机器上编译。 编译完成后使用： bazel - bin/tensorflow/tools/graph_transforms

1：下载解压tensorflow源码，并进入tensorflow目录。 2：编译量化脚本（一定要加sudo） sudo bazel build tensorflow/tools/quantization:quantize_graph 3：开始量化.pb文件 sudo bazel-bin/tensorflow/tools/quantization/quantize_graph --input=/tmp/PNet_output.pb --output_node_names="bbox_pred_out,cls_prob_out,landmark_pred_out" --output=/tmp/newpb/PNet_output.pb --mode=eightbit 如果过程中出现以下错误，逐一解决： ImportError: No module named enum pip install enum34 ImportError: No module named mock pip install mock 更多的参数解释可以用命令： bazel-bin/tensorflow/tools/quantization/quantize_graph --help 参考书籍：Tensorflow技术解析与实战 文章来源: tensorflow pb模型量化