架构

网址： www.hulianrongyun.com，本人QQ：4407509，有问题可以联系本人 最近公司要开发商城，让我多方咨询，最后看了很多，要不就是代码、表字段注释不全，要不就是 bug多，要么就是文档缺少，最后决定自己开发一套商城。 下面是开发的一些心得体会，权且记录下来，给自己做个记录把。 本人 QQ：4407509，有问题可以联系本人 之前一直都是在从事电商相关和互联网金融开发，处理过亿级数据量，所以被目前这家公司看重。 由于 Java 是开源的，最近几年 Hadoop 等开源产品越来越成熟，而且是基于 Java 的，所以最终选择 Java 最后后台开发语言，现在前端是自己的前端工程师写的 JS，后期准备改成前端是 PHP ，中间是 Go 语言，后台服务器是 JAVA，因为 PHP 写前端很厉害，不过这个也是后期了。 控制层：这几年 SpringBoot 发展的非常火，而且开发效率比较高， SpringMVC 系列已经完全没落了，所以现阶段选择 SpringBoot 。 视图层： 这个我个人认为哪一个都差不多， jsp 、 freemarker 也好，最终都是生成的 html 。 数据库 设计： 1、关键的一个是绝对不能有外键强关联 ， 我看到类似用 hibernate 、 SpringData 产品的一些公司，全部都是强关联，那你以后想删除一些数据，那真是噩梦的

网址： www.hulianrongyun.com，本人QQ：4407509，有问题可以联系本人 最近公司要开发商城，让我多方咨询，最后看了很多，要不就是代码、表字段注释不全，要不就是 bug多，要么就是文档缺少，最后决定自己开发一套商城。 下面是开发的一些心得体会，权且记录下来，给自己做个记录把。 本人 QQ：4407509，有问题可以联系本人 之前一直都是在从事电商相关和互联网金融开发，处理过亿级数据量，所以被目前这家公司看重。 由于 Java 是开源的，最近几年 Hadoop 等开源产品越来越成熟，而且是基于 Java 的，所以最终选择 Java 最后后台开发语言，现在前端是自己的前端工程师写的 JS，后期准备改成前端是 PHP ，中间是 Go 语言，后台服务器是 JAVA，因为 PHP 写前端很厉害，不过这个也是后期了。 控制层：这几年 SpringBoot 发展的非常火，而且开发效率比较高， SpringMVC 系列已经完全没落了，所以现阶段选择 SpringBoot 。 视图层： 这个我个人认为哪一个都差不多， jsp 、 freemarker 也好，最终都是生成的 html 。 数据库 设计： 1、关键的一个是绝对不能有外键强关联 ， 我看到类似用 hibernate 、 SpringData 产品的一些公司，全部都是强关联，那你以后想删除一些数据，那真是噩梦的

网址： www.hulianrongyun.com，本人QQ：4407509，有问题可以联系本人 最近公司要开发商城，让我多方咨询，最后看了很多，要不就是代码、表字段注释不全，要不就是 bug多，要么就是文档缺少，最后决定自己开发一套商城。 下面是开发的一些心得体会，权且记录下来，给自己做个记录把。 本人 QQ：4407509，有问题可以联系本人 之前一直都是在从事电商相关和互联网金融开发，处理过亿级数据量，所以被目前这家公司看重。 由于 Java 是开源的，最近几年 Hadoop 等开源产品越来越成熟，而且是基于 Java 的，所以最终选择 Java 最后后台开发语言，现在前端是自己的前端工程师写的 JS，后期准备改成前端是 PHP ，中间是 Go 语言，后台服务器是 JAVA，因为 PHP 写前端很厉害，不过这个也是后期了。 控制层：这几年 SpringBoot 发展的非常火，而且开发效率比较高， SpringMVC 系列已经完全没落了，所以现阶段选择 SpringBoot 。 视图层： 这个我个人认为哪一个都差不多， jsp 、 freemarker 也好，最终都是生成的 html 。 数据库 设计： 1、关键的一个是绝对不能有外键强关联 ， 我看到类似用 hibernate 、 SpringData 产品的一些公司，全部都是强关联，那你以后想删除一些数据，那真是噩梦的

网址： www.hulianrongyun.com，本人QQ：4407509，有问题可以联系本人 最近公司要开发商城，让我多方咨询，最后看了很多，要不就是代码、表字段注释不全，要不就是 bug多，要么就是文档缺少，最后决定自己开发一套商城。 下面是开发的一些心得体会，权且记录下来，给自己做个记录把。 本人 QQ：4407509，有问题可以联系本人 之前一直都是在从事电商相关和互联网金融开发，处理过亿级数据量，所以被目前这家公司看重。 由于 Java 是开源的，最近几年 Hadoop 等开源产品越来越成熟，而且是基于 Java 的，所以最终选择 Java 最后后台开发语言，现在前端是自己的前端工程师写的 JS，后期准备改成前端是 PHP ，中间是 Go 语言，后台服务器是 JAVA，因为 PHP 写前端很厉害，不过这个也是后期了。 控制层：这几年 SpringBoot 发展的非常火，而且开发效率比较高， SpringMVC 系列已经完全没落了，所以现阶段选择 SpringBoot 。 视图层： 这个我个人认为哪一个都差不多， jsp 、 freemarker 也好，最终都是生成的 html 。 数据库 设计： 1、关键的一个是绝对不能有外键强关联 ， 我看到类似用 hibernate 、 SpringData 产品的一些公司，全部都是强关联，那你以后想删除一些数据，那真是噩梦的

一、前言 ”前后端分离“已经成为互联网项目开发的业界标杆，通过Tomcat+Ngnix(也可以中间有个Node.js)，有效地进行解耦。并且前后端分离会为以后的大型分布式架构、弹性计算架构、微服务架构、多端化服务（多种客户端，例如：浏览器，车载终端，安卓，IOS等等）打下坚实的基础。 前后端分离(解耦)的核心思想是：前端Html页面通过Ajax调用后端的RestFul API并使用Json数据进行交互。 注： 【在互联网架构中，web服务器：一般指像nginx，apache这类的服务器，他们一般只能解析静态资源。 应用服务器：一般指像tomcat，jetty，resin这类的服务器可以解析动态资源也可以解析静态资源，但解析静态资源的能力没有web服务器好。】 一般只有Web服务器才能被外网访问，应用服务器只能内网访问。 二、为什么前后端分离 一般公司后端开发人员直接兼顾前端的工作，一边实现API接口，一边开发页面，两者互相切换着做，而且根据不同的url动态拼接页面，这也导致后台的开发压力大大增加。前后端工作分配不均。不仅仅开发效率慢，而且代码难以维护。而前后端分离的话，则可以很好的解决前后端分工不均的问题，将更多的交互逻辑分配给前端来处理，而后端则可以专注于其本职工作，比如提供API接口，进行权限控制以及进行运算工作。而前端开发人员则可以利用nodejs来搭建自己的本地服务器

前言 过去，一个网站只在一个服务器上，这是传统架构；把一个项目拆解成子项目，这些子项目之间要通信的，这是分布式架构； SOA架构：面向服务架构，把共同的业务逻辑抽取/抽离出来形成一个服务（这即是微服务），提供给其它服务接口进行调用，服务与服务之间调用使用rpc远程技术 rpc远程：以xml方式通讯，传递的数据封装在xml里， 微服务架构，是SOA架构演变而来，服务之间不影响，服务独立部署， 微服务架构特征：http协议传输数据，而不是rpc；restful风格API形式来进行通讯；json格式数据传输，而不是xml数据格式，数据采用二进制； 微服务把每一个职责单一功能存放在独立的服务中，即独立的部署，每个服务运行在单独的进程中， 每个服务有自己独立数据库存储、实际上有自己独立的缓存、db、消息队列等资源 一个项目，按功能分成子项目，这些子项目可以在相同服务器上，也可以在不同服务器上，子项目之间通信。 Spring Cloud概述 Spring Cloud是基于Spring Boot基础之上开发的微服务框架，微服务：将服务肢解，微服务一般都是分布式的，而分布式服务不一定是微服务； Spring Cloud提供了一套完整的微服务解决方案，其内容包含服务治理、注册中心、配置管理、断路器、智能路由、微代理、控制总线、全局锁、分布式会话等，微服务所有东西都包含了，

一般来说，构建分布式系统的目的一是增加系统容量，二是提高系统的可用性。转换成技术方面，也就是宛成以下两件事。 大流量处理。通过集群技术把大规模并发请求的负载分散到不同的机器上 关键业务保护。提高后台服务的可用性，把故障隔离起来阻止多米诺骨牌效应（雪崩效应）。如果流量过大，需要到业务降级。 说白了就是干两件事，一是提高整体架构的吞吐量，服务更多的并发和流量，二是提高系统的稳定性，让系统的可用性更高。 提高架构的性能 提高架构的稳定性 分布式系统的关键技术 引入分布式系统，会引入一堆技术问题，需要从以下几个方面解决 服务治理。服务拆分、服务调用、服务发现，服务依赖，服务的关键度定义……服务治理的最大意义是需要把服务间的依赖关系、服务调用链，以及关键的服务给梳理出来，并对这些服务进行性能和可用性方面的管理。 架构软件管理。服务之间有依赖，而且有兼容性问题，所以，整体服务所形成的架构需要有架构版本管理、整体架构的生命周期管理，以及对服务的编排、聚合、事务处理等服务调度功能。 DevOps。分布式系统可以更为快速地更新服务，但是对于服务的测试和部署都会是挑战。所以，还需要 DevOps 的全流程，其中包括环境构建、持续集成、持续部署等。 自动化运维。有了 DevOps 后，我们就可以对服务进行自动伸缩、故障迁移、配置管理、状态管理等一系列的自动化运维技术了。 资源调度管理

从人人上转过来的 前言：本文翻译自deeplearning网站，主要综述了一些论文、算法已经工具箱。 引言： 神经网络（ N eural N etwork）与支持向量机（ S upport V ector M achines，SVM）是统计学习的代表方法。可以认为神经网络与支持向量机都源自于感知机（Perceptron）。感知机是1958年由Rosenblatt发明的线性分类模型。感知机对线性分类有效，但现实中的分类问题通常是非线性的。 神经网络与支持向量机（包含核方法）都是非线性分类模型。1986年，Rummelhart与McClelland发明了神经网络的学习算法 B ack P ropagation。后来，Vapnik等人于1992年提出了支持向量机。神经网络是多层（通常是三层）的非线性模型， 支持向量机利用核技巧把非线性问题转换成线性问题。 神经网络与支持向量机一直处于“竞争”关系。 Scholkopf是Vapnik的大弟子，支持向量机与核方法研究的领军人物。据Scholkopf说，Vapnik当初发明支持向量机就是想"干掉"神经网络（He wanted to kill Neural Network)。支持向量机确实很有效，一段时间支持向量机一派占了上风。 近年来，神经网络一派的大师Hinton又提出了神经网络的Deep Learning算法（2006年）

HDFS的架构如上图，总体采用master/slave架构，主要有Client、NameNode、DataNode、SecondaryNameNode组成。 1、Client Client代表用户，通过与NameNode和DataNode交互从而访问HDFS中的文件。Client提供了一个类似POSIX的文件系统接口供用户调用。 2、NameNode 整个Hadoop集群中只有一个NameNode。负责管理HDFS的目录树和相关文件的元数据信息。 NameNode还负责监控各个DataNode的健康状态，一旦发现某个DataNode宕机，则将该DataNode移出HDFS并重新备份其上面的数据。 3、Secondary NameNode Secondary NameNode最重要的任务不是为NameNode元数据进行热备份，而是定期合并fsimage和edits日志，并传输给NameNode。这里需要注意的是，为了减小NameNode压力，NameNode自己并不会合并fsimage和edits，并将文件存储到磁盘上，而是交友Secondary Namenode完成。 4、DataNode 每个Slave节点上安装一个DataNode，它负责实际的数据存储，并将数据信息定期的汇报给NameNode。 当用户上传一个文件到HDFS上时，该文件会被切分成若干个block

近年来，深度学习技术在很多方向都取得了巨大的成功，但由于深度神经网络计算复杂度高，模型参数量大，限制了其在一些场景和设备上进行部署，特别是在移动嵌入式设备的部署。因此，模型小型化技术成为最近几年学术界和工业界研究的热点，模型小型化技术也从最开始的网络剪枝、知识蒸馏、参数量化等发展为最新的神经网络架构搜索（NAS）和自动模型压缩等技术。 飞桨核心框架 Paddle Fluid v1.5 版本，PaddleSlim 也发布了最新升级，新增支持基于模拟退火的自动剪切策略和轻量级模型结构自动搜索功能（Light-NAS）。 PaddleSlim 简介 PaddleSlim 是百度飞桨 (PaddlePaddle) 联合视觉技术部发布的模型压缩工具库，除了支持传统的网络剪枝、参数量化和知识蒸馏等方法外，还支持最新的神经网络结构搜索和自动模型压缩技术。 PaddleSlim 工具库的特点 接口简单 以配置文件方式集中管理可配参数，方便实验管理 在普通模型训练脚本上，添加极少代码即可完成模型压缩 效果好 对于冗余信息较少的 MobileNetV1 和 MobileNetV2 模型，卷积核剪切工具和自动网络结构搜索工具依然可缩减模型大小，并保持尽量少的精度损失。 蒸馏压缩策略可明显提升原始模型的精度。 量化训练与蒸馏的组合使用，可同时做到缩减模型大小和提升模型精度。 网络结构搜索工具相比于传统