Elastic

摘要： 本文由中原银行大数据平台研发工程师白学余分享，主要介绍实时金融数据湖在中原 银行的应用。主要内容包括： 背景概况 实时金融数据湖体系架构 场景实践 Tips： 点击文末「 阅读原文 」即可下载作者分享 PPT 并回顾原版分享视频～ 一、背景概况 首先简单介绍一下中原银行，它位于河南省郑州市，是河南省唯一的省级法人银行，是河南省最大的城市商业银行。2017 年 7 月 19 日在香港成功上市。中原银行在成立之初就将科技利行和科技兴行作为我行的战略，我行立志要成为一个科技银行和数据银行。我们一直在从事技术，也崇尚技术，希望用技术的手段来解决现在的问题。 本文将从 实时金融数据湖的建设背景 、体系架构、场景实践三个方面分享。 1.数据湖诞生的业务背景 ■ 决策方式变迁 下面来看一下背景概况，我们认为现在的银行的决策方式正面临巨大的变迁。 首先，传统的银行数据分析主要集中在银行的收入、成本、利润的分配和应对监管部门的监管。这些数据分析非常复杂，但也存在一定的规律，它属于财务数据分析。随着互联网金融的不断发展，银行的业务不断受到挤压，如果仍然将数据分析集中在收入、成本、分配及监管方面，已经不能满足业务的需求。如今，更好的了解客户，收集大量的数据，做更多有针对性的营销和决策分析是当务之急。因此，现在银行的业务分析决策由传统的财务分析逐步转向面向 KYC 的分析。 其次

摘要： 本文由中原银行大数据平台研发工程师白学余分享，主要介绍实时金融数据湖在中原 银行的应用。主要内容包括： 背景概况 实时金融数据湖体系架构 场景实践 Tips： 点击文末「 阅读原文 」即可下载作者分享 PPT 并回顾原版分享视频～ 一、背景概况 首先简单介绍一下中原银行，它位于河南省郑州市，是河南省唯一的省级法人银行，是河南省最大的城市商业银行。2017 年 7 月 19 日在香港成功上市。中原银行在成立之初就将科技利行和科技兴行作为我行的战略，我行立志要成为一个科技银行和数据银行。我们一直在从事技术，也崇尚技术，希望用技术的手段来解决现在的问题。 本文将从 实时金融数据湖的建设背景 、体系架构、场景实践三个方面分享。 1.数据湖诞生的业务背景 ■ 决策方式变迁 下面来看一下背景概况，我们认为现在的银行的决策方式正面临巨大的变迁。 首先，传统的银行数据分析主要集中在银行的收入、成本、利润的分配和应对监管部门的监管。这些数据分析非常复杂，但也存在一定的规律，它属于财务数据分析。随着互联网金融的不断发展，银行的业务不断受到挤压，如果仍然将数据分析集中在收入、成本、分配及监管方面，已经不能满足业务的需求。如今，更好的了解客户，收集大量的数据，做更多有针对性的营销和决策分析是当务之急。因此，现在银行的业务分析决策由传统的财务分析逐步转向面向 KYC 的分析。 其次

作者： Shay Banon 请注意： 最初发布这篇博客后，我们又增发了两篇博客来补充一些详细信息： 许可协议变更澄清 和 为什么我们必须变更许可协议 。 Elasticsearch 和 Kibana 的许可协议即将变更 我们即将把根据 Apache 2.0 许可授权的 Elasticsearch 和 Kibana 的源代码变更为双重许可模式（即 SSPL 1.0 和 Elastic 许可），以便用户选择适合自己的许可。通过这一许可协议的变更，这样既能确保我们的社区和客户继续以免费开放的方式使用、修改和重新分发代码，又能开展基于代码的协作，而且还可以限制云服务提供商在不向社区提供任何回馈的情况下，将 Elasticsearch 和 Kibana 作为一项对外提供的服务，从而保护我们在开发免费及开放产品方面的持续投资。此次变更将适用于 Elasticsearch 和 Kibana 的所有维护分支，并从我们即将发布的 7.11 版本开始生效。我们的发行版将继续使用与三年前相同的 Elastic 许可。 此次源代码许可协议变更 对绝大部分免费使用默认分发版的社区用户没有影响 ，也 不会影响我们的云服务客户或自管型软件客户 。 近年来，市场已发生了很大的变化，社区开始逐渐的认识到，开源公司只有更好地保护了自己的软件，才能够实现持续创新和进行必要的投资。随着很多公司不断的转型到 SaaS

一、实验介绍 logstash-jdbc-input 是Logstash提供的官方插件之一，该插件通过JDBC接口将任何数据库中的数据导入 Logstash。关于使用 logstash-jdbc-input 插件从数据库中导出数据到es上，大部分是关于mysql数据库的导入。本篇文章是关于如何使用 logstash-jdbc-input 插件对mongodb的数据进行实时导入。 二、版本说明 本实验使用的ELK版本是7.6.2。 （这里想要补充一下，关于mongodb数据库的数据导入，另外一种常使用的插件是 mongo-connector ，但该插件仅支持到elasticsearch5.x，因此对于更高版本的elasticsearch更推荐使用本篇文章使用的方法。） 三、具体实现 1. 下载相关的jdbc-driver文件并解压 下载地址： https://dbschema.com/jdbc-drivers/MongoDbJdbcDriver.zip 解压安装包： unzip MongoDbJdbcDriver.zip (安装包里面包括三个 jar 包文件： gson-2.8.6.jar 、 mongo-java-driver-3.12.4.jar 、 mongojdbc2.1.jar ) 将所有文件（即三个jar包）复制到 (~/logstash-7.6.2/logstash

0、整体架构 整体架构目录： ASP.NET Core分布式项目实战-目录 一、介绍ELK 1、说明（此篇ELK采用rpm的方式安装在服务器上）-牛刀小试 承接上一篇文章的内容准备部署ELK来展示asp.net core 的数据。目前此篇文章只用到单台服务器，等下一篇将会介绍如何做到集群部署ELK+filebeat+MQ，因为这个集群部署才是真正体现大项目的价值。当然如果是小项目或者是内部项目单台足以。 当然ELK只是在业界用的比较多，但是里面所用的工具是可以替换的，比如说 如下： 体现价值的解决方案就是：es+kibana+filebeat/logstash+MQ（RabbitMQ/Kfaka） 来实现日志记录等。 多介绍一下吧： Beats包含四种工具： 　　Packetbeat（搜集网络流量数据） 　　Topbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据） 　　Filebeat（搜集文件数据） 　　Winlogbeat（搜集 Windows 事件日志数据） 　　它是一个轻量级的日志收集处理工具(Agent) 自此，解决方案很多，关键在于不同的项目用不同的解决方案，关键看大家的选择啦。当然如果大家有兴趣可以加一下QQ群，可以互相探讨技术。 如果大家对NLog不会部署，请看上一篇文章： asp.net core添加全局异常处理及log4net、Nlog应用

新“终结者” Chrome 88 发布，三大终结性变化 据 zdnet 报道，刚刚发布的 Chrome 88 中带来了三个重要的终结性变化： 正如之前一直宣传的，它取消了 Flash 支持。根据 W3Techs 的数据，目前只有 2.2% 的网站使用了 Flash ，这个数字比 2011 年初记录的 28.5% 大幅下降。该版本也取消了对 ftp:// 协议支持。这个过程早在 Chrome 86 中就开始了：Chrome 86 - 大多数用户默认情况下仍然启用 FTP；Chrome 87 - 默认情况下，50% 的用户将禁用 FTP 支持；Chrome 88 全部禁用。Chrome 现在也阻止下载“混合的、不安全的” HTTP 文件。当用户正在访问一个以 HTTPS 开头的网页，但文件是从一个以 HTTP 开头的 URL 下载的。从 Chrome 88 开始将完全阻止这些情况，以保护用户。 除此以外，该版本还取消了对旧的 DTLS 1.0 协议的支持，它是 WebRTC 支持的一部分；还放弃了对 OS X 10.10 的支持；阻止了标签抢占攻击。 硬核老王点评：这个版本可以称之为“终结者”了，除了 Flash 之外，另外两项变化也相当重要。 Elastic 采用新的许可证 SSPL 限制商业使用 据 solidot 报道，开发 Elasticsearch 和 Kibana 的公司

1月15日， ElasticSearch 创始人、Elastic 公司 CEO Shay Banon 宣布，将把 Elasticsearch 和 Kibana 的 Apache 2.0-licensed 源码协议修改成 SSPL（Server Side Public License、服务器端公共许可证）和 Elastic License 双重协议！下面是 Shay Banon 修改 Elasticsearch 和 Kibana 开源协议的全文翻译。 注：下面的我们是指 Elastic 公司（或 Shay Banon） 我们正在将 ElasticSearch 和 Kibana 源代码的 Apache 2.0 许可证修改为服务器端公共许可（SSPL）和 Elastic License 双重许可，并且让用户可以选择申请哪个许可。此许可证变更确保了我们的社区和客户可以自由开放地代码进行使用、修改、重新分发和协作。它还通过限制云服务提供商提供 Elasticsearch和 Kibana 服务来保护我们在开发免费开放产品上的持续投资。这个修改将适用于这两个产品的所有维护分支，并将在即将发布的 7.11 版本之前发生。我们的发行版将继续使用过去三年用的 Elastic License。 源代码许可的这种改变对绝大多数免费使用我们默认发行版的社区用户、Elastic

Amesim经典案例-弹球仿真 Hi，我是一块大肥皂，请各位大佬多指教~ 弹球仿真也是AMESIM的一个经典案例，通过这个案例，也来学习一下AMESIM，也可以对比下其与simulink仿真时的一些思路。 问题概述 问题仍然是如上。 Help中的说明 Amesim中，这个案例分析为： 在这个运动中，有两个不同的阶段: 球在重力作用下自由运动 球与地板接触 对于Amesim，到这一步，不需要考虑其中的方程具体如何，二是应该考虑一下： 1，球在重力作用下自由运动使用什么样的模型仿真 2，球与地板接触如何仿真 模块学习 根据help中所示模型，先学习一下各模块： LSTP00A - elastic contact (no states) 模块 其等效模型为： 当物体与之发生发生接触后，弹性部分会发生弹性形变，然后将弹性能再返回给物体，该能量会因为有阻尼而发生损失： 在Aemsim的许多1d机械仿真模块中，考虑到了因为摩擦与阻尼导致的能量损失现象，其以一个损失系数来表达这种损失。 设置该模块的时候，需要设置接触刚度与接触阻尼，这些值我们可以上网查一下。另外也需要设置全阻尼穿透量和gap，这块不大理解，我理解全阻尼穿透量为用于计算形变量的一个类似于系数的值，而gap，看help我理解为所设置的参与形变的地面厚度 MAS001 - 1 port mass capable of one

大概阅读10分钟 本教程是系列教程，对于初学者可以对 ES 有一个整体认识和实践实战。 还没开始的同学，建议先读一下系列攻略目录： Springboot2.x整合ElasticSearch7.x实战目录 本篇幅是继上一篇 Springboot2.x整合ElasticSearch7.x实战（二） ，适合初学 Elasticsearch 的小白，可以跟着整个教程做一个练习。 [toc] 第五章 Mapping详解 Mapping 是整个 ES 搜索引擎中最重要的一部分之一，学会构建一个好的索引，可以让我们的搜索引擎更高效，更节省资源。 什么是 Mapping? Mapping 是Elasticsearch 中一种术语， Mapping 类似于数据库中的表结构定义 schema，它有以下几个作用： 1. 定义索引中的字段的名称 2. 定义字段的数据类型，比如字符串、数字、布尔 3. 字段，倒排索引的相关配置，比如设置某个字段为不被索引、记录 position(位置) 等 在 ES 早期版本，一个索引下是可以有多个 Type ，从 7.0 开始，一个索引只有一个 Type，也可以说一个 Type 有一个 Mapping 定义。 了解了什么是 Mapping 后，接下来对 Mapping 的设置坐下介绍： Maping设置 dynamic (动态Mapping) 官网参考： https:/

path 　　是必须的选项，每一个file配置，都至少有一个path discover_interval logstash 每隔多久去检查一次被监听的 path 下是否有新文件。默认值是 15秒。 exclude 不想被监听的文件可以排除出去，这里跟 path 一样支持 glob 展开。 close_older 一个已经监听中的文件，如果超过这个值的时间内没有更新内容，就关闭监听它的文件句柄。默认是 3600 秒，即一小时。 ignore_older 在每次检查文件列表的时候，如果一个文件的最后修改时间超过这个值，就忽略这个文件。默认是 86400 秒，即一天。 sincedb_path 如果你不想用默认的 $HOME/.sincedb (Windows 平台上在 C:\Windows\System32\config\systemprofile.sincedb )，可以通过这个配置定义 sincedb 文件到其他位置。 sincedb_write_interval logstash 每隔多久写一次 sincedb 文件，默认是 15 秒。 stat_interval logstash 每隔多久检查一次被监听文件状态（是否有更新），默认是 1 秒。 start_position logstash 从什么位置开始读取文件数据，默认是结束位置，也就是说 logstash 进程会以类似