Eagle

2011 年，曾在金融IT领域占据半壁江山，并一度在纽交所上市的东南融通因故退市解散，当时在东南融通从事BI产品研发的吴华夫带领原有的技术骨干独立出来，成立了思迈特软件（Smartbi）。 从成立以来， Smartbi经历国资控股、MBO独立发展，增长速度一直保持稳定，并继续深耕金融领域，服务于众多大型全国性银行，致力于为客户提供包括数据处理、分析和可视化等商业智能（BI）服务。 目前， Smartbi的标准化产品有三种，包括 企业报表平台 、自助分析平台、数据挖掘平台。 企业报表平台 Insight是一个借助Excel的插件设计企业WEB报表的工具软件。针对企业中普遍存在的报表制作的需求，允许用户在Excel中进数据准备、样式设计、数据计算、数据可视化、互动逻辑、共享发布等操作，融合了Excel和传统报表软件的双重优势，提高了报表制作的效率和能力。 自助分析平台 Eagle为企业中的业务人员提供自助式的数据分析工具，将IT人员从繁琐的对业务人员分析需求的技术响应中解放了出来，通过数据查询、OLAP分析、可视化探索等核心能力，缩短了业务人员提出需求到得出分析结果之间的时间周期。 数据挖掘平台 Mining针对企业中的数据科学家、业务分析师、行业咨询师等职能人员的预测性分析需求，将机器学习算法与BI相结合，提供了流式建模、拖拽式操作的可视化建模界面。 立足于 BI产品 的核心能力

面对汹涌而来的数字化浪潮，英大泰和人寿保险股份有限公司（以下简称英大人寿）有幸站在巨人的肩膀上，从零起步，基于 Smartbi Eagle 打造了以 “ 自助 ” 为核心的 “ 数据之家 ” 自助分析平台 ，基本实现了保险公司业务人员自助访问并使用公司数据的目标。自助分析允许用户在不依赖 IT 团队的情况下对数据进行加工、分析和可视化，只需要简单的拖拉拽就可以快速生成一张清晰的报表，解决了业务人员零门槛获取数据的难题。但是，大部分的业务人员还是很难真正将这款 “ 工具 ” 使用起来。对于他们来说，学习门槛太高，且更习惯于使用 Excel 进行数据分析。所以，市面上大部分自助分析工具的使用对象往往局限于 “ 报表工程师 ” ，离业务人员的普及还有一段很长的距离。那么，要如何将自分析真正推广起来？最好的做法是把自助分析从 “ 工具 “ 层面提升到 “ 文化 ” 层面，提供一站式的 自助分析解决方案 ，基于这个目标，英大人寿结合自身情况进行了一些探索。 建设背景 在当前的数字化背景下，英大人寿面临的高频业务需求已呈现持续扩大的趋势。而对于数据分析工作，经常会遇到这样的尴尬情况：会数据分析的人不懂业务，而懂业务的人却不会数据分析。往往一个数据分析需求的完成，最大的时间成本不是花在真正的取数、分析阶段，而是在前期的需求沟通阶段。在这种配合模式下，业务的数据分析需求总是在无尽的排期和等待中

Smartbi Insight 以中国式报表、多维度分析、可视化仪表盘为核心， 满足报表需求的功能以“真Excel”为特色，将Office Excel和WPS表格变为企业级WEB报表设计器，表格样式与计算逻辑的灵活性不言而喻。 中国式报表能力全面 借助Excel的强大，赋予其“设计器”的责任，从此WEB报表更丰富、更灵活，降低企业报表开发门槛！ 1、Excel用户也能设计企业报表 ◆ 集成Excel和ECharts，使得Insight具有丰富的展现力、强大的互动性（基于单元格和对象的数据模型）、超级灵活的布局能力 ◆ 深度整合Excel的现有能力，在Excel界面中完成报表、 数据分析 应用的设计 2、企业报表解决方案专家 ◆ 简单、高效、智能，可快速搭建的企业级Web报表 ◆ 从报表开发的数据准备、样式设计、数据计算、 数据可视化 到互动逻辑、共享发布 多维度分析数随心动 面向每一个员工，自主灵活的对业务数据进行 多维度分析 ，及时发现问题，快速决策。 1、取数方便，查询性能高效 ◆ 提供了不同的连接方式对接多维数据库或者关系数据库 ◆ 实现自助的跨库关联查询以及配置高速缓存加速查询性能 2、操作灵活，人人都是数据分析师 ◆ 提供了切片、切块、钻取以及行列互换等多种操作方式，使不同角色可基于自身所关注的维度进行灵活的数据分析。 ◆ 提供了丰富的图形分析，内置了多种计算分析

图文手把手教程--ESP8266 SDK开发环境搭建及HelloWorld显示(使用安信可AiThinkerIDE_V1.5.2编程) https://blog.csdn.net/felix_tao/article/details/106364860 1.复份一份0_SDK_Template,并重命名为1_UART。 2.导入工程: 1)打开软件->File->Import->C/C++->Existing Code as MakeFile Project。 2)选择工程所在路径,例如:D:\ESP8266_NONOS_SDK\1_UART,去掉C++打勾，编译工具选择Cross GCC。 3.修改属性： 1)选中工程->Project->Properties->C/C++ Build->Build command中输入命令: make COMPILE=gcc BOOT=none APP=0 SPI_SPEED=40 SPI_MODE=DIO SPI_SIZE_MAP=6 2)Build directory:${workspace_loc:/1_UART}/,工程所在路径是对的,不用修改。 4.编译工程:程序如果有修改先按保存->清除项目->编译项目。 5.编译成功标志:eagle.flash.bin--->0x00000,eagle.irom0text.bin---

背景 日志系统接入的日志种类多、格式复杂多样，主流的有以下几种日志： filebeat采集到的文本日志，格式多样 winbeat采集到的操作系统日志 设备上报到logstash的syslog日志 接入到kafka的业务日志 以上通过各种渠道接入的日志，存在2个主要的问题： 格式不统一、不规范、标准化不够 如何从各类日志中提取出用户关心的指标，挖掘更多的业务价值 为了解决上面2个问题，我们基于flink和drools规则引擎做了实时的日志处理服务。 系统架构 架构比较简单，架构图如下： 各类日志都是通过kafka汇总，做日志中转。 flink消费kafka的数据，同时通过API调用拉取drools规则引擎，对日志做解析处理后，将解析后的数据存储到Elasticsearch中，用于日志的搜索和分析等业务。 为了监控日志解析的实时状态，flink会将日志处理的统计数据，如每分钟处理的日志量，每种日志从各个机器IP来的日志量写到Redis中，用于监控统计。 模块介绍 系统项目命名为eagle。 eagle-api：基于springboot，作为drools规则引擎的写入和读取API服务。 eagle-common：通用类模块。 eagle-log：基于flink的日志处理服务。 重点讲一下eagle-log： 对接kafka、ES和Redis 对接kafka和ES都比较简单

抖音爬虫教程，从0到1，爬取抖音用户详细数据 前言 爬取抖音用户的数据需要使用用户的user_id和sec_user_id，我们通过抓包工具获取用户的id以及sec_user_id，然后通过用户的关注列表和follow列表获取更多的用户的user_id和sec_user_id，下面我将介绍一下如何根据user_id和sec_user_id来获取抖音用户的详细数据。 一、分析请求用户数据的api 1. 用户数据抓包 首先在搭建好的环境中通过Fiddle抓取用户数据包。<br/> <br/> 2. 用户数据包分析 2.1. 请求信息分析 请求头字段 | 字段 | 字段值 | | --- | --- | | 请求方法 | GET | | 请求的api | GET后面的 | | 请求的协议 | api后面的，系http1.1 | | 请求的目的主机域名 | aweme-eagle.snssdk.com | | 连接信息 | keep-alive | | Cookie | 你自己的cookies | | Accept-Encoding 编码信息 | gzip | | X-SS-QUERIES | 请求的query | | token | 你自己的token | | sdk版本 | 1 | | User-Agent | 用户代理 | | X-Khronos | 咱也不知道是啥

一、数据脱敏解释 在日常开发需求中会经常遇到数据脱敏处理，比如身份证号、手机号，需要使用*进行部分替换显示。这样能使敏感隐私信息在一定程度上得到保护。那么什么是数据脱敏呢？ 在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。 二、数据脱敏实现 数据脱敏实现可以从数据库查数据的时候进行处理，可以在查出数据后进行处理。在这里记录了MySQL数据库查询时处理，通过使用mysql字符串函数实现。 三、SQL数据脱敏实现 CONCAT()、LEFT()和RIGHT()字符串函数组合使用，请看下面具体实现 CONCAT(str1,str2,…)：返回结果为连接参数产生的字符串 LEFT(str,len)：返回从字符串str 开始的len 最左字符 RIGHT(str,len)：从字符串str 开始，返回最右len 字符 电话号码脱敏sql： SELECT mobilePhone AS 脱敏前电话号码,CONCAT(LEFT(mobilePhone,3), ‘********’ ) AS 脱敏后电话号码 FROM t_s_user 身份证号码脱敏sql: SELECT idcard AS 未脱敏身份证, CONCAT(LEFT(idcard,3), ‘****’ ,RIGHT

Kafka Eagle是一款开源的Kafka集群监控系统 能够实现broker级常见的JMX监控； 能对consumer消费进度进行监控； 能在页面上直接对多个集群进行管理； 安装方式简单，二进制包解压即用； 可以配置告警（钉钉、微信、email均可） 1、下载kafka eagle 下载地址http://download.kafka-eagle.org/ https://codeload.github.com/smartloli/kafka-eagle-bin/tar.gz/v2.0.1 2、解压kafka eagle tar -zxvf kafka-eagle-bin-2.0.1.tar.gz cd kafka-eagle-bin-2.0.1/ tar -zxvf kafka-eagle-web-2.0.1-bin.tar.gz -C /opt cd /opt mv kafka-eagle-web-2.0.1/ kafka-eagle cd kafka-eagle 3、修改/etc/profile vi /etc/profile 1）export KE_HOME=/opt/kafka-eagle 2）PATH要添加$KE_HOME/bin vi /etc/profile #在最下方进行修改 export JAVA_HOME=/usr/java/jdk1.8.0_251

转帖： 按下“~”即可开启 　　使用时先输入参数名 　　然后按下SPACE空出一格 　　再输入设定值即可 　　一般玩家进入游戏都只能用到Client(玩家用参数) 　　不过...如果你是开LAN GAME的人 　　就能进阶到Server专用指令下表内指令后的参数大多是默认值 　　大多数指令之参数0代表关闭此功能 　　地图名单存放在cstrikemapcycle.txt,不可以加扩展名.bsp 　　===================================================================================== 　　Server专用 　　banid几分钟#编号kick.......踢人Wonid让他换名字后也进不来，除非他换计算机，时间0=永远 　　deathmatch 1..................开dm模式,一个人一组，把其它人解决掉 　　decalfrequency 30.............玩家的logo多久可喷一次(秒) 　　kick #编号....................踢人(server专用，踢编号需加#，踢名字不用，但大小写要一样) 　　mapcyclefile mapcycle.txt.....选择地图切换的设定档，内定为mapcycle.txt，可准备好几份设定档 　　mp

自助分析平台 Smartbi Eagle围绕业务人员提供企业级数据分析工具和服务满足不同类型的业务用户，在Excel或者浏览器中都可实现全自助的数据提取、数据处理、数据分析和数据共享，具有无以伦比的适用性。 下面我们通过一个房地产集团案例，看看 Smartbi 是如何帮助企业进行数据化平台建设以及数据分析的。 项目背景 某房地产集团随着业务的发展，用户数量增加，ERP系统的更换与数据源的增加，旧的数据平台暴露出明显的问题。 01 数据不够全面 目前主要集中在资管、品牌数据 02 数据质量差 源系统，采集平台数据质量差 各源系统数据口径不统一 03 报表交互方式单一 报表栏位多行数多，缺乏自定义的标注和提示 缺乏自定义的报警，消息通知和推送 04 报表开发周期长 需求理解有偏差，有“翻译损失” 需求反复导致开发时间长 05 多维汇总报表缺少分析 只是简单指标计算，缺乏横向和纵向分析也没有和行业比较 缺乏品牌，消费者趋势变化的分析 06 碎片化的数据和应用 过时的数据散落在各种报表里面，缺乏俯瞰的全局性视角 项目目标 建设全新的数据平台满足集团各部门用户数据分析需求 01 数据在线、移动随行 支持PC端和移动端 02 自助分析、数据共享 支持所有用户利用SmartBI自助分析数据，并可向其他人分享创建的报表。 03 数据全面、实时更新 新的架构既支持传统的分析历史数据的数仓