大数据

什么是数字货币量化交易 最近在圈子里听说了一件事情，很多人做加密数字货币交易都是靠手操，完全不用量化交易，包括一些套利者，以及做市者。 我们且来看看他们有何区别。 何为手操 通俗点说，就是用鼠标在各交易所界面去操作买进卖出。 当然对于普通的买卖交易，比如你只是想买点比特币放着，或者只是想把手里的以太坊换成比特币，那的确手操就已经足够了。 但对于套利以及做市者来说，如果你还在用手操，疯狂的靠眼睛去扫荡各个K线指标，手指在计算器上反复横条，那我极其强烈的建议你了解了解量化交易，以及他能带给你的优越感。 何为量化交易 量化交易是使用大数据及程序模型去执行，利用这样科学化的方式，彻底排除外在干扰讯息的因素，让数据证明一切，并经由回测验证其有效性，避免让投资人因接收到过多讯息干扰，而做出情绪偏误的决策。 最重要的是，量化交易策略在执行时，会使实际交易行为与过去历史数据达到一致性，因为在建立量化交易策略时，所有的交易规则都已下了精确的定义，并由程序强制执行，这也是绝大部分人为交易策略无法达成的。 大概意思就是说，将交易规则加以一定的技术指标限制并将策略逻辑程序化。 为何数字货币更适合量化交易 相对传统股市，数字货币更加适合量化交易，为什么呢？ 传统金融股盘的门槛很高，不易入门上手； 数字货币的机会更多； 数字货币交易所都对API非常友好，也提供了比较完备的技术支持。 量化交易的优点 对比手操

作者 | 武昭含 来源 | 字母榜（ID：wujicaijing） 任何高速增长、备受推崇的公司，都会不可避免地踢到某一块铁板，社区和社交就是字节跳动踢到的那一块。 截至2020年11月，字节跳动布局了包括游戏、人工智能、企业服务、教育培训、医疗健康等在内的11个赛道，预计2020整年营收将达到2390亿元，成为毋庸置疑的庞然大物。不过，尽管字节跳动边界不断扩张，但始终无法深入社区与社交领域。 “对于社交跟社区这件事，所有的头部流量平台永远都有渴望。” 长期关注内容行业的投资人吴昊在接受字母榜（ID：wujicaijing）采访时表示，无论是新产品还是老产品的迭代，字节跳动近年来不断强调“人”的权重，但结果始终不理想。 一位匿名资深产品经理在接受界面采访时表示， 目前字节跳动最大的问题是，多个高频的产品矩阵，具有庞大的流量池，但没有一个渠道能把用户圈起来，进行交互。 “产品矩阵本身没有中心化，海量活跃同样存在交集，字节跳动缺的能在矩阵中的实现跨应用交互的产品，弥补流量生态、分享、裂变上的不足，社交是可行的解决方案之一。” 无论社区氛围还是社交属性，本质上都是字节系缺少的“圈子”。 字节跳动创始人张一鸣 虚拟社区是培养用户忠诚度的重要方式。YouTube的创始人史蒂夫·陈曾说，“从创立第一天起，我们就致力于构建视频服务的社区。” 根据腾讯科技文章《抖音内幕：时间熔炉的诞生》

作者：王大伟 我的第一本书终于出版了，书名叫做 《ECharts数据可视化：入门、实战与进阶》 ，目前在当当、京东已经上架，可购买学习！ 什么是ECharts ECharts，为Enterprise Charts的缩写，是一种商业级数据图表。作为百度的一个开源数据可视化工具，之后全球著名开源社区Apache基金会宣布“百度开源的ECharts项目全票通过进入Apache孵化器”，ECharts目前广泛应用于PC端和移动端的大部分浏览器上。自问世以来，ECharts一直帮助大量开发者快速实现可视化需求。 写作原因 当我在2018年下旬在平安金融壹账通实习时，因为需要制作产品演示需要，接触到ECharts制作可视化，在这个产品制作中，渐渐发现ECharts的魅力，在一边查阅ECharts官方文档一边制作产品实践过程中，发现ECharts官网的教程较少，并不全面，如果需要深入学习，需要去查阅各种配置项文档，或从官方案例和用户上传的可视化案例中琢磨学习，但对于很多没怎么接触过数据可视化制作和学习过前端知识，例如HTML、CSS、JS的初学者，通过官方文档直接学习会存在一定困难，就怕自学过程中磨灭了那些学习热情。所以为了给有兴趣学习数据可视化的大家提供一个从零开始入门、进阶、实战的学习路径，这本书就开始写作了。 写作过程 2019年6月经我的好友“Python爱好者社区”微信公众号创始人梁勇

　　随着大数据技术在各行各业的广泛应用，要求能对海量数据进行实时处理的需求越来越多，同时数据处理的业务逻辑也越来越复杂，传统的批处理方式和早期的流式处理框架也越来越难以在延迟性、吞吐量、容错能力以及使用便捷性等方面满足业务日益苛刻的要求。 在这种形势下，新型流式处理框架Flink通过创造性地把现代大规模并行处理技术应用到流式处理中来，极大地改善了以前的流式处理框架所存在的问题。 一句话：flink是etl的工具。 flink的层次结构: 其中， windows下flink示例程序的执行 简单介绍了一下flink在windows下如何通过flink-webui运行已经打包完成的示例程序(jar) 从flink-example分析flink组件(1)WordCount batch实战及源码分析 讲到DataSet的转换 从flink-example分析flink组件(2)WordCount batch实战及源码分析----flink如何在本地执行的？ flink batch批处理如何在本地执行的 从flink-example分析flink组件(3)WordCount 流式实战及源码分析 flink stream流式处理如何在本地执行的？ 使用flink Table &Sql api来构建批量和流式应用(1)Table的基本概念 介绍了Table的基本概念及使用方法 使用flink

随着产业数字化的兴起，很多公司都想转型成为科技数字化的公司，但在真正转型中却会遇到许多问题。 据国际顶级数字化咨询机构IDC预测，2018年-2021年，对于全球范围内支持业务实践、产品和组织的 数字化转型 （DX）的技术和服务支出达到5.9万亿美元，数字化转型将继续成为商业领袖考虑的重点。在国外，很多的非科技类企业，每年营收的1%~3%都会投入到IT建设上，面向数字化转型的轻量级数字化方案潜在机会巨大。 然而，国外权威机构给了另外一个数字：全球企业 数字化转型 的失败率将近80%，大数据项目失败率高达85%， 在这里面就有IBM，也有GE这些巨头。 在国内，各种有大量数字化创新需求的新物种不断出现，他们有的采用软件外包服务的方式，去实现数字化系统的搭建，因而软件外包行业年收入规模超2000亿；有的招揽数以百人的研发团队，去自己研发和实现数字化系统。 可往往在投入大量的时间和资金后，企业才能发现，数字化业务系统其实都不是本质，问题没有得到解决，数据孤岛的情况依旧存在，软件外包服务二次修改和招揽的技术人才所带来的时间成本、管理成本、薪资成本皆巨大。 以前的企业，在内部工作时我们会发现，无论一家公司采购多少个业务系统，都依然有着大量做Excel的员工，漫天飞舞而业务松散的Excel表格，是云计算和数字化发展的重要障碍。 一个公司为什么要定制开发软件、IT系统、SaaS软件

初始化脚本 curl -sL http://wuyou.run/scripts/system/centos7/init.sh | bash -s cdh-us-11 check项目 加入集群前检查: 时间，swap，内核参数是否修改 加入顺序：先 Add hosts to Cloudera Manager ,然后 Add hosts to cluster 磁盘 mkfs.ext4 /dev/sdb mkfs.ext4 /dev/sdc mkfs.ext4 /dev/sdd mkdir /mnt/{sdb,sdc,sdd}/ -p mount /dev/sdb /mnt/sdb mount /dev/sdc /mnt/sdc mount /dev/sdd /mnt/sdd echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled mkdir /{sdb,sdc,sdd,sda4}/dfs/dn -p chown -R hdfs:hadoop {sdb,sdc,sdd,sda4}/ # 保存到 /etc/rc.local 坑 添加datanode节点不要修改默认目录方式，这样方式导致我原来的HDFS数据都不显示了

　　2020年,注定成为 　　人类历史上 　　不平常的一年 　　这一年,各行各业都发生了 　　巨大改变 　　数据保护领域 　　亦是如此 　　数据增长和病毒肆虐 　　数据保护举措却没有跟上 　　2020年最新出炉的全球数据保护指数研究报告表明: 　　组织管理的数据平均增加了39%,而在2018年至2019年期间,宕机的平均成本增加了54%,98%的组织正在投资新兴技术,但又有71%的组织认为新兴技术会加大数据保护复杂性。 　　这些变化都表明在当前数据化转型大潮中,众多客户都碰到数据量增长过快、新的业务需要更多新兴技术的支撑,但同时又面临着如何保证数据安全的问题。所以全球数据保护指数报告的结论是:持续保护现在与未来的数据是一个组织持续发展的必要条件。 　　第三方调研机构ESG(Enterprise Strategy Group) 曾针对应用程序宕机或数据丢失会对客户的组织造成的影响进行了调研,结果发现一旦发生数据丢失,对于组织员工信心和生产力的影响,以及对于客户信心的影响都是巨大的,这些影响很难用金钱来衡量。 　　现实生活中造成数据丢失的原因非常多,比如硬件故障,应用软件升级可能带来的影响等等,这些原因大多数是可以进行预防和有回退预案的。 　　而令人防不胜防的是猖獗无比的勒索病毒造成的数据丢失。就在今年2月和3月新冠病毒疫情最严重的时期,勒索病毒邮件的增长为4000%,真是令人谈毒色变

人类历史从本能到智能，历经了上千年的翻天覆地的变化，而数据存储同样如此。从远古时代的结绳记事，人类通过上万年的摸索，到现在智能存储时代，历史发展从未停止。今天，正走向未来的超级智能存储时代， 作为参与者的矿工们，很关注Filecoin未来价格走向 。 V zhang228289 占有市场，FIL价格是关键 今天，互联网从发展已经达到了一个新的瓶颈点。存储的数据量接近数百ZB，云存储市场的规模约在460亿美元至960亿美元之间。而这么大的存储市场，却集中在少数垄断企业集团手中。 亚马逊、微软、Google 、阿里、腾讯约占全球云存储市场的三分之二！ 这种中心化存储带来的一系列问题，比如隐私泄露、安全性不高、审查制度、运营终止、寡头垄断等，让人焦头烂额。 Filecoin作为一个为人类最重要的信息，打造的去中心化分布式存储网络，它的使命是分散和破坏高度集中的云存储市场。终结寡头云存储的垄断，允许用户识别和验证本地存储设施，并通过协议平台与矿工协商价格。 Filecoin独到之处是让客户有了自己的定价权和议价权，打破了中心化云存储商的独裁定价机制，回归市场支配经济的初衷，从长远来看，这无疑有益于数据存储行业的良性发展与进步 。 而且存储的分布可以实现本地优化，比中心化存储平台响应的速度更快，同时，本地优化能够让大数据存储距离用户更近，不再依赖大型区域数据运营商。 当然

未来随着互联网与农业全产业链的进一步融合，农业互联网化创新模式不断涌现，主要方向包括流通电商化、服务多元化、生产智能化和产业生态化。 weiit提供农业领域的信息化、电子商务、云平台、物联网及智能硬件技术方案和产品，依托云计算、大数据、区块链等技术，面向大农业客户提供规划咨询、应用软件设计与开发、人工智能、云服务、数据服务，助力农业产业升级、价值重塑，打造 “IT+”产业融合新生态。 产品介绍（部分） 1、农产品生鲜（食材）数字化商业平台 农产品生鲜（食材）数字化商业平台业务流程包含：连锁加盟门店、网络零售商城、网络分销、社区团购等多触点，同时整合农产品配送与供应链。 2、生鲜配送系统 生鲜配送系统功能包含：智能定价、订单管理、采购管理、智能分拣、智能配送、数据管控等。支持多城市、多仓库配送，线上与线下互通，配送效率更高。 3、农产品社区团购系统 社区团购的真正本质是：社区场景 +团购模式+社交属性+零售。社区团购是最鲜活的新零售，weiit信息农产品社区团购系统打通线上线下，农产品营运更简单。 4、农贸市场S2B2B 优点一：打造属于农批市场自属的生态圈；优点二：解决批发市场单靠收租营收的单一渠道，增加营收；优点三：人员 +商户+货品+交易+资金流+供应商金融+广告+互联网。 5、中央厨房系统 系统特点： 1、投料标准化： 精准记录每一种原料及配料投放顺序、投放数量、过敏源等

工业物联网的数据特点和痛点 工业物联网的数据采集有着频率高、设备多、维度高的特点，数据量非常大，对系统的吞吐量有很高的要求。同时工业物联网往往需要系统能够实时处理数据，对系统预警，监控，甚至反控。不少系统还需要提供图形化终端供操作工人实时监控设备的运行，这给整个系统带来了更大的压力。对于采集到的海量历史数据，通常还需要进行离线的建模和分析。因此，工业物联网的数据平台有着非常苛刻的要求，既要有非常高的吞吐量，又要有较低的延时；既要能够实时处理流数据，又要能够处理海量的历史数据；既要满足简单的点查询的要求，又要满足批量数据复杂分析的要求。 传统的事务型数据库，比如SQL Server、Oracle和MySQL，无法满足高吞吐量的数据写入和海量数据的分析。即使数据量较小，能满足数据写入的要求，也不能同时响应实时计算的请求。 Hadoop生态提供了消息引擎、实时数据写入、流数据计算、离线数据仓库、离线数据计算等多个部件。这些大数据系统组合起来，可以解决工业物联网的数据平台问题。但这样的方案过于庞大和臃肿，实施和运维的成本很高。 数据是工业物联网的血液。但是国内绝大部分的MES系统，以及所谓的智慧工厂，对生产过程中产生的海量的工艺数据，保存不会超过三个月，更不用说进一步对积累的数据研究利用了。数据的实时采集、计算和反控则对工业物联网背后的数据平台的实时计算能力提出了很高的要求