科技新闻

kafka术语

≯℡__Kan透↙ 提交于 2020-03-02 01:02:52
kafka 架构Terminology(术语) broker(代理)   Kafka集群包含一个或多个服务器,这种服务器被称为broker Topic   每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic(可以理解为队列queue或者 目录 )。物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处。   Partition   Parition是物理上的概念(可以理解为 文件夹 ),每个Topic包含一个或多个Partition。 Producer     生产者,负责发布消息到Kafka broker。 Consumer   消息消费者,向Kafka broker读取消息的客户端。 Consumer Group   每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name,若不指定group name则属于默认的group)。 Kafka拓扑结构 Topic & Partition  topic可以看成不同消息的类别或者信息流,不同的消息根据就是通过不同的topic进行分类或者汇总,然后producer将不同分类的消息发往不同的topic。对于每一个topic,kafka集群维护一个分区的日志

细谈c#开发微信语音接口

巧了我就是萌 提交于 2020-03-02 00:52:26
现在是微信时代 微信最开始就是做语音聊天而使得其更加流行的,因此语音的识别处理自然也就成为微信交流的一个重要途径,微信的开发接口,也提供了对语音的消息请求处理。本文主要介绍如何利用语音的识别,对C#开发的微信门户应用的整个事件链的处理操作,使得在我们的微信账号里面,更加方便和多元化对用户的输入进行处理。开发环境visual studio one、微信语音接口的定义 微信的API这么定义语音的识别的: 开通语音识别功能,用户每次发送语音给公众号时,微信会在推送的语音消息XML数据包中,增加一个Recongnition字段 。 语音的消息格式如下所示。 < xml > < ToUserName > <![CDATA[ toUser ]]> </ ToUserName > < FromUserName > <![CDATA[ fromUser ]]> </ FromUserName > < CreateTime > 1357290913 </ CreateTime > < MsgType > <![CDATA[ voice ]]> </ MsgType > < MediaId > <![CDATA[ media_id ]]> </ MediaId > < Format > <![CDATA[ Format ]]> </ Format > < MsgId >

SpringBoot实战:SpringBoot之Rest Full接口自定义返回数据类型(ResponseBodyAdvice)

故事扮演 提交于 2020-03-01 23:42:42
我们在日常开发的过程中,经常会要求统一返回数据格式。如要求统一访问格式为 { "success": 请求是否成功, "message": 请求消息, "data": 请求数据 } 那我们要如何实现呢,接下来将演示接口自定义返回数据类型 一般接口返回的数据格式的都是json,故现在pom.xml引入fastjson包 <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.62</version> </dependency> 先建一个符合统一数据格式的实体类 import lombok.Getter; import lombok.Setter; import java.io.Serializable; /** * @author wusy * Company: xxxxxx科技有限公司 * Createtime : 2020/2/28 22:11 * Description : rest full 统一返回包装类 */ @Setter @Getter public class ResultObjectModel<T> implements Serializable { /** * 返回是否成功 */ private Boolean success; /** *

IT人战疫进行时

笑着哭i 提交于 2020-03-01 19:31:34
最近湖北以外的疫情病例迎来13连降,世卫组织也宣称中国的防控措施避免了大量病例的感染,开始呈出缓和。但是世界其它国家却麻烦不断,先是韩国爆出超级传染事件,目前已有800多人确诊, 而日本也出现了恐怖邮轮,值此危机之际,美国卫生部也宣称有可能采取与中国相同的封闭措施。 美国对于中国的限制不仅仅停留在口头上,对涉及知识产权、技术转让等方面更是加紧进行封锁,据路透社报道称美国为限制华为,正考虑修改《外国直接产品规则》,要求使用美国芯片制造设备的外国公司,必须向美国申请许可,才可以向华为供货。根据之前的美国规定,美国以外的企业,只要使用超过25%以上的美国技术,就要遵守美国相关法律,而现在这个比例或将降至10%。这一修订明显是指向台积电的,因为台积电向华为供货的14nm芯片,使用的美国技术比例恰好过线。唇亡齿寒的道理大家都了解,如果不帮助华为挺过一关,那么谁是下一个真的难讲。 不过我们欣喜的看到咱们中国的科技企业在面对疫情与封锁的双重压力下,完全没有丝毫退缩,坚决走上自主创新的道路无论是华为、BAT等大厂还是天云、涛思、睿赛德这样的基础软件供应商都在挫折中奋发图强,颇有民族脊梁的风骨。 华为-逆行者背后的支撑 从来没有什么岁月静好,只是有人替你砥砺前行。如果说在本次疫情中雷神山与火神山医院是中国的奇迹,那么华为则是奇迹背后的有力支撑,医院光有硬件是不够的,必须有医生的支持

微信接龙利与弊

断了今生、忘了曾经 提交于 2020-03-01 19:21:00
目前抗击疫情阶段出现了很多网上(微信)签到软件、用到了个人隐私信息,特别是有的采用接龙申报法,我想提一个问题:我们能否用我们所学的密码学、消息认证等方法既保证我们个人信息的保密性还可以保证完整性,能实现对消息发送方的认证,具有抗抵赖性,前提是接龙的参与者不能看到其他人的隐私,最后的接受者可以看到每一个人上报的信息,大家可以思考,另外在这期间如何防止个人隐私泄露,大家可以思考? 这个确实很简单, ■■■■■, 老师■■■■■■■■, ■■放出, 同学们可以利用■■■■■■, 将■■■■发送给老师, 老师利用■■■■. 但是, 并不能抗抵赖, 原因在于■■■■■■■■■■■■, 所以不仅可以■■■■■■■, 也可以■■■■■■■■, 如果■■■■■■■都有一个■■■■■■■■■■, 我们用之前的方法来■■■■■■■■, ■■■■■■■交流即可, 这就完成了保密性和抗抵赖性. 完整版参见 加密文章 密码请添加 Q 315157923 回复 牛啊 获取. 来源: https://www.cnblogs.com/swyw/p/12391148.html

页面声音告警和钉钉告警

混江龙づ霸主 提交于 2020-03-01 16:01:30
页面声音告警: 点击右上角小人头-----正在发送消息 通过钉钉报警: 1、创建群组---发起群聊 2、点击右上角群机器人----添加机器人-----自定义 通过/etc/zabbix/zabbix_server.conf查看存放脚本的路径为/usr/lib/zabbix/alertscripts(455行) 脚本需要放置此目录 通过如下方式验证接口是否正常发送 配置----动作----创建动作 操作下面的内容: 默认接收人:服务器:{HOST.NAME}发生: {TRIGGER.NAME}故障! 默认信息:告警主机:{HOST.NAME}     告警地址:{HOST.IP}     监控项目:{ITEM.NAME}     监控取值:{ITEM.LASTVALUE}     告警等级:{TRIGGER.SEVERITY}     告警信息:{TRIGGER.NAME}     告警时间:{EVENT.DATE} {EVENT.TIME}     事件ID:{EVENT.ID}     当前状态:{TRIGGER.STATUS} 恢复操作下面的内容: 默认接收人:服务器:{HOST.NAME}: {TRIGGER.NAME}已恢复! 默认信息: 告警主机:{HOST.NAME} 告警地址:{HOST.IP} 监控项目:{ITEM.NAME} 监控取值:{ITEM

0028 微信开发(微信回复)

依然范特西╮ 提交于 2020-03-01 15:41:34
  微信回复是指响应微信的消息和事件。公众号开发可以根据用户的不同消息,做出不同的回复。   在Applications/Wechat/views下创建一个名为Replies.py文件,用来回复不同的请求。 1 文本消息回复    来源: https://www.cnblogs.com/dorian/p/12389704.html

ActiveMQ RabbitMQ KafKa对比

假装没事ソ 提交于 2020-03-01 13:42:51
前言: ActiveMQ和 RabbitMq 以及Kafka在之前的项目中都有陆续使用过,当然对于三者没有进行过具体的对比,以下摘抄了一些网上关于这三者的对比情况,我自己看过之后感觉还 是可以的,比较清晰的反馈了这三个的具体情况已经使用场景,具体的对比如下: 1)TPS比较: Kafka最高,RabbitMq 次之, ActiveMq 最差。 2)吞吐量对比: kafka具有高的吞吐量,内部采用消息的批量处理,zero-copy机制,数据的存储和获取是本地磁盘顺序批量操作,具有O(1)的复杂度,消息处理的效率很高。 rabbitMQ在吞吐量方面稍逊于kafka,他们的出发点不一样,rabbitMQ支持对消息的可靠的传递,支持事务,不支持批量的操作;基于存储的可靠性的要求存储可以采用内存或者硬盘。 3)在架构模型方面: RabbitMQ遵循AMQP协议,RabbitMQ的broker由Exchange,Binding,queue组成,其中exchange和binding组成了消息的路由键;客户端Producer通过连接channel和server进行通信,Consumer从queue获取消息进行消费(长连接,queue有消息会推送到consumer端,consumer循环从输入流读取数据)。rabbitMQ以broker为中心;有消息的确认机制。 kafka遵从一般的MQ结构

Flink的流连接器(Streaming Connectors)

☆樱花仙子☆ 提交于 2020-03-01 13:17:28
预定义的Sources 和 Sinks 一些基本的数据sources 和 sinks 作为Flink的一部分,总是可用。预定义的数据源包括从文件中读取、从目录中读取、从套接字中读取以及从集合和迭代中获取,预定义的数据sink支持写到文件中,作为标准输出或者标准错误输出以及写到套接字中。 捆绑的连接器(Boundled Connectors) 这些连接器提供与第三方系统接口的代码,目前这些连接器包括: Apache Kafka (Source/Sink) Apache Cassandra (Source/Sink) Amazon Kinesis Streams (Source/Sink) Elasticsearch (Sink) Hadoop FileSystem (Sink) RabbitMQ (Source/Sink) Apache NiFi (Source/Sink) Twitter Streaming API (Source) 请记住,要在应用程序中使用这些连接器之一,通常需要额外的第三方组件,例如数据存储服务或者消息队列。还需要注意本节中所列出的流连接器是Flink项目的一部分,包括在发布的源码包中,但是并不包括在二进制发布包中,进一步的说明在相应的章节中。 Apache Bahir中的连接器 另外的Flink 流连接器通过Apache Bahir来发布,包括:

rocketmq入门

人盡茶涼 提交于 2020-03-01 12:20:56
RocketMQ简介 1.RocketMQ是一款分布式、队列模型的消息中间件,是阿里巴巴集团自主研发的专业消息中间件,借鉴参考了JMS规范的MQ实现,更参考了优秀的开源消息中间件KAFKA,实现了业务消峰、分布式事务的优秀框架。 2.其底层代码编写清晰优秀,采用 Netty NIO 框架进行数据通信 3.摒弃了Zookeeper,内部使用更轻量级的NameServer进行网络路由,提高服务性能,并且 支持消息失败重试 机制。 4.天然支持集群模型,消费者负载均衡、水平扩展能力,支持广播模式和集群模式。 5.采用零拷贝的原理、顺序写盘、支持亿级消息堆积能力。 6.提供丰富的消息机制,如顺序消息、事务消息等 MQ基本概念: Message :消息,消息队列中信息传递的载体。 Message ID :消息的全局唯一标识,由 MQ 系统自动生成,唯一标识某条消息。 Message Key :消息的业务标识,由消息生产者(Producer)设置,唯一标识某个业务逻辑。 Topic :消息主题,一级消息类型,通过 Topic 对消息进行分类。 Tag :消息标签,二级消息类型,用来进一步区分某个 Topic 下的消息分类。 Producer :消息生产者,也称为消息发布者,负责生产并发送消息。 Producer ID :一类 Producer 的标识,这类 Producer