GT

使用Cassandra和Spark 2.0实现Rest API服务

寵の児 提交于 2020-03-24 10:51:31
3 月,跳不动了?>>> 阿里云智能数据库事业部 OLAP 平台团队现向 2021 届海内外院校应届毕业生(毕业时间在2020年11月-2021年10月之间)招聘大数据系统工程师,有机会转正,有意请加 iteblog 微信内推。   在这篇文章中,我将介绍如何在 Spark 中使用Akka-http并结合 Cassandra 实现REST服务,在这个系统中 Cassandra 用于数据的存储。   我们已经见识到 Spark 的威力,如果和 Cassandra 正确地结合可以实现更强大的系统。我们先创建一个 build.sbt 文件,内容如下: name := "cassandra-spark-akka-http-starter-kit" version := "1.0" scalaVersion := "2.11.8" organization := "com.iteblog" val akkaV = "2.4.5" libraryDependencies ++= Seq( "org.apache.spark" % "spark-core_2.11" % "2.0.0", "org.apache.spark" % "spark-sql_2.11" % "2.0.0", "com.typesafe.akka" %% "akka-http-core" % akkaV, "com

【转载】Spring学习(1)——快速入门--2019.05.19

孤街醉人 提交于 2020-03-24 10:43:18
3 月,跳不动了?>>> 原文地址: https://www.cnblogs.com/wmyskxz/p/8820371.html 认识 Spring 框架 Spring 框架是 Java 应用最广的框架,它的 成功来源于理念,而不是技术本身 ,它的理念包括 IoC (Inversion of Control,控制反转) 和 AOP(Aspect Oriented Programming,面向切面编程) 。 什么是 Spring: Spring 是一个 轻量级的 DI / IoC 和 AOP 容器的开源框架 ,来源于 Rod Johnson 在其著作 《Expert one on one J2EE design and development》 中阐述的部分理念和原型衍生而来。 Spring 提倡以 “最少侵入” 的方式来管理应用中的代码,这意味着我们可以随时安装或者卸载 Spring 适用范围:任何 Java 应用 Spring 的根本使命:简化 Java 开发 尽管 J2EE 能够赶上 Spring 的步伐, 但 Spring 并没有停止前进, Spring 继续在其他领域发展,而 J2EE 则刚刚开始涉及这些领域,或者还没有完全开始在这些领域的创新。 移动开发、社交 API 集成、NoSQL 数据库、云计算以及大数据 都是 Spring 正在涉足和创新的领域。Spring

QT实验分析教程 计算器程序界面设计(6)

时光毁灭记忆、已成空白 提交于 2020-03-24 10:32:33
3 月,跳不动了?>>> QT实验分析教程 计算器程序界面设计(6) 计算器程序界面 定义组件间的间隔:Space = 10px 定义按钮组件的大小:Width = 40px,Height = 40px 定义文本框组件的大小:Width = 5 * 40px + 4 * 10px, Height = 30px 计算器程序不需要最大化和最小化按钮。 计算器程序的窗口应该是固定大小。 文本框不能直接输入字符。 示例程序: main.cpp #include <QtGui/QApplication> #include <QWidget> #include <QLineEdit> #include <QPushButton> int main(int argc, char *argv[]) { QApplication a(argc, argv); QWidget* w = new QWidget(NULL, Qt::WindowCloseButtonHint);//只有一个关闭按钮 QLineEdit* le = new QLineEdit(w); QPushButton* button[20] = {0}; const char* btnText[20] = { "7", "8", "9", "+", "(", "4", "5", "6", "-", ")", "1", "2", "3

吴恩达机器学习

↘锁芯ラ 提交于 2020-03-24 10:27:28
3 月,跳不动了?>>> 参考: 吴恩达机器学习 梯度下降法及其Python实现 梯度下降法(BGD,SGD,MSGD)python+numpy具体实现 Octave Octave 的函數列表 在线公式编辑器 1、绪论:初识机器学习 什么是机器学习 监督学习 课时4 无监督学习 数据聚类 第2章 单变量线性回归 模型描述 代价函数 代价函数(一) 代价函数(二) 梯度下降 梯度下降知识点总结 线性回归的梯度下降 线性回归梯度下降公式总结 Hypothesis: h θ = θ 0 + θ 1 x Parameters: θ 0 , θ 1 Cost Function: J ( θ 0 , θ 1 ) = 1 2 m ∑ m i = 1 ( h θ ( x ( i ) ) − y ( i ) ) 2 Goal: m i n i m i z e J ( θ 0 , θ 1 ) Gradient descent algorithm: θ j : = θ j − α ∂ ∂ θ j J ( θ 0 , θ 1 ) ( f o r j = 0 a n d j = 1 ) Correct:Simultaneous update t e m p 0 : θ 0 − α ∂ ∂ θ 0 J ( θ 0 , θ 1 ) t e m p 1 : θ 1 − α ∂ ∂ θ 1 J ( θ 0 , θ

Vue有什么特性,相对于其他框架都有那些优势!

▼魔方 西西 提交于 2020-03-24 09:58:34
3 月,跳不动了?>>> (给达达前端加星标,提升前端技能) Vue所提供的一些相对高级的特性,表单操作,自定义指令,计算属性,过滤器,侦听器,生命周期。 表单操作的作用,用于用户的交互,通过表单来进行数据的交互。 基于Vue的表单操作,input单行文本,textarea多行文本,select下拉多选,radio单选框,checkbox多选框。 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Document</title> <style type="text/css"> form div { height: 40px; line-height: 40px; } form div span:first-child{ display: inline-block; width: 100px; } </style> </head> <body> <div id="app"> <form> <div> <span>姓名:</span> <span> <input type="text"> </span> </div> <div> <span>性别:</span> <span> <input type="radio" id="male"> <label for="male">男</label>

uniapp app-plus pages.json

人走茶凉 提交于 2020-03-24 09:57:59
3 月,跳不动了?>>> app-plus Object 设置编译到 App 平台的特定样式,配置项参考下方 app-plus App 参考地址 https://uniapp.dcloud.io/collocation/pages app-plus配置编译到 App 平台时的特定样式,部分常用配置 H5 平台也支持。以下仅列出常用,更多配置项参考 WebviewStyles。 titleNView Object 导航栏 ,详见:导航栏 App、H5subNVues Object 原生子窗体,详见:原生子窗体 App 1.9.10 bounce String 页面回弹效果,设置为 "none" 时关闭效果。 App(nvue Android无页面级bounce效果,仅list、recycle-list、waterfall等滚动组件有bounce效果)softinputNavBar String auto iOS软键盘上完成工具栏的显示模式,设置为 "none" 时关闭工具栏。 仅ios生效softinputMode String adjustPan 软键盘弹出模式,支持 adjustResize、adjustPan 两种模式 ApppullToRefresh Object 下拉刷新 AppscrollIndicator String 滚动条显示策略,设置为 "none"

【面试需要-Vue全家桶】一文带你看透Vue前端路由

假装没事ソ 提交于 2020-03-24 09:57:10
3 月,跳不动了?>>> 作者 | Jeskson 掘金 | https://juejin.im/user/5a16e1f3f265da43128096cb 2020.1.11 背景介绍 vue router是vue.js官方的路由管理器,它和vue.js的核心深度集成,让构建单页面应用变得易如反掌,它的功能有: 嵌套的路由,或者是,视图表;模块化的,基于组件的路由配置;路由参数,查询,通配符,基于Vue.js过渡系统的视图过渡效果,细粒度的导航控制;带有自动激活的CSS class的链接,HTML5历史模式或者是hash模式,在IE9中自动降级;自定义的滚动条行为。 面试官提问,你能说出路由的概念吗?能说明一下vue-router的基本使用步骤吗?或者让你说出vue-router的嵌套路由用法怎么用? 再次询问你vue-router如何实现动态路由匹配用法呢?请说出vue-router命名路由用法?请说出vue-router编程式导航用法? 在实际业务中,去实现基于路由的方式。 快速入门 如何快速入门并掌握呢?了解路由的属性配置说明,如何页面跳转,如何子路由-路由嵌套,路由的传递参数,命名路由,命名视图,重定向,别名,过渡动画,mode与404,路由的钩子,路由的懒加载。 快速入门第一步安装,vue-router是一个插件包,需要用npm来安装。 npm install vue

阿里云物联网平台NET SDK实现RRPC服务端调用

↘锁芯ラ 提交于 2020-03-24 09:17:48
3 月,跳不动了?>>> 概述 MQTT协议是基于PUB/SUB的异步通信模式,不适用于服务端同步控制设备端返回结果的场景。前面博客 基于开源Java MQTT Client的阿里云物联网平台RRPC功能测试 介绍了RRPC原理,使用Open API实现服务端的调用实现。本文介绍如何使用NET SDK在本地实现RRPC的服务端调用。 Step By Step 1、创建产品与设备 参考 链接 准备工作部分。 2、设备端Code import com.alibaba.taro.AliyunIoTSignUtil; import org.eclipse.paho.client.mqttv3.*; import org.eclipse.paho.client.mqttv3.persist.MemoryPersistence; import java.util.HashMap; import java.util.Map; public class IoTRRPCForSysTopicDemo { // 设备三元组信息 public static String productKey = "a16MX******"; public static String deviceName = "RRPC******"; public static String deviceSecret =

Asp.net SignalR 应用并实现群聊功能 开源代码

感情迁移 提交于 2020-03-24 09:02:20
3 月,跳不动了?>>> ASP.NET SignalR 是为 ASP.NET 开发人员提供的一个库,可以简化开发人员将实时 Web 功能添加到应用程序的过程。实时 Web 功能是指这样一种功能:当所连接的客户端变得可用时服务器代码可以立即向其推送内容,而不是让服务器等待客户端请求新的数据。(来自官方介绍。) SignalR官网 -1、写这篇的原因 在上篇文章 B/S(Web)实时通讯解决方案 中,并没有详情介绍SignalR,所以另起一篇专门介绍SignalR,本文的侧重点是Hub功能。 0、先看最终实现效果 github: https://github.com/Emrys5/SignalRGroupChatDemo 在线演示: http://chat.lining.name/ 1、准备工作 1.1、在NuGet上首先下载SignalR的包。 1.2、配置Owin与SignalR 1.2.1、新建Startup类,注册SignalR 1 public class Startup 2 { 3 public void Configuration(IAppBuilder app) 4 { 5 app.MapSignalR(); 6 } 7 } 然后在web.config配置Startup类,在configuration=>appSettings节点中添加 <add key="owin

spark reparation和coalesce

試著忘記壹切 提交于 2020-03-24 08:45:30
3 月,跳不动了?>>> repartition(numPartitions:Int):RDD[T]和coalesce(numPartitions:Int,shuffle:Boolean=false):RDD[T] 他们两个都是RDD的分区进行重新划分,repartition只是coalesce接口中shuffle为true的简易实现,(假设RDD有N个分区,需要重新划分成M个分区) 1、N小于M 一般情况下N个分区有数据分布不均匀的状况,利用HashPartitioner函数将数据重新分区为M个,这时需要将shuffle设置为true。 2、N大于M且和M相差不多 假如N是1000,M是100)那么就可以将N个分区中的若干个分区合并成一个新的分区,最终合并为M个分区,这时可以将shuff设置为false,在shuffl为false的情况下,如果M>N时,coalesce为无效的,不进行shuffle过程,父RDD和子RDD之间是窄依赖关系。 3、N大于M且和M相差悬殊 这时如果将shuffle设置为false,父子RDD是窄依赖关系,他们同处在一个Stage中,就可能造成Spark程序的并行度不够,从而影响性能,如果在M为1的时候,为了使coalesce之前的操作有更好的并行度,可以讲shuffle设置为true。 总之:如果shuff为false时