meta

storm写入到hdfs

北城以北 提交于 2020-03-03 18:29:46
spout package com.heibaiying.component; import org.apache.storm.shade.org.apache.commons.lang.StringUtils; import org.apache.storm.spout.SpoutOutputCollector; import org.apache.storm.task.TopologyContext; import org.apache.storm.topology.OutputFieldsDeclarer; import org.apache.storm.topology.base.BaseRichSpout; import org.apache.storm.tuple.Fields; import org.apache.storm.tuple.Values; import org.apache.storm.utils.Utils; import java.util.*; /** * 产生词频样本的数据源 */ public class DataSourceSpout extends BaseRichSpout { private List<String> list = Arrays.asList("Spark", "Hadoop", "HBase", "Storm",

路飞学城课程相关表结构

寵の児 提交于 2020-03-02 05:03:30
开发周期和团队? -开发团队     -导师后台 stark组件 +rbac 1人     -管理后台 stark组件 +rbac 1人     -主站       -vue 1人       - api 3人   -运维(1人)   -产品经理 (1人)   -UI设计 (1人)   -运营团队(1人)   -销售(4人)   -全职导师(2人)   -测试 (1人)   -签约导师()   主站业务 - 课程 - 课程列表 - 课程详细 - 大纲、导师、推荐课程 - 价格策略 - 章节和课时 - 常见问题 - 深科技 - 文章列表 - 文章详细 - 收藏 - 评论 - 点赞 - 支付 - 购物车(4) - 结算中心(3) - 立即支付(1) 知识点: - redis - 支付宝 - 消息推送 - 构建数据结构 - 优惠券+贝里+支付宝 - 个人中心 - 课程中心 .-课程(13张) -课程大类   -课程子类 -学位课   -导师   -奖学金 -专题课 -  课程详细   -常见问题 -  课时 -  作业 -  章节   -课程大纲 -价格策略 课程相关表结构 from django.contrib.contenttypes.fields import GenericForeignKey, GenericRelation from django.contrib

Django组件-ContentType

蹲街弑〆低调 提交于 2020-03-02 05:03:05
ContentType组件 ContentType是Django的内置的一个应用,可以追踪项目中所有的APP和model的对应关系,并记录在ContentType表中。 当项目做数据迁移后,会有很多django自带的表,其中就有django_content_type表 ContentType组件应用 在model中定义ForeignKey字段,并关联到ContentType表,通常这个字段命名为content-type 在model中定义PositiveIntergerField字段, 用来存储关联表中的主键,通常用object_id 在model中定义GenericForeignKey字段,传入上面两个字段的名字 方便反向查询可以定义GenericRelation字段 postman from django.db import models from django.contrib.contenttypes.models import ContentType from django.contrib.contenttypes.fields import GenericForeignKey, GenericRelation # Create your models here. class Food(models.Model): """ id title 1 面包 2 牛奶 """

qhfl-3 Course模块

不想你离开。 提交于 2020-03-02 05:01:55
课程模块,包括免费课程以及专题课程两个,主要是课程的展示,点击课程进入课程详细页面 根据功能设计表结构 为了方便,每张表在数据库中添加了中文名 from django.db import models from django.contrib.contenttypes.fields import GenericForeignKey, GenericRelation from django.contrib.contenttypes.models import ContentType # from shopping.models import OrderDetail,Coupon # 注册admin 的时候 方便引入 __all__ = ["Category", "Course", "CourseDetail", "Teacher", "DegreeCourse", "CourseChapter", "CourseSection", "PricePolicy", "OftenAskedQuestion", "Comment", "Account", "CourseOutline"] class Category(models.Model): """课程分类表""" title = models.CharField(max_length=32, unique=True, verbose

前端初始-HTML

老子叫甜甜 提交于 2020-03-01 20:49:35
前端初始 前端的本质 import socket sk = socket.socket() sk.bind(("127.0.0.1", 8080)) sk.listen() while 1: conn, addr = sk.accept() ret = conn.recv(1024) print(ret.decode("utf-8")) conn.send(b"http/1.1 201 ok\r\n\r\n") # 发送网页的协议 # conn.send(b"hello") conn.send("<h1>hello world</h1>".encode('utf-8')) conn.close() sk.close() 当浏览器发送请求(客户端)-> HTTP协议 --> 服务端接收请求 --> 服务端返回响应 --> 服务端把HTML文件内容发给浏览器 --> 浏览器渲染页面 HTML是啥? 超文本标记语言(Hypertext Markup Language, HTML)是一种用于创建网页的标记语言。本质上是浏览器可识别的规则,我们按照规则写网页,浏览器根据规则渲染我们的网页。对于不同的浏览器,对同一个标签可能会有不同的解释。是一种标记语言,不是编程语言。 HTML的结构 <!DOCTYPE html> <!--声明HTML5文档--> <html lang="en"> <!-

javascript高级编程运用

大憨熊 提交于 2020-03-01 17:40:32
一//各种尺寸 (size) s += "\r\n网页可见区域宽:"+ document.body.clientWidth; s += "\r\n网页可见区域高:"+ document.body.clientHeight; s += "\r\n网页可见区域高:"+ document.body.offsetWeight +" (包括边线的宽)"; s += "\r\n网页可见区域高:"+ document.body.offsetHeight +" (包括边线的宽)"; s += "\r\n网页正文全文宽:"+ document.body.scrollWidth; s += "\r\n网页正文全文高:"+ document.body.scrollHeight; s += "\r\n网页被卷去的高:"+ document.body.scrollTop; s += "\r\n网页被卷去的左:"+ document.body.scrollLeft; s += "\r\n网页正文部分上:"+ window.screenTop; s += "\r\n网页正文部分左:"+ window.screenLeft; s += "\r\n屏幕分辨率的高:"+ window.screen.height; s += "\r\n屏幕分辨率的宽:"+ window.screen.width; s += "\r

如何实现两列固定与一列自适应

六眼飞鱼酱① 提交于 2020-03-01 13:16:06
【逆战班】 1.flex布局 Flexible Box 模型,通常被称为 flexbox,是一种一维的布局模型。它给 flexbox 的子元素之间提供了强大的空间分布和对齐能力。我们说 flexbox 是一种一维的布局,是因为一个 flexbox 一次只能处理一个维度上的元素布局,一行或者一列。这里我们利用flex布局来实现两列固定一列自适应 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title> <style> #main{ display: flex;/*设为伸缩容器*/ } #left{ width:200px;/*左侧固定宽度*/ height:400px; background:aqua; } #center{ flex-grow:1; /*填满剩余空间*/ height:400px; background:green;} #right{ width:200px;/*固定右侧宽度*/ height:400px; background:blue; } </style> </head> <body> <div id=

J2EE复习(一)HTML

有些话、适合烂在心里 提交于 2020-03-01 05:06:43
HTML(Hypertext Markup Language) 简介 HTML 是一种标记语言 使用 HTML 标记和元素,可以: 控制页面和内容的外观 发布联机文档 使用 HTML 文档中插入的链接检索联机信息 创建联机表单,收集用户的信息、执行事务等等 插入动画 开发帮助文件 使用META标记 2-1 name和http-equiv 1.提供关于网页的信息 META name=“Author” content=“Graham Browne” 获得文档的作者名称 META name=“KEYWORDS” content=“...”  根据关键词生成响应 META name="DESCRIPTION" content="..." 对网页的描述 2.应用:关键词生成响应 META http-equiv="Expires" content="Mon, 15 Sep 2003 14:25:27 GMT" 设置网页的到期值 META http-equiv="Content-Type" content="text/html; charset=gb2312" 设置网页使用gb2312编码 meta name=“description” content=“欢迎学习META元素" "description"中的content="网页描述",是对一个网页概况的介绍,这些信息可能会出现在搜索结果中

爬虫之scrapy框架(二)

六月ゝ 毕业季﹏ 提交于 2020-02-29 17:32:07
目录 一、使用scrapy整站爬取网站信息 scrapy的真正起始爬取方法 使用scrapy整站爬取cnblogs网站信息大致思路 二、scrapy的请求传参 三、提升scrapy爬取数据的效率 四、scrapy的下载中间件 下载中间件使用代理池 scrapy settings详细介绍 五、selenium在scrapy中的使用流程 六、scrapy框架去重规则 七、scrapy-redis分布式爬虫 八、常见反扒措施 一、使用scrapy整站爬取网站信息 scrapy的真正起始爬取方法 当我们启动spider.py文件时,会执行我们设置好的 start_urls ,但是源码真正是如何处理的呢?我们进入scrapy.Spider查看源码,Spider类下有如下代码: def start_requests(self): cls = self.__class__#当前实例对象的类 if method_is_overridden(cls, Spider, 'make_requests_from_url'): warnings.warn( "Spider.make_requests_from_url method is deprecated; it " "won't be called in future Scrapy releases. Please " "override Spider

前端基础---html---常用标签

与世无争的帅哥 提交于 2020-02-29 15:35:17
1 HTML 基础知识: http 协议 (hypertext transfer protocol) 超文本传输协议 端口 80 基于 请求与响应 模式 的 无状态的 应用层协议 https (hypertext transfer protocol over secure socket layer) 端口443 SSL (secure socket layer 安全套阶层) 主要用于 web 的安全传输协议,在传输层对网络链接进行加密, 保证internet的数据传输安全 url (uniform/universal resource location) 统一资源定位符 http 协议用 URL 作为 网络资源的定位符号 ===================================== protocol host name port path http: //loaclhost : 8888/ hello ===================================== 基本格式: protocol://host[:ports]/path/.../[?query-string][#anchor] protocol:协议(http,https,ftp) host: 服务器的IP地址 port:服务器的端口 path:访问的资源路径 query-string:参数