网站服务器

网站日志流量分析系统之数据清洗处理(离线分析)

妖精的绣舞 提交于 2020-02-17 05:58:21
一、概述    网站日志流量分析系统之(日志埋点) 这里我们已经将相关数据通过ajax发送至日志服务器,这里我只用了一台日志服务器(本机Windows环境),日志收集主要分为以下几个步骤:   ①日志服务器集结合logback,并自定义日志过滤器,将日志发给对应FlumeAgent客户端   ②FlumeAgent客户端根据接收器策略分发至中心服务器   ③中心服务器将数据分别落地至HDFS及Kafka(这里先做 离线分析 ,中心服务器落地HDFS;实时分析中心服务器的Flume策略暂时不加,后续实时分析时加上) 二、服务器规划 三、日志收集实现 ①日志服务器结合logback,并自定义日志过滤器,将日志发送至FlumeAgent客户端   继续编写日志服务器代码(代码已经上传Github: https://github.com/Simple-Coder/log-demo ),增加logback.xml配置如下: <?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE configuration> <configuration> <appender name="consoleAppender" class="ch.qos.logback.core.ConsoleAppender"> <encoder> <pattern>%d{yyy

部署网站到服务器(完整版)

假装没事ソ 提交于 2020-02-16 14:20:20
一、前提准备 1.购买服务器 ​ 本次以阿里云服务器为部署基础,其他云服务器大同小异。如果需要解析域名,国内服务器需要备案,除开香港或者国外服务器不需要备案。备案时间较长,一般为20天。 2.项目开发 ​ 项目开发完成后需要打成war包。 二、部署 ​ 前提: windows+R 输入mstsc打开远程连接。输入你所购买的服务器的公网IP地址 ​ 成功连接至服务器 无法连接可能是因为服务器安装的系统,建议装windows系统 1.配置服务器 1. 配置Java环境 ​ 将下载好的jdk和jre配置到系统环境变量中 ​ 配置jdk ​ 配置jdk/bin ​ 配置jre ​ 测试配置是否成功 :在命令行中依次输入java javac java -version 这三个命令,均有Java反馈信息即配置成功。 2.安装数据库 ​ 在购买的服务器中安装数据库,本次安装phpstudy(可以免去配置)。新建数据库,导入开发sql文件。 3.安装tomcat ​ 下载tomcat 4.配置安全组 在所购买的服务器官网控制台配置安全组 新建安全组 ==》 修改规则 ==》设置端口 修改新的规则 2.部署工程 1.将打包好的war包放在tomcat/webapps目录下。 在bin目录下点击startup.bat启动服务器,shutdown为关闭服务。 启动服务器后如图则成功启动 3

Ubuntu系统下使用php7+mysql+apache2搭建自己的博客

ε祈祈猫儿з 提交于 2020-02-16 13:59:49
很多人都有写博客的习惯,奈何国内的博客网站正在一家家地关闭与重整,部分博客网站也充斥着太多的广告,使用体验非常不好。对于爱写博客的朋友来说,其实还有一个更好的选择,那就是自己搭建一个博客。 搭建一个自己的博客网站首先需要购买云服务器,然后在服务器中配置必要的运行环境或安装依赖的软件,最后还可以购买与绑定域名,可以让谷歌,百度等搜索引擎更好地搜录。 购买云服务的选择很多,国内国外都有很多很优秀的云服务器提供商,比如国内的阿里云,腾讯云,国外的amazon等等。但是这里要提醒大家的是,如果购买的国内的服务器,在绑定域名的时候,是需要向有关部门申请域名备案的,过程略繁琐,但好在可以在网上完成这些步骤。在国外提供商处购买域名,服务器是不需要备案的。 下面我们拿国外的云服务器提供商virmach(网址: https://www.virmach.com/ )为例简单的说明下如何搭建自己的博客。 首先是购买云服务器,virmach的官网页面如下: 我们点击上图的Affordable Linux VPS,然后进入到选择配置的界面 这里有不同配置的服务器可以选,$2.25 per month的配置就够用了,然后点击buy now,在新的页面里可以选择服务器的位置等信息,大家可以选择美国西海岸洛杉矶的机房。都选择好以后点击加入购物车,之后你需要注册账号购买购物车里的商品,也就是我们刚刚选择的服务器

ECS上部署web网站

江枫思渺然 提交于 2020-02-14 01:09:05
总结一下在服务器上部署网站 1.购买 我选的是ECS,相对学生档而言比较好 2.把本地的数据共享到远程服务器上面 先把本机上的jdk和tomcat传上去,项目放在tomcat的webapps路径下 打开win+r,输入mstsc 计算机是你购买服务器后的公网地址(一般可以在阿里云控制台的实例中看到) 用户名一般是Administrator 进入本地资源里详细信息 选择和远程服务器共享的磁盘 点击确定连接后会要你输入凭据,凭据就是购买服务器的时候设置的密码 2.安装JDK,tomcat,具体安装步骤自行百度 3.配置好了启动tomcat,可以在外网上输入http://ip地址:8080/项目地址 如果访问失败,远程服务器上却可以通过localhost:8080运行的话,点开阿里云控制器中的网络与安全中的安全组,进去配置规则 来源: CSDN 作者: 卡卡DID 链接: https://blog.csdn.net/qq_42950149/article/details/104303405

Web框架本质及浅谈HTTP协议

百般思念 提交于 2020-02-12 09:25:00
Web框架本质 对于所有的Web应用,本质上其实就是一个socket服务端,用户的浏览器其实就是一个socket客户端。 # !/usr/bin/env python # -*- coding:utf-8 -*- # __Author__ Jianer import socket def handle_request(client): buf = client.recv(1024) client.send("HTTP/1.1 200 OK\r\n\r\n") client.send("Hello, Seven") def main(): sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) sock.bind(('localhost',8000)) sock.listen(5) while True: connection, address = sock.accept() handle_request(connection) connection.close() if __name__ == '__main__': main() socket流程不细说,关于web框架的一些阐释 上述通过socket来实现了其本质,而对于真实开发中的python web程序来说,一般会分为两部分:服务器程序和应用程序

[导入]跨平台跨服务器跨网站SSO(单点登录)方案的DEMO

二次信任 提交于 2020-02-12 08:28:44
登录 1. 打开 A 网站进行登录; 2. 检测 Login 服务器是否可用; 3. 如果 Login 服务器可用,检测发现 Login 服务器 Session 未创建; 4. 重定向到 A 网站的页面,接受 Login 服务器传来的 Key 和 UID 组成的类序列化后的数据; 5. 得到的 Key 是 1 ,说明 Login 服务器 Session 未创建,在 A 网站创建 Session ,登录完成后使用 <script> 访问 Login 服务器上的页面创建 Session 并记录网站名和网站登出页面地址; 6. 打开 B 网站登录,发现没有登录,检测 Login 服务器是否可用; 7. 如果 Login 服务器可用,检测发现 Login 服务器 Session 已经创建并记录网站名和网站登出页面地址; 8. 重定向到 B 网站的页面,接受 Login 服务器传来的 Key 和 UID 组成的类序列化后的数据; 9. 得到的 Key 不是 1 ,说明 Login 服务器 Session 已经创建,根据 Key 到数据库进行验证,验证通过后在 B 网站创建 Session 。 登出 1. 每个网站都有登出按钮,点击按钮后先清空本地 Session ; 2. 然后检测 Login 服务器是否可用; 3. 可用的话跳转到 Login 服务器的登出页面; 4. 根据 Session

跨平台跨服务器跨网站SSO(单点登录)方案的DEMO

℡╲_俬逩灬. 提交于 2020-02-12 05:47:37
登录 1. 打开 A 网站进行登录; 2. 检测 Login 服务器是否可用; 3. 如果 Login 服务器可用,检测发现 Login 服务器 Session 未创建; 4. 重定向到 A 网站的页面,接受 Login 服务器传来的 Key 和 UID 组成的类序列化后的数据; 5. 得到的 Key 是 1 ,说明 Login 服务器 Session 未创建,在 A 网站创建 Session ,登录完成后使用 <script> 访问 Login 服务器上的页面创建 Session 并记录网站名和网站登出页面地址; 6. 打开 B 网站登录,发现没有登录,检测 Login 服务器是否可用; 7. 如果 Login 服务器可用,检测发现 Login 服务器 Session 已经创建并记录网站名和网站登出页面地址; 8. 重定向到 B 网站的页面,接受 Login 服务器传来的 Key 和 UID 组成的类序列化后的数据; 9. 得到的 Key 不是 1 ,说明 Login 服务器 Session 已经创建,根据 Key 到数据库进行验证,验证通过后在 B 网站创建 Session 。 登出 1. 每个网站都有登出按钮,点击按钮后先清空本地 Session ; 2. 然后检测 Login 服务器是否可用; 3. 可用的话跳转到 Login 服务器的登出页面; 4. 根据 Session

[导入]跨平台跨服务器跨网站SSO(单点登录)的方案

和自甴很熟 提交于 2020-02-12 05:38:17
最近在研究 SSO ,看到各种复杂的解决方案觉得很疑惑,自己想出了个简单有效的方案,大家来评评有什么问题吗? 服务器 A :网站 A 服务器 B :网站 B 服务器 C :验证网站(验证表中有 UID 和 KEY 两个字段)。 1. 用户打开网站 A 的页面 http:// 服务器 A/a.aspx ,检测发现网站 Session 中没有存储用户名 UID 。 2. 系统转到验证服务器登录页面,并在 QUERYSTRING 中附加前一个页面的 URL 地址。比如 http:// 服务器 C/login.asp?URL=http:// 服务器 A/a.aspx 3. 在验证服务器登录成功后更新验证服务器的 Session (超时设置为足够长,比如 1 天)。然后生成一个 GUID 值,写入验证表。最后,把这个 GUID 值和 UID 保存到一个类中序列化后附加在 URL 中返回网站 A 的那个页面。比如 http:// 服务器 A/a.aspx? token =sadhsagdkjasgyugd7d8yweihasdiuhagsdiuashdhaiushdi 4. 网站 A 的页面读取 QUERYSTRING ,然后反序列化出一个类,读取类的 UID 和 KEY 信息。然后,从数据库中查找匹配的记录,如果找到了则表明登录成功,并把这条记录的 KEY 更新成另外一个 GUID

视频CDN缓存

落爺英雄遲暮 提交于 2020-02-11 01:43:06
文章目录 视频特点 视频参数 码率调整 什么是码率调整 码率自适应技术 视频传输 基于HTTP的流媒体传输 CDN cache服务器 什么是CDN CDN形象比喻 CDN 文件系统&&缓存机制 视频+cache CDN实施技术 用户访问网站步骤 video quality delivered by individual CDNs can vary substantially across clients (e.g., across different ISPs or content providers) and also across time (e.g., flash crowds) [39, 37]. Similarly,because the video player has only a few seconds worth of buffering and the bandwidth could fluctuate significantly, we need to make quick decisions (e.g., future bitrates) based on the current client buffer level and bandwidth so that the buffer does not drain out [27]. 视频特点 -变化不大

《大型网站技术架构:核心原理与案例分析》笔记

情到浓时终转凉″ 提交于 2020-02-10 02:59:33
目录 · 大型网站软件系统的特点 · 大型网站架构演化发展历程 · 初始阶段的网站架构 · 需求/解决问题 · 架构 · 应用服务和数据服务分离 · 需求/解决问题 · 架构 · 使用缓存改善网站性能 · 需求/解决问题 · 架构 · 使用应用服务器集群改善网站的并发处理能力 · 需求/解决问题 · 架构 · 数据库读写分离 · 需求/解决问题 · 架构 · 使用反向代理和CDN加速网站响应 · 需求/解决问题 · 架构 · 使用分布式文件系统和分布式数据库系统 · 需求/解决问题 · 架构 · 使用NoSQL和搜索引擎 · 需求/解决问题 · 架构 · 业务拆分 · 需求/解决问题 · 架构 · 分布式服务 · 需求/解决问题 · 架构 · 大型网站架构演化心得 · 大型网站架构模式 · 综述 · 分层 · 概念 · 目的 · 举例 · 分割 · 概念 · 目的 · 举例 · 分布式 · 概念 · 目的 · 缺点 · 举例 · 集群 · 概念 · 目的 · 缓存 · 概念 · 目的 · 举例 · 异步 · 概念 · 目的 · 冗余 · 概念 · 目的 · 举例 · 自动化 · 目的 · 举例 · 安全 · 举例 · 大型网站核心架构要素 · 性能 · 网站性能测试 · 不同视角下的网站性能 · 性能测试指标 · 性能测试方法 · 性能测试报告 · Web前端性能优化 ·