Google

服务器反爬虫攻略:Apache/Nginx/PHP禁止某些User Agent抓取网站

北城余情 提交于 2019-12-25 11:57:09
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 我们都知道网络上的爬虫非常多,有对网站收录有益的,比如百度蜘蛛(Baiduspider),也有不但不遵守robots规则对服务器造成压力,还不能为网站带来流量的无用爬虫,比如宜搜蜘蛛(YisouSpider)。最近张戈发现nginx日志中出现了好多宜搜等垃圾的抓取记录,于是整理收集了网络上各种禁止垃圾蜘蛛爬站的方法,在给自己网做设置的同时,也给各位站长提供参考。 一、Apache ①、通过修改 .htaccess文件 修改网站目录下的.htaccess,添加如下代码即可(2种代码任选): 可用代码 (1): RewriteEngine On RewriteCond %{HTTP_USER_AGENT} (^$|FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider

基于HTML5的网络拓扑图(2)-结合OpenLayers实现地图背景的拓扑图

人盡茶涼 提交于 2019-12-19 16:58:07
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 地图应用分三种级别:示意地图(Map Chart),地图(Map),地理信息系统(GIS),第一种通常使用相对坐标系,后两种则为真实的地理坐标,其中第二种以谷歌地图为代表,日常生活中普遍使用,后一种则为专业的GIS,专业领域做拓扑分析、流域分析时用到,示意地图我们已经有很多例子,比如 美国大选示例 、 中国地图示例 等,今天介绍第二种地图的应用,结合OpenLayers和谷歌地图实现地图的拓扑图应用: demo.qunee.com/map/map.html 创建地图 OpenLayers是开源地理基金会作(OSGeo.org)支持的项目之一,是一种通用的地理客户端平台,支持谷歌地图,Bing地图,WMS,GML等多种地图在线服务,这里用到的是谷歌地图,需要引入OpenLayers和google map的js类库和css文件 引入相关类库 <link rel="stylesheet" href="OpenLayers/theme/default/style.css" type="text/css"> <script src="http://maps.google.com/maps/api/js?v=3&sensor=false"></script> <script src="OpenLayers

Mybatis 3.1中 Mapper XML 文件 的学习详解

与世无争的帅哥 提交于 2019-12-11 16:12:43
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> MyBatis 真正的力量是在映射语句中。这里是奇迹发生的地方。对于所有的力量,SQL 映射的 XML 文件是相当的简单。当然如果你将它们和对等功能的 JDBC 代码来比较,你会发现映射文件节省了大约 95%的代码量。MyBatis 的构建就是聚焦于 SQL 的,使其远离于普通的方式。 SQL 映射文件有很少的几个顶级元素(按照它们应该被定义的顺序): cache – 配置给定命名空间的缓存。 cache-ref – 从其他命名空间引用缓存配置。 resultMap – 最复杂,也是最有力量的元素,用来描述如何从数据库结果集中来加载你的对象。 parameterMap – 已经被废弃了!老式风格的参数映射。内联参数是首选,这个元素可能在将来被移除。这里不会记录。 sql – 可以重用的 SQL 块,也可以被其他语句引用。 insert – 映射插入语句 update – 映射更新语句 delete – 映射删除语句 select – 映射查询语句 下一部分将从语句本身开始来描述每个元素的细节。 select 查询语句是使用 MyBatis 时最常用的元素之一。直到你从数据库取出数据时才会发现将数据存在数据库中是多么的有价值, 所以许多应用程序查询要比更改数据多的多。对于每次插入,更新或删除,那也会有很多的查询

通过Google Chrome启动参数把用户数据指定到加密文件夹

淺唱寂寞╮ 提交于 2019-12-10 05:35:18
之前的 这篇文章 介绍了如何加密Google Chrome的登陆信息和个人数据,但是使用下来觉得还不是很方便,每次退出时都需要点击 退出并启用childlock功 进行安全退出,如果忘记安全退出,下次启动时就会自动登陆到上次使用的Google账户,无法实现加密运行Chrome的目的。而至于把Google Chrome直接安装到加密盘的做法,虽然能够达到绝对的加密,但是却无法把Google Chrome设定为默认浏览器。那么能不能让Chrome的安装文件和用户数据文件分开存放呢? 今天我通过网络查询找到了这个方法:通过Google Chrome的启动命令行把用户数据指定到加密文件,达到只对数据加密的问题,具体做法如下: 1、在现有的Google Chrome中断开和google 账户的连接,这样做的目的是删除已经保存的用户数据 继续阅读>> 来源: oschina 链接: https://my.oschina.net/u/52437/blog/532891

【2015更新】修改Host文件,让你的Google跑起来 2015 Google hosts

▼魔方 西西 提交于 2019-12-09 19:12:39
近期,相信大家都发现了,国内Google访问狠不给力,基本上打不开,谷歌在相关的服务器也被搬到了美国,这不禁让人感慨,谷歌难道要全面退出中国的节奏? 作为一名“IT界”的淫才,百度往往会让你使用的特别“蛋疼”,针对于专业领域的搜索结果更是鸡肋,针对性不强,垃圾信息多,不精准等会让你浪费很 多时间。相对而言,谷歌的搜索结果显示更为客观,尤其在搜索技术性文章的时候,结果更加精准。百度的搜索则更加侧重于中国网民的搜索习惯,搜索结果更加大 众化。这就是为什么技术人员更喜欢用谷歌,而百度更符合大众口味的区别。 不能访问谷歌着实让人捉急,今天和大家分享如何通过修改Host文件来打到访问Google、Youtube等国外网站的目的。 2015-2-28更新:你还可以换个方式,稳定便捷的“科学上网” -> 点我查看科学上网教程 一、XP用户 XP的在C盘 C:WINDOWS/system32/drivers/etc 目录下的 hosts文件,我们用记事本打开后 修改里面的内容,添加本文下方附件的内容到host文件中保存即可。 二、Win7、Win8等系统用户 Win7及以后的系统涉及到管理员权限问题,需要用管理员身份运行记事本,再打开Host文件,进行修改,具体步骤如下: 打开Host文件后,添加本文下方附件的内容到host文件中即可,记得保存。 其他用户的host文件位置: Android用户

使用 Google Gmail 邮箱服务

落花浮王杯 提交于 2019-12-09 14:42:20
原文同步至 http://www.waylau.com/use-gmail/ 总所周知,Google 的大部分服务在华已经被墙,其中也包括 Gmail 。为了收取 Gmail 的邮件,也是要进行一番折腾的。当然,你可以施展各种翻墙技能(文章最后会提供一堆的翻墙方法)。如果不想折腾,只是想收发 Gmail 的邮件,下面的方法更加简单 ##修改 hosts 将如下内容加入hosts之后(位置一般在C:\Windows\System32\drivers\etc\hosts)。 173.194.65.108 imap.gmail.com 173.194.65.108 pop.gmail.com 173.194.193.108 smtp.gmail.com ##使用第三方邮箱客户端收发邮件 可以使用 outlook,FOXMAIL 等客户端软件,设置的你 Gmail 邮箱账号,就能收发邮件了。 ##附录:翻墙技能 简单实现浏览国外著名网站的方法,不用梯子,修改本机的 hosts http://www.waylau.com/simple-way-to-implement-browsing-famous-overseas-web-sites-without-the-ladder-gateway-dns-hosts/ 用Heroku、snova-c4搭梯子上墙 http://www.waylau

AWStats Vs Webalizer Vs Google Analytics Visito...

落花浮王杯 提交于 2019-12-07 09:40:49
最近在部署web日志统计程序,看了网上几个主流的开源分析软件,看的云里雾里,不知道那个好,经过一番搜索大概了解了这三个统计的区别。不同的web统计程序对于不同的目的会给出不同的结果。 下面是一个关于三者真实的数据统计案例: 这三个主要的不同是:google analytics通过一段嵌入在页面程序中的代码收集用户的访问信息,而其他两个则是通过分析在你webserver上的日志来收集用户信息。这一点就表明了数据收集上的不同。google analytics在用户的浏览器上收集数据,其他两个程序则在你的服务器上收集数据。实际上,如果你生活的地方和访问的站点在不同的时区中,三者对于收集一天的数据中'days'的对待也有差别,google analytics主要依据你生活的本地时间,其他两个则依据你站点服务器上的时间。 Google Analytics 1 goole统计依赖在你的站点的每个页面里面嵌入一段特殊的JS代码,在所有页面中嵌入一段特殊的代码是很容易的,可以用CMS这样的工具解决,但不是所有的人都认为可行,有些页面可能没有合适的地方嵌入google的js统计代码,这样当用户访问这些页面的时候,统计数据就会出现误差。 2 即使一个站点的所有web页面都嵌入了统计代码,但是如果这个站点在访问时加载很慢,google统计代码有可能没机会运行,例如统计代码被部署在web页面的底部。 3

HTML5 Geolocation 定位服务 实例

烈酒焚心 提交于 2019-12-07 09:11:05
本例采用html5 Geolocation 定位服务 和 google maps api 3 完成,运行时请确保你的浏览器支持 html5. <!DOCTYPE html> <html> <head> <meta name="viewport" content="initial-scale=1.0, user-scalable=no" /> <style type="text/css"> html { height: 100% } body { height: 100%; margin: 0px; padding: 0px } #map_canvas { height: 100% } </style> <script type="text/javascript" src="http://maps.google.com/maps/api/js?v=3.7&sensor=false"> </script> <script type="text/javascript"> function initialize(position) { var latlng = new google.maps.LatLng(position.coords.latitude, position.coords.longitude); // position.coords.latitude 经度 //

开发者必备 揭秘谷歌8大热点新工具[图]

会有一股神秘感。 提交于 2019-12-06 17:20:30
近日,谷歌针对开发者推出了8个最新的工具。其中一个是谷歌全面更新了BigQuery分析引擎,它包括新的图形用户界面、新的API等新功能。另外,谷歌也推出了把Flash文件转换成HTML5的Swiffy。下面,让我们来总结谷歌最新推出(更新)热点 开发工具 ,广大开发者不可错过哦。 一、BigQuery BigQuery是Google推出的一项Web服务,该服务让开发者可以使用Google的架构来运行SQL语句对超级大的数据库进行操作。BigQuery允许用户上传他们的超大量数据并通过其直接进行交互式分析,而不必投资建立自己的数据中心。 二、谷歌地图API:Drawing Library 谷歌地图API应用程序现在通过使用新的Drawing Library,可以为用户提供一个触觉交互界面。Drawing Library提供了一个工具箱,使用户能够在地图上添加标记,绘制线条和图形。当选中或者搜索某特定地区,该工具还会显示收集来自用户的注释信息。 三、sfntly 这是由谷歌的一只国际工程师团队所创建,sfntly Java和C+ +库可以为程序员建立高效字体的应用和服务提供方便。现在,Java和C++程序员可以使用sfntly快速开发代码以供人们读取、编辑,也能帮助创建OpenType和TrueType字体。 四、Google Calendar API 3.0版本 在上一代工具的基础上

Universal Analytics升级完全指引

为君一笑 提交于 2019-12-06 10:06:40
Universal Analytics在2014年4月初完成了公测,抛掉了beta版的帽子,官方也提供了从Google Analytics升级为Universal Analytics的通道。在UA Bata公测一年多的时间中,我设置了传统GA与UA两套跟踪方式并用,在正式版发布以后也把原来的传统GA的网络媒体资源也升级为了UA。目前传统的Google Analytics仍然是可以使用,Google官方说原来的GA在未来非常长的时间内还是可用的,但停用GA全面转向UA是必然的,在停用GA之前也会在后台界面上显示停用和升级的提醒。如果你还没准备好升级你的GA,那目前继续用着也没有任何问题。但如果你要使用UA新增的一些高大上的功能比如自定义维度和自定论指标、跨平台跟踪、在线/在线数据同步、简化的配置控制功能等等,这时你需要把你的GA升级为UA。 为了减小升级的风险和简化升级的步骤,这里有几点建议: 1. 如果担心升级为UA后数据丢失,可以新建一个UA媒体资源与原来的媒体资源并行运作,检查两个媒体资源的数据是否一致。新建的媒体资源的跟踪代码配置也应和原来的媒体资源的跟踪代码配置一致。 2. 建议使用Google Tag Manager进行新建UA媒体资源的配置。这样可在大大简化代码配置的工作。并在GTM中设置一个媒体资源ID的宏