搜索引擎发现和侦察有直接和间接的因素。直接方法涉及从缓存中搜索索引和相关内容。间接方法涉及通过搜索论坛，新闻组和招标网站来收集敏感的设计和配置信息。
一旦搜索引擎机器人完成了爬行，它就会开始根据标签和相关属性（如<TITLE>）索引网页，以便返回相关的搜索结果[1]。如果在网站的生命周期内未更新robots.txt文件，并且尚未使用指示机器人不对内容编制索引的内联HTML元标记，则索引可能包含不打算包含在内的Web内容由业主。网站所有者可以使用之前提到的robots.txt，HTML元标记，身份验证和搜索引擎提供的工具来删除此类内容。
测试目标
了解应用程序/系统/组织的敏感设计和配置信息是直接（在组织的网站上）还是间接（在第三方网站上）公开的。
如何测试
使用搜索引擎搜索：
- 网络图和配置
- 管理员和其他主要员工存档的帖子和电子邮件
- 登录过程和用户名格式
- 用户名和密码
- 错误消息内容
- 开发，测试，UAT和暂存版本的网站
搜索运营商
使用高级“site：”搜索运算符，可以将搜索结果限制为特定域[2]。不要将测试限制在一个搜索引擎提供商，因为它们可能会生成不同的结果，具体取决于他们何时抓取内容和他们自己的算法。考虑使用以下搜索引擎：
- 百度
- binsearch.info
- 兵
- 鸭鸭去
- Ixquick转移/首页中国
- 谷歌
- 初段
- PunkSpider
Duck Duck Go和ixquick / Startpage可以减少测试人员的信息泄漏。
Google提供了高级“缓存：”搜索运算符[2]，但这相当于点击每个Google搜索结果旁边的“缓存”。因此，首选使用高级“站点：”搜索运算符，然后单击“缓存”。
Google SOAP Search API支持doGetCachedPage和相关的doGetCachedPageResponse SOAP Messages [3]，以帮助检索缓存页面。OWASP“Google Hacking”项目正在开发此项目的实施。
PunkSpider是Web应用程序漏洞搜索引擎。对于进行手工操作的渗透测试仪来说，它几乎没用。然而，它可以用来证明脚本小子易于发现漏洞。
示例 要查找由典型搜索引擎索引的owasp.org的Web内容，所需的语法为：
网站：owasp.org
要将owasp.org的index.html显示为缓存，语法为：
缓存：owasp.org
谷歌黑客数据库
Google黑客数据库是Google的有用搜索查询列表。查询分为几类：
- 立足点
- 包含用户名的文件
- 敏感目录
- Web服务器检测
- 易受攻击的文件
- 易受攻击的服务器
- 错误消息
- 包含多汁信息的文件
- 包含密码的文件
- 敏感的在线购物信息
来源：oschina
链接：https://my.oschina.net/u/3447023/blog/3017489