sphinx

地址： https://github.com/Tencent/wwsearch/blob/master/doc/wwsearch-implement.md 背景 企业微信作为典型企业服务系统，其众多企业级应用都需要全文检索能力，包括员工通讯录、企业邮箱、审批、汇报、企 业CRM、企业素材、互联圈子等。下图是一个典型的邮件检索场景。 由于过去几年业务发展迅速，后台检索架构面临挑战： 1. 系统在亿级用户，xxx万企业下，如何高效+实时地检索个人企业内数据和所在企业全局数据。 2. 业务模型众多，如何满足检索条件/功能多样化需求。 3. 数据量庞大，检索文本几十TB，如何节约成本。 业界有被广泛使用的开源全文检索引擎，比如：lucene、sphinx等。它们适用于站内检索的场景。而在海量用户、大规模数据量的实时检索场景下，存在明显缺点： 1. 无法支持细粒度切分索引，只能对全局数据构建索引 ，检索过程需要过滤冗余数据。 2. 不支持实时检索，有几十秒~分钟级延迟。 3. 实际部署机型要求高，需要大内存机型才能支撑T级别的数据存储。 针对已有方案的不足，并结合企业级应用场景，我们重新设计和实现一套通用的全文检索引擎wwsearch。 自研全文检索引擎 wwsearch为海量用户下的全文快速检索而设计，底层支持可插拔的lsm tree存储引擎，具备支持按用户的亿级分表、低延时、高效更新

本文不介绍 Sphinx 的用法，只简要罗列 Windows 下生成 .chm 文件的步骤。 0. 首先检查机器是否安装了 HTML Help Workshop 软件，一般安装路径应该是 C:\Program Files (x86)\HTML Help Workshop\hhw.exe 　如果没有安装，下载安装包 htmlhelp.exe 双击安装即可，地址为 https://msdn.microsoft.com/en-us/library/ms669985 1. 编译输出文件时，使用命令: make htmlhelp 　这样就会在 ..\build\htmlhelp 目录下生成 HTML help project 文件 .hhp 文件，右键单击该文件，选择默认打开方式为 C:\Program Files (x86)\HTML Help Workshop\hhw.exe 　如下点击编译， 　 　编译完成，即可生成 .chm 文件。 2. 在 Python 开发的 Help 菜单按钮上点击打开 .chm 文件的方法 import subprocess subprocess.Popen([r ' C:\Windows\hh.exe ' , r ' Absolute/path/to/.chm ' ]) 完。 来源： oschina 链接： https://my.oschina.net/u

接下来读什么（page 14） 现在你应该已经阅读了所有的（page1-13 ）介绍材料，决定继续使用Django。我们仅仅做了简要的介绍（事实上，如果你阅读了前面所有的内容，也只是全部文档的5%。） 那下一步怎么做呢？ 好吧，我们都是通过实践来学习的狂热爱好者。在这一点上，你应该已经了解了足够的知识去启动你的项目，并开始四处闲逛。当你需要去学习一些新的技巧时，请回来继续学习文档。 我们花费了大量精力，使用django的文档使用、易读并尽可能的完整。本节文档下面的内容更多的是关于文档是如何工作的，以便让你可以充分利用它。 （是的，本节文档是介绍如何使用文档的，放心，我们并没有计划去写一份如何阅读文档的文档） 查找文档 django有很多文档 —— 大概有450,000单词 —— 所以查找你需要的内容有时会变得困难。一些好的地方是你可以使用 Search Page 和 Index 页 （这两个功能在官方文档中有，这里就不提供了）。 文档是如何组织的 django的主要文档被分成几个“chunks”（块），以满足不同的需求： 入门教程（page 3 ）是专门为djang新手设计的 —— 或一般的web开发者。它并不包含所有有深度的内容，而是给出了一个如何使用django开发的高级概述的感觉 主题指南（page 16） ，在另一方面，深入讲解django的各个部分。对Django的

目录 1、安装 sphinx 环境 2、生成 Sphinx 工程 配置主题和插件 3、编写并构建文档 1、安装 sphinx 环境 首先安装 python 环境 这里可以安装 anacond ，使用起来比较方便。参考： Anaconda的安装和详细介绍（带图文） 我这里直接使用 scoop 来安装。 # 安装 miniconda scoop install -g miniconda3 Installing 'miniconda3' (4.7.12.1) [64bit] Miniconda3-4.7.12.1-Windows-x86_64.exe (51.5 MB) [============================================================] 100% Checking hash of Miniconda3-4.7.12.1-Windows-x86_64.exe ... ok. Running installer... done. Linking C:\scoop\apps\miniconda3\current => C:\scoop\apps\miniconda3\4.7.12.1 Creating shim for 'python'. Creating shim for 'pythonw'. Creating shim for

【推荐阅读】微服务还能火多久？>>> 希望在readthedocs上创建支持多语言的文档，效果类似： 通过语言选项，可以切到到不同的语言版本；实现这个目标包含两个主要步骤： 在本地对文档进行翻译 在 readthedocs.org 上配置翻译 本文假设您已经对 sphinx 文档生成工具和 readthedocs.org 文档托管网站有所了解，本文主要专注于多语言的配置上。 在本地对文档进行翻译 翻译之前需要安装一些软件包： sphinx: 文档生成工具 sphinx_intl: 多语言工具 recommonmark: sphinx支持markdown的插件 sphinx_rtd_theme: sphinx的readthedocs主题插件 安装命令： pip install sphinx sphinx_intl recommonmark sphinx_rtd_theme 我们现在有一个项目了，并且其文档是英文的，并且英文文档已经部署到readthedocs网站上了;以 deeptables 为例，其 .readthedocs.yml 文件内容为： version: 2 sphinx: configuration: docs/source/conf.py formats: all python: version: 3.6 install: - requirements: docs

Sphinx官方自带的api有 PHP, Python, Java, Ruby, and pure C，还有其它开源的api如下： Perl API port, Sphinx::Search , by Jon Schutz C++ API port, C++ Sphinx client , by Seznam.cz Haskell API port, Haskell Sphinx client , by Tupil C# API port, C# .NET client , by Christopher Gooley Sphinx的api文件放在下载的源文件的api目录下，进入该目录看到有如下文件： cd / usr / local / src / sphinx - 0.99 / api / drwxr - xr - x 2 chenzehe chenzehe 4096 2009 - 12 - 02 java drwxr - xr - x 2 chenzehe chenzehe 4096 2009 - 12 - 02 libsphinxclient drwxr - xr - x 5 chenzehe chenzehe 4096 2009 - 12 - 02 ruby - rw - r -- r -- 1 chenzehe chenzehe 44399 2009 - 11 - 07

利用Sphinx编写文档 1、Sphinx简介和使用理由 ================= Sphinx是一个用Python语言编写而成的文档编写工具。用Sphinx编写文档的时候，用户只需要编写符合Sphinx格式要求的纯文本源文件，然后通过Sphinx的命令就可以把纯文本源文件编译成html、pdf等常用格式的文档，这样就实现了通过文本文件自动生成html、pdf等格式文档的功能。 编写文档直接用Word不就是挺好的吗？为什么又要用Sphinx来写纯文本格式的文档呢？ 这是因为Sphinx中的文本格式文档可以用版本控制系统跟踪它的变更，同时呢，它又可以非常轻松地生成多种的目标文档格式，比如编写一份Sphinx文档，然后通过工具就用这一份文档生成html、pdf、epub等其他格式的文档了，编写一种文本格式的文档，可以得到很多种其他格式的文档。 然而，word想要转成html就没有那么容易了，而且word文件是二进制文件，所以无法用版本控制系统来跟踪变更。 2、Sphinx在Windows下的安装 =================== Sphinx是用Python语言写成的软件，所以在安装Sphinx之前首要先要安装Python。 Python安装好之后，可以通过Python自带的Pip工具来安装Sphinx。只需要下面这一条命令，就可以完成Sphinx的安装： pip

首先了解一下sphinx全文索引的相关知识 官方网站： http://www.sphinxsearch.com/ 官方文档： http://www.sphinxsearch.com/docs/ 中文支持： http://www.coreseek.cn/ 中文使用手册下载： http://www.coreseek.cn/uploads/pdf/sphinx_doc_zhcn_0.9.pdf 基 本上看看上面的官方教程和中文使用手册，你应该会安装和使用Sphix全文索引，当然，还有一些细节，需要不断的google和baidu，那为了节省大 家的时间，就出一个完整的Sphinx安装教程和结合PHPWIND程序的使用教程（PHPWIND7.5版本支持）。 接下来开始Sphinx的技术之旅吧！ 考虑到Sphinx全文索引使用的实际需要，主要介绍Sphinx全文索引中文方面的支持。 这里需要感谢 李沫南 同学对Sphinx全文索引中文支持的贡献！ 一，Windows下安装Sphinx 1，开始前的准备工作 来源： http://www.coreseek.cn/products/ft_down/ 下载csft3.1： http://www.coreseek.cn/uploads/csft/3.1/win32/csft3.1.bin.zip 下载标准词库： http://www.coreseek

关键字: sphinx, 全文索引, 安装 首先了解一下sphinx全文索引的相关知识 官方 网站 ： http://www.sphinxsearch.com/ 官方文档： http://www.sphinxsearch.com/docs/ 中文支持： http://www.coreseek.cn/ 中文使用手册 下载 ： http://www.coreseek.cn/uploads/pdf/sphinx_doc_zhcn_0.9.pdf 基本上看看上面的官方教程和中文使用手册，你应该会安装和使用Sphix全文索引，当然，还有一些细节，需要不断的google和baidu，那为了节省大家的时间，就出一个完整的Sphinx安装教程和结合 PHPWIND 程序的使用教程（PHPWIND7.5版本支持）。 接下来开始Sphinx的技术之旅吧！ 考虑到Sphinx全文索引使用的实际需要，主要介绍Sphinx全文索引中文方面的支持。 这里需要感谢 李沫南 同学对Sphinx全文索引中文支持的贡献！ 一，Windows下安装Sphinx 1，开始前的准备工作 来源： http://www.coreseek.cn/products/ft_down/ 下载csft3.1： http://www.coreseek.cn/uploads/csft/3.1/win32/csft3.1.bin.zip

一、获取： xunsearch下载地址： http://www.xunsearch.com/site/download。 linux命令行下载:wget http://www.xunsearch.com/download/xunsearch-full-latest.tar.bz2 解压:tar -xjf xunsearch-full-latest.tar.bz2 二、安装： 根据提示进行操作，输入 xunsearch 软件包的安装目录，这里最好把xunsearch单独放在一个目录下。 cd xunsearch-full/ sh setup.sh 三、启动 启动/重新启动 xunsearch 的后台服务$prefix 替换为你的xunsearch安装目录 cd $prefix; bin/xs-ctl.sh restart 添加到开机启动脚本，在 Linux 系统中将脚本指令$prefix/bin/xs-ctl.sh restart写进 /etc/rc.local 即可 四、xunsearch项目配置文件详解 项目名称 project.name = AppName 默认字符集 project.default_charset = UTF-8 定义字段[field_name] type 字段类型 string 字符型，适用多数情况，也是默认值 numeric 数值型，包含整型和浮点数