搜索本站精品资源

资源名称：自制搜索引擎 PDF 内容简介： 《自制搜索引擎》聚焦于Google和Yahoo!等Web搜索服务幕后的搜索引擎系统，首先讲解了搜索引擎的基础知识和原理，接着以现实中的开源搜索引擎Senna/Groonga为示例，使用该引擎的源代码引导读者亲自体验搜索引擎的开发过程。这部分讲解涉及了倒排索引的制作和压缩、检索的处理流程以及搜索引擎的优化等内容。又简单介绍了一些更加专业的搜索引擎的知识和要点，为读者今后进一步学习打下了基础。本书适合所有对搜索引擎感兴趣的技术人员阅读。 作者简介： 山田浩之（作者）信息工程学博士。先后于日本IBM、雅虎从事分布式搜索引擎的研发工作。目前在东京大学生产技术研究所从事高性能并行数据库的研发工作。末永匡（作者）开源搜索引擎Senna/Groonga的开发者。每天都在奋斗，梦想着能创建一个更加自由、更加无拘无束的，而不是一家独大的应用程序平台。胡屹（译者）多年从事Web开发工作。热爱编程，关注设计模式，致力于提升软件开发的质量。曾获得SCJP和PHP ZCE证书。译有《计算机是怎样跑起来的》。 资源目录：第1章　搜索引擎是如何工作的　　11-1　理解搜索引擎的构成　　3什么是搜索引擎　　3构成搜索引擎的组件　　4与搜索引擎相关的组件　　51-2　 实现了快速全文搜索的索引结构　　7全文搜索的两种方法　　7倒排索引的结构　　8倒排索引的构建方法　　9倒排索引中的术语　　101-3　深入理解倒排索引　　12倒排索引=词典+倒排文件　　12从倒排索引中查找单词　　13将单词的位置信息加入倒排文件中　　13从倒排索引中查找短语　　141-4　制作中文文档的倒排索引　　16分割中文句子的方法　　16权衡分割方法　　171-5　实现倒排索引　　19实现词典　　19实现倒排文件　　221-6　使用倒排索引进行检索　　24布尔检索　　24使用倒排索引的检索处理流程　　24关联度的计算方法　　26信息检索中的检索　　271-7　构建倒排索引　　29使用内存构建倒排索引　　29使用二级存储构建倒排索引　　29静态索引构建和动态索引构建　　321-8　准备要检索的文档　　34收集数据　　34数据规范化　　35第2章　准备全文搜索引擎的检索样本　　372-1　全文搜索引擎wiser　　39wiser的构成　　39准备用于检索的文档　　402-2　安装wiser　　42构建wiser　　42启动wiser　　43解压缩Wikipedia的副本　　442-3　运行wiser　　45构建倒排索引　　45使用倒排索引查询　　46比较grep和wiser的运行速度　　46第3章　构建倒排索引　　493-1　复习有关倒排索引的知识　　51提取词元　　51为每个词元创建倒排列表　　533-2　构建倒排索引　　54在存储器上创建倒排列表　　54倒排列表和倒排文件的数据结构　　54从源代码级别梳理倒排索引的构建顺序　　56进一步阅读源代码　　59专栏　根据实际情况设计搜索引擎（系统）　　68第4章　开始检索吧　　714-1　检索处理的大致流程　　73充分理解检索处理的流程　　734-2　使用倒排索引进行检索　　75从源代码级别梳理检索处理的流程　　75解读split_query_to_tokens()函数的具体实现　　76使用具体示例加深对检索处理流程的理解　　77解读函数search_docs()的实现细节　　80解读函数search_phrase()的实现　　84专栏　如何实现标签检索　　88第5章　压缩倒排索引　　895-1　压缩的基础知识　　90压缩倒排索引的好处　　90专栏　压缩的目的　　90倒排索引的压缩方法　　91倒排文件的压缩方法　　91压缩的原理　　945-2　实现wiser中的压缩功能　　97压缩功能源代码的概要　　97了解无需进行压缩时的操作　　99抓住Golomb编码的要点　　101解读Golomb编码中的编码处理　　105解读Golomb编码的解码处理　　108第6章　挑战wiser的优化及参数的调整　　1136-1　提高检索处理的效率　　115优化检索处理　　115将查询分割为无重复部分的词元序列　　1166-2　禁用短语检索　　119分析对2字符的字符串进行检索时的行为　　119分析对3字符的字符串进行检索时的行为　　1206-3　改变检索结果的输出顺序　　122作为检索结果排序核心的指标　　122按照文档大小降序排列的检索结果　　124专栏　排名欺诈　　1286-4　 让1个字符的查询也能检索出结果　　29获取以特定字符开头的词元的列表　　129合并检索到的结果　　131专栏　如何实现相似文档的检索　　1316-5　 调整控制倒排索引更新的缓冲区容量　　133确认由缓冲区容量的差异带来的不同效果　　133用sar命令分析负载　　1346-6　 调整只有英文字母的词元的分割方法　　135如何避免用英文单词检索时准确率下降的问题　　135如何判断某字符是否属于索引对象　　135修改负责分割词元的函数　　1366-7　确认压缩的效果　　138观察Golomb编码的效果　　138对比压缩启用前后的索引大小　　138专栏　避免滥用全文搜索引擎　　139第7章　为今后更加深入的学习做准备　　1417-1　wiser没能实现的功能　　143倒排索引之外的全文搜索索引　　143高效处理大规模数据的存储器　　143利用缓存提高检索的速度　　143使用各种各样的压缩方法　　144优化搜索结果的排名　　144调整准确率和召回率　　145降低检索结果排序处理的负载　　147并行处理　　147结合对属性的筛选过滤　　148分面搜索　　148专栏　时延和吞吐量　　1497-2　 全文搜索引擎Groonga的特点　　150通过词元的部分一致检索提升召回率　　150使用内存映射文件　　151片段　　152专栏　宣传活动的重要性　　1527-3　 实现出考虑到用户意图的搜索引擎　　153引入停用词　　153应对词素解析的错误　　153专栏　断句错误　　154处理全角字符和半角字符　　155对查询进行归一化　　156留意布尔检索的解析过程　　156通过词素解析器适当地解析查询　　157对错误的输入进行修正　　157输入补全　　158建议用户检索相关的关键词　　1597-4　收集、提取文档时的要点　　160制作爬虫时的处理要点　　160在提取文本时需要处理的要点　　163Appendix　附录　　165A-1　深度话题 166近几年的压缩方法　　166动态索引构建　　169分布式索引　　174A-2　wiser中的文本提取和存储　　178用于处理XML的2 种API——DOM和SAX　　178提取文档的标题和正文　　179掌握状态的迁移　　182构建文档数据库　　187后记　　191 资源截图：

资源名称：搜索引擎核心技术详解 内容简介： 搜索引擎作为互联网发展中至关重要的一种应用，已经成为互联网各个领域的制高点，其重要性不言而喻。搜索引擎领域也是互联网应用中不多见的以核心技术作为其命脉的领域，搜索引擎各个子系统是如何设计的？这成为广大技术人员和搜索引擎优化人员密切关注的内容。 本书的最大特点是内容新颖全面而又通俗易懂。对于实际搜索引擎所涉及的各种核心技术都有全面细致的介绍，除了作为搜索系统核心的网络爬虫、索引系统、排序系统、链接分析及用户分析外，还包括网页反作弊、缓存管理、网页去重技术等实际搜索引擎必须关注的技术，同时用相当大的篇幅讲解了云计算与云存储的核心技术原理。另外，本书也密切关注搜索引擎发展的前沿技术：Google的咖啡因系统及Megastore等云计算新技术、百度的暗网抓取技术阿拉丁计划、内容农场作弊、机器学习排序等。诸多新技术在相关章节都有详细讲解，同时对于社会化搜索、实时搜索及情境搜索等搜索引擎的未来发展方向做了技术展望。为了增进读者的理解，全书大量引入形象的图片来讲解算法原理，相信读者会发现原来搜索引擎的核心技术理解起来比原先想象的要简单得多。 作者简介： 张俊林：本科毕业于天津大学管理学院，2004年于中科院软件所直接获得博士学位并留所从事科研工作，研究方向为搜索引擎与自然语言处理。2005年在CSDN博客发布系列博文“搜索引擎设计实用教程：以百度为例”，在网络上获得了广泛转载与良好口碑。2006年作为联合创始人建立了智能信息聚合网站“玩聚网”，曾先后于阿里巴巴搜索技术中心任资深搜索技术研究员、房价网首席研究员，现任职于新浪微博，从事微博搜索与语义分析及推荐方面的研发工作。 资源目录： 2.2 优秀爬虫的特性 15 2.3 爬虫质量的评价标准 18 2.4 抓取策略 19 2.4.1 宽度优先遍历策略（Breath First） 20 2.4.2 非完全PageRank策略（Partial PageRank） 21 2.4.3 OCIP策略（Online Page Importance Computation） 23 2.4.4 大站优先策略（Larger Sites First） 23 2.5 网页更新策略 23 2.5.1 历史参考策略...