信息检索课程实验笔记

注：前端不相关---只是用node实现了一下如何爬网站数据（大学课程的实验）

网页索引与检索

1. 实验目的

l 了解搜索引擎的工作原理及实现方法；
l 熟悉倒排索引的创建；
l 掌握查询处理技术。

1. 实验要求

l 独立或合作（1～2人）完成实验内容；
l 独立完成实验报告；（简单要求如下）
1) 实验目的、内容与要求及实验环境描述；
2) 索引和检索系统设计思路及总体框架；
3) （负责部分的）程序结构及具体实现的流程分析，提供主要数据结构、函数分析等；
4) 实验结果分析；
5) 系统的优缺点、以及待改进的地方；
6) 在实验过程中遇到的问题，实验的心得体会。

1. 实验内容

3.1 倒排索引
（1）网页预处理。对实验一采集到的网页数据进行预处理，包括：网页的去噪和正文信息提取、中文分词、停止词处理等。
（2）设计和创建倒排索引。对每个索引的词，至少应该记录其文件频率（df）。设计置入文件的数据结构，至少记录每个词在各个文档中出现的次数，即词频（tf）。同时对每个文档，记录其文档长度。
（3）对索引的过程，生成相关的统计信息，例如：创建索引所需的时间、索引的大小、词汇表长度、具有最大df值的词的置入列表的大小等。（可选）

3.2检索系统

    （1）设计实现一个简单的检索系统，可输入检索词，并输出查询结果，按相关度排序。
    （2）对指定的查询词（IR2019查询词.txt），给出每个查询结果排序，以及相似度得分。所提交的结果将被评估。

提交的结果文件有查询结果的数据块构成。每个查询词对应一个结果数据块，每个查询词提交10条查询结果。每个结果数据块格式如下：
第一行是查询词序号，如“TD01”
每一行是一条查询结果记录，格式为： <URL Similarity>
URL：网页的规范化URL，如“http://www.scut.edu.cn/new/90...”
Similarity：相似度得分
每个数据块的十条记录按相似度从高到低排序，每个数据块之间以一个空行隔开.
（3）对结果进行人工判断相关或不相关，然后基于该判断用评测指标Precision@10和MAP计算系统的检索性能指标。（可选）
（4）采用各种查询处理技术对查询进行优化处理。并对所采用的不同技术的应用效果进行比较分析。（可选）

1. 提交内容

l 程序：包括源程序及注释，程序安装使用说明；
l 查询结果文件：查询词对应查询结果汇总
l 实验报告：说明程序设计的思路，并对实验过程进行分析和总结。

1. 参考资料

l 参考课程讲义的倒排索引、查询处理与检索评估、搜索引擎等章节；
l 开源索引系统Lucene：http://lucene.apache.org

----------工作内容分解
1生成倒序索引的文档
2 生成实验要求的结果（实验关键词txt）
3 网页 可以实时查询并且生成关键结果
4在后台跑服务器的服务 读 数据 返回数据
做的优化工作
1 修改停用词表
2 同义但是模糊的词
3 没有用本地数据库保存词语
4 自己获取了词频和词语出现的位置
5 result 去重
6 使用db.txt存储数据
参考文章：
1 http://nathanchen.github.io/1...
2 nodejs 读写文件http://javascript.ruanyifeng....
3 json格式化的网站
https://www.bejson.com/
逻辑备注：
1writeFileSync
这是会默认会覆盖原来的内容的