Linux环境下Tomcat部署Solr4.x

Linux环境下Tomcat部署Solr

最近接手了公司搜索相关的业务,由于其使用的是Solr,故趁着周末自己鼓捣下;
由于业务上使用的是Solr4.2.0版本,因此在学习时,使用相对较老的版本Solr4.9.0,当前已经更新到Solr6.6.0本文记录自己在学习过程中的一些收获;

准备工作

到官网下载Solr4.9.0
JDK在Solr5.0可以使用1.6的,之后必须使用1.7以上,Solr6.0以上至少使用JDK1.8
下载Tomcat

安装步骤如下:

将下载的solr-4.9.0.tgz解压到指定目录.比如/home/pekxxoo/solr/solr-4.9.0
将/home/pekxxoo/solr/solr-4.9.0/example/webapps下的solr.war文件拷贝到tomcat->webapps目录下
新建文件夹/home/pekxxoo/solr/solr_home,并将/home/pekxxoo/solr/solr-4.9.0/example/solr目录拷贝到/home/pekxxoo/solr/solr_home中
切换到tomcat/bin目录下,启动tomcat.此时tomcat会把solr.war文件进行解压生成一个solr文件夹,然后停止tomcat(./shutdown.sh)

编译tomcat目录下/webapps/solr/WEB-INF/web.xml,找到下面的代码:

<!--
<env-entry>
  <env-entry-name>solr/home</env-entry-name>     
  <env-entry-value>/home/pekxxoo/solr/solr_home/solr</env-entry-value>
  <env-entry-type>java.lang.String</env-entry-type>
</env-entry>
-->

打开注释,修改为:

  <env-entry>
    <env-entry-name>solr/home</env-entry-name>
    <!--此处为solr_home的地址,我配置的路径是/home/pekxxoo/solr/solr_home/solr-->
    <env-entry-value>/home/pekxxoo/solr/solr_home/solr</env-entry-value>
    <env-entry-type>java.lang.String</env-entry-type>
  </env-entry>

将/home/pekxxoo/solr/solr-4.9.0/example/lib/ext目录下jar包全部拷贝到tomcat目录下webapps/solr/WEB-INF/lib目录下
在tomcat/webapps/solr/WEB-INF/目录下新建classes目录,将/home/pekxxoo/solr/solr-4.9.0/example/resources目录下的log4j.properties文件拷贝到tomcat/webapps/solr/WEB-INF/classes目录下

在/home/pekxxoo/solr/solr_home/solr/collection1/conf目录下打开solrconfig.xml配置,搜索solr.clustering.enabled找到如下配置文件:

 <searchComponent name="clustering" enable="${solr.clustering.enabled:false}" class="solr.clustering.ClusteringComponent" >

将true改为false即可(`solr4.9.0`默认为false,4.5之前需要手动修改)

启动tomcat,访问http://localhost:8080/solr

添加中文分词

介绍

IK Analyzer 2012 介绍

IK Analyzer 是一个开源的，基亍 java 语言开发的轻量级的中文分词工具包。从 2006年 12 月推出 1.0 版开始， IKAnalyzer 已经推出了 4 个大版本。最初，它是以开源项目Luence 为应用主体的，结合词典分词和文法分析算法的中文分词组件。从 3.0 版本开始，IK 发展为面向 Java 的公用分词组件，独立亍 Lucene 项目，同时提供了对 Lucene 的默认优化实现。在 2012 版本中，IK 实现了简单的分词歧义排除算法，标志着 IK 分词器从单纯的词典分词向模拟语义分词衍化。

IK Analyzer 2012 结构设计

分词效果示例

IK Analyzer 2012 版本支持 细粒度切分 和 智能切分，以下是两种切分方式的演示样例。

文本原文 :
IKAnalyzer 是一个开源的，基亍 java 语言开发的轻量级的中文分词工具包。从 2006 年 12月推出 1.0 版开始， IKAnalyzer 已经推出了 3 个大版本。

智能分词结果:
ikanalyzer | 是 | 一个 | 开源 | 的 | 基亍 | java | 语言 | 开发 | 的 | 轻量级 | 的 | 中文 | 分词 | 工具包 | 从 | 2006年 | 12月 | 推出 | 1.0版 | 开始 | ikanalyzer | 已经 | 推| 出了 | 3个 | 大 | 版本
最细粒度分词结果:
ikanalyzer | 是 | 一个 | 一 | 个 | 开源 | 的 | 基亍 | java | 语言 | 开发 | 的 | 轻量级| 量级 | 的 | 中文 | 分词 | 工具包 | 工具 | 包 | 从 | 2006 | 年 | 12 | 月 | 推出 | 1.0 | 版 | 开始 | ikanalyzer | 已经 | 推出 | 出了 | 3 | 个 | 大 | 版本

安装步骤

首先需要下载ik-analyzer分词包,点击下载
将下载的IK Analyzer 2012FF_hf1.zip包解压缩包含:
- 《IKAnalyzer 中文分词器 V2012 使用手册》（即本文档）
- IKAnalyzer2012.jar（主 jar 包）
- IKAnalyzer.cfg.xml（分词器扩展配置文件）
- stopword.dic（停止词典）
- LICENSE.TXT ; NOTICE.TXT （apache 版权申明）
将 IKAnalyzer2012.jar 拷贝到项目的lib目录中,我的目录为/home/pekxxoo/java/tomcat7.0.81/webapps/solr/WEB-INF/lib
IKAnalyzer.cfg.xml 与 stopword.dic 文件放置在 class 根目录（对亍 web 项目，通常是
WEB-INF/classes 目彔，同 hibernate、log4j 等配置文件相同）下即可。

修改core/conf/schema.xml文件,添加配置信息如下:

<fieldType name="text_ik" class="solr.TextField">
    <analyzer type="index" class="org.wltea.analyzer.lucene.IKAnalyzer" isMaxWordLength="false"/>
    <analyzer type="query" class="org.wltea.analyzer.lucene.IKAnalyzer" isMaxWordLength="true"/>
 </fieldType>

最后修改相应需要中文分词的字段的type类型即可:

<field name="title" type="text_ik" indexed="true" stored="true" multiValued="true"/>

重启tomcat服务
如果之前已经创建了索引，需要将之前的索引删掉，重新创建分词后的索引。

遇到的问题:
在 Solr4.0 发布以后，官方取消了 BaseTokenizerFactory 接口，而直接使用 Lucene Analyzer 标准接口。因此 IK分词器 2012 FF 版本也取消了org.wltea.analyzer.solr.IKTokenizerFactory类。
因此在下载的时候注意下载IK Analyzer 2012FF_hf1.zip版本

Linux环境下Tomcat部署Solr4.x