博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Lucene教程
阅读量:5342 次
发布时间:2019-06-15

本文共 15016 字,大约阅读时间需要 50 分钟。

一:简单的示例   1.1:生成索引      1.1.1:Field.Store和Field.Index      1.1.2:为数字生成索引      1.1.3:为索引加权      1.1.4:为日期生成索引   1.2:查询     1.2.1:介绍IndexReader    1.3:删除     1.3.1:还原删除的文档     1.3.2:清空回收站时面的数据   1.4:更新

 

 

前言:本教程用于Lucene3.5,Maven地址为

org.apache.lucene
lucene-core
3.5.0

 

一:简单的示例

我就不介绍Lucene了,想来看这篇博客的人,都知道Lucene是什么。直接给出生成索引,和查询的示例

1.1:生成索引

生成索引的代码如下:

/**     * 创建索引     */    public void index(){        IndexWriter writer = null;        try {            //1、创建Derictory//        Directory directory = new RAMDirectory();//这个方法是建立在内存中的索引            Directory directory = FSDirectory.open(new File("G:\\TestLucene\\index"));//这个方法是建立在磁盘上面的索引//        2、创建IndexWriter,用完后要关闭            IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_35,new StandardAnalyzer(Version.LUCENE_35));            writer = new IndexWriter(directory,config);            //3、创建Document对象            Document document = null;            File fl = new File("G:\\TestLucene\\file");            //4、为Document添加Field            for(File file : fl.listFiles()){                document = new Document();                        document.add(new Field("content",new FileReader(file)));                //把文件名存放到硬盘中,不作分词                document.add(new Field("fileName",file.getName(),Field.Store.YES, Field.Index.ANALYZED.NOT_ANALYZED));                //把绝对路径放到硬盘中,不作分词                document.add(new Field("path", file.getAbsolutePath(), Field.Store.YES, Field.Index.NOT_ANALYZED));            }            //5、通过IndexWriter添加文档到索引中            writer.addDocument(document);        } catch (IOException e) {            e.printStackTrace();        } finally {            if(null != writer){                try {                    writer.close();                } catch (IOException e) {                    e.printStackTrace();                }            }        }    }

1.1.1:Field.Store和Field.Index

这里说明一个Field.Index和Field.Store

//Field.Store.YES或者NO部分                // 如果为YES,代表着是否要把这个域中的内容完全存储到文件中,方便进行还原                //如果为NO,代表着不把这个域的内容存储到文件,但是可以被索引,但是这些内容不可被还原                //Field.Index.ANALYZED:进行分词和索引,适用于标题,内容等                //Field.Index.NOT_ANALYZED:进行索引,但是不进行分词。精准的数据不分词,像id,身份证号,姓名等不分词,用于精确搜索                //Field.Index.ANALYZED_NOT_NORMS:进行分词但是不存储norm信息,这个norms中包括了索引的时间和权值等信息                //Field.Index.NOT_ANALYZED_NOT_NORMS:既不进行分词,也不存储norms信息                //Field.Index.NO:完全不进行索引

 

 

1.1.2:为数字生成索引

看过Field构造方法的人可能知道,这里面并没有对数字索引添加方法,那么会有人说,把数字转换成字符串?额。数字在索引中处理方式与字符串不同,我们可以使用一个新的对象

 

//搜索content中包含有着like的            TermQuery termQuery = new TermQuery(new Term("content","like"));                //给数字加索引要用另一个对象                document.add(new NumericField("attachs").setIntValue(attachs[i]));

 

//给数字加索引要用另一个对象                //查看源码会发现,这个构造函数默认是不存储,但是会进行索引                document.add(new NumericField("attachs").setIntValue(attachs[i]));                //通过这个构造方法,可以把其修改为存储,最后的boolean参数代表着是否索引                document.add(new NumericField("attachs", Field.Store.YES,true).setIntValue(attachs[i]));

 

这里使用一个新的字段,NumericField

 

 

1.1.3:为索引加权

大家看到搜索引擎的排序,就肯定能猜到,搜索引擎是按照了一定的要求,对查询的结果进行了排序,这里介绍一个简单的加权排序方法,后面会深入研究

//加权document.setBoost(2.1f);

 

注意:权重越大,排序越前

 

 

 

1.1.4:为日期生成索引

既然数字有专门的NumericField,那么给日期生成索引,是不是也有DateField呢?其实是没有的,那怎么办?

但是我们都忽略了一件事,日期其实也是一个long类型的数字

document.add(new NumericField("attachs", Field.Store.YES,true).setLongValue(new Date().getTime()));

 

这不就行了吗?

 

1.2:查询

这里演示根据已生成的索引,来查询

代码如下:

/**     * 搜索     */    public void searcher(){        try {            //1、创建Directory            Directory directory = FSDirectory.open(new File("G:\\TestLucene\\index"));            //2、创建IndexReader,需要关闭            IndexReader reader = IndexReader.open(directory);            //3、根据IndexReader创建IndexSearcher            IndexSearcher searcher = new IndexSearcher(reader);            //4、创建索引的Query            //第二个参数代表着要搜索的域            QueryParser parser = new QueryParser(Version.LUCENE_35,"content",new StandardAnalyzer(Version.LUCENE_35));            //表示搜索content中包含java的文档            Query query = parser.parse("朱小杰");                   //5、根据searcher搜索并返回TopDocs//            表示返回前面10条            TopDocs topDocs = searcher.search(query,10);            //6、根据TopDocs获取ScoreDoc对象            ScoreDoc[] scoreDocs = topDocs.scoreDocs;            for(ScoreDoc sd : scoreDocs){                //7、根据Searcher和ScordDoc对象获取具体的Document对象                //获取这个文档的id                int doc = sd.doc;                Document document = searcher.doc(doc);                //8、根据Document对象获取需要的值                System.out.println("【找到】" + document.get("fileName") + "    " + document.get("path") + " .." + document.get("content"));            }            reader.close();        } catch (IOException e) {            e.printStackTrace();        } catch (ParseException e) {            e.printStackTrace();        }    }

 

1.2.1:介绍IndexReader

IndexReader顾名思义,它是用来读取索引的信息的,下面来演示一些它的用法

(1)获取文档的数量

//存储的文档数量,也就是document对象的数量,删除索引后,这个数值会减少
System.out.println("存储的文档数量: " + reader.numDocs());

(2)获取文档的总量

//存储过的文档的最大数量,删除索引后,数量不会减少 //此时删除的文件并不会完全删除,它存在回收站里面
System.out.println("文档存储的总存储量: " + reader.maxDoc());

 (3)获取已删除文档的数量

System.out.println("删除文档的数量: " + reader.numDeletedDocs());

 

1.3:删除

下面给出删除的代码

/**     * 删除索引     */    public void delete(){        try {            IndexWriter writer = null;            writer = new IndexWriter(directory,new IndexWriterConfig(Version.LUCENE_35,new StandardAnalyzer(Version.LUCENE_35)));            //删除全部的索引            //writer.deleteAll();            //参数可以为一个查询的Query,也可以为一个Term,它是一个精确的值,代表着把id为1的给删除掉            writer.deleteDocuments(new Term("id","1"));            writer.close();        } catch (IOException e) {            e.printStackTrace();        }    }

注意,这里的删除,并不是真的删除。执行完之后,可以在索引的目录里面看到多了一个.del的文件,那是一个类似回收站的文件,在回收站中的文件是可以进行还原的

 

1.3.1:还原删除的文档

 

之前有说到,删除并没有作真正的删除,而是把这个文件放到了类似回收站的位置中,下面来使用代码来进行还原已删除的文件

 

/**     * 删除索引并不是完全删除,它是有着一个回收站的功能     * 上面的delete删除了一个索引,这里进行恢复     */    public void recovery(){        try {            //这一步很重要,因为默认打开的reader是只读的,所以这里要通过构造方法,把它的readonly设置为false,否则会抛出异常            IndexReader reader = IndexReader.open(directory,false);            //还原所有已删除的数据            reader.undeleteAll();            reader.close();        } catch (IOException e) {            e.printStackTrace();        }    }

 

注意:上面的构造方法和以往不同,后面多了一个boolean值,这个值,如果不写,默认是true,代表着只读,那么如果在这种情况下进行还原,是会抛出异常的。这里将其设置为false,也就是把只读设置为了false,这样就可以还原了。

 

1.3.2:清空回收站里面的数据

上面说完从回收站里面还原数据,那么回收站怎么清空掉呢?下面给出代码:

/**     * 清空回收站里面的数据     */    public void clearRecovery(){        try {            IndexWriter writer = new IndexWriter(directory,new IndexWriterConfig(Version.LUCENE_35,new StandardAnalyzer(Version.LUCENE_35)));            writer.forceMergeDeletes();            //代表着是否等待当前操作完成后,再清空回收站里面的数据            writer.forceMergeDeletes(true);            writer.close();        } catch (IOException e) {            e.printStackTrace();        }    }

这里面是有着两个重载的方法,其中一个是立即删除,一个是等待当前操作完成后,再删除

 

 

1.4:更新

更新一个索引的代码如下:

/**     * 更新数据     */    public void update(){        try {            //注意,Lucene其实并没有更新的操作,它的实际原理是先删除,再添加            IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_35,new StandardAnalyzer(Version.LUCENE_35));            IndexWriter writer = new IndexWriter(directory,config);            Document document = new Document();            document.add(new Field("id","1", Field.Store.YES, Field.Index.NOT_ANALYZED));            writer.updateDocument(new Term("id","1"),document);            writer.close();        } catch (IOException e) {            e.printStackTrace();        }    }

值得注意的是,这里的更新,并不是在原有的记录里面更新,而是先把该记录删除,然后增加新的记录,所以在查看已删除的文档数量里面会发出多出一条记录,同样的,在文档总量里面,也会增加一条记录

 

二:IndexReader的设计

2.1:设计单例的IndexReader

为什么要设计一个单例的IndexReader呢?大家可以试着去想像,假如说一个硬盘上面的索引,随着日期的增加,那么它的索引也就越来越多,当我打开一个IndexReader的时候,肯定是要读取索引里面的信息的,如果索引文件过多的话,那么肯定是会造成创建这个对象的时间及性能上面的消耗,所以IndexReader很有必要设计成单例的。

 

2.2:当索引的内容发生改变时,单例的IndexReader对象不会改变的问题

由上面的单例IndexReader,这里又有着一个新的问题,那就是在一个项目中,存在一个单例的IndexReader的时候,虽然可以大大提升性能,但是也有一个问题。IndexReader对象里面的索引内容,是在这个对象被创建的时候生成的,也只有在那个时候,IndexReader才能读取到索引目录里面的数据。

问题就是,当索引内容添加,或者删除过后,IndexReader的对象不会发生改变!!

 

下面来研究创建IndexReader的方法:

//根据一个Directory创建一个IndexReaderIndexReader reader = IndexReader.open(directory);

上面的这个创建IndexReader的方法,将会读取索引中所有的数据,首先消耗性能是肯定的。

 

 

其实还有一个创建IndexReader的方法,如下:

//这种创建IndexReader的方法,就是把老的IndexReader对象传进去,然后会判断索引的内容是否会发生改变,如果索引内容发生改变,则会创建一个新的对象,如果索引的内容没有发生改变,则会返回空IndexReader ir = IndexReader.openIfChanged(reader);

 

 

 这是一个新的方法,通过这个方法,就可以知道是否需要产生新的IndexReader方法,下面来演示一下IndexReader的设计

public class CustomerIndexReader {    static {        try {           directory = FSDirectory.open(new File("d:/index"));        } catch (IOException e) {            e.printStackTrace();        }    }    private static IndexReader reader = null;    private static Directory directory = null;    public CustomerIndexReader(){    }        public IndexReader getIndexReader(){        if(directory == null){            synchronized (this){                if(directory == null){                    try {                        reader = IndexReader.open(directory);                    } catch (IOException e) {                        e.printStackTrace();                    }                }            }        }else{            try {                IndexReader ir = IndexReader.openIfChanged(reader);                if(ir != null){                    //如果这个对象不为空,则代表着索引发生了改变                    reader = ir;                }            } catch (IOException e) {                e.printStackTrace();            }        }        return reader;    }}

 

 

其实IndexReader也有删除文档的方法。而且它可以保证IndexReader的数据是最新的数据。也就是reader.deleteDocument()

 

三:查询的方式

3.1:精确查询

何为精确查询,精确查询就相当于数据库的=号,也就是查询的字符,与索引中字符必须完全一致,才能匹配到

 

public void searchers(){        try {            Directory directory = FSDirectory.open(new File("d:/index"));            IndexReader reader = IndexReader.open(directory);            IndexSearcher searcher = new IndexSearcher(reader);            //这个是精确查询            Query query = new TermQuery(new Term("name","大牛"));            reader.close();        } catch (IOException e) {            e.printStackTrace();        }    }

如上面的代码,会在name域里面找名字为“大牛”的结果,但是如果搜索“大”,或者“牛”,就找不到结果,因为TermQuery是精确查询

 

 

3.2:字符串的范围搜索

说完精确搜索,下面介绍一下范围搜索。范围搜索,也就是指在一定区间范围内查询,下面给出代码的示例。

public void searcher1(){        try {            Directory directory = FSDirectory.open(new File("d:/index"));            IndexReader reader = IndexReader.open(directory);            IndexSearcher searcher = new IndexSearcher(reader);            //这是珍上范围搜索,意思是搜索id域中,最低为1,最高为10,后面的两个boolean的参数分别代表着,是否包好最低值与最高值            //但是数字类型是查不出来的,也就是NumericField来存储field的类型,使用TermRangeQuery是查不出来的,需要使用NumericRangeQuery            Query query = new TermRangeQuery("id","1","10",true,true);            //查询名字以a 开头,到以f开头的          //  Query query = new TermRangeQuery("name","a","f",true,true);      reader.close();        } catch (IOException e) {            e.printStackTrace();        }    }

注意:TermRangeQuery无法查询数字的结果,也就是使用NumericField来存储的索引,但是可以查询"1","2"字符串类型的数字。

 

 

 

3.3:数字的范围搜索

上面说了字符串的范围搜索,而且还特意强掉了,数字不能用TermRangeQuery,那么如果数字的范围搜索,要怎么做呢?可以使用NumericRangeQuery,下面给出代码:

public void searcher2(){        try {            Directory directory = FSDirectory.open(new File("d:/index"));            IndexReader reader = IndexReader.open(directory);            IndexSearcher searcher = new IndexSearcher(reader);            //这里是int整数的查询方法,其实,还有float,long,double等方式,也都是通过NumericRangeQuery这个类           // NumericRangeQuery.newDoubleRange(..);  这是Double类型的            //NumericRangeQuery.newFloatRange(...);  这是Float类型的            //NumericRangeQuery.newLongRange(...);   这是Long类型的         //这里的意思是查询age域中,1岁到100岁的,其中,包含1岁和100岁的             Query query = NumericRangeQuery.newIntRange("age",1,100,true,true);            searcher.close();            reader.close;        } catch (IOException e) {            e.printStackTrace();        }    }

 

3.4:前缀搜索

前缀搜索,就是对于一个域中的前缀进行匹配,当然,它也会匹配分词后的前缀

Query query = new PrefixQuery(new Term("name","刘"));

上面的代码,会找出所有name中姓刘的数据。

注意:如果内容中进行了分词,那将会查找每一个分词中的以此字符开头的数据。

 

 

3.5:通配符搜索

通配符大家应该听说过的,那就是*代表任何字符,?代表一个字符

Query query = new WildcardQuery(new Term("content","*a?"));

 

 

3.6:连接多个条件的查询

有的时候,查询一个复杂的数据,一个搜索条件,可能不满足结果,那么就可以使用BooleanQuery

//这个query下面可以add任何多个查询条件            BooleanQuery query = new BooleanQuery();            //名字一定是张三            query.add(new TermQuery(new Term("name","张三")), BooleanClause.Occur.MUST);            //名族一定不是汉族            query.add(new TermQuery(new Term("nation","汉")), BooleanClause.Occur.MUST_NOT);       //可以出现,也可以不出现            query.add(new WildcardQuery(new Term("content","a")), BooleanClause.Occur.SHOULD);

 

BooleanQuery就是Query的扩展类,这个类可以增加任意多个查询条件,并且通过Occur枚举过定义,查询条件的必要性

 

 

 

3.7:短语间隔搜索

就是查询一定区间的字符。可能这句话说不明白,我们用代码来说明:

假如我有下面的一段字符

I love lucene very much

那么我现在的目的是,我忘了中间的单词是什么了,我只记得开头为I,结尾为much,那要怎么做呢?

PhraseQuery query = new PhraseQuery();            //第一个结果,注意I会变成小写            query.add(new Term("content","i"));            //代表着中间相隔3个单词            query.setSlop(3);            //第二个结果            query.add(new Term("content","nuch"));

 

注意:大写的开头,会被转换成小写哦,但是这种方法开销很大,尽量少用

 

 

 

3.8:模糊查询

这里要先说明一下,模糊查询与通配符查询是有区别的。模糊查询是代表着允许有着一定的错别字

这里来进行说明一下,假如我有这样的一些name属性

jane  mike  kangkang

当我写出下面的代码的时候

//通过这个,肯定是可以找到mkie的结果的            FuzzyQuery query1 = new FuzzyQuery(new Term("name","mike"));            //这里我把i写成了a,但是也是可以查到mike的            FuzzyQuery query2 = new FuzzyQuery(new Term("name","make"));

上面的代码代表着,FuzzyQuery,允许有着一定的错别字

那么可以控制查询字符的错别字吗?

答案是可以的,如下面的代码:

//通过第2个float参数调整相似度,值越低,代表相似度越低,容错率越高FuzzyQuery query3 = new FuzzyQuery(new Term("name","make"),0.5f,0);

 

它会有着一定的容错率

 

 

3.9:QueryParser的使用

在刚开始的示例中,就使用过QueryParser的这个对象,现在就来重点的说明一下。

QueryParser它支持一定的查询表达式,什么是查询表达式呢?下面用代码来演示一下

//创建一个默认搜索域为content的parser            QueryParser parser = new QueryParser(Version.LUCENE_35,"content",new StandardAnalyzer(Version.LUCENE_35));            //改变字符串的默认操作符,下面改成AND            //parser.setDefaultOperator(QueryParser.Operator.AND);            //开启第一个字符的通配符的匹配,lucene默认是关闭的,因为效率太低            parser.setAllowLeadingWildcard(true);            //搜索content中包含like的            Query query = parser.parse("like");            //搜索有dog或者cat的,空格默认就是OR            query = parser.parse("dog cat");            //改变搜索域为name,搜索其中的jie            query = parser.parse("name:jie");            //使用通配符*和?来进行匹配            query = parser.parse("name:j*");            //通配符默认是不能放在首位的,因为其效率太低,lucene默认关闭了,上面已经开始,所以不会抛异常            query = parser.parse("name:*e");            //搜索name中没有dog,默认域content中有eat的条件            query = parser.parse("- name:dog + eat");            //匹配一个区间,TO必须是大写,这个区间是开区间,这个是字符的1,数字的不能            query = parser.parse("id:[1 TO 3]");            //这个是闭区间,只会匹配到2,这个是字符的1,数字的不能            query = parser.parse("id:{1 TO 3}");            //默认域中是dog或者cat,但是age是11的            query = parser.parse("(dog OR cat) AND age:11");            //匹配两个相连的字符串,这里不会被分割,代表着默认域中,这两个字符串相连的才会被搜索出来            query = parser.parse("\"hello world\"");

 

转载于:https://www.cnblogs.com/zhuxiaojie/p/5277219.html

你可能感兴趣的文章
vue自定义组件的递归
查看>>
vue动态加载不同的组件(分内部和外部组件)
查看>>
vue 异步渲染
查看>>
Vue v-bind与v-model的区别
查看>>
vue插件(还真是第一次接触)
查看>>
加冒号的,说明=后面的是一个变量或者表达式,没加冒号的=后面就是对应的字符串字面量...
查看>>
ASPxComboBox默认情况下不显示代码和名称,特别头疼,直到发现了关键
查看>>
npm全局模块卸载及默认安装目录修改方法
查看>>
Maven私服搭建
查看>>
基于Docker的GitLab搭建
查看>>
MySql索引
查看>>
一、线程与进程基础知识
查看>>
java之Arrays.asList
查看>>
二、java实现多线程的方式?
查看>>
IFrame消息传递
查看>>
密码的加密方式
查看>>
分片式图片服务器fastDFS安装过程
查看>>
centos7下安装mysql5.7
查看>>
阿里云Zabbix安装实践过程
查看>>
Scrapy框架详解
查看>>