使用Lucene.NET索引.PDF，.XLS，.DOC，.PPT
我听说过Lucene.Net，我听说过Apache Tika。 问题是 - 如何使用C＃和Java为这些文档建立索引？ 我认为问题在于，没有.Net相当于从这些文档类型中提取相关文本的Tika。
更新 - 2011年2月5日
基于给出的回应，似乎目前不是Tika的原生 .Net等价物。 提到了两个有趣的项目，每个项目都各有意思：
鉴于上述2个项目，我看到了一些选择。 要提取文本，我可以a）使用欧米茄正在使用的相同组件，或者b）使用IKVM运行Tika。 对我来说，选项b）似乎更清洁，因为只有2个依赖关系。
有趣的部分是，现在有几个搜索引擎可能可以从.Net使用。 有Xapian，Lucene.Net甚至Lucene（使用IKVM）。
更新 - 2011年2月07日
另一个回答是推荐我检查过滤器。 事实证明，这是MS用于Windows搜索的东西，因此Office过滤器很容易获得。 此外，还有一些PDF过滤器。 缺点是它们是在非托管代码中实现的，所以COM互操作对于使用它们是必要的。 我在DotLucene.NET存档中找到了下面的代码snippit（不再是活动项目）：
using System;
using System.Diagnostics;
using System.Runtime.InteropServices;
using System.Text;
namespace IFilter
{
[Flags]
public enum IFILTER_INIT : uint
{
NONE = 0,
CANON_PARAGRAPHS = 1,
HARD_LINE_BREAKS = 2,
CANON_HYPHENS = 4,
CANON_SPACES = 8,
APPLY_INDEX_ATTRIBUTES = 16,
APPLY_CRAWL_ATTRIBUTES = 256,
APPLY_OTHER_ATTRIBUTES = 32,
INDEXING_ONLY = 64,
SEARCH_LINKS = 128,
FILTER_OWNED_VALUE_OK = 512
}
public enum CHUNK_BREAKTYPE
{
CHUNK_NO_BREAK = 0,
CHUNK_EOW = 1,
CHUNK_EOS = 2,
CHUNK_EOP = 3,
CHUNK_EOC = 4
}
[Flags]
public enum CHUNKSTATE
{
CHUNK_TEXT = 0x1,
CHUNK_VALUE = 0x2,
CHUNK_FILTER_OWNED_VALUE = 0x4
}
[StructLayout(LayoutKind.Sequential)]
public struct PROPSPEC
{
public uint ulKind;
public uint propid;
public IntPtr lpwstr;
}
[StructLayout(LayoutKind.Sequential)]
public struct FULLPROPSPEC
{
public Guid guidPropSet;
public PROPSPEC psProperty;
}
[StructLayout(LayoutKind.Sequential)]
public struct STAT_CHUNK
{
public uint idChunk;
[MarshalAs(UnmanagedType.U4)] public CHUNK_BREAKTYPE breakType;
[MarshalAs(UnmanagedType.U4)] public CHUNKSTATE flags;
public uint locale;
[MarshalAs(UnmanagedType.Struct)] public FULLPROPSPEC attribute;
public uint idChunkSource;
public uint cwcStartSource;
public uint cwcLenSource;
}
[StructLayout(LayoutKind.Sequential)]
public struct FILTERREGION
{
public uint idChunk;
public uint cwcStart;
public uint cwcExtent;
}
[ComImport]
[Guid("89BCB740-6119-101A-BCB7-00DD010655AF")]
[InterfaceType(ComInterfaceType.InterfaceIsIUnknown)]
public interface IFilter
{
[PreserveSig]
int Init([MarshalAs(UnmanagedType.U4)] IFILTER_INIT grfFlags, uint cAttributes, [MarshalAs(UnmanagedType.LPArray, SizeParamIndex=1)] FULLPROPSPEC[] aAttributes, ref uint pdwFlags);
[PreserveSig]
int GetChunk(out STAT_CHUNK pStat);
[PreserveSig]
int GetText(ref uint pcwcBuffer, [MarshalAs(UnmanagedType.LPWStr)] StringBuilder buffer);
void GetValue(ref UIntPtr ppPropValue);
void BindRegion([MarshalAs(UnmanagedType.Struct)] FILTERREGION origPos, ref Guid riid, ref UIntPtr ppunk);
}
[ComImport]
[Guid("f07f3920-7b8c-11cf-9be8-00aa004b9986")]
public class CFilter
{
}
public class IFilterConstants
{
public const uint PID_STG_DIRECTORY = 0x00000002;
public const uint PID_STG_CLASSID = 0x00000003;
public const uint PID_STG_STORAGETYPE = 0x00000004;
public const uint PID_STG_VOLUME_ID = 0x00000005;
public const uint PID_STG_PARENT_WORKID = 0x00000006;
public const uint PID_STG_SECONDARYSTORE = 0x00000007;
public const uint PID_STG_FILEINDEX = 0x00000008;
public const uint PID_STG_LASTCHANGEUSN = 0x00000009;
public const uint PID_STG_NAME = 0x0000000a;
public const uint PID_STG_PATH = 0x0000000b;
public const uint PID_STG_SIZE = 0x0000000c;
public const uint PID_STG_ATTRIBUTES = 0x0000000d;
public const uint PID_STG_WRITETIME = 0x0000000e;
public const uint PID_STG_CREATETIME = 0x0000000f;
public const uint PID_STG_ACCESSTIME = 0x00000010;
public const uint PID_STG_CHANGETIME = 0x00000011;
public const uint PID_STG_CONTENTS = 0x00000013;
public const uint PID_STG_SHORTNAME = 0x00000014;
public const int FILTER_E_END_OF_CHUNKS = (unchecked((int) 0x80041700));
public const int FILTER_E_NO_MORE_TEXT = (unchecked((int) 0x80041701));
public const int FILTER_E_NO_MORE_VALUES = (unchecked((int) 0x80041702));
public const int FILTER_E_NO_TEXT = (unchecked((int) 0x80041705));
public const int FILTER_E_NO_VALUES = (unchecked((int) 0x80041706));
public const int FILTER_S_LAST_TEXT = (unchecked((int) 0x00041709));
}
///
/// IFilter return codes
///
public enum IFilterReturnCodes : uint
{
///
/// Success
///
S_OK = 0,
///
/// The function was denied access to the filter file.
///
E_ACCESSDENIED = 0x80070005,
///
/// The function encountered an invalid handle, probably due to a low-memory situation.
///
E_HANDLE = 0x80070006,
///
/// The function received an invalid parameter.
///
E_INVALIDARG = 0x80070057,
///
/// Out of memory
///
E_OUTOFMEMORY = 0x8007000E,
///
/// Not implemented
///
E_NOTIMPL = 0x80004001,
///
/// Unknown error
///
E_FAIL = 0x80000008,
///
/// File not filtered due to password protection
///
FILTER_E_PASSWORD = 0x8004170B,
///
/// The document format is not recognised by the filter
///
FILTER_E_UNKNOWNFORMAT = 0x8004170C,
///
/// No text in current chunk
///
FILTER_E_NO_TEXT = 0x80041705,
///
/// No more chunks of text available in object
///
FILTER_E_END_OF_CHUNKS = 0x80041700,
///
/// No more text available in chunk
///
FILTER_E_NO_MORE_TEXT = 0x80041701,
///
/// No more property values available in chunk
///
FILTER_E_NO_MORE_VALUES = 0x80041702,
///
/// Unable to access object
///
FILTER_E_ACCESS = 0x80041703,
///
/// Moniker doesn't cover entire region
///
FILTER_W_MONIKER_CLIPPED = 0x00041704,
///
/// Unable to bind IFilter for embedded object
///
FILTER_E_EMBEDDING_UNAVAILABLE = 0x80041707,
///
/// Unable to bind IFilter for linked object
///
FILTER_E_LINK_UNAVAILABLE = 0x80041708,
///
/// This is the last text in the current chunk
///
FILTER_S_LAST_TEXT = 0x00041709,
///
/// This is the last value in the current chunk
///
FILTER_S_LAST_VALUES = 0x0004170A
}
///
/// Convenience class which provides static methods to extract text from files using installed IFilters
///
public class DefaultParser
{
public DefaultParser()
{
}
[DllImport("query.dll", CharSet = CharSet.Unicode)]
private extern static int LoadIFilter(string pwcsPath, [MarshalAs(UnmanagedType.IUnknown)] object pUnkOuter, ref IFilter ppIUnk);
private static IFilter loadIFilter(string filename)
{
object outer = null;
IFilter filter = null;
// Try to load the corresponding IFilter
int resultLoad = LoadIFilter(filename, outer, ref filter);
if (resultLoad != (int) IFilterReturnCodes.S_OK)
{
return null;
}
return filter;
}
public static bool IsParseable(string filename)
{
return loadIFilter(filename) != null;
}
public static string Extract(string path)
{
StringBuilder sb = new StringBuilder();
IFilter filter = null;
try
{
filter = loadIFilter(path);
if (filter == null)
return String.Empty;
uint i = 0;
STAT_CHUNK ps = new STAT_CHUNK();
IFILTER_INIT iflags =
IFILTER_INIT.CANON_HYPHENS |
IFILTER_INIT.CANON_PARAGRAPHS |
IFILTER_INIT.CANON_SPACES |
IFILTER_INIT.APPLY_CRAWL_ATTRIBUTES |
IFILTER_INIT.APPLY_INDEX_ATTRIBUTES |
IFILTER_INIT.APPLY_OTHER_ATTRIBUTES |
IFILTER_INIT.HARD_LINE_BREAKS |
IFILTER_INIT.SEARCH_LINKS |
IFILTER_INIT.FILTER_OWNED_VALUE_OK;
if (filter.Init(iflags, 0, null, ref i) != (int) IFilterReturnCodes.S_OK)
throw new Exception("Problem initializing an IFilter for:n" + path + " nn");
while (filter.GetChunk(out ps) == (int) (IFilterReturnCodes.S_OK))
{
if (ps.flags == CHUNKSTATE.CHUNK_TEXT)
{
IFilterReturnCodes scode = 0;
while (scode == IFilterReturnCodes.S_OK || scode == IFilterReturnCodes.FILTER_S_LAST_TEXT)
{
uint pcwcBuffer = 65536;
System.Text.StringBuilder sbBuffer = new System.Text.StringBuilder((int)pcwcBuffer);
scode = (IFilterReturnCodes) filter.GetText(ref pcwcBuffer, sbBuffer);
if (pcwcBuffer > 0 && sbBuffer.Length > 0)
{
if (sbBuffer.Length < pcwcBuffer) // Should never happen, but it happens !
pcwcBuffer = (uint)sbBuffer.Length;
sb.Append(sbBuffer.ToString(0, (int) pcwcBuffer));
sb.Append(" "); // "rn"
}
}
}
}
}
finally
{
if (filter != null) {
Marshal.ReleaseComObject (filter);
System.GC.Collect();
System.GC.WaitForPendingFinalizers();
}
}
return sb.ToString();
}
}
}
目前，这似乎是使用Windows服务器上的.NET平台从文档中提取文本的最佳方式。 谢谢大家的帮助。
更新 - 2011年3月08日
虽然我仍然认为ifilters是一个很好的选择，但我认为如果你正在寻找使用.NET中的Lucene索引文档，一个很好的选择是使用Solr 。 当我开始研究这个话题时，我从未听说过Solr。 所以，对于那些还没有的人来说，Solr是一个独立的搜索服务，在Lucene之上用Java编写。 这个想法是，你可以在防火墙机器上启动Solr，并通过你的.NET应用程序通过HTTP进行通信。 Solr真正写成一种服务，可以完成Lucene所能做的一切，（包括使用Tika从.PDF，.XLS，.DOC，.PPT等等提取文本），然后进行一些操作。 Solr似乎也有一个非常活跃的社区，这是我不能确定的Lucene.NET的一个方面。
你也可以查看ifilters - 如果你搜索asp.net ifilters，有很多资源：
当然，如果你将它分发给客户端系统，会增加麻烦，因为你需要将发布者包含在你的发行版中，并将它们安装到你的机器上，否则他们将无法从任何文件中提取文本他们没有过滤器。
这是我对Lucene为我正在开发的一个项目感到不满的原因之一。 Xapian是一个竞争产品，在某些情况下比Lucene快几个数量级，并且具有其他引人注目的功能（当然，它们对我来说很吸引人）。 大问题？ 它是用C ++编写的，你必须与之交互。 这是索引和检索。 对于文本的实际解析，这就是Lucene真正落下的地方 - 你必须自己去做。 Xapian有一个Omega组件，用于管理其他第三方组件提取数据。 在我有限的测试中，它工作得很好。 我没有完成这个项目（不仅仅是POC），但是我写下了我编译64位的经验。 当然这大概是一年前，所以事情可能已经改变。
如果您深入了解Omega文档，您可以看到他们用于解析文档的工具。
PDF（.pdf）如果pdftotext可用（附带xpdf）
PostScript（.ps，.eps，.ai）如果ps2pdf（来自ghostscript）和pdftotext（带有xpdf）可用
如果解压缩可用，OpenOffice / StarOffice文档（.sxc，.stc，.sxd，.std，.sxi，.sti，.sxm，.sxw，.sxg，.stw）
OpenDocument格式文档（.odt，.ods，.odp，.odg，.odc，.odf，.odb，.odi，.odm，.ott，.ots，.otp，.otg，.otc，.otf ,. oti，.oth）如果解压缩可用
MS Word文档（.doc，.dot），如果有反义词可用
MS Excel文档（.xls，.xlb，.xlt）如果xls2csv可用（附带catdoc）
如果catppt可用，MS Powerpoint文档（.ppt，.pps）（随catdoc提供）
如果解压缩可用，MS Office 2007文档（.docx，.dotx，.xlsx，.xlst，.pptx，.potx，.ppsx）
如果wpd2text可用（附带libwpd），则为Wordperfect文档（.wpd）
MS Works文档（.wps，.wpt）如果wps2text可用（随libwps提供）
压缩的AbiWord文档（.zabw）如果gzip可用
富文本格式文档（.rtf）如果unrtf可用
如果pod2text可用，Perl POD文档（.pl，.pm，.pod）
TeX DVI文件（.dvi）如果catdvi可用
DjVu文件（.djv，.djvu）如果djvutxt可用
XPS文件（.xps）如果解压缩可用
显然你可以使用.net的Tika（链接）
我没有自己尝试过。
链接地址: http://www.djcxy.com/p/41273.html上一篇: Indexing .PDF, .XLS, .DOC, .PPT using Lucene.NET
下一篇: Choosing a stand