我如何评估我的技术？
我正在处理文本摘要问题，即给定大量文本，我想找到最具代表性的“主题”或文本主题。 为此，我使用各种信息理论措施，如TF-IDF，残余IDF和点互信息为我的语料库创建一个“字典”。 本词典包含文中提到的重要词汇。
我手动筛选了整个按照TFIDF度量排序的50,000条短语列表，并手工挑选了2,000个短语（我知道了！我花了15个小时来做到这一点......），这些都是基本事实，即这些非常重要。 现在，当我用这个字典作为字典并对我的文本进行简单的频率分析并提取top-k短语时，我基本上看到了这个主题，我同意我所看到的。
现在我该如何评估这种方法？ 这里没有涉及机器学习或分类。 基本上，我使用了一些NLP技术来创建一本字典，并单独使用字典来进行简单的频率分析，给我我正在寻找的主题。 然而，我可以为我的系统做一个正式的分析来衡量它的准确性或其他什么吗？
我不是机器学习的专家，但我会使用交叉验证 。 如果您使用了例如1000页的文本来“训练”算法（“循环中有一个人”，但没有问题），那么您可以再做几百个测试页面，并使用“top-k短语算法”找到这些的“主题”或“主题”。 您同意算法结果的测试页面的比例会给您提供一个（有点主观的）衡量您的方法执行情况的程度。
链接地址: http://www.djcxy.com/p/57765.html