如何提取数字(连同比较形容词或范围)
我正在使用Python中的两个NLP项目,并且都有类似的任务来从像这样的句子中提取值和比较运算符:
"... greater than $10 ... ",
"... weight not more than 200lbs ...",
"... height in 5-7 feets ...",
"... faster than 30 seconds ... "
我看到了两种不同的方法来解决这个问题,一种使用非常复杂的正则表达式,另一种使用NER(以及一些正则表达式)。
我如何从这些句子中解析出数值? 我认为这是NLP的一个常见任务。
期望的输出将如下所示:
输入:
“大于$ 10”
输出:
{'value': 10, 'unit': 'dollar', 'relation': 'gt', 'position': 3}
我可能会将此视为一个nltk
的任务,并将nltk
的部分语音标记器与其正则表达式块结合使用。 这将允许您根据句子中的单词的词性而不是单词本身来定义正则表达式。 对于给定的句子,您可以执行以下操作:
import nltk
# example sentence
sent = 'send me a table with a price greater than $100'
我会做的第一件事是稍微修改你的句子,这样你就不会混淆词性标注器太多。 这里有一些你可以做的改变的例子(用非常简单的正则表达式),但你可以试验一下,看看是否有其他改变:
$10 -> 10 dollars
200lbs -> 200 lbs
5-7 -> 5 - 7 OR 5 to 7
所以我们得到:
sent = 'send me a table with a price greater than 100 dollars'
现在你可以从你的句子中获得词性:
sent_pos = nltk.pos_tag(sent.split())
print(sent_pos)
[('send', 'VB'), ('me', 'PRP'), ('a', 'DT'), ('table', 'NN'), ('with', 'IN'), ('a', 'DT'), ('price', 'NN'), ('greater', 'JJR'), ('than', 'IN'), ('100', 'CD'), ('dollars', 'NNS')]
我们现在可以创建一个chunker,根据一个(相对)简单的正则表达式将您的POS标记文本分块:
grammar = 'NumericalPhrase: {<NN|NNS>?<RB>?<JJR><IN><CD><NN|NNS>?}'
parser = nltk.RegexpParser(grammar)
这定义了一个语法分析器,它包含了数字短语(我们称之为短语类型)。 它将你的数字短语定义为:一个可选的名词,后面跟着一个可选的副词,后面跟着一个比较形容词,一个介词,一个数字和一个可选的名词。 这只是你如何定义短语的一种建议,但我认为这比在单词本身上使用正则表达式要简单得多。
要得到你的短语,你可以这样做:
print(parser.parse(sent_pos))
(S
send/VB
me/PRP
a/DT
table/NN
with/IN
a/DT
(NumericalPhrase price/NN greater/JJR than/IN 100/CD dollars/NNS))
或者只取得你可以做的短语:
print([tree.leaves() for tree in parser.parse(sent_pos).subtrees() if tree.label() == 'NumericalPhrase'])
[[('price', 'NN'),
('greater', 'JJR'),
('than', 'IN'),
('100', 'CD'),
('dollars', 'NNS')]]
链接地址: http://www.djcxy.com/p/91725.html
上一篇: How to extract numbers (along with comparison adjectives or ranges)