什么是词义消歧?AI 如何判断一个词是哪个意思

词义消歧是什么?AI 如何根据上下文判断「苹果」是水果还是公司,它和语义相似度有何不同,以及为什么专业词不能只靠最常见的意思去猜。

什么是词义消歧?AI 如何判断一个词是哪个意思
编辑部 ·

词义消歧(Word Sense Disambiguation)是判断一个多义词在当前这句话里取哪个意思。同一个「苹果」,在「苹果很好吃」里是水果,在「苹果发布了新机」里是公司。

人靠上下文就能分清。系统如果只看词本身,就会把两种意思混在一起:搜索「苹果股价」可能召回水果食谱,抽取「苹果」时也可能标错实体类型。

它靠什么判断?

上下文里的搭配最有用。「发布、股价、手机」偏向公司,「好吃、削皮、果园」偏向水果。句子里的其他角色也能帮忙,比如语义角色标注里谁是施事,事件抽取里这件事是发布还是采摘。

只比较整句的语义相似度不够。两句都出现「苹果」,相似度可能不低,意思却完全不同。消歧要落到这个词的候选义项上,而不是只说两句话很像。

怎样少判错?

为每个专业领域准备义项和例子,不要只用通用词典。证据要回到原句;看不懂就标成不确定,而不是选一个最常见的意思。新产品名、缩写和刚出现的说法,应允许人工补义项,再交给命名实体识别使用。

小结

词义消歧让 AI 在具体句子里选定一个意思。它适合搜索、实体识别和知识抽取,拿不准时就不要猜。