|
事件主题II：一个动词后面加上若干限定词及若干名词，动宾结构表示一件事情。此种情况下，限定词及名词可以脱离动词存在。比如“合并我的账户”、“关闭我们的旧账户”。
POS模式匹配会对所有句子的POS标签进行扫描，寻找是否有与上述三种模式匹配。每一个匹配的短语都会被当成一个候选主题。
三. 主题抽取
接下来，我们需要减少重复部分、去掉短语中无关紧要的词。主题抽取步骤如下：
词干提取：这是信息提取和数据挖掘中的关键技术步骤。在LinkedIn的主题挖掘中，“查看简历（view profile）”、“查看所有简历（view profiles）”、“已查看简历（viewed profile）”会被分入到同一个候选主题“查看简历（view profile）”。LinkedIn采用的是Java实现Porter词干提取算法。在词干提取合并候选主题时，会选择词频较高的词语作为最终的主题。如“view”和“profile”组成view profile。 去掉停止词：在选择候选主题时，还需要去掉停止词。比如文章常见的停止词：介词、代词、连词、小品词或其他辅助词语。如果最终“注销这个账户”“注销他的账户”都能被划入“注销账户”的候选主题中。LinkedIn采用的是Lextek标准版停止词。 合并同类词：为了进一步简化候选主题的整理，LinkedIn还自行添加了234个特定领域的停止词。去掉那些不会给候选主题添加价值的词语，比如社交网络领域的停止词“附加信息”、“联系我们”、“原消息”、“同样问题”、“网站”、“其他站点”、“点击链接”和“com”等。 -
合并语义相近的词条：最终，候选主题需要被提炼到没有同类或同义词。比如“邮箱地址”、“邮箱账号”需要被合并为一个共同主题。同样地，还可以借助WordNet之类的语库对词条进行合并，如“link”、“connection”、“association”、“partnership”和“relationship”等。LinkedIn手动添加了75组同义词。
合并特定域同类词和语义相近词可以很好地帮助候选主题的提炼，可是大部分的主题提取系统都没有重视这两项候选主题的清理策略。
四. 主题排序
经过上述步骤，最终留下来的候选主题已经都最优化。接下来，需要一个标准进行主题排序，然后可以衍生出一套主题。LinkedIn通过两个步骤进行候选主题排序：
我们计算每个文件中候选主题的TF-IDF值，然后根据我们的经验，我们会保留TF-IDF值最高的五个主题。TF-IDF是文件为单位的计算值，而没有考虑到文件所在的文件整个集合。 -
（编辑：PHP编程网 - 金华站长网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
