用于词语、短语、句子、词法分析、情感分析、语义分析等相关的相似度计算。
similarity是由一系列算法组成的Java版相似度计算工具包,目标是传播自然语言处理中相似度计算方法。similarity具备工具实用、性能高效、架构清晰、语料时新、可自定义的特点。
similarity提供下列功能:
- 词语相似度计算
- 词林编码法相似度
- 汉语语义法相似度
- 知网词语相似度
- 字面编辑距离法
- 短语相似度计算
- 简单短语相似度
- 句子相似度计算
- 词性和词序结合法
- 编辑距离算法
- Gregor编辑距离法
- 优化编辑距离法
- 文本相似度计算
- 余弦相似度
- 编辑距离算法
- 欧几里得距离
- Jaccard相似性系数
- Jaro距离
- Jaro–Winkler距离
- 曼哈顿距离
- SimHash + 汉明距离
- Sørensen–Dice系数
- 词法分析
- xmnlp中文分词
- 分词词性标注
- 知网义原
- 义原树
- 情感分析
- 正面倾向程度
- 负面倾向程度
- 情感倾向性
- 近似词
- word2vec
在提供丰富功能的同时,similarity内部模块坚持低耦合、模型坚持惰性加载、词典坚持明文发布,使用方便,帮助用户训练自己的语料。