Skip to content

Latest commit

 

History

History
81 lines (62 loc) · 6.82 KB

MODELS.md

File metadata and controls

81 lines (62 loc) · 6.82 KB
Raw

模型下载

模型 大小 SHA256
Base1(v3) 583MB 397c3893e39692ced5858930e0cf8556454747a7c76521d70423a147d6f8c6d7
Base2(v3) 583MB 685a195f09c1947231394ef1bb814e8608252888a9a6dcc1fa5080a5a186e096
Base(v3) 491.9MB 777a97d6770285e5ab3b0720923bc86781e3279508a72a30c2dd9140b09e5ec8
Small(v3) 156.8MB 0992d5037cd1c62779a3b5c6d45b883a46e4782c6bcc5850117faf69a9ee6c56
Tiny(v3) 31.3MB d0ab69f1493db232676423270d481080bf636bf8547e4297129b6a21c6f73612
Base(v2) 531MB 4ba5b16e90c073fced2ba45ebd6a663e78bf081f8a83a3d68582d53ce544ed3a
Small(v2) 170MB 26e79fc2912bf2ed9bff72c1de908045e471e4f520b1652f9db246bc38b7b6c6
Tiny(v2) 34MB 8ed110819c9fd600c1e9cd99a82107d79c804b93d0701055e9215b93035393ba
Small(v1) 170MB d78bd6507eb4b1a45859ca4d36065dc6ce69202a8fc0edfdce29934fd8307222
Tiny(v1) 34MB 877bb0cd97d82fdbd2c6f74144c4f9abf9e44ce79075cd17bde02abe314a1e49

注意: LTP 4.1.X 与旧版本 v1,v2 模型不兼容 备注: Tiny模型使用electra前三层进行初始化

V2/v3 指标

模型 分词 词性 命名实体 语义角色 依存句法 语义依存 速度(句/S)
LTP 4.0 (Base) 98.7 98.5 95.4 80.6 89.5 75.2 39.12
LTP 4.0 (Base1) 99.22 98.73 96.39 79.28 89.57 76.57 --.--
LTP 4.0 (Base2) 99.18 98.69 95.97 79.49 90.19 76.62 --.--
LTP 4.0 (Small) 98.4 98.2 94.3 78.4 88.3 74.7 43.13
LTP 4.0 (Tiny) 96.8 97.1 91.6 70.9 83.8 70.1 53.22

备注: 本版本SDP采用 CCL2020语义依存分析 语料，其他语料同V1

测试环境如下：

  • Python 3.8.5
  • LTP 4.1 Batch Size = 8
  • CentOS Linux release 8.3.2011
  • Tesla V100-SXM2-16GB
  • Intel(R) Xeon(R) Silver 4214R CPU @ 2.40GHz

备注: 速度数据在人民日报命名实体测试数据上获得，速度计算方式均为所有任务顺序执行的结果。另外，语义角色标注与语义依存新旧版采用的语料不相同，因此无法直接比较（新版语义依存使用Semeval 2016语料，语义角色标注使用CPB3.0语料）。

V1 指标

模型 分词 词性 命名实体 语义角色 依存句法 语义依存 速度(句/S) 模型大小
LTP 3.X 97.8 98.3 94.1 77.92(Gold Pi) 81.1 78.9 2.75 1940M
LTP 4.0 (Small) 98.4 98.2 94.3 77.2(端到端) 88.0 79.9 12.58 171M
LTP 4.0 (Tiny) 96.8 97.2 91.6 68.1(端到端) 82.6 75.5 29.53 34M

测试环境如下：

  • Python 3.7
  • LTP 4.0 Batch Size = 1
  • Centos 3.10.0-1062.9.1.el7.x86_64
  • Intel(R) Xeon(R) CPU E5-2640 v4 @ 2.40GHz

备注: 速度数据在人民日报命名实体测试数据上获得，速度计算方式均为所有任务顺序执行的结果。另外，语义角色标注与语义依存新旧版采用的语料不相同，因此无法直接比较（新版语义依存使用Semeval 2016语料，语义角色标注使用CPB3.0语料）。

其他模型

Universal Dependencies

模型 分词 词性(XPOS) 命名实体 依存句法 SHA256
GSD(Single) 98.4 96.67 75.01 86.72 -
GSD + OntoNotes (GSD) 98.4 96.85 78.56 87.24 e4fd41c6f2c6d84d6df2657f1e47078cb98364366d91e852f0980102c755592a
GSD + OntoNotes (GSD+CRF) 98.26 96.38 79.77 86.57 0264b4a92e34bb97054ff06f99068b884c54908d1ad265926b0983f2594e1e6a
GSDSimple(Single) 98.29 96.69 76.67(+CRF) 87.2 -
GSDSimp + OntoNotes (GSDSimp) 98.44 96.84 78.06 87.58 d51b8508f290ab82d1c3844541eb774506213c1f6cf7d2b86fe7d69358d0d52a
GSDSimp + OntoNotes (GSDSimp+CRF) 98.4 96.47 79.69 86.39 1e9ea20cfbc1837bf5736f8b8502aaecb9343590e98b04bba18e15724d3092b2

UD System Performance

模型 分词 词性(XPOS) 命名实体 依存句法 SHA256
GSD + OntoNotes (GSD) 98.12 97.22 78.56 86.91 e4fd41c6f2c6d84d6df2657f1e47078cb98364366d91e852f0980102c755592a
GSD + OntoNotes (GSD+CRF) 97.96 96.81 79.77 86.06 0264b4a92e34bb97054ff06f99068b884c54908d1ad265926b0983f2594e1e6a
GSDSimp + OntoNotes (GSDSimp) 97.49 96.24 78.06 82.48 d51b8508f290ab82d1c3844541eb774506213c1f6cf7d2b86fe7d69358d0d52a
GSDSimp + OntoNotes (GSDSimp+CRF) 97.25 96.22 79.69 82.92 1e9ea20cfbc1837bf5736f8b8502aaecb9343590e98b04bba18e15724d3092b2