CCL2019，“小牛杯”中文幽默计算任务的数据集及baseline
Update：测试集标签已发布
任务说明参见CCL2019官方网站：http://www.cips-cl.org/static/CCL2019/call-evaluation.html 。
任务每个阶段的排名将在该GitHub公布。
两个任务取测试集的部分数据构建开发集。
在比赛的前四个阶段，将根据模型在开发集上的得分对参赛队伍排名。
完整测试集将在10月5日0点放出，队伍的最终排名由模型在完整测试集上的得分决定。
文件说明：
-- data
-- task1 # 子任务一：生成幽默识别数据
-- task1_train.csv # 训练集
-- task1_development.csv # 开发集
-- task2 # 子任务二：中文幽默等级划分数据
-- task2_train.csv # 训练集
-- task2_development.csv # 开发集
-- baseline
-- task1_baseline.ipynb # 使用LSTM
-- task2_baseline.ipynb # 使用LSTM
第一阶段队伍排名：
| 队伍名称 | task1_f1 | task2_macro_f1 | score | rank |
|---|---|---|---|---|
| SXU-NLP | 0.8406 | 0.4969 | 0.7031 | 1 |
| 金山AI Lab-MRC | 0.8531 | 0.3600 | 0.6559 | 2 |
| 清博AI | 0.8439 | 0.3671 | 0.6532 | 3 |
| Tenacious Birds | 0.8463 | 0.3417 | 0.6444 | 4 |
第二阶段队伍排名：
| 队伍名称 | task1_f1 | task2_macro_f1 | score | rank |
|---|---|---|---|---|
| Huawei MT Squad | 0.8936 | 0.4599 | 0.7202 | 1 |
| 清博AI | 0.8665 | 0.4675 | 0.7069 | 2 |
| 学习强国 | 0.8630 | 0.4686 | 0.7052 | 3 |
| SXU-NLP | 0.8603 | 0.4602 | 0.7002 | 4 |
| 金山AI Lab-MRC | 0.8522 | 0.4518 | 0.6920 | 5 |
| 贝岗不断电 | 0.8382 | 0.4448 | 0.6808 | 6 |
| 不叫塞达尔 | 0.8536 | 0.3576 | 0.6552 | 7 |
| Tenacious Birds | 0.8463 | 0.3417 | 0.6444 | 8 |
第三阶段队伍排名：
| 队伍名称 | task1_f1 | task2_macro_f1 | score | rank |
|---|---|---|---|---|
| Huawei MT Squad | 0.9024 | 0.4953 | 0.7395 | 1 |
| SXU-NLP | 0.8613 | 0.4748 | 0.7067 | 2 |
| 清博AI | 0.8699 | 0.4530 | 0.7032 | 3 |
| 三群五队 | 0.8593 | 0.4618 | 0.7003 | 4 |
| np菜鸟 | 0.8524 | 0.4575 | 0.6944 | 5 |
| Tenacious Birds | 0.8463 | 0.4423 | 0.6847 | 6 |
| 饮水思源队 | 0.8303 | 0.4597 | 0.6821 | 7 |
| 金山AI Lab-MRC | 0.8404 | 0.4244 | 0.6740 | 8 |
| jxnu-小黑 | 0.8422 | 0.4116 | 0.6699 | 9 |
| 罗小黑战队 | 0.8098 | 0.3971 | 0.6447 | 10 |
| 111 | 0.8418 | 0.3259 | 0.6355 | 11 |
| 贝岗不断电 | 0.6482 | 0.3128 | 0.5141 | 12 |
第四阶段队伍排名：
| 队伍名称 | task1_f1 | task2_macro_f1 | score | rank |
|---|---|---|---|---|
| 清博AI | 0.9195 | 0.4648 | 0.7376 | 1 |
| Huawei MT Squad | 0.8967 | 0.4985 | 0.7374 | 2 |
| 不叫塞达尔 | 0.8702 | 0.4894 | 0.7179 | 3 |
| 三群五队 | 0.8726 | 0.4618 | 0.7083 | 4 |
| 金山AI Lab-MRC | 0.8631 | 0.4724 | 0.7068 | 5 |
| DTN | 0.8597 | 0.4699 | 0.7038 | 6 |
| np菜鸟 | 0.8554 | 0.4733 | 0.7025 | 7 |
| SXU-NLP | 0.8672 | 0.4502 | 0.7004 | 8 |
| Tenacious Birds | 0.8546 | 0.4553 | 0.6949 | 9 |
| 贝岗不断电 | 0.8567 | 0.4168 | 0.6808 | 10 |
| 罗小黑战队 | 0.8501 | 0.4245 | 0.6799 | 11 |
| UIR | 0.8633 | 0.3643 | 0.6637 | 12 |
| jxnu-小黑 | 0.8369 | 0.3844 | 0.6559 | 13 |
| 人机耦合战队 | 0.8357 | 0.3835 | 0.6548 | 14 |
| 饮水思源队 | 0.8389 | 0.3617 | 0.6480 | 15 |
| 111 | 0.8543 | 0.3290 | 0.6442 | 16 |
| MFDS | 0.8262 | 0.3345 | 0.6296 | 17 |
| 他改变了幽默 | 0.8192 | 0.3353 | 0.6256 | 18 |
队伍最终排名：
注：第5、6名属统一参赛单位，经沟通将两支队伍合并。获奖队伍顺延到第7名。
| 队伍名称 | task1_f1 | task2_macro_f1 | score | rank |
|---|---|---|---|---|
| 清博AI | 0.9488 | 0.5011 | 0.7697 | 1 |
| Huawei MT Squad | 0.8968 | 0.4936 | 0.7355 | 2 |
| 三群五队 | 0.8683 | 0.4808 | 0.7133 | 3 |
| 学习强国 | 0.8605 | 0.4876 | 0.7113 | 4 |
| SXU-NLP | 0.8594 | 0.4859 | 0.7100 | 5 |
| Tenacious Birds | 0.8558 | 0.4774 | 0.7045 | 6 |
| 金山AI Lab MRC | 0.8540 | 0.4681 | 0.6997 | 7 |
| 贝岗不断电 | 0.8459 | 0.4383 | 0.6829 | 8 |
| jxnu-小黑 | 0.8526 | 0.4099 | 0.6755 | 9 |
| MFDS | 0.8281 | 0.4417 | 0.6735 | 10 |
| UIR | 0.8571 | 0.3866 | 0.6689 | 11 |
| 饮水思源队 | 0.8399 | 0.3746 | 0.6537 | 12 |
| Honor | 0.8177 | 0.4001 | 0.6507 | 13 |
| 他改变了幽默 | 0.8113 | 0.4070 | 0.6496 | 14 |
| 秃头少女 | 0.8028 | 0.3645 | 0.6275 | 15 |
| 龙马精神 | 0.8198 | 0.3202 | 0.6200 | 16 |
| np菜鸟 | 0.8236 | 0.3108 | 0.6185 | 17 |
| NLP小优 | 0.7854 | 0.1832 | 0.5445 | 18 |