Merge branch 'ltp-new-framework'

.gitignore

@@ -13,21 +13,27 @@
 build
 config.h
 
+###############
+# config      #
+###############
+*.cnf
+
 ###############
 # output      #
 ###############
 include/
 lib/
 bin/
-crf_learn
-crf_test
-gparser
+lgdpj
+lgsrl
+otcws
+otpos
+otner
 ltp-model
-maxent
-svm_learn
 auto-test.sh
-SRLExtract
-SRLGetInstance
-ltp-model.json
-config.svmt
-gparser.conf
+
+###############
+# data file   #
+###############
+new_ltp_data/
+ltp_data/

.travis.yml

@@ -5,6 +5,7 @@ compiler:
     - g++
 
 before_install:
+    - sudo apt-get install gfortran
     - sudo apt-get install cmake
     - git submodule update --init --recursive
 

CMakeLists.txt

@@ -29,18 +29,10 @@ add_subdirectory (src)
 
 # testing section
 # -- generate configure file for ltp_test
-configure_file (
-    ${CONFIGURE_DIR}/ltp_all_modules.conf.in
-    ${EXECUTABLE_OUTPUT_PATH}/ltp_all_modules.conf)
-
 configure_file (
     ${TOOLS_DIR}/testing/auto-test.sh.in
     ${TOOLS_DIR}/testing/auto-test.sh)
 
-configure_file (
-    ${TOOLS_DIR}/train/ltp-model.in
-    ${TOOLS_DIR}/train/ltp-model)
-
 # enable test
 enable_testing()
 

ChangeLog.md

@@ -1,3 +1,12 @@
+2013-08-04
+----------
+* 从底层开始，实现了一套中文文本处理库
+* 实现序列标注算法框架
+* 在序列标注算法框架的基础上实现了分词、词性标注、命名实体识别和依存句法分析四个模块
+* 在分词模块中实现了用户自定义字典的逻辑
+* 在依存句法分析模块中实现了二阶解码，提高分析准确率
+* 实现模型裁剪，提高内存性能
+
 2013-04-03
 ----------
 * 将LTP的训练模块进行封装，用户可以直接调用ltp-model脚本训练模型

README.md

@@ -11,41 +11,22 @@ __[语言技术平台（Language Technology Platform，LTP）](http://ir.hit.edu
 
 2011年6月1日，为了与业界同行共同研究和开发中文信息处理核心技术，我中心正式将LTP开源。
 
-编译
-----
-
-2013年3月以后，为适应跨平台编译，LTP从Automake改为使用CMake编译，编译时请注意对应版本。
-
-__2.2.0之后__
-
-1. 将ltp_data.zip压缩包解压至项目文件夹下
-2. 配置
-```
-./configure
-```
-3. 编译
-```
-make
-```
+文档
+---
 
-编译后会在bin/下产生两个可执行程序`ltp_test`和`ltp_test_xml`，同时会在lib/下产生各组件的静态链接库。
+关于LTP的使用，请参考[LTP使用文档v3.0](https://github.com/HIT-SCIR/ltp/blob/ltp-new-framework/doc/ltp-document-3.0.md)
 
-__2.2.0之前__
+模型
+---
 
-1. 将ltp_data.zip压缩包解压至项目文件夹下
-2. 配置
-```
-./configure
-```
-3. 编译
-```
-make
-```
+* [3.0](http://pan.baidu.com/share/link?shareid=1988562907&uk=2738088569)
 
-编译后会在src/test/下产生两个可执行程序`ltp_test`和`ltp_test_xml`。
+开源协议
+-------
+1. 语言技术平台面向国内外大学、中科院各研究所以及个人研究者免费开放源代码，但如上述机构和个人将该平台用于商业目的（如企业合作项目等）则需要付费。
 
-模型
-----
+2. 除上述机构以外的企事业单位，如申请使用该平台，需付费。
 
-由于模型文件`ltp_data.zip`不适合进行版本控制，现已经将`ltp_data.zip`转移到[这里](http://ir.hit.edu.cn/ltp/program/ltp_data.zip)。
+3. 凡涉及付费问题，请发邮件到biz@ir.hit.edu.cn洽商。
 
+4. 如果您在LTP基础上发表论文或取得科研成果，请您在发表论文和申报成果时声明“使用了哈工大社会计算与信息检索研究中心研制的语言技术平台（LTP）”，参考文献中加入以下论文： Wanxiang Che, Zhenghua Li, Ting Liu. LTP: A Chinese Language Technology Platform. In Proceedings of the Coling 2010:Demonstrations. 2010.08, pp13-16, Beijing, China. 同时，发信给[email protected]，说明发表论文或申报成果的题目、出处等。

cmake/ConfigureChecks.cmake

@@ -102,6 +102,7 @@ MACRO (CHECK_INCLUDE_FILE_CONCAT FILE VARIABLE)
   CHECK_INCLUDE_FILES ("${USE_INCLUDES};${FILE}" ${VARIABLE})
   IF (${VARIABLE})
     SET (USE_INCLUDES ${USE_INCLUDES} ${FILE})
+	ADD_DEFINITIONS( -D${VARIABLE} )
   ENDIF (${VARIABLE})
 ENDMACRO (CHECK_INCLUDE_FILE_CONCAT)
 

conf/ltp.cnf

@@ -0,0 +1,5 @@
+segmentor-model = new_ltp_data/cws.model
+postagger-model = new_ltp_data/pos.model
+parser-model = new_ltp_data/parser.model
+ner-data = ltp_data/ne_data
+srl-data = ltp_data/srl_data