switch training example to only one sentence.

tools/train/rock.sh

@@ -27,23 +27,16 @@ mkdir -p $LOG_DIR
 #################################################
 
 # cws dir config
-CWS_MODEL_DIR=$BUILD_DIR/cws
-CWS_MODEL_PATH=$CWS_MODEL_DIR/example-seg.model
-
-CWS_LOG_DIR=$LOG_DIR/cws
-CWS_LOG_TRAIN_PATH=$CWS_LOG_DIR/example-seg.train.log
+CWS_MODEL_PATH=$BUILD_DIR/cws.model
+CWS_LOG_TRAIN_PATH=$LOG_DIR/cws.train.log
 
 CWS_EXE=./otcws
 
-# create cws output dirs
-mkdir -p $CWS_MODEL_DIR
-mkdir -p $CWS_LOG_DIR
-
 # execute the example training process 
 $CWS_EXE learn --model $CWS_MODEL_PATH \
     --reference sample/seg/example-train.seg \
     --development sample/seg/example-holdout.seg \
-    --max-iter 1
+    --max-iter 2
 
 if [ ! -f $CWS_MODEL_PATH ]; then
     echo "[1] ERROR: CWS model is not detected!"
@@ -55,22 +48,15 @@ fi
 # THE POSTAG SESSION                            #
 #################################################
 
-POS_MODEL_DIR=$BUILD_DIR/pos
-POS_MODEL_PATH=$POS_MODEL_DIR/example-pos.model
-
-POS_LOG_DIR=$LOG_DIR/pos
-POS_LOG_TRAIN_PATH=$CWS_LOG_DIR/example-pos.train.log
+POS_MODEL_PATH=$BUILD_DIR/pos.model
+POS_LOG_TRAIN_PATH=$LOG_DIR/pos.train.log
 
 POS_EXE=./otpos
 
-# create pos output dirs
-mkdir -p $POS_MODEL_DIR
-mkdir -p $POS_LOG_DIR
-
 $POS_EXE learn --model $POS_MODEL_PATH \
     --reference sample/pos/example-train.pos \
     --development sample/pos/example-holdout.pos \
-    --max-iter 1
+    --max-iter 2
 
 if [ ! -f $CWS_MODEL_PATH ]; then 
     echo "[2] ERROR: POS model is not detected!"
@@ -83,23 +69,16 @@ fi
 #################################################
 
 # ner dir config
-NER_MODEL_DIR=$BUILD_DIR/ner
-NER_MODEL_PATH=$NER_MODEL_DIR/example-ner.model
-
-NER_LOG_DIR=$LOG_DIR/ner
-NER_LOG_TRAIN_PATH=$NER_LOG_DIR/example-ner.train.log
+NER_MODEL_PATH=$BUILD_DIR/ner.model
+NER_LOG_TRAIN_PATH=$LOG_DIR/ner.train.log
 
 NER_EXE=./otner
 
-# create cws output dirs
-mkdir -p $NER_MODEL_DIR
-mkdir -p $NER_LOG_DIR
-
 # execute the example training process 
 $NER_EXE learn --model $NER_MODEL_PATH \
     --reference sample/ner/example-train.ner \
     --development sample/ner/example-holdout.ner \
-    --max-iter 1
+    --max-iter 2
 
 if [ ! -f $NER_MODEL_PATH ]; then 
     echo "[3] ERROR: NER model is not detected!"
@@ -111,24 +90,18 @@ fi
 # THE PARSER O1 SESSION                         #
 #################################################
 
-PARSER_MODEL_DIR=$BUILD_DIR/parser
-PARSER_MODEL_PATH=$PARSER_MODEL_DIR/example-parser.model
-
-PARSER_LOG_DIR=$LOG_DIR/parser
-PARSER_LOG_TRAIN_PATH=$PARSER_LOG_DIR/example-train.conll
+PARSER_MODEL_PATH=$BUILD_DIR/parser.model
+PARSER_LOG_TRAIN_PATH=$LOG_DIR/parser.train.log
 
 PARSER_EXE=./nndepparser
 
-mkdir -p $PARSER_MODEL_DIR
-mkdir -p $PARSER_LOG_DIR
-
 ./nndepparser learn \
     --model $PARSER_MODEL_PATH \
     --reference sample/parser/example-train.conll \
     --development sample/parser/example-holdout.conll \
     --embedding sample/parser/example.bin \
     --root HED \
-    --max-iter 10
+    --max-iter 100
 
 if [ ! -f $PARSER_MODEL_O2SIB_PATH ]; then 
     echo "[4] ERROR: neural network parser model is not detected!"

tools/train/sample/ner/example-holdout.ner

@@ -1,5 +1,2 @@
-正在/d#O	执行/v#O	第十四/m#O	次/q#O	南极/ns#S-Ns	考察/v#O	任务/n#O	的/u#O	中国/ns#S-Ns	考察队员/n#O	，/wp#O	目前/nt#O	分别/d#O	在/p#O	长城站/ns#O	、/wp#O	中山站/ns#O	和/c#O	“/wp#O	雪龙/nz#O	”/wp#O	号/n#O	船上/nl#O	。/wp#O
-他们/r#O	按/p#O	统一/a#O	部署/v#O	，/wp#O	实施/v#O	“/wp#O	九五/m#O	”/wp#O	科考/j#O	计划/n#O	，/wp#O	进行/v#O	冰盖/n#O	考察/v#O	、/wp#O	高空/nl#O	大气/n#O	物理/n#O	观测/v#O	和/c#O	大洋/n#O	调查/v#O	，/wp#O	同时/c#O	还要/d#O	对/p#O	长城站/ns#O	和/c#O	中山站/ns#O	进行/v#O	维修/v#O	维护/v#O	，/wp#O	改造/v#O	两/m#O	站/q#O	的/u#O	污水/n#O	处理/v#O	工程/n#O	，/wp#O	改善/v#O	和/c#O	保护/v#O	站区/n#O	环境/n#O	。/wp#O
-宋健/nh#S-Nh	向/p#O	考察队员/n#O	们/k#O	说/v#O	，/wp#O	你们/r#O	的/u#O	工作/v#O	环境/n#O	很/d#O	艰苦/a#O	，/wp#O	任务/n#O	很/d#O	艰巨/a#O	。/wp#O
-由于/p#O	你们/r#O	精心/a#O	组织/v#O	，/wp#O	科学/n#O	安排/v#O	，/wp#O	在/p#O	艰苦/a#O	的/u#O	环境/n#O	中/nd#O	，/wp#O	团结/a#O	奋斗/v#O	，/wp#O	顽强/a#O	拼搏/v#O	，/wp#O	出色/a#O	地/u#O	完成/v#O	了/u#O	前/nd#O	一/m#O	段/q#O	的/u#O	各项/r#O	科学/n#O	考察/v#O	任务/n#O	。/wp#O
-我/r#O	代表/v#O	国务院/ni#S-Ni	感谢/v#O	同志/n#O	们/k#O	。/wp#O
+中国/ns#B-Ni 进出口/n#I-Ni 银行/n#E-Ni 与/p#O 中国/ns#B-Ni 银行/n#E-Ni 加强/v#O 合作/v#O
+

tools/train/sample/ner/example-train.ner

@@ -1,5 +1,2 @@
-台湾/ns#S-Ns	是/v#O	中国/ns#S-Ns	领土/n#O	不可分割/i#O	的/u#O	一/m#O	部分/n#O	。/wp#O
-１９９８年/nt#O	，/wp#O	中国/ns#S-Ns	人民/n#O	将/d#O	满怀信心/i#O	地/u#O	开创/v#O	新/a#O	的/u#O	业绩/n#O	。/wp#O
-尽管/c#O	我们/r#O	在/p#O	经济/n#O	社会/n#O	发展/v#O	中/nd#O	还/d#O	面临/v#O	不少/m#O	困难/a#O	，/wp#O	但/c#O	我们/r#O	有/v#O	邓小平理论/n#O	的/u#O	指引/v#O	，/wp#O	有/v#O	改革/v#O	开放/v#O	近/a#O	２０/m#O	年/q#O	来/nd#O	取得/v#O	的/u#O	伟大/a#O	成就/n#O	和/c#O	积累/v#O	的/u#O	丰富/a#O	经验/n#O	，/wp#O	还有/v#O	其他/r#O	的/u#O	各种/r#O	有利/a#O	条件/n#O	，/wp#O	我们/r#O	一定/d#O	能够/v#O	克服/v#O	这些/r#O	困难/a#O	，/wp#O	继续/v#O	稳步前进/i#O	。/wp#O
-台湾/ns#S-Ns	是/v#O	中国/ns#S-Ns	领土/n#O	不可分割/i#O	的/u#O	一/m#O	部分/n#O	。/wp#O
-李铁映/nh#S-Nh	、/wp#O	贾庆林/nh#S-Nh	、/wp#O	曾庆红/nh#S-Nh	等/u#O	领导/v#O	同志/n#O	也/d#O	出席/v#O	了/u#O	今晚/nt#O	音乐会/n#O	。/wp#O
+中国/ns#B-Ni 进出口/n#I-Ni 银行/n#E-Ni 与/p#O 中国/ns#B-Ni 银行/n#E-Ni 加强/v#O 合作/v#O
+

tools/train/sample/parser/example-holdout.conll

@@ -1,100 +1,9 @@
-1	阿尔及利亚	_	ns	_	_	4	ATT	_	_
-2	全国	_	n	_	_	4	ATT	_	_
-3	过渡	_	n	_	_	4	ATT	_	_
-4	委员会	_	n	_	_	5	ATT	_	_
-5	主席	_	n	_	_	6	ATT	_	_
-6	本萨拉赫	_	nh	_	_	9	SBV	_	_
-7	７	_	m	_	_	8	ATT	_	_
-8	日	_	q	_	_	9	ADV	_	_
-9	宣布	_	v	_	_	0	HED	_	_
-10	，	_	wp	_	_	9	WP	_	_
-11	该	_	r	_	_	12	ATT	_	_
-12	委员会	_	n	_	_	14	ATT	_	_
-13	执行	_	n	_	_	14	ATT	_	_
-14	局	_	n	_	_	16	SBV	_	_
-15	正式	_	d	_	_	16	ADV	_	_
-16	成立	_	v	_	_	9	VOB	_	_
-17	。	_	wp	_	_	9	WP	_	_
-
-1	女子	_	n	_	_	3	ATT	_	_
-2	四分之一	_	m	_	_	3	ATT	_	_
-3	决赛	_	n	_	_	24	ADV	_	_
-4	，	_	wp	_	_	3	WP	_	_
-5	头号	_	b	_	_	10	ATT	_	_
-6	、	_	wp	_	_	9	WP	_	_
-7	二	_	m	_	_	8	ATT	_	_
-8	号	_	q	_	_	9	ATT	_	_
-9	种子	_	n	_	_	5	COO	_	_
-10	乔红	_	nh	_	_	24	SBV	_	_
-11	、	_	wp	_	_	12	WP	_	_
-12	刘伟	_	nh	_	_	10	COO	_	_
-13	将	_	d	_	_	24	ADV	_	_
-14	分别	_	d	_	_	24	ADV	_	_
-15	与	_	p	_	_	24	ADV	_	_
-16	中国	_	ns	_	_	17	ATT	_	_
-17	台北	_	ns	_	_	19	ATT	_	_
-18	的	_	u	_	_	17	RAD	_	_
-19	白慧婴	_	n	_	_	15	POB	_	_
-20	、	_	wp	_	_	23	WP	_	_
-21	韩国	_	ns	_	_	23	ATT	_	_
-22	的	_	u	_	_	21	RAD	_	_
-23	金戌校	_	n	_	_	19	COO	_	_
-24	交手	_	v	_	_	0	HED	_	_
-25	。	_	wp	_	_	24	WP	_	_
-
-1	１９２３	_	m	_	_	2	ATT	_	_
-2	年	_	q	_	_	4	ATT	_	_
-3	２	_	m	_	_	4	ATT	_	_
-4	月	_	n	_	_	7	ADV	_	_
-5	，	_	wp	_	_	4	WP	_	_
-6	孙中山	_	nh	_	_	7	SBV	_	_
-7	重返	_	v	_	_	0	HED	_	_
-8	广州	_	ns	_	_	7	VOB	_	_
-9	，	_	wp	_	_	7	WP	_	_
-10	设立	_	v	_	_	7	COO	_	_
-11	大元帅	_	n	_	_	12	ATT	_	_
-12	府	_	n	_	_	10	VOB	_	_
-13	。	_	wp	_	_	7	WP	_	_
-
-1	宾馆	_	n	_	_	2	ATT	_	_
-2	服务	_	n	_	_	3	ATT	_	_
-3	专业	_	n	_	_	6	SBV	_	_
-4	为	_	v	_	_	6	ADV	_	_
-5	旅游业	_	n	_	_	4	POB	_	_
-6	培养	_	v	_	_	0	HED	_	_
-7	人才	_	n	_	_	6	VOB	_	_
-8	，	_	wp	_	_	6	WP	_	_
-9	学员	_	n	_	_	11	SBV	_	_
-10	们	_	k	_	_	9	RAD	_	_
-11	进行	_	v	_	_	6	COO	_	_
-12	托盘	_	n	_	_	15	ATT	_	_
-13	行走	_	v	_	_	12	COO	_	_
-14	基本功	_	n	_	_	15	ATT	_	_
-15	训练	_	n	_	_	11	VOB	_	_
-16	。	_	wp	_	_	6	WP	_	_
-
-1	全球	_	n	_	_	3	ADV	_	_
-2	最	_	d	_	_	3	ADV	_	_
-3	大	_	a	_	_	6	ATT	_	_
-4	的	_	u	_	_	3	RAD	_	_
-5	光纤	_	n	_	_	6	ATT	_	_
-6	制造商	_	n	_	_	8	ATT	_	_
-7	科宁	_	nz	_	_	8	ATT	_	_
-8	公司	_	n	_	_	11	ATT	_	_
-9	的	_	u	_	_	8	RAD	_	_
-10	营销	_	n	_	_	11	ATT	_	_
-11	负责人	_	n	_	_	12	SBV	_	_
-12	表示	_	v	_	_	0	HED	_	_
-13	，	_	wp	_	_	12	WP	_	_
-14	这	_	r	_	_	15	ATT	_	_
-15	一	_	m	_	_	17	ATT	_	_
-16	增长	_	n	_	_	17	ATT	_	_
-17	速度	_	n	_	_	19	SBV	_	_
-18	“	_	wp	_	_	19	WP	_	_
-19	令	_	v	_	_	12	VOB	_	_
-20	所有	_	b	_	_	21	ATT	_	_
-21	人	_	n	_	_	19	DBL	_	_
-22	大吃一惊	_	i	_	_	19	VOB	_	_
-23	”	_	wp	_	_	19	WP	_	_
-24	。	_	wp	_	_	12	WP	_	_
+1 中国 _ ns ns _ 3 ATT _ _
+2 进出口 _ n n _ 3 ATT _ _
+3 银行 _ n n _ 7 SBV _ _
+4 与 _ p p _ 3 ADV _ _
+5 中国 _ ns ns _ 6 ATT _ _
+6 银行 _ n n _ 4 POB _ _
+7 加强 _ v v _ 0 HED _ _
+8 合作 _ v v _ 7 VOB _ _