make normalize_whitespace true by default, to simplify docstrings

nltk/test/doctest_driver.py

@@ -42,6 +42,17 @@
 import __future__
 COMPILER_FLAGS = __future__.division.compiler_flag
 
+###########################################################################
+# Fix for unicode docstrings and Python 2*
+###########################################################################
+
+if __name__ == "__main__":
+    import sys
+    reload(sys)
+    sys.setdefaultencoding("UTF-8")
+    import doctest
+    doctest.testmod()
+
 ###########################################################################
 # Monkey-Patch to fix Doctest
 ###########################################################################
@@ -963,7 +974,7 @@ def update(names, optionflags, verbosity):
                help="Allow \"...\" to be used for ellipsis in the "
                     "expected output.")
 NORMWS_OPT   = Option("--normalize_whitespace",
-               action="store_const", dest="normws", const=1, default=0,
+               action="store_const", dest="normws", const=1, default=1,
                help="Ignore whitespace differences between "
                     "the expected output and the actual output.")