* WebTitle

charset.go

@@ -84,7 +84,7 @@ func CharsetFromHeaderHtml(body []byte, headers *http.Header) CharsetRes {
 			return res
 		}
 
-		// Header 和 Html 不一致下面情况以 Html 为准
+		// Header 和 Html 不一致, 以下情况以 Html 为准
 		if strings.HasPrefix(cHeader, "ISO") || strings.HasPrefix(cHeader, "WINDOWS") {
 			res.Charset = cHtml
 			res.CharsetPos = CharsetPosHtml
@@ -140,6 +140,7 @@ func CharsetFromHtml(body []byte) string {
 			charset5 = matches[1]
 		}
 
+		// 只有其中一个
 		if charset4 != "" && charset5 == "" {
 			charset = charset4
 		}
@@ -179,7 +180,7 @@ func CharsetGuess(body []byte) string {
 		return "UTF-8"
 	}
 
-	// 如果没有
+	// 如果没有则 guess
 	detector := chardet.NewHtmlDetector()
 	guess, err := detector.DetectBest(body)
 	if err == nil {

detect.go

@@ -32,7 +32,7 @@ type DomainRes struct {
 }
 
 var (
-	regexMetaRefreshPatern = regexp.MustCompile(`(?i)url=(.+)`)
+	regexMetaRefreshPattern = regexp.MustCompile(`(?i)url=(.+)`)
 )
 
 // DetectDomain 域名探测
@@ -121,7 +121,7 @@ func DetectDomainDo(domain string, timeout int) (*DomainRes, error) {
 
 				// 具有 HTML 跳转属性, HTTP 无法自动处理永远返回错误, 判断跳转后是否是同一个主域名, 记录并返回
 				if refresh, exists := doc.Find("meta[http-equiv='refresh' i]").Attr("content"); exists {
-					refreshMatch := regexMetaRefreshPatern.FindStringSubmatch(refresh)
+					refreshMatch := regexMetaRefreshPattern.FindStringSubmatch(refresh)
 					if len(refreshMatch) > 1 {
 						refreshUrl := refreshMatch[1]
 						if r, err := fun.UrlParse(refreshUrl); err == nil {

detect_test.go

@@ -15,7 +15,7 @@ func TestDomainDetect(t *testing.T) {
 		// "china-nengyuan.com",
 		// "suosi.com.cn",
 		// "wanjiaxian.com",
-		"thestandard.com.hk",
+		"wengan.gov.cn",
 	}
 
 	for _, domain := range domains {

extract/web.go

@@ -28,7 +28,16 @@ var (
 
 // WebTitle 返回网页标题, 最大 128 个字符
 func WebTitle(doc *goquery.Document, maxLength int) string {
-	title := doc.Find("title").Text()
+	var title string
+	titleNode := doc.Find("title")
+	if titleNode.Size() > 1 {
+		// 竟然有多个 title, 只取第一个
+		title = titleNode.First().Text()
+	} else {
+		title = titleNode.Text()
+	}
+
+	title = fun.RemoveLines(title)
 	title = strings.TrimSpace(title)
 
 	if maxLength > 0 && maxLength < 128 {
@@ -81,6 +90,7 @@ func WebTitleClean(title string, lang string) string {
 // WebKeywords 返回网页 Keyword
 func WebKeywords(doc *goquery.Document) string {
 	keywords := doc.Find("meta[name='keywords' i]").AttrOr("content", "")
+	keywords = fun.RemoveLines(keywords)
 	keywords = strings.TrimSpace(keywords)
 
 	return keywords
@@ -89,6 +99,7 @@ func WebKeywords(doc *goquery.Document) string {
 // WebDescription 返回网页描述, 最大 384 个字符
 func WebDescription(doc *goquery.Document, maxLength int) string {
 	description := doc.Find("meta[name='description' i]").AttrOr("content", "")
+	description = fun.RemoveLines(description)
 	description = strings.TrimSpace(description)
 
 	if maxLength > 0 && maxLength < 384 {