Update Data

ToAN7 · Aug 14, 2024 · b8837e0 · b8837e0
1 parent 0f76727
commit b8837e0
Show file tree

Hide file tree

Showing 72 changed files with 210,595 additions and 0 deletions.
diff --git a/Data/DT.csv b/Data/DT.csv
diff --git a/Data/DT1.csv b/Data/DT1.csv
diff --git a/Data/DT2.csv b/Data/DT2.csv
diff --git a/Data/Fake_news.csv b/Data/Fake_news.csv
diff --git a/Data/Raw/thanhnien_vi0.csv b/Data/Raw/thanhnien_vi0.csv
diff --git a/Data/Raw/thanhnien_vi1.csv b/Data/Raw/thanhnien_vi1.csv
diff --git a/Data/Raw/thanhnien_vi2.csv b/Data/Raw/thanhnien_vi2.csv
diff --git a/Data/Raw/thanhnien_vi3.csv b/Data/Raw/thanhnien_vi3.csv
diff --git a/Data/Raw/thanhnien_vi4.csv b/Data/Raw/thanhnien_vi4.csv
diff --git a/Data/Raw/thanhnien_vi5.csv b/Data/Raw/thanhnien_vi5.csv
diff --git a/Data/Raw/thanhnien_vi6.csv b/Data/Raw/thanhnien_vi6.csv
diff --git a/Data/Raw/thanhnien_vi7.csv b/Data/Raw/thanhnien_vi7.csv
diff --git a/Data/Raw/vnex_vi0.csv b/Data/Raw/vnex_vi0.csv
diff --git a/Data/Raw/vnex_vi1.csv b/Data/Raw/vnex_vi1.csv
diff --git a/Data/Raw/vnex_vi2.csv b/Data/Raw/vnex_vi2.csv
diff --git a/Data/Raw/vnex_vi3.csv b/Data/Raw/vnex_vi3.csv
diff --git a/Data/Raw/vnex_vi4.csv b/Data/Raw/vnex_vi4.csv
diff --git a/Data/Raw/vnex_vi5.csv b/Data/Raw/vnex_vi5.csv
diff --git a/Data/Raw/vnex_vi6.csv b/Data/Raw/vnex_vi6.csv
diff --git a/Data/Raw/vnex_vi7.csv b/Data/Raw/vnex_vi7.csv
diff --git a/Data/api.ipynb b/Data/api.ipynb
diff --git a/Data/clean.py b/Data/clean.py
@@ -0,0 +1,33 @@
+import pandas as pd
+import numpy as np
+import re
+import string
+import csv
+
+def wordopt(text):
+    text = text.lower()
+    text = re.sub('\[.*?\]','',text)
+    text = re.sub("\\W"," ",text)
+    text = re.sub('https?://\S+|www\.\S+','',text)
+    text = re.sub('<.*?>+',b'',text)
+    text = re.sub('[%s]' % re.escape(string.punctuation),'',text)
+    text = re.sub('\w*\d\w*','',text)
+    text = re.sub(' +', ' ',text)
+    text = np.array(['Date', 'Content', 'Source'],np.string_)
+    return text
+
+def clean_data(filename, outputname):
+    raw_data = pd.read_csv(filename, delimiter="|").astype(str)
+    raw_data['Content'] = raw_data["Content"].apply(wordopt)
+
+    for x in range(len(raw_data)):
+        if raw_data['Content'][x] != 'nan' and raw_data['Date'][x] != '{}':
+            row = [raw_data["Date"][x],raw_data["Content"][x],raw_data["Source"][x]]
+            text = np.append(text, row, axis = 0)
+
+    text = np.reshape(text, (text.size//3,3))
+    with open(outputname, 't+w') as csvFile:
+        csvWriter = csv.writer(csvFile, lineterminator = '\n', delimiter='|', quoting= csv.QUOTE_ALL)
+        csvWriter = csvWriter.writerows(text)
+
+    return "Success"
diff --git a/Data/count.txt b/Data/count.txt
@@ -0,0 +1 @@
+7
diff --git a/Data/data_clean b/Data/data_clean
diff --git a/Data/data_clean.csv b/Data/data_clean.csv
diff --git a/Data/data_doisongphapluat.csv b/Data/data_doisongphapluat.csv
@@ -0,0 +1,23 @@
+Date,Content,Source
+,"Án mạng ở quán trà sữa, 2 người chết - Nhân chứng vụ án mạng ở quán trà sữa, 2 người chết cho biết, sự việc xảy ra rất nhanh, chỉ tầm hơn 1 phút, khiến những người chứng kiến hốt hoảng tháo chạy.",https://doisongphapluat.com.vn
+,"Sạt lở ở Hà Giang, 11 người chết - Liên quan đến vụ sạt lở, 11 người tử vong ở Hà Giang, nhiều đơn vị đã đến thăm hỏi, động viên, trao quà cho gia đình các nạn nhân tử vong và các nạn nhân bị thương.",https://doisongphapluat.com.vn
+,"Vụ đầu độc Xyanua ở Đồng Nai - Liên quan vụ đầu độc xyanua ở Đồng Nai, cho rằng em gái và anh trai muốn chia rẽ tình cảm giữa mình với người yêu, nên Bích nhẫn tâm dùng xyanua đầu độc 2 cháu ruột.",https://doisongphapluat.com.vn
+2024-07-16 18:35:26,"Từ năm 2020 đến tháng 9/2023, các đối tượng đã thành lập 64 công ty “ma” xuất trái phép 140.024 hóa đơn điện tử, trong đó có 76.561 hóa đơn xuất ra.",https://doisongphapluat.com.vn
+2024-07-16 19:58:39,Dù thực tế xe ben trong vụ tai nạn mang BKS 88C-288.49 nhưng tem đăng kiểm trên xe ghi nhận có BKS 88C-252.53 đã hết hạn đăng kiểm tháng 6/2024.,https://doisongphapluat.com.vn
+2024-07-16 19:45:09,"Ngoài tội danh truy tố, Viện KSND Tối cao đã kê biên, phong tỏa nhiều tài sản của bị can, đảm bảo cho việc khắc phục hậu quả.",https://doisongphapluat.com.vn
+2024-07-16 19:45:00,"Nhân chứng vụ án mạng ở quán trà sữa, 2 người chết cho biết, sự việc xảy ra rất nhanh, chỉ tầm hơn 1 phút, khiến những người chứng kiến hốt hoảng tháo chạy.",https://doisongphapluat.com.vn
+2024-07-16 19:24:52,"""Hố tử thần"" xuất hiện giữa khu dân cư trong ngõ  Văn Chương (phường Văn Chương, quận Đống Đa, Hà Nội) khiến hàng chục người dân phải sơ tán khẩn cấp",https://doisongphapluat.com.vn
+2024-07-16 19:12:00,"Chiều 16/7, Công an huyện Hoài Đức (Hà Nội) có báo cáo về vụ tai nạn giao thông khiến 4 mẹ con tử vong trên địa bàn.",https://doisongphapluat.com.vn
+2024-07-16 19:08:06,"Liên quan đến vụ án mạng ở quán trà sữa, 2 người chết, hàng xóm của nạn nhân nữ cho biết rất bàng hoàng khi nhận được hung tin.",https://doisongphapluat.com.vn
+2024-07-16 19:00:00,6 tấn vàng trị giá 8.500 tỷ đồng được giấu trong ngăn bí mật của xe ba gác chở nước đá từ Campuchia về Tây Ninh.,https://doisongphapluat.com.vn
+2024-07-16 17:51:00,Trà chanh gừng đã được biết đến như một thức uống mang lại nhiều lợi ích cho sức khỏe nhưng để tối ưu hóa hiệu quả bạn cần nắm rõ thời điểm phù hợp để sử dụng.,https://doisongphapluat.com.vn
+2024-07-16 16:40:52,"Khoảng 5 thanh niên lạ mặt xông vào nhà trọ tại phường Bình Chiểu, TP.Thủ Đức  (TP.HCM) rồi hành hung người thuê trọ.",https://doisongphapluat.com.vn
+2024-07-16 16:38:14,"Trong 6 tháng đầu năm 2024, cả nước đã có 453.841 lượt phương tiện không đạt tiêu chuẩn an toàn kỹ thuật và bảo vệ môi trường.",https://doisongphapluat.com.vn
+2024-07-16 16:12:01,"Người đàn ông không khỏi hoảng sợ khi phát hiện con rắn hổ mang chúa lớn trườn qua sân, với phần đầu ngẩng lên và chuẩn bị tấn công.",https://doisongphapluat.com.vn
+2024-07-16 16:07:28,"Tại hiện trường vụ tai nạn ở Hoài Đức (Hà Nội) khiến 4 người tử vong, phần đầu bên phải của xe ben chở đá dăm chỉ bị hư hỏng nhẹ, đuôi xe tải nằm sát hộ lan,...",https://doisongphapluat.com.vn
+2024-07-16 16:05:55,"Trong Trường Tương Tư 2 tập 12-14, Tiểu Yêu (Dương Tử) không khỏi bất ngờ sau khi xem xem một loạt khuôn mặt khác nhau của Tương Liễu (Đàn Kiện Thứ).",https://doisongphapluat.com.vn
+2024-07-16 16:00:13,"Tại thời điểm xảy ra vụ nổ, công nhân đang thi công lắp đặt thiết bị bên trong làm 8 người bị thương, trong đó có 2 người nước ngoài.",https://doisongphapluat.com.vn
+2024-07-16 15:59:06,"Hoàng Anh Quân, Trường THCS Hoàng Hoa Thám vừa xuất sắc giành Huy chương Vàng tại ""International Stem Olympiad 2024"".",https://doisongphapluat.com.vn
+2024-07-16 16:06:35,"Theo lời kể của nhân chứng, trước khi xảy ra án mạng ở quán trà sữa khiến 2 người chết, người đàn ông có hành động hôn người phụ nữ một cái.",https://doisongphapluat.com.vn
+2024-07-16 15:15:00,"Liên quan vụ án mạng ở quán trà sữa, 2 người chết ở TP.HCM, bước đầu xác định nạn nhân đã có chồng và 2 con. Tuy nhiên mới đây bà V. đã ly thân.",https://doisongphapluat.com.vn
+2024-07-16 13:44:00,"Tối 15/7, tại một quán trà sữa nằm trên đường Lê Văn Khương, phường Thới An, quận 12 (TP.HCM) đã xảy ra vụ án mạng khiến đôi nam nữ tử vong.",https://doisongphapluat.com.vn
diff --git a/Data/data_doisongvaphapluat1.csv b/Data/data_doisongvaphapluat1.csv
@@ -0,0 +1,19 @@
+2024-07-21 16:03:21,"Vượt lên trên những nghi lễ ngoại giao, Tổng Bí thư Nguyễn Phú Trọng đã thể hiện hình ảnh sống động của phẩm giá, cốt cách Việt Nam.",https://doisongphapluat.com.vn/tai-san-song-cua-tong-bi-thu-nguyen-phu-trong-de-lai-cho-doi-ngoai-viet-nam-a634837.html
+2024-07-21 14:21:29,"Cuộc sống đời thường đến hoạt động cách mạng là minh chứng rõ nét nhất về việc hiện thực hóa lý tưởng, đạo đức cách mạng mà Tổng Bí thư Nguyễn Phú Trọng theo đuổi.",https://doisongphapluat.com.vn/di-san-ve-ly-luan-cua-tong-bi-thu-nguyen-phu-trong-a634821.html
+2024-07-21 10:00:00,"Nhà thờ dòng họ Nguyễn Phú nằm khép mình trong con ngõ nhỏ thuộc xóm 3, làng Lại Đà, bình dị, mộc mạc, nhuốm màu thời gian.",https://doisongphapluat.com.vn/nep-nha-tho-don-so-tai-lang-lai-da-que-huong-cua-tong-bi-thu-nguyen-phu-trong-a634803.html
+2024-07-21 08:21:26,Tổng Bí thư Nguyễn Phú Trọng là một con người luôn luôn nghĩ đến chuyện làm lợi ích cho người khác và ẩn trong con người là chất thép của người cộng sản.,https://doisongphapluat.com.vn/tong-bi-thu-nguyen-phu-trong-trai-tim-nhan-hau-an-chua-chat-thep-cua-nguoi-cong-san-a634785.html
+2024-07-21 20:09:43,"Hôm nay (21/7), Sở GD&ĐT TP.HCM đã công bố danh sách các trường THPT xét tuyển bổ sung lớp 10 công lập năm học 2024-2025.",https://doisongphapluat.com.vn/tp-hcm-cong-bo-danh-sach-cac-truong-thpt-xet-tuyen-bo-sung-lop-10-cong-lap-a634871.html
+2024-07-21 20:03:59,Bảo hiểm Xã hội (BHXH) Việt Nam vừa ban hành công văn về việc thông tin giả mạo văn bản của đơn vị này,https://doisongphapluat.com.vn/canh-bao-van-ban-gia-mao-bhxh-viet-nam-ve-viec-cap-nhat-ung-dung-vssid-4-0-a634868.html
+2024-07-21 18:43:05,"Để ứng phó với bão số 2, Thủ tướng đề nghị theo dõi chặt chẽ diễn biến của bão, rà soát, chủ động sơ tán người dân ra khỏi khu vực nguy hiểm.",https://doisongphapluat.com.vn/thu-tuong-chi-dao-trien-khai-kip-thoi-bien-phap-ung-pho-voi-bao-so-2-a634863.html
+2024-07-21 16:56:46,Vị trí sạt lở khiến 2 người thương vong ở cạnh địa điểm xảy ra sạt lở khiến một cô giáo tử vong. Gia đình nạn nhân rất chủ quan dù đã có lệnh di dời.,https://doisongphapluat.com.vn/vu-sat-lo-tai-lam-dong-2-nguoi-thuong-vong-gia-dinh-nan-nhan-chu-quan-tap-trung-nhieu-nguoi-a634845.html
+2024-07-21 21:39:00,"Qua kiểm tra, lực lượng chức năng tạm giữ 4.448 sản phẩm hóa chất là dung môi pha mực in, nước tẩy rửa công nghiệp và hơn 11,7 tấn hàng hóa nghi là mật ong.",https://doisongphapluat.com.vn/phat-hien-11-7-tan-san-pham-nghi-la-mat-ong-khong-ro-nguon-goc-xuat-xu-a634882.html
+2024-07-21 20:37:44,Đoàn Việt Nam dự Olympic vật lý châu Âu năm 2024 xuất sắc đoạt 4 huy chương gồm 1 huy chương Bạc và 3 huy chương Đồng.,https://doisongphapluat.com.vn/bon-hoc-sinh-viet-nam-gianh-huy-chuong-tai-olympic-vat-ly-chau-au-a634878.html
+2024-07-21 20:36:01,"Chiều 21/7, UBND xã Long Điền, huyện Đông Hải, tỉnh Bạc Liêu cho biết trên địa bàn vừa xảy ra vụ cây ngã làm 3 người bị thương.",https://doisongphapluat.com.vn/bac-lieu-ba-nguoi-trong-gia-dinh-bi-cay-xanh-do-de-trung-a634875.html
+2024-07-21 20:28:00,"Xe ô tô chở 38 hành khách bất ngờ mất phanh, lao vào taluy dương bên quốc lộ 4D, đoạn thuộc thị xã Sa Pa, Lào Cai. Vụ tai nạn không có thiệt hại về người.",https://doisongphapluat.com.vn/xe-khach-mat-phanh-lao-vao-taluy-duong-tren-quoc-lo-4d-a634877.html
+2024-07-21 19:23:59,"Ca sinh mổ diễn ra thuận lợi và thành công, đón ba bé (hai gái, một trai) chào đời. Các bé chào đời có phản xạ tốt, cân nặng lần lượt là 1,8kg, 2,0kg, 1,6kg.",https://doisongphapluat.com.vn/kon-tum-mo-de-thanh-cong-cho-san-phu-40-tuoi-sinh-ba-a634865.html
+2024-07-21 18:59:03,"Ông Kato Mitsuru đến từ Nhật Bản, là một học viên đặc biệt của Trường ĐH Việt Nhật - ĐH Quốc gia Hà Nội, nhận bằng thạc sĩ ở tuổi 63.",https://doisongphapluat.com.vn/hoc-vien-dac-biet-cua-truong-dh-viet-nhat-nhan-bang-thac-si-o-tuoi-63-a634864.html
+2024-07-21 18:50:58,Ban chấp hành LĐBĐ Ấn Độ (AIFF) thông báo ông Manolo Marquez được chọn ngồi vào ghế HLV trưởng thay cho ông Igor Stimac.,https://doisongphapluat.com.vn/doi-tuyen-an-do-chon-hlv-moi-khong-phai-ong-park-hang-seo-a634856.html
+2024-07-21 15:23:42,"Sau khi bị một đối tượng giả danh cán bộ công an yêu cầu cài đặt phần mềm Dịch vụ công, người đàn ông phát hiện tài khoản ngân hàng bị mất 10 tỷ đồng.",https://doisongphapluat.com.vn/cai-dat-phan-mem-dich-vu-cong-gia-mao-nguoi-dan-ong-mat-gan-10-ty-dong-a634831.html
+2024-07-21 16:59:01,"Khi tổ chức đánh bạc, Khương thường xuyên hoạt động với thủ đoạn tinh vi, sử dụng phần mềm Zalo để trao đổi với các đối tượng đánh bạc.",https://doisongphapluat.com.vn/bat-4-doi-tuong-ca-do-bong-da-o-quang-ninh-a634847.html
+2024-07-21 21:57:00,Bạn có thói quen đeo trang sức khi ngủ? Tìm hiểu ngay tại sao nên tháo trang sức trước khi ngủ để bảo vệ sức khỏe và giữ gìn vẻ đẹp của trang sức.,https://doisongphapluat.com.vn/vi-sao-nen-thao-do-trang-suc-truoc-khi-di-ngu-a634781.html
+2024-07-21 20:55:26,"Trong Thiếu Niên Bạch Mã Túy Xuân Phong tập 9-10, Bách Lý Đông Quân (Hầu Minh Hạo) tiếp tục luyện tập để chuẩn bị cho kỳ thi vào Tắc Hạ học đường.",https://doisongphapluat.com.vn/thieu-nien-bach-ma-tuy-xuan-phong-tap-9-10-preview-ai-day-dong-quan-noi-cong-a634881.html