Skip to content

Latest commit

 

History

History

3. 데이터 시각화

Folders and files

NameName
Last commit message
Last commit date

parent directory

..
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

📂 BK21 테크니컬 포트폴리오 : 데이터 시각화


🚩 심사항목

No. 심사항목 내용 기타
1 데이터사이언스 공통 Python, SQL, R, Java, Scala, Go, C/C++, Javascript 등 데이터 처리 언어 활용 능력 바로가기
2 데이터 활용 및 분석 데이터사이언스 관련 공모전 참여를 통한 공개 데이터의 활용 및 분석 능력 바로가기
3 데이터 시각화 Tableau, Power BI 등을 활용한 데이터 시각화 능력 바로가기

✏️ 교육훈련 이력 (실습결과 첨부)

No. 구분 교육기관 기간 과정명 비고
1 정규과정 서울과학기술대 2021.03 ~ 2021.06 데이터 시각화 (IT정책대학원 - 김자희 교수) 바로가기
2 외부교육 태블로 2022.03 ~ 2022.04 태블로(Tableau) 신병훈련소 13기 과정 바로가기
3 외부교육 Udemy 2022.11.22 파워BI를 활용한 데이터 시각화 기초 바로가기
4 외부교육 러닝핏 2022.10 ~ 2022.11 Power BI로 배우는 데이터 시각화 -
5 유튜브 시민개발자 2022.12 ~ 2023.01 파워비아이 배움터2(심화) 바로가기
6 유튜브 어니언 비아이 (ONION BI) 2022.11 ~ 2022.12 오리지널 DAX 시리즈 바로가기
7 외부교육 전자제조센터 (KEA) 2022.08 텍스트 마이닝 (KNIME 활용) -
8 외부교육 전자제조센터 (KEA) 2023.01 AI응용 및 데이터융합실습 (MS Azure & KNIME 활용) -

image-20230425223520626




📌 [사이드 프로젝트] KNIME 솔루션을 활용한 에타 수강후기 분석 및 워드 클라우드 시각화


1. 데이터 수집 (리뷰가 많지 않아서 크롤링은 사용하지 않고 웹페이지 HTML 복사하여 txt파일로 저장)

- 에타 접속 (https://everytime.kr/) 생략가능, 로그인으로 바로 이동
- 에타 로그인 (https://everytime.kr/login)
- 에타 강의실 페이지로 이동 (https://everytime.kr/lecture)
- 에타 강의 평가 이동 (https://everytime.kr/lecture/view/930295)
- 에타 강의 평가 통계처리 입문 (https://everytime.kr/lecture/view/930295?tab=article)

2. 모듈 불러오기

import requests
from bs4 import BeautifulSoup

import selenium
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By 

# 크롬 드라이버 자동 업데이트
from webdriver_manager.chrome import ChromeDriverManager

import time
import random 
import pyautogui
import pyperclip

import pandas as pd

3. txt파일 불러오기 및 html 파싱

# txt파일 불러오기
with open('통계처리입문.txt', 'r', encoding='utf-8') as f:
    text = f.read()

soup = BeautifulSoup(text, 'html.parser')
articles = soup.select('div.article')
texts = soup.select('div.text')
rates = soup.select('span.on')
infos = soup.select('span.semester')
# articles = soup.find_all('div', class_='article')

info_list = []
rate_list = []
text_list = []

i = 1
 
for info, rate, text in zip(infos, rates, texts):
    info_list.append(info.text.strip() )
    rate_list.append(rate['style'] )
    text_list.append(text.text.strip() )
    i += 1 
    
rate_list = [rate.split(':')[1].strip() for rate in rate_list]
rate_list = [rate.split('%')[0] for rate in rate_list]   

everytime_hong = pd.DataFrame({'info':info_list, 'rate':rate_list, 'text':text_list})
everytime_hong

image-20230418212104020

4. KNIME 솔루션을 활용한 텍스트 데이터 분석 및 워드 클라우드 시각화

image-20230418205631023

image-20230418210852213