K-Digital Training GIST AI X 융합파이프라인교육 (광주)
1회차 | 8월 4일 | 환경설정
강의계획서 배포
목표: MS Visual Studio Code 및 Python Jupyter Notebook을 설치하고, 실행가능하도록 PC에 셋업한다. [Mac/Windows]
학습자료: Microsoft Visual Studio Code 설치 및 환경설정
(https://github.com/dscoool/gist-aix/blob/main/1.%20visual_studio_code_installation.md)
코드: https://github.com/MicrosoftLearning/mslearn-ai900
2회차 | 8월 5일 | 데이터크롤링 실습
**자기소개
Python을 이용한 웹크롤링
학습자료:
코드: https://github.com/dscoool/gist-aix/blob/main/2.%20image_crawling.py
3회차| 8월 6일 | Open API 실습
이론: DATA ANALYST / DATA SCIENTIST / DATA ENGINEER의 특성
실습:BING image API를 이용하여 이미지를 긁어오는 방법을 실습
https://docs.microsoft.com/ko-kr/azure/cognitive-services/bing-image-search/quickstarts/python
4회차 | 8월 9일 | Face Editing
인공지능의 원리(1): 모델 I
http://www.aistudy.co.kr/neural/multilayer_perceptron.htm
MS Azure를 이용한 얼굴 감지 및 분석 실습
https://docs.microsoft.com/ko-kr/learn/modules/detect-analyze-faces/
5회차 | 8월 10일 | 영상요약
인공지능의 원리(2): 모델 II
http://www.aistudy.co.kr/pattern/support_vector_machine.htm
http://www.aistudy.co.kr/learning/decision_tree.htm
http://www.aistudy.co.kr/neural/supervised_learning.htm
AWS Rekognition을 통한 이미지/비디오 분석 실습
https://docs.aws.amazon.com/code-samples/latest/catalog/code-catalog-python-example_code-rekognition.html
6회차 | 8월 11일 | 영상요약(2)
AWS Rekognition을 통한 이미지/비디오 분석 실습
https://docs.aws.amazon.com/code-samples/latest/catalog/code-catalog-python-example_code-rekognition.html
**프로젝트 배정
7회차 | 8월 12일 | Text Analysis
Azure텍스트 분석: ipynb 파일을 이용하여 텍스트 분석 실습
https://docs.microsoft.com/ko-kr/learn/modules/analyze-text-with-text-analytics-service/3-exercise
8회차 | 8월 13일 | Face-Aging (AI로 얼굴 나이 수정하기)
Face-aging: https://github.com/ZZUTK/Face-Aging-CAAE
9회차 | 8월 16일 | 데이터3법 및 데이터 소유권, 개인정보보호, GDPR (Global Data Protection Regulation)
데이터정보보호, 개인정보처리, 데이터분석 및 인공지능을 할 때 유의해야 할 점!!
https://www.privacy.go.kr/edu/inf/EduInfoList.do?lecture_code=06
10회차 | 8월 17일 | 추천 시스템
음식 추천 & 인식 시스템 체험:
https://www.kaggle.com/c/food-recognition-challenge/data
https://github.com/KangminP/NAMORE
https://github.com/kimevanjunseok/Re-cipe/tree/master/backend
11회차 | 8월 18일 | 추천 시스템 (2)
음식 추천 & 인식 시스템 체험(2) :
https://www.kaggle.com/c/food-recognition-challenge/data
https://github.com/KangminP/NAMORE
https://github.com/kimevanjunseok/Re-cipe/tree/master/backend
12회차 | 8월 19일 | 과제 제출 및 종강
Reference (참고자료) :
https://github.com/MicrosoftLearning/mslearn-ai900
https://docs.aws.amazon.com/code-samples/latest/catalog/code-catalog-python-example_code-rekognition.html
https://docs.microsoft.com/ko-kr/learn/paths/explore-computer-vision-microsoft-azure/
K-Digital Training 프로젝트 기반 러닝 교과I (PBL, CJ올리브네트웍스, 14일, 광주)
Project Team A. Face Editing AI (5명, 2팀)
- 프로젝트 목표 설정 및 인터뷰, 스케줄 수립
- 프로젝트가 필요한 이유, 과정, 목표에 대해 살펴보고 해당 요소를 기반으로 관계자와의 인터뷰, 각종 리서치, 자료 수집, 사례 검토를 수행합니다. 이를 기반으로 프로젝트 수행기간을 설정합니다.
- 역할 분담, 팀웍, 팀원별 세부 스케줄 수립
- 1)의 결과를 토대로 팀원들 간의 역할을 분담하고, 팀원별 업무 타임라인(Timeline)과 스케줄을 설정합니다. 어떤 팀원이 언제까지 어떤 작업을 완료하면 되는지를 세부 스케줄표에 기록합니다.
WBS: https://www.yamestyle.com/386
- 모델 연구 및 논문 리뷰, 사용할 기계학습 모델 선정
- 해당 프로젝트에 적합한 기계학습 모델 후보 2개 이상을 미리 선정하고, 논문을 리뷰합니다. 이를 통해 프로젝트에서 실행해 볼 기계학습 모델을 미리 선정합니다.
- Github 찾기, 사전 모델 실행
- 3)의 모델 연구와 연관된 이미 작성되어 있는 코드 및 동일한 사례 등을 검색하여 실행해 보고, Face Editing에 대한 경험을 축적합니다.
- 데이터 추출, 코딩
- 4)를 기반으로 실제 프로젝트 데이터를 선정, 추출하고, 이를 코딩합니다.
- 사전모델에 추출한 데이터 도입
- 선정한 사전 모델과 이에 적합한 실 데이터를 도입하기 위해, 전처리(preprocessing) 작업을 수행합니다.
6-1) 중간 점검:
- 중간 점검 및 프리젠테이션을 통하여 결과를 1차 보고하고, 목표 및 방향에 대한 조언을 청취합니다.
- 모델 실행 I, 필요한 부분 보완
- 6)을 수행한 후, 미비점 및 필요한 점을 보완합니다.
- 모델 실행 II, 필요한 부분 보완
- 마찬가지로 7)을 수행한 후 프로젝트를 완성하기 위해 필요한 부분을 추가하고 결과를 출력합니다.
- 보고서 작성, 결과출 추출
- 수행 결과를 보고서로 작성하고, 8)의 결과를 추출, 기록합니다.
- 프리젠테이션
- 프로젝트 수행 결과를 프리젠테이션을 통해 발표합니다.
Reference:
a. face-aging
https://github.com/ZZUTK/Face-Aging-CAAE (Python 2.7)
b. 얼굴 감지
https://docs.microsoft.com/ko-kr/azure/cognitive-services/face/concepts/face-detection
c. 얼굴 인식
https://docs.microsoft.com/ko-kr/azure/cognitive-services/face/concepts/face-recognition
d. 얼굴 감지 데이터
https://docs.microsoft.com/ko-kr/azure/cognitive-services/face/face-api-how-to-topics/howtodetectfacesinimage
Project Team B. 주원료와 영양성분 기반 식품 추천 시스템 개발 (5명 x 2팀)
-
산업계에서 프로젝트가 필요한 이유를 알아보고, 이 기계학습 모델 및 연구결과가 어디에 쓰이는지, 또 산업계에는 어떤 영향이 있는지를 탐구합니다. 해당 업체의 홈페이지 및 실제 연구 상황을 살펴보고, 어떤 식으로 도입하는 것이 바람직한지 목표를 설정합니다.
-
인터뷰: 해당 관계자와의 인터뷰를 통해 좀더 세분화된 내용을 배우고, 향후 방향에 대해 심도있게 고민합니다.
-
데이터 선정: 데이터를 수집하고, 이를 가공할 준비를 합니다.
-
데이터 전처리: 해당 데이터를 전처리하고, 기계학습 모델을 도입할 준비를 합니다.
-
기계학습 I : 데이터와 모델 간 불일치를 없애고, 모델을 1차 학습하여 결과치를 출력합니다. 이 때, 논문 연구도 병행합니다.
-
결과치 출력: 1차 결과치를 출력합니다.
-
중간 점검 1: 관계자와의 면담을 통해 1차 수행 결과치를 보고하고, 조언을 얻습니다.
-
결과치 보완: 7)을 토대로 수행 결과를 보완하고, 2차 결과치를 출력합니다.
-
리포트 작성: 결과 리포트를 작성하고, 팀원 간 수행 역할을 꼼꼼히 기재합니다.
-
프리젠테이션: 연구 결과를 교수자 및 담당자에게 발표합니다.
-
해당 연구가 어떻게 쓰일 수 있는지를 논의를 통해 재점검하고, Github 등에 연구 수행 결과를 업로드하여 공개합니다.
Reference:
◦ https://github.com/KangminP/NAMORE
◦ https://www.kaggle.com/c/food-recognition-challenge/data
◦ https://jaan.io/food2vec-augmented-cooking-machine-intelligence/
◦ https://github.com/kimevanjunseok/Re-cipe
◦ https://github.com/jinhalim/recipe_bot
Project Team C. 영상요약 AI 서비스 개발 (5명 x 2팀)
- 프로젝트 목표 설정, 사전연구(리서치)
- 영상요약 프로젝트가 필요한 이유, 업계에서 사용되는 부분, 관련 회사 리서치, 논문 탐색 등을 수행합니다.
- 기 수행된 동일한 프로젝트 및 사례를 수집하여 팀원별로 공유합니다.
- 팀원 별 역할을 분담하고 세부 스케줄을 수립합니다. (Timeline, Workflow, Work Breakdown Structure(WBS 작성)) 역할분담: https://www.yamestyle.com/386
- 데이터 수집
- 어떤 데이터가 적합한지 검토하고, 프로젝트에 사용할 데이터를 수집합니다.
- 더불어 어떤 기계학습 모델을 사용할 지 미리 염두에 둡니다. (2~3개 미리 선정)
- 데이터 전처리
- 데이터를 기계학습 모델 학습(Model Data Feed)에 적합하도록 전처리합니다.
- 비디오의 특성, 코덱, H.264, fps, 해상도 등에 대한 정보를 찾아보고, 업무에 응용할 수 있도록 합니다.
- 업계 리서치
- 어떠한 업계에서 영상요약을 수행하기 원하는지(수요자), 또 어떤 업체에서 이러한 솔루션 및 기술을 제공하고 있는지(공급자)를 살펴봅니다. 해당 업계의 컨퍼런스나 담당자, 학회 등을 검색하여 비슷한 분야의 연구 및 솔루션을 만드는 사람들과의 인맥을 쌓고 네트워크를 구축합니다.
- 논문 연구 등을 통하여 해당 분야에 대한 지식을 축적합니다.
- 학회, 컨퍼런스, 온라인 미팅 등이 있으면 꼭 참석합니다.
- 머신러닝 학습 I
- 전처리된 데이터를 기반으로 영상요약 시스템을 실행하여 보고, 이의 결과치를 출력합니다.
- 오류에 대한 부분을 꼼꼼히 살펴보고, 보완할 점이 있다면 기록하여 둡니다.
- 중간 점검 I
- 관계자와의 면담을 통해 중간 점검을 받고, 보완점을 청취합니다.
- 향후 일정에 대한 조언 및 세부적인 내용을 추가합니다.
- 취업 박람회
- 취업 박람회, 컨퍼런스 등이 있을 경우 참석합니다.
- 머신러닝 학습 II
- 영상요약 시스템에 대한 2차 연구를 수행하고, 미비점 및 보완점을 점검하여 완성에 이르도록 합니다.
- 데이터, 결과치, 정확도, 자막 등을 재처리하여 결과물로서 출력합니다.
- 보고서 작성 및 발표준비
- 보고서를 작성하고 PPT로 결과를 발표할 수 있도록 발표 사전 준비 작업을 합니다.
- 발표 및 평가
- 수행한 팀원 들 간의 역할 분담, 모델 담당자 및 수행 과정 등을 상세히 기록하여 발표합니다.
- Github에 해당 내용을 정리하여 올리고, 공공에(Public) 발표할 수 있도록 합니다. (포트폴리오 작성)
- 해당 내용을 담당자 및 교수자에게 발표합니다.
Reference:
1. 저장된 비디오에서 텍스트 감지
(Text Detection)
https://docs.aws.amazon.com/ko_kr/rekognition/latest/dg/text-detecting-video-procedure.html
2. 비디오에서 레이블 감지
https://docs.aws.amazon.com/ko_kr/rekognition/latest/dg/labels-detecting-labels-video.html
3. 비디오 세그먼트 감지
https://docs.aws.amazon.com/ko_kr/rekognition/latest/dg/segment-example.html