수능 영어 AI 해설 생성 Kafka 서버

기술 이용

1. confluent_kafka 라이브러리를 사용하여 Kafka 메시지 스트리밍.
2. HuggingFace 라이브러리를 사용하여 로컬 AI 모델 파일 로드.
3. accelerate 라이브러리를 사용하여 멀티 GPU 할당.

핵심 구현 기능

1. Kafka 이벤트 스트리밍. 1초에 1번씩 Consume하여 쌓인 요청을 확인한다.
2. Fine-Tuned LLaMA-3 AI 문제 제작 요청
   • 항상 동일한 Output Format이 아니므로, 몇 가지 필터를 추가하였다. 생성에 실패할 경우, 최대 7번까지 생성 시도를 반복한다.
     1. 문자 필터링 (러시아어, 한자, 일본어, 태국어, 베트남어, 아랍어, 특수 문자)
     2. 순서 재배열 유형 해설의 정답과 보기를 매칭하여 정답 도출.
     3. 포맷 검증 필터링(해설, 해석이 잘 나왔는지. 정답은 존재하는지.)
     4. Output 포맷 인식 처리(텍스트만 깔끔하게 추출하기 위함.)