C로 만든 웹 크롤러(멀티쓰레드 구현)입니다.
크롤러의 동시 요청 처리를 위해 epoll 라이브러리를 사용했습니다.
아래 사진처럼 json파일에 정보를 오픈마켓을 파싱하기 위한 정보를 집어넣고 해당사이트에서 HTML을 크롤링합니다.


크롤러를 UDS로 node.js 서버와 연결 후 클라이언트(웹)에서 상품명을 입력 후 가져올 오픈마켓을 node.js서버로 요청해


서버에서 uds를 이용해 크롤러로 아래처럼 데이터를 가져옵니다.