1. Redis 메시지큐를 통한 구현(채점 서버 1개)

자세한 구현 방식

• Frontend → API 서버

  • 제출 버튼 클릭시 제출한 코드를 채점 요청 API를 호출하여 보낸다.
  • 이 과정은 API 서버에 요청보내고 요청 보내는 것이 성공하면 바로 응답을 받는다. (=== 채점 결과를 기다리지 않는다)
  • 그리고 API 서버는 받은 코드를 DB의 submission table에 저장을 한다.

• API서버 → 채점 서버

  • 제출을 저장하고 받은 submissionId를 Bull을 이용한 Scoring Queue에 Job으로 추가한다.
    • Job을 성공하거나 실패했을 때 Redis에 남아있을 필요가 없기 때문에 removeOnComplete 와 removeOnFail 을 true로 설정해준다.

  await this.scoringQueue.add(
    {
      data: newSubmission.id,
    },
    {
      jobId: newSubmission.id,
      removeOnComplete: true,
      removeOnFail: true,
    },
  );
  

  • 채점 서버는 큐에 데이터가 들어오면(publish) 하나를 받는다(subscribe). 이후 채점 중이지 않은 도커 컨테이너 하나를 할당하여 비동기로 채점을 시작한다.

    • 비동기로 진행하는 Promise를 배열 형태로 저장한다. 배열 형태로 저장하는 이유는 채점 가능한 컨테이너를 관리하기 위함이다.

    // 비동기 채점 promise
    const promise = new Promise(async (resolve) => {
      await this.scoringService.createSubmission(job.data.data, containerIndex);
      this.isReadyContainer.push(containerIndex);
      resolve(null);
    }).then(() => {
      return job.data.data;
    }) as MyPromise;
    
    promise.submissionId = job.data.data;
    
    // 배열에 저장
    this.promises.push(promise);
    

    • 이후 남은 컨테이너가 없으면 ( === promise배열의 길이가 총 도커 컨테이너 개수와 같다면) 현재 진행중인 채점 중 하나의 채점이 종료될 때 까지 await로 대기한다.

      • 이렇게 처리함으로써 Bull이 채점 컨테이너가 모두 사용중일 때는 새로운 채점 요청을 받지 않는다. 즉, 더이상 메시지를 가져오지 않는다.
      • 이후 Promise.race 로 채점이 먼저 끝나는 도커 컨테이너의 id를 받아 promises 배열에서 해당 컨테이너를 빼내고 채점 요청을 대기할 수 있도록 만든다.

      if (this.promises.length === 3) {
        const idx = await Promise.race(this.promises);
        this.promises = this.promises.filter((val) => val.submissionId !== idx);
      }
      

  • 채점 서버는 API 서버로부터 요청을 받는 게 아니기 때문에 위 작업만 수행하면 된다.

    • 여유가 있다면 Redis로부터 TCP 통신으로 데이터를 받고 실행한다.
    • 이전 방법인 API 통신으로 데이터를 받고 1초마다 채점을 시작하는 것보다 반응성 및 효율성이 좋다.

• 채점 서버 → API 서버

  • 받은 data를 파싱하여 결과 코드, 메모리, 실행시간을 채점 결과 API 호출로 API 서버로 보낸다.
  • API 서버는 받은 정보를 DB의 result table에 저장한다.

다음 개선 사항

• 서버 개수를 하나 늘려보자!

2. Redis 메시지큐를 통한 구현(채점 서버 2개) - 최종

• 위와 동일한 구조에서 기존의 채점 서버와 동일한 사양의 채점 서버를 한 대 더 늘렸다.

  • 채점서버 2대
  • 각 서버당 채점 도커 컨테이너 3개

  ⇒ 총 6대의 도커 컨테이너에서 채점 진행

• 채점 서버가 한 대 증설된 것 이외에는 위와 동일하다.