게임 포커스 그룹 테스트(FGT)의 이해

포커스 그룹 테스트란

포커스 그룹 테스트는 사회과학 연구조사방법론으로 부터 시작되었으며, 이후 기업에서 비즈니스 전략이나 마케팅 전략에 대한 주요 검증 방법 중 하나로 사용 되기 시작되었다. 비디오 게임 산업에서는 현재 개발 중인 프로젝트에 대한 전반적인 제작 품질 및, 게임의 사업적인 성공 여부를 예측하기 위한 도구로 사용되는 경우가 대부분이다.

포커스 그룹이란 특정한 성향 또는 분류에 따라 묶인 하나 이상의 집단 Group 이다. 이들은 일반적인 사회과학 연구조사 시 이용되는 무작위 표본이 아닌, 테스트 진행자의 의도에 따라 고도의 선별 작업을 거쳐 선정된 표본이다. 이들 표본을 선정하는 기준과 방법은 테스트의 목적 Target 과 목표 Goal 에 따라 결정된다 – 따라서 선별 방법에 지정된 방법이나 불변의 정답이 있는 것은 아니다.

포커스 그룹을 선정하는 것 만큼 테스트를 진행 것 또한 목적과 목표에 따라 여러가지 방법으로 나뉜다. 30명 이내1의 적은 수를 대상으로 하는 경우, 심층 면담 혹은 주관적인 설문 등을 할 수도 있고, 대단위의 인원을 선별하여 테스트를 진행할 경우, 설문지 기법을 통한 통계 처리도 가능할 것이다. 국내외의 대형 게임 개발사들의 경우, 포커스 그룹에 대한 관찰법(테스터들이 게임을 플레이 하는 동안, 플레이 영상 기록이나 게임 로깅은 물론, 심전도 확인, 아이 트래킹 Eye Tracking 2 등)을 이용한 테스트를 진행하는 경우도 종종 있다.

바이오메틱 테스트 예시

게임 개발에서의 포커스 그룹 테스트

게임 개발에서 포커스 그룹 테스트는 대체로 게임 개발 중의 특정 시점에 이뤄지며, 주로 현재 개발 중인 게임이 소비자 타겟 유저 층에 ‘먹힐만 한가?’를 검증하기 위해 사용된다. 검증하는 범위는 딱히 정해져 있는 것이 아니지만, 게임 자체에 대한 총평을 듣는 것이 일반적이며 여기에 더해 각 파트(게임 디자인, 아트, 사운드 등)에 대한 피드백을 받기도 한다(당연히 테스트 중 나타난 버그에 대한 리포팅도 테스트 결과로 활용된다).

일반적인 경우 포커스 그룹 테스트를 진행하는 것은 개발 중인 게임에 대해 “아무것도 모르는 예상 소비자”가 만들고 있는 게임을 처음 플레이 하는 경우가 절대 다수이다. 때문에 포커스 그룹 테스트는 개발자 입장에서는 자신이 만들고 있는 게임을 예비 소비자들에게 최초로 소개하는 자리가 될 수 밖에 없다. 포커스 그룹이 아무리 잘 선별 되어 있고, 해당 산업에 대한 전문 지식을 갖춘 사람이라고 하더라도 이들은 소비자 1로 감안을 할 필요가 있다. 즉 일반인들과 마찬가지로 이들은 개발 중인 게임에 대해 매우 냉혹한 평가를 내릴 것이기 때문에 엉성한 결과물을 가지고 테스트를 진행 할 경우, 질 좋은 피드백(그게 비판이든 칭찬이든)을 받기 어렵게 만든다.

비디오 게임 포커스 그룹 테스트의 진행

포커스 그룹 테스트를 위해서 우선 준비해야 할 것은 테스트의 목적과 목표의 설정이다. 이는 (보통의 사회과학 연구조사가 그러하듯) 구체적이고 명확한 목표를 설정해야 한다. 단순히 “이 게임은 사람들에게 재미있는가?” 가 아니라, “이 게임은 20대 이상의 성인 남성에게서 기준 금액 이상의 소비를 유도할 수 있다” 같은 구체적인 가설을 설정하고 이를 검증하는 것을 목표로 삼아야 한다(보통 게임의 경우에는 이런 이유로 포커스 그룹 테스트의 목표가 게임 제작 비전과 유사하거나 동일하게 된다).

테스트의 목적과 목표의 설정이 완료되면, 테스트에 참여할 포커스 그룹을 선정해야 한다. 게임 개발에 앞서 사용자 페르소나 Persona3를 만들어뒀다면 포커스 그룹을 구성하는데 조금 더 수월할 것이다. 대상자는 소비자 타겟, 포커스 그룹 테스트의 목표, 목적이 세심하게 고려되어야 하며, 이러한 고려 없이 테스터가 선별 되어서는 절대 안된다.

사용자 페르소나 예시

포커스 그룹을 선정하는데에 있어 작은 규모의 회사나 개인이 진행하기 여려운 점이 많기 때문에 전문 설문조사 업체 등을 통해 이를 외주 업무화 하는 경우도 많다.

테스트 그룹을 선정함과 동시에 포커스 그룹 테스트 설계를 진행해야 한다. 테스트에 필요한 게임 제작은 당연한 일이니 굳이 자세히 언급하진 않겠다. 테스트 방법은 앞서 이야기 한 여러 방법 중 하나를 취사 선택하게 되며 선택의 기준은 마찬가지로 테스트의 목적과 목표에 따른다.

테스트 결과를 도출하기 위한 방법으로 대부분의 경우 설문지 기법 혹은 인터뷰 기법을 사용할 것인데, 각각의 방법은 장단점이 있다. 간단히 언급하자면 아래와 같이 나눌 수 있다4

설문지 기법

  • 객관식 혹은 주관식 문항을 지면 혹은 단말기(PC 혹은 기타 IT 기기)를 이용하여 테스터에게 작성하도록 하는 방법. 객관식 문항 및 통계 분석을 통한 정량적 분석과 주관식 문항을 통한 정성적 분석이 모두 가능하다.
  • 설문지 작성을 위한 필요 진행 인원이 인터뷰 기법에 비해 적고, 진행 인원의 숙련도에 덜 영향을 받는다.
  • 설문지에 대한 오독, 오해의 여지가 있으며, 때문에 설문지 제작이 매우 까다롭다. 전문적인 설문지 제작자가 필요하다.
  • 정량적 분석을 위해서 대량의 표본이 필요하다.

인터뷰 기법

  • 테스터 1인 혹은 일정 집단에 대해 전문 인터뷰어 Interviewer 가 직접 대면 / 질의 응답을 통해 결과를 도출하는 방법이다.
  • 진행 요원의 숙련도가 결과에 큰 영향을 미친다.
  • 오독, 오해의 여지를 바로 해소할 수 있으나 이는 진행 요원의 숙련도에 따른다.
  • 설문지 기법에 비해 적은 수의 인원을 테스트를 해도 된다. 단, 설문지 기법에 비해 인원 당 소요 시간이 매우 긴 편이다.

테스트 결과 데이터를 가공하고 이를 의미 있는 결과로 정리하면 포커스 그룹 테스트는 종료된다. 이후에는 최종 보고서를 가지고 프로젝트에 대한 평가를 마무리하고, 앞으로의 개선점을 찾아 프로젝트의 방향을 조정하는 일만 남는다.

결언

포커스 그룹 테스트의 준비 기간은 최소 한 달 이상. 이를 준비하고 실행하고 또한 분석하는데 많은 시간과 비용이 소모되기 때문에 포커스 그룹 테스트는 쉽사리 시행하기 어렵다. 또한 포커스 그룹 테스트로 인해 생기는 프로젝트의 단기 목표의 변화 등이 발생할 수 있기 때문에 실행에 신중해야 한다.

포커스 그룹 테스트가 활발하게 이뤄졌던 북미 게임 산업에서는 종종 포커스 그룹 테스트에 대한 무용론이 펼쳐지기도 한다 예를 들어, 포커스 그룹 테스트에서 무참히 까이기만 했던 심즈는 기네스북에 비디오 게임 판매량 분야 기록을 갈아치우기도 했다. 아직까지도 게임 디자인이 정형화되어 있지 않고 발전 가능성이 많은 비디오 게임 분야에서 정형성을 검증하는 포커스 그룹 테스트는 마찬가지로 발전해야 하는 부분이 많은게 사실이다.

하지만 포커스 그룹 테스트가 완전히 무용하지는 않다. 잘 정제된 목표와 이에 따라 절제되어 설계된 테스트를 통해 게임 개발자가 간과하고 있던 지점을 찾아내는데는 사실 이만한 기법만한 게 없다. 테스트 중 발생하는 사용자의 반응이나 테스트 이후 전달되는 피드백은 게임 개발의 방향성을 유지하면서 더 나은 개선점을 찾을 수 있게 하는 매우 중요한 자료가 된다.

정리하자면 포커스 그룹 테스트를 게임의 비전이나 제작자의 의도가 옳고 그름을 확인하는데 쓰기 보다는 게임의 비전과 제작자의 의도가 제대로 반영되었는지를 테스트하는 용도로 사용해야 한다. 당신이 모르는 비전을 평범한 소비자인 포커스 그룹이 알고 있을 거란 생각은 버리는 게 좋다.


  1. 통계학에서 정규 분포를 따르는 최소 샘플의 수

  2. 사용자의 시선을 체크하여 어느 부분에 흥미를 가지고 있는지 확인 하는 기법

  3. 가상으로 설정한 주 사용자 층에 대한 가상 인격 데이터

  4. 좀 더 자세한 내용은 사회과학 조사방법론 혹은 마케팅, 통계학 관련 학문을 공부해 볼 것을 추천한다.

사후 검토: 포커스 그룹 테스트 Focus Group Test

얼마전 회사에서 끝난 포커스 그룹 테스트 FGT: Focus Group Test 와 관련한 간략한 사후 검토.

 * 이번 테스트 조사에서도 정확한 목적이나 목표도 없이 날림으로 테스트가 진행되었다-그나마 갑자기 ‘내일 모레 FGT 한다’는 말도 안되는 소리를 일주일이나 연기 시키느라 고생했다. 그래도 ‘고작’ 일주일 뿐이라 사실 제대로 준비 된 건 아무것도 없다.

 * 설문지 작성과 실험 환경 조성에 좀 더 많은 공을 들여야 한다. 꽤 많은 설문 문항(68 문항)과 인터뷰 준비, 실험 통제에 심혈을 기울였지만, 설문 분석을 하다 보니 이것 저것 놓친것이 상당히 많았다. 준비 기간을 넉넉하게 잡고 실험 설계는 검토에 검토를 거쳐 짜야 할 듯. 다음번에도 동일한 테스트 및 설문조사를 진행한다고 하면 일단 한달은 걸린다고 이야기 할테다.

 * 명색이 포커스 그룹 테스트인데 정작 포커스 그룹 모집은 개발자들의 지인으로 구성하였다는 것도 아이러니. 제대로 목표한 포커스 그룹인지 검증이 되지 않은 상태라면 역시 조사 결과의 신뢰도에 영향을 미칠 수 밖에.

 * 적은 표본 수는 언제든 문제의 여지가 될 수 있다.

 * 공짜로 해 먹으려고 들지 마라. 최소한의 성의는 테스트 참가자들에 대한 기본 예의이다.

 * 마지막으로, 기껏 FGT로 결과를 뽑아내었는데 테스트에서 나온 문제 말고 엉뚱한거 고치려면 애초에 테스트를 하지 말던가. (크앙!)