얼마전 회사에서 끝난 포커스 그룹 테스트FGT: Focus Group Test와 관련한 간략한 사후 검토.
* 이번 테스트 조사에서도 정확한 목적이나 목표도 없이 날림으로 테스트가 진행되었다-그나마 갑자기 '내일 모레 FGT 한다'는 말도 안되는 소리를 일주일이나 연기 시키느라 고생했다. 그래도 '고작' 일주일 뿐이라 사실 제대로 준비 된 건 아무것도 없다.
* 설문지 작성과 실험 환경 조성에 좀 더 많은 공을 들여야 한다. 꽤 많은 설문 문항(68 문항)과 인터뷰 준비, 실험 통제에 심혈을 기울였지만, 설문 분석을 하다 보니 이것 저것 놓친것이 상당히 많았다. 준비 기간을 넉넉하게 잡고 실험 설계는 검토에 검토를 거쳐 짜야 할 듯. 다음번에도 동일한 테스트 및 설문조사를 진행한다고 하면 일단 한달은 걸린다고 이야기 할테다.
* 명색이 포커스 그룹 테스트인데 정작 포커스 그룹 모집은 개발자들의 지인으로 구성하였다는 것도 아이러니. 제대로 목표한 포커스 그룹인지 검증이 되지 않은 상태라면 역시 조사 결과의 신뢰도에 영향을 미칠 수 밖에.
* 적은 표본 수는 언제든 문제의 여지가 될 수 있다.
* 공짜로 해 먹으려고 들지 마라. 최소한의 성의는 테스트 참가자들에 대한 기본 예의이다.
* 마지막으로, 기껏 FGT로 결과를 뽑아내었는데 테스트에서 나온 문제 말고 엉뚱한거 고치려면 애초에 테스트를 하지 말던가. (크앙!)
사람들의 다양한 의견을 객관화 하고 정량화시키는 여러가지 방법들 중 설문조사기법은 굉장히 유용하고 실제적인 데이터를
조사자에게 전달해 준다. 하지만, 굉장히 유용하고 실제적인 설문조사 결과를 얻기 위해서는 처음 시작부터 세심한 주의를 기울여야
하며, 교과서에 나와있는 많은 주의사항 중 하나라도 소홀히 할 경우, 설문조사를 위해 들인 노력을 순식간에 물거품으로 만들어린다.
전문적인 설문조사 방법론을 적용한 설문조사들은 처음 계획단계에서 부터 세심한 주의를 기울였기 때문에
그러한 일들이 적을테지만, 주변-게임 업계에서 지켜본 경험에 의하면 대부분은 설문조사 방법론과 관련한 교육을 제대로 이수 받지
못한 사람들에 의해 계획 - 실행 - 결과가 분석 되어지고 때문에 조사 방법론 상에 문제가 있는 결과들이 무비판적으로
받아들여지고 있다. 통계학이라는 것이 연구자의 최종 판단에 그 결과가 상이하게 나오는 학문이란 점을 고려한다면, 이러한 조사
방식은 기업 운영에 있어서 상당한 위험으로 작용할 수 있다-보통 이러한 조사 결과들은 의사결정에 중요한 영향을 미치곤 하기
때문이다.
때문에, 설문조사 방법론을 시행하는데 있어서 접근은 신중하게 되어야 함에도
불구하고, 많은 기업들이 이를 단순하게 여기고 너무도 많은 설문지들을 남발한다. 사실상 조사라기 보다는 '이벤트'에 가까운 설문
조사를 시행하는 경우가 있는가 하면, 애초에 조사 목표를 정확하게 잡지 않은 상태에서 소모성 조사를 수행한다던가, 조사 계획을
면밀히 검토하지 않은 체 결과를 불신하는 행태를 보인다. 가장 황당한 경우는 결과 발표 단계에서 '설문조사는 원래 믿을만한게 못
되기 때문에 그 결과 역시 믿을 수 없다'라는 식의 주장인데, 사실 그런 사람에게는 이렇게 쏘아붙여주고 싶다. '그럼 애초에
하지 말던가.'
설문조사를 시작하기 전에, 조사 목표를 잡고, 가설을 설정하고, 이에 따른 설문지를 제작하고 표본을 선정하는 과정은 그렇게 단순하지 않다. 사실 어느 하나라도 잘못된 방법으로 조사를 진행하게 되면, 마지막에 조사결과에 미치는 파급력은 어마어마해진다. '내일 정도에 우리 게임에 대한 설문조사를 해 보는게 어때?'라는 말에는 이러한 과정들이 싸그리 무시 된 체 '심심한데 우리 이벤트 한번 벌여 보는게 어때?'라고 이야기 하는 것과 같다.
위와 같은 위험한 발언들이 중간 관리자나 최고 경영자에게서 나오는 이유는 설문조사기법이 대단히 친숙하고 대중적인 기법이라는데
있다. 사실 설문조사기법에 대한 세부 사항을 모르는 사람들이라도 '그거 그냥 대충 설문지 만들어서 수치 나온것 정리하면 끝나는
것 아닌가요?'라는 생각을 가지고 있을 정도로 설문조사기법에 대해 '알고 있다고 자부하는 사람'은 도처에 널렸다. 마치 군대에
다녀오지 않은 사람이 군대에 다녀온 사람들의 경험담만을 듣고는 군대에 대해서 마치 잘 알고 있는 것 처럼 이야기하는 것과
비슷하다.
주먹구구식으로 이루어지는 설문조사는 거의 대부분은 쓸모없는 결과를 내뱉는다(조금
큰 회사의 마케팅 부서가 항상 욕을 먹는 이유이기도 하다). 대부분은 조사 목표가 잘못 선정되었거나, 조사 목적이 불확실하거나,
제대로 된 표본 선정에 실패했다던가, 설문지를 엉망으로 제작했다던가(명목 척도와 주관식으로 도배된 설문지 같은), 아니면 하나부터 열까지 다 잘못되었다던가
해서 벌어지는 일이다. 그냥 이벤트로써 끝나면 해프닝으로 웃어넘길 수 있지만, 대부분은 뭐가 잘못되었는지 혹은 무슨 위험이
있는지 조차 알지도 못한 체 해당 조사 결과를 바탕으로 의사 결정을 내리기 시작하면 더 이상은 농담이 될 수 없다.
설문조사기법을 통하여 나온 결과를 쓰레기로 만들고 싶지 않다면 우선 설문조사기법에 대해서 충실하게 배워라-도저히 그게 안되겠다면
해당 업무를 충실하게 수행 할 수 있는 사람에게 전권을 위임하고 그가 하는 말을 귀담아 들어야 한다. 최소한의 통계학 서적도
평생 뒤져보지도 못한 사람이 '설문조사 그까이꺼'라는 생각을 가지고 일을 시작하는 것 부터 이미 단추는 잘못 채워졌다.
전략 수립에 대해서는 예전 글에서도 강조를 했었지만, 회사의 운영에 있어서 전략은 기본적인 목표와 그에 대한 구체적이고 세부적은 활동들을 명세한다는 점에 있어서 신중하게 수립이 되어야 한다. 전략이 불분명한 조직은 보통 아래와 같은 일들이 벌어지곤 한다.
1. 전략이 불분명하기 때문에 목표가 불명확하다. 2. 목표가 불명확하기 때문에 전략 수행 과정이 단순하지 못하다. 3. 전략 수행 과정이 단순하지 못하기 때문에 없어도 될 낭비가 발생한다. 4. 낭비가 발생하기 때문에 정작 중요한 전략 목표를 달성하지 못한다. 5. 전략 목표를 달성하지 못하기 때문에 팀 또는 조직 사기가 떨어진다. 6. 조직 사기가 저하되기 때문에 인적자원관리HRM에 문제가 발생한다. 7. 인적자원관리가 엉망이기 때문에 조직의 전문성이 점차 결여된다. 8, 조직의 전문성이 결여되어 있기 때문에 조직의 핵심 역량이 저하된다.
전략을 수립할 때는 아래와 같은 사항들 때문에 불분명한 전략이 되거나, 확신이 없는 전략이 되곤 한다.
1. 전략을 수립 하기 전 철저하게 정보를 수집하였는가? - 책상머리에 앉아서 대충 웹 서핑으로 끄적인 정보 따위로는 아무것도 결정 할 수 없다. 하물며 고작 자신이 평소에 알고 있던 지식 수준의 정보를 가지고 마치 일반적인 사항인 양 떠들지 말라. 진짜로 자료 조사를 했다고 하는 것은 2, 3차 자료를 기본으로 1차 자료를 생성하고 이를 바탕으로 정보를 가공했을 때나 꺼낼 수 있는 이야기다. 고작 게임쇼 가서 도우미 언니들 보고 온 것을 바탕으로 전략 보고서를 작성하는 당신은 이미 첫 단추부터 잘못 끼웠다.
2. 모든 전략적 판단은 근거를 제시 할 수 있어야 한다 - 전략은 크게는 회사 전체의 명운을, 작게는 프로젝트의 성패를 뒤흔들 수 있는 의사 결정 행위이다. 논리적으로 빈약한 근거-특히나 본인의 경험에 의거한 일반화의 오류를 범하기 딱 좋은 근거-는 미안하지만 의사 결정에 도움이 되질 않는다.
3. 나 자신과 남에 대해 항상 냉정한 평가를 해야 한다 - 수집한 자료를 분석하는 데 있어서 감정을 섞거나 과대평가 혹은 과소평가를 하지 말아야 한다. 사실을 있는 그대로 받아들이고 그에 대한 근거를 찾는데 주력해야 한다.
물론, 위와 같은 철저한 자료 조사와 논리로 무장하였다고 하더라도 전략은 얼마든지 실패 전략이 될 수 있다. 그때는 그냥 넋놓고 바라보고 있어야 하는가? 아니면 한번 세운 전략이 아까워서 그냥 진행해야 되냐고? 이보게, 만약 내가 '이게 아닌 것 같아'라고 중얼거리면서 겁에 질린 눈으로 사방을 둘러보고 있는 관리자의 상관이었다면 나는 바로 그 관리자의 엉덩이를 바로 걷어차 버렸을꺼야! 뭔가 이상하다면 빨리 그 원인을 찾고 수정을 하란말이다 ! 뭔가 아닌 것 같다고 어영부영 시간만 죽이지 말고 말야!
