검증된 과정

여러분이 두 달 뒤 심장수술을 받아야 한다고 생각해 봅시다. 무엇을 기준으로 의사를 선택하시겠습니까?

누구나 정말 효과있는 교육에 참가하기를 원합니다. 그리고 이 교육이 효과적인지 아닌지 판단하기 위해 증거를 원합니다. 그리고 실제로 많은 교육은 소비자가 원하는 증거를 제공하고 있습니다.

대표적인 것이 교육 직후 만족도입니다.

통상적으로 5점 척도나 7점, 9점, 10점 척도 등을 이용하고 양극단에 매우 불만족한다와 매우 만족한다를 둡니다. 가장 간단한 형태로는 단일한 질문 "이번 교육에 대해 얼마나 만족하십니까?"를 묻습니다만 좀 더 복잡하게는  평가 항목을 세분화하여, 강사에 대한 만족도, 교재에 대한 만족도, 교육환경에 대한 만족도 등으로 나누고, 유용도(교육 내용이 실무에 얼마나 유용할지 물음)나 주변 사람에게 추천 여부(NPS) 등을 추가해 더 그럴 듯하게 만들기도 합니다.

이런 설문을 교육이 끝나는 날 마지막 시간에 진행을 하고, 그걸 분석해서 교육생 몇 퍼센트가 만족 혹은 매우 만족했다는 자랑을 하거나 하죠.

그런데, 이런 측정이 정말 무엇을 측정하고 있는 것인지에 대해 의심을 해보셨나요?

1400개 이상의 교육과정을 메타분석한 연구에서 교육직후 만족도와 유용도에 대한 평가는 시간이 지난 후의 스킬(skill) 중심 지식과의 상관성이 0에 달했습니다(Traci Sitzmann의 연구). 지식을 변화시키는 것에 비해 행동을 변화시키는 것이 더 어렵고 더 나중에 발생할 수 있다는 점(커크패트릭 모델)을 고려한다면, 이 교육직후 만족도와 유용도로 교육받은 사람의 이후 행동변화를 예측하기는 무척 어렵다는 점을 쉽게 받아들일 수 있을 겁니다.

그리고 연구(특히 Bjork의 연구들)에 따르면 오히려 교육직후 만족도와 시간이 지난 후의 지식이 반대로 움직이는 경우도 종종 있다는 것이 밝혀졌습니다. 오히려 교육직후에 만족도가 높은 교육이 시간이 지난 후에는 효과가 더 떨어지는 것으로 나오는 상황이 있다는 겁니다.

각 교육 방식(스케쥴)에 따른 학습 속도와 교육 만족도 그래프 : 방식이 바뀜에 따라(x 축) 만족도는 올라가지만 학습속도는 더 내려가는(y 축) 추세에 주목 (출처 : Baddeley & Longman 1978 의 자료로부터 도출)

그렇다면 무엇이 더 타당한(즉, 예측력이 높은) 측정치인가에 대해 생각해 보아야겠죠.

여러가지가 있겠지만, 한가지 간단한 방법은 교육을 받고 충분한 기간이 흐른 후에, 이 사람이 그 교육에서 얻은 것을 구체적으로 어떻게 활용하는가 하는 행동질문(이런 저런 행동을 했는가라고 구체적으로 묻기 때문에 행동질문이라고 함)을 하는 겁니다.

2012년도 당시점까지 AC2 과정 졸업생(졸업후 평균 1.5년 경과)을 대상으로 진행한 연구에서 94%의 인원이 교육 종료후 교육에서 배운 내용을 실제 업무와 삶에서 적용한다고 응답했습니다.

이는, 실제로 교육 10년차 전문가들 자신조차도 스스로 교육의 효과를 평가할 때, 교육 받고 1년후에 실제 적용하는 사람이 30%에 못미친다고 아주 박한 평가를 하고 있다(Saks와 Belcourt의 연구 -- 이 정도 수치도, 피교육생의 평가가 아니라 트레이너의 상향 편향된 자기평가에서 나왔다는 점에 주의)는 점을 고려한다면 놀라운 결과입니다.

이런 이유로, AC2에는 주변의 추천으로 참가하는 경우 만큼, 실제 가까운 사람의 변화를 보고 놀라서 신청하는 경우가 많습니다.

그리고 3개월 교육 진행 기간 중에는 검증된 측정 도구로 거의 매주 삶의 만족도 측정을 해서 확인하고 있습니다. 여기에 대해서는 애자일 이야기 블로그의 관련 글을 참고해주세요. [1][2]