Why 94% of Online Courses Go Unfinished (I Analyzed 10,000 Enrollments)

# 온라인 강좌의 94%가 미완료되는 이유 (10,000건의 등록을 분석했습니다)

10,000건의 등록 중에서 612건이 완료되었습니다. 완료율은 6.1%입니다. 하지만 강좌 디자인 패턴으로 나누었을 때, 범위는 2%에서 34%였습니다.

나는 그 스프레드시트를 세 시간 동안 응시했습니다. 데이터는 우리 기업 LMS에서 나왔습니다. 23개국에 직원이 있는 포춘 500대 기업입니다. 이는 유튜브 튜토리얼을 탐색하는 일반 학습자가 아니었습니다. 이들은 유급 전문가들이며, 많은 경우 이러한 강좌를 완료하라는 관리자의 명확한 권장 사항이 있었습니다. 일부는 성과 리뷰와 연결된 완료율이 있었습니다.

그럼에도 불구하고 94%는 결코 끝내지 않았습니다.

가장 나쁜 부분은? 내가 직접 설계한 47개 강좌 중 7개가 그것입니다. 나의 평균 완료율은 8.2%로 평균보다 겨우 높았습니다. 나는 상호작용 요소, 실제 사례, 그리고 신중하게 구성된 콘텐츠로 engaging learning experiences를 만들기 위해 몇 달을 보냈습니다. 경영진 팀은 제작 품질을 칭찬했습니다. 학습자들은 첫 주에 긍정적인 피드백을 주었습니다.

그런데 그들은 사라졌습니다.

이 분석은 온라인 학습에 대한 내 생각을 완전히 바꾸게 했습니다. 더 중요한 것은, 후속 강좌에서 완료율을 세 배로 늘린 프레임워크를 제공해 주었다는 것입니다. 하지만 먼저 나는 사람들이 과정을 끝내게 하는 데 실제로 무엇이 중요한지에 대한 불편한 진실을 직면해야 했습니다 - 그리고 우리가 학습 디자이너로서 일관되게 잘못하고 있는 것들.

방법론: 대부분의 디자이너가 볼 수 없는 데이터에 접속한 방법

대부분의 학습 디자이너는 고립된 상태에서 작업합니다. 우리는 강좌를 만들고, 시작하며, 완료 대시보드를 잠깐 보아도 다음 프로젝트로 넘어갑니다. 우리는 학습자의 행동에 대한 세부 데이터를 거의 얻지 못하며, 설령 얻더라도 일반적으로 여러 보고 레이어를 통해 정리됩니다.

나는 타이밍과 절망의 조합을 통해 운이 좋았습니다.

우리 회사는 모든 것을 추적하는 새로운 LMS를 구현했습니다 - 단지 완료뿐만 아니라 각 화면에서 소비한 시간, 탐색 패턴, 평가 시도, 리소스 다운로드, 심지어 상호작용 요소에서의 커서 이동까지입니다. IT팀은 여전히 그들의 보고 구조를 파악하고 있었고, 나는 구현 중에 그들의 수석 분석가와 관계를 구축했습니다.

내 최신 강좌가 처음에는 긍정적인 피드백에도 불구하고 4% 완료율을 기록했을 때, 나는 원시 데이터를 볼 수 있는지 물었습니다. 내 강좌뿐만 아니라 시스템의 모든 것에 대해요. 내 강좌가 특별히 나쁜 것인지 아니면 시스템적인 문제인지 이해하고 싶었습니다.

그녀는 10,000개 행이 있는 CSV 파일을 주었습니다.

각 행은 47개의 활성 강좌 중 하나의 등록을 나타냈습니다. 데이터에는 강좌 제목, 등록 날짜, 마지막 활동 날짜, 완료 상태, 소비 시간, 로그인 횟수, 평가 점수, 콘텐츠 유형(비디오, 텍스트, 상호작용, 퀴즈), 강좌 길이, 그리고 처음에는 이해하지 못한 약 30개의 다른 변수가 포함되어 있었습니다.

나는 이 데이터를 정리하고 분석하는 데 2주를 보냈습니다. 나는 피벗 테이블을 만들고, 상관 분석을 실시하며, 시각화를 구축했습니다. 나는 내가 인식한 디자인 패턴에 따라 강좌를 그룹화했습니다: 비디오 중심 강좌, 텍스트 기반 강좌, 프로젝트 기반 강좌, 마이크로러닝 시퀀스, 인증 준비 강좌, 하이브리드 접근법 등입니다.

나타난 패턴은 놀라웠습니다 - 복잡하기 때문이 아니라 내가 보았을 때 매우 명백했기 때문입니다. 우리는 교수 설계 이론과 모범 사례에 따라 강좌를 설계하고 있었지만, 데이터는 이론과 실제가 온라인 환경에서 상당히 다르게 진행되었음을 보여주었습니다.

한계점: 작동했어야 할 강좌

내 데이터 세트의 강좌 #23에 대해 이야기하겠습니다: "고급 프로젝트 관리 전략."

이 강좌는 모든 것이 갖춰져 있었습니다. 주제 전문가였던 PMP 인증을 가진 이사는 20년의 경험을 가졌습니다. 내용은 진정으로 가치 있었습니다 - 내가 직접 강좌를 수강했기 때문에 여전히 사용하는 기술을 배웠습니다. 우리는 전문 비디오 제작에 투자하고, 다운로드 가능한 템플릿을 만들고, 학습자가 결정을 내리고 결과를 보는 상호작용 사례 연구를 만들었습니다.

이 강좌는 추천 속도인 주당 2-3시간에 대해 완료하는 데 6주가 걸립니다. 우리는 실제 프로젝트를 기준으로 구조화했고, 각 모듈은 이전 모듈에 기반을 두었습니다. 이론적으로 학습자는 즉시 사용할 수 있는 완전한 프로젝트 계획을 완성하게 됩니다.

초기 참여는 훌륭했습니다. 첫 주에 847명이 등록했습니다. 첫 주 평균 소비 시간은 2.4시간으로 목표에 딱 맞았습니다. 토론 포럼은 활발했습니다. 사람들이 템플릿을 다운로드하고 있었습니다. 피드백 설문조사는 "내 작업과의 관련성"에 대해 5점 만점에 4.6점을 받았습니다.

2주째에는 312명이 로그인했습니다. 3주째에는 89명, 6주째에는 23명이 최종 평가를 완료했습니다. 완료율은 2.7%입니다.

나는 시작했지만 완료하지 못한 12명을 인터뷰했습니다. 그들이 말한 내용은 다음과 같습니다:

"실제 프로젝트 작업으로 바빴고 강좌 일정을 따라가지 못했습니다."

"내용은 훌륭하지만, 모듈 4의 정보가 즉각 필요했고, 모듈 1-3을 완료하지 않으면 접근할 수 없었습니다."

"나는 처음 몇 개의 비디오를 보고 필요한 정보를 얻고 넘어갔습니다."

"나는 다시 돌아올 계획이었지만 일주일을 놓친 후 너무 뒤처진 기분이 들었습니다."

"강좌가 너무 길었습니다. 나는 이해관계자 매핑하는 방법을 배우고 싶었지, 프로젝트 관리 전문가가 되고 싶지는 않았습니다."

모든 사람이 내용이 가치 있다고 말했습니다. 그러나 아무도 완강하지 않았습니다. 그리고 여기에서 놀라운 사실이 있습니다: 12명 중 8명이 완료하지 않은 강좌에서 배운 것을 실제 업무에 적용했습니다. 이 강좌는 가치를 전달했지만 완료는 전달하지 못했습니다.

이 깨달음은 내 생각을 약간 흔들어놓았습니다. 우리는 완료율로 성공을 측정하고 있었지만 학습자는 자신이 필요로 하는 것을 얻었는지를 기준으로 성공을 측정하고 있었습니다. 이러한 지표는 근본적으로 잘못 정렬되어 있었습니다.

데이터 분석: 10,000건의 등록이 실제로 드러낸 것

내가 데이터를 강좌 디자인 특성으로 나누었을 때, 거의 모든 것에 대한 패턴이 나타났습니다. 이러한 패턴은 효과적인 온라인 학습에 대해 배운 것과 거의 모순되었습니다.

상관관계는 분명했습니다: 초점이 뚜렷한 짧은 강좌가 완료율이 훨씬 더 높았습니다. 하지만 이 데이터가 처음 보일 때보다 더 미묘하게 만들어진 이유는 다음과 같습니다.

학습자 만족도 점수를 살펴보았을 때(완료 여부와 상관없이 등록 후 설문조사를 통해 수집됨), 프로젝트 기반 강좌는 4.7/5로 최고 점수를 받았고, 마이크로러닝은 3.9/5로 받았습니다. 학습자들은 종합적인 강좌를 좋아했습니다 - 단지 그들을 완료하지 못했습니다.

나는 또한 "가치 추출"을 추적했습니다 - 이것은 내가 학습자가 강좌에서 배운 것을 작업에 적용했다고 보고한 방식을 나타내는 내 용어입니다. 이 지표는 완전히 다른 이야기를 들려주었습니다:

• 프로젝트 기반 강좌: 67%의 등록자(완료하지 않은 자 포함)가 강좌 개념을 적용했다고 보고했습니다.
• 마이크로러닝: 41% 보고한 적용
• 비디오 강의: 38% 보고한 적용
• 인증 준비: 82%의 완료자가 적용했다고 보고했지만, 완료자는 18%에 불과했습니다.

이는 모순을 만들어냈습니다. 완료율이 가장 낮은 강좌가 종종 가장 많은 가치를 제공했습니다. 완료율이 가장 높은 강좌는 때때로 가장 변혁적이지 않았습니다.

나는 우리가 잘못된 지표를 최적화하고 있다는 것을 깨달았습니다.

내 디자인 철학을 바꾼 통찰

주간 분석 후, 나는 내 노트북에 앉아 데이터에서 반복적으로 나타나는 핵심 통찰을 작성했습니다. 이것들은 편안하지 않은 깨달음이었습니다 - 그것들은 내가 경력을 쌓아온 근본적인 가정에 도전했습니다.