Mô hình Kirkpatrick đánh giá một chương trình đào tạo ở bốn cấp: phản ứng (người học có hài lòng không), học tập (họ có nắm được kiến thức, kỹ năng không), hành vi (họ có áp dụng vào công việc không) và kết quả (tổ chức có thu được gì không). Donald Kirkpatrick đề xuất khung này năm 1959 và nó vẫn là khung đánh giá đào tạo phổ biến nhất thế giới.
Thực tế ở hầu hết doanh nghiệp, đánh giá dừng ở cấp 1, tức phiếu khảo sát cuối buổi. Điều đáng biết là các phân tích tổng hợp cho thấy mức hài lòng của người học liên quan rất yếu tới việc họ có học được và áp dụng được hay không. Đo cấp 1 rồi kết luận khoá học hiệu quả là một sai lầm phương pháp.
Phần dưới đi qua từng cấp với cách đo cụ thể, cấp thứ năm về ROI của Jack Phillips, các phê bình học thuật, phiên bản cải tiến của mô hình và một quy trình đánh giá dùng được cho doanh nghiệp vừa và nhỏ.
Bốn cấp độ và cách đo từng cấp
Bảng dưới tóm tắt mỗi cấp hỏi gì, đo bằng công cụ nào và khi nào. Ví dụ đi kèm là khoá đào tạo an toàn vận hành xe nâng cho công nhân kho (minh hoạ).
| Cấp | Câu hỏi | Công cụ đo | Ví dụ xe nâng |
|---|---|---|---|
| 1. Phản ứng | Người học thấy khoá học thế nào, có thấy hữu ích không? | Phiếu khảo sát cuối khoá, phỏng vấn ngắn | Công nhân đánh giá nội dung có sát công việc không |
| 2. Học tập | Họ có nắm được kiến thức, kỹ năng, thái độ dự kiến không? | Kiểm tra trước và sau, bài thực hành có chấm theo tiêu chí | Bài kiểm tra quy tắc tải trọng; bài lái thử có người chấm |
| 3. Hành vi | Họ có làm khác đi trong công việc không? | Quan sát tại chỗ, danh sách kiểm tra, phản hồi của quản lý | Tổ trưởng quan sát việc kiểm tra xe đầu ca trong một tháng |
| 4. Kết quả | Tổ chức có thay đổi ở chỉ số quan trọng không? | Dữ liệu vận hành, chỉ số an toàn, chất lượng, chi phí | Số sự cố va chạm, hàng hư hỏng do xe nâng trong sáu tháng |
Đi từ cấp 1 lên cấp 4, chi phí và độ khó của phép đo tăng, còn giá trị thông tin cho người ra quyết định cũng tăng theo. Không cần đo cả bốn cấp cho mọi khoá học; khoá càng tốn kém và hệ trọng thì càng cần đi lên cao.
Vì sao phiếu hài lòng không đủ
Năm 1989, George Alliger và Elizabeth Janak rà soát các nghiên cứu dùng mô hình Kirkpatrick và nhận thấy mối liên hệ giữa các cấp yếu hơn nhiều so với giả định ngầm của mô hình, tức là cấp dưới tốt thì cấp trên tốt. Một phân tích tổng hợp của Alliger và cộng sự năm 1997 cho thấy phản ứng kiểu "người học thích khoá học" gần như không dự báo việc học hay việc áp dụng; phản ứng kiểu "khoá học hữu ích cho công việc" có liên hệ mạnh hơn một chút, nhưng vẫn khiêm tốn.
Cơ chế khá dễ hiểu. Người học có thể thích một giảng viên vui tính, một địa điểm đẹp, một buổi học nhẹ nhàng, trong khi việc học thật thường đòi hỏi nỗ lực và đôi khi khó chịu. Nghiên cứu tâm lý học nhận thức về "khó khăn đáng có" cho thấy một số điều kiện làm việc học khó hơn trong lúc học lại giúp ghi nhớ lâu hơn, và người học thường đánh giá thấp chính những điều kiện đó.
Vì vậy nếu chỉ còn ngân sách đo một thứ, hãy bỏ bớt câu hỏi về độ hài lòng chung và thay bằng câu hỏi về mức độ liên quan và ý định áp dụng, đồng thời đặt lịch hỏi lại quản lý trực tiếp sau vài tuần về thay đổi hành vi.
Cấp 5: ROI của Jack Phillips và những cạm bẫy
Công thức. Jack Phillips, từ những năm 1980 và 1990, đề xuất thêm cấp thứ năm: lợi tức đầu tư. ROI (%) = (lợi ích ròng quy ra tiền chia cho chi phí chương trình) nhân 100, trong đó lợi ích ròng bằng lợi ích trừ chi phí. Ví dụ giả định: chương trình tốn 200 triệu đồng, tạo lợi ích quy đổi 300 triệu đồng thì ROI là 50%.
Tách ảnh hưởng của đào tạo. Đây là bước khó nhất. Doanh số tăng sau khoá học bán hàng có thể do thị trường, do sản phẩm mới hay do mùa vụ. Phillips đề xuất các kỹ thuật như nhóm đối chứng, phân tích xu hướng, và khi không còn cách nào khác, hỏi người học và quản lý ước lượng phần trăm đóng góp của đào tạo kèm mức độ tự tin, rồi chiết khấu theo mức tự tin đó.
Quy đổi ra tiền. Một số lợi ích dễ quy đổi (giảm phế phẩm, giảm giờ làm thêm), một số khó (sự hài lòng của nhân viên, uy tín). Phillips khuyên không cố quy đổi những lợi ích không đo tin cậy được mà liệt kê riêng là lợi ích vô hình.
Nguy cơ con số đẹp giả. ROI đào tạo hàng trăm phần trăm thường xuất hiện khi giả định quá lạc quan ở bước tách ảnh hưởng. Một báo cáo ROI đáng tin phải công khai các giả định và cho người đọc thấy kết quả thay đổi thế nào nếu giả định thận trọng hơn.
Phê bình học thuật và phiên bản cải tiến
Ngoài phát hiện về mối liên hệ yếu giữa các cấp, Elwood Holton năm 1996 viết bài có tiêu đề thẳng thắn The Flawed Four-Level Evaluation Model, lập luận rằng Kirkpatrick là một cách phân loại kết quả chứ không phải mô hình nhân quả, vì nó bỏ qua các yếu tố quyết định việc chuyển giao như động lực người học, thiết kế chương trình và môi trường làm việc. Nếu cấp 3 thất bại, mô hình không cho biết vì sao.
Mô hình chuyển giao đào tạo của Timothy Baldwin và Kevin Ford (1988) lấp khoảng trống này với ba nhóm yếu tố đầu vào: đặc điểm người học, thiết kế đào tạo và môi trường làm việc. Nhiều nghiên cứu sau đó nhấn mạnh vai trò của sự hỗ trợ từ quản lý trực tiếp và cơ hội được áp dụng ngay sau khoá học.
James và Wendy Kirkpatrick, con trai và con dâu của Donald, giới thiệu phiên bản New World Kirkpatrick Model khoảng năm 2010. Điểm thay đổi chính là đảo chiều lập kế hoạch: bắt đầu từ kết quả mong muốn ở cấp 4, xác định hành vi then chốt ở cấp 3 cần thay đổi, rồi mới thiết kế việc học. Phiên bản này cũng bổ sung khái niệm "yếu tố thúc đẩy bắt buộc" ở cấp 3, gồm các cơ chế củng cố, theo dõi, khuyến khích và trách nhiệm giải trình sau khoá học.
Quy trình đánh giá dùng được cho doanh nghiệp vừa và nhỏ
Doanh nghiệp không có phòng phân tích riêng vẫn có thể đánh giá nghiêm túc nếu thiết kế từ đầu. Trình tự đề xuất:
- Trước khi thiết kế khoá học, cùng quản lý bộ phận chọn một đến hai chỉ số kết quả cần cải thiện và ghi lại số liệu hiện tại làm mốc.
- Xác định hành vi then chốt liên quan trực tiếp tới chỉ số đó và viết thành danh sách kiểm tra quan sát được.
- Thiết kế bài kiểm tra trước và sau tập trung vào kiến thức và kỹ năng cần cho hành vi then chốt, không hỏi lan man.
- Nếu có thể, tạo nhóm so sánh: đào tạo theo đợt, đo nhóm chưa được đào tạo làm đối chứng tự nhiên.
- Thoả thuận với quản lý trực tiếp về việc quan sát hành vi sau hai đến sáu tuần và hỗ trợ người học áp dụng.
- Theo dõi chỉ số kết quả trong khoảng thời gian hợp lý với bản chất công việc, ghi lại các yếu tố khác có thể ảnh hưởng.
- Viết báo cáo ngắn nêu rõ kết quả từng cấp, giả định đã dùng và đề xuất điều chỉnh cho lần sau.
Điểm quan trọng nhất của quy trình là bước một: đánh giá phải được lên kế hoạch cùng lúc với thiết kế khoá học. Đánh giá được nghĩ ra sau khi khoá học kết thúc gần như luôn dừng ở cấp 1.
Những lỗi đo lường hay gặp
Kể cả khi đã đo đủ các cấp, kết luận vẫn có thể sai vì một số lỗi quen thuộc trong thiết kế phép đo:
- Không có số liệu trước khoá học, nên không biết thay đổi bao nhiêu.
- Bài kiểm tra quá dễ hoặc trùng nguyên văn nội dung vừa học, đo trí nhớ ngắn hạn chứ không đo năng lực.
- Chỉ hỏi người học tự đánh giá hành vi, vốn dễ thiên lệch theo hướng tích cực.
- Đo kết quả quá sớm, trước khi hành vi mới kịp tạo ra khác biệt, hoặc quá muộn, khi nhiều yếu tố khác đã chen vào.
- Bỏ qua hiện tượng hồi quy về trung bình: chọn nhóm có kết quả tệ nhất để đào tạo, rồi kỳ sau họ cải thiện một phần chỉ do dao động tự nhiên.
- Chỉ báo cáo chương trình thành công, khiến tổ chức không học được gì từ các chương trình thất bại.
Đánh giá đào tạo trực tuyến và dữ liệu học tập
Khi đào tạo chuyển lên hệ thống quản lý học tập, dữ liệu dồi dào hơn nhưng không vì thế mà đánh giá tốt hơn. Các chỉ số dễ lấy nhất như số lượt đăng nhập, tỷ lệ hoàn thành, thời gian xem video chỉ đo mức tham gia, thậm chí còn thấp hơn cấp 1 của Kirkpatrick. Một nhân viên mở video rồi làm việc khác vẫn được ghi là đã hoàn thành.
Để dữ liệu trực tuyến có giá trị, cần thiết kế điểm đo ngay trong khoá học: câu hỏi tình huống buộc người học vận dụng chứ không chỉ nhớ lại, bài tập nộp sản phẩm thật có người chấm theo tiêu chí, và câu hỏi lặp lại sau vài tuần để đo khả năng ghi nhớ. Những thiết kế này đưa đánh giá trực tuyến lên cấp 2 thực chất.
Với cấp 3 và cấp 4, dữ liệu học tập cần được nối với dữ liệu công việc. Ví dụ, một trung tâm chăm sóc khách hàng có thể so sánh thời gian xử lý cuộc gọi và mức hài lòng khách hàng của nhóm đã hoàn thành mô-đun xử lý khiếu nại với nhóm chưa học, trong cùng giai đoạn. Việc nối hai nguồn dữ liệu này đòi hỏi phối hợp giữa bộ phận đào tạo, vận hành và công nghệ thông tin, và cần tuân thủ quy định về bảo vệ dữ liệu cá nhân của người lao động. Đó là lý do nhiều tổ chức có kho dữ liệu học tập lớn nhưng vẫn không trả lời được câu hỏi đơn giản nhất: khoá học có làm công việc tốt hơn không.
Câu hỏi thường gặp
Mô hình CIPP khác Kirkpatrick thế nào?
CIPP của Daniel Stufflebeam đánh giá bốn mặt: bối cảnh, đầu vào, quá trình và sản phẩm. Nó rộng hơn Kirkpatrick vì đánh giá cả việc chương trình có đáng được tổ chức không và có được triển khai đúng thiết kế không, thích hợp cho chương trình lớn, dài hạn hơn là một khoá học đơn lẻ.
Có nên đo cả năm cấp cho mọi khoá học?
Không. Cách thực hành phổ biến là đo cấp 1 cho hầu hết khoá học, cấp 2 cho phần lớn, cấp 3 cho các chương trình quan trọng, còn cấp 4 và ROI chỉ cho một số ít chương trình tốn kém, có tầm chiến lược hoặc đang cần quyết định có tiếp tục hay không.
Làm sao đánh giá đào tạo kỹ năng mềm như lãnh đạo?
Cấp 3 thường được đo bằng phản hồi đa chiều trước và sau chương trình, tức là cấp trên, đồng cấp và cấp dưới đánh giá hành vi cụ thể. Cấp 4 có thể dùng chỉ số như tỷ lệ nghỉ việc trong nhóm, mức độ gắn kết qua khảo sát, kết quả nhóm, với lưu ý rằng nhiều yếu tố khác cùng ảnh hưởng.
Thời điểm nào phù hợp để đo thay đổi hành vi?
Phụ thuộc tần suất hành vi trong công việc. Hành vi diễn ra hằng ngày như quy trình an toàn có thể đo sau hai đến bốn tuần. Hành vi hiếm như đàm phán hợp đồng lớn hay xử lý khủng hoảng cần vài tháng, và nên kết hợp với ghi nhận tình huống cụ thể thay vì quan sát định kỳ.
Chi phí nào nên đưa vào khi tính ROI đào tạo?
Nên tính đầy đủ: thiết kế và phát triển nội dung, thù lao giảng viên, tài liệu, địa điểm, đi lại, công cụ, chi phí quản lý chương trình và đặc biệt là tiền lương cho thời gian người học rời công việc. Bỏ sót chi phí thời gian của người học là lý do phổ biến khiến ROI bị thổi phồng.
Kết quả đánh giá xấu thì nên làm gì?
Trước hết xác định cấp nào gãy. Cấp 2 thấp cho thấy vấn đề thiết kế hoặc giảng dạy. Cấp 2 tốt mà cấp 3 thấp thường là vấn đề môi trường làm việc, như thiếu hỗ trợ của quản lý hoặc quy trình không cho phép áp dụng. Cách khắc phục hai trường hợp này rất khác nhau.
