PISA (Programme for International Student Assessment) là chương trình đánh giá học sinh quốc tế do OECD tổ chức ba năm một lần từ năm 2000, đo khả năng của học sinh 15 tuổi vận dụng đọc hiểu, toán và khoa học vào tình huống thực tế. PISA không kiểm tra chương trình của nước nào; nó hỏi học sinh ở độ tuổi sắp hết giáo dục bắt buộc có dùng được kiến thức để giải quyết vấn đề hay không.
Đọc kết quả PISA cho đúng cần ba thao tác: nhìn khoảng tin cậy chứ không chỉ thứ hạng, kiểm tra tỷ lệ thanh niên 15 tuổi thực sự nằm trong mẫu, và chỉ so sánh giữa các vòng khi phương thức thi và mẫu không đổi quá nhiều. Bỏ qua ba bước này, một chênh lệch vài điểm có thể bị đọc thành "tụt hạng thảm hại" hay "vượt mặt các nước giàu".
Phần dưới giải thích cách PISA được thiết kế, những lỗi đọc phổ biến, rồi áp dụng vào trường hợp Việt Nam, nơi kết quả từng được giới nghiên cứu gọi là một câu đố.
PISA đo cái gì, và cái gì nó không đo
Mỗi vòng PISA kiểm tra ba lĩnh vực chính, trong đó một lĩnh vực được đo sâu hơn và luân phiên theo chu kỳ: đọc hiểu là trọng tâm năm 2000, 2009, 2018; toán năm 2003, 2012, 2022; khoa học năm 2006, 2015. Vòng 2021 bị hoãn sang 2022 vì đại dịch, nên chu kỳ ba năm bị lệch một nhịp. Ngoài ba lĩnh vực chính, một số vòng có thêm phần thử nghiệm như giải quyết vấn đề hợp tác, hiểu biết tài chính hay tư duy sáng tạo, và không phải nước nào cũng tham gia các phần này.
Đối tượng là học sinh từ khoảng 15 tuổi 3 tháng đến 16 tuổi 2 tháng đang đi học từ lớp 7 trở lên, không phân biệt khối lớp. Đây là điểm khác căn bản với TIMSS (đánh giá theo khối lớp 4 và 8, bám chương trình hơn) và PIRLS (đọc hiểu lớp 4). Vì vậy một hệ thống dạy nhanh, nhiều kiến thức hàn lâm có thể làm tốt TIMSS nhưng chưa chắc nổi bật ở PISA, và ngược lại.
Cái PISA không đo cũng quan trọng không kém: nó không đo năng lực nghệ thuật, thể chất, đạo đức công dân, cũng không đo chất lượng giáo dục đại học hay giáo dục nghề. Nó không cho biết một trường cụ thể tốt hay dở, vì mẫu được thiết kế để ước lượng cấp quốc gia. Và nó chụp một thời điểm của một nhóm tuổi, không theo dõi cùng một học sinh qua thời gian, nên không thể dùng để khẳng định một chính sách cụ thể gây ra thay đổi điểm số.
Thang điểm, chọn mẫu và sai số: phần kỹ thuật cần biết
Thang điểm không phải điểm thô. Điểm PISA được ước lượng bằng mô hình đáp ứng câu hỏi (item response theory), mỗi học sinh chỉ làm một phần ngân hàng câu hỏi. Thang được neo sao cho trung bình các nước OECD bằng khoảng 500, độ lệch chuẩn khoảng 100 ở vòng đầu tiên lĩnh vực đó là trọng tâm. Vì thế 500 không phải "điểm đạt", và trung bình OECD các vòng sau có thể lệch khỏi 500.
Giá trị khả dĩ thay cho một con số. Mỗi học sinh không có một điểm duy nhất mà có nhiều "giá trị khả dĩ" (plausible values) rút từ phân phối năng lực ước lượng. Người phân tích lại dữ liệu mà chỉ lấy một giá trị khả dĩ, hoặc lấy trung bình của chúng rồi chạy hồi quy như điểm thường, sẽ đánh giá thấp sai số.
Mẫu hai tầng. Mỗi nước chọn ngẫu nhiên trường theo tầng (vùng, loại trường), rồi chọn ngẫu nhiên học sinh trong trường; thông thường vài nghìn học sinh từ ít nhất 150 trường. Trọng số mẫu và phương pháp lặp lại mẫu (replicate weights) là bắt buộc khi tính sai số chuẩn.
Sai số chuẩn của trung bình quốc gia thường khoảng 2–5 điểm. Hai nước cách nhau 5–6 điểm rất có thể không khác nhau có ý nghĩa thống kê. OECD vì thế công bố khoảng thứ hạng (ví dụ "từ hạng 8 đến hạng 13") chứ không chỉ một thứ hạng duy nhất. Khi so sánh giữa hai vòng còn phải cộng thêm sai số liên kết (link error) do bộ câu hỏi neo thay đổi.
Mức thành thạo có ý nghĩa hơn điểm trung bình. PISA chia năng lực thành các mức; mức 2 được xem là ngưỡng cơ bản để tham gia đời sống như một công dân có năng lực. Tỷ lệ học sinh dưới mức 2 và tỷ lệ đạt mức 5–6 cho biết hình dạng phân phối, thứ mà điểm trung bình che mất.
Năm lỗi đọc PISA phổ biến
Phần lớn tranh luận sai về PISA không đến từ dữ liệu mà từ cách đọc. Bảng dưới gom các lỗi gặp nhiều nhất trên báo chí và trong các bài thuyết trình chính sách.
| Cách đọc sai | Vì sao sai | Nên đọc thế nào |
|---|---|---|
| Tụt 3 hạng là giáo dục đi xuống | Thứ hạng phụ thuộc số nước tham gia và sai số; vài điểm chênh thường không có ý nghĩa thống kê | Xem điểm, khoảng tin cậy và khoảng thứ hạng |
| Nước đứng đầu có chương trình tốt nhất | PISA không đo chương trình; điểm còn phản ánh gia đình, học thêm, văn hoá học tập, chọn lọc mẫu | Coi điểm là kết quả của cả hệ sinh thái, không riêng nhà trường |
| Điểm cao nghĩa là mọi học sinh đều giỏi | Trung bình che bất bình đẳng và đuôi dưới | Xem tỷ lệ dưới mức 2 và độ dốc theo hoàn cảnh kinh tế xã hội |
| So vòng 2012 với 2022 như so cân nặng | Đổi từ giấy sang máy tính, đổi mẫu, đại dịch xen giữa | Chỉ so khi OECD xác nhận tính so sánh được; kèm sai số liên kết |
| Bắt chước Phần Lan hay Singapore là lên điểm | Tương quan chéo quốc gia không chứng minh nhân quả | Tìm bằng chứng nhân quả (thử nghiệm, cải cách có nhóm so sánh) |
Lỗi thứ năm là nguy hiểm nhất về chính sách. Các phân tích dùng PISA để "chứng minh" một yếu tố như sĩ số, tự chủ trường hay thời lượng học tạo ra điểm cao đều chỉ là tương quan. Andreas Schleicher, người điều hành PISA nhiều năm, thường nhấn mạnh PISA là công cụ chẩn đoán và gợi ý câu hỏi; câu trả lời nhân quả phải tìm ở loại nghiên cứu khác.
Chỉ số bao phủ: con số bị bỏ quên nhiều nhất
PISA chỉ khảo sát học sinh đang đi học từ lớp 7 trở lên. Ở các nước giàu, gần như mọi thanh niên 15 tuổi đều ở trường, nên mẫu đại diện cho cả nhóm tuổi. Ở các nước thu nhập trung bình, một phần đáng kể thanh niên 15 tuổi đã bỏ học, đi làm hoặc còn học lớp thấp; những em này thường có năng lực học tập thấp hơn trung bình. Khi các em vắng mặt khỏi mẫu, điểm quốc gia bị đẩy lên.
OECD công bố chỉ số bao phủ (Coverage Index 3): tỷ lệ thanh niên 15 tuổi của cả nước mà mẫu PISA đại diện. Chỉ số này ở hầu hết nước OECD trên 0,85, trong khi ở một số nước thu nhập trung bình chỉ quanh 0,5 đến 0,7 trong các vòng đầu tham gia. So sánh điểm thô giữa hai nước có bao phủ chênh nhau như vậy là so hai quần thể khác nhau.
Một phép thử đơn giản bạn có thể tự làm: giả định những thanh niên không nằm trong mẫu có năng lực ở mức phân vị thấp của phân phối, rồi tính lại trung bình cho toàn nhóm tuổi. Ví dụ giả định: nếu mẫu bao phủ 60% nhóm tuổi với trung bình 510, và 40% còn lại nếu được kiểm tra chỉ đạt khoảng 420, thì trung bình cả nhóm tuổi là 0,6 × 510 + 0,4 × 420 = 474. Kết quả nhạy với giả định, nhưng nó cho thấy bao phủ có thể làm thay đổi kết luận nhiều hơn mọi chênh lệch thứ hạng.
Trường hợp Việt Nam: từ "câu đố" đến cách đọc thận trọng
Việt Nam tham gia PISA lần đầu năm 2012 và đạt kết quả gây chú ý: khoảng 511 điểm toán, 508 đọc hiểu và 528 khoa học, cao hơn trung bình OECD dù thu nhập bình quân đầu người khi đó thấp hơn nhiều. Vòng 2015 khoa học vẫn ở mức cao (khoảng 525), toán và đọc hiểu thấp hơn vòng trước. Ở vòng 2018, OECD không đưa kết quả Việt Nam vào các bảng chính vì chưa bảo đảm được đầy đủ tính so sánh quốc tế. Vòng 2022, điểm của Việt Nam thấp hơn rõ rệt so với 2012 và 2015: toán xấp xỉ mức trung bình OECD, đọc hiểu và khoa học thấp hơn mức đó một khoảng.
Giới nghiên cứu gọi giai đoạn đầu là "câu đố Việt Nam": vì sao một nước thu nhập trung bình thấp lại vượt nhiều nước giàu. Các phân tích của Ngân hàng Thế giới (Parandekar và Sedmik, 2016) và của nhóm Paul Glewwe cùng cộng sự cho thấy đặc điểm gia đình, trường lớp quan sát được chỉ giải thích một phần khoảng cách; các yếu tố khó đo như kỷ luật lớp học, kỳ vọng của gia đình, thời gian học ngoài giờ và chương trình chú trọng nền tảng được nêu như giả thuyết. Mức bao phủ thấp ở các vòng đầu cũng được chỉ ra là một phần lời giải.
Vì vậy cách đọc thận trọng là: kết quả của Việt Nam cho thấy học sinh đang đi học ở tuổi 15 nắm kiến thức nền khá vững so với mức thu nhập quốc gia; nhưng không nên coi điểm vòng 2012 là mốc chuẩn để kết luận "tụt dốc" ở vòng 2022, vì giữa hai vòng có thay đổi về phương thức thi, về bao phủ và một đại dịch làm gián đoạn học tập ở hầu hết các nước. Câu hỏi chính sách hữu ích hơn là tỷ lệ dưới mức 2 và khoảng cách giữa các nhóm học sinh đang thay đổi ra sao.
Quy trình đọc một báo cáo PISA trong 15 phút
Khi một vòng PISA mới công bố, các bước dưới đây giúp bạn có nhận định đứng vững trước khi đọc bình luận của người khác.
- Mở bảng điểm trung bình kèm sai số chuẩn, ghi lại khoảng thứ hạng thay vì một thứ hạng duy nhất.
- Tìm chỉ số bao phủ của nước quan tâm và so với các nước định so sánh; chênh lệch trên 0,15 là cần cảnh giác.
- Đọc tỷ lệ học sinh dưới mức 2 và tỷ lệ đạt mức 5–6; xem đuôi dưới hay đuôi trên đang thay đổi.
- Xem độ dốc theo chỉ số kinh tế, xã hội và văn hoá (ESCS) để biết hoàn cảnh gia đình dự báo điểm mạnh đến đâu.
- Khi so với vòng trước, kiểm tra OECD có ghi chú về tính so sánh, đổi phương thức thi hay đổi mẫu không, và cộng sai số liên kết.
- Ghi riêng các nhận định nhân quả trong báo cáo hoặc bình luận, rồi hỏi: bằng chứng nào ngoài tương quan chéo quốc gia ủng hộ điều này?
Sáu bước này cũng áp dụng được cho TIMSS, PIRLS hay các khảo sát khu vực như SEA-PLM ở Đông Nam Á. Điểm chung của mọi đánh giá quy mô lớn là chúng tốt cho việc theo dõi hệ thống và kém cho việc quy trách nhiệm cho một trường hay một chính sách đơn lẻ.
Câu hỏi thường gặp
PISA và TIMSS khác nhau thế nào, nên tin cái nào hơn?
TIMSS đánh giá theo khối lớp 4 và 8, câu hỏi bám sát nội dung chương trình toán và khoa học; PISA đánh giá theo độ tuổi 15 và nhấn vào vận dụng. Hai bộ đo hai thứ khác nhau nên không có cái nào đáng tin hơn tuyệt đối. Khi hai nguồn cùng chỉ một hướng, kết luận vững hơn; khi lệch nhau, sự lệch đó thường chứa thông tin về đặc điểm chương trình.
Dữ liệu PISA có tải về để tự phân tích được không?
Có. OECD công khai dữ liệu vi mô ở cấp học sinh và trường, kèm hướng dẫn kỹ thuật. Muốn tính đúng, bạn cần dùng trọng số mẫu, trọng số lặp và toàn bộ các giá trị khả dĩ; có các gói phần mềm trong R, Stata và SPSS hỗ trợ việc này. Bỏ qua các yếu tố đó là lỗi hay gặp trong luận văn.
Học thêm có làm sai lệch kết quả PISA không?
PISA đo năng lực học sinh có được từ mọi nguồn, không chỉ trường học, nên học thêm là một phần của kết quả chứ không phải "sai lệch". Vấn đề chỉ nảy sinh khi người đọc gán toàn bộ điểm cho nhà trường hay chương trình. Bảng hỏi PISA có câu về thời gian học ngoài giờ, cho phép mô tả nhưng không đủ để tách tác động nhân quả.
Một nước có thể luyện thi để nâng điểm PISA không?
Mẫu ngẫu nhiên và câu hỏi bảo mật khiến việc luyện đề trực tiếp khó hiệu quả, nhưng làm quen dạng câu hỏi vận dụng, cách làm bài trên máy tính và động lực làm bài có ảnh hưởng nhất định. Một số nghiên cứu chỉ ra khác biệt về nỗ lực làm bài giữa các nước, vì bài thi không có hệ quả với học sinh. Đây là lý do nên đọc thay đổi lớn đột ngột một cách dè dặt.
Chênh lệch bao nhiêu điểm PISA tương đương một năm học?
Từng có cách quy đổi thô khoảng vài chục điểm cho một năm học, nhưng các ước tính dao động rộng theo nước, lĩnh vực và phương pháp, và OECD về sau thận trọng hơn với phép quy đổi này. Dùng nó để minh hoạ quy mô thì được, dùng như một tỷ giá chính xác thì không nên.
Kết quả PISA có dự báo tăng trưởng kinh tế không?
Các nghiên cứu của Hanushek và Woessmann dùng điểm các bài đánh giá quốc tế, trong đó có PISA, và thấy kỹ năng nhận thức trung bình tương quan mạnh với tăng trưởng dài hạn, mạnh hơn số năm đi học. Tuy vậy đây vẫn là tương quan liên quốc gia, có tranh luận về hướng nhân quả và về độ nhạy với cách chọn mẫu nước.
