Trong nhiều đề tài giáo dục, cụm từ “thực nghiệm sư phạm” xuất hiện rất quen thuộc. Nhưng trên thực tế, không phải cứ có một phương pháp mới, một nhóm người học và vài lần đo kết quả là đã tạo thành một thực nghiệm đủ sức thuyết phục.
Điểm khó nằm ở chỗ: một nghiên cứu có thể được triển khai khá bài bản, dữ liệu đầy đủ, phân tích thống kê đúng kỹ thuật nhưng vẫn tồn tại những lỗ hổng ngay từ thiết kế. Và khi nền tảng đó chưa chắc, kết luận cuối cùng cũng rất dễ bị đẩy đi xa hơn những gì bằng chứng thực sự cho phép.
Vậy thực nghiệm sư phạm là gì, và những lỗi nào trong khâu thiết kế có thể làm giảm độ tin cậy của cả nghiên cứu? Hãy cùng IPER tìm hiểu trong bài viết dưới đây!
Thực nghiệm sư phạm là gì?
Thực nghiệm sư phạm là phương pháp nghiên cứu dùng để xem một tác động trong giáo dục có làm thay đổi người học hay không. Người nghiên cứu chủ động đưa vào một yếu tố mới, chẳng hạn phương pháp dạy học, nội dung, cách tổ chức dạy học hoặc phương tiện dạy học, rồi theo dõi những thay đổi về nhận thức, hành vi hoặc kết quả học tập.
Trong nhiều nghiên cứu, kết quả của nhóm thực nghiệm, tức nhóm nhận tác động, sẽ được so sánh với nhóm đối chứng, tức nhóm không nhận tác động, để đánh giá rõ hơn ảnh hưởng của can thiệp.
Có thể hiểu ngắn gọn: thực nghiệm sư phạm là cách kiểm tra một giải pháp giáo dục trong thực tế bằng cách chủ động áp dụng nó, theo dõi sự thay đổi và so sánh kết quả để đánh giá tác động.
Vì sao thấy kết quả thay đổi vẫn chưa đủ để kết luận can thiệp có hiệu quả?
Sau một can thiệp, nếu điểm số, kỹ năng hoặc thái độ của người học thay đổi theo hướng tích cực, đó là tín hiệu đáng chú ý. Nhưng trong nghiên cứu thực nghiệm, thay đổi không đồng nghĩa với tác động.
Lý do là kết quả sau can thiệp có thể chịu ảnh hưởng từ nhiều yếu tố khác ngoài chính can thiệp đó, chẳng hạn sự tiến bộ tự nhiên của người học, khác biệt ban đầu giữa các nhóm, môi trường học tập hoặc cách đo lường.
Vì vậy, câu hỏi quan trọng không chỉ là “kết quả có thay đổi không?”, mà là:
“Nếu không có can thiệp, kết quả có thể đã thay đổi như thế nào?”
Đây chính là điểm bắt đầu của tư duy phản thực trong nghiên cứu thực nghiệm: muốn đánh giá tác động, người nghiên cứu cần một cơ sở so sánh đủ hợp lý với điều đã xảy ra sau can thiệp.
Muốn đánh giá tác động, cần so sánh với điều gì?
Trong một nghiên cứu thực nghiệm, người nghiên cứu không thể đồng thời quan sát cùng một nhóm người học ở hai trạng thái: có can thiệp và không có can thiệp.
Vì vậy, nghiên cứu phải tìm một cách so sánh thay thế. Tùy vào điều kiện thực tế, đó có thể là một nhóm đối chứng, một nhóm so sánh, dữ liệu trước – sau can thiệp hoặc một cấu trúc thiết kế khác.
Điều quan trọng không nằm ở việc phải dùng một hình thức cố định, mà ở chỗ phép so sánh đó có đủ hợp lý để giúp người nghiên cứu phân biệt tác động của can thiệp với những nguyên nhân khác hay không.
Đây cũng là lý do thiết kế nghiên cứu thực nghiệm cần được xác định từ đầu, thay vì chỉ được nghĩ đến sau khi dữ liệu đã thu xong.
Thực nghiệm sư phạm có nhất thiết phải có nhóm đối chứng không?
Không phải mọi thực nghiệm sư phạm đều phải có nhóm đối chứng theo cùng một cách. Có nghiên cứu chỉ theo dõi một nhóm trước và sau can thiệp, có nghiên cứu sử dụng hai nhóm nhưng không thể phân nhóm ngẫu nhiên, và cũng có nghiên cứu vừa có nhóm đối chứng vừa thực hiện ngẫu nhiên hóa.
Từ mức độ kiểm soát khác nhau, các thiết kế thực nghiệm trong giáo dục thường được chia thành tiền thực nghiệm, bán thực nghiệm và thực nghiệm chuẩn. Mỗi loại có khả năng hỗ trợ kết luận ở mức độ khác nhau.
Vì vậy, câu hỏi không chỉ là “có nhóm đối chứng hay không?”, mà quan trọng hơn là phép so sánh đang được sử dụng có đủ phù hợp với câu hỏi nghiên cứu và mức độ kết luận mong muốn hay không.
8 lỗi thiết kế khiến thực nghiệm sư phạm mất độ tin cậy
Không ít thực nghiệm sư phạm gặp vấn đề không phải vì thiếu dữ liệu, mà vì cách nghiên cứu được tổ chức ngay từ đầu chưa đủ phù hợp với câu hỏi đặt ra. Một thiết kế chưa chặt chẽ có thể khiến sự thay đổi được quan sát đúng, nhưng nguyên nhân của sự thay đổi lại bị diễn giải sai. Đây cũng là lý do thiết kế được xem là nền tảng của tư duy thực nghiệm trong nghiên cứu giáo dục.
1. Chọn thiết kế vì dễ triển khai, không vì phù hợp với câu hỏi nghiên cứu
Trong thực tế, người nghiên cứu thường phải làm việc với những lớp học đã có sẵn. Vì thuận tiện, một đề tài có thể chỉ chọn một lớp, đo kết quả trước và sau khi áp dụng phương pháp mới rồi dùng sự chênh lệch để đánh giá hiệu quả.
Cách làm này không nhất thiết sai. Vấn đề xuất hiện khi mục tiêu nghiên cứu muốn khẳng định quan hệ nhân quả, trong khi thiết kế được lựa chọn chỉ đủ để cho thấy kết quả đã thay đổi.
Chẳng hạn, thiết kế một nhóm tiền kiểm – hậu kiểm có thể phù hợp với nghiên cứu thăm dò hoặc nghiên cứu hành động. Nhưng do không có nhóm đối chứng, nó khó loại trừ những nguyên nhân khác có thể xảy ra cùng thời điểm với can thiệp.
Một thiết kế không “yếu” chỉ vì nó đơn giản; nó trở nên yếu khi không đủ sức trả lời câu hỏi mà nghiên cứu đang đặt ra.
Đây là lý do người nghiên cứu nên xác định thiết kế nghiên cứu thực nghiệm từ câu hỏi nghiên cứu và mức độ kết luận mong muốn, thay vì chỉ dựa vào phương án dễ triển khai nhất.
2. Chỉ thấy Pretest – Posttest thay đổi rồi quy toàn bộ cho can thiệp
Một cấu trúc rất quen thuộc trong thực nghiệm sư phạm là:
O₁ → X → O₂
Trong đó, người học được đo trước can thiệp, tham gia chương trình hoặc phương pháp mới, sau đó được đo lại. Nếu kết quả ở O₂ cao hơn O₁, rất dễ đi đến kết luận rằng X đã tạo ra sự cải thiện.
Nhưng với thiết kế chỉ có một nhóm, sự chênh lệch trước – sau còn có thể chịu ảnh hưởng của nhiều yếu tố khác trong thời gian nghiên cứu, chẳng hạn sự trưởng thành tự nhiên của người học, các sự kiện bên ngoài, việc quen với bài kiểm tra hoặc thay đổi trong cách đo lường.
Vì vậy, Pretest – Posttest cho biết kết quả đã thay đổi, nhưng bản thân sự thay đổi đó chưa đủ để xác định chắc chắn nguyên nhân.
Thay đổi sau can thiệp là bằng chứng về sự thay đổi; chưa mặc nhiên là bằng chứng về nguyên nhân của sự thay đổi.
Đây cũng là điểm cần đặc biệt lưu ý khi lựa chọn và phân tích thiết kế Pretest – Posttest trong nghiên cứu giáo dục.
3. Có nhóm đối chứng nhưng hai nhóm đã khác nhau ngay từ đầu
Việc có một nhóm thực nghiệm và nhóm đối chứng thường giúp nghiên cứu tạo ra phép so sánh tốt hơn. Tuy nhiên, “có hai nhóm” không tự động đồng nghĩa với một phép so sánh công bằng.
Ví dụ, lớp thực nghiệm vốn có điểm đầu vào cao hơn, giáo viên có kinh nghiệm hơn hoặc điều kiện học tập thuận lợi hơn lớp đối chứng. Khi đó, nếu kết quả cuối cùng của hai nhóm khác nhau, rất khó biết phần chênh lệch nào đến từ can thiệp và phần nào đã tồn tại từ trước.
Đây là vấn đề thường gặp trong nghiên cứu giáo dục vì học sinh thường đã được phân vào các lớp từ trước, khiến việc tạo ra các nhóm tương đương hoàn toàn không phải lúc nào cũng khả thi. Với các thiết kế bán thực nghiệm, sự tương đương ban đầu vì thế cần được xem xét cẩn trọng hơn.
Giá trị của nhóm đối chứng không nằm ở việc “có thêm một nhóm”, mà ở chất lượng của phép so sánh mà nhóm đó tạo ra.
Phần này có thể dẫn người đọc sang bài chuyên sâu về nhóm thực nghiệm và nhóm đối chứng.
4. Xem ngẫu nhiên hóa như một thủ tục, hoặc bỏ qua vấn đề phân nhóm
Ngẫu nhiên hóa (randomization) không phải một bước được thêm vào để nghiên cứu trông “chuẩn” hơn. Vai trò quan trọng của nó là giúp giảm khả năng những khác biệt có hệ thống ban đầu tập trung vào một nhóm, từ đó tạo ra cơ sở so sánh tốt hơn giữa nhóm nhận can thiệp và nhóm đối chứng.
Trong thiết kế thực nghiệm chuẩn, nhóm đối chứng và phân nhóm ngẫu nhiên là hai thành tố quan trọng giúp tăng khả năng suy luận rằng khác biệt quan sát được sau nghiên cứu có liên quan đến can thiệp.
Tuy nhiên, trong thực nghiệm sư phạm, ngẫu nhiên hóa thường gặp nhiều hạn chế vì học sinh đã thuộc về lớp, trường hoặc các đơn vị tổ chức có sẵn. Đây cũng là một trong những lý do nghiên cứu giáo dục thường phải sử dụng các thiết kế bán thực nghiệm thay vì thực nghiệm chuẩn hoàn toàn.
Điều cần tránh là bỏ qua vấn đề phân nhóm rồi mặc nhiên xem các nhóm như tương đương.
Không thể ngẫu nhiên hóa không đồng nghĩa với không thể làm nghiên cứu; nhưng khi đó, cách kiểm soát sai lệch và giới hạn của kết luận cần được cân nhắc kỹ hơn.
5. Bỏ qua những yếu tố ngoài can thiệp có thể làm kết quả thay đổi
Trong một thực nghiệm sư phạm, kết quả của người học không chỉ chịu ảnh hưởng từ can thiệp đang được nghiên cứu. Năng lực ban đầu, giáo viên, môi trường học tập, thời lượng học hay sự hỗ trợ ngoài lớp đều có thể làm kết quả thay đổi.
Vấn đề xuất hiện khi một yếu tố vừa khác nhau giữa các nhóm, vừa tác động đến kết quả. Khi đó, người nghiên cứu có thể vô tình gán tác động của yếu tố này cho chính can thiệp.
Ví dụ, nếu lớp thực nghiệm được học với giáo viên giàu kinh nghiệm hơn lớp đối chứng, sự khác biệt cuối cùng chưa chắc chỉ đến từ phương pháp mới.
Đây cũng là lý do biến nhiễu trong nghiên cứu cần được nhận diện ngay từ giai đoạn thiết kế, thay vì chỉ xem xét sau khi đã có dữ liệu.
Vì vậy, một thiết kế tốt không chỉ hỏi “X có tác động đến Y không?”, mà còn phải hỏi “còn điều gì khác có thể khiến Y thay đổi?”
6. Không tính đến việc chính quá trình thực nghiệm có thể làm nghiên cứu thay đổi
Một lỗi dễ bị bỏ qua là cho rằng quá trình thực nghiệm diễn ra “trung tính”. Trong thực tế, chính việc tham gia nghiên cứu cũng có thể làm hành vi của giáo viên và học sinh thay đổi.
Chẳng hạn, giáo viên biết mình đang triển khai một phương pháp mới nên có thể đầu tư nhiều thời gian hoặc kỳ vọng hơn. Học sinh biết mình thuộc nhóm thực nghiệm nên cũng có thể thay đổi mức độ tham gia. Trong một số nghiên cứu, người dạy đồng thời là người đánh giá kết quả, hoặc các lớp có thể trao đổi tài liệu và ảnh hưởng lẫn nhau.
Tài liệu cũng lưu ý rằng ngay cả thiết kế được chuẩn bị cẩn thận vẫn có thể chịu tác động từ kỳ vọng của người dạy, phản ứng của người học khi biết mình đang được nghiên cứu và những yếu tố khó đo lường khác.
Vì vậy, thực nghiệm sư phạm không chỉ cần kiểm soát những gì xảy ra trước can thiệp, mà còn phải chú ý đến những thay đổi phát sinh trong chính quá trình triển khai.
7. Thu dữ liệu xong mới nghĩ đến cách phân tích
Một tình huống khá phổ biến là sau khi đã thu xong dữ liệu pretest và posttest của hai lớp, người nghiên cứu mới bắt đầu đặt câu hỏi:
“Bộ dữ liệu này nên chạy T-test, ANOVA hay ANCOVA?”
Đây là dấu hiệu cho thấy thiết kế và phân tích chưa được nghĩ cùng nhau từ đầu.
Cách phân tích phù hợp phụ thuộc vào câu hỏi nghiên cứu, số nhóm, số thời điểm đo, cấu trúc dữ liệu và cách người tham gia được tổ chức trong thiết kế. Vì vậy, cùng là dữ liệu trước – sau nhưng hai nghiên cứu khác nhau chưa chắc sử dụng cùng một phép phân tích.
Trong tài liệu, hiệu lực kết luận thống kê được xem là một phần của chất lượng suy luận nghiên cứu. Một thiết kế có thể được xây dựng khá chặt chẽ, nhưng kết luận vẫn thiếu tin cậy nếu phép phân tích không phù hợp hoặc kết quả bị diễn giải sai.
Thiết kế và phân tích cần được nghĩ cùng nhau trước khi dữ liệu được thu thập, không phải sau đó.
Đây cũng là lý do việc lựa chọn giữa T-test, ANOVA hay ANCOVA nên xuất phát từ thiết kế và câu hỏi nghiên cứu, thay vì chỉ từ bộ dữ liệu đang có.
8. Kết luận mạnh hơn những gì thiết kế thực sự cho phép
Một trong những lỗi nghiêm trọng nhất của nghiên cứu thực nghiệm giáo dục là đưa ra kết luận mạnh hơn mức bằng chứng mà thiết kế tạo ra.
Ba câu sau nghe khá giống nhau nhưng thực chất không có cùng sức nặng:
- Điểm sau can thiệp cao hơn điểm trước → có sự thay đổi.
- Nhóm can thiệp có kết quả tốt hơn nhóm so sánh → có sự khác biệt giữa các nhóm.
- Can thiệp chính là nguyên nhân tạo ra sự khác biệt → kết luận về quan hệ nhân quả.
Để đi từ “có sự thay đổi” đến “can thiệp gây ra sự thay đổi”, nghiên cứu cần một thiết kế đủ mạnh để loại trừ những cách giải thích cạnh tranh. Không phải mọi thiết kế đều cho phép đi đến mức kết luận này.
Tài liệu nhấn mạnh rằng đánh giá chất lượng nghiên cứu không chỉ dựa vào một con số thống kê, mà còn phải xem xét các dạng hiệu lực và ranh giới giữa giải thích với suy diễn vượt quá bằng chứng.
Một nghiên cứu không mất giá trị chỉ vì có giới hạn; nó mất độ tin cậy khi người nghiên cứu kết luận vượt quá giới hạn mà thiết kế cho phép.
Một nghiên cứu đáng tin không có nghĩa là không có sai số
Không có thiết kế thực nghiệm nào hoàn hảo. Ngay cả khi nghiên cứu được ngẫu nhiên hóa và chuẩn bị cẩn thận, kết quả vẫn có thể chịu ảnh hưởng từ con người, bối cảnh, cách đo lường hoặc những gì xảy ra trong quá trình triển khai.
Vì vậy, mục tiêu của nghiên cứu không phải là loại bỏ hoàn toàn mọi sai lệch, mà là nhận diện chúng có thể xuất hiện ở đâu, hạn chế chúng trong khả năng của thiết kế và diễn giải kết quả đúng với mức độ bằng chứng đang có.
Có thể nhìn vấn đề này qua ba lớp đơn giản: thiết kế nghiên cứu được xây dựng như thế nào, thực nghiệm được triển khai ra sao và kết quả cuối cùng được diễn giải đến mức nào. Một nghiên cứu đáng tin không nhất thiết phải hoàn hảo ở cả ba lớp, nhưng người nghiên cứu cần biết giới hạn của mình nằm ở đâu.
Tài liệu cũng nhấn mạnh rằng giá trị của một nghiên cứu không nằm ở những con số “đẹp”, mà ở việc dữ liệu được tạo ra và diễn giải có đủ trung thực, hợp lý hay không.
5 câu hỏi nên trả lời trước khi bắt đầu thực nghiệm sư phạm
Trước khi quyết định dùng thiết kế nào hoặc chọn phép phân tích thống kê nào, người nghiên cứu nên trả lời năm câu hỏi nền tảng:
- Tôi muốn quan sát sự thay đổi hay muốn xác định tác động nhân quả?
- Tôi sẽ so sánh kết quả với điều gì?
- Các nhóm được so sánh có đủ tương đồng để việc so sánh có ý nghĩa không?
- Ngoài can thiệp, còn yếu tố nào có thể làm kết quả thay đổi?
- Thiết kế hiện tại tạo ra loại dữ liệu nào và cho phép tôi kết luận đến đâu?
Năm câu hỏi này giúp kết nối từ câu hỏi nghiên cứu → thiết kế → dữ liệu → phân tích → kết luận, thay vì xem mỗi bước như một công việc tách rời.
Nếu những câu hỏi trên còn chưa rõ, có lẽ vẫn còn quá sớm để quyết định cuối cùng sẽ dùng T-test, ANOVA, ANCOVA hay một phương pháp phân tích khác. Bởi như tài liệu chỉ ra, hiệu lực kết luận thống kê chính là điểm nối giữa thiết kế và phân tích: một thiết kế tốt vẫn có thể dẫn đến kết luận thiếu tin cậy nếu cách phân tích không phù hợp với dữ liệu được tạo ra.
Từ một thực nghiệm “có kết quả” đến một thực nghiệm có bằng chứng đáng tin
Một thực nghiệm có thể tạo ra chênh lệch trước – sau, sự khác biệt giữa hai nhóm hoặc một kết quả có ý nghĩa thống kê. Nhưng những điều đó chưa tự động biến nghiên cứu thành bằng chứng mạnh.
Điều quan trọng hơn là người nghiên cứu có xây dựng được một phép so sánh phù hợp, nhận diện được những cách giải thích khác cho kết quả và giữ kết luận trong giới hạn mà thiết kế thực sự cho phép hay không. Đây cũng là tinh thần xuyên suốt của việc đánh giá hiệu lực nghiên cứu: không chỉ hỏi kết quả có xuất hiện hay không, mà còn hỏi kết quả đó đáng tin đến đâu và có thể được diễn giải đến mức nào.
Khi bước vào một đề tài thực tế, những lựa chọn này thường phức tạp hơn nhiều: không thể ngẫu nhiên hóa thì tổ chức phép so sánh thế nào, hai nhóm khác nhau ban đầu cần được xem xét ra sao, không có nhóm đối chứng thì giới hạn suy luận nằm ở đâu, hay dữ liệu học sinh nằm trong lớp và trường sẽ ảnh hưởng thế nào đến cách phân tích.
Những vấn đề về lựa chọn thiết kế, kiểm soát sai lệch và giới hạn suy luận được TS. Lê Thị Thanh Tịnh và GS. Trần Trung triển khai sâu hơn trong Nghiên cứu thực nghiệm trong Khoa học Giáo dục, từ tiền thực nghiệm, bán thực nghiệm và thực nghiệm chuẩn đến các vấn đề về hiệu lực và kiểm soát sai lệch trong bối cảnh giáo dục.
Thực nghiệm sư phạm không trở nên đáng tin chỉ vì có can thiệp, có Pretest – Posttest hay có một kết quả thống kê có ý nghĩa. Giá trị của nghiên cứu nằm ở việc thiết kế tạo ra được bằng chứng gì và người nghiên cứu có diễn giải đúng giới hạn của bằng chứng đó hay không.