Một can thiệp kéo dài 8 tuần, điểm số của học sinh tăng rõ rệt, kết quả kiểm định cũng cho thấy sự khác biệt. Nghe có vẻ đủ để kết luận phương pháp mới hiệu quả.
Nhưng chưa chắc. Nếu nhóm học sinh vốn đã tiến bộ theo thời gian, nếu hai nhóm khác nhau ngay từ đầu, hoặc nếu chính cách đo lường tạo ra sự chênh lệch, thì một kết quả “đẹp” vẫn có thể dẫn đến kết luận sai.
Đó là lý do thiết kế nghiên cứu thực nghiệm quan trọng hơn nhiều người nghĩ. Chọn sai thiết kế không chỉ làm nghiên cứu yếu đi, mà còn có thể khiến toàn bộ dữ liệu phía sau trả lời sai câu hỏi ban đầu. Vậy giữa tiền thực nghiệm, bán thực nghiệm và thực nghiệm chuẩn, đâu là thiết kế phù hợp với từng tình huống nghiên cứu? Cùng IPER tìm hiểu trong bài viết dưới đây.
Thiết kế nghiên cứu thực nghiệm thực chất là gì?
Thiết kế nghiên cứu thực nghiệm không đơn giản là chia người tham gia thành các nhóm rồi đo kết quả trước và sau can thiệp. Đó là cách người nghiên cứu sắp xếp can thiệp, nhóm so sánh, thời điểm đo, cách phân nhóm và các điều kiện kiểm soát để trả lời một câu hỏi quan trọng: Sự thay đổi quan sát được có thực sự do can thiệp tạo ra hay không?
Chẳng hạn, sau khi áp dụng một phương pháp dạy học mới, điểm số của học sinh tăng lên. Điều đó cho thấy có sự thay đổi, nhưng chưa đủ để khẳng định phương pháp mới chính là nguyên nhân. Điểm số có thể tăng vì nhiều yếu tố khác như sự trưởng thành tự nhiên của học sinh, tác động từ môi trường học tập hoặc chính cách đo lường.
Vì vậy, thiết kế cần được tính đến ngay từ đầu. Một kỹ thuật thống kê phù hợp có thể giúp phân tích dữ liệu tốt hơn, nhưng khó có thể bù đắp hoàn toàn cho một thiết kế vốn không tạo ra được phép so sánh đủ đáng tin cậy. Đây cũng là lý do thiết kế nghiên cứu được xem là phần trung tâm của tư duy thực nghiệm trong cuốn sách Nghiên cứu thực nghiệm trong Khoa học Giáo dục.
Muốn chọn đúng thiết kế, trước hết phải biết mình đang so sánh với điều gì
Điểm khó của nghiên cứu thực nghiệm nằm ở chỗ: chúng ta nhìn thấy điều đã xảy ra sau can thiệp, nhưng thứ thực sự muốn biết lại là điều gì sẽ xảy ra nếu can thiệp không được thực hiện.
Ví dụ, một học sinh tham gia chương trình học mới và đạt kết quả tốt hơn sau ba tháng. Ta biết kết quả của em sau khi tham gia chương trình, nhưng không thể đồng thời quan sát chính học sinh đó, trong cùng ba tháng ấy, ở một thế giới khác nơi em không tham gia chương trình.
“Thế giới không xảy ra” này chính là logic của phản thực (counterfactual). Nghiên cứu thực nghiệm phải tìm cách tạo ra một phép so sánh đủ gần với nó.
Đó có thể là một nhóm đối chứng không nhận can thiệp. Nếu điều kiện cho phép, người tham gia có thể được phân nhóm ngẫu nhiên để các nhóm có điểm xuất phát tương đối tương đồng. Khi không thể random hóa — tình huống rất thường gặp trong giáo dục — người nghiên cứu có thể phải dựa vào nhóm so sánh sẵn có, nhiều lần đo theo thời gian hoặc các thiết kế bán thực nghiệm khác.
Vì vậy, trước khi hỏi “nên chọn thiết kế nào?”, cần hỏi trước:
“Tôi sẽ so sánh kết quả này với điều gì để có thể tin rằng sự khác biệt đến từ can thiệp?”
Câu trả lời cho câu hỏi đó chính là điểm xuất phát để phân biệt tiền thực nghiệm, bán thực nghiệm và thực nghiệm chuẩn.
Ba nhóm thiết kế nghiên cứu thực nghiệm thường gặp
Trong nghiên cứu giáo dục, không phải mọi nghiên cứu thực nghiệm đều có mức độ kiểm soát giống nhau. Có nghiên cứu chỉ theo dõi một nhóm trước và sau can thiệp, có nghiên cứu có thêm nhóm đối chứng, và cũng có những trường hợp người nghiên cứu muốn đánh giá tác động nhưng không thể phân nhóm ngẫu nhiên.
Tham khảo cách phân loại trong Nghiên cứu thực nghiệm trong Khoa học Giáo dục, có thể chia các thiết kế phổ biến thành ba nhóm: tiền thực nghiệm, bán thực nghiệm và thực nghiệm chuẩn. Khác biệt giữa chúng chủ yếu nằm ở cách tổ chức nhóm, mức độ ngẫu nhiên hóa và khả năng kiểm soát những yếu tố có thể ảnh hưởng đến kết quả.
Tiền thực nghiệm: phù hợp để quan sát sự thay đổi ban đầu
Thiết kế tiền thực nghiệm thường được sử dụng khi người nghiên cứu chỉ có một nhóm đối tượng, đo trước can thiệp, triển khai một phương pháp hoặc chương trình mới rồi đo lại sau đó.
Cấu trúc quen thuộc là:
O₁ → X → O₂
Ưu điểm của kiểu thiết kế này là đơn giản và dễ triển khai, đặc biệt trong nghiên cứu thăm dò, nghiên cứu hành động hoặc các nghiên cứu quy mô nhỏ. Tuy nhiên, nếu kết quả sau can thiệp tốt hơn trước, điều đó mới cho thấy đã có sự thay đổi, chứ chưa đủ để khẳng định sự thay đổi đó hoàn toàn do can thiệp tạo ra.
Trong khoảng thời gian nghiên cứu, người học vẫn có thể chịu tác động từ quá trình trưởng thành, môi trường học tập hoặc những yếu tố khác ngoài nghiên cứu. Vì vậy, thiết kế tiền thực nghiệm cần được diễn giải thận trọng, nhất là khi đưa ra kết luận về quan hệ nguyên nhân – kết quả.
Thực nghiệm chuẩn: tăng khả năng xác định tác động của can thiệp
Thiết kế thực nghiệm chuẩn thường có nhóm thực nghiệm, nhóm đối chứng và phân nhóm ngẫu nhiên. Việc ngẫu nhiên hóa giúp hạn chế những khác biệt có hệ thống giữa các nhóm ngay từ đầu, nhờ đó kết quả sau can thiệp có cơ sở tốt hơn để được liên hệ với chính tác động đang được kiểm chứng.
Đây là lý do thực nghiệm chuẩn có sức mạnh lớn trong suy luận nhân quả.
Tuy vậy, điều kiện của nghiên cứu giáo dục không phải lúc nào cũng cho phép triển khai theo mô hình lý tưởng này. Học sinh thường đã được xếp lớp sẵn, việc tổ chức lại nhóm có thể gặp ràng buộc về quản lý hoặc đạo đức, và các nhóm cũng không phải lúc nào cũng có thể được giữ hoàn toàn tách biệt trong suốt quá trình nghiên cứu.
Vì thế, một thiết kế mạnh về phương pháp luận vẫn cần được xem xét trong mối quan hệ với điều kiện triển khai thực tế.
Bán thực nghiệm: khi không thể ngẫu nhiên hóa hoàn toàn
Thiết kế bán thực nghiệm nằm giữa hai trường hợp trên. Người nghiên cứu vẫn muốn đánh giá tác động của một can thiệp, nhưng phải làm việc trong điều kiện mà việc phân nhóm ngẫu nhiên không khả thi.
Đây là tình huống khá phổ biến trong giáo dục, khi các lớp học, trường học hoặc nhóm người học đã tồn tại sẵn. Khi đó, thay vì từ bỏ mục tiêu đánh giá tác động, nhà nghiên cứu cần lựa chọn một cách tổ chức phép so sánh phù hợp hơn với dữ liệu và bối cảnh thực tế.
Các thiết kế bán thực nghiệm có nhiều biến thể khác nhau, và điểm khó không nằm ở việc nhớ tên từng mô hình, mà ở việc hiểu mỗi thiết kế phù hợp với điều kiện nào và cho phép kết luận đến mức nào.
Nếu chỉ dừng ở việc phân biệt tên các thiết kế thì vẫn chưa đủ để triển khai một nghiên cứu thực tế. Phần khó hơn nằm ở việc xác định trường hợp nào nên chọn thiết kế nào, phải chấp nhận những giới hạn gì và kết luận có thể đi xa đến đâu.
Chọn thiết kế nghiên cứu thực nghiệm: 5 câu hỏi cần trả lời trước khi quyết định
Không có một thiết kế nào phù hợp cho mọi nghiên cứu. Việc lựa chọn cần dựa trên câu hỏi nghiên cứu, điều kiện triển khai và loại dữ liệu có thể thu thập, thay vì chỉ ưu tiên thiết kế được xem là “mạnh” hơn.
Trước khi chốt thiết kế nghiên cứu thực nghiệm, người nghiên cứu nên tự trả lời 5 câu hỏi nền tảng sau. Chúng không tạo ra một “công thức chọn thiết kế”, nhưng giúp hạn chế việc lựa chọn theo thói quen hoặc theo mức độ thuận tiện.
Tôi muốn quan sát sự thay đổi hay muốn xác định tác động?
Hai mục tiêu này không giống nhau. Nếu chỉ muốn biết người học có thay đổi sau một chương trình hay không, yêu cầu về thiết kế có thể khác với trường hợp muốn đi xa hơn và xác định rằng chính can thiệp đã tạo ra thay đổi đó.
Mức độ kết luận mong muốn vì thế cần được xác định ngay từ đầu, bởi nó ảnh hưởng trực tiếp đến cách tổ chức nghiên cứu.
Tôi có một phép so sánh đủ hợp lý không?
Một nghiên cứu thực nghiệm luôn cần một cơ sở để đối chiếu. Đó có thể là một nhóm khác, trạng thái trước can thiệp hoặc dữ liệu được theo dõi qua nhiều thời điểm. Điều quan trọng không chỉ là “có nhóm đối chứng hay không”, mà là phép so sánh đó có đủ hợp lý để giúp phân biệt tác động của can thiệp với những nguyên nhân khác hay không.
Tôi có thể phân nhóm ngẫu nhiên không?
Ngẫu nhiên hóa giúp hạn chế những khác biệt có hệ thống giữa các nhóm. Tuy nhiên, trong nghiên cứu giáo dục, điều này thường khó thực hiện vì người học đã được xếp lớp, nhà trường có những ràng buộc về tổ chức và không phải can thiệp nào cũng có thể triển khai tự do. Nếu không thể ngẫu nhiên hóa, nghiên cứu không vì thế mà mất giá trị, nhưng người nghiên cứu cần lựa chọn một thiết kế phù hợp hơn với điều kiện thực tế.
Ngoài can thiệp, điều gì khác có thể làm kết quả thay đổi?
Kết quả học tập có thể chịu ảnh hưởng từ năng lực ban đầu, giáo viên, môi trường, động lực học tập, thời gian hoặc nhiều yếu tố khác. Nếu những yếu tố này không được tính đến, sự thay đổi sau can thiệp rất dễ bị quy hoàn toàn cho chương trình đang nghiên cứu. Vì vậy, việc nhận diện trước những yếu tố có thể làm nhiễu phép so sánh là một phần quan trọng của quá trình thiết kế.
Thiết kế này có tạo ra loại dữ liệu phù hợp để phân tích không?
Thiết kế nghiên cứu và kế hoạch phân tích không nên được xây dựng tách rời nhau. Nếu nghiên cứu cần so sánh sự thay đổi theo thời gian, đánh giá khác biệt giữa các nhóm hoặc xem xét dữ liệu ở nhiều cấp độ, cách thu thập dữ liệu phải được tính từ trước. Thu dữ liệu xong mới quyết định “sẽ chạy phép gì” thường cho thấy thiết kế chưa được chuẩn bị đủ kỹ.
Thiết kế và phân tích không phải hai bước tách biệt; chúng cần được tính cùng nhau ngay từ đầu.
Những sai lầm khiến thiết kế nghiên cứu mất giá trị
Không ít nghiên cứu gặp vấn đề không phải vì thiếu dữ liệu, mà vì quyết định thiết kế ban đầu chưa đủ chặt chẽ. Có bốn lỗi đáng lưu ý.
Chọn thiết kế vì dễ làm, không vì phù hợp với câu hỏi
Một thiết kế đơn giản có thể rất phù hợp trong một nghiên cứu thăm dò, nhưng sẽ trở nên yếu nếu mục tiêu lại là đưa ra kết luận nhân quả mạnh. Vấn đề không nằm ở việc thiết kế đơn giản hay phức tạp, mà ở chỗ nó có phù hợp với câu hỏi nghiên cứu hay không.
Có nhóm đối chứng nhưng hai nhóm khác nhau quá nhiều từ đầu
Có nhóm đối chứng không tự động làm nghiên cứu trở nên đáng tin cậy. Nếu hai nhóm khác nhau đáng kể về năng lực, bối cảnh hoặc các đặc điểm quan trọng ngay từ đầu, thì khác biệt cuối cùng rất dễ bị diễn giải sai. Vì vậy, chất lượng của phép so sánh quan trọng hơn việc chỉ “có hai nhóm”.
Thu dữ liệu xong mới nghĩ đến cách phân tích
Đây là lỗi khá phổ biến. Khi đó, người nghiên cứu thường phải cố tìm một kỹ thuật phù hợp với bộ dữ liệu đã có, thay vì thu dữ liệu theo đúng yêu cầu của câu hỏi nghiên cứu ngay từ đầu. Hệ quả là phân tích có thể đúng về mặt kỹ thuật nhưng không thực sự trả lời được vấn đề ban đầu.
Kết luận mạnh hơn những gì thiết kế cho phép
Đây có lẽ là lỗi nghiêm trọng nhất. Một nghiên cứu có thể quan sát thấy sự thay đổi, nhưng điều đó không đồng nghĩa với việc đã chứng minh được quan hệ nhân quả. Nếu thiết kế không đủ để loại trừ những cách giải thích khác, kết luận cũng cần được giới hạn tương ứng.
Vì vậy, giá trị của một thiết kế tốt không chỉ nằm ở việc tạo ra dữ liệu, mà còn ở việc giúp người nghiên cứu biết mình có thể kết luận đến đâu và nên dừng ở đâu.
Những vấn đề như lựa chọn thiết kế phù hợp, kiểm soát sai lệch, xác định giới hạn của từng phương án và kết nối thiết kế với cách phân tích được trình bày khá kỹ trong cuốn sách Nghiên cứu thực nghiệm trong Khoa học Giáo dục của TS. Lê Thị Thanh Tịnh và GS. Trần Trung. Đây cũng là phần giúp người đọc đi từ việc nhận diện một thiết kế đến hiểu rõ hơn vì sao và trong điều kiện nào thiết kế đó có thể được sử dụng.
Một thiết kế tốt không loại bỏ mọi sai số, nhưng giúp người nghiên cứu nhận diện chúng
Không có một thiết kế nghiên cứu nào loại bỏ hoàn toàn mọi nguồn sai lệch. Trong thực tế, người nghiên cứu luôn phải cân nhắc giữa độ chặt chẽ về phương pháp, tính khả thi, yêu cầu đạo đức và nguồn lực có thể huy động.
Vì vậy, mục tiêu không nhất thiết là tìm một thiết kế “hoàn hảo”, mà là hiểu thiết kế mình đang sử dụng có điểm mạnh ở đâu, dễ bị ảnh hưởng bởi những yếu tố nào và kết quả thu được cho phép đưa ra kết luận ở mức độ nào.
Một nghiên cứu có giới hạn không đồng nghĩa với một nghiên cứu không có giá trị. Vấn đề nằm ở việc người nghiên cứu có nhận diện được những giới hạn ấy và diễn giải kết quả đúng trong phạm vi mà thiết kế cho phép hay không.
Thiết kế tốt không khiến nghiên cứu “không có sai số”; nó giúp người nghiên cứu biết sai số có thể đến từ đâu và kết luận của mình được phép đi xa đến mức nào.
Từ nguyên tắc chung đến một đề tài nghiên cứu thực tế
Khi bước vào một nghiên cứu cụ thể, việc lựa chọn thiết kế thường phức tạp hơn nhiều so với việc chỉ phân biệt tiền thực nghiệm, bán thực nghiệm hay thực nghiệm chuẩn. Hai nhóm khác nhau ngay từ đầu thì xử lý ra sao, không có nhóm đối chứng thì tổ chức phép so sánh thế nào, hay dữ liệu lồng theo học sinh – lớp – trường cần được tính đến như thế nào đều phụ thuộc vào bối cảnh và cấu trúc của từng nghiên cứu.
Vì vậy, lựa chọn thiết kế luôn cần được xem xét đồng thời với câu hỏi nghiên cứu, cấu trúc dữ liệu, điều kiện triển khai và mức độ kết luận mong muốn. Những vấn đề này cũng được phân tích khá kỹ trong Nghiên cứu thực nghiệm trong Khoa học Giáo dục của TS. Lê Thị Thanh Tịnh và GS. Trần Trung, đặc biệt ở cách mỗi lựa chọn thiết kế gắn với những điều kiện và giới hạn khác nhau của nghiên cứu thực tế.
Kết bài
Thiết kế nghiên cứu thực nghiệm không phải là một bước thủ tục để hoàn thiện đề cương, mà là nền tảng quyết định dữ liệu sau này có thực sự trả lời được câu hỏi nghiên cứu hay không. Một thiết kế phù hợp giúp người nghiên cứu biết mình đang so sánh điều gì, cần kiểm soát những yếu tố nào và nên diễn giải kết quả trong phạm vi nào.
Vì vậy, thay vì bắt đầu từ câu hỏi “nên dùng phép phân tích nào?”, sẽ hợp lý hơn nếu bắt đầu từ một câu hỏi nền tảng hơn: “Với câu hỏi nghiên cứu này, tôi cần một thiết kế như thế nào để kết luận của mình đủ đáng tin?”