Buổi talkshow ra mắt cuốn sách “Nghiên cứu thực nghiệm trong khoa học giáo dục” đã diễn ra thành công với sự tham dự của hơn 50 khán giả, mở ra một cuộc trao đổi giàu tính học thuật nhưng đồng thời rất gần với những vấn đề mà nghiên cứu sinh, học viên cao học, giảng viên và người làm nghiên cứu giáo dục thường xuyên gặp phải.
Không chỉ giới thiệu một cuốn sách mới, talkshow đặt ra hàng loạt câu hỏi thực tế: Vì sao nhiều nghiên cứu giáo dục tại Việt Nam đều đi đến kết luận rằng biện pháp can thiệp “có hiệu quả”? Làm thế nào để thiết kế một nghiên cứu thực nghiệm khi không thể chia lớp ngẫu nhiên? Có nhất thiết phải có nhóm đối chứng? Một kết quả có p-value nhỏ đã đủ để khẳng định một phương pháp dạy học có giá trị hay chưa? Và khi AI đã hiện diện trong hầu hết hoạt động học tập, chúng ta có thể nghiên cứu tác động của AI bằng cách nào?
Đó cũng chính là những vấn đề cuốn sách mong muốn đưa người đọc đến gần hơn bằng một cách tiếp cận có hệ thống, thực hành và phù hợp với bối cảnh nghiên cứu khoa học giáo dục.
Từ một trăn trở quen thuộc của nghiên cứu giáo dục Việt Nam
Mở đầu talkshow, TS. Phạm Hiệp gợi lại một quan sát đáng chú ý: trong nhiều luận văn, luận án và nghiên cứu về phương pháp giảng dạy tại Việt Nam, phần thực nghiệm sư phạm gần như trở thành một cấu phần quen thuộc. Tuy nhiên, việc thực hiện một nghiên cứu thực nghiệm với con người – đặc biệt là học sinh, sinh viên – phức tạp hơn rất nhiều so với việc đơn thuần chia thành “nhóm thực nghiệm” và “nhóm đối chứng”.
GS. Trần Trung tiếp tục câu chuyện từ những trăn trở về khả năng tái lập kết quả nghiên cứu trong khoa học xã hội. Một biện pháp sư phạm có thể cho kết quả tích cực ở nghiên cứu này nhưng chưa chắc tạo ra kết quả tương tự ở một bối cảnh, nhóm người học hoặc cách triển khai khác. Chính vì vậy, thiết kế nghiên cứu, cách chọn mẫu, kiểm soát biến và cách diễn giải kết quả có vai trò quyết định đối với chất lượng của bằng chứng thu được.
Một điểm được nhấn mạnh tại talkshow là: ý nghĩa thống kê chưa đồng nghĩa với ý nghĩa thực tiễn. Một nghiên cứu không nên chỉ kết thúc bằng câu “giả thuyết được chấp nhận” hay “kết quả có ý nghĩa thống kê”, mà cần trả lời sâu hơn rằng tác động lớn đến đâu, có giá trị như thế nào trong bối cảnh thực tế và đâu có thể là những yếu tố khác ảnh hưởng đến kết quả.
Chính khoảng trống đó cũng trở thành một trong những động lực để cuốn “Nghiên cứu thực nghiệm trong khoa học giáo dục” ra đời. Theo chia sẻ tại sự kiện, cuốn sách hướng tới việc cung cấp một tài liệu bằng tiếng Việt cho nghiên cứu sinh, học viên cao học, người thực hiện đề tài khoa học cũng như những người làm chính sách giáo dục có thể thiết kế, kiểm soát và diễn giải nghiên cứu thực nghiệm một cách bài bản hơn.
Hiểu “phản thực” trước khi nghĩ đến nhóm thực nghiệm và nhóm đối chứng
Một trong những phần thảo luận nổi bật nhất của talshow đến từ cách cô Thanh Tịnh lý giải bản chất của nghiên cứu thực nghiệm thông qua khái niệm counterfactual – phản thực.
Theo chia sẻ tại sự kiện, khi muốn biết một can thiệp có thực sự tạo ra tác động hay không, nhà nghiên cứu phải trả lời một câu hỏi tưởng chừng không thể quan sát trực tiếp: Điều gì sẽ xảy ra với chính đối tượng đó nếu can thiệp không diễn ra?
Một người không thể đồng thời vừa sử dụng AI vừa không sử dụng AI trong cùng một thời điểm. Vì vậy, nhà nghiên cứu cần tạo ra một “thực tế thay thế” đủ tương đồng để so sánh. Hai phía càng tương đồng, khả năng quy kết sự khác biệt cho chính can thiệp càng đáng tin cậy.
Đây cũng là lý do ngẫu nhiên hóa, nhóm đối chứng và việc kiểm soát các yếu tố gây nhiễu trở nên quan trọng trong nghiên cứu thực nghiệm. Tuy nhiên, talkshow cũng nhấn mạnh rằng không phải nghiên cứu thực nghiệm nào cũng bắt buộc phải có nhóm đối chứng theo mô hình truyền thống. Có nhiều thiết kế khác nhau giúp nhà nghiên cứu tiến gần tới việc xây dựng một phản thực đáng tin cậy trong những điều kiện thực tế khác nhau.
Khi giáo dục không cho phép chúng ta “random” như trong sách giáo khoa
Đây có lẽ là vấn đề gần gũi nhất với người làm nghiên cứu giáo dục.
Trong thực tế, học sinh đã được phân lớp, giáo viên đã được phân công và hoạt động dạy học đang vận hành theo những cấu trúc có sẵn. Nhà nghiên cứu khó có thể tùy ý lấy một số học sinh trong cùng một lớp để học theo phương pháp A, số còn lại học theo phương pháp B.
Ngay cả khi đã có nhóm thực nghiệm và nhóm đối chứng, các yếu tố ngoài dự kiến vẫn có thể xuất hiện. TS. Phạm Hiệp chia sẻ một trường hợp chính các sinh viên thuộc hai nhóm trao đổi với nhau ngoài giờ học, khiến ranh giới giữa nhóm thực nghiệm và nhóm đối chứng bị “nhiễm”.
Từ bài toán thực tế này, talkshow giới thiệu ba hướng xử lý đáng chú ý.
- ANCOVA (Analysis of Covariance) có thể được sử dụng khi hai nhóm có những khác biệt ban đầu. Nhà nghiên cứu tiến hành đo đầu vào và đầu ra, sau đó sử dụng kỹ thuật thống kê để hiệu chỉnh những khác biệt ban đầu nhằm đánh giá rõ hơn phần thay đổi có thể liên quan đến can thiệp.
- Interrupted Time Series – thiết kế chuỗi thời gian gián đoạn cho phép theo dõi một đối tượng hoặc một nhóm qua nhiều thời điểm trước và sau can thiệp. Nếu quỹ đạo thay đổi rõ rệt tại thời điểm can thiệp, nhà nghiên cứu có thêm cơ sở để xem xét tác động của can thiệp đó.
- Difference in Differences (DiD) – sai biệt kép giúp so sánh mức thay đổi giữa các nhóm thay vì chỉ so sánh kết quả cuối cùng. Cách tiếp cận này đặc biệt hữu ích khi cần phân biệt ảnh hưởng của can thiệp với quá trình trưởng thành hoặc thay đổi tự nhiên của người học.
Thông điệp đáng nhớ được nêu trong phần trao đổi là: thà thực hiện một nghiên cứu không có nhóm đối chứng nhưng được thiết kế tốt còn hơn có một nhóm đối chứng nhưng thiết kế không phù hợp.
Đừng chỉ hỏi “có hiệu quả hay không?”
Một điểm thú vị khác của talkshow là cách các diễn giả chuyển câu hỏi nghiên cứu từ tư duy nhị phân “có hiệu quả/không hiệu quả” sang những câu hỏi sâu hơn.
Khi một phương pháp đã từng được nghiên cứu, nhà nghiên cứu không nhất thiết phải tạo lại mọi thứ từ đầu. Thay vào đó, có thể sử dụng một bộ công cụ đã được kiểm định, tái lập nghiên cứu trong bối cảnh mới và xem xét thêm các biến nhiễu – confounders.
Khi đó, câu hỏi có thể trở thành:
Điều gì khiến phương pháp này hiệu quả hơn trong một nhóm người học nhất định?
Điều gì cản trở phương pháp đạt được hiệu quả như kỳ vọng?
Trong điều kiện nào can thiệp phát huy tác dụng tốt nhất?
Theo chia sẻ của cô Thanh Tịnh, những câu hỏi như vậy thậm chí có thể tạo ra đóng góp đáng giá hơn so với việc chỉ cố chứng minh rằng một phương pháp “có hiệu quả”.
Nghiên cứu AI trong giáo dục: thay đổi câu hỏi để tìm được thiết kế phù hợp
Phần giao lưu với khán giả trở nên đặc biệt sôi nổi khi câu chuyện chuyển sang AI.
Một câu hỏi được đặt ra: khi hầu hết học sinh, sinh viên đều đã ít nhiều sử dụng AI, làm thế nào để tạo ra một nhóm “không sử dụng AI” đủ rõ ràng để làm đối chứng?
Gợi ý được đưa ra tại talkshow là thay đổi phản thực.
Thay vì chỉ hỏi “dùng AI có tốt hơn không dùng AI?”, nhà nghiên cứu có thể so sánh các cơ chế sử dụng AI khác nhau.
Chẳng hạn, một nhóm sử dụng AI trước khi học, một nhóm sử dụng sau khi giáo viên giảng, hoặc các nhóm được hướng dẫn những quy trình tương tác với AI khác nhau. Khi đó, câu hỏi nghiên cứu chuyển từ “có AI/không AI” thành “cách sử dụng AI nào tạo ra sự khác biệt và khác biệt đó xuất hiện ở đâu trong tiến trình học tập?”.
Đây cũng là một ví dụ sinh động cho thông điệp xuyên suốt của talkshow: nghiên cứu thực nghiệm không phải một công thức đóng. Thiết kế nghiên cứu phải xuất phát từ câu hỏi nghiên cứu và điều kiện thực tế, thay vì ép thực tế vào một mô hình duy nhất.
Đạo đức nghiên cứu không phải thủ tục làm sau cùng
Khi đối tượng nghiên cứu là con người, đặc biệt là trẻ em, học sinh và sinh viên, vấn đề đạo đức trở thành một phần của chính thiết kế nghiên cứu.
Tại talkshow, các diễn giả đề cập đến những yêu cầu như bảo vệ dữ liệu cá nhân, xin ý kiến người bảo hộ khi cần thiết và đặc biệt là vấn đề công bằng giữa các nhóm tham gia thực nghiệm.
Nếu nhà nghiên cứu tin rằng một phương pháp mới có thể mang lại lợi ích, việc chỉ để nhóm thực nghiệm được tiếp cận phương pháp đó cũng đặt ra câu hỏi về quyền lợi của nhóm đối chứng.
Các diễn giả đồng thời lưu ý rằng với những nghiên cứu liên quan đến con người và hướng tới công bố quốc tế, việc chuẩn bị hồ sơ và sự chấp thuận về đạo đức nghiên cứu cần được xem xét trước khi bắt đầu thu thập dữ liệu, thay vì chờ đến giai đoạn viết bài mới bổ sung.
Không phải cứ “tự làm mới” mới là nghiên cứu tốt
Một quan điểm đáng chú ý khác được GS. Trần Trung đề cập là cách nhìn về tính mới và tính tái lập.
Thay vì luôn tạo một bộ câu hỏi hay công cụ đo lường mới, người nghiên cứu hoàn toàn có thể kế thừa những thang đo, bộ công cụ đã được kiểm định và công bố, sau đó nội địa hóa cho bối cảnh Việt Nam.
Việc sử dụng lại công cụ còn tạo điều kiện để kết quả tại Việt Nam có thể được so sánh với các nghiên cứu trước đó ở những quốc gia hoặc nhóm đối tượng khác, từ đó đóng góp vào quá trình kiểm chứng và tái lập tri thức.
Cũng từ logic này, talkshow đề cập đến vai trò của meta-analysis – phân tích gộp, nơi kết quả của nhiều nghiên cứu thực nghiệm có thể được tổng hợp để tạo ra một bức tranh lớn hơn về một vấn đề giáo dục.
Một cuốn sách, nhưng mở ra nhiều câu hỏi nghiên cứu mới
Với 50 người tham dự và nhiều câu hỏi trao đổi trực tiếp từ người làm giáo dục, buổi talkshow ra mắt “Nghiên cứu thực nghiệm trong khoa học giáo dục” đã khép lại với nhiều hơn một câu chuyện giới thiệu sách.
Xem video talkshow tại đây
Từ khái niệm phản thực, nhóm đối chứng, biến nhiễu, ANCOVA, Interrupted Time Series, Difference in Differences đến effect size, khoảng tin cậy, tái lập nghiên cứu, AI và đạo đức nghiên cứu, mỗi nội dung được đưa ra đều gắn với một bài toán rất thực của người làm khoa học giáo dục.
Quan trọng hơn, buổi trao đổi gợi mở một thay đổi trong cách nhìn về nghiên cứu thực nghiệm: mục tiêu không phải bằng mọi cách chứng minh rằng biện pháp mình đề xuất là đúng, mà là thiết kế một nghiên cứu đủ chặt chẽ để bằng chứng có thể trả lời trung thực rằng biện pháp đó tạo ra tác động gì, trong điều kiện nào và với mức độ ra sao.
Và đôi khi, một kết quả cho thấy can thiệp không hiệu quả cũng chính là một kết quả có giá trị.
Đó cũng là tinh thần mà cuốn “Nghiên cứu thực nghiệm trong khoa học giáo dục” hướng tới: giúp người học và người làm nghiên cứu đi từ một giả thuyết có vẻ hợp lý tới một thiết kế nghiên cứu có khả năng tạo ra bằng chứng đáng tin cậy.