Measuring Complex Problem Solving in Jordanian Higher Education Feasibility, Construct Validity and Logfile-Based Behavioural Pattern Analyses /
This study investigated the feasibility and the applicability of using the third generation computer-based assessment of complex problem solving (CPS) based on the MicroDYN approach at the Jordanian higher education level. The tests were administered online via the eDia assessment platform for all d...
Elmentve itt :
| Szerző: | |
|---|---|
| További közreműködők: | |
| Dokumentumtípus: | Disszertáció |
| Megjelent: |
2022-11-29
|
| Kulcsszavak: | Complex problem solving, Higher education, Logfile analyses, The MicroDYN approach, Information and communications technology, Computer-based assessment, Test-taking behavior, Exploration strategies; komplex problémamegoldás, felsőoktatás, logfájl elemzés, MicroDYN megközelítés, információs és kommunikációs technológiák, számítógép alapú tesztelés, tesztmegoldási viselkedés, felfedező stratégiák |
| Tárgyszavak: | |
| doi: | 10.14232/phd.11463 |
| mtmt: | 34127742 |
| Online Access: | http://doktori.ek.szte.hu/11463 |
| Tartalmi kivonat: | This study investigated the feasibility and the applicability of using the third generation computer-based assessment of complex problem solving (CPS) based on the MicroDYN approach at the Jordanian higher education level. The tests were administered online via the eDia assessment platform for all data collections processes. We also investigated the role of strategic exploration and different problem-solving and test-taking behaviours in CPS success, using logfile data to visualize and quantify students’ problem-solving behaviour on ten CPS problems with varying difficulty levels and characteristics. Additionally, in the present study, we go beyond the borders of most studies that focus on students’ problem-solving behaviour pattern analyses in European cultures and education systems and examine Arabic students’ CPS behaviour. Results show that students in the Arabic school system interpret CPS problems the same way. That is, we confirmed the two-dimensional model of CPS, indicating the processes of knowledge acquisition and knowledge application as separate dimensions during the problem-solving process. Analyzing log data, we have identified large differences in students’ test-taking behavior in terms of the effectiveness of their exploration strategy, time-on-task, and number of trials at an international level (Jordan and Hungary). We identified four latent classes in both samples based on the students’ exploration strategy behavior. The tested process indicators proved to be non-invariant over the different latent profiles; that is, there are big differences in the role of the number of manipulations executed, time-on-task, and type of strategy used in actual problem-solving achievement between students that fall within different thinking profiles. Based on the results from the studies, we can conclude that online computer-based assessment is valid and reliable in the Jordanian higher education context. This study contributes to understanding how students from different educational contexts behave while solving complex problems. A disszertáció keretein belül végzett kutatások célja annak feltérképezése, hogy releváns, megbízható és megvalósítható-e harmadik generációs, számítógépalapú tesztek alkalmazása a Jordán felsőoktatásban, különös tekintettel egy 21. századi képesség, a komplex problémamegoldás mérésére. A MicroDYN modell alkalmazásával fejlesztett problémamegoldó képességet mérő teszt az eDia online mérés-értékelési platform segítségével került felvételre. A kutatás során alkalmazott mérőeszköz 10 különböző komplexitású problémát tartalmazott. A problémák felfedezése és megoldása során alkalmazott interakciók rögzítésre kerültek. A logadatok formájában rendelkezésre álló viselkedés adatokat elemeztük a célból, hogy feltérképezzük a különböző felfedező, problémamegoldó és tesztmegoldó stratégiák hatékonyságát és azok problémamegoldó teljesítményre gyakorolt hatását. A szakirodalomban elérhető hasonló elemzések mind európai országokban tanuló diákokra vonatkoztak, arab diákok problémamegoldó viselkedésének elemzésére eddig nem került sor. Az invarianciaelemzések eredménye alapján megállapítható volt, hogy az arab felsőoktatásban tanuló diákok azonos módon értelmezték a problémákat, azaz a komplex problémamegoldó képesség kétdimenziós modellje – ami megkülönbözteti a tudás elsajátításának és alkalmazásának fázisát – megerősítésre került. A nemzetközi összehasonlító elemzés eredménye (Jordánia és Magyarország) nagy különbségeket azonosított a tanulók tesztmegoldási viselkedésében, amely különbségek a probléma megoldása során alkalmazott felfedező stratégia hatékonyságában, a problémák megoldásával töltött időben, illetve a kattintások (próbálkozások) számában volt azonosítható. A felfedező stratégia hatékonyságát monitorozó címkézett viselkedési adatokat elemző látens profil elemzés eredménye mind a jordán, mind a magyar mintában négy csoportot azonosított. A vizsgált viselkedési indikátorok nem bizonyultak invariánsnak a különböző látens profillal rendelkező csoportokban, azaz nemzetközi szinten a különböző látens profilú csoportok között szignifikáns különbséget azonosítottunk a végrehajtott manipulációk számát, a feladatra fordított időt és az alkalmazott stratégia típusát tekintve. A kutatás eredményei alapján megállapítható, hogy az online számítógép-alapú mérés-értékelés megvalósítható, releváns és megbízhatóan alkalmazható a jordániai felsőoktatási környezetben. Az eredmények hozzájárultak annak megértéséhez, hogyan viselkednek a különböző oktatási környezetből érkező diákok komplex problémák megoldása közben. |
|---|