Exploring the effects of GIS use on students' achievement in geography

  • Technologies based on Geographic Information System (GIS) are widely used in society and are increasingly being integrated into school curricula and practice. Many claims have been made that the use of GIS in class has positive effects on a wide range of achievement and affective variables. However, empirical evidence for that, especially in the German situation, has been scarce. Systemic thinking has been central to the guiding objective of German geography education for many years and constitutes an important contribution to prepare students for life in a complex world. Yet, so far, specific test instruments and studies elucidating factors that help students improve this competency have been far from extensive. This dissertation aims at exploring the influence of a short ‘working with GIS’ vs. ‘working with maps’ unit on students’ achievement in geography, specifically, the systemic thinking competency. Based on literature a definition of geographic systemic thinking and an associated competency model were developed. In total, three one test time and two pre-/posttest with control group studies were conducted to develop test instruments and a treatment as well as to study the question at hand. The treatment used the topic ‘tourism in Kenya’. Partly Desktop-, partly Web-based GIS versions were used. In study 5, there were two different types of materials, which contained parallel contents/tasks. While one used an overview sheet of relevant GIS functionality (‘old’), the other integrated more step-by-step instruction directly into the text (‘new’). Variables included were systemic thinking, sex, age, stream/type of geography study/pre-score, grade/semester, language and migration background, pre-experience, affective variables, pre-basic spatial thinking skills, treatment and material type. Not all variables were used in every study. The largest study (study 5) used the results of 932 seventh grade students for analyses. The sample contains both high and middle stream students from three German federal states. The study highlights issues such as e.g. test time constraints, open task coding, partly ceiling effects and item difficulties partly deviant from the model expectations. For the analyses, both raw average scores and WLE estimates obtained by a Rasch analysis are used. Additionally, based on the WLE scores, HLMs are calculated. Overall, in study 5 GIS students do not improve pre- to posttest in systemic thinking. Consequently, GIS has no positive, and partly a significantly negative impact compared to maps, e.g. in a HLM with all other variables having significant effects included. Results for material type are mixed. For instance, on the one hand, t-tests show no significant difference in pre-posttest-change between students working with ‘old’ and ‘new’ WebGIS materials. On the other hand, the overall HLMs with other variables included show a significant negative effect only for the ‘old’ but not for the ‘new’ WebGIS materials. Only 23 students could be included in the ‘having already worked with an educational GIS’-sub-group (vs. 520). The improvement of these students pre- to posttest is not significant, but has an effect size above 0.2. A calculation with the ‘no pre-experience’ sub-group being reduced to students with similar characteristics (e.g. in terms of stream, GIS type) leads to 19 vs. 84 students and similar results. In both cases, students with pre-experience perform not significantly, but with an effect size above 0.2, better than students without pre-experience. Overall, the results could hint at students needing more pre-experience so as to not have so much mental capacity tied to getting used to the software and being able to concentrate more on the system interrelationships. However, due to the sample characteristics and study design, this cannot be proven by the present data and thus needs to be explored in further studies. Other variables (age, sex, migration and language background, stream, pre-score, pre-spatial thinking score) show mixed results depending on the analysis method used. This underlines the impact of methodological choices and the need for large sample studies in order to be able to take a closer look at individual sub-groups. Furthermore, the HLM results point to not all influencing variables having been included. In general, the impact of variables such as pre-achievement/ stream and sex on pre-posttest change evident in some of the analyses points to the need for more research to develop differentiated learning materials. The conducted studies also show, e.g. through deviations from the assumed model of systemic thinking, that there is still a great need for more studies in terms of test- and model development for systemic and spatial thinking in a geographic context.
  • Technologien, die auf Geographischen Informationssystemen (GIS) basieren, werden weithin in der Gesellschaft benutzt und zunehmend in Lehrpläne und schulische Praxis integriert. Viele Behauptungen wurden aufgestellt, dass der Einsatz von GIS im Unterricht positive Auswirkungen auf eine große Auswahl von Leistungs- und affektiven Variablen hat. Jedoch sind empirische Belege dafür rar, besonders in der deutschen Situation. Systemisches Denken ist seit vielen Jahren zentral für das Leitziel des deutschen Geographieunterrichts und stellt einen wichtigen Beitrag dar, um SchülerInnen für das Leben in einer komplexen Welt vorzubereiten. Trotzdem sind bisher spezifische Testinstrumente und Studien, welche Faktoren aufklären, die SchülerInnen helfen, diese Kompetenz zu verbessern, weit davon entfernt umfassend zu sein. Diese Dissertation hat das Ziel der Exploration des Einflusses einer kurzen ‘Arbeiten mit GIS’ vs. ‘Arbeiten mit Karten’-Unterrichtseinheit auf die Schülerleistung in Geographie, spezifisch der Kompetenz zum systemischen Denken. Basierend auf Literatur wurden eine Definition geographisch-systemischem Denkens und ein damit verbundenes Kompetenzmodell entwickelt. Insgesamt wurden drei Studien mit einmaligem Testzeitpunkt und zwei Prä-/Posttest-Studien mit Kontrollgruppe durchgeführt, um die Testinstrumente und das Treatment zu entwickeln sowie die Fragestellung zu untersuchen. Das Treatment verwendete das Thema ‘Tourismus in Kenia’. Teilweise wurden Desktop-, teilweise Web-basierte GIS-Versionen verwendet. In Studie 5 gab es zwei unterschiedliche Materialarten, welche parallele Inhalte/ Aufgaben enthielten. Während die eine ein Überblicksblatt über die relevanten GIS-Funktionen (‘alt’) verwendete, wurden bei der anderen Schritt-für-Schritt Anleitungen direkt in den Text integriert (‘neu’). Einbezogene Variablen waren systemisches Denken, Geschlecht, Alter, Schulart/Art des Geographiestudiums/Prätest-Ergebnis, Klassenstufe/Semester, Sprach- und Migrationshintergrund, Vorerfahrung, affektive Variablen, Prätest-Ergebnis im räumlichen Denken, Art des Treatments und der Materialien. Nicht alle Variablen wurden in jeder Studie verwendet. Die größte Studie (Studie 5) verwendete die Ergebnisse von 932 SiebtklässlerInnen für die Auswertungen. Die Stichprobe enthält sowohl Gymnasial- als auch RealschulschülerInnen aus drei deutschen Bundesländern. Die Studie zeigt Probleme auf, wie z.B. Testzeit-Beschränkungen, Kodierung offener Aufgaben, teilweise Deckeneffekte und Item-Schwierigkeiten, die teilweise von den Model-Erwartungen abweichen. Für die Auswertungen werden sowohl Durchschnitts-Rohwerte als auch WLE-Werte, die durch eine Rasch-Analyse gewonnen wurden, verwendet. Zusätzlich werden, auf Grundlage der WLEWerte, HLMs berechnet. Insgesamt verbessern sich GIS SchülerInnen nicht im systemischen Denken vom Prä- zum Posttest. Folglich hat GIS keine positive, und teilweise eine signifikant negative Auswirkung im Vergleich zu Karten, z.B. in einer HLM bei der alle anderen Variablen, die einen signifikanten Einfluss haben, eingeschlossen wurden. Ergebnisse für die Art der Materialien sind gemischt. Zum Beispiel zeigen auf der einen Seite t-Tests keinen signifikanten Unterschied in der Prä-Posttest-Veränderung zwischen SchülerInnen, die mit den ‘alten’ und die mit den ‘neuen’ WebGIS Materialien arbeiten. Auf der anderen Seite zeigen die Gesamt-HLMs mit anderen eingeschlossenen Variablen einen signifikant negativen Effekt nur für die ‘alten’ aber nicht für die ‘neuen’ WebGIS Materialien. Nur 23 SchülerInnen konnten in die ‘haben schon einmal mit einem didaktischen GIS gearbeitet’-Teilgruppe eingeschlossen werden (vs. 520). Die Verbesserung dieser SchülerInnen vom Prä- zum Posttest ist nicht signifikant, hat aber eine Effektstärke über 0,2. Eine Berechnung, bei der die ‘Teilgruppe ohne Vorerfahrung’ auf SchülerInnen mit ähnlichen Eigenschaften (z.B. in Bezug auf Schulart, GIS-Art) reduziert wurde, führt zu 19 vs. 84 SchülerInnen und ähnlichen Ergebnissen. In beiden Fällen schneiden die SchülerInnen mit Vorerfahrung nicht signifikant, aber ebenfalls mit einer Effektstärke über 0,2, besser ab als die SchülerInnen ohne Vorerfahrungen. Insgesamt klingt in den Ergebnissen an, dass SchülerInnen mehr Vorerfahrung benötigen, um nicht so viel mentale Kapazität an das Gewöhnen an die Software gebunden zu haben und sich mehr auf die System-Zusammenhänge konzentrieren zu können. Aufgrund der Stichproben-Eigenschaften und des Untersuchungsdesigns kann dies durch die vorhandenen Daten jedoch nicht bewiesen werden und muss daher in zukünftigen Studien untersucht werden. Andere Variablen (Alter, Geschlecht, Migrations- und Sprachhintergrund, Schulart, Prätest-Ergebnis, Prätest-Ergebnis im räumlichen Denken) zeigen gemischte Ergebnisse in Abhängigkeit von der verwendeten Analysemethode. Dies unterstreicht die Bedeutung der methodischen Entscheidungen und den Bedarf an Studien mit großer Stichprobengröße, um individuelle Teilgruppen genauer betrachten zu können. Darüber hinaus weisen die HLM Ergebnisse darauf hin, dass nicht alle beeinflussenden Variablen eingeschlossen wurden. Im Allgemeinen weist der Einfluss von Variablen wie Prä-Leistung/Schulart und Geschlecht auf die Veränderung von Prä- zu Posttest, welcher sich in einigen der Analysen gezeigt hat, auf den Bedarf an mehr Forschungsarbeiten hin, um differenzierte Lernmaterialien zu entwickeln. Die durchgeführten Studien zeigen auch, z.B. durch Abweichungen von den angenommenen Modellen systemischen Denkens, dass immer noch ein großer Bedarf an mehr Studien in Bezug auf die Test- und Modellentwicklung für systemisches und räumliches Denken in einem geographischen Kontext besteht.

Export metadata

  • Export Bibtex
  • Export RIS

Additional Services

Share in Twitter Search Google Scholar
Metadaten
Author:Kathrin Viehrig
URN:urn:nbn:de:bsz:he76-opus4-712
Advisor:Alexander Siegmund, Nir Orion
Document Type:Doctoral Thesis
Language:English
Publishing Institution:Pädagogische Hochschule Heidelberg
Granting Institution:Pädagogische Hochschule Heidelberg
Date of final exam:2014/12/05
Release Date:2015/03/02
Tag:GIS; assessment; geography education; spatial thinking; systemic thinking
GND Keyword:Geographieunterricht; Geoinformationssystem; Räumliches Denken; Systemdenken; Test
Institutes:Fakultät für Natur- und Gesellschaftswissenschaften (Fak. III)
Dewey Decimal Classification:900 Geschichte und Geografie
Licence (German):License LogoVeröffentlichungsvertrag ohne Print-on-Demand

$Rev: 13159 $