Wikiversity:Fellow-Programm Freies Wissen/Einreichungen/Effects of complexity and unpredictability on reading acquisition: Behavioural and computational studies

Fellow-Programm Freies Wissen

Start

Offene Wissenschaft

Programm

Fellows

Mentoring

Advisory Board

Veranstaltungen

Blog

Effects of complexity and unpredictability on reading acquisition: Behavioural and computational studies Projektbeschreibung Abstract European orthographies differ on the extent to which print-to-speech correspondences are complex and/or predictable (Schmalz, Marinus, Coltheart, & Castles, 2015). Complex orthographies are characterised by many multi-letter rules, such as sch → /ʃ/ in German. Predictability refers to the sufficiency of the print-to-speech correspondences for achieving high accuracy in reading (e.g., the English words “yacht” or “colonel”, are unpredictable, because whole-word knowledge is required to give a correct pronunciation). In a behavioural and two computational studies, I aim to assess to what extent complexity and unpredictability pose independent challenges for the cognitive system of a learning reader. In a behavioural learning experiment, adult participants will learn a made-up orthography, where we will manipulate the complexity and unpredictability of print-to-speech correspondences. In a first computational study, we will implement a connectionist model to simulate the results of the experiment. In a second computational study, we will extend the connectionist model to real European orthographies, to derive specific predictions about how complexity and unpredictability should affect reading acquisition in children. Previous research has already implemented connectionist models for learning to read (e.g., Plaut, 1999), and these are widely used to test predictions about reading behaviour (e.g., Graves et al., 2014; Jared, 2002). However, none of the implemented versions are openly available. The current project will make a contribution to Open Science, because we aim to make the model (including the source code) freely available. Beschreibung des Vorhabens: Problemstellung, Methoden, Herangehensweisen The ease with which children learn depends on the “depth” of their orthography (Seymour et al., 2003). Deep orthographies have many inconsistent grapheme-phoneme correspondences (GPCs). English is deeper than German: For example, in English, a has different pronunciations in the words “ball”, “park”, “bank”. We distinguished between two sources of orthographic depth: complexity and unpredictability (Schmalz et al., 2015). For example, in Italian and in English, the grapheme g can be pronounced as /g/ or /dʒ/. In Italian, its pronunciation can be described by two GPCs: g → /g/ (“gusto”), and g[e,i] → /dʒ/ (“giorno”). These rules are complex, because more than one letter is involved in determining the pronunciation, and predictable, because applying them will always lead to the correct pronunciation. In English, g may have different pronunciations in near-identical contexts (e.g., gift → /gɪft/ and gist →/dʒɪst/). Thus, GPC knowledge is not sufficient for a correct pronunciation, and knowledge about the whole word is required. Complexity and unpredictability are dissociable on a linguistic level (Schmalz et al., 2015), but it is an open empirical question how they affect reading acquisition. Answering this question will partly explain why learning to read is more difficult in some languages. In the long run, this will allow for optimisation of teaching practices and effective treatments of developmental dyslexia across languages. I will conduct three studies: 1) In an experimental study, adult participants will learn an artificial orthography. Participants learn pseudowords (e.g., /faɪp/), written in unfamiliar symbols (e.g., extinct Hungarian runes). We can include GPCs which are complex (e.g,. [/k/]S1 → /a:/, [/t/]S1 → /o:/). Another symbol (S2) can have two pronunciations which are not predictable from the context. We can then explore the learning rate of complex and unpredictable GPCs, and the system’s behaviour in response to unpredictability. Pilot data and a detailed report here: https://osf.io/z8d72/. 2) In a computational study, I aim to simulate the results of the first study with a connectionist model. Connectionist models learn the print-to-speech correspondences through exposure to a set of words (Plaut, 1999). The main aim will be to simulate the effects of complexity on the learning rate, and the behaviour in response to unpredictable GPCs. 3) In a second computational study, the model will be extended to real alphabetic orthographies. This will allow us to make specific predictions about how complexity and unpredictability will affect learning to read in a real-world setting. Autor/in Name: Xenia Schmalz Kontakt: xenia.schmalz@gmail.com Fellow-Programm Freies Wissen Start Offene Wissenschaft Programm Fellows Mentoring Advisory Board Veranstaltungen Blog Abschlussbericht I. Infos zum eigenen Forschungsvorhaben ​(max.​ ​3000​ ​Zeichen) A. Zusammenfassung und Ergebnisse Als Teil dieses Programms wollte ich eine Verhaltensstudie und eine Computer-Studie durchführen, und den Forschungsprozess dabei offen gestalten. Die Verhaltensstudie wollte ich als Registered Report publizieren. Dafür habe ich ein Manuskript mit der Einleitung, Methodenbeschreibung und Analyseplan geschrieben und bei dem Journal Cortex eingereicht. Das Registered Report, sowie die Materialien für das Experiment, sind frei verfügbar durch meine Open Science Framework (OSF)-Website: [1]. Mittlerweile habe ich zwei Runden von Kommentaren von dem Editoren bekommen, sowie zwei Runden von Kommentaren von Gutachtern. Somit konnte ich die Methoden des vorgeschlagenen Experimentes verbessern. Da man aber auf die Annahme des Registered Reports warten muss, bis man mit der Datenerhebung anfangen kann, habe ich leider keine Resultate von der Studie. Obwohl ich die Idee von Registered Reports weiterhin stark unterstütze, ist mir ein praktisches Hindernis bewusst geworden: nämlich, dass bei Projekten mit begrenztem Zeitrahmen Registered Reports nicht immer durchführbar sind. Für die Computer-Studie habe ich dank der finanziellen Unterstützung des Freies Wissen Programms die Gelegenheit bekommen, meine Programmierkenntnisse zu verbessern, besonders in Open-Source Programmiersprachen. Das Ziel der Computer-Studie war eine Quantifizierung von orthographischer Tiefe. Ich habe eine Quantifizierungsmethode aus einem anderen Lab in Python implementiert und für 5 Orthographien angewendet (Code hier: [2]), und werde an weiteren Quantifizierungsmethoden weiterarbeiten. B. Beitrag zu Offener Wissenschaft​ Ich hoffe, dass mein Projekt als Beispiel von komplett transparent durchgeführten Studien dienen kann. Das Registered Report und die Materialien sind frei verfügbar, und ich werde auch die (anonymisierten) Daten und ein Preprint des Manuskripts hochladen, wenn das Projekt abgeschlossen ist. Der Python-Code für die Quantifizierungsmethode von Orthographic Depth ist auch frei verfügbar, und wurde schon von Kollegen in einer Publikation verwendet. Die Lernprozesse während des Projektes habe ich in Blogposts, Workshops und bei den monatlichen Open-Science-Beers-Treffen diskutiert. II. Zusammenarbeit​ ​mit​ ​Fellows​ ​und Mentor*innen​ ​(max.​ ​3000​ ​Zeichen) A. Zusammenarbeit​ ​mit​ ​deiner​ ​Mentorin/deinem​ ​Mentor Wir haben uns mit dem Mentoring-Team ein mal pro Monat über Hangouts getroffen, was ausreichend und sehr hilfreich war. B. Austausch​ ​mit​ ​anderen​ ​Fellows Außer Gruppen-Emails und einem kurzen Momentum auf Mattermost fand sehr wenig Kommunikation außerhalb der Veranstaltungen statt, was ich schade fand. Bei den Auftakt- und Qualifizierungsworkshops waren die Diskussionen in kleineren gemischten Arbeitsgruppen sehr interessant und hilfreich, um Feedback aus den verschiedensten Perspektiven zu bekommen. III. Kommunikation​ ​und​ ​Vernetzung​ ​(max.​ ​3000​ ​Zeichen) A. Kommunikationsaktivitäten​ ​mit​ ​Bezug​ ​zum​ ​Fellow-Programm Ich habe von den Programmveranstaltungen Flyers mitgenommen und in unserer Abteilung verteilt. Bei dem Qualifizierungsworkshop war ich in der Arbeitsgruppe, die diskutiert hat, was der Mittelbau machen kann, um Open Science zu unterstützen. Einige der Vorschläge würden sich, meiner Meinung nach, gut mithilfe des neuen Open Science Centers an der LMU durchführen lassen (nämlich die Empfehlung aussprechen, dass jeder Lehrstuhl einen Open Science Spokesperson nominiert, und ein Open Science Award für ein offenes Projekt, das an der Universität durchgeführt wird). Diese Vorschläge wurden bei der letzten Mitgliederversammlung des OSC-LMU diskutiert. B. Weitergabe von Wissen Open Science Beers: Ich organisiere monatliche Treffen, die als Diskussionsforum für alle, die an Open Science interessiert sind, dienen. Bei den Treffen haben Forscher*innen aus verschiedenen Fachgebieten (von Linguistik und Psychologie bis Physik und Computerwissenschaften), sowie Wissenschaftskommunikator*innen teilgenommen. Workshops und andere Events: Ich habe in meinem Department einen Workshop über R gehalten. Für Datenverarbeitung und -analyse ist R eine offene Alternative für SPSS: es ist eine Open Source, Skript-basierte Software, was heißt, dass Analysen reproduzierbar durchgeführt werden können. Im April wurde ich zu einem Treffen über Registered Reports eingeladen, das von dem Center for Open Science organisiert wurde. Ich konnte zu Diskussionen beitragen, wie man die Nutzung von dem neuen Publikationsformat Autor*innen näher bringen könnte. Im Mai werde ich bei dem Open Science Day der Open Science Initiative am MPI CBS Leipzig einen Vortrag über Pre-registration halten, und im Juni einen Workshop in Göttingen für Doktorand*innen der akademischen Sprachtherapie und Logopädie. Gespräche mit Kolleg*innen: Durch Gespräche, Weiterleiten von Open-Science-relevanten Emails, Anbieten von Workshops und Verteilen von Flyer habe ich mich unter Kolleg*innen als Ansprechperson für Open Science etabliert und habe schon mehrere Fragen über Open Data und Preregistration bekommen. Blogs: Ich schreibe auf meinem Blog regelmäßig Einträge, oft zu Open Science. Seit Anfang des Programms habe ich 5 Einträge zu Open Science geschrieben, die insgesamt über 4.000 Views gesammelt haben. C. Neue Kontakte mit der Community für Offene Wissenschaft Nach einem langen Auslandsaufenthalt war das Fellow-Programm für mich eine gute Gelegenheit, Open-Science-Enthusiasten im deutschsprachigen Raum kennenzulernen. Durch das Programm bin ich auch in Kontakt mit Tamara Heck gekommen, und bin Mitorganisatorin des Open Practices in Education Workshops. D. Neue Kontakte mit Vertreter*innen der Wikimedia-Communitys Durch das Fellow-Programm habe ich erfahren, dass es in München einen Wikipedia-Standort gibt, wo regelmäßig Events stattfinden. Ich war bisher bei einem Vortrag, mit einer Einführung in Wikidata und SPARQL. E. Vernetzungsmöglichkeiten Durch soziale Medien (vor allem Twitter) bin ich indirekt im Kontakt mit vielen Fellows. Ich hoffe, dass der Kontakt weiterhin durch verschiedenen Open Science Events (Workshops, Konferenzen) bestehen bleibt. IV.​ ​Förderung​ ​von​ ​Offener​ ​Wissenschaft​ ​(max.​ ​4000​ ​Zeichen) A. Neue Initiativen zur Förderung Offener Wissenschaft An der LMU ist Offene Wissenschaft generell bereits sehr gut durch das Open Science Center (OSC) vertreten. Im letzten Jahr habe ich mit anderen Kolleg*innen aus dem LMU-OSC eine neue Initiative in Form von einer Mailingliste gestartet (Munich Researchers for Open and Credible Science), die als Forum für alle, die an Open Science Interesse haben dienen soll. B. Initiativen zur Förderung Offener Wissenschaften Ich werde weiterhin Workshops zu Open Science (Registered Reports, Open Data, Preprints, Reproducible analyses in R) anbieten, sowohl an meiner eigenen Institution als auch außerhalb. Ab Oktober 2019 werde ich mich als Vorstandsmitglied des LMU-OSC auch an Top-down-Initiativen beteiligen können. C. Interesse an Offener Wissenschaft Durch das Freies Wissen Programm konnte ich praktische Tipps zu Open Science an meine Kolleg*innen weitergeben. Ich glaube, das war ein Motivationsfaktor, dass manche meiner Kolleg*innen angefangen haben, Preprints zu veröffentlichen, und Studien als Registered Reports durchzuführen. Insgesammt wächst das Interesse an Open Science in meinem Fachgebiet (Kognitionspsychologie), obwohl leider in manchen Runden noch sehr viel Skepsis besteht. D. Anwendung von Prinzipien Offener Wissenschaft Der hilfreichste Aspekt des Programms war der Austausch mit Fellows aus verschiedenen Disziplinen. Generell hat mir dieser Austausch geholfen, viele Open Science Themen aus den verschiedensten Perspektiven zu sehen und zu verstehen. Die Gespräche mit den Fellows und Mentor*innen haben mir Anhaltspunkte für die Verbesserung meiner Programmierkenntnisse gegeben, wodurch ich besser in der Lage bin, reproduzierbare statistische und corpus-linguistische Analysen durchzuführen und diese Kenntnis mit Kolleg*innen zu teilen. Obwohl ich mit der Computer-Studie weniger weit gekommen bin als ich am Anfang des Projekts gehofft hatte, werde ich mit meinen neuerworbenen Kenntnissen weiterarbeiten. Durch die finanzielle Unterstützung des Fellow-Programms hatte ich die zeitliche Flexibilität, einen Registered Report einzureichen. Theoretisch gesehen ist das Registered Report ein Publikationsformat, das viele Probleme, die mit dem aktuellen, geschlossenen Publikationssystem assoziiert sind, löst. In der Praxis konnte ich feststellen, dass das wissenschaftliche Anreizsystem dieses Format nicht begünstigt, weil der Review-Prozess relativ lange dauert und sich somit die Datenerhebung verzögert und Wissenschaftler*innen (besonders Early Career Researchers) oft unter sehr starken Zeitdruck arbeiten. Die Lösung dieses Problems sollte von oben kommen. Ich hoffe, dass ich meine Erfahrungen teilen und an einer Lösung mitwirken kann. Weiterhin werde ich Workshops zu Open Science innerhalb und außerhalb meiner Institution anbieten. Dein persönliches Gesamtfazit Ich war schon am Anfang des Programms davon überzeugt, dass Open Science notwendig ist, um die Qualität der Forschung zu sichern. Durch das Programm habe ich über die praktische Durchführung nachdenken können. References