Wikiversity:Fellow-Programm Freies Wissen/Einreichungen/Giving the Results of Crowdsourced Research Back to the Crowd/Zwischenbericht

Fellow-Programm Freies Wissen

Start

Offene Wissenschaft

Programm

Fellows

Mentoring

Advisory Board

Veranstaltungen

Blog

Fellow-Programm Freies Wissen - Giving the Results back to the Crowd - Zwischenbericht This interim report catalogs the progress I made along with my research assistant in making the results of the Crowdsourced Replication Initiative (CRI) public and interactive. This is a work in progress, i.e., still under construction. I. Infos​ ​zum​ ​eigenen​ ​Forschungsvorhaben​ A. Status​ ​Quo​ <English> The goal of the this project is to systematically compare the research and results of 88 research teams. In this process a question arises: how to generate a public good to motivate and benefit science in the future using these results? Sharing the data and code is important, but of limited value because there is too much of it. Currently each research design cannot be understood, much less compared, without reading and understanding hundreds of pages of software code. Each team investigated data from up to 6 different survey questions, further complicating the process. Extensive qualitative coding of the teams’ code is necessary at first to make these designs comparable. This coding requires special skills in diverse software and multilevel modeling. Next, the development of an interactive online tool visualizing the rich data based on user queries would make the results understandable, reproducible, and valuable for future research and teaching. In this process users could download the research designs and data of their choosing, and they could systematically investigate the research itself to determine what diverse practices a sample of 88 research team uses. To achieve these goals, I need support both in qualitative coding and development of this open science interactive tool. <German> Ziel des Projekt ist es, die Forschungsergebnisse von 88 Forschungsteams systematisch zu vergleichen. Dabei stellt sich die Frage, wie ein öffentliches Gut geschaffen werden kann, um mit diesen Ergebnissen die Wissenschaft in Zukunft zu motivieren und zu fördern. Das Öffentlich teilen der Daten und des Codes ist wichtig, aber von begrenztem Wert, da zu viel davon vorhanden ist. Gegenwärtig kann nicht jedes Forschungsdesign verstanden werden, geschweige denn, ohne Hunderte von Seiten Software-Code zu lesen und zu verstehen. Jedes Team untersuchte Daten aus bis zu 6 verschiedenen Umfragefragen, was den Prozess weiter erschwerte. Um diese Entwürfe vergleichbar zu machen, ist zunächst eine umfassende qualitative Kodierung des Codes der Teams erforderlich. Diese Codierung erfordert spezielle Kenntnisse in diverser Software und Multilevel Modelling. Als nächstes würde die Entwicklung eines interaktiven 'Online Tool' zur Visualisierung der umfangreichen Daten auf der Grundlage von Benutzeranfragen die Ergebnisse für die zukünftige Forschung und Lehre verständlich, reproduzierbar und wertvoll machen. In diesem Prozess konnten Benutzer die Forschungsdesigns und -daten ihrer Wahl herunterladen und die Forschung systematisch untersuchen, um festzustellen, welche unterschiedlichen Praktiken eine Stichprobe von 88 Forscherteams verwendet. Um diese Ziele zu erreichen, benötige ich Unterstützung sowohl bei der qualitativen Kodierung als auch bei der Entwicklung dieses interaktiven 'Open Science Tool'. B. Fortschritt​ <English> Three major developments resulted from my work as a Freies Wissen Fellow. 1) I wrote a paper on the need for open science titled, ("The Future of Sociology depends on Open Science"). This paper is available via The Open Science Framework and the SocArXiv Preprint Server. I am currently working on a German translation. This paper discusses the problems with a 'publish-or-perish' culture in academia that creates perverse incentives for scholars to cheat in some extreme cases, by faking data or results. It also discusses the common problems of p-hacking that are not exactly 'cheating', but are a standard way of obtaining results that leads to extreme bias in science. It also discusses the problem with the publishing industry. It provides information on why sharing all materials, using preregistration methods, carefully choosing publishers, using preprint servers and advocating for open science will help change sociology. 2) I started a blog called ("Crowdid") and have written posts related to the CRI and open science more generally. My post, "Better than a Computer: A Crowd of Researchers" is featured at the moment. It discusses the importance of human logic in an era of machine learning. The main point is that a computer cannot recover causality or theory, for this humans are necessary. But a several humans' logics are far better than a single human logic, and therefore crowdsourcing might provide a plausible means to improve uncertainty at the meta-level in science. 3) I hired a Research Assistant, Hung H.V. Nguyen, who has helped with the coding of all the teams model specifications and in the development of an interactive technical appendix. The appendix will be a large undertaking linking things on GitHub with a Shiny server; however, a working version of one component is now completed. Users can explore the results of the CRI in the form of a specification curve based on our programming of a Shiny App. They can select different modelling choices and see how the results differ. The interactive specification curve working version is (available here). The curve shows how diverse the results are, and that the researchers came to completely different results depending on their research choices. Much of the variance in results we cannot explain, and this is even more interesting, suggesting that consensus in science, a necessary part of developing facts, is difficult to find on a meta-level. Below is a static example of a specification curve, but I encourage uses to follow the link above to 'play around' with the results themselves. Results from the Crowdsourced Replication Initiative 1,260 Marginal Effects of Immigration on Social Policy Preferences from 73 Teams Above a specification curve where red dots are significant negative effects at p<0.05, grey are not significantly different from zero, and blue are positive and significant. The lower plots describe the model specifications that belong to each marginal effect. When there is a vertical line, the model has contains that feature. The package used to produce this curve was designed by Joachim Gassen. Users can interact with the curve available HERE. <German> Drei wichtige Entwicklungen aus meiner Arbeit als Freies Wissen Fellow. 1) Ich schrieb einen Artikel über die Notwendigkeit Open Science mit dem Titel ("Die Zukunft der Soziologie hängt von offener Wissenschaft ab"). Dieses Dokument ist über das Open Science Framework und den SocArXiv Preprint Server herunterladbar. Ich arbeite gerade an einer deutschen Übersetzung. 2) Ich habe ein Blog mit dem Titel ("Crowdid") gestartet und Posts auf das CRI und die Open Science im Allgemeinen geschrieben. Mein Post "Better than a Computer: A Crowd of Researchers" wird derzeit vorgestellt. Es wird die Bedeutung der menschlichen Logik in einer Ära des maschinellen Lernens diskutieren. 3) Ich stellte einen wissenschaftlichen Mitarbeiter ein, Hung H.V. Nguyen, der bei der Codierung aller Modellspezifikationen des Teams und der Entwicklung eines interaktiven Technical Appendix geholfen hat. Der Appendix wird ein großes Unterfangen sein, das Dinge auf GitHub mit einem Shiny-Server verbindet. Eine funktionierende Version einer Komponente ist jetzt jedoch fertiggestellt. Benutzer können die Ergebnisse des CRI in Form einer Spezifikationskurve untersuchen, die auf unserer Programmierung einer Shiny-App basiert. Sie können verschiedene Modellierungsoptionen auswählen und sehen, wie sich die Ergebnisse unterscheiden. Die Arbeitsversion der interaktiven Specification curve ist (hier verfügbar). C. Ausblick <English> The next steps: 1) To make all the CRI Team's code available and the CRI Workflow available on GitHub. Users should be able to understand the entire research project and find what they are looking for via a GitHub overview page.​ This should include ways that make this project useful as a teaching tool, to potentially help teaching meta-science, specification curve analysis, shiny app development and the state of the art for immigration and policy preferences research. 2) To improve the interactive Specification Curve. 3) To present results at a conference or workshop. It seems realistic that all three steps can be achieved in the remaining time. The only potential barrier is waiting for the CRI teams to approve of the sharing of their final code. We are currently emailing all teams and asking them to review their final code. Also, it is not clear how to best make the results of this project useful for teaching purposes. <German> [noch nicht geschrieben] Was sind die nächsten Schritte? Ist es nach deiner Einschätzung weiterhin realistisch, die gesetzten Ziele/Meilensteine bis zum Ende der Programmlaufzeit zu erreichen oder gibt es wesentliche Veränderungen, die deine Zielsetzung betreffen? Benötigst du zur Erreichung deiner Ziele verstärkt Unterstützung seitens deines Mentors/deiner Mentorin und/oder seitens Wikimedia? II. Zusammenarbeit​ ​mit​ ​Fellows​ ​sowie​ ​Mentorinnen​ ​und​ ​Mentoren​ ​(max.​ ​3000​ ​Zeichen) A. Zusammenarbeit​ ​mit​ ​deiner​ ​Mentorin/deinem​ ​Mentor ​Wie regelmäßig findet ein Austausch statt? Wie/ über welche Kanäle kommuniziert ihr? Wie hilfreich ist der Austausch für dich/ dein Forschungsvorhaben? Was wünschst du dir für die künftige Zusammenarbeit? I have had regular Skypes and emails with my mentor. She reviewed my first blog post and gave comment, she is helping me find a journal for my article and has given feedback on my shiny app. We have more meetings planned. I found her comments very helpful as I am new to both blogging and interactive appendix construction. If we both have time I would like to help her promote open science through social media, workshops and perhaps blogs. B. Austausch​ ​mit​ ​anderen​ ​Fellows ​Inwiefern findet ein Austausch statt? Wie/ über welche Kanäle kommuniziert ihr? Wie hilfreich ist der Austausch für dich/ dein Forschungsvorhaben? Was wünschst du dir für die künftige Zusammenarbeit? III. Kommunikation​ ​und​ ​Vernetzung​ ​(max.​ ​3000​ ​Zeichen) A. Kommunikationsaktivitäten​ ​mit​ ​Bezug​ ​zum​ ​Fellow-Programm Hast du bereits ​ Kommunikationsaktivitäten mit Bezug zum Fellow-Programm/Offene Wissenschaft​ (Fachbeiträge und/oder Blogposts) initiiert oder planst du solche? ​ Wenn ja, bitte beschreiben. Yes, if you look at the above section, I started a blog Crowdid. I have two posts by now and several more under construction (currently locked at the blog). B. Weitergabe von Wissen Konntest du bereits dein Wissen über Offene Wissenschaft an deiner oder an einer anderen wissenschaftlichen Einrichtung (z. B.: über Teilnahme an Veranstaltungen, eigene Vorträge oder Workshops, Gespräche mit Kolleginnen und Kollegen) weitergeben oder auf das Thema Offene Wissenschaft aufmerksam machen? Bitte beschreiben. Was hat dabei gut funktioniert? Wo gab es Barrieren/Hindernisse? Wo benötigst du künftig Unterstützung von Mentorinnen und Mentoren und/oder seitens Wikimedia (z. B. Materialien (Fellow-Programm Flyer oder Rollup Leihgabe)und/oder Social-Media Unterstützung zur Bewerbung eurer Aktivitäten? C. Neue Kontakte Offene Wissenschaft Haben sich neue​ ​Kontakte​ ​oder​ ​Austauschmöglichkeiten​ ​mit​ ​Vertreterinnen​ ​und​ ​Vertretern aus​ ​der​ ​Community​ ​für​ ​Offene​ ​Wissenschaft​ gebildet? Bitte beschreiben. Yes, I have expanded my open science community beyond social science, especially with the help of my mentor and Twitter. Also, I work most often with quantitative data, but thanks to Isabella Steinhart, I have come into contact with the open science movement in qualitative social science. Thanks to the Freies Wissen Fellowship's impact on my Twitter network, I encountered Joachim Gassen, who designed a specification curve package that greatly helps with my meta-science work. D. Neue Kontakte Wikimedia-Communities Haben sich neue​ ​Kontakte​ ​oder​ ​Austauschmöglichkeiten​ ​mit​ ​Vertreterinnen​ ​oder​ ​Vertretern mit​ ​den​ ​Wikimedia-Communitys​ gebildet? Bitte beschreiben. IV.​ ​Förderung​ ​von​ ​Offener​ ​Wissenschaft​ ​(max.​ ​4000​ ​Zeichen) A. Neue Initiativen zur Förderung Offener Wissenschaft Sind seit dem Start des Fellow-Programms (neue) Initiativen​ ​zur​ ​Förderung​ ​Offener Wissenschaft​ an deiner wissenschaftlichen Einrichtung entstanden? Wenn ja, welche und wie konntest du diese unterstützen? Wenn nein, warum nicht? Bitte beschreiben. Only one so far. A discovered that a professor working at our research center is promoting open science and have sent her a copy of my paper "The Future of Sociology Depends on Open Science". I hope to organize open science events with her, for example workshops on how to avoid bias and hacking. Otherwise, I do not see much happening at my university, at least not in social science. I hope to change this by advocating within my department and among students. B. Initiativen zur Förderung Offener Wissenschaften Welche Möglichkeiten siehst du, um (eigene) Initiativen​ ​zur​ ​Förderung​ ​Offener​ ​Wissenschaften deiner wissenschaftlichen Einrichtung oder anderen wissenschaftlichen Einrichtungen anzustoßen​? Welche Herausforderungen und Chancen bestehen dort, um das Thema Offene Wissenschaft sichtbar/noch sichtbarer zu machen? Bitte beschreiben. Everyone has a 'full load' to carry with trying to publish and teach. There is little room for getting them to do new work or take on new initiatives. But i a trying small things like preregistration, using meta-analysis tools and reporting null results.