Wikiversity:Fellow-Programm Freies Wissen/Einreichungen/Open Science für bildgebende Verfahren: Standardisierte Experimente für BIDS

Fellow-Programm Freies Wissen

Start

Offene Wissenschaft

Programm

Fellows

Mentoring

Advisory Board

Veranstaltungen

Blog

Open Science für bildgebende Verfahren: Standardisierte Experimente für BIDS Projektbeschreibung Ein zentrales Anliegen der Offenen Wissenschaft ist es Experimente reproduzierbar zu machen. Viel beachtete Schätzungen gehen davon aus, dass nur 10-40% aller Experimente reproduzierbar sind. Laut einer Umfrage unter Forschern liegen die Gründe dieser Reproduzierbarkeitskrise unter anderem in schlechter Labororganisation, fehlender Dokumentation und an wenig durchgeführter Replikationen der eigenen Experimente. Diese Faktoren führen dazu, dass Daten nur selten von unabhängigen anderen Wissenschaftlern re-analysiert werden. Dies ist besonders bedauerlich, da Meta-Analysen einer einheitlichen statistische Aufarbeitung bedürfen, die nur schwer zu bewerkstelligen ist. Dabei könnten gerade studienübergreifende Vergleiche einen Ausweg aus der Replikationskriese darstellen. Insbesondere bildgebende Verfahren, wie die Messung von Gehirnströmen mit Elektroenzephalographie (EEG) oder Magnetresonanztomographie (MRT), erzeugen große Datensätze, welche die statistische Auswertung vor Herausforderungen stellt. Um beispielsweise Aufnahmen eines EEG Experiments wiederzuverwenden (bzw. von einem unabhängigen Wissenschaftler analysiert werden zu können), muss genau angegeben sein welche Messpunkte zu welchem Teilexperiment gehören, auf welche Weise Versuchspersonen sich bewegt haben und welche Artefakte aufgezeichnet wurden. Diese Dokumentation ist aber in der Regel nicht standardisiert, was zu Missverständnissen bei der re-analyse, sowie einem enormen Zeitaufwand und weiteren unüberwindbaren Schwierigkeiten für Re- oder Metaanalyse führt. Aus diesen Gründen haben Neurowissenschaftler eine Initiative gegründet, die klare und offene Standards zur Datenspeicherung anbietet (BIDS). Die Hürde ein neues Format, neuen Programmcode und andere Protokolle einzuführen ist allerdings hoch. Daher ist es wichtig Wissenschaftlern konkrete Hilfestellungen zur Einführung dieser offenen Standards zu geben! Zwar regen Fachzeitschriften immer häufiger die Veröffentlichung von Rohdaten an, ohne die relevanten Zusatzinformationen über experimentelle Details sind diese Daten jedoch kaum nachhaltig nutzbar. Um die Benutzung offener Standards tatsächlich Realität werden zu lassen, müssen diese Datenformate bereits bei der Aufzeichnung der Daten und der vorausgehenden Erstellung von Programmiercode zur Durchführung eines Experiments eingebunden werden. Hierbei soll Hilfestellung geleistet werden um diese Standards in voller Breite des Forschungsfeldes zu etablieren. Das Projekt soll folgendem Arbeitsplan folgen: In einem ersten Schritt werde ich mit wenigen Zeilen Programmkode die relevanten Informationen für ein typisches Experiment exemplarisch speichern und den Kode öffentlich zur Verfügung stellen (z.B. Github). In einem zweiten Schritt werde ich vorhandene Beispiele aus der BIDS Community zusammentragen. Es gibt bereits ein BIDS-starter-kit, welches Beispiele für die Speicherung der bildgebenden Aufnahmen enthält. Damit sich Labore aber von der ersten Implementierung des Experiments an für BIDS entscheiden, ist es wichtig auch Beispiele im passenden Programmcode (z.B. unterschiedliche Sprachen wie Matlab, Python, R, etc.) zur Experimenterstellung zu geben. Ziel ist es, dass ein neuer Anwender nur noch den passenden Code aussucht und direkt in sein eigenes Programm hineinkopieren kann. Zur Umsetzung des Projekts gilt es zuerst einige Fragen zu klären, bei dem mir das Expertenwissen im Fellow-Programm helfen kann: Welche Programmiersprachen und Software-tools werden von der großen Mehrheit von neurowissenschaftlichen Laboren zur Implementierung von Experimenten verwendet? Auf welche praktische Weise kann eine Datei pro Labor angelegt werden, die immer wieder für das gleiche Bildgebende Verfahren verwendet werden kann und automatisch die relevante Information in einem BIDS Format speichert (z.B. JSON)? Welche Information darf bei solch einem Verfahren nur lokal gespeichert werden und darf aus Datenschutzrechtlicher Erwägung nicht weitergeben werden bzw. muss nach einem Zeitraum gelöscht werden? Mit Hilfe der Antworten auf diese Fragen wird das eigentliche Ziel bearbeitet: Die Erarbeitung von BIDS-kompatiblem Programmcode, der einfach in bereits laufende Laborprozesse eingebunden werden kann. Damit wird vor allem erreicht, dass die Hürde gesenkt wird den Open Science Standard BIDS zu benutzen. Nachdem der Kode an meinen Heimatinstitutionen, der Freien Universität Berlin und der Universität Oxford, erprobt ist, möchte ich das Netzwerk des Fellow Programms nutzen, um den Programmkode der breiten Öffentlichkeit zur Verfügung zu stellen. Wenn möglich kann hierfür ein Wiki in Kombination mit Gitlab geschaffen werden, das auch durch andere Nutzer aktiv weiterentwickelt werden kann und damit langfristig nutzbar und aktuell bleiben soll. Autor/in Name: Alexander von Lautz Institution: Neurocomputation Neuroimaging Unit, Freie Universität Berlin Kontakt: alexander.von-lautz@bccn-berlin.de Github: https://github.com/alexvonlautz/FFW_BIDS Ressourcen /Sammlung von Experiment Toolboxen /Datenmanagementplan /Zwischenbericht Arbeitsplan AP1: Recherche zu Datenformaten, BIDS implementierungen, bestehenden Toolboxen, bestehendem Code, rechtlichen Fragen Es wird eine große Herausforderung die nötigen Informationen aus Webseiten, Versionskontrollplattformen und Projektseiten zusammenzutragen. Dazu werde ich Kontakt zu den Betreibern solcher aufnehmen und um Input zu meinem Projekt bitten. Anschließend möchte ich zu diesen Projekten verlinken und insbesondere auch zu generellen Fragen zum Umgang mit offenen Daten. AP2: Erstellung eigener BIDS kompatibler Scripte, Versionskontrolle Zunächst werde ich selbst BIDS lernen und meine eingenen Daten und Beispielexperimente in diese Strutur bringen. Dabei steht die Umwandlung von Metadaten im Vordergrund, bei Neuroimaging Dateiformaten gibt es schon jetzt über 20 umwandelbare Formate. Die Scripte werden anschließend in einem GIT repository gehosted, dort gibt es dann voraussichtlich die Möglichkeit der Integration anderen Codes per pull request. AP3: Gewinnung und Zusammenstellung von BIDS-(meta)-Datenscripten für diverse Sprachen/Toolboxen“ Die Verwendung unterschiedlicher Werkzeuge ist entscheidend, da es eine ganze Reihe an Sprachen, Toolboxen und Datenformaten gibt. Zwar steht im Vordergrund das Prinzip "closed source rein, open source raus", aber die Umsetzung soll ein möglichst breites Feld abdecken. Für diesen Arbeitsschritt müssen Projektpartner gefunden werden, die code aus ihren Laboren bereitstellen. Außerdem gibt es den Plan der Umsetzung auf einer open science Plattform zur Experimenterstellung. AP4: Öffentlichkeitsarbeit, Lobbying und Verbreitung Das Projekt steht und fällt mit der Verbreitung des BIDS standards. Damit überhaupt Forscher auf die Idee kommen ihre Experimente direkt BIDS-konform zu programmieren ist Lobbyarbeit, Öffentlichkeitsarbeit und die aktive Teilnahme an Diskussionen essentiell. In diesem Arbeitspaket werde ich zum einen direkt etwas für BIDS tun, zum Beispiel den Wikipedia Artikel ausbauen - zur Zeit ein stub. Hinzu kommt ein Kurs über BIDS, die Erstellung eines Twitter/Mastodon accounts und Kommunikation über schriftliche outlets und Public Review Prozesse. Zeitplan This is the Roadmap of the planned project on BIDS for the Open Science Fellowship by Wikimedia - Alexander Horst von Lautz Auf der Auftaktveranstaltung wurde ein Zeitplan ausgearbeitet, wann welche Themenpunkte bearbeitet werden. Ein Bild der handgeschriebenen Roadmap rechts. bis Ende 2018: Recherche und Zusammenstellung von Toolboxen Beitrag zum Public Review von BIDS Vorlesung und Practical zu Open Data an der FU Berlin Git Repository aufmachen für Projektcode 2019 Januar-März: Eigene Experimente in BIDS-format umwandeln und auf Repository hosten Beispiel Metadaten output generieren Kontakt zu Projektpartnern für Sets an Programmiersprachen aufbauen 2019 April: BIDS Beispiele Sammeln, als Paket für verschiedene Sprachen / Toolboxen zur Verfügung stellen BIDS Wikipedia Seiten überarbeiten, Deutsch/Spanische Version ab April 2018: Implementierung BIDS metadaten standard für online Experiment Platform lab.js Aktive Öffentlichkeitsarbeit Fortschritt Poster for Networking Event Open Science and Open Scholarship at FU Berlin September 2018 Auftaktveranstaltung, Ausarbeitung Projektplan, Ziele des Projekts Sammlung von Toolboxen durch Umfrage mit anderen Fellows: /Sammlung von Experiment Toolboxen Oktober 2018 W1: Dokumentation des Wochenendes, des Projektplans. Ausarbeitung von Arbeitspaketen, Zeitplan. Kontakt zu ehemaligen Fellows zum Thema BIDS. W2: Vortrag an der FU Berlin zu BIDS und dem Projekt. W3-4: Pause wegen Schreiben von Dissertation November 2018 W1-3: Pause wegen Schreiben von Dissertation W4: Erstellung von Github repository, Schreiben von Tutorial zur Umwandlung von bestehenden Daten ins BIDS Format. Dezember 2018 W1: Umwandlung von Daten in BIDS Struktur, Recherche von Verhaltensdatenenkodierung. Vernetzung mit Fellows zum Thema Verhaltensdaten W2: Übersetzung auf Englisch, Datenmanagementplan Juni 2019 Seminar Überarbeitung des Fellow Programms FU Veranstaltung Arbeitskreis Offene Wissenschaft: Practices of Open Science and Open Scholarship | July 4th 2019, 6 pm | Seminarzentum L113 References