Computer-Aided Experimentation for Human Behaviour Analysis

Abstract

The implementation of behavioural experiments in various disciplines has relied on computers for the last five decades. Interestingly, the use of computers has both facilitated and hindered different aspects of the experimental process. Over time, frameworks have been developed that make it easier to design experiments and conduct them. At the same time, the multiplicity of frameworks and the lack of documentation have made the replication of experiments a difficult endeavour. The reproducibility crisis is not unique to computer-aided experiments but is severely aggravated by it. Most experimental research focuses on translating a research question into an actionable hypothesis that can be falsified through experiments. However, the process of conducting the experiment—experimentation—is often left to the researchers' whims. While method sections in papers are meant to ameliorate this by giving an overview of how the research was conducted, it often omits several steps supposedly for clarity. This approach is following in the footsteps of Karl Popper to "omit with advantage" but the reproducibility crisis has shown that it is not easy to tell a priori what actually can be omitted with advantage. In this dissertation, I address this issue by formalising Computer-Aided Experimentation (CAE). The focus of previous research has been on reproducing experimental outcomes instead of creating a theoretical foundation for reproducible experimentation. Here, I rely on concepts from industrial research such as "Digital Twins", cloud research such as the "_ as Code" revolution, and insights from behavioural research on reproducibility to define Computer-Aided Experimentation for Human Behaviour Analysis. This thesis proposes a three-fold approach of theories, systems and applications to define CAE. First, I outline my theoretical framework behind CAE that relies on the three concepts: the "Experiments as Digital Twins" perspective, the "Experiments as Code" paradigm, and the "Design, Experiment, Analyse, and Reproduce" (DEAR) principle. Subsequently, I present five systems that employ the theoretical concepts of CAE. Each system addresses human behaviour analysis across a wide range of disciplines. Lastly, I report how these five systems are put to a test in domain science applications that have advanced their respective research fields. I conclude this dissertation with a discussion on the importance of these new theoretisations of experimentation and point towards future tasks in Computer-Aided Experimentation for Human Behaviour Analysis.

Die Durchführung von Verhaltensexperimenten in verschiedenen Disziplinen hat sich in den letzten fünf Jahrzehnten auf Computer gestützt. Interessanterweise hat der Einsatz von Computern verschiedene Aspekte des experimentellen Prozesses sowohl erleichtert als auch behindert. Im Laufe der Zeit wurden Frameworks entwickelt, die die Planung und Durchführung von Experimenten erleichtern. Gleichzeitig haben die Vielzahl der Systeme und die fehlende Dokumentation die Reproduktion von Experimenten zu einem schwierigen Unterfangen gemacht. Das Problem der Reproduzierbarkeit ist nicht nur bei computergestützten Experimenten zu beobachten, wird aber durch sie noch erheblich verschärft. Die meisten experimentellen Untersuchungen konzentrieren sich darauf, eine Forschungsfrage in eine umsetzbare Hypothese zu übersetzen, die durch Experimente falsifiziert werden kann. Die Durchführung des Experiments - der Experimentsaufbau - wird jedoch oft den Launen der Forscher überlassen. Die Methodenabschnitte in den Veröffentlichungen sollen dies zwar abmildern, indem sie einen Überblick darüber geben, wie die Forschung durchgeführt wurde, dabei lassen diese aber oft mehrere Schritte aus, um vermeintlich der Klarheit zu dienen. Dieser Ansatz folgt den Fußstapfen von Karl Popper, um "zum Vorteil auszulassen", aber die Krise der Reproduzierbarkeit hat gezeigt, dass es nicht einfach ist, a priori zu sagen, was tatsächlich mit Vorteil ausgelassen werden kann. In dieser Dissertation gehe ich dieses Problem an, indem ich die computergestützte Experimentierung (Computer-Aided Experimentation; CAE) formalisiere. Der Schwerpunkt der bisherigen Forschung lag auf der Reproduktion von Experimentsergebnissen, anstatt eine theoretische Grundlage für reproduzierbare Experimentsaufbaue zu schaffen. Hier stütze ich mich auf Konzepte aus der industriellen Forschung wie "Digitale Zwillinge", aus der Cloud-Forschung wie der "_ als Code"-Revolution und auf Erkenntnisse aus der Verhaltensforschung zur Reproduzierbarkeit, um Computer-Aided Experimentation for Human Behaviour Analysis zu definieren. In dieser Arbeit wird ein dreiteiliger Ansatz aus Theorien, Systemen und Anwendungen vorgeschlagen, um CAE zu definieren. Zunächst skizziere ich meinen theoretischen Rahmen für CAE, der sich auf drei Konzepte stützt: die Perspektive "Experimente als digitale Zwillinge", das Paradigma "Experimente als Code" und das Prinzip "Design, Experiment, Analyse und Reproduktion" (DEAR). Anschließend stelle ich fünf Systeme vor, die die theoretischen Konzepte von CAE anwenden. Jedes System befasst sich mit der Analyse des menschlichen Verhaltens in einem breiten Spektrum von Disziplinen. Schließlich berichte ich darüber, wie diese fünf Systeme in fachwissenschaftlichen Anwendungen getestet wurden, die ihre jeweiligen Forschungsgebiete vorangebracht haben. Ich schließe diese Dissertation mit einer Diskussion über die Bedeutung dieser neuen Theorien des Experimentierens und weise auf zukünftige Aufgaben in Computer-Aided Experimentation for Human Behaviour Analysis hin.