Dritter Workshop zum Forschungsdatenmanagement in den Plasmawissenschaften an der Universität Kiel

In den letzten Tagen fand an der Universität Kiel der dritte Workshop zum Forschungsdatenmanagement in den Plasmawissenschaften statt. Die Veranstaltung war eine Kooperation zwischen dem INP Greifswald, der Universität Kiel und der Universität Bochum. Der Workshop zog ein bunt gemischtes Publikum an: 19 Teilnehmer waren persönlich anwesend und etwa 30 nahmen online teil, um sich über die neuesten Fortschritte und Diskussionen auf diesem Gebiet zu informieren.

Der Workshop umfasste verschiedene Vorträge von Forschern, die einen reichen Austausch von Ideen und Wissen ermöglichten. Die Teilnehmer hatten die Möglichkeit, verschiedene Aspekte des Forschungsdatenmanagements zu erkunden.

Der diesjährige Workshop legte einen besonderen Schwerpunkt auf elektronische Laborbücher. In einer speziellen Hands-on-Sitzung konnten die Teilnehmer praktische Erfahrungen sammeln und erfahren, wie sich elektronische Labbücher nahtlos in die Simulationsforschung und die experimentelle Arbeit integrieren lassen. Dieser Ansatz verdeutlichte nicht nur die Vorteile digitaler Werkzeuge für die Verwaltung von Forschungsdaten, sondern förderte auch ein tieferes Verständnis für ihre Anwendung in realen Szenarien.

Workshop

Third Workshop on Research Data Management in Plasma Science at Kiel University

In the last few days, Kiel University hosted the third workshop on research data management in plasma science. This event was a collaborative effort, jointly organized by the INP Greifswald, Kiel University, and the University of Bochum. The workshop attracted a diverse audience, with 19 participants attending in person and approximately 30 joining online, eager to delve into the latest advancements and discussions in the field.

The workshop included different talks from researchers, facilitating a rich exchange of ideas and knowledge. Participants had the opportunity to explore various aspects of research data management.

This year's workshop placed a particular emphasis on electronic labbooks. A dedicated hands-on session provided participants with practical experience, demonstrating how electronic labbooks can seamlessly integrate with both simulation research and experimental work. This approach not only highlighted the advantages of digital tools in managing research data but also fostered a deeper understanding of their application in real-world scenarios.

Debatte

Großsprachige Modelle für die Plasmaforschung - Fluch oder Segen?

Große Sprachmodelle (LLM) wie ChatGPT und andere können die Art und Weise, wie wir Forschung betreiben, verändern. Diese Systeme dienen als Werkzeug für Literaturrecherchen, Datenanalysen und Programmieraufgaben. Aber was sind die Potentiale von LLMs und ihre Unzulänglichkeiten, insbesondere im Hinblick auf die sehr interdisziplinäre Plasmaforschung?

Das Aufkommen von großen Sprachmodellen (LLM) wie ChatGPT und anderen wird die Art und Weise, wie wir wissenschaftliche Erkenntnisse sammeln, verarbeiten und präsentieren, verändern. LLMs basieren auf der Sammlung von Informationen aus dem Internet und der Zusammenstellung von Antworten auf der Grundlage der Wahrscheinlichkeit von Wortfolgen. Dabei werden die gebräuchlichsten Aussagen und Phrasen verstärkt, in der Hoffnung, dass diese gebräuchlichen Informationen richtig sind. Dies ist jedoch nicht unbedingt der Fall, und die Anreicherung falscher Aussagen kann eine gründliche Bewertung und Analyse eines Themas verzerren. Dies wird als die Halluzination von LLMs bezeichnet [1]. Die Leichtigkeit, mit der Informationen gesammelt und Antworten in einer sehr lesbaren Form erstellt werden können, ist ein Segen; die Verstärkung falscher Aussagen ist ein Fluch. Einige Verlage haben dies bereits in der Community diskutiert und gehen es an [1-5]. Doch welche Möglichkeiten bieten LLMs und wo liegen ihre Schwächen, insbesondere in Bezug auf Plasmareserven?

LLMs haben mehrere Vorteile.

(i) LLMs werden die Art und Weise, wie wir Informationen sammeln, verändern, weil KI Informationen verdichten und die relevantesten Informationen aus dem Internet sehr effizient herausfiltern wird, wobei sie nach ihrer Popularität beurteilt wird. Dies ist für viele genau definierte Aufgaben sehr hilfreich. Diese LLMs werden vermutlich den derzeitigen Suchmaschinenansatz zur Informationsbeschaffung ersetzen. Da die Plasmaforschung sehr interdisziplinär ist und die Informationen über viele Zeitschriften und Konferenzen verstreut sind, kann der Einsatz automatisierter Literatursuchen durch LLMs hilfreich sein.

(ii) LLMs können die Datenanalyse beschleunigen, indem sie Analysekonzepte für die Filterung und Anpassung von Daten mit den neuesten Algorithmen bereitstellen.

(iii) Einfache Programmieraufgaben können sehr schnell erledigt werden, ohne dass viele verschiedene Codeschnipsel aus dem Internet gesammelt werden müssen. In der Regel reichen ein oder zwei Versuche mit einem LLM aus, um zumindest eine Startversion eines Programms zu haben, wenn die Aufgabe nicht zu aufwendig ist.

(iv) LLMs können für die meisten wissenschaftlichen Themen zumindest einen Ausgangspunkt für weitere Forschung liefern. Dies unterscheidet sich nicht allzu sehr von der konventionellen Forschung auf der Grundlage von Bibliotheken, Zeitschriftenausgaben oder der einfachen Verwendung einer Suchmaschine. Die Nutzung von LLMs ist viel komfortabler.

(v) LLMs helfen beim Verfassen wissenschaftlicher Texte und produzieren gut lesbare Ergebnisse. Dies ist ihre Kernkompetenz.

Allerdings weisen LLMs auch Herausforderungen und Unzulänglichkeiten bei der Durchführung von Plasmastudien auf. Die Durchführung einer Literaturrecherche und das Sammeln von Informationen zu einem Thema im Internet durch den LLM führt nicht zu einer Anhäufung oder Wiederholung falscher Aussagen und Erkenntnisse. In einigen Fällen sind die von LLMs zur Untermauerung ihrer Argumente angeführten Referenzen falsch. Die Antworten eines LLM können auch von der Person abhängen, die die Frage stellt, was zu unterschiedlichen Ergebnissen für eine bestimmte wissenschaftliche Frage führt. Wenn man einen LLM bittet, sehr bekannte Tatsachen zu erklären, könnte er richtig sein, aber er könnte die Dinge auch zu sehr vereinfachen. In einigen Fällen sind die Erklärungen von LLMs schlichtweg falsch. Diese Halluzination von LLMs kann ein Hindernis sein, insbesondere in der Plasmaforschung, wo die Gemeinschaft interdisziplinär und im Vergleich zu anderen Bereichen etwas kleiner ist. Infolgedessen befassen sich in der Regel nur einige wenige Arbeiten mit einem bestimmten Prozess oder einer bestimmten Anwendung, so dass die Wissensbasis für ein bestimmtes Thema klein ist und die Aussagen, die diese LLMs produzieren, möglicherweise nicht robust sind. In diesem Sinne ist es nach wie vor die wichtigste Pflicht eines jeden Wissenschaftlers, mehrere Quellen wie Zeitschriftenartikel, Lehrbücher oder Diskussionen mit Kollegen heranzuziehen, bevor er eine Information bewertet.

Im Mittelpunkt der Forschung stehen das Verständnis grundlegender Prinzipien und die Entwicklung neuer Erkenntnisse oder Hypothesen. Es ist unklar, ob LLMs hier helfen können. Wenn zum Beispiel zwei Plasmaquellen für eine bestimmte Aufgabe verglichen werden, kann das LLM verschiedene Kombinationen oder Betriebsparameter empfehlen. Ein tieferer Einblick in die Mechanismen könnte jedoch zu dem Schluss führen, dass ein ganz anderes Entladungskonzept besser geeignet wäre. Häufig werden Aussagen getroffen, dass eine Plasmamethode (wie DBD-Plasmen) besser ist als andere (z. B. Mikrowellen) oder dass „Plasma“ für eine bestimmte Anwendung nicht „funktioniert“. Die Komplexität der angesprochenen Systeme in der Plasmaforschung ist so groß, dass diese einfachen Antworten nutzlos sind, wenn sie nicht in den richtigen Kontext gestellt werden. Da die Plasmaforschung auch von Wissenschaftlern mit einer Ausbildung in anderen Bereichen (wie Chemieingenieurwesen, Festkörperphysik usw.) betrieben wird, werden diese allzu einfachen Aussagen möglicherweise nicht in Frage gestellt.
Schließlich stellen LLMs eine Herausforderung für wissenschaftliche Zeitschriften dar. Wenn man einen LLM bittet, ein Ergebnis zu erklären oder eine Studie zu empfehlen, sammelt er zwangsläufig Informationen, die bereits anderswo veröffentlicht wurden. Wenn die Autoren diese wiederholen, wiederholen sie automatisch die Forschung anderer. Dies stellt eine Herausforderung dar, da LLMs es uns ermöglichen, schnell „schöne“ Arbeiten zu produzieren, die nur bekannte Informationen wiedergeben. Dies wird die Zahl der veröffentlichten Arbeiten in die Höhe treiben und die „echten“ Informationen in Zukunft verwässern.

Derzeit besteht die Tendenz, den Leser aus Gründen der Transparenz darüber zu informieren, dass KI bei der Erstellung eines Manuskripts oder bei der Interpretation eines Ergebnisses eingesetzt wurde (die Autoren tragen jedoch weiterhin die volle Verantwortung für die Arbeit [3]). Dies mag nicht schlüssig sein, da die Verwendung von Standardwerkzeugen zur Datenvisualisierung oder -analyse und von Rechtschreibsoftware bereits üblich ist, ohne dass darauf verwiesen werden muss. LLMs könnten nur ein weiteres Instrument auf dieser Liste sein, da eine Überprüfung durch den Wissenschaftler immer erforderlich sein wird.
Letztendlich wird es interessant sein zu sehen, wie die wissenschaftliche Gemeinschaft LLMs in den täglichen Arbeitsablauf integriert. Dieser Übergang ist im Gange, aber der Beitrag und die Anleitung kritischer Wissenschaftler wird immer notwendig sein.

[1] ChatGPT: A comprehensive review on background, applications, key challenges, bias, ethics, limitations and future scope, Partha Pratim Ray, Internet of Things and Cyber-Physical Systems, 3, 121-154, (2023)

[2] ChatGPT: five priorities for research Eva A. M. van Dis, Johan Bollen, Robert van Rooij, Willem Zuidema & Claudi L. Bockting, Nature 614, 224 (2023)

[3] ChatGPT is fun, but not an author, H. HOLDEN THORP Authors Info & Affiliations, SCIENCE 379, 313 (2023)

[4] Exploring the potential of using ChatGPT in physics education, Yicong Liang, Di Zou, Haoran Xie & Fu Lee Wang, Smart Learning Environments 10, 52 (2023)

[5] After enabling AI it is time for the plasma community to benefit from AI – Personal view in a short perspective article, E. Kessels, Atomic Limits Blog, PMP Group TU Eindhoven, 7.5.2023

Debate

Large Language Models for Plasma Research - Curse or Blessing?

Large language models (LLM) such as ChatGPT and others may change the way we do research. These systems serve as a tool for literature searches, data analysis and performing programming tasks. But what are the potentials of LLMs and their shortcomings, especially regarding the very interdisciplinary plasma research?

The advent of large language models (LLM) such as ChatGPT and others will change the way we gather, process and present scientific findings. LLMs are based on collecting information from the internet and composing answers based on the likelihood of succession of words. Thereby, the most common statements and phrases are amplified, hoping these common information pieces are correct. This might, however, not necessarily be true, and the amplification of wrong statements may distort any thorough assessment and analysis of a topic. This is referred to as the hallucination of LLMs [1]. The ease of gathering information and creating answers in a very readable form is a blessing; amplifying wrong statements is a curse. Some publishers have already discussed this in the community and are addressing it [1-5]. But what are the potentials of LLMs and their shortcomings, especially regarding plasma research?

LLMs exhibit several advantages. (i) LLMs will change how we gather information because AI will condense information and filter out the most relevant information from the internet very efficiently, being judged by its popularity. This is very helpful for many well-defined tasks. These LLMs will presumably replace the current search engine approach for information gathering. Since plasma research is very interdisciplinary and the information is dispersed over many journals and conferences, using automated literature searches by LLMs can help. (ii) LLMs may accelerate data analysis by providing analysis concepts for filtering and fitting data with the most up-to-date algorithms. (iii) Simple programming tasks can be completed very quickly without the need to collect many different code snippets from the Internet. Usually, one or two attempts with an LLM are enough to have at least a starting version of a program if the task is not too elaborate. (iv) LLMs can generate at least a starting point for further research for most scientific topics. This is not too different from conventional research based on libraries, journal editions, or simply using a search engine. Using LLMs is much more comfortable. (v) LLMs help write scientific texts and produce highly readable output. This is their core expertise.

However, LLMs also exhibit challenges and shortcomings in doing plasma research. Doing a literature search and collecting information on a topic on the web by the LLM will not account for any accumulation or repetition of wrong statements and findings. In some cases, references given by LLMs to support arguments are wrong. The answers of an LLM may also depend on the person who is asking which will generate different outcomes for a specific scientific question. If one asks an LLM to explain very known facts, it could be correct, but it may also oversimplify things. In some cases, the explanations of LLMs are plainly incorrect. This hallucination of LLMs can be an obstacle, especially in plasma research, where the community is interdisciplinary and somewhat smaller compared to other fields. Consequently, only a few papers usually deal with a particular process or application, so the knowledge base for a specific topic is small and the statements these LLMs produce may not be robust. In that sense, the duty of any scientist to use several sources such as journal articles, textbooks, or discussions with colleagues before assessing any information is still the most important.

At the core of research is understanding fundamental principles and generating new insights or hypotheses. It is unclear whether LLMs can help here. For example, when comparing two plasma sources for a specific task, the LLM may recommend different combinations or operation parameters. However, a deep insight into the mechanisms may conclude that an entirely different discharge concept might be better suited. Commonly, statements are generated that one plasma method (such as DBD plasmas) is better than others (for example, microwave) or that “plasma” does not “work” for a particular application. The complexity of the addressed systems in plasma research is so significant that these simple answers are useless if they are not put into proper context. Since plasma research is also performed by scientists with training in other fields (such as chemical engineering, solid-state physics, etc.), these too-simple statements might not be questioned.

Finally, LLMs pose challenges for scientific journals. If one asks an LLM to explain a result or recommend a study, it necessarily collects information already published elsewhere. If the authors repeat that, they automatically repeat the research of others. This poses a challenge since LLMs allow us to quickly produce “nice” papers that only reproduce known information. This will blow up the number of published papers and dilute the “real” information going forward.

At present, there is a tendency to make it obligatory for transparency reasons to inform the reader that AI is being used to generate a manuscript or in the interpretation of a result (the authors, however, still bear full responsibility for the paper [3]). This may not be conclusive since using standard data visualisation or analysis tools and spelling software is already common without the need to be referenced. LLMs could be just another tool on that list since verification by the scientist will always be required.

In the end, it will be interesting to see how the scientific community integrates LLMs into the daily workflow. This transition is happening, but the input and guidance of critical scientists will always be necessary.