North American Chapter of the Association for Computational Linguistics (NAACL) 2024

Die North American Chapter of the Association for Computational Linguistics ( kurz: NAACL) 2024 in Mexiko-Stadt ist eine große Konferenz, die Forscher und Experten aus aller Welt zusammenbringt, um Innovationen und Trends der Computerlinguistik und dem Natural Language Processing (NLP) miteinander diskutieren zu können. Mit einem umfangreichen Programm und zahlreichen Workshops, darunter der 19. Workshop zur innovativen Nutzung von NLP für Bildungsanwendungen (BEA 2024), bot die Konferenz auch in diesem Jahr eine Plattform für den Austausch bahnbrechender Forschung und neuer Ideen.

Der BEA-Workshop konzentrierte sich auf die Anwendung von NLP im Bildungsbereich und bot spannende Keynote-Vorträge, Präsentationen und Poster-Sessions. . Über Hundert Wissenschaftler:innen aus aller Welt hatten sich in Mexiko Stadt eingefunden, um sich untereinander auszutauschen und alle haben ein Ziel: Die Verbesserung von Bildungstools durch NLP.Mit dabei war auch ein wissenschaftlicher Mitarbeiter des Instituts Naturwissenschaften. Die vielen Eindrücke und den Austausch mit vielen Kolleg:innen aus aller Welt empfand Imran Chamieh als inspirierend für seine weitere Arbeit an der Hochschule Ruhr West.

Imran Chamieh hatte aber nicht nur Gelegenheit zum Austausch, sondern auch zur Präsentation seines Papers "LLMs in Short Answer Scoring: Limitations and Promise of Zero-Shot and Few-Shot Approaches", das von Prof. Klaus Giebermann (Hochschule Ruhr West) und Prof. Torsten Zesch (FernUniversität in Hagen) begleitet wurde.  In der Studie wurden in drei Datensätzen fünf verschiedene Modelle getestet, unter anderem GPT von OpenAI und LLaMA-2 von Meta. Dabei wurden deren Leistung in Zero-Shot, Few-Shot und Fine-Tuning-Szenarien analysiert. Leider zeigte sich, dass die Modelle in diesen Einstellungen deutlich schlechter abschnitten und somit für praktische Anwendungen nicht geeignet sind. Diese Erkenntnis unterstreicht die Notwendigkeit weiterer Fortschritte in diesem Bereich.

Neben der Konferenz kam auch das Sightseeing nicht zu kurz. Vor allem die historischen Stätten Mexiko Stadts, die Lebensfreude der Menschen dort und das kulinarische Angebot haben ihn nachhaltig begeistern können.

Sowohl die Teilnahme an der NAACL 2024 als auch am BEA-Workshop empfindet Imran Chamieh sowohl beruflich wie auch kulturell als Bereicherung. Die Konferenz bot ihm eine großartige Plattform, um Ergebnisse der eignen Forschung zu teilen und wertvolles Feedback dazu zu erhalten. Gleichzeitig haben die Kultur und Küche von Mexiko-Stadt meinen Aufenthalt unvergesslich gemacht.