Seminar: Aktuelle Trends in der Künstlichen Intelligenz

F. Puppe, K. Djebko und die Mitarbeiter/-innen des Lehrstuhls VI

UPDATE 09.10.2024: Die Themenliste ist jetzt verfügbar.

UPDATE 09.10.2024: Der Termin für die Einführungsveranstaltung ist jetzt verfügbar.

Im Wintersemester 2024/2025 werden allgemeine und aktuelle Themen aus der Künstlichen Intelligenz vergeben. Mögliche Schwerpunkte sind unter anderem Natural Langugage Processing, Bildverarbeitung, Reinforcement Learning und Themen aus der medizinischen Informatik. Ziel des Seminars ist es, selbstständig ein Thema anhand geeigneter Literatur zu erarbeiten und dieses sowohl in einem mündlichen Vortrag, als auch einer schriftlichen Ausarbeitung zu präsentieren.

Das Seminar eignet sich für Studierende im Bachelor- und im Masterstudium.

Anmeldung: Die Anmeldung erfolgt über eine Anmeldeliste. Das heißt, wenn Sie Interesse haben am Seminar teilzunehmen, schreiben Sie eine Mail mit vollem Namen, Matrikelnummer und Studiengang an untenstehenden Kontakt. Sie werden dann in die Anmeldeliste aufgenommen. Die Aufnahme in die Anmeldeliste kann zu jedem Zeitpunkt erfolgen, einen expliziten Anmeldezeitraum gibt es nicht, da die Themen in Anmeldereihenfolge vergeben werden. Bei einer Anmeldung wird Ihnen Ihr Listenplatz mitgeteilt.

Regeln zur Warteliste: Die Themen werden während einer Einführungsveranstaltung vergeben. Die Themen werden solange in Reihenfolge weiter vergeben, bis das letzte Thema vergeben ist. Alle Teilnehmer, bis zu diesem Platz, werden aus der Liste gelöscht. Wer bei der Themenvergabe ohne vorherige Abmeldung nicht anwesend ist oder freiwillig zurücktritt verliert seinen Listenplatz.

Einführungsveranstaltung / Themenvergabe:  Die Themen werden während der Einführungsveranstaltung am Mittwoch, den 16.10.2024, um 11:00 Uhr über Zoom im Zoom-Raum https://uni-wuerzburg.zoom-x.de/j/5821452490?pwd=ME13cW0xbXlSR3VjWk1xQTl4MGVvQT09 vergeben.

Ablauf bei Themenvergabe während einer Einführungsveranstaltung: Die Anmeldeliste wird von oben nach unten durchgegangen und die Studierenden dürfen sich nacheinander eines der verbleibenden Themen aussuchen bis alle Themen vergeben wurden oder die Warteliste leer ist. Wer ohne vorherige Abmeldung nicht anwesend ist oder wem keines der Themen zusagt verliert seinen Listenplatz.

Um einen einheitlichen Startschuss zu gewährleisten  werden alle Teilnehmer, nachdem alle Themen vergeben wurden, gleichzeitig in einen nicht-öffentlichen WueCampus Kurs eingefügt, in dem sie ihre Materialien und Kontaktdaten zu ihrem Betreuer finden.

Kontakt: Für Anmeldungen und Rückfragen steht Kirill Djebko (kirill.djebko@uni-wuerzburg.de) per Mail zur Verfügung.

 

Themen im Wintersemester 2024/2025

Thema 1 - KAN: Kolmogorov-Arnold Networks

Bei MLPs werden die Aktivierungsfunktionen festgelegt und die Kantengewichte gelernt, wohingegen bei KANs die Aktivierungsfunktionen gelernt werden. Dies sorgt dafür, das aus KANs symbolische Formeln abgeleitet werden können, was diese erklärbar macht. Bei diesem Thema sollen Kolmogorov Arnold Netzwerke vorgestellt und mit MLPs verglichen werden. Weiterhin sollen ihre Vor- und Nachteile beleuchtet werden und Anwendungen vorgestellt werden.  -Betreuer: Kirill Djebko

Thema 2 - xLSTM: Extended Long Short-Term Memory

RNNs leiden unter der Notwendigkeit sequenziellen Trainings und haben Schwierigkeiten, längere Kontexte zu behalten. Hierdurch sind sie seit der Einführung von Transformern in den Hintergrund geraten. Mit xLSTM, einer erweiterung des LSTM, findet sich nun jedoch ein RNN, das verspricht ähnliche Performanz zu Transformern zu liefern. Bei diesem Thema soll xLSTM vorgestellt und mit LSTMs und Transformern verglichen werden. Es sollen Anwendungen gezeigt und Vor- und Nachteile des Verfahrens aufgeführt werden. -Betreuer: Kirill Djebko

Thema 3 - Übersicht: Self-supervised learning in medical segmentation

Das primäre Ziel dieser Seminararbeit ist es, eine umfassende Übersicht über den aktuellen Stand von Self-supervised Learning (SSL) Methoden im Kontext der medizinischen Bildsegmentierung zu bieten. Es soll ein Verständnis für die Grundlagen von SSL-Techniken entwickelt und deren Anwendung und Effektivität in der medizinischen Bildsegmentierung untersucht werden. -Betreuer: Adrian Krenzer

Thema 4 - Übersicht: Explainability in AI for medical image processing

In der Seminararbeit zum Thema "Übersicht Explainability in AI for Medical Image Processing" soll eine Übersicht über die Rolle der Erklärbarkeit in KI-Systemen zur Verarbeitung medizinischer Bilder aufgearbeitet werden. Es werden verschiedene Methoden zur Steigerung der Transparenz und Nachvollziehbarkeit dieser Systeme untersucht. Die Arbeit analysiert den Einfluss dieser Methoden auf Diagnosegenauigkeit und ethische Aspekte. Abschließend werden Herausforderungen und Zukunftsperspektiven der erklärbaren KI in der Medizin diskutiert. -Betreuer: Adrian Krenzer

Thema 5 - Detecting hallucinations in large language models using semantic entropy

Systeme, die auf Large Language Models basieren, wie beispielsweise ChatGPT, haben gezeigt, dass sie gut Fragen beantworten oder ihnen gestellte Aufgaben bearbeiten können. Dabei sind sie allerdings nicht wirklich zuverlässig, da es immer wieder zu sogenannten Halluzinationen kommt: Das System stellt an einer beliebigen Stelle im Text unwahre Behauptungen auf. In dieser Seminararbeit soll eine Methode vorgestellt werden, die sich mit der automatischen Erkennung derartiger Textstellen befasst. -Betreuer: David Schmidt

Thema 6 - Übersicht: Reading and Understanding Text in Images using Large Vision Language Models

In dieser Seminararbeit soll eine Übersicht über die aktuelle Forschung präsentiert werden, wie mithilfe von (multimodalen) LLMs Textelemente in Bildern erkannt werden können, oder weitere Aufgaben wie Visual Questioning, Key Information Extraction mithilfe von unterschiedlichen LLMs in der aktuellen Forschung angegangen werden. -Betreuer: Norbert Fischer

Thema 7 - CREPE: Coordinate-Aware End-to-End Document Parser

Die Digitalisierung von Dokumenten besteht häufig aus mehreren Schritten wie z.B. Vorverarbeitung, Layouterkennung und Texterkennung.
Im CREPE wird eine Methode beschrieben die u.a. Layout und Texterkennung zu einem Schritt zusammenfasst. Dieser Ansatz soll beschrieben und in Kontext zu anderen ähnlichen Ansätzen (e.g. LayoutLM) gestellt werden. -Betreuer: Alexander Hartelt

Thema 8 - LLM Distillation and Pruning

Inzwischen gibt es auch zahlreiche kleine LLMs, die auf COnsumer Hardware ausgeführt werden können. Diese werden meistens nicht von Grund auf trainiert sondern aus größeren LLMs abgeleitet. Bei diesem Semianrthema sollen verschiedene solche Verfahren, wie Destillation und Pruning vorgestellt werden. -Betreuer: Kirill Djebko