Seminar: Aktuelle Trends in der Künstlichen Intelligenz

F. Puppe, K. Djebko und die Mitarbeiter/-innen des Lehrstuhls VI

UPDATE 12.04.2024: Die Themenliste wurde aktualisiert.

UPDATE 08.04.2024: Die Themenliste ist jetzt verfügbar.

UPDATE 02.04.2024: Der Termin für die Einführungsveranstaltung ist jetzt verfügbar.

Im Sommermester 2024 werden allgemeine und aktuelle Themen aus der Künstlichen Intelligenz vergeben. Mögliche Schwerpunkte sind unter anderem Natural Langugage Processing, Bildverarbeitung, Reinforcement Learning und Themen aus der medizinischen Informatik. Ziel des Seminars ist es, selbstständig ein Thema anhand geeigneter Literatur zu erarbeiten und dieses sowohl in einem mündlichen Vortrag, als auch einer schriftlichen Ausarbeitung zu präsentieren.

Das Seminar eignet sich für Studierende im Bachelor- und im Masterstudium.

Anmeldung: Wir haben das Anmeldesystem auf eine globale, semesterübergreifende Warteliste umgestellt. Das heißt, wenn Sie Interesse haben am Seminar teilzunehmen, schreiben Sie eine Mail mit vollem Namen, Matrikelnummer und Studiengang an untenstehenden Kontakt. Sie werden dann in die Warteliste aufgenommen. Die Aufnahme in die Warteliste kann zu jedem Zeitpunkt erfolgen, einen expliziten Anmeldezeitraum gibt es nicht, da die Themen in Anmeldereihenfolge vergeben werden. Bei einer Anmeldung wird Ihnen Ihr Listenplatz mitgeteilt.

Regeln zur Warteliste: Die Themen werden während einer Einführungsveranstaltung vergeben. Die Themen werden solange in Reihenfolge weiter vergeben, bis das letzte Thema vergeben ist. Alle Teilnehmer, bis zu diesem Platz, werden aus der Liste gelöscht und diejenigen, die kein Thema bekommen haben rücken nach vorne auf. Wer bei der Themenvergabe ohne vorherige Abmeldung nicht anwesend ist oder freiwillig zurücktritt verliert seinen Listenplatz. Wer seinen Listenplatz für das nachfolgende Semester behalten möchte muss diesen nach der Einführungsveranstaltung/Themenvergabe erneuern damit wir mitbekommen, ob die Teilnehmer vielleicht zwischenzeitlich ein anderes Seminar belegt haben (so können wir für die Interessierten bessere Prognosen abgeben ob es im nächsten Semester funktionieren wird, oder nicht). Erneuerungen werden nur nach der Einführungsveranstaltung/Themenvergabe des jeweiligen Semesters für das nächste Semester angenommen. Die Erneuerungen für das WS 24/25 werden zwischen dem 15.05.2024 und dem 15.06.2024 angenommen!

Einführungsveranstaltung / Themenvergabe:  Die Themen werden während der Einführungsveranstaltung am Mittwoch, den 17.04.2024, um 11:00 Uhr über Zoom im Zoom-Raum https://uni-wuerzburg.zoom-x.de/j/5821452490?pwd=ME13cW0xbXlSR3VjWk1xQTl4MGVvQT09 vergeben.

Ablauf bei Themenvergabe während einer Einführungsveranstaltung: Die Warteliste wird von oben nach unten durchgegangen und die Studierenden dürfen sich nacheinander eines der verbleibenden Themen aussuchen bis alle Themen vergeben wurden oder die Warteliste leer ist. Wer ohne vorherige Abmeldung nicht anwesend ist oder wem keines der Themen zusagt verliert seinen Listenplatz und muss sich erneut anmelden.

Um einen einheitlichen Startschuss zu gewährleisten  werden alle Teilnehmer, nachdem alle Themen vergeben wurden, gleichzeitig in einen nicht-öffentlichen WueCampus Kurs eingefügt, in dem sie ihre Materialien und Kontaktdaten zu ihrem Betreuer finden.

Kontakt: Für Anmeldungen und Rückfragen steht Kirill Djebko (kirill.djebko@uni-wuerzburg.de) per Mail zur Verfügung.

 

Themen im Sommersemester 2024

Thema 1 - ArtPrompt: ASCII Art-based Jailbreak Attacks against Aligned LLMs

Neuronale Netze sind anfällig gegenüber Adversarial Examples. Dies trifft auch auf LLMs wie ChatGPT zu. Durch solche Adversarial Examples (Im Kontext von LLMs auch Jailbreaking genannt) kann ihr alignment umgangen werden. Bei diesem Thema sollen Adversarial Attacks allgemein und speziell auf LLMs bezogen vorgestellt werden und Methoden gezeigt werden diese zu verhindern.  -Betreuer: Kirill Djebko

Thema 2 - A Survey of Transformers

Transformer sind die Basis moderner Sprachmodelle wie ChatGPT, Mistral und Claude. Mit der Verbreitung von LLMs sind auch viele Varianten von Transformern entstanden. Bei diesem Thema sollen die gängigsten Varianten vorgestellt und ein Ausblick auf mögliche Weiterentwicklungen auch über Transformer hinaus gegeben werden. -Betreuer: Kirill Djebko

Thema 3 - Scaling Instructable Agents Across Many Simulated Worlds

In dieser Arbeit wird ein Agent vorgestellt, der gelernt hat in einer Reihe von Videospielen natürlichsprachigen Anweisungen zu folgen. Die Interaktion des Agenten mit den Spielen funktioniert dabei wie bei Menschen: Er sieht Bilder als Eingabe und produziert als Ausgabe Aktionen mit Maus und Tastatur. Bei diesem Thema soll das Verfahren vorgestellt und Hintergrundinformation zu diesem gegeben werden. -Betreuer: David Schmidt

Thema 4 - Long-CLIP: Unlocking the Long-Text Capability of CLIP

CLIP-Modelle sind aktuell stark im Trend, da sie die Domänen von Texten und Bildern verknüpfen und damit eine Reihe an nützlichen Anwendungen ermöglichen, beispielsweise die Generierung von Bildern aus Text-Prompts wie in Stable Diffusion. Eine große Limitierung ist hier die maximale Länge des Text-Prompts und obendrauf die effektiv gesehene Länge des Modells. Das Paper stellt Long-CLIP vor, was diese Limitierung zu umgehen versucht. Ziel des Seminarthemas ist es, sowohl das Problem der Textlänge als auch den Ansatz der Autoren aufzuarbeiten und anschaulich zu präsentieren. -Betreuer: Amar Hekalo

Thema 5 - When Do We Not Need Larger Vision Modes?

In dieser Arbeit stellen die Autoren einen Ansatz vor, um mit kleineren neuronalen Netzarchitekturen die gleiche Performance wie mit ihren größeren Pendants zu erreichen. Dies soll den aktuellen Trend kontern, in dem bessere Modelle schlicht mehr Gewichte und Tiefe und somit mehr Daten benötigen. In diesem Seminarthema sollen die Probleme der aktuellen Lage sowie der Lösungsansatz der Autoren anschaulich aufgearbeitet und präsentiert werden. -Betreuer: Amar Hekalo

Thema 6 - DINOv2: Learning Robust Visual Features without Supervision

Das Paper stellt eine Methode vor um grundlegende Basismodelle ("Foundation Models") für Computer Vision Aufgaben zu erzeugen, welche anschließend ohne Fine-Tuning für unterschiedliche "Downstream"-Tasks verwendet werden können. -Betreuer: Norbert Fischer

Thema 7 - SoftCTC – Semi-Supervised Learning for Text Recognition using Soft Pseudo-Labels

Das Paper stellt eine neue Variante des CTC-Losses (SoftCTC) für die Optische Zeichenerkennung vor, welches die Verwendung von Pseudo-Labels für das Training verbessert. -Betreuer: Norbert Fischer

Thema 8 - Automatic semantic modeling of structured data sources with cross-modal retrieval

Die Arbeit stellt eine neue Methode zur automatischen semantischen Modellierung von Daten vor, die auf erklärbarer Darstellungslernen basiert. Sie verwendet einen attention-basierten table-graph cross-modal retrieval Ansatz und nutzt Graph-representation-learning, um semantische Modelle für strukturierte Datenquellen zu extrahieren. -Betreuer: Sebastian Kempf

Thema 9 -Übersicht: Self-supervised learning in medical segmentation

Das primäre Ziel dieser Seminararbeit ist es, eine umfassende Übersicht über den aktuellen Stand von Self-supervised Learning (SSL) Methoden im Kontext der medizinischen Bildsegmentierung zu bieten. Es soll ein Verständnis für die Grundlagen von SSL-Techniken entwickelt und deren Anwendung und Effektivität in der medizinischen Bildsegmentierung untersucht werden. -Betreuer: Adrian Krenzer

Thema 10 - Übersicht: Explainability in AI for medical image processing

In der Seminararbeit zum Thema "Übersicht Explainability in AI for Medical Image Processing" soll eine Übersicht über die Rolle der Erklärbarkeit in KI-Systemen zur Verarbeitung medizinischer Bilder aufgearbeitet werden. Es werden verschiedene Methoden zur Steigerung der Transparenz und Nachvollziehbarkeit dieser Systeme untersucht. Die Arbeit analysiert den Einfluss dieser Methoden auf Diagnosegenauigkeit und ethische Aspekte. Abschließend werden Herausforderungen und Zukunftsperspektiven der erklärbaren KI in der Medizin diskutiert. -Betreuer: Adrian Krenzer

Thema 11 - Poisoning Large Language Models

Large Language Models bilden den Kern von Chatbots wie ChatGPT oder Programmierassistenten wie Copilot. Nutzer derartiger Systeme haben oft keinen Einblick in den Trainingsprozess. Während des Trainings ist es jedoch möglich, absichtliche Schwachstellen in die LMs einzubauen, so dass sie z.B. völlig anders als im Normalfall antworten, wenn sie eine vorgegebene Triggerphrase sehen. In dieser Seminararbeit soll ein Überblick über derartige Schwachstellen gegeben werden. -Betreuer: David Schmidt