Seminar: Aktuelle Trends in der Künstlichen Intelligenz

F. Puppe, K. Djebko und die Mitarbeiter/-innen des Lehrstuhls VI

UPDATE 09.09.2022: Der Termin der Einführungsveranstaltung ist jetzt verfügbar

UPDATE 28.09.2022: Präzisierung der Themenauswahl.

UPDATE 30.09.2022: Die Themenliste ist nun verfügbar.

Im Wintersemester 2022/2023 werden allgemeine und aktuelle Themen aus der Künstlichen Intelligenz vergeben. Mögliche Schwerpunkte sind unter anderem Natural Langugage Processing, Bildverarbeitung, Reinforcement Learning, Themen aus der medizinischen Informatik. Ziel des Seminars ist es, selbstständig ein Thema anhand geeigneter Literatur zu erarbeiten und dieses sowohl in einem mündlichen Vortrag, als auch einer schriftlichen Ausarbeitung zu präsentieren.

Es werden 12 Themen vergeben (d. h. 12 Teilnehmer erhalten jeweils ein Thema), wobei aus mehr  als 12 Themen gewählt werden kann.

Das Seminar eignet sich für Studierende im Bachelor- und im Masterstudium.

Anmeldung: Wir haben das Anmeldesystem auf eine globale, semesterübergreifende Warteliste umgestellt. Das heißt, wenn Sie Interesse haben am Seminar teilzunehmen, schreiben Sie eine Mail mit vollem Namen, Matrikelnummer und Studiengang an untenstehenden Kontakt. Sie werden dann in die Warteliste aufgenommen. Die Aufnahme in die Warteliste kann zu jedem Zeitpunkt erfolgen, einen expliziten Anmeldezeitraum gibt es nicht, da die Themen in Anmeldereihenfolge vergeben werden.

Regeln zur Warteliste: Die Themen werden während einer Einführungsveranstaltung vergeben. Hierbei gilt: Wer nicht anwesend ist, bekommt kein Thema und verliert auch seinen Platz in der Warteliste. Wem die Themen nicht zusagen und freiwillig zurücktritt, verliert seinen Listenplatz ebenfalls. Die Themen werden solange in Reihenfolge weiter vergeben, bis das letzte Thema vergeben ist. Alle Teilnehmer, bis zu diesem Platz, werden aus der Liste gelöscht und diejenigen, die kein Thema bekommen haben rücken nach vorne auf. Es ist weiterhin nötig, nach jeder Einführungsveranstaltung/Themenvergabe seine Anmeldung zu erneuern um seinen Platz nicht zu verlieren, damit wir mitbekommen, ob die Teilnehmer vielleicht zwischenzeitlich ein anderes Seminar belegt haben (so können wir für die Interessierten bessere Prognosen abgeben ob es im nächsten Semester funktionieren wird, oder nicht). Erneuerungen werden nur nach der Einführungsveranstaltung/Themenvergabe des jeweiligen Semesters für das nächste Semester angenommen, um Pauschal-Erneuerungen einen Riegel vorzuschieben.  Die Erneuerungen für das SS23 werden zwischen dem 15.11.2022 und dem 15.12.2022 angenommen!

Einführungsveranstaltung / Themenvergabe:  Die Themen werden während der Einführungsveranstaltung am Mittwoch, den 12.10.2022, um 11:00 Uhr über Zoom im Zoom-Raum https://uni-wuerzburg.zoom.us/j/5821452490?pwd=ME13cW0xbXlSR3VjWk1xQTl4MGVvQT09 vergeben. Mögliche Änderungen betreffend die Themenvergabe werden rechtzeitig hier bekanntgegeben.

Ablauf bei Themenvergabe während einer Einführungsveranstaltung: Die Warteliste wird von oben nach unten durchgegangen und die Studierenden dürfen sich nacheinander eines der verbleibenden Themen aussuchen bis 12 Themen vergeben wurden oder die Warteliste leer ist. Wer nicht anwesend ist oder wem keines der Themen zusagt verliert seinen Listenplatz.

Um einen einheitlichen Startschuss zu gewährleisten  werden alle Teilnehmer, nachdem alle Themen vergeben wurden, gleichzeitig in einen nicht-öffentlichen WueCampus Kurs eingefügt, in dem sie ihre Materialien und Kontaktdaten zu ihrem Betreuer finden.

Zum aktuellen Zeitpunkt können wir leider noch nicht sicher sagen, ob die Seminarvorträge in Präsenz gehalten werden, oder als Video eingereicht werden müssen. Auch eine Mischform (Vortrag per Video, Diskussion in Präsenz) ist denkbar. Das wird im Laufe des Semesters abhängig von der jeweiligen Situation noch bekannt gegeben.

Kontakt: Für Anmeldungen und Rückfragen steht Kirill Djebko (kirill.djebko@uni-wuerzburg.de) per Mail zur Verfügung.

Themen im Wintersemester 2022/2023

Es werden 14 Themen zur Auswahl angeboten, jedoch werden nur 12 Themen vergeben.

Thema 1 - Efficient Geometry-aware 3D Generative Adversarial Networks

Bisherige anwendungen von GANs umfassen überwiegend die generierung von 2D Bildern. Bei diesem Seminarthema soll die Generierung von 3D-Objekten mithilfe von GANs vorgestellt werden. -Betreuer: Kirill Djebko

Thema 2 - Diffusion Models for Image Generation

Diffusion Models können mittlerweile bei der Bildgenerierung mit GANs konkurrieren. In diesem Seminarthema soll die Funktionsweise von Diffusion Models erklärt und an Anwendungsbeispielen veranschaulicht werden. -Betreuer: Kirill Djebko

Thema 3 - Learning to Ignore: Long Document Coreference with Bounded Memory Neural Networks

Die meisten Algorithmen für die Koreferenzauflösung, die auf neuronalen Netzen basieren, benötigen sehr viel Arbeitsspeicher. Dieses Paper stellt einen Ansatz vor, der wenig Speicher braucht und damit auch auf längeren Dokumenten anwendbar ist. -Betreuer: David Schmidt

Thema 4 - Structured Prediction as Translation between Augmented Natural Languages

Meist wird für jede Aufgabe (beispielsweise Relationserkennung, NER oder Koreferenzauflösung) ein separates neuronales Netz trainiert. Das Paper stellt ein System vor, das ein Reihe von Aufgaben aus dem NLP-Bereich so umwandelt, dass sie alle eine Übersetzung zwischen augmentierten Texten darstellen und von einem gemeinsamen neuronalen Netz gelöst werden können. -Betreuer: David Schmidt

Thema 5 - Overview of OCR Post Correction Approaches

Bei diesem Thema soll ein Überblick über unterschiedliche Herangehensweisen zur Post-Korrektur von mittels OCR erkannten Texten geben werden. Dabei sollen sowohl klassiche statische Sprachmodelle, als auch Methoden basierend auf Neuronalen Netzen (RNN / LSTM / Transformer) vorgestellt und verglichen werden. -Betreuer Norbert FIscher.

Thema 6 - High-Resolution Image Synthesis with Latent Diffusion Models

Diffusion Models können für Text-to-Image Generierung verwendet werden. Dabei ist der Ressourcenverbrauch dieser Modelle bei Training und Evaluation sehr hoch, was die Verfügbarkeit und den Einsatz dieser Modelle erschwert. Der beschriebene Ansatz versucht dieses Problem anzugehen, um u.a. auch wesentlich größere Bilder generieren zu können. -Betreuer: Sebastian Kempf

Thema 7 - Overview polyp size estimation

Ziel des Themas ist es ausgehend von der Übersicht (https://drive.google.com/file/d/1ZuSQXaemOchFUU5iEMbpdp9yrtad_uVu/view?usp=sharing) eine Literanalyse über das Thema automatisierte Polypen größenabschätzung zu erstellen. Hierbei soll eine Tabelle erarbeitet werden, welche verschiede Eigenschaften der Publikationen aufzeigt und erläutert. -Betreuer: Adrian Krenzer

Thema 8 - Classifying polyp size with transformer architectures

Die Größe kolorektaler Polypen ist ein wichtiger Bestandteil der Koloskopiedokumentation und er beeinflusst Managemententscheidungen . Dabei werden Polypen in unterschiedliche Größenklassen eingeteilt. In diesem paper werden zwei Computer-Vision-Techniken (CV) zur binäre Klassifizierung der Polypengröße als entweder ≤5mm oder >5mm. Das Paper soll verstanden, erläutert und reimplementiert werden. -Betreuer: Adrian Krenzer

Thema 9 - Expert-level detection of pathologies from unannotated chest X-ray images via self-supervised learning

Standardansätze im Deep Learning verlangen riesige, oft von Experten annotierte Datensätze. Gerade in der Medizin ist das durch die begrenzte Zeit der Ärzte ein großes Problem. Dieses Paper verwendet Vision- und Text-Transformer, um über einen self-supervised Ansatz ein Modell zu trainieren, das komplett ohne Experten-Annotationen so gut wie ein Radiologe und herkömmliche Modelle ist. In diesem Seminarthema soll dieser neue Ansatz verständlich dargestellt werden. Dabei sollen die nötigen Grundlagen erarbeitet, das fertige Modell, besonders die innovativen Ideen, erklärt und die durchgeführten Experimente anschaulich dargestellt werden. -Betreuer: Amar Hekalo

Thema 10 - StoryDALL-E: Adapting Pretrained Text-to-Image Transformers for Story Continuation

Es gibt bereits gute Modelle, die Captions zu einem bestehenden Bild generieren können. Für die Aufgabe der kontinuierlichen Geschichtenerzählung aus einer Serie an Bildern reichen diese Modelle aber oft nicht aus. Zusätzlich existieren hier nur wenige Daten. StoryDALL-E versucht, diese Probleme anzusprechen. Deren Ansatz und Vorgehensweise verständlich zu erklären ist Kern dieses Seminarthemas. -Betreuer: Amar Hekalo

Thema 11 - A Simple Unsupervised Approach for Coreference Resolution using Rule-based Weak Supervision

Um neuronale Netze auf einer neuen Domäne anzuwenden muss man diese meist erst mit gold-annotierten Dokumenten aus dieser Domäne (weiter-)trainieren. Das Erstellen dieser gold-annotierten Dokumenten ist allerdings recht aufwendig. Das Paper wendet stattdessen einen regelbasierten Algorithmus auf der neuen Domäne an und nutzt dessen Ergebnisse für das Training des neuronalen Netzes. -Betreuer: David Schmidt

Thema 12 - Thinking about GPT-3 In-Context Learning for Biomedical IE? Think Again

Große vortrainierte Language Models können teilweise Aufgaben lösen, indem man ihnen Beispiele zusammen mit der zu lösenden Aufgabe zeigt (prompt-based few-shot learning), statt sie auf dieser Aufgabe weiterzutrainieren. Das Paper vergleicht die Performance von GPT-3 mit der von weitertrainierten Bert-Modellen im Bereich der medizinischen Informationsextraktion unter realistischen Bedingungen. Betreuer: Luca Kohlhepp

Thema 13 - Image Super Resolution

Bei der Superreolution werden Bilder hochskaliert und zusätzlich Details hinzugefügt. Bei diesem Seminarthema sollen verschiedene Super Resolution verfahren (GANs, GAN inversion, DIffusion Models) vorgestellt und mit klassischen Verfahren zum hochskalieren von Bildern verglichen werden. -Betreuer: Kirill Djebko

Thema 14 -Learning To Learn With Generative Models of Neural Network Checkpoints

In diesem Paper werden verschiedene Modelle trainiert und als Datensatz gespeichert. Damit wird nun ein generatives Modell trainiert, "das lernen soll, wie man lernt", i.e. bei gegebenem Task direkt optimale Parameter für das nötige Modell ausgibt. In diesem Thema sollen die zugrunde liegenden Methoden erarbeitet und erklärt, sowie die durchgeführten Experimente anschaulich dargestellt werden. -Betreuer: Amar Hekalo