Seminar: Ausgewählte Themen des Machine Learning

Veranstalter: Prof. Dr. Andreas Hotho, Tobias Koopmann, Florian Buckermann, Elisabeth Fischer

Information: Die Plätze für das Seminar im Sommersemester 2020 sind bereits vergeben.

Bei Fragen oder zur Reservierung eines Themas/Platzes nutzen Sie bitte die Adresse lsx-seminar@informatik.uni-wuerzburg.de.
Falls ihr euch ein Thema reservieren wollt, bitte gebt immer euren Studiengang und eure Matrikelnummer mit an.

PS: Ihr könnt euren Platz im Seminar bereits reservieren, bevor wir die Themen bekannt geben. So habt ihr ein Thema bereits sicher.

WueCampus-Kurs: Seminar: Ausgewählte Themen des Machine Learning (Selbsteinschreibung möglich)

BibSonomy Gruppe: uw_ss20_ml

Vorbesprechung: 21.04.20 um 16.30 Uhr

Die Vorbesprechung wird über Zoom stattfinden. Weitere Informationen, wie Meeting ID, werden im WueCampus Kurs angekündigt.

Erste Abgabe: 09.06.20 um 12:00 Uhr
Review Abgabe: 16.06.20 um 12:00 Uhr
Finale Abgabe: 10.07.20 um 12.00 Uhr

Zusammenfassung jeweils eine Woche vor dem Vortrag abgeben!
Vorträge: Zeitraum 29.06.20 - 10.07.20

Corona News

Aufgrund der aktuellen Umstände wird das Seminar auf Online-Lehre umgestellt.
Sie finden alle aktuellen Informationen der Veranstaltung auf WueCampus2.
Bitte schreiben Sie sich über den obigen Link frühzeitig in WueCampus2 ein, um Zugriff auf den Kurs, sowie E-Mails von wichtigen Ankündigungen erhalten zu können.

Nach der Erstbesprechung werden wir die Themen fest an Studenten vergeben. Danach werden voraussichtlich Studenten ohne Thema ausgeschrieben und die Selbsteinschreibe-Option ausgeschaltet.

Alle Besprechungen und Vorträge werden nach aktuellem Stand über ZOOM veranstaltet. Wir bitten um eine funktionierende Kamera.

ZOOM
ZOOM benötigt einen vorinstallierten Client, der unter https://zoom.us/download verfügbar ist. Ein Account wird zur Teilnahme allerdings nicht benötigt. ZOOM ist außerdem auch auf Android und IOS verfügbar.
(ZOOM funktioniert auch im Browser. Diese Variante können wir aber aufgrund der schlechteren Performance nicht empfehlen.)

Aktuelle Details werden im Ankündigungsforum des WueCampus2 Kurses geteilt.
Bleiben Sie gesund!

Themenvergabe und Vorbesprechung

Themen können schon vor dem Vorbesprechungstermin reserviert werden. Die Themen werden einige Zeit vor der Vorbesprechung hier auf dieser Seite bekannt gegeben.

Bei der Vorbesprechung werden die Themen - so nicht schon vergeben - an die anwesenden Seminarteilnehmer verteilt. Grundsätzlich besteht Anwesenheitspflicht. Teilnehmer, die bereits ein Thema bearbeiten, aber ohne Absprache fehlen, verlieren den Anspruch auf ihr Thema/ihren Platz.

Konzept und Ablauf des Seminars

Im Zentrum dieses Seminars steht ein wissenschaftlicher Artikel und ein darin verwendetes Konzept. Ein Beispiel wäre das Paper

MixedTrails: Bayesian hypothesis comparison on heterogeneous sequential data von Martin Becker, Florian Lemmerich, Philipp Singer, Markus Strohmaier, Andreas Hotho

In dem folgendes Konzept eine zentrale Rolle spielt: Bayes Factor

Im Rahmen des Seminars soll nun das Konzept aufgearbeitet und verwandte Literatur gesucht werden. Das Ziel ist es, in Ausarbeitung und dem Vortrag des Seminars das gegebene Konzept unter Verwendung entsprechender Referenzen verständlich einzuführen und zu erklären und die Methode des wissenschaftlichen Artikels vorzustellen. Außerdem sollen eine Erweiterung der Methode oder die Übertragung auf eine andere Domäne aus anderen Artikeln beleuchtet werden.

Der Ablauf des Seminar ist wie folgt:

Zuerst wird die Ausarbeitung angefertigt.
Dann wird die Arbeit abgegeben und begutachtet. Diese Begutachtung erfolgt durch den Betreuer und anonym durch zwei andere Seminarteilnehmer. Das heisst, jeder Seminarteilnehmer, muss je zwei Beurteilungen für andere Seminarteilnehmer anfertigen. Die Begutachtungen gehen zurück an den Autor, der dann die Möglichkeit hat, seine Ausarbeitung zu überarbeiten.
Dann wird zeitgleich der Vortrag (20 Minuten Vortrag, 10 Minuten Fragen) und eine kurze Zusammenfassung (~1000 Zeichen) vorbereitet.
Der Vortrag wird dann in Blockveranstaltungen gehalten. Bei den Blockveranstaltungen besteht Anwesenheitspflicht.

Themen

Die Grundlage zu den Vorträgen bilden wissenschaftliche Aufsätze (Papers). Jedes hier aufgeführte Paper entspricht einem Thema.

themenrelevante Paper sind mit dem Tag thema versehen
die einzelnen Themen werden anhand der Tags thema:x, thema:y, etc. unterschieden
Ziel des Seminars ist es NICHT den Inhalt des Papers zusammenzufassen, sondern das Thema, das durch das Tag thema:x gegeben ist, aufzuarbeiten.
die Tags findet man auf BibSonomy in der entsprechenden Gruppe (siehe oben)

Die Themen für das Sommersemester 2020 werden erst kurze Zeit vor Vorlesungsbeginn veröffentlicht.

Bei der Erstbesprechung werden übrige bzw. wieder frei gewordene Themen an anwesende Studenten verteilt. Wer möchte kann sich dafür auch auf eine Warteliste eintragen lassen (Anwesenheit trotzdem erforderlich).

Offene Themen

Bereits reservierte Themen

Deep Learning-Based Feature Representation and Its Application for Soft Sensor Modeling With Variable-Wise Weighted SAE. {Yuan}, X.; {Huang}, B.; {Wang}, Y.; {Yang}, C.; {Gui}, W. In IEEE Transactions on Industrial Informatics, 14(7), pp. 3235–3243. 2018.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@article{8302941, abstract = {In modern industrial processes, soft sensors have played an important role for effective process control, optimization, and monitoring. Feature representation is one of the core factors to construct accurate soft sensors. Recently, deep learning techniques have been developed for high-level abstract feature extraction in pattern recognition areas, which also have great potential for soft sensing applications. Hence, deep stacked autoencoder (SAE) is introduced for soft sensor in this paper. As for output prediction purpose, traditional deep learning algorithms cannot extract high-level output-related features. Thus, a novel variable-wise weighted stacked autoencoder (VW-SAE) is proposed for hierarchical output-related feature representation layer by layer. By correlation analysis with the output variable, important variables are identified from other ones in the input layer of each autoencoder. The variables are assigned with different weights accordingly. Then, variable-wise weighted autoencoders are designed and stacked to form deep networks. An industrial application shows that the proposed VW-SAE can give better prediction performance than the traditional multilayer neural networks and SAE.}, author = {{Yuan}, X. and {Huang}, B. and {Wang}, Y. and {Yang}, C. and {Gui}, W.}, journal = {IEEE Transactions on Industrial Informatics}, keywords = {soft_sensor}, month = {07}, number = 7, pages = {3235-3243}, title = {Deep Learning-Based Feature Representation and Its Application for Soft Sensor Modeling With Variable-Wise Weighted SAE}, volume = 14, year = 2018 }
BRITS: Bidirectional Recurrent Imputation for Time Series. Cao, Wei; Wang, Dong; Li, Jian; Zhou, Hao; Li, Lei; Li, Yitan. In Advances in Neural Information Processing Systems 31, pp. 6775–6785. 2018.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@article{cao2018brits, abstract = {Time series are widely used as signals in many classification/regression tasks. It is ubiquitous that time series contains many missing values. Given multiple correlated time series data, how to fill in missing values and to predict their class labels? Existing imputation methods often impose strong assumptions of the underlying data generating process, such as linear dynamics in the state space. In this paper, we propose BRITS, a novel method based on recurrent neural networks for missing value imputation in time series data. Our proposed method directly learns the missing values in a bidirectional recurrent dynamical system, without any specific assumption. The imputed values are treated as variables of RNN graph and can be effectively updated during the backpropagation. BRITS has three advantages: (a) it can handle multiple correlated missing values in time series; (b) it generalizes to time series with nonlinear dynamics underlying; (c) it provides a data-driven imputation procedure and applies to general settings with missing data. We evaluate our model on three real-world datasets, including an air quality dataset, a health-care data, and a localization data for human activity. Experiments show that our model outperforms the state-of-the-art methods in both imputation and classification/regression accuracies.}, author = {Cao, Wei and Wang, Dong and Li, Jian and Zhou, Hao and Li, Lei and Li, Yitan}, journal = {Advances in Neural Information Processing Systems 31}, keywords = {reserved}, pages = {6775-6785}, title = {BRITS: Bidirectional Recurrent Imputation for Time Series.}, year = 2018 }
{Semi-Supervised Classification with Graph Convolutional Networks}. Kipf, Thomas N.; Welling, Max. In Proceedings of the 5th International Conference on Learning Representations, of ICLR ’17. Palais des Congr{è}s Neptune, Toulon, France, 2017.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@inproceedings{Kipf:2016tc, abstract = {We present a scalable approach for semi-supervised learning on graph-structured data that is based on an efficient variant of convolutional neural networks which operate directly on graphs. We motivate the choice of our convolutional architecture via a localized first-order approximation of spectral graph convolutions. Our model scales linearly in the number of graph edges and learns hidden layer representations that encode both local graph structure and features of nodes. In a number of experiments on citation networks and on a knowledge graph dataset we demonstrate that our approach outperforms related methods by a significant margin.}, author = {Kipf, Thomas N. and Welling, Max}, booktitle = {Proceedings of the 5th International Conference on Learning Representations}, keywords = {thema:graph_cnn}, series = {ICLR '17}, title = {{Semi-Supervised Classification with Graph Convolutional Networks}}, year = 2017 }
Attention Is All You Need. Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia. 2017.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@misc{vaswani2017attention, abstract = {The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results, including ensembles by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the Transformer generalizes well to other tasks by applying it successfully to English constituency parsing both with large and limited training data.}, author = {Vaswani, Ashish and Shazeer, Noam and Parmar, Niki and Uszkoreit, Jakob and Jones, Llion and Gomez, Aidan N. and Kaiser, Lukasz and Polosukhin, Illia}, keywords = {attentiona}, note = {cite arxiv:1706.03762Comment: 15 pages, 5 figures}, title = {Attention Is All You Need}, year = 2017 }
Pyramid Scene Parsing Network. Zhao, Hengshuang; Shi, Jianping; Qi, Xiaojuan; Wang, Xiaogang; Jia, Jiaya. In CVPR, pp. 6230–6239. IEEE Computer Society, 2017.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@inproceedings{conf/cvpr/ZhaoSQWJ17, abstract = {Scene parsing is challenging for unrestricted open vocabulary and diverse scenes. In this paper, we exploit the capability of global context information by different-region-based context aggregation through our pyramid pooling module together with the proposed pyramid scene parsing network (PSPNet). Our global prior representation is effective to produce good quality results on the scene parsing task, while PSPNet provides a superior framework for pixel-level prediction. The proposed approach achieves state-of-the-art performance on various datasets. It came first in ImageNet scene parsing challenge 2016, PASCAL VOC 2012 benchmark and Cityscapes benchmark. A single PSPNet yields the new record of mIoU accuracy 85.4% on PASCAL VOC 2012 and accuracy 80.2% on Cityscapes.}, author = {Zhao, Hengshuang and Shi, Jianping and Qi, Xiaojuan and Wang, Xiaogang and Jia, Jiaya}, booktitle = {CVPR}, crossref = {conf/cvpr/2017}, keywords = {thema:semantic_segmentation}, pages = {6230-6239}, publisher = {IEEE Computer Society}, title = {Pyramid Scene Parsing Network.}, year = 2017 }
Deep convolutional neural networks for interpretable analysis of EEG sleep stage scoring. Vilamala, Albert; Madsen, Kristoffer Hougaard; Hansen, Lars Kai. In MLSP, N. Ueda, S. Watanabe, T. Matsui, J.-T. Chien, J. Larsen (eds.), pp. 1–6. IEEE, 2017.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@inproceedings{conf/mlsp/VilamalaMH17, abstract = {Sleep studies are important for diagnosing sleep disorders such as insomnia, narcolepsy or sleep apnea. They rely on manual scoring of sleep stages from raw polisomnography signals, which is a tedious visual task requiring the workload of highly trained professionals. Consequently, research efforts to purse for an automatic stage scoring based on machine learning techniques have been carried out over the last years. In this work, we resort to multitaper spectral analysis to create visually interpretable images of sleep patterns from EEG signals as inputs to a deep convolutional network trained to solve visual recognition tasks. As a working example of transfer learning, a system able to accurately classify sleep stages in new unseen patients is presented. Evaluations in a widely-used publicly available dataset favourably compare to state-of-the-art results, while providing a framework for visual interpretation of outcomes.}, author = {Vilamala, Albert and Madsen, Kristoffer Hougaard and Hansen, Lars Kai}, booktitle = {MLSP}, crossref = {conf/mlsp/2017}, editor = {Ueda, Naonori and Watanabe, Shinji and Matsui, Tomoko and Chien, Jen-Tzung and Larsen, Jan}, keywords = {deep_learning}, pages = {1-6}, publisher = {IEEE}, title = {Deep convolutional neural networks for interpretable analysis of EEG sleep stage scoring.}, year = 2017 }
Neural Attentive Session-based Recommendation. Li, Jing; Ren, Pengjie; Chen, Zhumin; Ren, Zhaochun; Ma, Jun. In CoRR, abs/1711.04725. 2017.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@article{journals/corr/abs-1711-04725, author = {Li, Jing and Ren, Pengjie and Chen, Zhumin and Ren, Zhaochun and Ma, Jun}, journal = {CoRR}, keywords = {sessrec}, title = {Neural Attentive Session-based Recommendation.}, volume = {abs/1711.04725}, year = 2017 }
Spatial Transformer Networks. Jaderberg, Max; Simonyan, Karen; Zisserman, Andrew; kavukcuoglu, koray. In Advances in Neural Information Processing Systems 28, C. Cortes, N. D. Lawrence, D. D. Lee, M. Sugiyama, R. Garnett (eds.), pp. 2017–2025. Curran Associates, Inc., 2015.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@incollection{NIPS2015_5854, author = {Jaderberg, Max and Simonyan, Karen and Zisserman, Andrew and kavukcuoglu, koray}, booktitle = {Advances in Neural Information Processing Systems 28}, editor = {Cortes, C. and Lawrence, N. D. and Lee, D. D. and Sugiyama, M. and Garnett, R.}, keywords = {reserved}, pages = {2017–2025}, publisher = {Curran Associates, Inc.}, title = {Spatial Transformer Networks}, year = 2015 }
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. Ren, Shaoqing; He, Kaiming; Girshick, Ross; Sun, Jian. In Advances in Neural Information Processing Systems 28, C. Cortes, N. D. Lawrence, D. D. Lee, M. Sugiyama, R. Garnett (eds.), pp. 91–99. Curran Associates, Inc., 2015.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@incollection{NIPS2015_5638, author = {Ren, Shaoqing and He, Kaiming and Girshick, Ross and Sun, Jian}, booktitle = {Advances in Neural Information Processing Systems 28}, editor = {Cortes, C. and Lawrence, N. D. and Lee, D. D. and Sugiyama, M. and Garnett, R.}, keywords = {reserved}, pages = {91–99}, publisher = {Curran Associates, Inc.}, title = {Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks}, year = 2015 }
U-Net: Convolutional Networks for Biomedical Image Segmentation. Ronneberger, Olaf; Fischer, Philipp; Brox, Thomas. In Medical Image Computing and Computer-Assisted Intervention -- MICCAI 2015, N. Navab, J. Hornegger, W. M. Wells, A. F. Frangi (eds.), pp. 234–241. Springer International Publishing, Cham, 2015.
- [ BibTeX ]
- [ BibSonomy-Post ]
@inproceedings{10.1007/978-3-319-24574-4_28, abstract = {There is large consent that successful training of deep networks requires many thousand annotated training samples. In this paper, we present a network and training strategy that relies on the strong use of data augmentation to use the available annotated samples more efficiently. The architecture consists of a contracting path to capture context and a symmetric expanding path that enables precise localization. We show that such a network can be trained end-to-end from very few images and outperforms the prior best method (a sliding-window convolutional network) on the ISBI challenge for segmentation of neuronal structures in electron microscopic stacks. Using the same network trained on transmitted light microscopy images (phase contrast and DIC) we won the ISBI cell tracking challenge 2015 in these categories by a large margin. Moreover, the network is fast. Segmentation of a 512x512 image takes less than a second on a recent GPU. The full implementation (based on Caffe) and the trained networks are available at http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net.}, address = {Cham}, author = {Ronneberger, Olaf and Fischer, Philipp and Brox, Thomas}, booktitle = {Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015}, editor = {Navab, Nassir and Hornegger, Joachim and Wells, William M. and Frangi, Alejandro F.}, keywords = {reserved}, pages = {234–241}, publisher = {Springer International Publishing}, title = {U-Net: Convolutional Networks for Biomedical Image Segmentation}, year = 2015 }
DeepWalk: Online Learning of Social Representations. Perozzi, Bryan; Al{-}Rfou, Rami; Skiena, Steven. In CoRR, abs/1403.6652. 2014.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@article{DBLP:journals/corr/PerozziAS14, author = {Perozzi, Bryan and Al{-}Rfou, Rami and Skiena, Steven}, journal = {CoRR}, keywords = {graph}, title = {DeepWalk: Online Learning of Social Representations}, volume = {abs/1403.6652}, year = 2014 }
Policy Gradient Methods for Reinforcement Learning with Function Approximation. Sutton, Richard S.; McAllester, David; Singh, Satinder; Mansour, Yishay. In Proceedings of the 12th International Conference on Neural Information Processing Systems, of NIPS’99, pp. 1057–1063. MIT Press, Denver, CO, 1999.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@inproceedings{Sutton:1999:PGM:3009657.3009806, abstract = {Function approximation is essential to reinforcement learning, but the standard approach of approximating a value function and determining a policy from it has so far proven theoretically intractable. In this paper we explore an alternative approach in which the policy is explicitly represented by its own function approximator, independent of the value function, and is updated according to the gradient of expected reward with respect to the policy parameters. Williams's REINFORCE method and actor-critic methods are examples of this approach. Our main new result is to show that the gradient can be written in a form suitable for estimation from experience aided by an approximate action-value or advantage function. Using this result, we prove for the first time that a version of policy iteration with arbitrary differentiable function approximation is convergent to a locally optimal policy.}, address = {Cambridge, MA, USA}, author = {Sutton, Richard S. and McAllester, David and Singh, Satinder and Mansour, Yishay}, booktitle = {Proceedings of the 12th International Conference on Neural Information Processing Systems}, keywords = {policy_gradient}, pages = {1057–1063}, publisher = {MIT Press}, series = {NIPS'99}, title = {Policy Gradient Methods for Reinforcement Learning with Function Approximation}, year = 1999 }

Leistungsnachweis

Zum Ablauf der oben angegebenen Bearbeitungsfristen sind jeweils per Email als PDF dem Betreuer abzugeben:

eine genau 6-seitige LaTeX-Ausarbeitung im hier beschriebenen Format (doppelspaltig, inklusive Bibliographie)
- eine erste Version zur Begutachtung
- die finale Version
die zwei Begutachtungen anderer Arbeiten
eine Zusammenfassung der Arbeit (~1000 Zeichen)
der Foliensatz

Vorherige Absprachen mit dem Betreuer sind ausdrücklich erwünscht. Alle verwendeten Referenzen sind zusätzlich zum Literaturverzeichnis der Ausarbeitung in http://www.bibsonomy.org in der entsprechenden Gruppe (relevant for) mit den Tags des jeweiligen Themas und weiteren sinnvollen Tags zu versehen.

Die Vortragsdauer beträgt verbindlich 20 Minuten, nach dem Vortrag besteht Gelegenheit zur Diskussion (ca. 10 Minuten). Der Vortrag (inkl. Folien und Abstract) geht mit 30% in die Endnote ein, die Ausarbeitung ebenfalls mit 30%. Die angefertigeten Reviews gehen 20% in die Note ein. Die letzten 20% bewerten die Eigenständigkeit der Ausarbeitung, Einhaltung von Terminen, Beteiligung am Seminar etc.

Bearbeitungshinweise

Als Richtlinie für die Erstellung einer guten Seminararbeit (inkl. Vortrag und Ausarbeitung) wird das Buch

Markus Deininger and Horst Lichter and Jochen Ludewig and Kurt Schneider. Studien-Arbeiten: ein Leitfaden zur Vorbereitung, Durchführung und Betreuung von Studien-, Diplom- Abschluss- und Doktorarbeiten am Beispiel Informatik. 5. Auflage. vdf Hochschulverlag, Zürich, 2005.

empfohlen, welches beim Betreuer des Seminars (Prof. Dr. Andreas Hotho) ausliegt. Wir empfehlen die Anschaffung dieses Buchs (9,50 €), da es Sie bis zur Masterarbeit (und weiter) begleiten kann. Die Benotung der Seminararbeit erfolgt in Anlehnung an das dort auf Seite 77 angegebene Schema, angepasst auf die Erfordernisse einer Seminararbeit.