Seminar: Ausgewählte Themen des Machine Learning

Veranstalter: Prof. Dr. Andreas Hotho, Alexander Dallmann, Elisabeth Fischer, Florian Lautenschlager, Julian Tritscher

Bei Fragen oder zur Reservierung eines Themas wenden Sie sich bitte an Elisabeth Fischer.

WueCampus-Kurs: (Zugang wird nach der Vorbesprechung individuell freigeschaltet)

BibSonomy Gruppe: (Wird nach der Vorbesprechung angelegt)

Vorbesprechung: 24.04.2019 13:00 - 14:00 Raum B002

Weitere Fristen:

Erste Abgabe: 12.06.2019 um 23:59:59 Uhr
Review: 19.06.2019 um 23:59:59 Uhr
Vorträge: genaue Termine werden noch bekannt gegeben, Zeitraum 03.07. - 12.07.

Themenvergabe und Vorbesprechung

Themen können schon vor dem Vorbesprechungstermin reserviert werden. Die Themen werden einige Zeit vor der Vorbesprechung hier auf dieser Seite bekannt gegeben.

Bei der Vorbesprechung werden die Themen - so nicht schon vergeben - an die anwesenden Seminarteilnehmer verteilt. Grundsätzlich besteht Anwesenheitspflicht. Teilnehmer, die bereits ein Thema bearbeiten, aber ohne Absprache fehlen, verlieren den Anspruch auf ihr Thema. In der Vorbesprechung werden auch die Termine für die Vorträge festgelegt.

Konzept und Ablauf des Seminars

Im Zentrum dieses Seminars steht ein wissenschaftlicher Artikel und ein darin verwendetes Konzept. Ein Beispiel wäre das Paper

MixedTrails: Bayesian hypothesis comparison on heterogeneous sequential data

Martin Becker, Florian Lemmerich, Philipp Singer, Markus Strohmaier, Andreas Hotho

In dem folgendes Konzept eine zentrale Rolle spielt:

Bayes Factor

Im Rahmen des Seminars soll nun das Konzept aufgearbeitet und verwandte Literatur gesucht werden. Das Ziel ist es, in Ausarbeitung und dem Vortrag des Seminars das gegebene Konzept unter Verwendung entsprechender Referenzen verständlich einzuführen und zu erklären. Außerdem sollen Anwendungsbeispiele oder Erweiterungen des Konzepts aus drei anderen Artikeln beleuchtet werden (dies kann den bereits gegebenen Artikel mit einschliessen).

Der Ablauf des Seminar ist wie folgt:

Zuerst wird die Ausarbeitung angefertigt.
Dann wird die Arbeit abgegeben und begutachtet. Diese Begutachtung erfolgt durch den Betreuer und anonym durch zwei andere Seminarteilnehmer. Das heisst, jeder Seminarteilnehmer, muss je zwei Beurteilungen für andere Seminarteilnehmer anfertigen. Die Begutachtungen gehen zurück an den Author, der dann die Möglichkeit hat, seine Ausarbeitung zu überarbeiten.
Dann wird zeitgleich der Vortrag (20 Minuten Vortrag, 5 Minuten Fragen) und eine einseitige Zusammenfassung vorbereitet.
Der Vortrag wird dann in Blockveranstaltungen gehalten. Die oben genannten Materialien (Ausarbeitung, Vortrag, Kurzzusammenfassung) müssen mit der letzten Blockveranstaltung abgegeben werden. Bei den Blockveranstaltungen besteht Anwesenheitspflicht.

Themen

Die Grundlage zu den Vorträgen bilden wissenschaftliche Aufsätze (Papers). Jedes hier aufgeführte Paper entspricht einem Thema.

themenrelevante Paper sind mit dem Tag thema versehen
die einzelnen Themen werden anhand der Tags thema:x, thema:y, etc. unterschieden
Ziel des Seminars ist es NICHT den Inhalt des Papers zusammenzufassen, sondern das Thema, das durch das Tag thema:x gegeben ist, aufzuarbeiten.
die Tags findet man auf BibSonomy in der entsprechenden Gruppe (siehe oben)

Latent cross: Making use of context in recurrent recommender systems. Beutel, Alex; Covington, Paul; Jain, Sagar; Xu, Can; Li, Jia; Gatto, Vince; Chi, Ed H. In Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining, pp. 46–54. ACM, 2018.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@inproceedings{beutel2018latent, author = {Beutel, Alex and Covington, Paul and Jain, Sagar and Xu, Can and Li, Jia and Gatto, Vince and Chi, Ed H}, booktitle = {Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining}, keywords = {deep_learning}, organization = {ACM}, pages = {46–54}, publisher = {ACM}, title = {Latent cross: Making use of context in recurrent recommender systems}, year = 2018 }
Sequential Copying Networks. Zhou, Qingyu; Yang, Nan; Wei, Furu; Zhou, Ming. In CoRR, abs/1807.02301, S. A. McIlraith; K. Q. Weinberger (eds.). 2018.
- [ BibTeX ]
- [ BibSonomy-Post ]
@article{Zhou2018SequentialCN, author = {Zhou, Qingyu and Yang, Nan and Wei, Furu and Zhou, Ming}, editor = {McIlraith, Sheila A. and Weinberger, Kilian Q.}, journal = {CoRR}, keywords = {seq2seq}, title = {Sequential Copying Networks}, volume = {abs/1807.02301}, year = 2018 }
Representation Learning of Knowledge Graphs with Entity Descriptions. Xie, Ruobing; Liu, Zhiyuan; Jia, Jia; Luan, Huanbo; Sun, Maosong. In AAAI, pp. 2659–2665. 2016.
- [ BibTeX ]
- [ BibSonomy-Post ]
@inproceedings{xie2016representation, author = {Xie, Ruobing and Liu, Zhiyuan and Jia, Jia and Luan, Huanbo and Sun, Maosong}, booktitle = {AAAI}, keywords = {thema:representation_learning}, pages = {2659–2665}, title = {Representation Learning of Knowledge Graphs with Entity Descriptions.}, year = 2016 }
"Why Should I Trust You?": Explaining the Predictions of Any Classifier. Ribeiro, Marco Túlio; Singh, Sameer; Guestrin, Carlos. In HLT-NAACL Demos, pp. 97–101. The Association for Computational Linguistics, 2016.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@inproceedings{conf/naacl/Ribeiro0G16, author = {Ribeiro, Marco Túlio and Singh, Sameer and Guestrin, Carlos}, booktitle = {HLT-NAACL Demos}, crossref = {conf/naacl/2016d}, keywords = {XAI}, pages = {97-101}, publisher = {The Association for Computational Linguistics}, title = {"Why Should I Trust You?": Explaining the Predictions of Any Classifier.}, year = 2016 }

Bereits reservierte Themen

Signed Graph Convolutional Network. Derr, Tyler; Ma, Yao; Tang, Jiliang. In ICDM. 2018.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@article{derr2018signed, abstract = {Due to the fact much of today's data can be represented as graphs, there has been a demand for generalizing neural network models for graph data. One recent direction that has shown fruitful results, and therefore growing interest, is the usage of graph convolutional neural networks (GCNs). They have been shown to provide a significant improvement on a wide range of tasks in network analysis, one of which being node representation learning. The task of learning low-dimensional node representations has shown to increase performance on a plethora of other tasks from link prediction and node classification, to community detection and visualization. Simultaneously, signed networks (or graphs having both positive and negative links) have become ubiquitous with the growing popularity of social media. However, since previous GCN models have primarily focused on unsigned networks (or graphs consisting of only positive links), it is unclear how they could be applied to signed networks due to the challenges presented by negative links. The primary challenges are based on negative links having not only a different semantic meaning as compared to positive links, but their principles are inherently different and they form complex relations with positive links. Therefore we propose a dedicated and principled effort that utilizes balance theory to correctly aggregate and propagate the information across layers of a signed GCN model. We perform empirical experiments comparing our proposed signed GCN against state-of-the-art baselines for learning node representations in signed networks. More specifically, our experiments are performed on four real-world datasets for the classical link sign prediction problem that is commonly used as the benchmark for signed network embeddings algorithms.}, author = {Derr, Tyler and Ma, Yao and Tang, Jiliang}, journal = {ICDM}, keywords = {graph}, title = {Signed Graph Convolutional Network.}, year = 2018 }
One-Class Adversarial Nets for Fraud Detection. Zheng, Panpan; Yuan, Shuhan; Wu, Xintao; Li, Jun; Lu, Aidong. In CoRR, abs/1803.01798. 2018.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@article{journals/corr/abs-1803-01798, author = {Zheng, Panpan and Yuan, Shuhan and Wu, Xintao and Li, Jun and Lu, Aidong}, journal = {CoRR}, keywords = {reserved}, title = {One-Class Adversarial Nets for Fraud Detection.}, volume = {abs/1803.01798}, year = 2018 }
Anonymous Walk Embeddings. Ivanov, Sergey; Burnaev, Evgeny. In ICML. 2018.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@article{conf/icml/IvanovB18, abstract = {The task of representing entire graphs has seen a surge of prominent results, mainly due to learning convolutional neural networks (CNNs) on graphstructured data. While CNNs demonstrate stateof-the-art performance in graph classification task, such methods are supervised and therefore steer away from the original problem of network representation in task-agnostic manner. Here, we coherently propose an approach for embedding entire graphs and show that our feature representations with SVM classifier increase classification accuracy of CNN algorithms and traditional graph kernels. For this we describe a recently discovered graph object, anonymous walk, on which we design task-independent algorithms for learning graph representations in explicit and distributed way. Overall, our work represents a new scalable unsupervised learning of state-of-the-art representations of entire graphs.}, author = {Ivanov, Sergey and Burnaev, Evgeny}, journal = {ICML}, keywords = {graph-based}, title = {Anonymous Walk Embeddings.}, year = 2018 }
Deep Reinforcement Learning for Page-wise Recommendations. Zhao, Xiangyu; Xia, Long; Zhang, Liang; Ding, Zhuoye; Yin, Dawei; Tang, Jiliang. In RecSys. 2018.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@article{conf/recsys/ZhaoXZDYT18, author = {Zhao, Xiangyu and Xia, Long and Zhang, Liang and Ding, Zhuoye and Yin, Dawei and Tang, Jiliang}, journal = {RecSys}, keywords = {thema:reinforcement_learning_recommender}, title = {Deep Reinforcement Learning for Page-wise Recommendations.}, year = 2018 }
A dual-stage attention-based recurrent neural network for time series prediction. Qin, Yao; Song, Dongjin; Cheng, Haifeng; Cheng, Wei; Jiang, Guofei; Cottrell, Garrison W. In Proceedings of the 26th International Joint Conference on Artificial Intelligence, pp. 2627–2633. AAAI Press, 2017.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@inproceedings{qin2017dual, author = {Qin, Yao and Song, Dongjin and Cheng, Haifeng and Cheng, Wei and Jiang, Guofei and Cottrell, Garrison W}, booktitle = {Proceedings of the 26th International Joint Conference on Artificial Intelligence}, keywords = {thema:Attention_in_time_series}, organization = {AAAI Press}, pages = {2627–2633}, title = {A dual-stage attention-based recurrent neural network for time series prediction}, year = 2017 }
Understanding Black-box Predictions via Influence Functions. Koh, Pang Wei; Liang, Percy. In ICML, Vol. 70 of Proceedings of Machine Learning Research, D. Precup, Y. W. Teh (eds.), pp. 1885–1894. PMLR, 2017.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@inproceedings{conf/icml/KohL17, author = {Koh, Pang Wei and Liang, Percy}, booktitle = {ICML}, crossref = {conf/icml/2017}, editor = {Precup, Doina and Teh, Yee Whye}, keywords = {XAI}, pages = {1885-1894}, publisher = {PMLR}, series = {Proceedings of Machine Learning Research}, title = {Understanding Black-box Predictions via Influence Functions.}, volume = 70, year = 2017 }
Attention is all you need. Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N; Kaiser, {\L}ukasz; Polosukhin, Illia. In Advances in neural information processing systems, pp. 5998–6008. 2017.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@inproceedings{vaswani2017attention, author = {Vaswani, Ashish and Shazeer, Noam and Parmar, Niki and Uszkoreit, Jakob and Jones, Llion and Gomez, Aidan N and Kaiser, {\L}ukasz and Polosukhin, Illia}, booktitle = {Advances in neural information processing systems}, keywords = {calibration}, pages = {5998–6008}, title = {Attention is all you need}, year = 2017 }
Efficient and Robust Automated Machine Learning. Blum, Manuel; Feurer, Matthias; Klein, Aaron; Springenberg, Jost; Hutter, Frank; Eggensperger, Katharina. In NIPS, pp. 2962–2970. 2015.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@inproceedings{blum2015efficient, author = {Blum, Manuel and Feurer, Matthias and Klein, Aaron and Springenberg, Jost and Hutter, Frank and Eggensperger, Katharina}, booktitle = {NIPS}, keywords = {thema:automl}, pages = {2962-2970}, title = {Efficient and Robust Automated Machine Learning}, type = {Publication}, year = 2015 }

Leistungsnachweis

Die Ausarbeitung muss dem Betreuer zum bekanntgegebenen Termin zum Begutachten als PDF vorliegen.

Die zwei Begutachtungen anderer Ausarbeitungen müssen pünktlich zum bekanntgegebenen Termin angefertigt und abgegeben werden.

Zum Ablauf der Bearbeitungsfrist sind außerdem per Email als PDF dem Betreuer abzugeben:

eine genau 6-seitige LaTeX-Ausarbeitung im hier beschriebenen Format (doppelspaltig, inklusive Bibliographie)
eine einseitige Zusammenfassung (die allen Teilnehmern beim Vortrag ausgehändigt wird),
der Foliensatz

Die Abgaben sollten folgendem Namenschema folgen:

{Vorname} {Nachname} - {Thema/Thema des Reviews} - {Präsentation/Zusammenfassung/Ausarbeitung/Review}

Damit die Reviews anonym verteilt werden können sollte der eigene Name nicht im Review stehen.

Vorherige Absprachen mit dem Betreuer sind ausdrücklich erwünscht. Alle verwendeten Referenzen sind zusätzlich zum Literaturverzeichnis der Ausarbeitung in http://www.bibsonomy.org in der entsprechenden Gruppe (relevant for) mit den folgenden Tags einzugeben:

den Tags des jeweiligen Themas und weiteren sinnvollen Tags.

Die Vortragsdauer beträgt verbindlich 20 Minuten, nach dem Vortrag besteht Gelegenheit zur Diskussion (ca. 5 Minuten). Der Vortrag (inkl. Folien und Abstract) geht mit 30% in die Endnote ein, die Ausarbeitung ebenfalls mit 30%. Die angefertigeten Reviews gehen 20% in die Note ein. Die letzten 20% bewerten die Eigenständigkeit der Ausarbeitung, Einhaltung von Terminen, Beteiligung am Seminar etc.

Bearbeitungshinweise

Als Richtlinie für die Erstellung einer guten Seminararbeit (inkl. Vortrag und Ausarbeitung) wird das Buch

Markus Deininger and Horst Lichter and Jochen Ludewig and Kurt Schneider. Studien-Arbeiten: ein Leitfaden zur Vorbereitung, Durchführung und Betreuung von Studien-, Diplom- Abschluss- und Doktorarbeiten am Beispiel Informatik. 5. Auflage. vdf Hochschulverlag, Zürich, 2005.

empfohlen, welches beim Betreuer des Seminars (Prof. Dr. Andreas Hotho) ausliegt. Wir empfehlen die Anschaffung dieses Buchs (9,50 €), da es Sie bis zur Masterarbeit (und weiter) begleiten kann. Die Benotung der Seminararbeit erfolgt in Anlehnung an das dort auf Seite 77 angegebene Schema, angepasst auf die Erfordernisse einer Seminararbeit.