Seminar: Ausgewählte Themen des Machine Learning

Veranstalter: Prof. Dr. Andreas Hotho, Alexander Dallmann, Elisabeth Fischer, Daniel Zoller

Bei Fragen oder zur Reservierung eines Themas/Platzes nutzen Sie bitte die Adresse lsx-seminar@informatik.uni-wuerzburg.de

WueCampus-Kurs: (Zugang wird nach der Vorbesprechung individuell freigeschaltet)

BibSonomy Gruppe: uw_ws19_ml

Vorbesprechung: 16.10.19 um 14:30 Uhr, ÜR 2

Erste Abgabe: 27.11.19 um 12:00 Uhr
Review Abgabe: 04.12.19 um 12:00 Uhr
Finale Abgabe: 17.01.20 um 12:00 Uhr

Zusammenfassung jeweils eine Woche vor dem Vortrag abgeben!
Vorträge: 18./19.12.19 und 15.01.20

Themenvergabe und Vorbesprechung

Themen können schon vor dem Vorbesprechungstermin reserviert werden. Die Themen werden einige Zeit vor der Vorbesprechung hier auf dieser Seite bekannt gegeben.

Bei der Vorbesprechung werden die Themen - so nicht schon vergeben - an die anwesenden Seminarteilnehmer verteilt. Grundsätzlich besteht Anwesenheitspflicht. Teilnehmer, die bereits ein Thema bearbeiten, aber ohne Absprache fehlen, verlieren den Anspruch auf ihr Thema/ihren Platz.

Konzept und Ablauf des Seminars

Im Zentrum dieses Seminars steht ein wissenschaftlicher Artikel und ein darin verwendetes Konzept. Ein Beispiel wäre das Paper

MixedTrails: Bayesian hypothesis comparison on heterogeneous sequential data von Martin Becker, Florian Lemmerich, Philipp Singer, Markus Strohmaier, Andreas Hotho

In dem folgendes Konzept eine zentrale Rolle spielt: Bayes Factor

Im Rahmen des Seminars soll nun das Konzept aufgearbeitet und verwandte Literatur gesucht werden. Das Ziel ist es, in Ausarbeitung und dem Vortrag des Seminars das gegebene Konzept unter Verwendung entsprechender Referenzen verständlich einzuführen und zu erklären und die Methode des wissenschaftlichen Artikels vorzustellen. Außerdem sollen eine Erweiterung der Methode oder die Übertragung auf eine andere Domäne aus anderen Artikeln beleuchtet werden.

Der Ablauf des Seminar ist wie folgt:

Zuerst wird die Ausarbeitung angefertigt.
Dann wird die Arbeit abgegeben und begutachtet. Diese Begutachtung erfolgt durch den Betreuer und anonym durch zwei andere Seminarteilnehmer. Das heisst, jeder Seminarteilnehmer, muss je zwei Beurteilungen für andere Seminarteilnehmer anfertigen. Die Begutachtungen gehen zurück an den Autor, der dann die Möglichkeit hat, seine Ausarbeitung zu überarbeiten.
Dann wird zeitgleich der Vortrag (20 Minuten Vortrag, 5 Minuten Fragen) und eine einseitige Zusammenfassung vorbereitet.
Der Vortrag wird dann in Blockveranstaltungen gehalten. Bei den Blockveranstaltungen besteht Anwesenheitspflicht.

Themen

Die Grundlage zu den Vorträgen bilden wissenschaftliche Aufsätze (Papers). Jedes hier aufgeführte Paper entspricht einem Thema.

themenrelevante Paper sind mit dem Tag thema versehen
die einzelnen Themen werden anhand der Tags thema:x, thema:y, etc. unterschieden
Ziel des Seminars ist es NICHT den Inhalt des Papers zusammenzufassen, sondern das Thema, das durch das Tag thema:x gegeben ist, aufzuarbeiten.
die Tags findet man auf BibSonomy in der entsprechenden Gruppe (siehe oben)

Alle Themen für dieses Semester sind bereits vergeben. Falls Themen wieder frei werden, werden diese dann bei der Erstbesprechung am 16.10.19 an anwesende Studenten verteilt. Wer möchte kann sich dafür auch auf eine Warteliste eintragen lassen (Anwesenheit trotzdem erforderlich).

Bereits reservierte Themen

Neural Attentional Rating Regression with Review-level Explanations. Chen, Chong; Zhang, Min; Liu, Yiqun; Ma, Shaoping. In WWW, P.-A. Champin, F. L. Gandon, M. Lalmas, P. G. Ipeirotis (eds.), pp. 1583–1592. ACM, 2018.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@inproceedings{chen2018neural, author = {Chen, Chong and Zhang, Min and Liu, Yiqun and Ma, Shaoping}, booktitle = {WWW}, crossref = {conf/www/2018}, editor = {Champin, Pierre-Antoine and Gandon, Fabien L. and Lalmas, Mounia and Ipeirotis, Panagiotis G.}, keywords = {explanation}, pages = {1583-1592}, publisher = {ACM}, title = {Neural Attentional Rating Regression with Review-level Explanations}, year = 2018 }
Neural Knowledge Acquisition via Mutual Attention Between Knowledge Graph and Text. Han, Xu; Liu, Zhiyuan; Sun, Maosong. In AAAI, S. A. McIlraith, K. Q. Weinberger (eds.), pp. 4832–4839. AAAI Press, 2018.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@inproceedings{han2018neural, author = {Han, Xu and Liu, Zhiyuan and Sun, Maosong}, booktitle = {AAAI}, crossref = {conf/aaai/2018}, editor = {McIlraith, Sheila A. and Weinberger, Kilian Q.}, keywords = {graph}, pages = {4832-4839}, publisher = {AAAI Press}, title = {Neural Knowledge Acquisition via Mutual Attention Between Knowledge Graph and Text}, year = 2018 }
TransNets: Learning to Transform for Recommendation. Catherine, Rose; Cohen, William W. In RecSys, P. Cremonesi, F. Ricci, S. Berkovsky, A. Tuzhilin (eds.), pp. 288–296. ACM, 2017.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@inproceedings{conf/recsys/CatherineC17, author = {Catherine, Rose and Cohen, William W.}, booktitle = {RecSys}, crossref = {conf/recsys/2017}, editor = {Cremonesi, Paolo and Ricci, Francesco and Berkovsky, Shlomo and Tuzhilin, Alexander}, keywords = {deep_learning}, pages = {288-296}, publisher = {ACM}, title = {TransNets: Learning to Transform for Recommendation.}, year = 2017 }
Graph Attention Networks. Veličković, Petar; Cucurull, Guillem; Casanova, Arantxa; Romero, Adriana; Liò, Pietro; Bengio, Yoshua. In ICLR 2018. 2017.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@inproceedings{velickovic2017graph, abstract = {We present graph attention networks (GATs), novel neural network architectures that operate on graph-structured data, leveraging masked self-attentional layers to address the shortcomings of prior methods based on graph convolutions or their approximations. By stacking layers in which nodes are able to attend over their neighborhoods' features, we enable (implicitly) specifying different weights to different nodes in a neighborhood, without requiring any kind of costly matrix operation (such as inversion) or depending on knowing the graph structure upfront. In this way, we address several key challenges of spectral-based graph neural networks simultaneously, and make our model readily applicable to inductive as well as transductive problems. Our GAT models have achieved or matched state-of-the-art results across four established transductive and inductive graph benchmarks: the Cora, Citeseer and Pubmed citation network datasets, as well as a protein-protein interaction dataset (wherein test graphs remain unseen during training).}, author = {Veličković, Petar and Cucurull, Guillem and Casanova, Arantxa and Romero, Adriana and Liò, Pietro and Bengio, Yoshua}, booktitle = {ICLR 2018}, keywords = {graph-based}, title = {Graph Attention Networks}, year = 2017 }
A Hybrid Collaborative Filtering Model with Deep Structure for Recommender Systems. Dong, Xin; Yu, Lei; Wu, Zhonghuo; Sun, Yuxia; Yuan, Lingfeng; Zhang, Fangxi. In AAAI, S. P. Singh, S. Markovitch (eds.), pp. 1309–1315. AAAI Press, 2017.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@inproceedings{dong2017hybrid, author = {Dong, Xin and Yu, Lei and Wu, Zhonghuo and Sun, Yuxia and Yuan, Lingfeng and Zhang, Fangxi}, booktitle = {AAAI}, crossref = {conf/aaai/2017}, editor = {Singh, Satinder P. and Markovitch, Shaul}, keywords = {seminar201920}, pages = {1309-1315}, publisher = {AAAI Press}, title = {A Hybrid Collaborative Filtering Model with Deep Structure for Recommender Systems}, year = 2017 }
Collaborative Variational Autoencoder for Recommender Systems. Li, Xiaopeng; She, James. In KDD, pp. 305–314. ACM, 2017.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@inproceedings{li2017collaborative, author = {Li, Xiaopeng and She, James}, booktitle = {KDD}, crossref = {conf/kdd/2017}, keywords = {recommender}, pages = {305-314}, publisher = {ACM}, title = {Collaborative Variational Autoencoder for Recommender Systems}, year = 2017 }
Asynchronous Methods for Deep Reinforcement Learning. Mnih, Volodymyr; Badia, Adrià Puigdomènech; Mirza, Mehdi; Graves, Alex; Lillicrap, Timothy P.; Harley, Tim; Silver, David; Kavukcuoglu, Koray. 2016.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@misc{mnih2016asynchronous, abstract = {We propose a conceptually simple and lightweight framework for deep reinforcement learning that uses asynchronous gradient descent for optimization of deep neural network controllers. We present asynchronous variants of four standard reinforcement learning algorithms and show that parallel actor-learners have a stabilizing effect on training allowing all four methods to successfully train neural network controllers. The best performing method, an asynchronous variant of actor-critic, surpasses the current state-of-the-art on the Atari domain while training for half the time on a single multi-core CPU instead of a GPU. Furthermore, we show that asynchronous actor-critic succeeds on a wide variety of continuous motor control problems as well as on a new task of navigating random 3D mazes using a visual input.}, author = {Mnih, Volodymyr and Badia, Adrià Puigdomènech and Mirza, Mehdi and Graves, Alex and Lillicrap, Timothy P. and Harley, Tim and Silver, David and Kavukcuoglu, Koray}, keywords = {thema:a3c}, note = {cite arxiv:1602.01783}, title = {Asynchronous Methods for Deep Reinforcement Learning}, year = 2016 }
Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding. Han, Song; Mao, Huizi; Dally, William J. 2015.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@article{han2015compression, abstract = {Neural networks are both computationally intensive and memory intensive, making them difficult to deploy on embedded systems with limited hardware resources. To address this limitation, we introduce "deep compression", a three stage pipeline: pruning, trained quantization and Huffman coding, that work together to reduce the storage requirement of neural networks by 35x to 49x without affecting their accuracy. Our method first prunes the network by learning only the important connections. Next, we quantize the weights to enforce weight sharing, finally, we apply Huffman coding. After the first two steps we retrain the network to fine tune the remaining connections and the quantized centroids. Pruning, reduces the number of connections by 9x to 13x; Quantization then reduces the number of bits that represent each connection from 32 to 5. On the ImageNet dataset, our method reduced the storage required by AlexNet by 35x, from 240MB to 6.9MB, without loss of accuracy. Our method reduced the size of VGG-16 by 49x from 552MB to 11.3MB, again with no loss of accuracy. This allows fitting the model into on-chip SRAM cache rather than off-chip DRAM memory. Our compression method also facilitates the use of complex neural networks in mobile applications where application size and download bandwidth are constrained. Benchmarked on CPU, GPU and mobile GPU, compressed network has 3x to 4x layerwise speedup and 3x to 7x better energy efficiency.}, author = {Han, Song and Mao, Huizi and Dally, William J.}, keywords = {compression}, note = {cite arxiv:1510.00149Comment: Published as a conference paper at ICLR 2016 (oral)}, title = {Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding}, year = 2015 }
Deep Reinforcement Learning with Double Q-learning. van Hasselt, Hado; Guez, Arthur; Silver, David. 2015.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@misc{vanhasselt2015reinforcement, abstract = {The popular Q-learning algorithm is known to overestimate action values under certain conditions. It was not previously known whether, in practice, such overestimations are common, whether they harm performance, and whether they can generally be prevented. In this paper, we answer all these questions affirmatively. In particular, we first show that the recent DQN algorithm, which combines Q-learning with a deep neural network, suffers from substantial overestimations in some games in the Atari 2600 domain. We then show that the idea behind the Double Q-learning algorithm, which was introduced in a tabular setting, can be generalized to work with large-scale function approximation. We propose a specific adaptation to the DQN algorithm and show that the resulting algorithm not only reduces the observed overestimations, as hypothesized, but that this also leads to much better performance on several games.}, author = {van Hasselt, Hado and Guez, Arthur and Silver, David}, keywords = {q_learning}, note = {cite arxiv:1509.06461Comment: AAAI 2016}, title = {Deep Reinforcement Learning with Double Q-learning}, year = 2015 }
Pointer Networks. Vinyals, Oriol; Fortunato, Meire; Jaitly, Navdeep. In NIPS, pp. 2692–2700. 2015.
- [ BibTeX ]
- [ BibSonomy-Post ]
@inproceedings{Vinyals2015PointerN, author = {Vinyals, Oriol and Fortunato, Meire and Jaitly, Navdeep}, booktitle = {NIPS}, keywords = {sequential_learning}, pages = {2692-2700}, title = {Pointer Networks}, year = 2015 }

Leistungsnachweis

Zum Ablauf der oben angegebenen Bearbeitungsfristen sind jeweils per Email als PDF dem Betreuer abzugeben:

eine genau 6-seitige LaTeX-Ausarbeitung im hier beschriebenen Format (doppelspaltig, inklusive Bibliographie)
- eine erste Version zur Begutachtung
- die finale Version
die zwei Begutachtungen anderer Arbeiten
eine einseitige Zusammenfassung
der Foliensatz

Vorherige Absprachen mit dem Betreuer sind ausdrücklich erwünscht. Alle verwendeten Referenzen sind zusätzlich zum Literaturverzeichnis der Ausarbeitung in http://www.bibsonomy.org in der entsprechenden Gruppe (relevant for) mit den Tags des jeweiligen Themas und weiteren sinnvollen Tags zu versehen.

Die Vortragsdauer beträgt verbindlich 20 Minuten, nach dem Vortrag besteht Gelegenheit zur Diskussion (ca. 5 Minuten). Der Vortrag (inkl. Folien und Abstract) geht mit 30% in die Endnote ein, die Ausarbeitung ebenfalls mit 30%. Die angefertigeten Reviews gehen 20% in die Note ein. Die letzten 20% bewerten die Eigenständigkeit der Ausarbeitung, Einhaltung von Terminen, Beteiligung am Seminar etc.

Bearbeitungshinweise

Als Richtlinie für die Erstellung einer guten Seminararbeit (inkl. Vortrag und Ausarbeitung) wird das Buch

Markus Deininger and Horst Lichter and Jochen Ludewig and Kurt Schneider. Studien-Arbeiten: ein Leitfaden zur Vorbereitung, Durchführung und Betreuung von Studien-, Diplom- Abschluss- und Doktorarbeiten am Beispiel Informatik. 5. Auflage. vdf Hochschulverlag, Zürich, 2005.

empfohlen, welches beim Betreuer des Seminars (Prof. Dr. Andreas Hotho) ausliegt. Wir empfehlen die Anschaffung dieses Buchs (9,50 €), da es Sie bis zur Masterarbeit (und weiter) begleiten kann. Die Benotung der Seminararbeit erfolgt in Anlehnung an das dort auf Seite 77 angegebene Schema, angepasst auf die Erfordernisse einer Seminararbeit.