Seminar: Ausgewählte Themen des Machine Learning

Veranstalter: Prof. Dr. Andreas Hotho, Alexander Dallmann, Lena Hettinger

Bei Fragen, Reservierung eines Themas, wenden Sie sich bitte an Alexander Dallmann.

WueCampus-Kurs: (Zugang wird nach der Vorbesprechung individuell freigeschaltet)

BibSonomy Gruppe: (Wird nach der Vorbesprechung angelegt)

Vorbesprechung: Montag, 16.04.2018 9:30 Uhr Raum: B002 (am Lehrstuhl für Informatik VI)

Themenvergabe und Vorbesprechung

Themen können schon vor dem Vorbesprechungstermin reserviert werden. Die Themen werden einige Zeit vor der Vorbesprechung hier auf dieser Seite bekannt gegeben.

Bei der Vorbesprechung werden die Themen - so nicht schon vergeben - an die anwesenden Seminarteilnehmer verteilt. Grundsätzlich besteht Anwesenheitspflicht. Teilnehmer, die bereits ein Thema bearbeiten, aber ohne Absprache fehlen, verlieren den Anspruch auf ihr Thema. In der Vorbesprechung werden auch die Termine für die Vorträge festgelegt.

Konzept und Ablauf des Seminars

Im Zentrum dieses Seminars steht ein wissenschaftlicher Artikel und ein darin verwendetes Konzept. Ein Beispiel wäre das Paper

MixedTrails: Bayesian hypothesis comparison on heterogeneous sequential data

Martin Becker, Florian Lemmerich, Philipp Singer, Markus Strohmaier, Andreas Hotho

In dem folgendes Konzept eine zentrale Rolle spielt:

Bayes Factor

Im Rahmen des Seminars soll nun das Konzept aufgearbeitet und verwandte Literatur gesucht werden. Das Ziel ist es, in Ausarbeitung und dem Vortrag des Seminars das gegebene Konzept unter Verwendung entsprechender Referenzen verständlich einzuführen und zu erklären. Außerdem sollen Anwendungsbeispiele oder Erweiterungen des Konzepts aus drei anderen Artikeln beleuchtet werden (dies kann den bereits gegebenen Artikel mit einschliessen).

Der Ablauf des Seminar ist wie folgt:

Zuerst wird die Ausarbeitung angefertigt.
Dann wird die Arbeit abgegeben und begutachtet. Diese Begutachtung erfolgt durch den Betreuer und anonym (single-blind) durch zwei andere Seminarteilnehmer. Das heisst, jeder Seminarteilnehmer, muss je zwei Beurteilungen für andere Seminarteilnehmer anfertigen. Die Begutachtungen gehen zurück an den Author, der dann die Möglichkeit hat, seine Ausarbeitung zu überarbeiten.
Dann wird zeitgleich der Vortrag (20 Minuten Vortrag, 5 Minuten Fragen) und eine einseitige Zusammenfassung vorbereitet.
Der Vortrag wird dann in Blockveranstaltungen gehalten. Die oben genannten Materialien (Ausarbeitung, Vortrag, Kurzzusammenfassung) müssen vor der ersten Blockveranstaltung abgegeben werden. Bei den Blockveranstaltungen besteht Anwesenheitspflicht.

Themen

Die Grundlage zu den Vorträgen bilden wissenschaftliche Aufsätze (Papers). Jedes hier aufgeführte Paper entspricht einem Thema.

themenrelevante Paper sind mit dem Tag thema versehen
die einzelnen Themen werden anhand der Tags thema:x, thema:y, etc. unterschieden
Ziel des Seminars ist es NICHT den Inhalt des Papers zusammenzufassen, sondern das Thema, das durch das Tag thema:x gegeben ist, aufzuarbeiten.
die Tags findet man auf BibSonomy in der entsprechenden Gruppe (siehe oben)

Die Themen werden hier in Kürze bekannt gegeben!

Neural Bag-of-Ngrams. Li, Bofang; Liu, Tao; Zhao, Zhe; Wang, Puwei; Du, Xiaoyong. In AAAI, pp. 3067–3074. 2017.
- [ BibTeX ]
- [ BibSonomy-Post ]
@inproceedings{li2017neural, author = {Li, Bofang and Liu, Tao and Zhao, Zhe and Wang, Puwei and Du, Xiaoyong}, booktitle = {AAAI}, keywords = {deep_learning}, pages = {3067-3074}, title = {Neural Bag-of-Ngrams}, year = 2017 }
Named Entity Recognition with Bidirectional LSTM-CNNs. Chiu, Jason P. C.; Nichols, Eric. In TACL, 4, pp. 357–370. 2016.
- [ BibTeX ]
- [ BibSonomy-Post ]
@article{Chiu2016NamedER, author = {Chiu, Jason P. C. and Nichols, Eric}, journal = {TACL}, keywords = {word}, pages = {357-370}, title = {Named Entity Recognition with Bidirectional LSTM-CNNs}, volume = 4, year = 2016 }
Language Modeling with Gated Convolutional Networks. Dauphin, Yann N.; Fan, Angela; Auli, Michael; Grangier, David. 2016.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@misc{dauphin2016language, abstract = {The pre-dominant approach to language modeling to date is based on recurrent neural networks. Their success on this task is often linked to their ability to capture unbounded context. In this paper we develop a finite context approach through stacked convolutions, which can be more efficient since they allow parallelization over sequential tokens. We propose a novel simplified gating mechanism that outperforms Oord et al (2016) and investigate the impact of key architectural decisions. The proposed approach achieves state-of-the-art on the WikiText-103 benchmark, even though it features long-term dependencies, as well as competitive results on the Google Billion Words benchmark. Our model reduces the latency to score a sentence by an order of magnitude compared to a recurrent baseline. To our knowledge, this is the first time a non-recurrent approach is competitive with strong recurrent models on these large scale language tasks.}, author = {Dauphin, Yann N. and Fan, Angela and Auli, Michael and Grangier, David}, keywords = {deep_learning}, note = {cite arxiv:1612.08083}, title = {Language Modeling with Gated Convolutional Networks}, year = 2016 }
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. Ioffe, Sergey; Szegedy, Christian. In CoRR, abs/1502.03167. 2015.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@article{IofSze15, author = {Ioffe, Sergey and Szegedy, Christian}, journal = {CoRR}, keywords = {deep_learning}, title = {Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift.}, volume = {abs/1502.03167}, year = 2015 }
Character-level Convolutional Networks for Text Classification. Zhang, Xiang; Zhao, Junbo Jake; LeCun, Yann. In NIPS. 2015.
- [ BibTeX ]
- [ BibSonomy-Post ]
@inproceedings{Zhang2015CharacterlevelCN, author = {Zhang, Xiang and Zhao, Junbo Jake and LeCun, Yann}, booktitle = {NIPS}, keywords = {thema:text_classification}, title = {Character-level Convolutional Networks for Text Classification}, year = 2015 }
Convolutional Neural Networks for Sentence Classification. Kim, Yoon. 2014.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@inproceedings{kim2014convolutional, abstract = {We report on a series of experiments with convolutional neural networks (CNN) trained on top of pre-trained word vectors for sentence-level classification tasks. We show that a simple CNN with little hyperparameter tuning and static vectors achieves excellent results on multiple benchmarks. Learning task-specific vectors through fine-tuning offers further gains in performance. We additionally propose a simple modification to the architecture to allow for the use of both task-specific and static vectors. The CNN models discussed herein improve upon the state of the art on 4 out of 7 tasks, which include sentiment analysis and question classification.}, author = {Kim, Yoon}, keywords = {classification}, note = {cite arxiv:1408.5882Comment: To appear in EMNLP 2014}, title = {Convolutional Neural Networks for Sentence Classification}, year = 2014 }
A Convolutional Neural Network for Modelling Sentences. Kalchbrenner, Nal; Grefenstette, Edward; Blunsom, Phil. 2014.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@misc{kalchbrenner2014convolutional, abstract = {The ability to accurately represent sentences is central to language understanding. We describe a convolutional architecture dubbed the Dynamic Convolutional Neural Network (DCNN) that we adopt for the semantic modelling of sentences. The network uses Dynamic k-Max Pooling, a global pooling operation over linear sequences. The network handles input sentences of varying length and induces a feature graph over the sentence that is capable of explicitly capturing short and long-range relations. The network does not rely on a parse tree and is easily applicable to any language. We test the DCNN in four experiments: small scale binary and multi-class sentiment prediction, six-way question classification and Twitter sentiment prediction by distant supervision. The network achieves excellent performance in the first three tasks and a greater than 25% error reduction in the last task with respect to the strongest baseline.}, author = {Kalchbrenner, Nal and Grefenstette, Edward and Blunsom, Phil}, keywords = {deep_learning}, note = {cite arxiv:1404.2188}, title = {A Convolutional Neural Network for Modelling Sentences}, year = 2014 }
Distributed representations of words and phrases and their compositionality. Mikolov, Tomas; Sutskever, Ilya; Chen, Kai; Corrado, Greg S; Dean, Jeff. In Advances in neural information processing systems, pp. 3111–3119. 2013.
- [ BibTeX ]
- [ BibSonomy-Post ]
@inproceedings{mikolov2013distributed, author = {Mikolov, Tomas and Sutskever, Ilya and Chen, Kai and Corrado, Greg S and Dean, Jeff}, booktitle = {Advances in neural information processing systems}, keywords = {word}, pages = {3111–3119}, title = {Distributed representations of words and phrases and their compositionality}, year = 2013 }
Authorship Attribution of Micro-Messages. Schwartz, Roy; Tsur, Oren; Rappoport, Ari; Koppel, Moshe. In EMNLP, pp. 1880–1891. ACL, 2013.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@inproceedings{conf/emnlp/SchwartzTRK13, author = {Schwartz, Roy and Tsur, Oren and Rappoport, Ari and Koppel, Moshe}, booktitle = {EMNLP}, crossref = {conf/emnlp/2013}, keywords = {ss2018}, pages = {1880-1891}, publisher = {ACL}, title = {Authorship Attribution of Micro-Messages.}, year = 2013 }
TM-LDA: efficient online modeling of latent topic transitions in social media. Wang, Yu; Agichtein, Eugene; Benzi, Michele. In KDD, Q. Yang, D. Agarwal, J. Pei (eds.), pp. 123–131. ACM, 2012.
- [ BibTeX ]
- [ URL ]
- [ BibSonomy-Post ]
@inproceedings{conf/kdd/WangAB12, author = {Wang, Yu and Agichtein, Eugene and Benzi, Michele}, booktitle = {KDD}, crossref = {conf/kdd/2012}, editor = {Yang, Qiang and Agarwal, Deepak and Pei, Jian}, keywords = {ss2018}, pages = {123-131}, publisher = {ACM}, title = {TM-LDA: efficient online modeling of latent topic transitions in social media.}, year = 2012 }
A unified architecture for natural language processing: deep neural networks with multitask learning. Collobert, Ronan; Weston, Jason. In ICML. 2008.
- [ BibTeX ]
- [ BibSonomy-Post ]
@inproceedings{Collobert2008AUA, author = {Collobert, Ronan and Weston, Jason}, booktitle = {ICML}, keywords = {classification}, title = {A unified architecture for natural language processing: deep neural networks with multitask learning}, year = 2008 }

Leistungsnachweis

Die Ausarbeitung muss dem Betreuer zum bekanntgegebenen Termin zum Begutachten als PDF vorliegen.

Die zwei Begutachtungen anderer Ausarbeitungen, müssen pünktlich zum bekanntgegebenen Termin angefertigt und abgegeben werden.

Ein (1!) Tag vor dem ersten geplanten Vortrag sind per Email als PDF dem Betreuer abzugeben:

eine 6-seitige LaTeX-Ausarbeitung im hier beschriebenen Format (doppelspaltig)
eine einseitige Zusammenfassung (die allen Teilnehmern beim Vortrag ausgehändigt wird),
der Foliensatz

Vorherige Absprachen mit dem Betreuer sind ausdrücklich erwünscht. Alle verwendeten Referenzen sind zusätzlich zum Literaturverzeichnis der Ausarbeitung in http://www.bibsonomy.org in der entsprechenden Gruppe (relevant for) mit den folgenden Tags einzugeben:

den Tags des jeweiligen Themas und weiteren sinnvollen Tags.

Die Vortragsdauer beträgt verbindlich 20 Minuten, nach dem Vortrag besteht Gelegenheit zur Diskussion (ca. 5 Minuten). Der Vortrag (inkl. Folien und Abstract) geht mit 30% in die Endnote ein, die Ausarbeitung ebenfalls mit 30%. Die angefertigeten Reviews gehen 20% in die Note ein. Die letzten 20% bewerten die Eigenständigkeit der Ausarbeitung, Einhaltung von Terminen, Beteiligung am Seminar etc.

Bearbeitungshinweise

Als Richtlinie für die Erstellung einer guten Seminararbeit (inkl. Vortrag und Ausarbeitung) wird das Buch

Markus Deininger and Horst Lichter and Jochen Ludewig and Kurt Schneider. Studien-Arbeiten: ein Leitfaden zur Vorbereitung, Durchführung und Betreuung von Studien-, Diplom- Abschluss- und Doktorarbeiten am Beispiel Informatik. 5. Auflage. vdf Hochschulverlag, Zürich, 2005.

empfohlen, welches beim Betreuer des Seminars (Prof. Dr. Andreas Hotho) ausliegt. Wir empfehlen die Anschaffung dieses Buchs (9,50 €), da es Sie bis zur Masterarbeit (und weiter) begleiten kann. Die Benotung der Seminararbeit erfolgt in Anlehnung an das dort auf Seite 77 angegebene Schema, angepasst auf die Erfordernisse einer Seminararbeit.