Deutsch Intern
    Data Science Chair

    Seminar: Ausgewählte Themen des Machine Learning

    Veranstalter: Prof. Dr. Andreas Hotho, Martin Becker

    Bei Fragen, Reservierung eines Themas, wenden Sie sich bitte an Martin Becker.

    WueCampus-Kurs: (Zugang wird nach der Vorbesprechung individuell freigeschaltet)

    BibSonomy Gruppe: (Wird nach der Vorbesprechung angelegt)

    Vorbesprechung: 16.10.2017, 16:00 Uhr im Raum B002

    Themenvergabe und Vorbesprechung

    Themen können schon vor dem Vorbesprechungstermin reserviert werden. Die Themen werden einige Zeit vor der Vorbesprechung hier auf dieser Seite bekannt gegeben.

    Bei der Vorbesprechung werden die Themen - so nicht schon vergeben - an die anwesenden Seminarteilnehmer verteilt. Grundsätzlich besteht Anwesenheitspflicht. Teilnehmer, die bereits ein Thema bearbeiten, aber ohne Absprache fehlen, verlieren den Anspruch auf ihr Thema. In der Vorbesprechung werden auch die Termine für die Vorträge festgelegt.

    Konzept und Ablauf des Seminars

    Im Zentrum dieses Seminars steht ein wissenschaftlicher Artikel und ein darin verwendetes Konzept. Ein Beispiel wäre das Paper 

    MixedTrails: Bayesian hypothesis comparison on heterogeneous sequential data

    Martin Becker, Florian Lemmerich, Philipp Singer, Markus Strohmaier, Andreas Hotho

    In dem folgendes Konzept eine zentrale Rolle spielt: 

    Bayes Factor 

    Im Rahmen des Seminars soll nun das Konzept aufgearbeitet und verwandte Literatur gesucht werden. Das Ziel ist es, in Ausarbeitung und dem Vortrag des Seminars das gegebene Konzept unter Verwendung entsprechender Referenzen verständlich einzuführen und zu erklären. Außerdem sollen Anwendungsbeispiele oder Erweiterungen des Konzepts aus drei anderen Artikeln beleuchtet werden (dies kann den bereits gegebenen Artikel mit einschliessen). 

    Der Ablauf des Seminar ist wie folgt:

    • Zuerst wird die Ausarbeitung angefertigt. 
    • Dann wird die Arbeit abgegeben und begutachtet. Diese Begutachtung erfolgt durch den Betreuer und anonym durch zwei andere Seminarteilnehmer. Das heisst, jeder Seminarteilnehmer, muss je zwei Beurteilungen für andere Seminarteilnehmer anfertigen. Die Begutachtungen gehen zurück an den Author, der dann die Möglichkeit hat, seine Ausarbeitung zu überarbeiten. 
    • Dann wird zeitgleich der Vortrag (20 Minuten Vortrag, 5 Minuten Fragen) und eine einseitige Zusammenfassung vorbereitet.
    • Der Vortrag wird dann in Blockveranstaltungen gehalten. Die oben genannten Materialien (Ausarbeitung, Vortrag, Kurzzusammenfassung) müssen vor der ersten Blockveranstaltung abgegeben werden. Bei den Blackveranstaltungen besteht Anwesenheitspflicht. 

    Themen

    Die Grundlage zu den Vorträgen bilden wissenschaftliche Aufsätze (Papers). Jedes hier aufgeführte Paper entspricht einem Thema.

    • themenrelevante Paper sind mit dem Tag thema versehen
    • die einzelnen Themen werden anhand der Tags thema:x, thema:y, etc. unterschieden
    • Ziel des Seminars ist es NICHT den Inhalt des Papers zusammenzufassen, sondern das Thema, das durch das Tag thema:x gegeben ist, aufzuarbeiten.
    • die Tags findet man auf BibSonomy in der entsprechenden Gruppe (siehe oben)
    • Kruschke, John K ; Liddell, Torrin M: The Bayesian New Statistics: Hypothesis testing, estimation, meta-analysis, and power analysis from a Bayesian perspective. In: Psychonomic Bulletin \& Review, Springer (2017), pp. 1–29
    • Mitchell, Tom M ; Cohen, William W ; Hruschka Jr, Estevam R ; Talukdar, Partha Pratim ; Betteridge, Justin ; Carlson, Andrew ; Mishra, Bhavana Dalvi ; Gardner, Matthew ; et al.: Never Ending Learning.. In: AAAI, 2015, pp. 2302–2310
    • Goodfellow, Ian ; Pouget-Abadie, Jean ; Mirza, Mehdi ; Xu, Bing ; Warde-Farley, David ; Ozair, Sherjil ; Courville, Aaron ; Bengio, Yoshua: Generative adversarial nets.. In: Advances in neural information processing systems, 2014, pp. 2672–2680
    • Srivastava, Nitish ; Hinton, Geoffrey E ; Krizhevsky, Alex ; Sutskever, Ilya ; Salakhutdinov, Ruslan: Dropout: a simple way to prevent neural networks from overfitting.. In: Journal of machine learning research vol. 15 (2014), Nr. 1, pp. 1929–1958
    • Sutskever, Ilya ; Vinyals, Oriol ; Le, Quoc V: Sequence to sequence learning with neural networks.. In: Advances in neural information processing systems, 2014, pp. 3104–3112
    • Yosinski, Jason ; Clune, Jeff ; Bengio, Yoshua ; Lipson, Hod: How transferable are features in deep neural networks?.. In: Advances in neural information processing systems, 2014, pp. 3320–3328
    • Dong, Xin ; Gabrilovich, Evgeniy ; Heitz, Geremy ; Horn, Wilko ; Lao, Ni ; Murphy, Kevin ; Strohmann, Thomas ; Sun, Shaohua ; et al.: Knowledge vault: A web-scale approach to probabilistic knowledge fusion.. In: Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining : ACM, 2014, pp. 601–610
    • Pascanu, Razvan ; Mikolov, Tomas ; Bengio, Yoshua: On the difficulty of training recurrent neural networks.. In: International Conference on Machine Learning, 2013, pp. 1310–1318
    • Thornton, Chris ; Hutter, Frank ; Hoos, Holger H ; Leyton-Brown, Kevin: Auto-WEKA: Combined selection and hyperparameter optimization of classification algorithms.. In: Proceedings of the 19th ACM SIGKDD international conference on Knowledge discovery and data mining : ACM, 2013, pp. 847–855
    • Wang, Yu-Xiong ; Zhang, Yu-Jin: Nonnegative matrix factorization: A comprehensive review. In: IEEE Transactions on Knowledge and Data Engineering vol. 25, IEEE (2013), Nr. 6, pp. 1336–1353
    • Bengio, Yoshua ; Courville, Aaron ; Vincent, Pascal: Representation learning: A review and new perspectives. In: IEEE transactions on pattern analysis and machine intelligence vol. 35, IEEE (2013), Nr. 8, pp. 1798–1828
    • Mnih, Volodymyr ; Kavukcuoglu, Koray ; Silver, David ; Graves, Alex ; Antonoglou, Ioannis ; Wierstra, Daan ; Riedmiller, Martin: Playing atari with deep reinforcement learning. In: arXiv preprint arXiv:1312.5602 (2013)
    • Dean, Jeffrey ; Corrado, Greg ; Monga, Rajat ; Chen, Kai ; Devin, Matthieu ; Mao, Mark ; Senior, Andrew ; Tucker, Paul ; et al.: Large scale distributed deep networks.. In: Advances in neural information processing systems, 2012, pp. 1223–1231
    • Fei-Fei, Li ; Perona, Pietro: A bayesian hierarchical model for learning natural scene categories.. In: Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on. vol. 2 : IEEE, 2005, pp. 524–531
    • Rasmussen, Carl Edward ; Williams, Christopher KI: Gaussian processes in machine learning. In: Lecture notes in computer science vol. 3176, Springer (2004), pp. 63–71

    Leistungsnachweis

    Die Ausarbeitung muss dem Betreuer zum bekanntgegebenen Termin zum Begutachten als PDF vorliegen.

    Die zwei Begutachtungen anderer Ausarbeitungen, die müssen pünktlich zum bekanntgegebenen Termin angefertigt und abgegeben werden.

    Ein (1!) Tag vor dem ersten geplanten Vortrag sind per Email als PDF dem Betreuer abzugeben:

    • eine 6-seitige LaTeX-Ausarbeitung im hier beschriebenen Format (doppelspaltig)
    • eine einseitige Zusammenfassung (die allen Teilnehmern beim Vortrag ausgehändigt wird),
    • der Foliensatz

    Vorherige Absprachen mit dem Betreuer sind ausdrücklich erwünscht. Alle verwendeten Referenzen sind zusätzlich zum Literaturverzeichnis der Ausarbeitung in http://www.bibsonomy.org in der entsprechenden Gruppe (relevant for) mit den folgenden Tags einzugeben:

    den Tags des jeweiligen Themas und weiteren sinnvollen Tags.

    Die Vortragsdauer beträgt verbindlich 20 Minuten, nach dem Vortrag besteht Gelegenheit zur Diskussion (ca. 5 Minuten). Der Vortrag (inkl. Folien und Abstract) geht mit 30% in die Endnote ein, die Ausarbeitung ebenfalls mit 30%. Die angefertigeten Reviews gehen 20% in die Note ein. Die letzten 20% bewerten die Eigenständigkeit der Ausarbeitung, Einhaltung von Terminen, Beteiligung am Seminar etc.

    Bearbeitungshinweise

    Als Richtlinie für die Erstellung einer guten Seminararbeit (inkl. Vortrag und Ausarbeitung) wird das Buch

    Markus Deininger and Horst Lichter and Jochen Ludewig and Kurt Schneider. Studien-Arbeiten: ein Leitfaden zur Vorbereitung, Durchführung und Betreuung von Studien-, Diplom- Abschluss- und Doktorarbeiten am Beispiel Informatik. 5. Auflage. vdf Hochschulverlag, Zürich, 2005. 

    empfohlen, welches beim Betreuer des Seminars (Prof. Dr. Andreas Hotho) ausliegt. Wir empfehlen die Anschaffung dieses Buchs (9,50 €), da es Sie bis zur Masterarbeit (und weiter) begleiten kann. Die Benotung der Seminararbeit erfolgt in Anlehnung an das dort auf Seite 77 angegebene Schema, angepasst auf die Erfordernisse einer Seminararbeit.