Arvutiteaduse instituut
  1. Kursused
  2. 2015/16 kevad
  3. Masinõpe (MTAT.03.227)
EN
Logi sisse

Masinõpe 2015/16 kevad

Previous years: 2008 » 2012 » 2013 » 2014

  • Main
  • Lectures
  • Exercise sessions
  • Grading
  • Forum
  • Upload

XV. Basics of ensemble methods

Given by Meelis Kull

Brief summary: Bayesian view on model selection. Ensembles as a Monte Carlo integration technique. Committee voting as a Bayesian Model averaging. Bagging is bootstrapping together with averaging. Sequential error correction methods and the idea of data point weighting. AdaBoost algorithm and its reformulation in terms of standard minimisation problem with a peculiar cost function. Non-robustness of AdaBoost algorithm and alternatives. Mixtures of experts and relation to lazy learning.

Slides: PDF

Video: UTTV(2016)

Literature:

  • Bishop: Pattern Recognition and Machine Learning pages 653 - 674
  • Hastie, Tibshirani & Friedman: The Elements of Statistical Learning pages 337 - 387

Complementary Exercises:

  • Bishop: Pattern Recognition and Machine Learning pages 674-677
  • Study the robustness and precision of bagging and boosting on Spambase datased with simple tree based classifiers.
  • Study the behaviour of Bayesian Model Averaging for linear models. Interpret the results.

Free implementations:

  • BMS package for Bayesian Model Averaging in R: bms, topmodels.bms, image
  • BMA package for Bayesian Model Averanging in R: bicreg, bic.glm, bic.surv and imageplot.bma
  • Ipred package in R: bagging, inbagg and bootest
  • Ada package in R: ada and predict.ada
  • Gbm package in R: gbm, gbm.perf and gbm.perf
  • Mboost package in R
  • Arvutiteaduse instituut
  • Loodus- ja täppisteaduste valdkond
  • Tartu Ülikool
Tehniliste probleemide või küsimuste korral kirjuta:

Kursuse sisu ja korralduslike küsimustega pöörduge kursuse korraldajate poole.
Õppematerjalide varalised autoriõigused kuuluvad Tartu Ülikoolile. Õppematerjalide kasutamine on lubatud autoriõiguse seaduses ettenähtud teose vaba kasutamise eesmärkidel ja tingimustel. Õppematerjalide kasutamisel on kasutaja kohustatud viitama õppematerjalide autorile.
Õppematerjalide kasutamine muudel eesmärkidel on lubatud ainult Tartu Ülikooli eelneval kirjalikul nõusolekul.
Tartu Ülikooli arvutiteaduse instituudi kursuste läbiviimist toetavad järgmised programmid:
euroopa sotsiaalfondi logo it akadeemia logo