Data Science VL 22: Relative und stetige Entropie

Wir wiederholen nochmal etwas den Begriff der Entropie im diskreten, führen die anverwandten Begriffe der Verbundentropie, bedingten Entropie und der gemeinsamen Information ein (die wir bereits benutzt haben zum Vergleich von Clusterzuweisungen). Dazu lernen wir die relative Entropie, auch in der stetigen Version, die schließlich in den letzten Vorlesungen verwendet werden.