Tractacus

Bu sayfada okuduğum, üzerinde çalıştığım konu, makale vb. üzerindeki notlarımı yayınlıyorum.

Elad Hazan Optimizasyon Ders Notları üzerine:

Hazan, Elad. "Lecture Notes: Optimization for Machine Learning." arXiv preprint arXiv:1909.03550 (2019).

Optimizasyon alanında teorik çalışmak isteyenlere yönelik olan ders notları birebir çeviri değiller, aralarda atlamalar, yorumlar, ek açıklamalar, çizdiğim şekiller, yazdığım kodlar ve anlamadığım bölümler var. Nova Okuma grubu ve biraz da kendime yazdığım için rahat bir dil kullandım. Çok kolay bir süreç değildi. Bazen bir teoremin ispatını anlamak için 2-3 gün uğraştım. Bazen buna rağmen anlamadım. Ama tüm süreç çok faydalı oldu. Corona günlerim Mart-Haziran 2020 arası bunlarla geçti :)

Notlara orijinal ders notu ile birlikte çalışmak fayda sağlayacaktır. ilk 6 bölüm bence daha önemli.

İlk 3 bölümü Latex'e çeviren Gülsüm Yiğit’e (https://www.linkedin.com/in/gulsmyigit/) çok teşekkürler.

Bölüm 1, 2, 3: Giriş, Optimizasyondaki Temel Kavramlar, Stokastik Gradyan Düşümü

Bölüm 4: Genelleştirebilme ve Pürüzsüz olmayan fonksiyonların optimizasyonu

Bölüm 5: Düzenlileştirme (Regularization)

Bölüm 6: Adaptif Düzenlileştirme (Adaptive Regularization)

Bölüm 7: Varyans Azaltma (Variance Reduction)

Bölüm 8: Nesterov Hızlandırması(Acceleration)

Bölüm 9: Şartlı Gradyan Yöntemi (Conditional Gradient Method)

Bölüm 10: Makine öğrenmesinde 2. dereceden yöntemler

Bölüm 11: Hiperparametre optimizasyonu

Bir Dağılımın Keşfi

Iain Murray'in https://www.youtube.com/watch?v=Em6mQQy4wYA ("Introduction to MCMC for Deep Learning") videosundaki Metropolis kodu üzerine çalışmalarım

İteratif optimizasyon algoritmalarının analizi

Martin Zinkevich'in "Online convex programming and generalized infinitesimal gradient ascent" yayınını çeviri ve anlama çalışmalarım

Lineer Programlaya Giriş

https://brilliant.org/wiki/linear-programming/ temelinde anlama çalışmalarım

AdaGrad ve ADAM

üzerine çalışmalarım

Transformers nasıl çalışır?

Anlama çalışmalarım

BERT nasıl çalışır?

Anlama çalışmalarım

MentorNet nasıl çalışır?

Anlama çalışmalarım