Deep Learning UB 2022

Summer School | Зуны сургалт

Ulaanbaatar, Mongolia, 6/27 - 7/1, 2022

Topic: Foundation Models | Сэдэв: Суурь загварууд

About the summer school

4th Deep Learning summer school in Ulaanbaatar will be held between June 27 - July 1st. This year we are going to present a combination of seminars and lectures on Foundation models/Transformers.

Who is it for?

Our event is open to students interested in AI and deep learning or people who want to follow a career in this path. We expect, although not necessarily, our participants to have a fundamental knowledge of mathematics (vector, matrix, calculus) and general coding experience. We highly recommend you to have a look at our previous years' materials in advance.

Сургалтын талаар

4 дэх удаагийн Гүнзгий сургалтын зуны сургалтыг 2022 оны 6 сарын 27 - 7 сарын 1 хооронд зохион байгуулагдахаар боллоо. Энэ удаа бид гүнзгий сургалтын салбарт сүүлийн үед том ахиц авчирч буй Foundation models / Transformers-н талаар лекц, семинар хослуулан заах болно.

Хэнд зориулсан бэ?

Хиймэл оюун болон гүнзгий сургалтад сонирхолтой оюутан болон энэ чиглэлээр ажиллах сонирхолтой хүмүүст манай сургалт нээлттэй. Оролцогчид математикийн суурь мэдлэг (вектор, матриц, уламжлал) болон ойр зуурын код бичих (python) чадвартай байх хэрэгтэй. Өмнөх жилийн сургалтын агуулгатай танилцсан байхыг санал болгож байна.

instructorS | Хичээл заах

Otgonbayar Uuye

Head of Artificial Intelligence, AND Global

Ү. Отгонбаяр

АНД Глобал, Хиймэл оюун хариуцсан захирал

Sainbayar Sukhbaatar

Research Scientist, Meta

С. Сайнбаяр

Мета, Эрдэмтэн Судлаач

Tsendsuren Munkhdalai

Research Scientist, Google

М. Цэндсүрэн

Гүүгл, Эрдэмтэн Судлаач

Amgalan Ganbat

Chief Technology Officer, Addice

Г.Амгалан

Аддайс, Технологи Хариуцсан Захирал

Bilegsaikhan Bayarsaikhan

Chief Technology Officer, Ingenious Solutions

Б. Билэгсайхан

Инжениус Солюшнс, Технологи Хариуцсан Захирал

Onontsatsal Gantsog

Data Analyst, AbilityLab

Г. Ононцацал

Абилитилаб, Дата Аналист

Enkhbold Bataa

Founder, Curious Machines AI

Б. Энхболд

Көриөс Машинс ЭйАя, Үүсгэн байгуулагч

Bayartsogt Yadamsuren

Machine Learning Engineer, Home Depot

Я. Баярцогт

Хөүм Депот, Машин сургалтын инженер

Invited talks | Зочин илтгэгчид

Mishig Davaadorj

Software Engineer, Hugging Face

Д. Мишиг

Hugging Face, Програм хангамжийн инженер

Luvsanbyamba Buyankhuu

Lead Software Engineer, Unity Technologies

Б. Лувсанбямба

Unity Technologies, Ахлах програм хангамжийн инженер

Dr Adwaye Rambojun

Machine Learning Scientist, University of Bath's Institute for Mathematical Innovation

Др Адваей Рамбожун

University of Bath's Institute for Mathematical Innovation, Машин сургалтын инженер

Khulan Batbayar, PhD

Genetician, Albert Einstein College of Medicine

Б. Хулан, PhD

Albert Einstein College of Medicine, Генетикч

schedule | Хуваарь

Summer school will be held for 5 days and for each day:

9:30-10:45 lecture,

10:45-11:15 coffee break,

11:15-12:15 seminar,

12:30-13:00 Applied, research talk

All lessons will be in Mongolian.

Seminars will be using Google Colab, so you would need a computer connected to the internet.

Сургалт 5 хоног үргэлжлэх ба өдөр болгон:

9:30-10:45 лекц,

10:45-11:15 цайны завсарлага,

11:15-12:15 семинар,

12:30-13:00 зочны ярилцлага

гэсэн хуваариар явагдана. Бүх хичээл монгол хэл дээр явагдана.

Семинар Google Colab ашиглан явагдах тул интернетэд холбоотой компьютер байхад хангалттай.

6/27: Lecture: Attention, Memory networks, Position embeddings

Seminar: Environment setup - PyTorch, Function, Training Loop

Invited Talks: Mishig Davaadorj - Hugging Face

6/28: Lecture: Transformer basics, Self-attention

Seminar: Morphology

Invited Talks: Luba - AI use case of Unity

6/29: Lecture: Multi-head, Layer-norm

Seminar: Transformers from scratch

Invited Talks: Adwaye Rambojin - Gaussian Processes for Shape Modelling

6/30: Lecture: Pre-training and Pre-training objectives

Seminar: Masked language pre-training

Invited Talks: Onontsatsal Gantsog - Data pipeline

7/1: Lecture: Fine-tuning, Adapter layers and Prompting

Seminar: Fine-tuning and named entity recognition

Invited Talks: Khulan Batbayar - AlphaFold

Registration | Бүртгэл

Хаана: МУИС-ийн шинэ номын сан.

Бүртгэл: Бүртгэл 6-р сарын 21-нд хаагдсан. Та манай Facebook page-р live үзэж болно. Мөн дараа нь Youtube сувагт маань орно.

Төлбөр: Үнэ төлбөргүй.

Холбогдох: dlubsummerschool@gmail.com

Facebook page Youtube channel

previous years' summer schools | Өмнөх жилийн сургалтууд

2021 оны сургалт

2019 оны сургалт

2018 оны сургалт

Google Sites

Report abuse