Deep Learning UB 2025

Хиймэл Оюуны Зуны сургалт

6/23-6/28 Ulaanbaatar, Mongolia

TOPiC/Сэдэв: Large Language Models & Generative AI

About the summer school

7th Deep Learning Ulaanbaatar (DLUB) summer school will be held between June 23 - June 28, 2025 in Ulaanbaatar, Mongolia. Our school aims to provide education on the science of Artificial Intelligence, from basics to the most recent developments. This year, we will focus on Large Language Models (LLMs) and their post-training algorithms.

Who is it for?

Our event is open to students interested in AI and deep learning or people who want to follow a career in this path. We expect, although not necessarily, our participants to have a fundamental knowledge of mathematics (vector, matrix, calculus) and general coding experience. We highly recommend you to have a look at our previous years' materials in advance.

Registration: coming soon

Сургалтын талаар

7 дахь удаагийн DLUB зуны сургалт 2025 оны 6 сарын 23 - 27 хооронд Улаанбаатар хотноо зохион байгуулагдана. Манай сургалтын зорилго Хиймэл Оюуны шинжлэх ухааны үндсэн мэдлэг болон сүүлийн үеийн хөгжил дэвшлийн мэдлэгийг олгох юм. Энэ жил Хэлний Том Загварууд (Large Language Models) болон Post-training methods-ийг онцлон үзэх болно.

Хэнд зориулсан бэ?

Хиймэл оюун болон гүнзгий сургалтад сонирхолтой оюутан болон энэ чиглэлээр ажиллах сонирхолтой хүмүүст манай сургалт нээлттэй. Оролцогчид математикийн суурь мэдлэг (вектор, матриц, уламжлал) болон ойр зуурын код бичих (python) чадвартай байх хэрэгтэй. Өмнөх жилийн сургалтын агуулгатай танилцсан байхыг санал болгож байна.

Бүртгэл: удахгүй зарлана

Бид зуны сургалтын сүүлийн өдөр олон нийтэд нээлттэй AI DAY өдөрлөгийг зохион байгуулна.

Pre-DLUB school

Энэ удаагийн зуны сургалтаар Large Language Model болон бусад ахисан түвшний сэдвүүдийг хамрах билээ. Сургалтын агуулгыг бүрэн эзэмшихэд гүнзгий сургалтын суурь мэдлэг шаардлагатай болно. Уг суурь мэдлэгийг урьдчилж олгох үүднээс, хиймэл оюуны анхан шатны мэдлэгтэй, Python хэлний дунд шатны мэдлэгтэй залуустаа зориулж Pre-DLUB2025 бэлтгэл сургалтыг зохион байгуулж байна. Энэхүү бэлтгэл сургалт нь үндсэн зуны сургалтаас өмнө тусдаа зохион байгуулагдах болно. Дэлгэрэнгүй мэдээллийг эндээс авна уу.

schedule | Хуваарь

Сургалт 6/23-ний өдрийн хуваарь болон агуулга:

LLM-ийн эхлэл (Pre-training, & Post-training Language Model, Pre-training data, Tokenization)

9:30-10:30: Лекц #1
10:30-11:00: Завсарлага (кофе болон хөнгөн зууш)
11:00-12:00: Лекц #2
12:00-13:00: Өдрийн хоолны завсарлага
13:00-15:00: Семинар (Трансформер модел)
15:00-15:15: Завсарлага
15:15-16:15: Зочны яриа
16:15-17:00: Сургалтын office hour

Сургалт 6/24-ний өдрийн хуваарь болон агуулга:

Post-training (prompting Supervised-find-tuning, instruction tuning)

9:30-10:30: Лекц #1
10:30-11:00: Завсарлага (кофе болон хөнгөн зууш)
11:00-12:00: Лекц #2
12:00-13:00: Өдрийн хоолны завсарлага
13:00-15:00: Семинар (MiniGPT, Small model training, Loss implement, Decoding TODO task)
15:00-15:15: Завсарлага
15:15-16:15: Зочны яриа
16:15-17:00: Сургалтын office hour

Сургалт 6/25-ний өдрийн хуваарь болон агуулга:

RLHF (Rejection fine-tuning, DPO, GRPO), self-improving (LLM-as-a-Judge)

9:30-10:30: Лекц #1
10:30-11:00: Завсарлага (кофе болон хөнгөн зууш)
11:00-12:00: Лекц #2
12:00-13:00: Өдрийн хоолны завсарлага
13:00-15:00: Семинар (LoRA fine tuning)
15:00-15:15: Завсарлага
15:15-16:15: Зочны яриа
16:15-17:00: Сургалтын office hour

Сургалт 6/26-ний өдрийн хуваарь болон агуулга:

RLVR, Test-time Scaling, and Thinking

9:30-10:30: Лекц #1
10:30-11:00: Завсарлага (кофе болон хөнгөн зууш)
11:00-12:00: Лекц #2
12:00-13:00: Өдрийн хоолны завсарлага
13:00-15:00: Семинар (Offline DPO training)
15:00-15:15: Завсарлага
15:15-16:15: Зочны яриа
16:15-17:00: Сургалтын office hour

Сургалт 6/27-ний өдрийн хуваарь болон агуулга:

Agentic LLM & Multimodel LLMs

9:30-10:30: Лекц #1
10:30-11:00: Завсарлага (кофе болон хөнгөн зууш)
11:00-12:00: Лекц #2
12:00-13:00: Өдрийн хоолны завсарлага
13:00-15:00: Семинар (GPT, Gemini, LLama prompting & Using LLm as rater)
15:00-15:15: Завсарлага
15:15-16:15: Зочны яриа

Сургалт 6/28-ний өдрийн хуваарь болон агуулга:

Agentic LLM & Multimodel LLMs

9:30-10:30: Лекц #1
10:30-11:00: Завсарлага (кофе болон хөнгөн зууш)
11:00-12:00: Лекц #2
12:00-13:00: Өдрийн хоолны завсарлага
13:00-15:00: Семинар (GPT, Gemini, LLama prompting & Using LLm as rater)
15:00-15:15: Завсарлага
15:15-16:15: Зочны яриа

Ai event teachers | Ai эвентийн Багш нар

Sainbayar Sukhbaatar

С. Сайнбаяр

Research Scientist, Meta

Мета, Эрдэмтэн Судлаач

Tsendsuren Munkhdalai

М. Цэндсүрэн

Research Scientist, Google

Гүүгл, Эрдэмтэн Судлаач

Zolzaya Dashdorj

Д. Золзаяа

Ph.D professor, Mongolian University of Science and Technology

ШУТИС-ийн Мэдээлэл Холбооны Технологийн Комьютерийн Ухааны тэнхимийн профессор Доктор, дэд профессор Д. Золзаяа

Lkhagvadorj Munkhdalai

М. Лхагвадорж

Head of AI Department, Empasoft Institute of Technology and M Bank

Empasoft Технологийн Сургууль болон М банк, Хиймэл Оюун Ухааны Салбарын Ахлагч

teachers | Багш нар

Sainbayar Sukhbaatar

С. Сайнбаяр

Research Scientist, Meta

Мета, Эрдэмтэн Судлаач

Tsendsuren Munkhdalai

М. Цэндсүрэн

Research Scientist, Google

Гүүгл, Эрдэмтэн Судлаач

Tumur-Ochir Nasanjargal

Н.Төмөр-Очир

Senior Data Scientist, MCS Group

М-Си-Эс Групп, Ахлах өгөгдөл судлаач

Bilegsaikhan Bayarsaikhan

Б. Билэгсайхан

CEO, Rookie Systems

Рүүкий Системс, Захирал

Bilguun Ochirbat

О. Билгүүн

AI engineer, Roockie Systems LLC

Roockie Systems ХХК, Хиймэл оюун ухааны инженер

Ganzorig Batnasan

Б. Ганзориг

AI engineer, Mirai Technologies LLC

Мирай Технологи ХХК, Хиймэл оюун ухааны инженер

Lkhagvadorj Munkhdalai

М. Лхагвадорж

Head of AI Department, Empasoft Institute of Technology and M Bank

Empasoft Технологийн Сургууль болон М банк, Хиймэл Оюун Ухааны Салбарын Ахлагч

Bayartsogt Yadamsuren

Я. Баярцогт

Software Engineer, Amazon

Амазон, Программ хангамжийн инженер

Invited talk | Зочин илтгэгчид

Pre-School teachers | Pre-school Багш нар

Taivanbat Bayarsaikhan

Б. Тайванбат

National University of Mongolia

Монгол Улсын Их Сургууль

Choisuren Myagmar

М. Мягмар

Senior Data Scientist, TDBM

Худалдаа хөгжлийн банк, Ахлах Өгөгдөл Судлаач

Lkhagvadorj Munkhdalai

М. Лхагвадорж

Head of AI Department, Empasoft Institute of Technology and M Bank

Empasoft Технологийн Сургууль болон М банк, Хиймэл Оюун Ухааны Салбарын Ахлагч

Khuslen Gansukh

Г. Хүслэн

ML Engineer, AND Systems Tech LLC

АНД Системс Тек ХХК, Машин Сургалтын Инженер

Nomuun Bayanmunkh

Б. Номуун

Data Scientist, AND Systems Tech LLC

АНД Системс Тек ХХК, Өгөгдөл Судлаач

Norjinsuren, Munkhtogoo

М. Норжинсүрэн

Data Scientist, AND Systems Tech LLC

АНД Системс Тек ХХК, Өгөгдөл Судлаач

Uuganbayar Dagvatseren

Д. Ууганбаяр

ML Engineer, Bolorsoft LLC

Болорсофт ХХК, Машин Сургалтын Инженер

Unubold Erdenebileg

Э. Өнөболд

ML Developer, AND Systems Tech LLC

АНД Системс Тек ХХК, Машин Сургалт Хөгжүүлэгч

ORGANIZERS | ЗОXИОН БАЙГУУЛАГЧИД

Amgalan Ganbat

Г.Амгалан

Chief Technology Officer, Mirai Technologies LLC

Мирай Текноложис ХХК, Технологи Хариуцсан Захирал

Otgonbayar Uuye

Ү. Отгонбаяр

Head of Artificial Intelligence, AND Global

АНД Глобал, Хиймэл оюун хариуцсан захирал

Ono Gantsog

Г. Ононцацал

Data Scientist at Mergendata

Мэргэндата, Дата эрдэмтэн

Lkhagvadorj Munkhdalai

М. Лхагвадорж

Senior AI Engineer, Chimege Systems LLC
Teacher, Empasoft Institute of Technology

Чимэгэ Системс, Ахлах AI инженер
Эмпасофт Технологийн Сургуулийн багш