Deep Learning UB 2024

Хиймэл Оюуны Зуны сургалт

6/17-6/21 Ulaanbaatar, Mongolia

TOPiC/Сэдэв: Large Language Models & Alignment

About the summer school

6th Deep Learning Ulaanbaatar (DLUB) summer school will be held between June 17 - June 21, 2024 in Ulaanbaatar, Mongolia. Our school aims to provide education on the science of Artificial Intelligence, from basics to the most recent developments. This year, we will focus on Large Language Models (LLMs) and their alignmentm methods.

Who is it for?

Our event is open to students interested in AI and deep learning or people who want to follow a career in this path. We expect, although not necessarily, our participants to have a fundamental knowledge of mathematics (vector, matrix, calculus) and general coding experience. We highly recommend you to have a look at our previous years' materials in advance.

Registration: https://forms.gle/hVbPTdygaC6ZX6YK8

Зуны Сургалтын талаар

6 дахь удаагийн DLUB зуны сургалт 2024 оны 6 сарын 17 - 21 хооронд Улаанбаатар хотноо зохион байгуулагдана. Манай сургалтын зорилго Хиймэл Оюуны шинжлэх ухааны үндсэн мэдлэг болон сүүлийн үеийн хөгжил дэвшлийн мэдлэгийг олгох юм. Энэ жил Хэлний Том Загварууд (Large Language Models) болон тэднийг Зүгшрүүлэх аргуудыг (Alignment) онцлон үзэх болно.

Хэнд зориулсан бэ?

Хиймэл оюун болон гүнзгий сургалтад сонирхолтой оюутан болон энэ чиглэлээр ажиллах сонирхолтой хүмүүст манай сургалт нээлттэй. Оролцогчид математикийн суурь мэдлэг (вектор, матриц, уламжлал) болон ойр зуурын код бичих (python) чадвартай байх хэрэгтэй. Өмнөх жилийн сургалтын агуулгатай танилцсан байхыг санал болгож байна.

Бүртгэл: https://forms.gle/hVbPTdygaC6ZX6YK8

Pre-DLUB school

Энэ удаагийн зуны сургалтаар Large Language Model болон бусад ахисан түвшний сэдвүүдийг хамрах билээ. Сургалтын агуулгыг бүрэн эзэмшихэд гүнзгий сургалтын суурь мэдлэг шаардлагатай болно. Уг суурь мэдлэгийг урьдчилж олгох үүднээс, хиймэл оюуны анхан шатны мэдлэгтэй, Python хэлний дунд шатны мэдлэгтэй залуустаа зориулж Pre-DLUB2024 бэлтгэл сургалтыг зохион байгуулж байна. Энэхүү бэлтгэл сургалт нь үндсэн зуны сургалтаас өмнө тусдаа зохион байгуулагдах болно. Дэлгэрэнгүй мэдээллийг эндээс авна уу.

schedule | Хуваарь

Сургалт 6/17-6/21-ний хооронд өдөр болгон. Өдрийн хуваарь:

9:30-10:30: Лекц #1
10:30-11:00: Завсарлага (кофе болон хөнгөн зууш)
11:00-12:00: Лекц #2
12:00-13:00: Өдрийн хоолны завсарлага
13:00-14:45: Семинар
14:45-15:00: Завсарлага
15:00-16:00: Сургалтын office hour

6/17: Lecture: Transformer model I

Lecture: Transformer model II

Seminar: Transformer Model ((Implement from scratch)

6/18: Lecture: Introduction to Large Language Models (Pre-training & Post-training Language Model, Pre-training data, Tokenization)

Lecture: Introduction to Large Language Models (Scaling Law, Internal Knowledge in LLMs, Decoding techniques, Prompting, LLM hallucination, Adapters)

Seminar: MiniGPT (Language model training)

6/19: Lecture: LLM alignment (Intro, Few shot prompting & SFT for reasoning and insruction tuning, etc., LLM Evaluation)

Lecture: LLM alignment - PO techniques

Seminar: LoRA fine tuning

6/20: Lecture: LLM alignment - RLHF

Lecture: LLM alignment - RLHF

Seminar: Offline DPO training

6/21: Lecture: Advanced topics on LLM (Chain-of-thought, LLM as Judge, etc.)

Lecture: Advanced topics on LLM (Distributed training & Infra, Efficient attention techniques, MoE, Multimodal LLMs)

Seminar: GPT/Gemini/LLama prompting & Using LLM as rater

Networking event

ORGANIZERS | ЗОXИОН БАЙГУУЛАГЧИД

Amgalan Ganbat

Г.Амгалан

Chief Technology Officer, Addice

Аддайс, Технологи Хариуцсан Захирал

Iveel Tsogsuren

Ц. Ивээл

Senior Software engineer, GoogleAI

Гүүгл AI, программист

Ono Gantsog

Г. Ононцацал

Data Scientist at Mergendata

Мэргэндата, Дата эрдэмтэн

Bilegsaikhan Bayarsaikhan

Б. Билэгсайхан

CEO, Rookie Systems

Рүүкий Системс, Захирал

Tsendsuren Munkhdalai

М. Цэндсүрэн

Research Scientist, Google

Гүүгл, Эрдэмтэн Судлаач

Otgonbayar Uuye

Ү. Отгонбаяр

Head of Artificial Intelligence, AND Global

АНД Глобал, Хиймэл оюун хариуцсан захирал

Tumur-Ochir Nasanjargal

Н.Төмөр-Очир

Senior Data Scientist, MCS Group

М-Си-Эс Групп, Ахлах өгөгдөл судлаач

Sainbayar Sukhbaatar

С. Сайнбаяр

Research Scientist, Meta

Мета, Эрдэмтэн Судлаач

Amarsaikhan Batjargal

Б. Амарсайхан

Senior Machine Learning Engineer, AND Systems Tech LLC

"АНД Системс Тех" ХХК, Ахлах Машин сургалтын инженер

Bayartsogt Yadamsuren

Я. Баярцогт

Machine Learning Engineer, The Home Depot via KForce Inc

Хөүм Дипот, Машин сургалтын инженер

Lkhagvadorj Munkhdalai

М. Лхагвадорж

Senior AI Engineer, Chimege Systems LLC
Teacher, Empasoft Institute of Technology

Чимэгэ Системс, Ахлах AI инженер
Эмпасофт Технологийн Сургуулийн багш