6th Deep Learning Ulaanbaatar (DLUB) summer school will be held between June 17 - June 21, 2024 in Ulaanbaatar, Mongolia. Our school aims to provide education on the science of Artificial Intelligence, from basics to the most recent developments. This year, we will focus on Large Language Models (LLMs) and their alignmentm methods.
Our event is open to students interested in AI and deep learning or people who want to follow a career in this path. We expect, although not necessarily, our participants to have a fundamental knowledge of mathematics (vector, matrix, calculus) and general coding experience. We highly recommend you to have a look at our previous years' materials in advance.
6 дахь удаагийн DLUB зуны сургалт 2024 оны 6 сарын 17 - 21 хооронд Улаанбаатар хотноо зохион байгуулагдана. Манай сургалтын зорилго Хиймэл Оюуны шинжлэх ухааны үндсэн мэдлэг болон сүүлийн үеийн хөгжил дэвшлийн мэдлэгийг олгох юм. Энэ жил Хэлний Том Загварууд (Large Language Models) болон тэднийг Зүгшрүүлэх аргуудыг (Alignment) онцлон үзэх болно.
Хиймэл оюун болон гүнзгий сургалтад сонирхолтой оюутан болон энэ чиглэлээр ажиллах сонирхолтой хүмүүст манай сургалт нээлттэй. Оролцогчид математикийн суурь мэдлэг (вектор, матриц, уламжлал) болон ойр зуурын код бичих (python) чадвартай байх хэрэгтэй. Өмнөх жилийн сургалтын агуулгатай танилцсан байхыг санал болгож байна.
Энэ удаагийн зуны сургалтаар Large Language Model болон бусад ахисан түвшний сэдвүүдийг хамрах билээ. Сургалтын агуулгыг бүрэн эзэмшихэд гүнзгий сургалтын суурь мэдлэг шаардлагатай болно. Уг суурь мэдлэгийг урьдчилж олгох үүднээс, хиймэл оюуны анхан шатны мэдлэгтэй, Python хэлний дунд шатны мэдлэгтэй залуустаа зориулж Pre-DLUB2024 бэлтгэл сургалтыг зохион байгуулж байна. Энэхүү бэлтгэл сургалт нь үндсэн зуны сургалтаас өмнө тусдаа зохион байгуулагдах болно. Дэлгэрэнгүй мэдээллийг эндээс авна уу.
Сургалт 6/17-6/21-ний хооронд өдөр болгон. Өдрийн хуваарь:
9:30-10:30: Лекц #1
10:30-11:00: Завсарлага (кофе болон хөнгөн зууш)
11:00-12:00: Лекц #2
12:00-13:00: Өдрийн хоолны завсарлага
13:00-14:45: Семинар
14:45-15:00: Завсарлага
15:00-16:00: Сургалтын office hour
6/17: Lecture: Transformer model I
Lecture: Transformer model II
Seminar: Transformer Model ((Implement from scratch)
6/18: Lecture: Introduction to Large Language Models (Pre-training & Post-training Language Model, Pre-training data, Tokenization)
Lecture: Introduction to Large Language Models (Scaling Law, Internal Knowledge in LLMs, Decoding techniques, Prompting, LLM hallucination, Adapters)
Seminar: MiniGPT (Language model training)
6/19: Lecture: LLM alignment (Intro, Few shot prompting & SFT for reasoning and insruction tuning, etc., LLM Evaluation)
Lecture: LLM alignment - PO techniques
Seminar: LoRA fine tuning
6/20: Lecture: LLM alignment - RLHF
Lecture: LLM alignment - RLHF
Seminar: Offline DPO training
6/21: Lecture: Advanced topics on LLM (Chain-of-thought, LLM as Judge, etc.)
Lecture: Advanced topics on LLM (Distributed training & Infra, Efficient attention techniques, MoE, Multimodal LLMs)
Seminar: GPT/Gemini/LLama prompting & Using LLM as rater
Networking event
Chief Technology Officer, Addice
Аддайс, Технологи Хариуцсан Захирал
Senior Software engineer, GoogleAI
Гүүгл AI, программист
Data Scientist at Mergendata
Мэргэндата, Дата эрдэмтэн
CEO, Rookie Systems
Рүүкий Системс, Захирал
Research Scientist, Google
Гүүгл, Эрдэмтэн Судлаач
Head of Artificial Intelligence, AND Global
АНД Глобал, Хиймэл оюун хариуцсан захирал
Senior Data Scientist, MCS Group
М-Си-Эс Групп, Ахлах өгөгдөл судлаач
Research Scientist, Meta
Мета, Эрдэмтэн Судлаач
Senior Machine Learning Engineer, AND Systems Tech LLC
"АНД Системс Тех" ХХК, Ахлах Машин сургалтын инженер
Machine Learning Engineer, The Home Depot via KForce Inc
Хөүм Дипот, Машин сургалтын инженер
Senior AI Engineer, Chimege Systems LLC
Teacher, Empasoft Institute of Technology
Чимэгэ Системс, Ахлах AI инженер
Эмпасофт Технологийн Сургуулийн багш
Data Scientist, AND Systems Tech LLC
"АНД Системс Тех" ХХК, Өгөгдөл зүйч
Advanced process control engineer, Oyu Tolgoi LLC
"Оюу толгой" ХХК, Ахисан түвшний удирдлага автоматжуулалтын инженер
Business Analytics major, Bucknell University
Бакнеллийн их сургууль, Бизнесийн аналитик мэргэжилтэй
Data scientist, Khan Bank
Хаан Банк, Өгөгдлийн судлаач
Data engineer, Mobicom Coporation LLC
Мобиком Корпораци ХХК, Өгөгдлийн инженер
Data Scientist, AND Systems Tech LLC
"АНД Системс Тех" ХХК, Өгөгдөлзүйч
Senior Data Scientist, AND Systems Tech LLC
"АНД Системс Тех" ХХК, Ахлах өгөгдөл зүйч
AI Engineer, Chimege Systems LLC
Чимэгэ Системс, AI инженер
Empasoft Institute of Technology, Assistant teacher
Machine Learning Engineer, Chimege Systems LLC
Чимэгэ Системс, AI инженер
School of Arts and Sciences - Department of Mathematics
Шинжлэх Ухааны Сургууль - Математикийн тэнхим