LLM number 6

25 December, 2025

waktu yang sangat lama dari terakhir saya menuliskan diary tentang perkembangan pembelajaran LLM. karena terlalu banyak kesibukan dan kegiatan jadinya baru sempat belajar lagi. 

oke,,, kali ini kita akan menuliskan code tentang setting parameter. jadi pada LLM ini ternyata banyak jenis parameter, biasanya saya hanya membagi, hyperparameter, dan training parameters. ternyata ada beberapa jenis parameter, dan itu terlihat sangat betul.. berikut kodenya.

# architecture Pamarams

batch_size = 8

context= 512

embed_size = 384

n_layers = 7

n_heads = 6

BIAS = True

# hyperparameters

lr = 3e-4

dropout = 0.05

weight_decay = 0.01

grad_clip = 1.0

# training parameters

train_iters = 100000

eval_interval = 50

eval_iter = 10

compile = False

checkpoint_dir = 'models'

checkpoint_fn = 'latest.pt'

checkpoint_load_fn = 'latest.pt'

dtype = torch.bfloat16

# MODE

inference = False

# DEVICE

device = "cuda" if torch.cuda.is_available() else "cpu"

print("device you will use : ",device)

# logging

wandb_log = True

wandb_project = "llm1"

wandb_run_name = "llm-"+datetime.now().strftime("%Y_%m_%d_%H_%M_%S")

if wandb_log:

    import wandb

    wandb.init(project=wandb_project, name=wandb_run_name)

untuk pengujian wandb_log agak panjang sedikit teman-teman. harus log in atau registrasi terlebih dahulu ke Weights & Biases: The AI Developer Platform,
setelah daftar anda akan melihat API key seperti ini. 

Jika sudah, run program jika berhasil maka akan ada hasil seperti dibawah ini, jika tidak ulangi lagi langkah-langkah sebelumnya.

Jika sudah, run program jika berhasil maka akan ada hasil seperti dibawah ini, jika tidak ulangi lagi langkah-langkah sebelumnya.

wandb: Currently logged in as: muchamad-kurniawan (muchamad-kurniawan-institut-teknologi-adhi-tama-surabaya). Use `wandb login --relogin` to force relogin

device you will use :  cuda

Tracking run with wandb version 0.19.1

Run data is saved locally in /content/wandb/run-20250109_092659-jenuxq2j

Syncing run llm-2025_01_09_09_26_59 to Weights & Biases (docs)

View project at https://wandb.ai/muchamad-kurniawan-institut-teknologi-adhi-tama-surabaya/llm1

View run at https://wandb.ai/muchamad-kurniawan-institut-teknologi-adhi-tama-surabaya/llm1/runs/jenuxq2j