LLM calculator

Калькулятор для оцінки потенційного розміру LLM, а також мінімального необхідного обсягу RAM (оперативної пам'яті) для запуску цієї моделі.

Задаючи кількість параметрів моделі, наприклад, 3 млрд для таких моделей, як Gemma3:4b, та кількість бітів на один параметр, наприклад, 2, 4, 6 або 8 бітів для квантованих моделей та 16 або 32 біти для неквантованих, розраховується приблизний обсяг пам'яті на диску, необхідний для встановлення моделі (без урахування розміру середовища виконання (Ollama, LM Studio тощо)). Калькулятор має ввід додаткового коефіцієнта "С" для оцінки додаткового розміру файлу моделі, необхідного для внутрішніх даних. Калькулятор також не оцінює необхідний обсяг оперативної пам'яті у випадку мультимодальних моделей, для яких характерним є завантаження лише частини параметрів у RAM.