Андрей - нейросеть на базе PyTorch.
Информация:
Embedding (таблица весов): 89 × 64 = **5,696**
LSTM (слой 1): 4 × (64 × 256 + 256² + 256) = 4 × (16,384 + 65,536 + 256) = **328,704**
LSTM (слой 2): 4 × (256 × 256 + 256² + 256) = 4 × (65,536 + 65,536 + 256) = **525,312**
Fully Connected (выходной слой): 256 × 89 = **22,784** (плюс 89 смещений, если считать)
Нейросеть сделано с нуля и весит 3 мб. Параметров 0.88 млн
Из-за маленького обучения Андрей тупой, но будет улучшатся!
Иногда он молчит, а иногда несёт дичь по типу "меня меня да да". Это наверно эпох мало(30) или нейрон.