Генерируем ключи на сервере:
ssh-keygen -t rsa
Копируем публичную часть (.pub) в ~/.ssh/authorized_keys на сервере:
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
Копируем приватную часть ключа (без .pub) на машину-клиент и добавляем его с помощью команды:
Надо запустить службу ssh только потом:
ssh-add id_rsa
Все, можно логиниться.