[MakaBooka]

ну поздравляю.
вообще лучше придерживаться некоторых схем работы, чтобы не страдать сильно таких случаях.
su + toor с паролем.
sudo + юзер в wheel с ключами (желательно несколько)
независимо от этого на удалённых серверах нужен ipkvm/ipmi/что-то ещё для возможности получения прямого доступа к консоли.