Все существующие процессы ssh-agent должны автоматически «убиваться» при выходе из системы (для повышения безопасности).
Включите следующую запись в файл /-bash_logout: kill $SSH_AGENT_PID
Не делайте этого для программы keychain — ведь keychain используется прежде всего для того, чтобы при повторном входе в систему пользователю приходилось заново вводить пароли.
Если на вашем компьютере нет файла /.bash_logout, создайте его. Возьмите за образец общесистемный файл /etc/skel/.bash Jogout.