sshでのログインユーザーを限定する
AllowUsers ユーザー名（複数設定はスペース区切り）
をsshd_configに追記する。

sshdの再起動も必要

http://www14.plala.or.jp/campus-note/vine_linux/server_ssh/ssh_filter.html