今度は本命のＵｂｕｎｔｕに入れ替えます。
カスタムＯＳインストールガイドに詳しく書いてあるので、作業自体は簡単です。こちらは多少時間がかかりますが、それでもＣＤＲＯＭから古いスペックのローカルマシンにインストールするより早いかもしれません。
で、カスタムインストールが終わったあと、再起動するだけではＣＵＩモードになっています。ここにいろいろとやっていきます。
が、まずは何はともあれ、セキュリティです。まず、ログイン用にOpenSSH Serverをインストールします。
$ sudo tasksel
で「OpenSSH server」にチェックを入れて、「OK」でEnterを押します。インストールはあっという間に終わります。
早速、/etc/sshd/sshd_config を編集して、ポート番号をデフォルトの２２からｘｘｘｘ（もちろん内緒です）に変更します。最初の方にある「Port 22」の部分を修正します。修正後、再読み込みをさせたかったのですが、わからなかったのでリブートしました。（「$ sudo /etc/init.d/ssh reload」でできるみたい・・・）
sshでログインしなおして、ufwで他のポートを塞ぎます。
$ sudo ufw allow xxxx（sshのポート）
$ sudo ufw default deny
$ sudo ufw enable
とします。最後に「実行するとsshでログインできなくなるかも」みたいなメッセージが出ますが実行します。その後すぐに、別のターミナルからsshでログインできることを確認します。（この状態でもVPSコントロールパネルや仮想シリアルコンソールは使えるようなので大丈夫ですけどね）
次に、公開鍵認証の設定をします。鍵の生成にはTeraTerm Proを使いました。「設定」→「SSH鍵生成」で、RSA/DSAの公開鍵ペアを生成します。作成したら、id_dsa.pub と id_rsa.pub の公開鍵を連結してサーバ側（さくらのVPS側のUbuntu）の ~/.ssh/authorized_keys に転送し、
$ chmod 700 ~/.ssh
$ chmod 600 ~/.ssh/authorized_keys
として他のユーザー（といっても正常なら誰もいませんが・・・）がアクセスできないようにしておきます。
※まだよくわかっていないので、調べなければならないのですが、鍵はDSAだけで良さそうな感じがします。
で、TeraTermで ホスト名とポートを指定してSSH2で接続した際に、「RSA/DSA鍵を使う」で鍵ファイルを指定し、ユーザー名／パスフレーズ（秘密鍵のパスフレーズ）を入力するとログインすることができました。Windowsの適当な場所に秘密鍵をコピーし、TeraTermで「設定」→「SSH認証」でユーザ名と秘密鍵を指定しておきます。
ここまで確認できたら、/etc/ssh/sshｄ_config を改めて編集して、
# Change to no to disable tunnelled clear text passwords
#PasswordAuthentication yes
PasswordAuthentication no
として、パスワード認証を禁止します。
Ubuntuからもログインできるように、
$ ssh-keygen -t dsa
でパスフレーズを入力して鍵ペアを生成します。生成された ~/.ssh/id_dsa.pub をホスト側の /.ssh/authorized_keys に追加してやると、
$ ssh -p ポート番号 ホスト名
でアクセスできるようになりました。