セキュリティの設定ができたので、デスクトップ環境をインストールします。VNCコンソール上でログインを行い、
$ sudo tasksel
として、タスク選択画面を表示させます。パッケージメニューから「Ubuntu desktop」を選択して「Ok」のところでEnterを押すと、インストールが始まります。インストールが完了したら、再起動させます。このとき、再起動後に表示されたグラフィカルログインではキー入力ができませんでしたが、VNCコンソールを再起動させたら入力できました。
表示がすべて英語なので、ロケールの変更をしていなかったのを思い出し、
sudo locale-gen ja_JP.UTF-8
sudo /usr/sbin/update-locale LANG=ja_JP.UTF-8
としてロケール変更しました。その後、再起動、ログインするとフォルダ名を日本語に変更するか聞いてきますので、変更させました。
「Administration」→「Language Support」とすると、「言語サポートがインストールされていないのでインストールするか？」と聞かれるので、インストールします。
インストール後、タブ２つ（言語とテキスト）についてそれぞれ日本語を選択します。IMEシステムはibusのままとします。
これで一旦ログアウトしてログインすると見慣れた日本語環境になっています。