大量画像の一括リサイズ

大量のデジカメ写真があるのですが、あまりに量が多すぎて見るのもなかなか大変です。なんせ、開くのに時間がかかってしまいますので。

そこで、画像を一括縮小してやろうということで、調べてみました。

やりたいのは、ディレクトリを切ってある場所に、s_XXXXXX.jpg というファイル名で保存してあるものとします。これを縮小し、同じディレクトリに t_XXXXXX.jpg というファイル名で縮小画像を生成します。

結論から書くと、こんなワンライナーになりました。

for文でファイル名一覧を取得し、ループ内で一旦 t_XXXXXX のファイル名としてコピー(元のファイルを残さないなら mv でよい)します。その後、mogrify コマンドで 640×640 に収まるようにサイズ変換し、JPEG画像品質を60に指定します。
ファイル名の置換はシェル変数の置換 ${f//s_/t_} で行っています。

解析ツールいろいろ

バッファオーバーフローを突く例で紹介したページで使われていたツールは何だろう、という疑問からスタート。ページの内容からコードの分岐状況を解析ツールがあるのではないかと思ったので。
で、件のページの「TOOLS」には、IDA Proという文字が。

そこから調べたことをメモメモ。

  • リバースエンジニアリングのスタンダード「IDA Pro」
    @ITの記事で大体雰囲気がわかった
  • Hex-Rays
    本家本元はここのようだ。Ver5.0は条件付きで無償で使えそう。
  • BackTrack5収録ツールリスト
    BackTrackには収録はされてないが、インストーラを起動するコマンドは入っているようだ。

ということで試してみるにはBackTrackをインストールして、さらにIDA Pro Freeをインストールしてみるのが良さげな感じ。

他にもイメージファイルの中からファイルシステムのイメージなんかを抜き出すBinwalkなんかも役に立つ感じがする。

バッファオーバーフローを突く例

組み込みシステム(この例はルータ)に対するバッファオーバーフローを突く例を見かけたので紹介します。

/DEV/TTYS0というサイトで、tenda製の-Link社W302Rというモバイルルータを突く例がブログの記事になっています。

ファームウェアにはGoAhead社のWebServerが組み込まれているんだけど、かなりカスタマイズされていて、HTTPの受信の前に別スレッドで違う処理をしている。で、その別処理の中では、

・UDP7329番ポートを作成して受信を待つ
・受信したパケットを解析して先頭のマジックワードを確認し、その後の内容に応じた処理をする

ということがされていて、その中に『後続の文字列をコマンドとしてルート権限で実行して送り返してくる』ものがあるということだそうです。(実際、ncコマンドでルートシェルを起動したスクリーンキャプチャも示されています。)

パケット受信はLAN側だけで行われているので、WAN側からの脆弱性にはならないようですが、WPSがブルートフォースアタックに対する処置なしに許可されているので、WPSのクラッキングが可能で、それ故、所有者の気づかないところで外部からルート権限でコマンド実行することも可能になっている、ということみたいです。

まあ、障害解析なんかで使うために用意されているものなのでしょうが、ここまで解析する人もいるので要注意、ってことでしょうねぇ。

スノボ+電子工作?

たまたま見かけたYouTubeビデオ。スノーボードの滑走面にシートヒーターを内蔵してバッテリで加熱。滑走性を高めてよりスピードが出るようにしよう、ということらしい。

滑走前に通電して温度を測ると華氏128度=摂氏53℃くらいでワックスが融ける温度・・・ということみたいですなぁ・・。
他にもいろんなスノーボードを作って楽しそう(^^;

メーカーの日本語のFacebookのページがありました・・・
https://ja-jp.facebook.com/SignalSnowboardsJAPAN

大量のファイル名操作

Androidの本体側も不安でしたので、USBマスストレージとして認識する状態でディスクイメージを吸い上げ、ファイル抽出したところ、JPEGだけで1万個近いファイルがでてきました。(細々としたファイルも含めると10万個くらい?)

PhotoRecが80近いディレクトリを作ってしまったので、一括して処理しないと面倒です。なので、JPEGのみを集めてくることにしました。

#どうでもいいけど、本体もFATで処理できてしまった・・・。FATフォーマットなの?

冒頭のファイル抽出はSDカードの場合と何も変わらないので説明は省略します。
最後の8行でファイルを6桁の連番を付けながら、各ディレクトリに集めてきます。この部分はこちらのサイトを参考にさせていただきました。

SDカードから消えた写真を復活

うちの嫁のAndroid機で撮影してあったMicroSDカード上の写真がすべて消失するという事件が起きました。
LINEでありえない人(この人がLINEなんぞやるわけない・・・実際にアリバイの証人まで居たりする)からメッセージが届いた後、しばらくして消失に気づいた、という状況です。どうも、かなりおかしい状況のような気がします。なんとなくバックドアとかルートキットの匂いがします。LINE自体が問題なのか、LINEを狙ったアプリをインストールしてしまっているのかはわかりませんが。

<追伸>
FATフォーマットなので、FATテーブルの書き込みに失敗しただけなのかもしれません。ただ、書き込み失敗でSDカード丸ごと初期化というのも不思議な気がしますが・・・。

それはさておき、とにかく画像ファイルの救出を試みましたので、その記録です。

1.イメージファイルの吸い出し

なにはともあれ、現在の状態を保存します。この手の作業ではオリジナルには手を加えないのが鉄則です。なので、SystemRescueCDで起動したPCにて、

として、ディスクイメージを吸い出します。ここで、/dev/sdxはイメージファイル保存用のHDDのUSBハードディスク、/dev/sdyが救出対象となるSDカードです。吸い出したらSDカードは大切に保管し、さらに、

として、イメージファイルのコピーを作成します。このコピーに対して色々トライしていきます。
(実際には、さらにこのコピーをLinuxMint13マシンのローカルHDDにコピーしておきます)

2.ファイルの観察

として、/media/FATにイメージファイルをマウントして観察します。どうやら、SDカード上のファイルが全消去されたか、論理フォーマットされてしまっているかのようにファイルが何もなくなっていました。SDカードはFATフォーマットなのでアクセス権が及ばないはず。SDカードへのアクセスを許可したアプリからは、おそらくどんなアプリからも全消去とか不正な参照・書き換えなどが可能なのではないかという気がします。

3.ツールのインストール

途中、試行錯誤と紆余曲折があったのですが、ここでは端折って、最終的な救出方法のみ記載します。ツールとしてはPhotoRecとTestDiskを使用し、環境としてはLinuxMint13 x64で行いました。

まず、SynapticでTestDiskを検索してインストールします。さらに、PhotoRecをこちらからダウンロードしました。PhotoRecにもTestDiskが同梱されているようですが、先にTestDiskはインストールしてしまっています。(なので、実際どちらが動作したかわかりません)

PhotoRecは展開するとスタティックリンクされた実行ファイルが出てくるので、このディレクトリを丸ごと ~/TEMPに移動し、イメージファイル(Copy-Of-SDCARD.IMG)も~/TEMPの下にコピーします。さらに、救出したファイルを保存するディレクトリを作成しておきます。

4.ファイル救出実行

カレントディレクトリを ~/TEMPに移動してから、

として起動します。下の方に「rootじゃないといくつかのディスクが見えないよ」という表示が出ますが、イメージファイルに対する操作なので問題ありません。
そのまま「Proceed」を選択したまま「Enter」を押します。

次にどのパーティションを対象にするか聞いてきますが、そのままで問題ありません。「Search」を選択したまま「Enter」を押します。

次にファイルシステムを聞いてきますが、FATがすでに選択されているのでそのままで問題ありません。「Other」を選択したまま「Enter」を押します。

次に消去されたファイルのみをサーチするのかどうか聞いてきますが、今回はSDカード内のファイルをすべてサルベージしたいので、「Whole」を選択して「Enter」を押します。

次にサルベージしたファイルの保存先を聞いてくるので、適当な箇所を選んで「c」を押します。

するとサルベージが始まります。(適当なサイズ毎にサブディレクトリが切られるようです)

しばらくすると終了します。今回は4500個のファイルが救出されました。

5.ファイル名の修正

出来上がったファイルはファイル名がグチャグチャになっています。幸い、EXIF情報は生きている(というか生きてないとJPEGファイルとして成り立ちませんが・・・)ようですので、EXIFに基づいて撮影日時に基づいたファイル名に修正します。
ファイル名が修正できれば、写真のグループ分けも容易になるはずです。

各サブディレクトリにて、

$ jhead -n%Y%m%d-%H%M%S f*.jpg

として、ファイル名を修正していきます。fで始まるファイル名は大きな写真のようですので、まず修正されたファイルを集めます。その後、各サブディレクトリにて改めて

$ jhead -n%y%m%d-%H%M%S *.jpg

として残りのファイルのファイル名を修正してファイルを回収します。

完全にはファイル名が修正できないので、適当に手作業を加えながら、画像回収を完了させました。

WindowsXP、Windows8をWindows8.1にバージョンアップ

Linuxばかり使っていて、すっかり存在を忘れていたデスクトップPCが3台(^^;あるのですが、それぞれWindowsXP Pro(32bit)、Windows7 Pro(64bit)、Windows 8 Pro(XPからバージョンアップしたので32bit)が入っています。

WindowsXPはいわゆるオンラインバンキングやオンライントレードのための専用機として用意(でも今年入ってからは全然使ってない)していてネットワークもこいつだけは共有などはかけずに他とは遮断しています。で、WindowsXPのサポート期限も切れてしまったので、このGWに購入してあったWindows8にバージョンアップしました。手順は別に驚くようなことはなく、ひたすら時間がかかるだけです。さらに、先にWindows8にバージョンアップしてあったPC(こちらは元々はWindows版開発ツールを動かすための環境)と併せてWindows8.1にバージョンアップしてみました。

Windows8.1にバージョンアップをかける前にひたすら更新を適用して、最後にパーティション領域を変更してC:のサイズを100GB程度に縮小しました。この状態でイメージのバックアップを取っておきます。こうすれば、今は1TBや500GBの3.5インチHDDでの運用ですが、HDD故障時などに120GB程度のSSDに換装が容易になるはず・・・と思っています。(ライセンス再認証などで困る可能性が少なくなるはず・・・と思うのですがどうなのでしょう?)

バックアップが済んだら、アップデート自体はストアアプリの中に最初にアップデートが出てくるのでアップデートするだけなのですが、ここで困ったことがいくつか。

  1. アプリやドライバの自動インストール、自動更新
    WindowsUpdateは自動でもいいと思うのですが、ドライバやアプリが自動というのはどうも馴染めません。気がついたら毒を盛られている、なんてことになりそうで。
    なので、これらはオフすることにします。
  2. Microsoftやその他のサービスと情報を共有する
    これも万が一、途中経路をクラックされたりすると嫌な感じです。オンラインバンキング・トレード用のPCではオフします。
  3. Microsoftアカウントへのサインイン
    Windows8ではローカルアカウントかマイクロソフトアカウントかが選べたのですが、Windows8.1ではマイクロソフトアカウントを強制されそうな感じです。オンラインバンキング・トレード用のPCではクラウドでの共有なんてまっぴら御免です。(なにか事故があったら誰が責任を取ってくれるのでしょう?Microsoftは責任取ってくれないですよね?)
    ・・・が、調べてみると、このアップデート時にアカウントを使いつづける方法があるようです。
    また、インストール後にローカルアカウントに切り替える方法もあるようです。
    オンラインバンキング・トレード用のPCではアップデート時にローカルアカウントにしました。
    もう1台はとりあえずマイクロソフトアカウントにしてみました。

オンラインは便利なようで落とし穴もたくさんあるはずです。トレンドを追わなければならないMicrosoftの立場も理解はしますが、半ば騙してでもオンラインアカウントに切り替えさせよう、という姿勢はちょっと嫌ですねぇ。

インストールの過程で興味深いのはWindows8→ひたすらアップデート→8.1とアップデートしていく段階で要所要所でディスクのクリーンアップ(古いバージョンのWindowsなどの不要なシステムファイルの削除を含む)をしつつ進めていたのですが、ディスクの使用領域が減っていくことです。Windows8のインストール直後(もちろんクリーンアップ後)で25GBくらいだったのが、Windows8.1にバージョンアップした後では15GB以下に減少しています。

さて、それぞれ環境があたらしくなったところで、もうしばらく稼働してもらいましょう。

LinuxMint16をインストール

IdeaPad S10-2をとりあえずLinuxマシンとしても復活させるため、LMDEに代えてLinuxMint16をインストールしました。

  • MATE 32bitのISOイメージをUNetBootINを使ってUSBメモリに書き込んだ後、インストール。
    相変わらず言語パッケージのダウンロードにすごく時間がかかります。
  • 再起動
  • 画面が狭いので、xrandrを使った画面縮小スクリプトを導入。ターミナルから実行すると画面が縮小されて広く使えるようになる。本当はピクセルサイズなどは自動計算したいところだけど、横着者なのでファイルを複数用意してごまかす。1.25倍くらいがちょうどいい感じ。
  • ドライバマネージャを起動し、BCM4312 802.11b/g LP-PHYに対して「bcmwl-kernel-source」を選択して設定。アクセスポイントを登録する際にDNSサーバのアドレス(ウチの場合はゲートウェイアドレスでいいのだけど)も書いとかないとダメかも??
  • アップデートマネージャでひたすらアップデート。
  • 「$ sudo ufw enable」としてファイアウォールをイネーブルに。
  • 「設定」→「言語サポート」で不足しているモジュールをインストール
    (これがまた時間がかかる)
  • 「設定」→「ソフトウェアソース」でダウンロード元を jaist.ac.jp に変更。
  • Synapticで以下のパッケージ(と依存するもの)をインストール。jaist.ac.jpからでもかなり時間がかかる。
    • ibus-anthy
    • clamtk
    • chromium-browser
    • chkrootkit,rkhunter
  • もう一回、「設定」→「言語サポート」で不足しているモジュールをインストール
    キーボード入力に使うIMシステムを「iBus」に変更
  • 一回再起動
  • 右下のキーボードのアイコンを押して、「Anthy」に変更。テキストエディタを開いて全角半角キーで日本語入力ができることを確認。
  • 「$ sudo rkhunter –update」「$sudo rkhunter –propupd」を実行。
  • Google chrome ブラウザをインストール。
  • chromeとchromiumのランチャのプロパティを開いて、それぞれコマンドの %U の前に「–incognito」を追加。これで再起動(多分再ログイン)後からシークレットモードで常に開くようになる。

こんなもんかな。昔に比べてずいぶんと追加でインストールするものが減った感じ。

#結構、こちらの説明、参考になります。よくわからずに使ってる部分も多いので。感謝。

LMDEのインストール

忙しくてどうしようもない状況で、久しぶりの更新です。

程々に小さくメールやWebには十分なレベルということでIdeaPad S10-2を出張に持って行くのですが、電池がヘタって来て電池の持ちが悪くなって来たので互換バッテリを購入しました。稼働時間が回復してラッキーと思っていたら、今度は60GBのSSDにWindows8とLinuxMint13では空き容量が少なく感じたので、120GBのSSD(Crucial CT120M500SSD1)に置き換えてみました。

・・・・が、これがハマりました。Windows8の再インストールは問題なかったのですが、落ち着いたら起動時にブルーバックが発生するようになってしまいました。再起動すると問題なく動作するのですが。ブルーバック時のコードはGoogle先生に聞いてみると「途中でディスクが見えなくなる」場合に発生するもののようです。さらに、よく観察していると、Windows8でもLinuxMintでも稼働時間がかなり短くなっています。
これらのことから、消費電力が大きくて起動中に動作が不安定になっているのではないかと考えました。泣く泣く、60GBの元のSSDに戻すことにしました。(ちなみに、Crucial CT120M500SSD1はラベルに「5V 1.7A」の表記があり、確かに大食いのようです)

まず、Windows8環境を構築します。

  • WindowsXPをリペア
  • Windows8 Upgradeを再インストール
  • 縮小表示をするためにレジストリエディタで「Display1_DownScalingSupported」を探して値を「1」に変更。
  • 空き領域確保のため不要ファイルを削除
  • Windows8のディスクの管理でWindowsの領域を縮小してLinux用に空き領域を14GB確保
  • Kasperskyを再インストール
  • 何度か再起動してひたすらアップデート

次に、LinuxMint環境をインストールします。今回はLinux Mint Debian Edition(LMDE) 201403のMATE Edition 32bitをインストールすることにしました。理由はローリングリリースなので長期で使えそう・・・という理由です。

  • こちらからLMDE MATE 32bitをダウンロード
  • UNetBootINを使ってFATでフォーマットされた2GBのUSBメモリにブートUSBスティックを作成
  • 作成したUSBメモリでブートしてインストール。パーティションはルートパーティション12GB、スワップ2GBにしました。
  • こちらを参考に以下の作業を実施。
    • アップデートのために「システム管理」-「ソフトウェアソース」でミラーサイトとしてftp.jaist.ac.jpを選択
      これはLMDEではダメだと思う(パッケージの依存が解決できてないように思う)
    • アップデートマネージャでアップデートをインストール
    • 日本語入力環境を構築するため、im-configとかmozcとかibusとかインストール。
      下の方のキーボードのマークをクリックして日本語入力っぽいアイコンに変えると、全角半角キーで漢字入力ができるようになった。(よくわからん・・・)
  • 以下のアプリケーションをSynapticでインストール
    • clamtk – アンチウイルスソフト(clamav)のGUIフロントエンド
    • chromium、chromium-i10n
    • chkrootkit、rkhunter
      「$ sudo rkhunter –update」「$sudo rkhunter –propupd」は適当なところで実行する。

ここまできたところで、気づきました。

・・・・無線LANドライバがいない・・・。Debianはオープンソース純血主義なので、無線LANと相性が悪いのでした・・・。
(無線は各国の法規制を守るためにはソース公開が事実上できなかったりするので困るんですね。勝手に出力UPされたりオフバンドされても困るので。)

やっぱりその辺、妥協しているUbuntuベースの方が簡単だったりするんですよねー。LinuxMint17を待って入れ替えですかね。