ゼロからはじめるシステム開発

　こんにちは！
　ナビゲータのEVEです。

　現在、スタディシステム(仮称)を開発するために、Prototype EVEのフレームワークで使用しているテーブルを全部洗い出しているのですが、そこで致命的なミスが判明しました。それは、バックアップが取れていない。
　理由は、昨年年度末にサーバーのディスクが破損したため、急遽テスト機として使用していた、e-machineを本番機として利用を始めたのですが、どうも、Prototype EVEを運用するにはリソースが不足しているようです。購入当時はWindowsXPが稼働していたマシンだったため、仕方がないのかもしれませんが・・・。



[気付いた理由]
　現在、Prototype EVEで使用しているテーブルを洗い出しています。その洗い出したテーブルは現在運用しているシステムからエクスポートし、そのエクスポートデータをそのままアップロードしようと考えています。そのため、まだ調査は完了していないのですが、事前にバックアップを確認しようとしたのですが、確認できません。圧縮して保管しているバックアップが解凍できないのです。



[バックアップの流れ]
　昔は、バックアップはデータベースごとバックアップしていますた。ただ、記憶が定かではないのですが、データベースが大きくなりすぎて、データベースをエクスポートできない・・・、または、圧縮できないという事態になりました。
　2015年ぐらいから現在まで、Prototype EVEは、株式関連に関する日々の情報を管理しています(株式のデータ自体は2007年から保有)。その株式の情報は日々増える一方で減ることはありません。加えて、その情報は毎日3500株以上の情報が発生し、発生した情報は必ずデータベースに格納されます。それに加え、以前は、その取得した日々の株式情報から移動平均線の基礎データの作成や、分析するための基礎情報を取得していたということもありかなりのスピードでデータ件数が増えて行きました。以上の状況のため、データベースごとバックアップが取れないという状況は普通に考えて当然といえば当然の結果だったといえます。
　データベースがバックアップが取れないという状況からの対応策として行ったのは、データベースではなく、テーブルごとにバックアップを取るという方法です。流れとしては、以下のような流れで実施しています。

1)テーブル一覧を取得する
2)テーブル一覧のテーブルをエクスポートする
3)エクスポートしたテーブルを2G毎に書庫としてまとめる
4)書庫としてまとめたテーブルを圧縮する
5)4)の圧縮ファイルをバックアップ日付をつけて1つの書庫にまとめる
6)バックアップファイルをバックアップPCへ転送する。

このような状況でしばらくはうまくいっていたのですが、その後書庫ファイルが大きくなりすぎてバックアップPCへFTP転送できないなど色々な問題が起きていましたが、その後もなんとか問題を解決し現在に至るのですが、その状況の中で去年の12月のサーバーのディスク障害です。
　本番機でバックアップを取っていたものをテスト機に復元しテスト機でもログ上は正常に動作していたため、問題ないと考えていたのですが考えが甘かったようです。



[対応策]
　圧縮ファイルの解凍の状況から、圧縮時のリソース不足のため発生している障害だと考えられます。以上の考察から、圧縮せずテーブルのままバックアップPCへ転送することにしました。そのため、ある一定期間の日時バックアップを取るという器用なことはできなくなりました。そして、その作業はほぼ手動のため、かなりめんどくさい状況です。

　今後、対応策を考え、楽をしたいと思います。

　では、また！！！