こんにちは！
ナビゲータのEVEです。
今日もハプニングが1つ・・・。
昨日までの作業、本のPDF化作業において、本のカバーで大きくScanSnap IX1300で読み取れないモノがありました。それについては、EPSONのプリンターに装備されている、スキャナーで読み取ろうとしたのですが、スキャナーのアプリケーションが立ち上がってこない？？？スキャン自体はEPSONプリンターから実行できるのですが、読み取る範囲が指定できない。
 | 価格:31300円 |
そのため、いつも通り、インターネットで同様の問題を抱えており解決されている記事を検索したところ、ドライバーを削除してから実行すると、うまくいくといった記事を見つけました。信じやすい私としては、その記事どうりにドライバーを削除して実行したのですがうまくいかず・・・。やるならとことんやろうということで、ドライバーと一緒にインストールしたすべてのアプリケーションを削除してやってみましたがうまくいきません。もうここで、1時間以上たっているので、あきらめて開発に入れば良かったのですが、気になるのですよね・・・。このようなことって・・・。ついついドツボにはまりつつ調べてしまいました。その結果分かったこと・・・。管理者権限で実行しないとダメになったようです・・・。だめになったようというのは、以前はクリックすれば起動したためです。ただ、これEPSONのせいではなく、多分、Windowsのセキュリティ仕様が変わったせいだと思われます。Windowsのせいであるかどうか分からんけれど・・・。ただ、予想が当たっているなら、エラーメッセージぐらい表示してほしいですよね？？？
この情報インターネットを探してもなく、今現在困っている人がいる可能性があるので、その人たちのために以下にまとめます。ちなみに私が使用しているのは、EP-881AWです。
 | エプソン プリンター A4 インクジェット 複合機 カラリオ EP-881AW ホワイト(白) 価格:64800円 |
❶スタートメニューから、「Epson Scan2」というアプリケーションを表示しマウスオーバー
❷右クリックし、メニューを表示
❸[管理者として実効]を選択
❹[このアプリがデバイスに変更することを許可しますか？]という問いに対して[はい]を選択
以上で起動してきます。もしお困りの人がいましたら、管理者権限で実行することを試してください。
[システム開発]
かなりの時間がかかりましたが、以上の調査が終わって、早速Prototype EVEのディレクトリを変更することにより動作するかどうか、ちょっとですが、動かしてみました。管理システムには、ログインできました。多分、データベース上のディレクトリ情報を変更して、その変更した情報通り、各プログラムを移動したから問題なく動くと思います。
ということで、明日以降からバッチ処理を製造していきますが、まずは、従来のバッチ処理の中身を見ていきましょう。
[従来のバッチ処理]
従来のバッチ処理は、クローニング、データー抽出を1つのプログラムで実行していました。というのは、このクローニング処理は、株式の情報だけを抽出するのが目的だったため、汎用性がなかったのです。
[次期バッチ処理]
次期バッチ処理は、いろいろなページをクローニング後、データ抽出を実行する流れで製造しようと考えています。これにより、汎用的にシステムを利用することが可能になります。
以上の作りは、現在はどんな作りになっているのか不明ですが、2000年初頭のGoogleのクローニング処理と類似の処理(『Googleを支える技術』参照)になります。ただ、Googleで採用しているインデックス作成処理をEVEシステムでは実現するのは難しそうです。先にクローニング処理、データ抽出処理を製造しながら仕様の検討を重ねていきたいと考えています。
 | 【中古】 Googleを支える技術 巨大システムの内側の世界 WEB＋DB PRESS plus／西田圭介【著】 価格:220円 |
フローチャートで表現すると、右記図のようになります。
❶Yahooからひたすらクローニングするプログラム、クローニング処理(仮称)で当該HTMLをダウンロードし、クローニングしたHTMLを「クローニング情報蓄積テーブル(仮称)」へ登録します。
次に、❷において、ダウンロードしたHTMLから当該項目を、抽出処理(仮称)で抽出し、抽出結果管理テーブル(仮称)に登録します。
そして最後に検索することを容易にするため、❸のインデックス作成処理(仮称)でインデックスを付与し、インデックス管理テーブル(仮称)へ登録します。
以前、PHP5でYahooのクローニング処理ができなくなったことを話しましたが、その後PHP8でクローニングの可否についてテストプログラムを作りできることは確認しています。そして、それ以降は、Prototype EVEでのノウハウがあるのでそんなに苦労することはないかなって思っています。
[あとがき]
『Googleを支える技術』も2000年初めの情報で、もっと素晴らしい技術でバージョンアップしていることが考えられます。ただ、今回のEVEシステムを開発するコンセプトとこの流れがマッチするので、この方法を採用することにしました。なお、製造途中でもっといい方法がありましたら、変更します。
こんな感じで、現在開発を進めています。
では、また！！！
