アフィリエイト広告を利用しています
検索
<< 2024年04月 >>
  1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30        
最新記事
タグクラウド
カテゴリーアーカイブ
ファン
最新コメント
プロフィール
ゼロから始めるシステム開発さんの画像
ゼロから始めるシステム開発
 こんにちは!ナビゲータのEVEです。各種研究室を用意し、次期EVEシステムを製造しようと日々頑張っています。現在一番力を入れているのが、資金調達です。このブログもその一環ですので、ご協力いただければ嬉しいです。
プロフィール

広告

posted by fanblog

2023年12月16日

クローニング処理 〜システム開発研究室〜


 こんにちは!
 ナビゲータのEVEです。
Google.png
 朝起きてボケボケだったので、頭の回転を元に戻すため、Studyingスマート問題を解き、ビデオを講習を見てからこのブログを付けています。土、日はプログラム開発を行うといっていましたが、まだ製造に入っていません。このブログを書き、食事を終えてから開発に入ろうと思っています。
 そんなプログラム開発ですが、Studyingの問題を解きながらひらめいたことがあります。
 それは、クローニングシステムを汎用的に製造できないか?

[クローニングシステムを汎用的に製造できないか?]
 Prototype EVEでは、クローニングシステムは、単体で当該サイトをターゲットに専用に製造していました。ようは、サイトのページとクローニングプログラムが1対1の関係にあったのです。それを、サイトが多に対して1つのプログラムでクローニングできないかと言った考えです。

[やっぱり難しい?]
 Studyingを作っている最中はぼんやりと考えていたので、なんかできそうなんて思っていましたが、今実際にそのプログラム構成を考えるとかなり難しいことが分かります。それは、目的によりいろいろな種類があるからです。その種類について、列記してみましょう!

@Webページの当該ページから特定の情報を取得する
AWebページの当該ページから特定の情報を複数取得する。
BWebページの当該ページのリンクタグを抽出し、抽出した情報から情報を再抽出する

以上は、Webページ1ページのみなのですが、Yahooクローニング処理なんかだと、Aの情報を複数ページから抽出する必要があります。それに加えて、要望によっては、ABの情報を抽出したいという場合もあるかもしれません。

[できそう?]
 ただ、逆に考えると、パターンは3パターンしかありません。っていうか現在はと言うことですが・・・。そのパターン毎にプログラムを汎用的に製造し、複数のサイトに対応出来ないでしょうか?それと、抽出するロジックについては@AB共通で利用できるかもしれません。もし、3パターンが10パターンになるとしても、それだけ対応できるサイトが豊富になると言うことです。もしかしたら、悪い考えではないかもしれません。

[あとがき]
 作ってみないと分かりませんが、私の場合、イメージできるシステムは、今までは100%実現できています。経験則で言うと、多分以上のシステムは実現できると思います。ただ、時間がどのくらいかかるかです・・・。使用目的と誰に使ってもらうかを明確にして、プロジェクトを進めていきたいと思います。
 なお、もし、こんな目的に使用したい、こんなように作って欲しいなどの要望がありましたら、ご意見として下さい。自分が現在イメージしているモノの開発線上にのってくるご意見なら取り入れていきたいと思います。

 話は変わりますが、今まで社会をシステムとして見立てて、社会のことなどを「ゼロからはじめるシステム開発」または、中小企業診断士で勉強した内容を一部でも利用できるモノは、「システムエンジニアが目指す中小企業診断士」に書いてきましたが、今後、システム、中小企業診断士試験以外の記事は、「システムエンジニアから見た社会」にまとめていきます。なお、今まで書いたブログも順次同ブログへ移動する予定です。
 理由は、後で技術的な内容、勉強した内容を再確認するに際し、見づらくなってきたためです。

 では、また!

■システムエンジニアから見た社会
https://fanblogs.jp/socialsystem/

この記事へのコメント
コメントを書く

お名前:

メールアドレス:


ホームページアドレス:

コメント:

※ブログオーナーが承認したコメントのみ表示されます。

この記事へのトラックバックURL
https://fanblogs.jp/tb/12348682
※ブログオーナーが承認したトラックバックのみ表示されます。

この記事へのトラックバック
×

この広告は30日以上新しい記事の更新がないブログに表示されております。