アフィリエイト広告を利用しています

2018年09月18日

クローラー作成

「横断検索サイト」という言葉を知り、

クローラー作成にチャレンジしてみた。

手始めにWeb上のページから画像ファイルだけを抽出してみた。

その結果を表示するのは問題があるので、

結果画面のHTMLを掲載する。

crawler.png

最初はうまく画像を抽出できなかったが

XPathについて調べて、

何となくだが理解したら、

あとは割とスムーズに進んだ。

初めて作成したクローラーの

ソースを公開すると良いのだが、

お粗末なので、今回は見送り。


情報を抽出したいページをいくつか決め、

それらのページ専用に作成すれば、

欲しい情報を一度に表示できるので便利。

ビジネスに使えそう。









posted by db-engineer at 00:00 | Comment(0) | 日々のこと

この記事へのコメント
コメントを書く

お名前:

メールアドレス:


ホームページアドレス:

コメント:

※ブログオーナーが承認したコメントのみ表示されます。

検索
最新記事
カテゴリーアーカイブ
プロフィール
db-engineerさんの画像
db-engineer
プロフィール
タグクラウド