アフィリエイト広告を利用しています
ファン
最新記事
写真ギャラリー
カテゴリーアーカイブ
日別アーカイブ
<< 2016年06月 >>
      1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30    

広告

posted by fanblog

2015年11月27日

LogStorage(Apacheログ取り込み)

前回の取り込みエラーを
受けて、原因わからず、とりあえず、Apacheログを使って、
下記のことはやりたかったため、強引に検証してみる。

(やりたいこと)

・Apache各項目に意味づけをした上でのログ取込定義
(※意味づけとは区切り文字(デリミタ)で区切って、各項目に意味づけをすることの意)
・FTPでの取り込み⇒検索⇒集計

(やってみたこと)

まず、ApacheのログをLogStorageに取り込みやすいよう
(意味づけの設定を簡単にするため)に、シンプルなログフォーマットに変換し、
変換後のフォーマットで、LogStorageに取り込んでみる。
その後、検索条件や集計条件を試してみる。


Apacheのログは、こんな感じで、フォーマット変換する。

・オリジナル
192.168.3.11 - - [15/Nov/2015:22:04:17 +0900] "GET /sec/ HTTP/1.1" 200 4054 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome
/42.0.2311.135 Safari/537.36 Edge/12.10240" (改行)


・変換後
2015/11/15,22:04:17,192.168.3.11,-,-,GET,/sec/,200,4054,-,Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/42.0.2311.135 Safari/5
37.36 Edge/12.10240(改行)


・手習いで、作成したフォーマット変換スクリプト(perl on Linux)
https://github.com/shi4669/LogStorage/blob/master/ApacheConv.pl

検証が目的なので、やり方は問わずで、Try & Errorしてやってみたこと。
@ Apacheログ取込定義

https://drive.google.com/file/d/0B2yjG8delT8WTzhEdXRVNWVqU1k/view?usp=sharing

A Apacheログ取込(FTP)

https://drive.google.com/file/d/0B2yjG8delT8WcFJTa1dWNjI5b3M/view?usp=sharing

B 検索条件カラム設定編

https://drive.google.com/file/d/0B2yjG8delT8WbUdMOXlhYWN5SkU/view?usp=sharing

C 集計設定

https://drive.google.com/file/d/0B2yjG8delT8WcTUwTmVFRDltUW8/view?usp=sharing


この記事へのコメント
コメントを書く

お名前:

メールアドレス:


ホームページアドレス:

コメント:

※ブログオーナーが承認したコメントのみ表示されます。

この記事へのトラックバックURL
https://fanblogs.jp/tb/4460295
※ブログオーナーが承認したトラックバックのみ表示されます。

この記事へのトラックバック
検索
最新コメント
タグクラウド
プロフィール
さんの画像

アラフォー世代です。コンピュータ関連を中心に、戯言をグダグダと書き綴ってます。
プロフィール
×

この広告は30日以上新しい記事の更新がないブログに表示されております。