新規記事の投稿を行うことで、非表示にすることが可能です。
2015年12月24日
メールヘッダの解析の練習
前回の続き。
実際のメールヘッダを読む練習をしてみる。
下記は、xxxxxxxxxxxxxxx@live.jpあてに、Amazonからメールを受信したヘッダの抜粋。
Received: from KAWPR01MB0033.jpnprd01.prod.outlook.com (10.161.25.139) by
KAWPR01MB0035.jpnprd01.prod.outlook.com (10.161.25.141) with Microsoft SMTP
Server (TLS) id 15.1.361.13 via Mailbox Transport; Wed, 23 Dec 2015 02:07:36
+0000
Received: from OS1PR01CA0003.jpnprd01.prod.outlook.com (10.161.225.141) by
KAWPR01MB0033.jpnprd01.prod.outlook.com (10.161.25.139) with Microsoft SMTP
Server (TLS) id 15.1.361.13; Wed, 23 Dec 2015 02:07:36 +0000
Received: from OS2JPN01FT004.eop-JPN01.prod.protection.outlook.com
(2a01:111:f400:7e9c::202) by OS1PR01CA0003.outlook.office365.com
(2a01:111:e400:ac01::13) with Microsoft SMTP Server (TLS) id 15.1.361.13 via
Frontend Transport; Wed, 23 Dec 2015 02:07:36 +0000
Received: from BAY004-MC5F22.hotmail.com (10.152.184.52) by
OS2JPN01FT004.mail.protection.outlook.com (10.152.184.92) with Microsoft SMTP
Server (TLS) id 15.1.355.15 via Frontend Transport; Wed, 23 Dec 2015 02:07:34
+0000
Received: from a24-4.smtp-out.us-west-2.amazonses.com ([54.240.24.4]) by BAY004-MC5F22.hotmail.com over TLS secured channel with Microsoft SMTPSVC(7.5.7601.23143);
Tue, 22 Dec 2015 18:07:32 -0800
Date: Wed, 23 Dec 2015 02:07:31 +0000
From: "delivery-notification@amazon.co.jp"
To: =?ISO-2022-JP?B?GyRCRWc6aiEhOSxJVxsoQg==?=
Message-ID: <00000151cc97600d-d8ab1ac4-c480-4921-9272-4bebb540b19d-000000@us-west-2.amazonses.com>
Subject: =?ISO-2022-JP?B?GyRCMllKKiROPHVOTiRyM05HJyQ3JF4kNyQ/GyhC?=
@まず、FromフィールドとToフィールドをチェックする。
ここから、delivery-notification@amazon.co.jpから、
xxxxxxxxxxxxxxx@live.jp宛にメールが送られているのがわかる。
ただし、これらは、簡単に偽装可能なので、
信用度は低い情報を前提に覚えておく。
A次に、Message-ID:フィールドをチェックする。
00000151cc97600d-d8ab1ac4-c480-4921-9272-4bebb540b19d-000000@us-west-2.amazonses.comとなっているので、送信者はamazonを利用していることまでは
わかる。
これらも、簡単に偽装可能なので、
信用度は低い情報を前提に覚えておく。
B次に、Dateフィールドをチェックする。
「 Wed, 23 Dec 2015 02:07:31 +0000」となっているため、
日本(+0900)からではないことがわかる。
C最後に、Receivedフィールドをチェックする。
Receivedフィールドを読みにあたり、以下のことは覚えておく。
・「from A by B for C (AからBによってC宛に受信した)」
(Cは省略されることも多い)
・サーバを経由する毎に、上に追加されるため、一番下のReceivedフィールドが
送信者(スパマー含む)に一番近いサーバになる。
それらを念頭に、読んでいくと、
まず一番下から順に、Receivedフィールドをひとつづ分解し、
「「from A by B for C (AからBによってC宛に受信した)」」
構文に当てはめると(残念ながら、「 for C 」の部分はないが)、
送信者からのメールが、「 a24-4.smtp-out.us-west-2.amazonses.com ([54.240.24.4]) 」から、「BAY004-MC5F22.hotmail.com」 宛に送信され、
↓
さらに、「BAY004-MC5F22.hotmail.com (10.152.184.52) 」 から
「OS2JPN01FT004.mail.protection.outlook.com (10.152.184.92)」宛に
中継され、
↓
さらに、「OS2JPN01FT004.eop-JPN01.prod.protection.outlook.com
(2a01:111:f400:7e9c::202) 」から「OS1PR01CA0003.outlook.office365.com
(2a01:111:e400:ac01::13)」宛に中継され、
↓
さらに、「OS1PR01CA0003.jpnprd01.prod.outlook.com (10.161.225.141) 」から
「KAWPR01MB0033.jpnprd01.prod.outlook.com (10.161.25.139) 」宛に中継され、
↓
Received: from KAWPR01MB0033.jpnprd01.prod.outlook.com (10.161.25.139) by
KAWPR01MB0035.jpnprd01.prod.outlook.com (10.161.25.141) with Microsoft SMTP
Server (TLS) id 15.1.361.13 via Mailbox Transport; Wed, 23 Dec 2015 02:07:36
+0000
最終的に、「 KAWPR01MB0033.jpnprd01.prod.outlook.com (10.161.25.139) 」から「KAWPR01MB0035.jpnprd01.prod.outlook.com (10.161.25.141)」のメールボックスにメールが受信された。
ということがわかる。
このとき、先に確認していたFromフィールド「delivery-notification@amazon.co.jp」と一番下にあったReceivedフィールド「a24-4.smtp-out.us-west-2.amazonses.com」がともに、amazon関連のものが濃厚のため、正規のメールだと推測される。
なお、前回同様、下記を参照した。
実際のメールヘッダを読む練習をしてみる。
下記は、xxxxxxxxxxxxxxx@live.jpあてに、Amazonからメールを受信したヘッダの抜粋。
Received: from KAWPR01MB0033.jpnprd01.prod.outlook.com (10.161.25.139) by
KAWPR01MB0035.jpnprd01.prod.outlook.com (10.161.25.141) with Microsoft SMTP
Server (TLS) id 15.1.361.13 via Mailbox Transport; Wed, 23 Dec 2015 02:07:36
+0000
Received: from OS1PR01CA0003.jpnprd01.prod.outlook.com (10.161.225.141) by
KAWPR01MB0033.jpnprd01.prod.outlook.com (10.161.25.139) with Microsoft SMTP
Server (TLS) id 15.1.361.13; Wed, 23 Dec 2015 02:07:36 +0000
Received: from OS2JPN01FT004.eop-JPN01.prod.protection.outlook.com
(2a01:111:f400:7e9c::202) by OS1PR01CA0003.outlook.office365.com
(2a01:111:e400:ac01::13) with Microsoft SMTP Server (TLS) id 15.1.361.13 via
Frontend Transport; Wed, 23 Dec 2015 02:07:36 +0000
Received: from BAY004-MC5F22.hotmail.com (10.152.184.52) by
OS2JPN01FT004.mail.protection.outlook.com (10.152.184.92) with Microsoft SMTP
Server (TLS) id 15.1.355.15 via Frontend Transport; Wed, 23 Dec 2015 02:07:34
+0000
Received: from a24-4.smtp-out.us-west-2.amazonses.com ([54.240.24.4]) by BAY004-MC5F22.hotmail.com over TLS secured channel with Microsoft SMTPSVC(7.5.7601.23143);
Tue, 22 Dec 2015 18:07:32 -0800
Date: Wed, 23 Dec 2015 02:07:31 +0000
From: "delivery-notification@amazon.co.jp"
To: =?ISO-2022-JP?B?GyRCRWc6aiEhOSxJVxsoQg==?=
Message-ID: <00000151cc97600d-d8ab1ac4-c480-4921-9272-4bebb540b19d-000000@us-west-2.amazonses.com>
Subject: =?ISO-2022-JP?B?GyRCMllKKiROPHVOTiRyM05HJyQ3JF4kNyQ/GyhC?=
@まず、FromフィールドとToフィールドをチェックする。
ここから、delivery-notification@amazon.co.jpから、
xxxxxxxxxxxxxxx@live.jp宛にメールが送られているのがわかる。
ただし、これらは、簡単に偽装可能なので、
信用度は低い情報を前提に覚えておく。
A次に、Message-ID:フィールドをチェックする。
00000151cc97600d-d8ab1ac4-c480-4921-9272-4bebb540b19d-000000@us-west-2.amazonses.comとなっているので、送信者はamazonを利用していることまでは
わかる。
これらも、簡単に偽装可能なので、
信用度は低い情報を前提に覚えておく。
B次に、Dateフィールドをチェックする。
「 Wed, 23 Dec 2015 02:07:31 +0000」となっているため、
日本(+0900)からではないことがわかる。
C最後に、Receivedフィールドをチェックする。
Receivedフィールドを読みにあたり、以下のことは覚えておく。
・「from A by B for C (AからBによってC宛に受信した)」
(Cは省略されることも多い)
・サーバを経由する毎に、上に追加されるため、一番下のReceivedフィールドが
送信者(スパマー含む)に一番近いサーバになる。
それらを念頭に、読んでいくと、
まず一番下から順に、Receivedフィールドをひとつづ分解し、
「「from A by B for C (AからBによってC宛に受信した)」」
構文に当てはめると(残念ながら、「 for C 」の部分はないが)、
Received: from a24-4.smtp-out.us-west-2.amazonses.com ([54.240.24.4]) by BAY004-MC5F22.hotmail.com over TLS secured channel with Microsoft SMTPSVC(7.5.7601.23143);
Tue, 22 Dec 2015 18:07:32 -0800
Tue, 22 Dec 2015 18:07:32 -0800
送信者からのメールが、「 a24-4.smtp-out.us-west-2.amazonses.com ([54.240.24.4]) 」から、「BAY004-MC5F22.hotmail.com」 宛に送信され、
↓
Received: from BAY004-MC5F22.hotmail.com (10.152.184.52) by
OS2JPN01FT004.mail.protection.outlook.com (10.152.184.92) with Microsoft SMTP
Server (TLS) id 15.1.355.15 via Frontend Transport; Wed, 23 Dec 2015 02:07:34
+0000
OS2JPN01FT004.mail.protection.outlook.com (10.152.184.92) with Microsoft SMTP
Server (TLS) id 15.1.355.15 via Frontend Transport; Wed, 23 Dec 2015 02:07:34
+0000
さらに、「BAY004-MC5F22.hotmail.com (10.152.184.52) 」 から
「OS2JPN01FT004.mail.protection.outlook.com (10.152.184.92)」宛に
中継され、
↓
Received: from OS2JPN01FT004.eop-JPN01.prod.protection.outlook.com
(2a01:111:f400:7e9c::202) by OS1PR01CA0003.outlook.office365.com
(2a01:111:e400:ac01::13) with Microsoft SMTP Server (TLS) id 15.1.361.13 via
Frontend Transport; Wed, 23 Dec 2015 02:07:36 +0000
(2a01:111:f400:7e9c::202) by OS1PR01CA0003.outlook.office365.com
(2a01:111:e400:ac01::13) with Microsoft SMTP Server (TLS) id 15.1.361.13 via
Frontend Transport; Wed, 23 Dec 2015 02:07:36 +0000
さらに、「OS2JPN01FT004.eop-JPN01.prod.protection.outlook.com
(2a01:111:f400:7e9c::202) 」から「OS1PR01CA0003.outlook.office365.com
(2a01:111:e400:ac01::13)」宛に中継され、
↓
Received: from OS1PR01CA0003.jpnprd01.prod.outlook.com (10.161.225.141) by
KAWPR01MB0033.jpnprd01.prod.outlook.com (10.161.25.139) with Microsoft SMTP
Server (TLS) id 15.1.361.13; Wed, 23 Dec 2015 02:07:36 +0000
KAWPR01MB0033.jpnprd01.prod.outlook.com (10.161.25.139) with Microsoft SMTP
Server (TLS) id 15.1.361.13; Wed, 23 Dec 2015 02:07:36 +0000
さらに、「OS1PR01CA0003.jpnprd01.prod.outlook.com (10.161.225.141) 」から
「KAWPR01MB0033.jpnprd01.prod.outlook.com (10.161.25.139) 」宛に中継され、
↓
Received: from KAWPR01MB0033.jpnprd01.prod.outlook.com (10.161.25.139) by
KAWPR01MB0035.jpnprd01.prod.outlook.com (10.161.25.141) with Microsoft SMTP
Server (TLS) id 15.1.361.13 via Mailbox Transport; Wed, 23 Dec 2015 02:07:36
+0000
最終的に、「 KAWPR01MB0033.jpnprd01.prod.outlook.com (10.161.25.139) 」から「KAWPR01MB0035.jpnprd01.prod.outlook.com (10.161.25.141)」のメールボックスにメールが受信された。
ということがわかる。
このとき、先に確認していたFromフィールド「delivery-notification@amazon.co.jp」と一番下にあったReceivedフィールド「a24-4.smtp-out.us-west-2.amazonses.com」がともに、amazon関連のものが濃厚のため、正規のメールだと推測される。
なお、前回同様、下記を参照した。
タグ:セキュリティ
【このカテゴリーの最新記事】
-
no image
-
no image
-
no image
-
no image
-
no image
2015年12月23日
メールヘッダの読み方
今日は、会社であるメールのが送信から長らく待って、
受信されるという照会で、メールヘッダを読む必要があったため、
読み方のおさらいメモ。
すべてのメールで、これらすべてのフィールドが
存在するわけではないが、まず、あるかある場合は、
その内容を確認したほうが良いと思われる主要な主要なフィールドを記載
・カーボンコピー。複数人送信で使用する。(受取人公開)
社内の回覧文書など多数の相手に対する同時配信で受信差全員に「誰と誰に送ったか?」
という意味で、送信者全員のメールアドレスを明示したい場合に使用。
・ブラインドカーボンコピー。複数人送信で使用する。(受取人非公開)
メールマガジンなど多数の相手に対する同時配信で受信者全員に「誰と誰に送ったか?」という意味で、
送信されたアドレスを隠蔽したい場合に使用。
・中継したメールサーバと時間。
メールが通過したサーバ名が書かれており、他人のメールサーバを勝手に使用し、送信したメールは
このヘッダのこの部分に証拠が残るので、追跡時には、最も重要となるフィールド。
また、時間も表示されるため、複数のサーバを経由した場合、どのサーバで、転送に時間がかかったのかどうか
がわかる。
・メールを識別するID番号が記載される。機種によっては、メールを作成したコンピュータの
ドメイン名が表示される場合もある。
・発信日時
このフィールドを確認することによって、タイムゾーンを調べることが可能。
タイムゾーンは、イギリスの世界標準日時を基準にしているため、
「Date: Thu, 18 Sep 2014 18:49:57 +0900」のように、 「+0900」や 「+09:00」が
含まれていれば、日本のタイムゾーンを示し、含まれていない場合は、日本以外から送信されていることを示唆。
・受信者(宛先)のメールアドレス。
・送信者のメールアドレス。ただし、ここは簡単に偽装可能。
・返信先
・メールの件名
・添付ファイル名
送信者が利用したメーラーの名称
同一人物が送信してきたかどうかの推測に役に立つ可能性がある。
・データ転送時に利用するエンコード方法
・送信者の接続元IPアドレス
このフィールドが記載されていたら、追跡が楽となるため、必ずあるか確認する。
なお、下記を参照した。
受信されるという照会で、メールヘッダを読む必要があったため、
読み方のおさらいメモ。
すべてのメールで、これらすべてのフィールドが
存在するわけではないが、まず、あるかある場合は、
その内容を確認したほうが良いと思われる主要な主要なフィールドを記載
Ccフィールド
・カーボンコピー。複数人送信で使用する。(受取人公開)
社内の回覧文書など多数の相手に対する同時配信で受信差全員に「誰と誰に送ったか?」
という意味で、送信者全員のメールアドレスを明示したい場合に使用。
BCcフィールド
・ブラインドカーボンコピー。複数人送信で使用する。(受取人非公開)
メールマガジンなど多数の相手に対する同時配信で受信者全員に「誰と誰に送ったか?」という意味で、
送信されたアドレスを隠蔽したい場合に使用。
Recievedフィールド
・中継したメールサーバと時間。
メールが通過したサーバ名が書かれており、他人のメールサーバを勝手に使用し、送信したメールは
このヘッダのこの部分に証拠が残るので、追跡時には、最も重要となるフィールド。
また、時間も表示されるため、複数のサーバを経由した場合、どのサーバで、転送に時間がかかったのかどうか
がわかる。
Message-IDフィールド
・メールを識別するID番号が記載される。機種によっては、メールを作成したコンピュータの
ドメイン名が表示される場合もある。
Dateフィールド
・発信日時
このフィールドを確認することによって、タイムゾーンを調べることが可能。
タイムゾーンは、イギリスの世界標準日時を基準にしているため、
「Date: Thu, 18 Sep 2014 18:49:57 +0900」のように、 「+0900」や 「+09:00」が
含まれていれば、日本のタイムゾーンを示し、含まれていない場合は、日本以外から送信されていることを示唆。
Toフィールド
・受信者(宛先)のメールアドレス。
Fromフィールド
・送信者のメールアドレス。ただし、ここは簡単に偽装可能。
Replay-Toフィールド
・返信先
Subjectフィールド
・メールの件名
Attachmentフィールド
・添付ファイル名
X-Mailerフィールド
送信者が利用したメーラーの名称
同一人物が送信してきたかどうかの推測に役に立つ可能性がある。
Content-Transfer-Encoding:
・データ転送時に利用するエンコード方法
X-User-Infoフィールド
・送信者の接続元IPアドレス
このフィールドが記載されていたら、追跡が楽となるため、必ずあるか確認する。
なお、下記を参照した。
タグ:セキュリティ
2015年12月19日
H27年 ネットワークスペシャリスト試験合格
12/18は、長女のクリスマス会。
幼稚園最後のお遊戯会となり、
クラスみんなで、楽器を使った演奏。
娘も緊張しながら、木琴とセリフのパートを無事に
こなし、ただ、ただ感動。よく頑張った
この日は、10月に受けた情報処理試験の発表日。
今回は、ネットワークスペシャリストを受験した。
なんとか、娘の頑張りにあやかりたいところだが、
結果は。。。
受かってる!
苦節3年。過去2回の受験では、ことごとく午後2の試験の壁が
破れないでいたが、無事に合格。
得点的には、ギリだがまあそこはいいっしょというとこで、
勉強に使用した教材をまとめると、
(午前問題)
はっきりいって、これしか使用していない。
この本に書いてある「回答を丸暗記するぐらいが丁度いい」という
アプローチが自分にはハマった。勉強法としては、邪道かもしれないが、
社会人受験組は、時間的制約もあるので、これぐらい割り切った勉強方法で、
いいのではと個人的には、思っている。
実際に、この本で、回答の記号を丸暗記するイメージで、試験に臨み、
過去の午前で不合格となったことはない。
(午後問題)
⓵全般
午後問題は、問題を解くにあたり、ある程度のネットワークに関しての
地力をまずは上げないとだめなので、こちらを利用して網羅的な勉強。
あとは、実環境(会社・自宅など)で、ネットワークを
試行錯誤しながら学んでいき、地力を上げていく。
A新しめの技術
ネットワークスペシャリスト試験は、比較的新しめの技術を
問題に絡めて来ることが、多いように感じる。
それらを捨てるという選択肢もあるが、念のため、
下記のようなことは勉強しておいた。
B過去問
Aでネットワークに関する地力ができて来たら、
後はひたすら過去問を解く。
ただし、問題を解くにあたり、問題の読み方、回答の導き出し方
のようなちょっとしたコツやテクニックもあると思うので、
それらは、こちらを利用した。
幼稚園最後のお遊戯会となり、
クラスみんなで、楽器を使った演奏。
娘も緊張しながら、木琴とセリフのパートを無事に
こなし、ただ、ただ感動。よく頑張った
この日は、10月に受けた情報処理試験の発表日。
今回は、ネットワークスペシャリストを受験した。
なんとか、娘の頑張りにあやかりたいところだが、
結果は。。。
受かってる!
苦節3年。過去2回の受験では、ことごとく午後2の試験の壁が
破れないでいたが、無事に合格。
得点的には、ギリだがまあそこはいいっしょというとこで、
勉強に使用した教材をまとめると、
(午前問題)
はっきりいって、これしか使用していない。
この本に書いてある「回答を丸暗記するぐらいが丁度いい」という
アプローチが自分にはハマった。勉強法としては、邪道かもしれないが、
社会人受験組は、時間的制約もあるので、これぐらい割り切った勉強方法で、
いいのではと個人的には、思っている。
実際に、この本で、回答の記号を丸暗記するイメージで、試験に臨み、
過去の午前で不合格となったことはない。
(午後問題)
⓵全般
午後問題は、問題を解くにあたり、ある程度のネットワークに関しての
地力をまずは上げないとだめなので、こちらを利用して網羅的な勉強。
あとは、実環境(会社・自宅など)で、ネットワークを
試行錯誤しながら学んでいき、地力を上げていく。
A新しめの技術
ネットワークスペシャリスト試験は、比較的新しめの技術を
問題に絡めて来ることが、多いように感じる。
それらを捨てるという選択肢もあるが、念のため、
下記のようなことは勉強しておいた。
B過去問
Aでネットワークに関する地力ができて来たら、
後はひたすら過去問を解く。
ただし、問題を解くにあたり、問題の読み方、回答の導き出し方
のようなちょっとしたコツやテクニックもあると思うので、
それらは、こちらを利用した。
2015年12月17日
国内急増中の「Invoice」スパムについて
世界的には、11月末ごろから「Invoice」「Payment」といったタイトルで、
請求書関連に見せかけたスパムメールが流通しているのは、各種ニュースの通りだが、
(yahooニュース)
http://headlines.yahoo.co.jp/hl?a=20151214-00000002-rbb-sci
(Naver)
http://matome.naver.jp/odai/2145012626469291501
(TrendMicro)
http://blog.trendmicro.co.jp/archives/12643
(関連記事)
http://www.rbbtoday.com/article/2015/12/14/137872.html
http://blogs.yahoo.co.jp/fireflyframer/33841277.html
私の周りでも、下記のようなメール件名で、受信が確認されている。
<不審なメールの例(件名)>
「Invoice #xxxxxxxx」
「Invoice #CS-xxxxxxxx」
「Invoice #xxxxxxxx from DataCorp Inc.」
「Your Order #xxxxxxxx - Corresponding Invoice #yyyy」
(xxxxxxxxはランダムな数字列、yyyyはランダムな文字数字列)
なお、各種アンチウィルスソフトで
添付ファイルをウィルスとして、検知する場合もあるが、
(Symantec endpoint protecrionでは「リスク名: JS.Downloader」で検知される模様)
亜種も存在するため、メールサーバ側で、エンベロープだけではなく、
ヘッダ部分も検査対象とするように、下記のヘッダを扱う設定方法を
参考に、調査を進めてみる。
関連記事
(sendmail, 3rd Edition)
http://docstore.mik.ua/orelly/other/Sendmail_3rd/1565928393_sendmail3-chp-7-sect-3.html
(qiita)
http://qiita.com/ma3ki/items/3d67fd19eeb379ed6bdb
請求書関連に見せかけたスパムメールが流通しているのは、各種ニュースの通りだが、
(yahooニュース)
http://headlines.yahoo.co.jp/hl?a=20151214-00000002-rbb-sci
(Naver)
http://matome.naver.jp/odai/2145012626469291501
(TrendMicro)
http://blog.trendmicro.co.jp/archives/12643
(関連記事)
http://www.rbbtoday.com/article/2015/12/14/137872.html
http://blogs.yahoo.co.jp/fireflyframer/33841277.html
私の周りでも、下記のようなメール件名で、受信が確認されている。
<不審なメールの例(件名)>
「Invoice #xxxxxxxx」
「Invoice #CS-xxxxxxxx」
「Invoice #xxxxxxxx from DataCorp Inc.」
「Your Order #xxxxxxxx - Corresponding Invoice #yyyy」
(xxxxxxxxはランダムな数字列、yyyyはランダムな文字数字列)
なお、各種アンチウィルスソフトで
添付ファイルをウィルスとして、検知する場合もあるが、
(Symantec endpoint protecrionでは「リスク名: JS.Downloader」で検知される模様)
亜種も存在するため、メールサーバ側で、エンベロープだけではなく、
ヘッダ部分も検査対象とするように、下記のヘッダを扱う設定方法を
参考に、調査を進めてみる。
関連記事
(sendmail, 3rd Edition)
http://docstore.mik.ua/orelly/other/Sendmail_3rd/1565928393_sendmail3-chp-7-sect-3.html
(qiita)
http://qiita.com/ma3ki/items/3d67fd19eeb379ed6bdb
2015年12月09日
sFlow・netFlow監視(AdremNetCrunch)
従来、ネットワークの障害時などは、
パケット・キャプチャでトラフィック情報を収集することが、
常であったが、このパケット・キャプチャ以外にも
トラフィックに関するさまざまな情報を収集するための技術やプロトコルが存在する。
例えば,SNMP RMON,sFlow,NetFlowなどが代表例となるが、
ここでは、sFlow,NetFlowを試してみる。
sFlow,NetFlowの解析には、フローデータを収集するコレクタが必要。
コレクターには、いろいろなものがあるが、
ここでは、「Adrem社NetCrunchバージョン8(評価版)」を使用して検証を進める。
(検証環境)
コレクタ:Adrem社NetCrunchバージョン8(評価版)
フローデータ送信:sFlow,NetFlow対応の実機がないため、シュミレータ「flowalyzer」を利用する。
NetCrunch自体は、インストール自体は簡単なため、デフォルトインストールする。
NetCrunchのsFlow,NetFlow監視は、特に難しいものはなく、下記を有効化するだけ。
その後、シュミレータで、sFlowフローデータをコレクター(netCrunch)側の
6343ポートに送信するが、netCrunchのコンソールでの値は上がるが、
グラフ表示がされない。
いろいろ調べると、以下の不具合に関する報告がある模様。
なんだそれ〜!
仕方なく、「NetCrunch8.7.3.3472」へのマイナーバージョンで検証やり直し。
続きは、後日。疲れた...
パケット・キャプチャでトラフィック情報を収集することが、
常であったが、このパケット・キャプチャ以外にも
トラフィックに関するさまざまな情報を収集するための技術やプロトコルが存在する。
例えば,SNMP RMON,sFlow,NetFlowなどが代表例となるが、
ここでは、sFlow,NetFlowを試してみる。
sFlow,NetFlowの解析には、フローデータを収集するコレクタが必要。
コレクターには、いろいろなものがあるが、
ここでは、「Adrem社NetCrunchバージョン8(評価版)」を使用して検証を進める。
(検証環境)
コレクタ:Adrem社NetCrunchバージョン8(評価版)
フローデータ送信:sFlow,NetFlow対応の実機がないため、シュミレータ「flowalyzer」を利用する。
NetCrunch自体は、インストール自体は簡単なため、デフォルトインストールする。
NetCrunchのsFlow,NetFlow監視は、特に難しいものはなく、下記を有効化するだけ。
その後、シュミレータで、sFlowフローデータをコレクター(netCrunch)側の
6343ポートに送信するが、netCrunchのコンソールでの値は上がるが、
グラフ表示がされない。
いろいろ調べると、以下の不具合に関する報告がある模様。
検証にて、使用した「NetCrunch8.7.1.3450」には、フローデータの受信に関する不具合がある模様。2015年11月時点での最新である「NetCrunch8.7.3.3472」 へのマイナーバージョンアップをしたほうが良い。
なんだそれ〜!
仕方なく、「NetCrunch8.7.3.3472」へのマイナーバージョンで検証やり直し。
続きは、後日。疲れた...
2015年12月08日
世界のリーダー英語名言集
12月6日の下町ロケット第8話を見ていたら、
アインシュタインの名言が以下のセリフが出てきていた。
以前、英語の勉強がてら読んだ英語名言集に乗っていたものをいつくか紹介。
・ヘンリー・フォード(フォードモーター創業者)
・ピーター・ドラッカー
・レイ・クロック(マクドナルド創業者)
・ココ・シャネル
・ジャック・ウェルチ(GE元CEO「20世紀最高の経緯者」に選出(1999年フォーチュン誌)
アインシュタインの名言が以下のセリフが出てきていた。
Anyone who has never made a mistake has never tried anything new.
〜 挫折を経験した事がない者は、何も新しい事に挑戦したことが無いということだ。(アルバート・アインシュタイン) 〜
〜 挫折を経験した事がない者は、何も新しい事に挑戦したことが無いということだ。(アルバート・アインシュタイン) 〜
In the middle of difficulty,lies opptotunity
〜 困難の最中にこそ、チャンスはある (アルバート・アインシュタイン) 〜
〜 困難の最中にこそ、チャンスはある (アルバート・アインシュタイン) 〜
以前、英語の勉強がてら読んだ英語名言集に乗っていたものをいつくか紹介。
・ヘンリー・フォード(フォードモーター創業者)
Before everything else,getting ready is the secret of success.
〜 準備しておくことが何よりの成功の秘訣だ。 〜
〜 準備しておくことが何よりの成功の秘訣だ。 〜
Don't find fault ,find remedy.
〜 荒探しはするな。解決策を示せ 〜
〜 荒探しはするな。解決策を示せ 〜
Quality means doing it right when no one is looking
〜 品質とは、誰も見てないときに、きちんとやることである。〜
〜 品質とは、誰も見てないときに、きちんとやることである。〜
・ピーター・ドラッカー
The entrepreneur always searches for change , responds to it , and exploits is as an opportunity.
〜 企業家は常に、変換を探し、それに対応し、利用する。 〜
〜 企業家は常に、変換を探し、それに対応し、利用する。 〜
Good manners are the lubricationg oil of organizations.
〜 作法は、組織の潤滑油である。 〜
〜 作法は、組織の潤滑油である。 〜
・レイ・クロック(マクドナルド創業者)
The quality of a leader is reflected in the standards they set for themselves.
〜 リーダーの資質は、自らの中にある基準に現れる。〜
〜 リーダーの資質は、自らの中にある基準に現れる。〜
・ココ・シャネル
In order to be irreplaceble one must always be different
〜 かけがえのない存在になるには、常に人違っていなかればならない。〜
〜 かけがえのない存在になるには、常に人違っていなかればならない。〜
Those who create are rare,those who cannot are numerous ,Therefore , the latter are storonger
〜想像する人は少ない。造像できない人は山ほどいる。それゆえ、後者が強いのだ。〜
〜想像する人は少ない。造像できない人は山ほどいる。それゆえ、後者が強いのだ。〜
・ジャック・ウェルチ(GE元CEO「20世紀最高の経緯者」に選出(1999年フォーチュン誌)
Change before you have to .
〜変革せよ。変革を迫られる前に。〜
〜変革せよ。変革を迫られる前に。〜
Willingness to change is a strength ,even if means plunging part of the company into total confusion for a while
〜変革への意欲は強みである。たとえ、それがしばらくの間、会社を混沌な状態に陥らせることになったとしても。〜
〜変革への意欲は強みである。たとえ、それがしばらくの間、会社を混沌な状態に陥らせることになったとしても。〜
If change is happeing on the outside faster than on the inside ,the end is in sight
〜外部で、起こっている変化が内部の変化より早くなったら、終わりの日は近い。〜
〜外部で、起こっている変化が内部の変化より早くなったら、終わりの日は近い。〜
2015年12月05日
LogStorage(任意のログ取り込み)
前回のApache取り込みと同様、
任意のログをLogStorageの意味付けをしたうえで、取り込んでみる。
ここでは、Windowsにインストールされたソフトウェア一覧をcsv形式で、
エクスポートしたうえで、そのデータをFTPでLogStogareに転送してみる。
(やってみたこと)
・イベントログをLogStorageに取り込みやすいよう
(意味づけの設定を簡単にするため)に、シンプルなログフォーマットに変換し、
変換後のフォーマットする。
・その後、検索条件設定を行う。
・FTPの取り込み設定を行い、FTPでフォーマット変換したファイルを転送。
・設定した検索条件での検索を行う。
ログは、こんな感じで、フォーマット変換する。
・変換後
・手習いで、作成したフォーマット変換スクリプト(Powershell)
https://github.com/shi4669/LogStorage/blob/master/SoftConv.ps1
検証が目的なので、やり方は問わずで、Try & Errorしてやってみたこと。
なお、試行錯誤でやったので、手順ではなく、最終的に動いた状態の設定の記載。
@ 任意のログ取込定義
https://drive.google.com/file/d/0B2yjG8delT8WVDU0R1JrU3lsRU0/view?usp=sharing
任意のログをLogStorageの意味付けをしたうえで、取り込んでみる。
ここでは、Windowsにインストールされたソフトウェア一覧をcsv形式で、
エクスポートしたうえで、そのデータをFTPでLogStogareに転送してみる。
(やってみたこと)
・イベントログをLogStorageに取り込みやすいよう
(意味づけの設定を簡単にするため)に、シンプルなログフォーマットに変換し、
変換後のフォーマットする。
・その後、検索条件設定を行う。
・FTPの取り込み設定を行い、FTPでフォーマット変換したファイルを転送。
・設定した検索条件での検索を行う。
ログは、こんな感じで、フォーマット変換する。
・変換後
[日付],[ホスト名],[ソフトウェア名],[バージョン],[メーカ](改行)
・手習いで、作成したフォーマット変換スクリプト(Powershell)
https://github.com/shi4669/LogStorage/blob/master/SoftConv.ps1
検証が目的なので、やり方は問わずで、Try & Errorしてやってみたこと。
なお、試行錯誤でやったので、手順ではなく、最終的に動いた状態の設定の記載。
@ 任意のログ取込定義
https://drive.google.com/file/d/0B2yjG8delT8WVDU0R1JrU3lsRU0/view?usp=sharing
タグ:BigData
2015年12月03日
LogStorage(Windowsイベントログ取り込み)
前回のApache取り込みと同様、
Windowsのイベントログ(System、Application、Security)をLogStorageの意味付けを
したうえで、取り込んでみる。
(やってみたこと)
・イベントログをLogStorageに取り込みやすいよう
(意味づけの設定を簡単にするため)に、シンプルなログフォーマットに変換し、
変換後のフォーマットする。
・その後、検索条件や集計条件の設定を行う。
・FTPの取り込み設定を行い、FTPでフォーマット変換したファイルを転送。
(EventLogCorrecotorを利用すればこれらの意味付けが簡便にできるようだが、
今回は、自力でやってみる)
・設定した検索条件での集計条件での検索・集計を行う。
イベントログは、こんな感じで、フォーマット変換する。
・変換後
イベントログは、ログメッセージ中に改行が含まれるので、
これらを空白に置換したうえで、フォーマット変換させる。
・手習いで、作成したフォーマット変換スクリプト(Powershell)
https://github.com/shi4669/LogStorage/blob/master/EventlogConv.ps1
検証が目的なので、やり方は問わずで、Try & Errorしてやってみたこと。
なお、試行錯誤でやったので、手順ではなく、最終的に動いた状態の設定の記載。
@ Windowsイベントログ取込定義
https://drive.google.com/file/d/0B2yjG8delT8WTHFrdXE3Zk5CS0E/view?usp=sharing
Windowsのイベントログ(System、Application、Security)をLogStorageの意味付けを
したうえで、取り込んでみる。
(やってみたこと)
・イベントログをLogStorageに取り込みやすいよう
(意味づけの設定を簡単にするため)に、シンプルなログフォーマットに変換し、
変換後のフォーマットする。
・その後、検索条件や集計条件の設定を行う。
・FTPの取り込み設定を行い、FTPでフォーマット変換したファイルを転送。
(EventLogCorrecotorを利用すればこれらの意味付けが簡便にできるようだが、
今回は、自力でやってみる)
・設定した検索条件での集計条件での検索・集計を行う。
イベントログは、こんな感じで、フォーマット変換する。
・変換後
2015/11/14 03:41:33,idea-PC,System,4001,Microsoft-Windows-WLAN-AutoConfig,Information,WLAN AutoConfig サービスは正常に停止しました。 (改行)
イベントログは、ログメッセージ中に改行が含まれるので、
これらを空白に置換したうえで、フォーマット変換させる。
・手習いで、作成したフォーマット変換スクリプト(Powershell)
https://github.com/shi4669/LogStorage/blob/master/EventlogConv.ps1
検証が目的なので、やり方は問わずで、Try & Errorしてやってみたこと。
なお、試行錯誤でやったので、手順ではなく、最終的に動いた状態の設定の記載。
@ Windowsイベントログ取込定義
https://drive.google.com/file/d/0B2yjG8delT8WTHFrdXE3Zk5CS0E/view?usp=sharing
タグ:BigData
2015年12月01日
sendmailでの滞留メール削除
sendmailでは、受信したメールを何らかの理由で、送信できない場合、
デフォルトでは、1時間に1度の再送。
再送でも送信できない場合は、1時間の1度の頻度でこれを
5日間再送処理を試行し続ける(はず)
滞留したメールが、スパムメールであることが明確な場合や、
削除しても問題ない場合は、下記コマンドで、メールキューから削除。
@ mailqコマンドで、該当するメールキューIDを特定
Arm コマンドで、削除。
下記コマンドの体系で、削除します。
(削除例)
・ディレクトリを移動
・/var/spool/mqueueがカレントディレクトリであることを確認
・キューIDtAOMoh7c025330を削除
・メールキューからtAOMoh7c025330が削除されたことを確認。
デフォルトでは、1時間に1度の再送。
再送でも送信できない場合は、1時間の1度の頻度でこれを
5日間再送処理を試行し続ける(はず)
滞留したメールが、スパムメールであることが明確な場合や、
削除しても問題ない場合は、下記コマンドで、メールキューから削除。
@ mailqコマンドで、該当するメールキューIDを特定
# mailq
/var/spool/mqueue (4 requests)
-----Q-ID----- --Size-- -----Q-Time----- ------------Sender/Recipient-----------
tAOMoh7c025330 312933 Wed Nov 25 08:12 MAILER-DAEMON
(Deferred: Connection timed out with xxx.xx.xxx.com.)
tAOIohMB004775 299213 Wed Nov 25 04:06 MAILER-DAEMON
(Deferred: Connection timed out with p.xx.xxxxxx.com.)
tAOIwUqO006470 310805 Wed Nov 25 03:58
(reply: read error from [1x.x.xx])
tAOF58i4020494 296963 Wed Nov 25 00:05
(Deferred: Connection timed out with [1x.xxx.xx.xx])
Total requests: 4
#
※以降赤字のキューIDを削除する前提で説明。
/var/spool/mqueue (4 requests)
-----Q-ID----- --Size-- -----Q-Time----- ------------Sender/Recipient-----------
tAOMoh7c025330 312933 Wed Nov 25 08:12 MAILER-DAEMON
(Deferred: Connection timed out with xxx.xx.xxx.com.)
tAOIohMB004775 299213 Wed Nov 25 04:06 MAILER-DAEMON
(Deferred: Connection timed out with p.xx.xxxxxx.com.)
tAOIwUqO006470 310805 Wed Nov 25 03:58
(reply: read error from [1x.x.xx])
tAOF58i4020494 296963 Wed Nov 25 00:05
(Deferred: Connection timed out with [1x.xxx.xx.xx])
Total requests: 4
#
※以降赤字のキューIDを削除する前提で説明。
Arm コマンドで、削除。
下記コマンドの体系で、削除します。
rm -f [dq]fキューID
(削除例)
・ディレクトリを移動
# cd /var/spool/mqueue/
・/var/spool/mqueueがカレントディレクトリであることを確認
# pwd
/var/spool/mqueue
/var/spool/mqueue
・キューIDtAOMoh7c025330を削除
# rm -f [dq]ftAOMoh7c025330
・メールキューからtAOMoh7c025330が削除されたことを確認。
# mailq
/var/spool/mqueue (3 requests)
-----Q-ID----- --Size-- -----Q-Time----- ------------Sender/Recipient-----------
tAOIohMB004775 299213 Wed Nov 25 04:06 MAILER-DAEMON
(Deferred: Connection timed out with p.xx.xxxxxx.com.)
tAOIwUqO006470 310805 Wed Nov 25 03:58
(reply: read error from [1x.x.xx])
tAOF58i4020494 296963 Wed Nov 25 00:05
(Deferred: Connection timed out with [1x.xxx.xx.xx])
Total requests: 3
#
/var/spool/mqueue (3 requests)
-----Q-ID----- --Size-- -----Q-Time----- ------------Sender/Recipient-----------
tAOIohMB004775 299213 Wed Nov 25 04:06 MAILER-DAEMON
(Deferred: Connection timed out with p.xx.xxxxxx.com.)
tAOIwUqO006470 310805 Wed Nov 25 03:58
(reply: read error from [1x.x.xx])
tAOF58i4020494 296963 Wed Nov 25 00:05
(Deferred: Connection timed out with [1x.xxx.xx.xx])
Total requests: 3
#
2015年11月29日
gemでのmysql のインストールエラー+接続エラーメモ
rubyからmysqlを操作するプログラムを書く必要があり、
CentOSで、bundle installを使用したところ、下記エラーが発生。
下記の方のエントリーを参考に、yum でmysql-develをインストトール
http://sweep3092.hatenablog.com/entry/2014/12/11/163108
その後、改めて、bundle install を実施し、無事成功。
次に接続のプログラムを実行したところ、下記のエラーに遭遇。
下記を参考に、ホスト名に「localhost」と指定したところ、
「127.0.0.1」に修正し、無事成功。
http://q.hatena.ne.jp/1273032729
CentOSで、bundle installを使用したところ、下記エラーが発生。
# ruby -v
ruby 2.0.0p195 (2013-05-14 revision 40734) [i686-linux]
#
#
# gem install mysql
Fetching: mysql-2.9.1.gem (100%)
Building native extensions. This could take a while...
ERROR: Error installing mysql:
ERROR: Failed to build gem native extension.
/usr/local/bin/ruby extconf.rb
checking for mysql_ssl_set()... *** extconf.rb failed ***
Could not create Makefile due to some reason, probably lack of necessary
libraries and/or headers. Check the mkmf.log file for more details. You may
need configuration options.
Provided configuration options:
--with-opt-dir
--without-opt-dir
--with-opt-include
--without-opt-include=${opt-dir}/include
--with-opt-lib
--without-opt-lib=${opt-dir}/lib
--with-make-prog
--without-make-prog
--srcdir=.
--curdir
--ruby=/usr/local/bin/ruby
--with-mysql-config
--without-mysql-config
/usr/local/lib/ruby/2.0.0/mkmf.rb:431:in `try_do': The compiler failed to generate an executable file. (RuntimeError)
You have to install development tools first.
from /usr/local/lib/ruby/2.0.0/mkmf.rb:516:in `try_link0'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:531:in `try_link'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:717:in `try_func'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:1001:in `block in have_func'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:892:in `block in checking_for'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:337:in `block (2 levels) in postpone'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:307:in `open'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:337:in `block in postpone'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:307:in `open'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:333:in `postpone'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:891:in `checking_for'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:1000:in `have_func'
from extconf.rb:45:in `'
Gem files will remain installed in /usr/local/lib/ruby/gems/2.0.0/gems/mysql-2.9.1 for inspection.
Results logged to /usr/local/lib/ruby/gems/2.0.0/gems/mysql-2.9.1/ext/mysql_api/gem_make.out
#
ruby 2.0.0p195 (2013-05-14 revision 40734) [i686-linux]
#
#
# gem install mysql
Fetching: mysql-2.9.1.gem (100%)
Building native extensions. This could take a while...
ERROR: Error installing mysql:
ERROR: Failed to build gem native extension.
/usr/local/bin/ruby extconf.rb
checking for mysql_ssl_set()... *** extconf.rb failed ***
Could not create Makefile due to some reason, probably lack of necessary
libraries and/or headers. Check the mkmf.log file for more details. You may
need configuration options.
Provided configuration options:
--with-opt-dir
--without-opt-dir
--with-opt-include
--without-opt-include=${opt-dir}/include
--with-opt-lib
--without-opt-lib=${opt-dir}/lib
--with-make-prog
--without-make-prog
--srcdir=.
--curdir
--ruby=/usr/local/bin/ruby
--with-mysql-config
--without-mysql-config
/usr/local/lib/ruby/2.0.0/mkmf.rb:431:in `try_do': The compiler failed to generate an executable file. (RuntimeError)
You have to install development tools first.
from /usr/local/lib/ruby/2.0.0/mkmf.rb:516:in `try_link0'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:531:in `try_link'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:717:in `try_func'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:1001:in `block in have_func'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:892:in `block in checking_for'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:337:in `block (2 levels) in postpone'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:307:in `open'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:337:in `block in postpone'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:307:in `open'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:333:in `postpone'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:891:in `checking_for'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:1000:in `have_func'
from extconf.rb:45:in `
Gem files will remain installed in /usr/local/lib/ruby/gems/2.0.0/gems/mysql-2.9.1 for inspection.
Results logged to /usr/local/lib/ruby/gems/2.0.0/gems/mysql-2.9.1/ext/mysql_api/gem_make.out
#
下記の方のエントリーを参考に、yum でmysql-develをインストトール
http://sweep3092.hatenablog.com/entry/2014/12/11/163108
# yum install mysql-devel
その後、改めて、bundle install を実施し、無事成功。
# gem install mysql
Building native extensions. This could take a while...
Successfully installed mysql-2.9.1
Parsing documentation for mysql-2.9.1
unable to convert "\xC0" from ASCII-8BIT to UTF-8 for lib/mysql/mysql_api.so, skipping
Installing ri documentation for mysql-2.9.1
1 gem installed
#
Building native extensions. This could take a while...
Successfully installed mysql-2.9.1
Parsing documentation for mysql-2.9.1
unable to convert "\xC0" from ASCII-8BIT to UTF-8 for lib/mysql/mysql_api.so, skipping
Installing ri documentation for mysql-2.9.1
1 gem installed
#
次に接続のプログラムを実行したところ、下記のエラーに遭遇。
#ruby db_reg.
rbdb_reg.rb:5:in `new': Unknown MySQL server host 'localhost;mysql_socket=/tmp/mysql.sock' (1) (Mysql::Error)
from db_reg.rb:5:in `'
#
rbdb_reg.rb:5:in `new': Unknown MySQL server host 'localhost;mysql_socket=/tmp/mysql.sock' (1) (Mysql::Error)
from db_reg.rb:5:in `
#
下記を参考に、ホスト名に「localhost」と指定したところ、
「127.0.0.1」に修正し、無事成功。
http://q.hatena.ne.jp/1273032729