新規記事の投稿を行うことで、非表示にすることが可能です。
2015年11月27日
LogStorage(Apacheログ取り込み）
前回の取り込みエラーを
受けて、原因わからず、とりあえず、Apacheログを使って、
下記のことはやりたかったため、強引に検証してみる。
（やりたいこと）
・Apache各項目に意味づけをした上でのログ取込定義
（※意味づけとは区切り文字（デリミタ）で区切って、各項目に意味づけをすることの意）
・FTPでの取り込み⇒検索⇒集計
（やってみたこと）
まず、ApacheのログをLogStorageに取り込みやすいよう
（意味づけの設定を簡単にするため）に、シンプルなログフォーマットに変換し、
変換後のフォーマットで、LogStorageに取り込んでみる。
その後、検索条件や集計条件を試してみる。
Apacheのログは、こんな感じで、フォーマット変換する。
・オリジナル
・変換後
・手習いで、作成したフォーマット変換スクリプト(perl on Linux)
https://github.com/shi4669/LogStorage/blob/master/ApacheConv.pl
検証が目的なので、やり方は問わずで、Try & Errorしてやってみたこと。
① Apacheログ取込定義
https://drive.google.com/file/d/0B2yjG8delT8WTzhEdXRVNWVqU1k/view?usp=sharing
② Apacheログ取込(FTP)
https://drive.google.com/file/d/0B2yjG8delT8WcFJTa1dWNjI5b3M/view?usp=sharing
③ 検索条件カラム設定編
https://drive.google.com/file/d/0B2yjG8delT8WbUdMOXlhYWN5SkU/view?usp=sharing
④ 集計設定
https://drive.google.com/file/d/0B2yjG8delT8WcTUwTmVFRDltUW8/view?usp=sharing
受けて、原因わからず、とりあえず、Apacheログを使って、
下記のことはやりたかったため、強引に検証してみる。
（やりたいこと）
・Apache各項目に意味づけをした上でのログ取込定義
（※意味づけとは区切り文字（デリミタ）で区切って、各項目に意味づけをすることの意）
・FTPでの取り込み⇒検索⇒集計
（やってみたこと）
まず、ApacheのログをLogStorageに取り込みやすいよう
（意味づけの設定を簡単にするため）に、シンプルなログフォーマットに変換し、
変換後のフォーマットで、LogStorageに取り込んでみる。
その後、検索条件や集計条件を試してみる。
Apacheのログは、こんな感じで、フォーマット変換する。
・オリジナル
192.168.3.11 - - [15/Nov/2015:22:04:17 +0900] "GET /sec/ HTTP/1.1" 200 4054 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome
/42.0.2311.135 Safari/537.36 Edge/12.10240" （改行）
/42.0.2311.135 Safari/537.36 Edge/12.10240" （改行）
・変換後
2015/11/15,22:04:17,192.168.3.11,-,-,GET,/sec/,200,4054,-,Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/42.0.2311.135 Safari/5
37.36 Edge/12.10240（改行）
37.36 Edge/12.10240（改行）
・手習いで、作成したフォーマット変換スクリプト(perl on Linux)
https://github.com/shi4669/LogStorage/blob/master/ApacheConv.pl
検証が目的なので、やり方は問わずで、Try & Errorしてやってみたこと。
① Apacheログ取込定義
https://drive.google.com/file/d/0B2yjG8delT8WTzhEdXRVNWVqU1k/view?usp=sharing
② Apacheログ取込(FTP)
https://drive.google.com/file/d/0B2yjG8delT8WcFJTa1dWNjI5b3M/view?usp=sharing
③ 検索条件カラム設定編
https://drive.google.com/file/d/0B2yjG8delT8WbUdMOXlhYWN5SkU/view?usp=sharing
④ 集計設定
https://drive.google.com/file/d/0B2yjG8delT8WcTUwTmVFRDltUW8/view?usp=sharing
【このカテゴリーの最新記事】
-
no image
-
no image
-
no image
-
no image
-
no image
LogStorage(ログ取り込み時のエラー）
LogStorageにApacheログを取り込みを行ってみることに。
理想的には、Apacheログを直接取り込みを行い、
各種意味づけ（「,」などのデリミタで区切って各項目に意味づけを行うことの意）を
行い、レポートや集計を行うことが理想なものの、いまいちわからないため、
マニュアルに記載の下記のパターンを試してみることに。
①オリジナルログ（ＦＴＰ）送信
↓
②LogStorage内蔵のperlを使用し、
LogStorageに予め意味づけされたフォーマットに変換し、出力
↓
③②で出力されたログファイルをLogStorageに取り込み
ただし、②の段階で、何度やっても下記のエラー。
要は、「perlコマンドが見つからん」というエラーが発生しているのだが、
環境変数周りも見直し、実際にパスが通っていることを下記の通り
確認したものの、事象は変わらず。
Apacheのログを取り込むことが検証の目的なので、潔くあきらめ、
別の方法を試すことに。
続きは、後日。
理想的には、Apacheログを直接取り込みを行い、
各種意味づけ（「,」などのデリミタで区切って各項目に意味づけを行うことの意）を
行い、レポートや集計を行うことが理想なものの、いまいちわからないため、
マニュアルに記載の下記のパターンを試してみることに。
①オリジナルログ（ＦＴＰ）送信
↓
②LogStorage内蔵のperlを使用し、
LogStorageに予め意味づけされたフォーマットに変換し、出力
↓
③②で出力されたログファイルをLogStorageに取り込み
ただし、②の段階で、何度やっても下記のエラー。
2015-11-09 06:00:24,360 WARN [Ftplet-1] processing.ProcessingTask (ProcessingTask.java:148) - Cannot run program "perl": CreateProcess error=2, 指定されたファイルが見つかりません。
java.io.IOException: Cannot run program "perl": CreateProcess error=2, 指定されたファイルが見つかりません。
java.io.IOException: Cannot run program "perl": CreateProcess error=2, 指定されたファイルが見つかりません。
要は、「perlコマンドが見つからん」というエラーが発生しているのだが、
環境変数周りも見直し、実際にパスが通っていることを下記の通り
確認したものの、事象は変わらず。
C:\Users\Administrator>perl -v
This is perl 5, version 18, subversion 2 (v5.18.2) built for MSWin32-x86-multi-t
hread-64int
Copyright 1987-2013, Larry Wall
Perl may be copied only under the terms of either the Artistic License or the
GNU General Public License, which may be found in the Perl 5 source kit.
Complete documentation for Perl, including FAQ lists, should be found on
this system using "man perl" or "perldoc perl". If you have access to the
Internet, point your browser at http://www.perl.org/, the Perl Home Page.
C:\Users\Administrator>
This is perl 5, version 18, subversion 2 (v5.18.2) built for MSWin32-x86-multi-t
hread-64int
Copyright 1987-2013, Larry Wall
Perl may be copied only under the terms of either the Artistic License or the
GNU General Public License, which may be found in the Perl 5 source kit.
Complete documentation for Perl, including FAQ lists, should be found on
this system using "man perl" or "perldoc perl". If you have access to the
Internet, point your browser at http://www.perl.org/, the Perl Home Page.
C:\Users\Administrator>
Apacheのログを取り込むことが検証の目的なので、潔くあきらめ、
別の方法を試すことに。
続きは、後日。
「ロスト・インタビュー スティーブジョブズ １９９５」と「闘うプログラマ」
「Jobs」前編の予告で、「ロスト・インタビュー スティーブジョブズ １９９５」というものがあるのを発見。いまさらながら、Amazonで購入。なぜか、英語・日本語両方で読める模様。
印象になったところは、やはりここか…
臨場感があるので、英語と一緒に。
図らずも長らくライバル関係にあったマイクロソフトの開発模様を
描いた「闘うプログラマ」で、ジョブスのいう「コンテンツを理解している人間」
の重要性を描写するシーンがあるのが、面白い。
シーンは、グラフィックに関する開発の遅れで
開発が難局に陥っているシーンで、グラフィックプログラミングの
猛者マークアブラッシュが入社し、ビルゲイツの質問を巧みに
回答する。そこで、ゲイツが
以降、プロジェクトメンバー間での、マークアブラッシュ評は
下記のような共通認識となる。
凡人サラリーマンにも、我が身にしみる。
印象になったところは、やはりここか…
臨場感があるので、英語と一緒に。
It's that people get confused.Companies get confused.
When they start getting biggier,they want to replicate theris initial sucess .
And a lot of them think,well,
somehow there is some magic in the process of how
that success was created so they start to try to insituionalize process across the company.
And before very long peple,get very confused
that the is the people in the world. We had a lot of people that were great at management
process. They just didn't have a clue as to the content.
And in my career I found that the best people , you know ,are the ones that
really understand the content and ther're a pain in the butt to manage.
But you put up with it because they are so great at the content.
And that's what makes great products It's not process.It's content.
みんな勘違いするんだよ。会社は勘違いするんだ。大きくなり始めると、
誰もが最初の成功を再現したいと思う。そして、成功したのは、
プロセスに何か魔法が潜んでいると考える人間が多い。だから全社的にプロセスを統一
しようとするんだ。ほどなくして、プロセスこそがコンテンツ（仕事の中身の意）だと、
みんな勘違いするようになる。
～ 本文では、ここからＩＢＭのDisりが始まるので、略。～
私はこれまでのキャリアのなかで、もっとも優れたコンテンツを理解できる人間だということ、
同時に彼らはうんざりするほど扱いにくい人間だということを知ったよ。
わかるだろう。それでも大目にみて受け入れるしかない。彼らはコンテンツに関しては、
極めて優秀だからだ。だからこそ、優れた製品ができあがるんだ。
プロセスじゃない。コンテンツなんだ。
When they start getting biggier,they want to replicate theris initial sucess .
And a lot of them think,well,
somehow there is some magic in the process of how
that success was created so they start to try to insituionalize process across the company.
And before very long peple,get very confused
that the is the people in the world. We had a lot of people that were great at management
process. They just didn't have a clue as to the content.
And in my career I found that the best people , you know ,are the ones that
really understand the content and ther're a pain in the butt to manage.
But you put up with it because they are so great at the content.
And that's what makes great products It's not process.It's content.
みんな勘違いするんだよ。会社は勘違いするんだ。大きくなり始めると、
誰もが最初の成功を再現したいと思う。そして、成功したのは、
プロセスに何か魔法が潜んでいると考える人間が多い。だから全社的にプロセスを統一
しようとするんだ。ほどなくして、プロセスこそがコンテンツ（仕事の中身の意）だと、
みんな勘違いするようになる。
～ 本文では、ここからＩＢＭのDisりが始まるので、略。～
私はこれまでのキャリアのなかで、もっとも優れたコンテンツを理解できる人間だということ、
同時に彼らはうんざりするほど扱いにくい人間だということを知ったよ。
わかるだろう。それでも大目にみて受け入れるしかない。彼らはコンテンツに関しては、
極めて優秀だからだ。だからこそ、優れた製品ができあがるんだ。
プロセスじゃない。コンテンツなんだ。
図らずも長らくライバル関係にあったマイクロソフトの開発模様を
描いた「闘うプログラマ」で、ジョブスのいう「コンテンツを理解している人間」
の重要性を描写するシーンがあるのが、面白い。
シーンは、グラフィックに関する開発の遅れで
開発が難局に陥っているシーンで、グラフィックプログラミングの
猛者マークアブラッシュが入社し、ビルゲイツの質問を巧みに
回答する。そこで、ゲイツが
ゲイツはその場から立ち去りながら、こう考えていた。
「あいつは自分の仕事を知っている。」
「あいつは自分の仕事を知っている。」
以降、プロジェクトメンバー間での、マークアブラッシュ評は
下記のような共通認識となる。
マークアブラッシュは、どんなことでも追及する。
自分の仕事を良く知っている。マークルコフスキー※のようだ。
※ＡＰＩを担当し、のちにGoogleに移籍したエンジニア
自分の仕事を良く知っている。マークルコフスキー※のようだ。
※ＡＰＩを担当し、のちにGoogleに移籍したエンジニア
凡人サラリーマンにも、我が身にしみる。
LogStorage(FTPによるデータ取り込み）
LogStorageサーバ環境が整ってきたので、
実際に、データを取り込んでみる。
LogStorageでは、データを取り込むためのレシーバは既定値で8種類
それぞれのレシーバは下記の通り、
・UDPS(Syslog)レシーバ
・TCP(Syslog)
・FTPレシーバ
・SNMPトラップレシーバ
・アドホックファイルレシーバ
・LLTPレシーバ(LogStorage独自プロトコル）
・TLSレS(Syslog)シーバ
今回は、FTPでデータを送信し、FTPレシーバを使用し、
データをLogStorageに取り込む設定を行ってみた。
(FTPレシーバよるデータ取り込みをやってみた）
https://drive.google.com/file/d/0B2yjG8delT8WU2t5bXJ1UEpWa0E/view?usp=sharing
実際に、データを取り込んでみる。
LogStorageでは、データを取り込むためのレシーバは既定値で8種類
それぞれのレシーバは下記の通り、
・UDPS(Syslog)レシーバ
・TCP(Syslog)
・FTPレシーバ
・SNMPトラップレシーバ
・アドホックファイルレシーバ
・LLTPレシーバ(LogStorage独自プロトコル）
・TLSレS(Syslog)シーバ
今回は、FTPでデータを送信し、FTPレシーバを使用し、
データをLogStorageに取り込む設定を行ってみた。
(FTPレシーバよるデータ取り込みをやってみた）
https://drive.google.com/file/d/0B2yjG8delT8WU2t5bXJ1UEpWa0E/view?usp=sharing
タグ：BigData
記憶に残る高校スラッガー（埼玉限定）
野球ネタで。
埼玉県で野球をやっていたアラフォー世代の視点で、
埼玉の高校スラッガーについて、ちょっと振り返ってみる。
主観的なものではあるが、個人的に印象が強いのは、
・鈴木健選手（浦和学院）
・山口幸司選手（大宮東）
の2人。当時は、埼玉県予選の準決勝・決勝は西武球場
だったため、両名とも西武球場に実際に憧れの目で見に行ったもの（当時私は小学生）だが
特に山口選手は、右バッターだったため、思いで深い。
そんな山口ファンにとって、今でも下記のような動画が見れるのはうれしい限り。
※当時は山口選手見たさに、ファンが結構来てました。
（映像上の鷲宮戦、市立川口戦は、見に行ったなあ～。）
当時の埼玉高校野球界は、強豪校がいまほど固定化されていなくて、各校に
タレントのある選手が散らばっていたです。
先の2名以外にも、例えば、市立川口の櫛毛選手、川口工業の鯉渕選手、
浦和学院の半波選手、大宮南の有馬選手なんかのスラッガーも印象深い。
また、当時（’８０年代後半）、
高校野球であるものが大ヒットします。それは、
「ウィングフライト」！！
降りぬきやすさを重視したＳＳＫ制の金属バットです。
※山口選手もＳＳＫのバット使ってるので、おそらくウィングフライトだと
思うが、確か、ローリングス製のバット（グリップが緑のやつ）と使い分けてた
記憶が（相当マニアックだが）．．．
いまでこそ、ＳＳＫのバットは高校球界でも、メインストリームの製品と
思うけれど、当時のメインストリームはミズノ、ゼットだった思う。
※池田（水野世代）、ＰＬ学園（ＫＫ世代）のイメージ強し。
ウイングフライトのヒットをきっかけに、ＳＳＫは立て続けに
ヒット商品ならびにスラッガーを輩出します。
例えば、
・オールポイント（上宮の元木（'89) ⇒のち巨人）
・ダイナマイト（鹿児島実業の内之倉（'90) ⇒のちダイエー）
・ダイナマイトフラッシュ（大阪桐蔭の萩原（'91) ⇒のち阪神）
・コンドル（ＰＬ学園の福留（'95) ⇒のち中日）
※製品名と使用選手はあくまで推測です・・
なので、いまだに草野球をする時はＳＳＫのバットを使っちゃうんだよなぁ～・・・
 | 野球用品 エスエスケイ（SSK） 【SCN00115】 軟式用金属製バット スーパーニューコンドル HM 【25%OFF】 15SS 価格:16,200円 |
 | 野球 バット 金属 【SSK】エスエスケイ 一般軟式バット HUNTER MAX hmn00115-9020 85cm 価格:30,240円 |
タグ：野球
LogStorage（インストール）
LogStorageの評価版のライセンスとメディアを入手したので、検証。
マニュアルもついていたので、まずはコンポーネントの整理。
概要は、下記を参照となるが、要はLogGateとコンソールを
インストールすれば、最低限の検証は実施できるっぽい。
※インフォテック社「Logstorageガイド 」より引用
そこで、下記の最小構成を用意し、インストールを実施。
イベントコレクタ(略してELCっていうらしいが・・）や
エージェントを使用したログの収集は、現時点ではよくわからんので、
ＦＴＰを使用したログの転送をしてみることにする。。。
とりあえず、動けばＯＫってノリでインストールした手順
・LogGate・コンソール インストール
https://drive.google.com/file/d/0B2yjG8delT8WYzlYV21Uc21lZFU/view?usp=sharing
タグ：BigData
LogStorage（セミナー参加）
インフォテック社主催のLogStorageのセミナーに参加し、情報収集。
以下のような感じのことを言っていた。
・1995年販売開始で、統合ログという言葉を初めて使った製品
・近々、LogStorage Ver5が発売予定。
・サポートの考え方は、使用している人がいる限り、サポートする。
（Ver5 の発売が、Ver4のサポート期間への影響はない。）
・Splunkなどと比較し、BIツール的な使い方は弱いが、
ログ管理機能については、強い（ログのロストなどの考慮が最も強い（ようだ））
・EventLogCorrectorを使用すれば、軽微な設定でWindowsイベントログ収取可能。
などなど
国内販売実績シェアは下記の通りの模様。（ちなみに3位がSplunk)
ライセンス体系については、下記の通り。
ついでに、評価版のライセンスをもらってきたので、検証がてら環境を構築して、
触ってみる予定。続きは、後日。
タグ：BigData
LogStorageとSplunk
最近、統合的なログ管理製品導入について、検討中。
Web業界であれば、OSS製品を使用し、テクニカルに
解決って話になるわけであるが、自分のいるところでは、
良くも悪くもメーカーの手厚いサポートがある製品が
必須ということで、下記の２つの製品について、検討。
・Splunk
・LogStorage(インフォテック社）
Splunkについては、下記の書籍が販売されていたので、
購入して、さっそく無償版を使用し、お勉強。
splunkはワールドワイドで有名な製品のため、自分なんかの感想より、
ネット上のあまたある情報を参照したほうが良いとは思うが、自分なりの感想。
・無償版の制限事項
・Splunkをインストールして60日間（トライアル期間）はフル機能利用可能。
・トライアル期間を過ぎると、１日の取り込みデータ量が最大５００ＭＢに制限
・１日の取り込みデータ量が上限を超えると、警告表示。
その後、有償版では５回以上、無償版では３回以上の制限値越えで、
サーチ機能が利用できなくなる。（これを回避するにはより上限の高いライセンス購入必須）
・取り込みデータ量は、非圧縮の生データ量で計算。
・ライセンス体系
なんといっても、容量に応じたライセンス体系が自分のいるところではなじまない。
（容量に応じライセンスが変動（増加）した場合、その都度稟議ってつらい・・）
・機能面
強力なクエリプロセッサがあるため、豊富なサーチコマンドを使用できる。
先の書籍で記載されていたが、例えばのイメージは、こんな感じ(のようだ）。
| ※Apacheのログから、全体の件数およびバイトの最長、最短、平均の統計を算出 sourcetype=access_combined_wcookie | stats count as Total-Events,max(bytes),min(bytes),avg(bytes) |
|---|
そのほか、いろいろなサンプルが先の書籍に紹介されていて、
勉強にはなったが、自分の周りでは、残念ながら使いこなせないだろう．．．
政治的かつ（ネガティブな）技術的理由で、LogStorageも含めて、
継続して、調査。続きは後日。
タグ：BigData
Checkpoint社製品 SHA-256ベース証明書への対応手順
ファイアーウォールで有名なCheckpoint社の
証明書がSHA-256ベースに移行される。
https://supportcenter.checkpoint.com/supportcenter/portal?eventSubmit_doGoviewsolutiondetails=&solutionid=sk103839
案の定、メーカからは「十分に検証の上対応を～」と
来たので、検証。
不測の事態のため、切り戻しも検証。
なお、環境はCheckPoint R75.40(Gaia)を使用し、
手順は、アップグレードではなく、Hotfix適用の方法で実施。
①ゲートウェイ側hotfix適用編
https://drive.google.com/file/d/0B2yjG8delT8WOUtyOFhJdzZjQm8/view?usp=sharing
②SmartConsoleインストール編
https://drive.google.com/file/d/0B2yjG8delT8Wdll3OTdoTEFPeUE/view?usp=sharing
③hotfixアンインストール編（切り戻し）
https://drive.google.com/file/d/0B2yjG8delT8WVHdldzhqUC1Xcjg/view?usp=sharing
SQLServer2014SP1インストール (on WindowsServer2012R2)
最近、システム更改では概ねがSQLServer2014SP1の導入が
メインとなるため、あらかじめインストールの検証を実施しておいたため、
その備忘録。案の定、.netFramework3.5 SP1のインストールではまる。
①.netFramework3.5 SP1インストール
https://drive.google.com/file/d/0B2yjG8delT8WTFRIRnQ5Skh0YUE/view?usp=sharing
②SQLServer2014SP1インストール
https://drive.google.com/file/d/0B2yjG8delT8Wb04wUERlckVjc0k/view?usp=sharing
※とりあえず、よくわかないため、フルインストールした。インストール後のドライブの消費量もメモ。
メインとなるため、あらかじめインストールの検証を実施しておいたため、
その備忘録。案の定、.netFramework3.5 SP1のインストールではまる。
①.netFramework3.5 SP1インストール
https://drive.google.com/file/d/0B2yjG8delT8WTFRIRnQ5Skh0YUE/view?usp=sharing
②SQLServer2014SP1インストール
https://drive.google.com/file/d/0B2yjG8delT8Wb04wUERlckVjc0k/view?usp=sharing
※とりあえず、よくわかないため、フルインストールした。インストール後のドライブの消費量もメモ。
タグ：DB
