アフィリエイト広告を利用しています
ファン
最新記事
写真ギャラリー
カテゴリーアーカイブ
日別アーカイブ
<< 2015年11月 >>
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30          

広告

この広告は30日以上更新がないブログに表示されております。
新規記事の投稿を行うことで、非表示にすることが可能です。
posted by fanblog

2015年11月29日

gemでのmysql のインストールエラー+接続エラーメモ

rubyからmysqlを操作するプログラムを書く必要があり、
CentOSで、bundle installを使用したところ、下記エラーが発生。

# ruby -v
ruby 2.0.0p195 (2013-05-14 revision 40734) [i686-linux]
#
#
# gem install mysql
Fetching: mysql-2.9.1.gem (100%)
Building native extensions. This could take a while...
ERROR: Error installing mysql:
ERROR: Failed to build gem native extension.

/usr/local/bin/ruby extconf.rb
checking for mysql_ssl_set()... *** extconf.rb failed ***
Could not create Makefile due to some reason, probably lack of necessary
libraries and/or headers. Check the mkmf.log file for more details. You may
need configuration options.

Provided configuration options:
--with-opt-dir
--without-opt-dir
--with-opt-include
--without-opt-include=${opt-dir}/include
--with-opt-lib
--without-opt-lib=${opt-dir}/lib
--with-make-prog
--without-make-prog
--srcdir=.
--curdir
--ruby=/usr/local/bin/ruby
--with-mysql-config
--without-mysql-config
/usr/local/lib/ruby/2.0.0/mkmf.rb:431:in `try_do': The compiler failed to generate an executable file. (RuntimeError)
You have to install development tools first.
from /usr/local/lib/ruby/2.0.0/mkmf.rb:516:in `try_link0'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:531:in `try_link'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:717:in `try_func'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:1001:in `block in have_func'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:892:in `block in checking_for'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:337:in `block (2 levels) in postpone'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:307:in `open'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:337:in `block in postpone'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:307:in `open'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:333:in `postpone'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:891:in `checking_for'
from /usr/local/lib/ruby/2.0.0/mkmf.rb:1000:in `have_func'
from extconf.rb:45:in `
'


Gem files will remain installed in /usr/local/lib/ruby/gems/2.0.0/gems/mysql-2.9.1 for inspection.
Results logged to /usr/local/lib/ruby/gems/2.0.0/gems/mysql-2.9.1/ext/mysql_api/gem_make.out
#

下記の方のエントリーを参考に、yum でmysql-develをインストトール
http://sweep3092.hatenablog.com/entry/2014/12/11/163108

# yum install mysql-devel


その後、改めて、bundle install を実施し、無事成功。
# gem install mysql
Building native extensions. This could take a while...
Successfully installed mysql-2.9.1
Parsing documentation for mysql-2.9.1
unable to convert "\xC0" from ASCII-8BIT to UTF-8 for lib/mysql/mysql_api.so, skipping
Installing ri documentation for mysql-2.9.1
1 gem installed
#

次に接続のプログラムを実行したところ、下記のエラーに遭遇。

#ruby db_reg.
rbdb_reg.rb:5:in `new': Unknown MySQL server host 'localhost;mysql_socket=/tmp/mysql.sock' (1) (Mysql::Error)
from db_reg.rb:5:in `
'
#


下記を参考に、ホスト名に「localhost」と指定したところ、
「127.0.0.1」に修正し、無事成功。

http://q.hatena.ne.jp/1273032729



2015年11月27日

LogStorage(Apacheログ取り込み)

前回の取り込みエラーを
受けて、原因わからず、とりあえず、Apacheログを使って、
下記のことはやりたかったため、強引に検証してみる。

(やりたいこと)

・Apache各項目に意味づけをした上でのログ取込定義
(※意味づけとは区切り文字(デリミタ)で区切って、各項目に意味づけをすることの意)
・FTPでの取り込み⇒検索⇒集計

(やってみたこと)

まず、ApacheのログをLogStorageに取り込みやすいよう
(意味づけの設定を簡単にするため)に、シンプルなログフォーマットに変換し、
変換後のフォーマットで、LogStorageに取り込んでみる。
その後、検索条件や集計条件を試してみる。


Apacheのログは、こんな感じで、フォーマット変換する。

・オリジナル
192.168.3.11 - - [15/Nov/2015:22:04:17 +0900] "GET /sec/ HTTP/1.1" 200 4054 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome
/42.0.2311.135 Safari/537.36 Edge/12.10240" (改行)


・変換後
2015/11/15,22:04:17,192.168.3.11,-,-,GET,/sec/,200,4054,-,Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/42.0.2311.135 Safari/5
37.36 Edge/12.10240(改行)


・手習いで、作成したフォーマット変換スクリプト(perl on Linux)
https://github.com/shi4669/LogStorage/blob/master/ApacheConv.pl

検証が目的なので、やり方は問わずで、Try & Errorしてやってみたこと。
@ Apacheログ取込定義

https://drive.google.com/file/d/0B2yjG8delT8WTzhEdXRVNWVqU1k/view?usp=sharing

A Apacheログ取込(FTP)

https://drive.google.com/file/d/0B2yjG8delT8WcFJTa1dWNjI5b3M/view?usp=sharing

B 検索条件カラム設定編

https://drive.google.com/file/d/0B2yjG8delT8WbUdMOXlhYWN5SkU/view?usp=sharing

C 集計設定

https://drive.google.com/file/d/0B2yjG8delT8WcTUwTmVFRDltUW8/view?usp=sharing


LogStorage(ログ取り込み時のエラー)

LogStorageにApacheログを取り込みを行ってみることに。

理想的には、Apacheログを直接取り込みを行い、
各種意味づけ(「,」などのデリミタで区切って各項目に意味づけを行うことの意)を
行い、レポートや集計を行うことが理想なものの、いまいちわからないため、
マニュアルに記載の下記のパターンを試してみることに。

@オリジナルログ(FTP)送信
 ↓
ALogStorage内蔵のperlを使用し、
 LogStorageに予め意味づけされたフォーマットに変換し、出力
 ↓
BAで出力されたログファイルをLogStorageに取り込み


ただし、Aの段階で、何度やっても下記のエラー。

2015-11-09 06:00:24,360 WARN [Ftplet-1] processing.ProcessingTask (ProcessingTask.java:148) - Cannot run program "perl": CreateProcess error=2, 指定されたファイルが見つかりません。
java.io.IOException: Cannot run program "perl": CreateProcess error=2, 指定されたファイルが見つかりません。


要は、「perlコマンドが見つからん」というエラーが発生しているのだが、
環境変数周りも見直し、実際にパスが通っていることを下記の通り
確認したものの、事象は変わらず。

C:\Users\Administrator>perl -v

This is perl 5, version 18, subversion 2 (v5.18.2) built for MSWin32-x86-multi-t
hread-64int

Copyright 1987-2013, Larry Wall

Perl may be copied only under the terms of either the Artistic License or the
GNU General Public License, which may be found in the Perl 5 source kit.

Complete documentation for Perl, including FAQ lists, should be found on
this system using "man perl" or "perldoc perl". If you have access to the
Internet, point your browser at http://www.perl.org/, the Perl Home Page.

C:\Users\Administrator>


Apacheのログを取り込むことが検証の目的なので、潔くあきらめ、
別の方法を試すことに。

続きは、後日。

「ロスト・インタビュー スティーブジョブズ 1995」と「闘うプログラマ」

「Jobs」前編の予告で、「ロスト・インタビュー スティーブジョブズ 1995」というものがあるのを発見。いまさらながら、Amazonで購入。なぜか、英語・日本語両方で読める模様。
印象になったところは、やはりここか…

臨場感があるので、英語と一緒に。

It's that people get confused.Companies get confused.
When they start getting biggier,they want to replicate theris initial sucess .
And a lot of them think,well,
somehow there is some magic in the process of how
that success was created so they start to try to insituionalize process across the company.

And before very long peple,get very confused
that the is the people in the world. We had a lot of people that were great at management
process. They just didn't have a clue as to the content.

And in my career I found that the best people , you know ,are the ones that
really understand the content and ther're a pain in the butt to manage.
But you put up with it because they are so great at the content.

And that's what makes great products It's not process.It's content.

みんな勘違いするんだよ。会社は勘違いするんだ。大きくなり始めると、
誰もが最初の成功を再現したいと思う。そして、成功したのは、
プロセスに何か魔法が潜んでいると考える人間が多い。だから全社的にプロセスを統一
しようとするんだ。ほどなくして、プロセスこそがコンテンツ(仕事の中身の意)だと、
みんな勘違いするようになる。

〜 本文では、ここからIBMのDisりが始まるので、略。〜

私はこれまでのキャリアのなかで、もっとも優れたコンテンツを理解できる人間だということ、
同時に彼らはうんざりするほど扱いにくい人間だということを知ったよ。

わかるだろう。それでも大目にみて受け入れるしかない。彼らはコンテンツに関しては、
極めて優秀だからだ。だからこそ、優れた製品ができあがるんだ。
プロセスじゃない。コンテンツなんだ。



図らずも長らくライバル関係にあったマイクロソフトの開発模様を
描いた「闘うプログラマ」で、ジョブスのいう「コンテンツを理解している人間」
の重要性を描写するシーンがあるのが、面白い。

シーンは、グラフィックに関する開発の遅れで
開発が難局に陥っているシーンで、グラフィックプログラミングの
猛者マークアブラッシュが入社し、ビルゲイツの質問を巧みに
回答する。そこで、ゲイツが
ゲイツはその場から立ち去りながら、こう考えていた。
「あいつは自分の仕事を知っている。」


以降、プロジェクトメンバー間での、マークアブラッシュ評は
下記のような共通認識となる。
マークアブラッシュは、どんなことでも追及する。
自分の仕事を良く知っている。マークルコフスキー※のようだ。

※APIを担当し、のちにGoogleに移籍したエンジニア


凡人サラリーマンにも、我が身にしみる。








LogStorage(FTPによるデータ取り込み)

LogStorageサーバ環境が整ってきたので、
実際に、データを取り込んでみる。

LogStorageでは、データを取り込むためのレシーバは既定値で8種類
それぞれのレシーバは下記の通り、

・UDPS(Syslog)レシーバ
・TCP(Syslog)
・FTPレシーバ
・SNMPトラップレシーバ
・アドホックファイルレシーバ
・LLTPレシーバ(LogStorage独自プロトコル)
・TLSレS(Syslog)シーバ


今回は、FTPでデータを送信し、FTPレシーバを使用し、
データをLogStorageに取り込む設定を行ってみた。





(FTPレシーバよるデータ取り込みをやってみた)
https://drive.google.com/file/d/0B2yjG8delT8WU2t5bXJ1UEpWa0E/view?usp=sharing
タグ:BigData

記憶に残る高校スラッガー(埼玉限定)


野球ネタで。

埼玉県で野球をやっていたアラフォー世代の視点で、
埼玉の高校スラッガーについて、ちょっと振り返ってみる。

主観的なものではあるが、個人的に印象が強いのは、

・鈴木健選手(浦和学院)
・山口幸司選手(大宮東)

の2人。当時は、埼玉県予選の準決勝・決勝は西武球場
だったため、両名とも西武球場に実際に憧れの目で見に行ったもの(当時私は小学生)だが
特に山口選手は、右バッターだったため、思いで深い。

そんな山口ファンにとって、今でも下記のような動画が見れるのはうれしい限り。

※当時は山口選手見たさに、ファンが結構来てました。
 (映像上の鷲宮戦、市立川口戦は、見に行ったなあ〜。)わーい(嬉しい顔)



当時の埼玉高校野球界は、強豪校がいまほど固定化されていなくて、各校に
タレントのある選手が散らばっていたです。

先の2名以外にも、例えば、市立川口の櫛毛選手、川口工業の鯉渕選手、
浦和学院の半波選手、大宮南の有馬選手なんかのスラッガーも印象深い。

また、当時(’80年代後半)、
高校野球であるものが大ヒットします。それは、


「ウィングフライト」!!


降りぬきやすさを重視したSSK制の金属バットです。exclamation

※山口選手もSSKのバット使ってるので、おそらくウィングフライトだと
思うが、確か、ローリングス製のバット(グリップが緑のやつ)と使い分けてた
記憶が(相当マニアックだが)...


いまでこそ、SSKのバットは高校球界でも、メインストリームの製品と
思うけれど、当時のメインストリームはミズノ、ゼットだった思う。
※池田(水野世代)、PL学園(KK世代)のイメージ強し。

ウイングフライトのヒットをきっかけに、SSKは立て続けに
ヒット商品ならびにスラッガーを輩出します。

例えば、

・オールポイント(上宮の元木('89) ⇒のち巨人)
・ダイナマイト(鹿児島実業の内之倉('90) ⇒のちダイエー)
・ダイナマイトフラッシュ(大阪桐蔭の萩原('91) ⇒のち阪神)
・コンドル(PL学園の福留('95) ⇒のち中日)


※製品名と使用選手はあくまで推測です・・

なので、いまだに草野球をする時はSSKのバットを使っちゃうんだよなぁ〜・・・

野球用品 エスエスケイ(SSK) 【SCN00115】 軟式用金属製バット スーパーニューコンドル HM 【25%OFF】 15SS

価格:16,200円
(2015/11/14 21:26時点)
感想(1件)



野球 バット 金属 【SSK】エスエスケイ 一般軟式バット HUNTER MAX hmn00115-9020 85cm

価格:30,240円
(2015/11/14 21:26時点)
感想(0件)


タグ:野球

LogStorage(インストール)


LogStorageの評価版のライセンスとメディアを入手したので、検証。
マニュアルもついていたので、まずはコンポーネントの整理。

概要は、下記を参照となるが、要はLogGateとコンソールを
インストールすれば、最低限の検証は実施できるっぽい。

※インフォテック社「Logstorageガイド 」より引用




そこで、下記の最小構成を用意し、インストールを実施。
イベントコレクタ(略してELCっていうらしいが・・)や
エージェントを使用したログの収集は、現時点ではよくわからんので、
FTPを使用したログの転送をしてみることにする。。。




とりあえず、動けばOKってノリでインストールした手順

・LogGate・コンソール インストール
https://drive.google.com/file/d/0B2yjG8delT8WYzlYV21Uc21lZFU/view?usp=sharing

タグ:BigData

LogStorage(セミナー参加)


インフォテック社主催のLogStorageのセミナーに参加し、情報収集。

以下のような感じのことを言っていた。

・1995年販売開始で、統合ログという言葉を初めて使った製品
・近々、LogStorage Ver5が発売予定。
・サポートの考え方は、使用している人がいる限り、サポートする。
 (Ver5 の発売が、Ver4のサポート期間への影響はない。)
・Splunkなどと比較し、BIツール的な使い方は弱いが、
 ログ管理機能については、強い(ログのロストなどの考慮が最も強い(ようだ))
・EventLogCorrectorを使用すれば、軽微な設定でWindowsイベントログ収取可能。


などなど

国内販売実績シェアは下記の通りの模様。(ちなみに3位がSplunk)





ライセンス体系については、下記の通り。





ついでに、評価版のライセンスをもらってきたので、検証がてら環境を構築して、
触ってみる予定。続きは、後日。


LogStorageとSplunk


最近、統合的なログ管理製品導入について、検討中。

Web業界であれば、OSS製品を使用し、テクニカルに
解決って話になるわけであるが、自分のいるところでは、
良くも悪くもメーカーの手厚いサポートがある製品が
必須ということで、下記の2つの製品について、検討。

・Splunk
・LogStorage(インフォテック社)

Splunkについては、下記の書籍が販売されていたので、
購入して、さっそく無償版を使用し、お勉強。



splunkはワールドワイドで有名な製品のため、自分なんかの感想より、
ネット上のあまたある情報を参照したほうが良いとは思うが、自分なりの感想。

・無償版の制限事項

・Splunkをインストールして60日間(トライアル期間)はフル機能利用可能。
・トライアル期間を過ぎると、1日の取り込みデータ量が最大500MBに制限
・1日の取り込みデータ量が上限を超えると、警告表示。
 その後、有償版では5回以上、無償版では3回以上の制限値越えで、
 サーチ機能が利用できなくなる。(これを回避するにはより上限の高いライセンス購入必須)
・取り込みデータ量は、非圧縮の生データ量で計算。


・ライセンス体系

 なんといっても、容量に応じたライセンス体系が自分のいるところではなじまない。
(容量に応じライセンスが変動(増加)した場合、その都度稟議ってつらい・・)

・機能面

 強力なクエリプロセッサがあるため、豊富なサーチコマンドを使用できる。
 先の書籍で記載されていたが、例えばのイメージは、こんな感じ(のようだ)。

 
※Apacheのログから、全体の件数およびバイトの最長、最短、平均の統計を算出
sourcetype=access_combined_wcookie | stats count as Total-Events,max(bytes),min(bytes),avg(bytes)


そのほか、いろいろなサンプルが先の書籍に紹介されていて、
勉強にはなったが、自分の周りでは、残念ながら使いこなせないだろう...

政治的かつ(ネガティブな)技術的理由で、LogStorageも含めて、
継続して、調査。続きは後日。


タグ:BigData

Checkpoint社製品 SHA-256ベース証明書への対応手順


ファイアーウォールで有名なCheckpoint社の
証明書がSHA-256ベースに移行される。

https://supportcenter.checkpoint.com/supportcenter/portal?eventSubmit_doGoviewsolutiondetails=&solutionid=sk103839

案の定、メーカからは「十分に検証の上対応を〜」と
来たので、検証。

不測の事態のため、切り戻しも検証。

なお、環境はCheckPoint R75.40(Gaia)を使用し、
手順は、アップグレードではなく、Hotfix適用の方法で実施。


@ゲートウェイ側hotfix適用編
https://drive.google.com/file/d/0B2yjG8delT8WOUtyOFhJdzZjQm8/view?usp=sharing

ASmartConsoleインストール編
https://drive.google.com/file/d/0B2yjG8delT8Wdll3OTdoTEFPeUE/view?usp=sharing

Bhotfixアンインストール編(切り戻し)
https://drive.google.com/file/d/0B2yjG8delT8WVHdldzhqUC1Xcjg/view?usp=sharing

検索
最新コメント
タグクラウド
プロフィール
さんの画像

アラフォー世代です。コンピュータ関連を中心に、戯言をグダグダと書き綴ってます。
プロフィール
×

この広告は30日以上新しい記事の更新がないブログに表示されております。