02_momentum_Tools » 01_PSCLI-Ruby

設定表示機能が追加されました。

PSCLI-Rubyの設定内容を表示する機能が追加されました。

動作イメージ：
Windows環境での動作例です。

C:\tools\pscli-2.9.0>ruby pscli.rb -h
Usage: pscli [options]
    -c, --command VAL                サービス情報|パケット集計|PCAP (I|F[H]|P[N][S])
    -a, --addr VAL                   接続先ProbeのIPaddress (xxx.xxx.xxx.xxx)
    -t, --time VAL                   集計開始時間 (YYYYMMDD[hh[mm[ss]]])
    -d, --duration VAL               集計秒 (数値[d|h|m]で、日|時|分の指定)
    -s, --step VAL                   刻み秒 (数値[d|h|m]で、日|時|分の指定)
    -i, --interface VAL              入力インターフェース (複数指定可)
    -n, --narrow VAL                 絞り込みの条件式
    -f, --field VAL                  グループ集計するフィールドタイプIDのリスト
    -p, --pcap VAL                   PCAPの出力先ファイル名
    -C, --Config                     設定の出力

C:\tools\pscli-2.9.0>ruby pscli.rb -C
[ Configuration of PSCLI-Ruby ]

tcp:
  IP                 : 172.16.182.108
  TEXT_SERVICE_PORT  : 5100
  BINARY_SERVICE_PORT: 5101
  TIMEOUT            : 60000 (unit: msec)
  RETURES            : 5

MESSAGE_LANG         : ja

extern:
  REORDER_APP_PATH   : C:\Program Files\Wireshark\reordercap.exe

duration:
  STEP_DEFAULT       : 3600 (unit: sec)

C:\tools\pscli-2.9.0>

設定：

本リリースの変更に際し、設定方法は変更されていません。
従来の設定はそのまま継続して利用することが可能です。

詳細は wiki - PSCLI設定ファイル を参照ください。

ダウンロード：

pscli-ruby-2.9.0-20180130.tgz

PSCLI-Rubyの動作する機器のtimezoneを自動認識するようになりました。

これまでのPSCLI-Rubyは設定ファイルでUTCとの時差を指定する仕組みで動作していました。
これがPSCLI-Rubyの動作する機器のtimezoneを自動認識して時差を調整する仕組みに変更されました。

この変更により、DST（Daylight Saving Time、サマータイム）のある地域においても、
運用負荷なくPSCLI-Rubyを利用することができます。

設定：

本リリースの変更に際し、設定書式が変更されています。
（従来の設定にあったTIME_OFFSETが削除されました。）

詳細は wiki - PSCLI設定ファイル を参照ください。

ダウンロード：

pscli-ruby-2.8.0-20171018.tgz

Probeへの接続タイムアウトに関する設定ができるようになりました。

Probeへの接続タイムアウトに関する設定が設定ファイルで設定できるようになりました。
追加された設定は次の通りです。

1. timeout：タイムアウト時間を指定（デフォルト：60,000ミリ秒）
2. retries：リトライ回数を指定（デフォルト：5回）

設定：

本リリースの変更に際し、設定書式が変更されています。
詳細は wiki - PSCLI設定ファイル を参照ください。

ダウンロード：

pscli-ruby-2.7.0-20171017.tgz

表示メッセージの言語を指定できるようになりました。

表示されるメッセージの言語を設定で指定できるようになりました。
日本語表示と英語表示を選択することができます。

動作イメージ：
日本語状態での動作例と、英語状態での動作例です。

日本語：

C:\tools\pscli>more config\config.yml
・・・略・・・
# MESSAGE_LANG : message language
#  en : English
#  ja : Japanese
#  (initial value : ja)
MESSAGE_LANG: ja
・・・略・・・
C:\tools\pscli>
C:\tools\pscli>ruby pscli.rb -a 172.16.182.108 -c I
フィールドタイプID:
   0.TEMPLATE_ID
   1.PROTOCOL
   2.IPV4_SRC_ADDR
   3.IPV4_DST_ADDR
   4.L4_SRC_PORT
   5.L4_DST_PORT
   6.ICMP_TYPE
   70.HTTP_NO_QUERY
入力インターフェース:
   1.eth0_0
最古日時:2017/09/26 14:48:00
PCAPバッファサイズ:314572800byte

C:\tools\pscli>ruby pscli.rb -a 172.16.182.108 -c FH -t 20170928080000 -d 10 -s 1
日時,パケット数,パケットサイズ
2017/09/28 08:00:00,235,99647
2017/09/28 08:00:01,143,76840
2017/09/28 08:00:02,152,71885
2017/09/28 08:00:03,195,96510
2017/09/28 08:00:04,208,128208
2017/09/28 08:00:05,118,25674
2017/09/28 08:00:06,139,27966
2017/09/28 08:00:07,165,25938
2017/09/28 08:00:08,103,11191
2017/09/28 08:00:09,190,38127

C:\tools\pscli>

C:\tools\pscli>more config\config.yml
・・・略・・・
# MESSAGE_LANG : message language
#  en : English
#  ja : Japanese
#  (initial value : ja)
MESSAGE_LANG: en
・・・略・・・
C:\tools\pscli>
C:\tools\pscli>ruby pscli.rb -a 172.16.182.108 -c I
field type:
   0.TEMPLATE_ID
   1.PROTOCOL
   2.IPV4_SRC_ADDR
   3.IPV4_DST_ADDR
   4.L4_SRC_PORT
   5.L4_DST_PORT
   6.ICMP_TYPE
   70.HTTP_NO_QUERY
input interface:
   1.eth0_0
the oldest date time:2017/09/26 14:48:00
PCAP buffer size:314572800byte

C:\tools\pscli>ruby pscli.rb -a 172.16.182.108 -c FH -t 20170928080000 -d 10 -s 1
date time,packet count,packet size
2017/09/28 08:00:00,235,99647
2017/09/28 08:00:01,143,76840
2017/09/28 08:00:02,152,71885
2017/09/28 08:00:03,195,96510
2017/09/28 08:00:04,208,128208
2017/09/28 08:00:05,118,25674
2017/09/28 08:00:06,139,27966
2017/09/28 08:00:07,165,25938
2017/09/28 08:00:08,103,11191
2017/09/28 08:00:09,190,38127

C:\tools\pscli>

設定：

本リリースの変更に際し、設定書式が変更されています。従来の設定とほぼ変わりませんが、詳細は wiki - PSCLI設定ファイル を参照ください。

ダウンロード：

pscli-ruby-2.6.0-20170928.tgz

バグフィックスを含むメンテナンスリリースです

次の点が変更されました。

1. 修正：データ取得時リトライ処理の改善（ver2.5.1で修正）
2. 変更：構成ファイルのディレクトリ利用による見通しの改善（ver2.5.2で変更）

通常の利用において違いはありませんが、安定性が向上し、使いやすくなりました。

機能拡張に相当する内容は本リリースには含まれていません。

設定：

本リリースの変更に際し、設定書式そのものは変更されていません。従来の設定はそのまま継続して利用することが可能です。
しかし、設定ファイルの置かれている場所が変更されました。（設定ファイルは、configディレクトリ内に移動されました。）

設定は、 wiki - PSCLI設定ファイル を参照ください。

ダウンロード：

pscli-ruby-2.5.2-20170908.tgz

接続先Probeをコマンドラインからも指定できるようになりました。

コマンドラインで接続先Probeを指定して特定のProbeを利用したり、コマンドラインで接続先Probeを指定せず設定ファイルで設定されたProbeを利用したりすることができるようになりました。
複数台のProbeを組み合わせて調査するようなシーンでの利便性が向上しました。

動作イメージ：
2台のProbeに対し、同じ時間帯の通信内容の状況を調査する様子の実行例です。
この例では説明上、172.16.1.10をProbe1、172.16.2.50をProbe2、とします。

C:\tools\pscli>more config.yml
---
tcp:
  IP: 172.16.1.10　　　　　←　設定ファイルで設定されたProbeがProbe1であることを確認
  TEXT_SERVICE_PORT: 5100
  BINARY_SERVICE_PORT: 5101
・
中略
・
C:\tools\pscli>
C:\tools\pscli>ruby pscli.rb -c I　　←　Probe1の情報を表示（設定ファイルに設定された情報を使用）
フィールドタイプID:
   0.TEMPLATE_ID
   1.PROTOCOL
   2.IPV4_SRC_ADDR
   3.IPV4_DST_ADDR
   4.L4_SRC_PORT
   5.L4_DST_PORT
   6.ICMP_TYPE
   70.HTTP_NO_QUERY
入力インターフェース:
   1.eth1_0
   2.eth2_0
開始時間:2017/09/05 10:30:00
PCAPバッファサイズ:314572800byte

C:\tools\pscli>
C:\tools\pscli>ruby pscli.rb -c I -a 172.16.1.10　　←　Probe1をコマンドラインで指定し、その情報を表示
フィールドタイプID:
   0.TEMPLATE_ID
   1.PROTOCOL
   2.IPV4_SRC_ADDR
   3.IPV4_DST_ADDR
   4.L4_SRC_PORT
   5.L4_DST_PORT
   6.ICMP_TYPE
   70.HTTP_NO_QUERY
入力インターフェース:
   1.eth1_0
   2.eth2_0
開始時間:2017/09/05 10:30:00
PCAPバッファサイズ:314572800byte

C:\tools\pscli>
C:\tools\pscli>ruby pscli.rb -c I -a 172.16.2.50　　←　Probe2の情報を表示
フィールドタイプID:
   0.TEMPLATE_ID
   1.PROTOCOL
   2.IPV4_SRC_ADDR
   3.IPV4_DST_ADDR
   4.L4_SRC_PORT
   5.L4_DST_PORT
   6.ICMP_TYPE
入力インターフェース:
   1.eth1_0
   2.eth2_0
開始時間:2017/08/29 15:33:41
PCAPバッファサイズ:3145728000byte

C:\tools\pscli>
C:\tools\pscli>ruby pscli.rb -c FH -t 20170907075500 -d 10 -s 1　　←　ある時間帯の通信を確認（設定ファイル指定されたProbe1の結果）
開始時間,パケット数,パケットサイズ
2017/09/07 07:55:00,26,3002
2017/09/07 07:55:01,32,9451
2017/09/07 07:55:02,68,4603
2017/09/07 07:55:03,126,47003
2017/09/07 07:55:04,54,19829
2017/09/07 07:55:05,23,1725
2017/09/07 07:55:06,40,4325
2017/09/07 07:55:07,105,17294
2017/09/07 07:55:08,174,32483
2017/09/07 07:55:09,397,253365

C:\tools\pscli>
C:\tools\pscli>ruby pscli.rb -c FH -a 172.16.1.10 -t 20170907075500 -d 10 -s 1　　←　ある時間帯の通信を確認（コマンドライン指定されたProbe1の結果）
開始時間,パケット数,パケットサイズ
2017/09/07 07:55:00,26,3002
2017/09/07 07:55:01,32,9451
2017/09/07 07:55:02,68,4603
2017/09/07 07:55:03,126,47003
2017/09/07 07:55:04,54,19829
2017/09/07 07:55:05,23,1725
2017/09/07 07:55:06,40,4325
2017/09/07 07:55:07,105,17294
2017/09/07 07:55:08,174,32483
2017/09/07 07:55:09,397,253365

C:\tools\pscli>
C:\tools\pscli>ruby pscli.rb -c FH -a 172.16.2.50 -t 20170907075500 -d 10 -s 1　　←　ある時間帯の通信を確認（コマンドライン指定されたProbe2の結果）

開始時間,パケット数,パケットサイズ
2017/09/07 07:55:00,0,0
2017/09/07 07:55:01,0,0
2017/09/07 07:55:02,0,0
2017/09/07 07:55:03,0,0
2017/09/07 07:55:04,0,0
2017/09/07 07:55:05,0,0
2017/09/07 07:55:06,0,0
2017/09/07 07:55:07,0,0
2017/09/07 07:55:08,0,0
2017/09/07 07:55:09,0,0

C:\tools\pscli>

設定：

本リリースの変更に際し、設定書式は変更されていません。従来の設定はそのまま継続して利用することが可能です。

設定は、 wiki - PSCLI設定ファイル を参照ください。

ダウンロード：

pscli-ruby-2.5.0-20170907.tgz

PSCLI-Rubyを任意のディレクトリから実行できるようになりました。

従来はPSCLI-Rubyが保存されている場所をカレントディレクトリとしてPSCLI-Rubyを実行する必要がありましたが、その必要がなくなりました。
PSCLI-Rubyを任意のディレクトリから実行できます。

動作イメージ：
PSCLI-Rubyを使ってpcapを取り出す際に、pcapを保存する場所から直接取り出しを行うことができます。
本機能により、これまでよりも直感的に調査を進めることができます。

C:\Users\User1\Desktop>mkdir research20170904　　　←　作業ディレクトリを作る

C:\Users\User1\Desktop>cd research20170904

C:\Users\User1\Desktop\research20170904>dir
 ドライブ C のボリューム ラベルは Windows7_OS です
 ボリューム シリアル番号は A426-254B です

 C:\Users\User1\Desktop\research20170904 のディレクトリ

2017/09/04  14:49    <DIR>          .
2017/09/04  14:49    <DIR>          ..
               0 個のファイル                   0 バイト
               2 個のディレクトリ  293,371,928,576 バイトの空き領域

C:\Users\User1\Desktop\research20170904>ruby c:\tools\pscli\pscli.rb -c FH -t 20170904130000 -d 2 -s 1　　　←　調査を行う
開始時間,パケット数,パケットサイズ
2017/09/04 13:00:00,1346,854042
2017/09/04 13:00:01,967,560365

C:\Users\User1\Desktop\research20170904>ruby c:\tools\pscli\pscli.rb -c P -t 20170904130000 -d 2 -s 1 -p output1.pcap　　　←　詳細解析したい範囲のpcapを取り出す
2017/09/04 13:00:00 >>> 875,578 byte
2017/09/04 13:00:01 >>> 575,837 byte
              TOTAL >>> 1,451,439 byte

C:\Users\User1\Desktop\research20170904>dir
 ドライブ C のボリューム ラベルは Windows7_OS です
 ボリューム シリアル番号は A426-254B です

 C:\Users\User1\Desktop\research20170904 のディレクトリ

2017/09/04  14:50    <DIR>          .
2017/09/04  14:50    <DIR>          ..
2017/09/04  14:50         1,451,439 output1.pcap　　　←　取り出したpcap
               1 個のファイル           1,451,439 バイト
               2 個のディレクトリ  293,369,782,272 バイトの空き領域

C:\Users\User1\Desktop\research20170904>

設定：

設定は、 wiki - PSCLI設定ファイル を参照ください。

ダウンロード：

pscli-ruby-2.4.0-20170904.tgz

PSCLI-Rubyにおいて、新しいloaderがサポートされました。

HTTPのURL情報を解釈できる仕組み（loader2_12）の利用がサポートされました。
loader2_12では、5tuple（source IP、destination IP、source port、destination port、protocol）に加え、HTTPのURLを検索条件に使った統計情報の検索が可能です。

動作イメージ：
PSCLI-Rubyを使って、loader2_12の動作するPSSを利用して個別調査する動作イメージです。
HTTP通信のpacketのURL部分に対し、前方一致、中間一致、後方一致での検索が可能です。
この動作例では、ある時間帯の通信に対し、秒毎の流量を確認、中間一致で内容を絞り込んで内容を確認、中間一致で絞り込んだ状態での秒毎の流量を確認、それをそのままpcapとして保存、を実施しています。

# ruby ./pscli.rb -c I
フィールドタイプID:
   0.TEMPLATE_ID
   1.PROTOCOL
   2.IPV4_SRC_ADDR
   3.IPV4_DST_ADDR
   4.L4_SRC_PORT
   5.L4_DST_PORT
   6.ICMP_TYPE
   70.HTTP_NO_QUERY
入力インターフェース:
   1.eth0_0
開始時間:2017/08/21 09:08:00
PCAPバッファサイズ:314572800byte
# 
# ruby ./pscli.rb -c FH -t 20170824134300 -d 10 -s 1 
開始時間,パケット数,パケットサイズ
2017/08/24 13:43:00,1047,616759
2017/08/24 13:43:01,395,165415
2017/08/24 13:43:02,877,555116
2017/08/24 13:43:03,858,506251
2017/08/24 13:43:04,1335,675379
2017/08/24 13:43:05,1144,526594
2017/08/24 13:43:06,1021,462830
2017/08/24 13:43:07,2046,1168658
2017/08/24 13:43:08,1020,471040
2017/08/24 13:43:09,411,136813
[root@dev-dnsv pscli-ruby]# ruby ./pscli.rb -c FH -t 20170824134300 -d 10 -s 1 -n '70=*terilogy*' -f '70' | grep -e html
www.terilogy.com:/momentum/lineup/probe_type-r.html,1,624
www.terilogy.com:/momentum/index.html,1,619
www.terilogy.com:/momentum/jichitai/index.html,1,633
# 
# ruby ./pscli.rb -c FH -t 20170824134300 -d 10 -s 1 -n '70=*terilogy*' 
開始時間,パケット数,パケットサイズ
2017/08/24 13:43:00,16,8793
2017/08/24 13:43:01,0,0
2017/08/24 13:43:02,0,0
2017/08/24 13:43:03,0,0
2017/08/24 13:43:04,9,5194
2017/08/24 13:43:05,0,0
2017/08/24 13:43:06,0,0
2017/08/24 13:43:07,18,10031
2017/08/24 13:43:08,0,0
2017/08/24 13:43:09,0,0
# 
# ruby ./pscli.rb -c P -t 20170824134300 -d 10 -s 1 -n '70=*terilogy*' -p /root/tmp/output-1.pcap
2017/08/24 13:43:00 >>> 9,049 byte
2017/08/24 13:43:01 >>> 0 byte
2017/08/24 13:43:02 >>> 0 byte
2017/08/24 13:43:03 >>> 0 byte
2017/08/24 13:43:04 >>> 5,338 byte
2017/08/24 13:43:05 >>> 0 byte
2017/08/24 13:43:06 >>> 0 byte
2017/08/24 13:43:07 >>> 10,319 byte
2017/08/24 13:43:08 >>> 0 byte
2017/08/24 13:43:09 >>> 0 byte
              TOTAL >>> 24,730 byte
# 
# ls -al /root/tmp/output-1.pcap
-rw-r--r--. 1 root root 24730 Aug 24 14:00 /root/tmp/output-1.pcap
# 
# capinfos /root/tmp/output-1.pcap
File name:           /root/tmp/output-1.pcap
File type:           Wireshark/tcpdump/... - pcap
File encapsulation:  Ethernet
Packet size limit:   file hdr: 65536 bytes
Number of packets:   43 
File size:           24 kB
Data size:           24 kB
Capture duration:    8 seconds
Start time:          Thu Aug 24 13:43:00 2017
End time:            Thu Aug 24 13:43:07 2017
Data byte rate:      3,082 bytes/s
Data bit rate:       24 kbps
Average packet size: 558.56 bytes
Average packet rate: 5 packets/sec
SHA1:                c00ebb04a01771b426c876aa96413c97b55b3814
RIPEMD160:           743da5b80fb5639e88d715a6df1e3afc67b17a9a
MD5:                 cabc7c1342351649bc770ebdc71d1707
Strict time order:   False
# 

本機能により、さまざまな観点での詳細調査を実現します。

設定：

設定は、 wiki - PSCLI設定ファイル を参照ください。

ダウンロード：

pscli-ruby-2.3.1-20170824.tgz