momentum_TAPAS

PCAP保存順次実施機構にリトライ機能が搭載されました

使用方法はこれまでと変わりませんが、高負荷な環境における安定性が向上しました。

設定：

本機能の拡張に際し、設定書式は変更されていません。従来の設定はそのまま継続して利用することが可能です。

設定については、 wiki - 機器設定 を参照ください。
バージョンアップして使用される場合、 wiki - バージョンアップについて を参照ください。

upgrade時に引継ぎができる要素は、次のとおりです。

ダウンロード：
syslog_integration-3.03.00-20170228.tgz

両方向の通信を処理できるツールの追加

指定した条件によって、両方向の通信を処理できるツールが追加されました。

実行イメージ：
特定のsrc-IPとdst-portに関する両方向の通信量を確認する
（特定のクライアントが利用する特定のサービスの動きについて調査することができます）

# psclic_both_directions 172.16.182.108 F 20170216150000 3 1 sip_dport 172.16.101.163_80
[ -a 172.16.182.108 -c F -t 20170216150000 -d 3 -s 1 -n '2=172.16.101.163 5=80 ' ]
[start time]    [packets]       [bytes]
2017/02/16 15:00:00     110     13,641
2017/02/16 15:00:01     385     30,243
2017/02/16 15:00:02     455     37,239
--------------------------------------------
 [ total ] : 950 packets : 81,123 bytes
[ -a 172.16.182.108 -c F -t 20170216150000 -d 3 -s 1 -n '3=172.16.101.163 4=80 ' ]
[start time]    [packets]       [bytes]
2017/02/16 15:00:00     179     222,179
2017/02/16 15:00:01     671     866,277
2017/02/16 15:00:02     765     1,014,839
--------------------------------------------
 [ total ] : 1,615 packets : 2,103,295 bytes
# 

特定のsrc-IPとdst-portに関する両方向のpcapを保存する
（特定のクライアントが利用する特定のサービスの動きについて調査することができます）

# psclic_both_directions 172.16.182.108 P 20170216150000 3 1 sip_dport 172.16.101.163_80
[ -a 172.16.182.108 -c P -t 20170216150000 -d 3 -s 1 -n '2=172.16.101.163 5=80 ' -p /root/pcap/24801_1.pcap ]
#1 : writing 2017/02/16 15:00:00 (1 sec) - 15,401 bytes
#2 : writing 2017/02/16 15:00:01 (1 sec) - 36,403 bytes
#3 : writing 2017/02/16 15:00:02 (1 sec) - 44,519 bytes
    /root/pcap/24801_1.pcap : 96,347 bytes
[ -a 172.16.182.108 -c P -t 20170216150000 -d 3 -s 1 -n '3=172.16.101.163 4=80 ' -p /root/pcap/24801_2.pcap ]
#1 : writing 2017/02/16 15:00:00 (1 sec) - 225,043 bytes
#2 : writing 2017/02/16 15:00:01 (1 sec) - 877,013 bytes
#3 : writing 2017/02/16 15:00:02 (1 sec) - 1,027,079 bytes
    /root/pcap/24801_2.pcap : 2,129,159 bytes

pcap file:
-rw-r--r-- 1 root root 2270100 Feb 16 16:48 /root/pcap/24801.pcap
# 

他に、ipのみ指定、portのみ指定、などの使い方もできます。

利用環境：
開発は、CentOS6 x86_64で行っています。
CentOS7 x86_64、ubuntu 16.04 x86_64、CentOS6 x86_64、などの環境で利用することができます。

ドキュメント：
インストール方法については、 wiki - インストール を参照ください。
設定については、 wiki - 設定 を参照ください。
ツールの使い方については、 wiki - psclic_both_directions操作方法 を参照ください。

ダウンロード：
pscli-c-1.04.00-20170216.tgz

調査内容全体をログファイルに保存する機能が追加されました。

画面イメージ：
ログの保存を開始する画面イメージ
「access log - Start」メニューで、ファイル名を指定して保存を開始します。
「access log - Stop」メニューで、保存を終了します。

これに伴い、従来のログ機能は、名称がaudit log機能に変更されました。

設定については、 wiki - 設定項目 - logセクション を参照してください。

ver2.0.0以降のinstallerを利用されている場合は、installerを実行するだけでバージョンアップが可能です。
詳細は wikiの「3.3. PSGUI-Winのバージョンアップ」 を確認ください。

ダウンロード：
PSGUI-Win-3.16.00-amd64-20170202.msi
PSGUI-Win-3.16.00-amd64-20170202.zip

CSVとSSVの設定において、UTC/GMTの時刻フォーマット指定ができるようになりました。

これまでの設定機能に加え、CSVとSSVの設定において、UTC/GMTの時刻フォーマット指定ができるようになりました。
より多くの機器に対応することができるようになりました。

設定例：

設定：

本機能の拡張に際し、設定可能な範囲は拡張されましたが、従来の設定はそのまま継続して利用することが可能です。

設定については、 wiki - 機器設定 を参照ください。
バージョンアップして使用される場合、 wiki - バージョンアップについて を参照ください。

upgrade時に引継ぎができる要素は、次のとおりです。

ダウンロード：
syslog_integration-3.02.00-20170131.tgz

ワイルドカードでの絞り込み機能に関する不具合を修正しました。

前方一致と後方一致の条件指定の実装が逆になっていました。
本バージョンで修正されています。

実行イメージ：
前方一致、後方一致、中間一致の実行イメージ

# psclic -c fh -t 20170126090000 -d 2 -f 7 -n '7=www.teri*'
[ -a 172.16.183.93 -c F -t 20170126090000 -d 2 -s 2 -f '7' -n '7=www.teri*' ]
[HTTP_URL/DNS_NAME]     [packets]       [bytes]
www.terilogy.com        2,030   170,520
--------------------------------------------
 [ total ] : 2,030 packets : 170,520 bytes
# 
# psclic -c fh -t 20170126090000 -d 2 -f 7 -n '7=*terilogy.com'
[ -a 172.16.183.93 -c F -t 20170126090000 -d 2 -s 2 -f '7' -n '7=*terilogy.com' ]
[HTTP_URL/DNS_NAME]     [packets]       [bytes]
web.terilogy.com        2,029   168,400
terilogy.com    4,057   414,798
mail.terilogy.com       2,030   246,645
smtp.terilogy.com       2,030   172,550
www.terilogy.com        2,030   170,520
www1.terilogy.com       3,914   332,674
--------------------------------------------
 [ total ] : 16,090 packets : 1,505,587 bytes
# 
# psclic -c fh -t 20170126090000 -d 2 -f 7 -n '7=*teri*'
[ -a 172.16.183.93 -c F -t 20170126090000 -d 2 -s 2 -f '7' -n '7=*teri*' ]
[HTTP_URL/DNS_NAME]     [packets]       [bytes]
web.terilogy.com        2,029   168,400
terilogy.com    4,057   414,798
mail.terilogy.com       2,030   246,645
smtp.terilogy.com       2,030   172,550
www.terilogy.com        2,030   170,520
www1.terilogy.com       3,914   332,674
--------------------------------------------
 [ total ] : 16,090 packets : 1,505,587 bytes
# 

利用環境：
開発は、CentOS6 x86_64で行っています。
CentOS6 x86_64、CentOS7 x86_64、ubuntu 16.04 x86_64、などの環境で利用することができます。

ドキュメント：
インストール方法については、 wiki - インストール を参照ください。
設定については、 wiki - 設定 を参照ください。

ダウンロード：
pscli-c-1.03.01-20170126.tgz

CLIの設定表示機能が拡張されました。

これまでの表示に加え、swatchの設定内容も表示することができます。
より手間なく設定内容の確認ができるようになりました。

実行例：

CLI設定表示機能の動作例を表示隠す

# /opt/momentum_client/bin/show_config.pl 
[[[ momentum syslog integration configuration ]]]

[[ version ]]
  version       : "momentum SYSLOG integration v3.00.00" 

[[ device ]]
[device id : 1]
  [device info]
    device type : "non_filter" 
    log format  : "ssv" (space-separated variables)
  [pcap download params]

[device id : 2]
  [device info]
    device type : "palo_alto_5tuple" 
    log format  : "csv" (comma-separated variables)
    time format : "%Y/%m/%d %H:%M:%S" 
  [pcap download params]
    time        : "1" 
    protocol    : "29" 
    ipsrc       : "7" 
    ipdst       : "8" 
    portsrc     : "24" 
    portdst     : "25" 

[device id : 3]
  [device info]
    device type : "palo_alto_iponly" 
    log format  : "csv" (comma-separated variables)
    time format : "%Y/%m/%d %H:%M:%S" 
  [pcap download params]
    time        : "1" 
    ipsrc       : "7" 
    ipdst       : "8" 

[device id : 4]
  [device info]
    device type : "tippintpoint_4tuple" 
    log format  : "cef" (CEF variables)
    time format : "msec" 
  [pcap download params]
    time        : "2_rt" 
    ipsrc       : "2_src" 
    ipdst       : "2_dst" 
    portsrc     : "2_spt" 
    portdst     : "2_dpt" 

[device id : 5]
  [device info]
    device type : "lastline_iponly" 
    log format  : "cef" (CEF variables)
    time format : "%b %e %Y %H:%M:%S UTC" 
  [pcap download params]
    start       : "2_start" 
    end : "2_end" 
    ipsrc       : "2_src" 
    ipdst       : "2_dst" 

[[ pcap timing ]]
  sleep time    : "15" (sec)
  diff time     : "60" (sec)
  duration      : "65" (sec)

  # [ image of pcap timing ]
  # default: [sleeptime: 15; diff_time: 60; duration: 65;]
  #    sleeptime : Time to wait for processing of present packet
  #                (If it's received in 9:10:11, it begins at 9:10:26.)
  #
  #    diff_time(x - diff_time)            syslog receive timing(x)
  #    |(ex: 09:09:11)                     |(ex: 09:10:11)
  #    v                                   v
  #    ############################################
  #    ^                                          ^
  #    |<-----------   duration   --------------->|
  #    start(x - diff_time)                       end(x - diff_time + duration)
  #    (ex: 09:09:11)                             (ex: 09:10:16)

[[ pcap cleaner ]]
  clean time    : "180" (day)

[[ disk check ]]
  facility      : "local6" 
  threshold     : "90" (%)

[[ debug output ]]
  facility      : "local6" 
  state         : "off" 

[[ pss check ]]
  facility      : "local6" 

[[ pss access ]]
  mode          : "psbcq" 

[[ psbcq ]]
  psbcq_ip              : "localhost" 
  psbcq_port            : "5111" 
  log_info              : "0" 
  log_queue             : "0" 
  log_pscli             : "0" 
  log_pscli_detail      : "0" 

[[ swatch config ]]

[ /opt/momentum_client/conf/local0.conf ]
watchfor /THREAT,[^,]+,[^,]+,[^,]+,([^,]+),([^,]+),/
        threshold track_by=$1:$2,type=limit,count=1,seconds=60
        pipe "/opt/momentum_client/bin/syslog_pcap_save.pl 172.16.182.108 2" 
watchfor /CEF.+TippingPoint.+ (src|dst|spt|dpt)=([^ ]+).* (src|dst|spt|dpt)=([^ ]+).* (src|dst|spt|dpt)=([^ ]+).* (src|dst|spt|dpt)=([^ ]+)/
        threshold track_by=$2:$4:$6:$8,type=limit,count=1,seconds=60
        pipe "/opt/momentum_client/bin/syslog_pcap_save.pl 172.16.180.110 4" 
watchfor /CEF.+Lastline.+ (src|dst)=([^ ]+) .* (src|dst)=([^ ]+)/
        threshold track_by=$2:$4,type=limit,count=1,seconds=60
        pipe "/opt/momentum_client/bin/syslog_pcap_save.pl 172.16.180.110 5" 

[ /opt/momentum_client/conf/local1.conf ]
watchfor /THREAT,[^,]+,[^,]+,[^,]+,([^,]+),([^,]+),/
        threshold track_by=$1:$2,type=limit,count=1,seconds=60
        pipe "/opt/momentum_client/bin/syslog_pcap_save.pl 172.16.182.109 2" 
#

設定：

本機能の拡張に関して、設定項目の追加・変更などはありません。

設定については、 wiki - 機器設定 を参照ください。
バージョンアップして使用される場合、 wiki - バージョンアップについて を参照ください。

upgrade時に引継ぎができる要素は、次のとおりです。

ダウンロード：
syslog_integration-3.01.00-20170126.tgz

CEF (Common Event Format)のログを出力する機器と連携する機能が実装されました。

これまでの連携対象に加え、CEF形式のログを出力する機器と連携することができます。
今回のリリースではTippingPointの出力するログに対応できることを確認しています。

より多くの機器と連携した利用ができるようになりました。

設定：

本機能の拡張に際し、設定項目の追加・変更が実施されました。
ver3.00.00未満のバージョンの設定とは細かな部分が異なっており、過去の設定ファイルをそのまま使用することはできません。

バージョンアップして使用される場合、 wiki - バージョンアップについて を参照ください。
設定については、 wiki - 機器設定 を参照ください。

upgrade時に引継ぎができる要素は、次のとおりです。

ダウンロード：
syslog_integration-3.00.00-20170125.tgz

pcap上書き確認機能の追加

保存しようとしている名称のpcapファイルが既に存在している場合に、上書きするかを確認する機能が追加されました。

実行イメージ：

# psclic -c P -t 20170116000000 -d 3 -s 1 -p output1.pcap
    The file exists. : [ /root/pcap/output1.pcap ]
  overwrite?[y/N]: 
  canceled.
# 
# 
# psclic -c P -t 20170116000000 -d 3 -s 1 -p output1.pcap
    The file exists. : [ /root/pcap/output1.pcap ]
  overwrite?[y/N]: y
  overwrite...
[ -a 172.16.183.93 -c P -t 20170116000000 -d 3 -s 1 -p /root/pcap/output1.pcap ]
#1 : writing 2017/01/16 00:00:00 (1 sec) - 3,134,971 bytes
#2 : writing 2017/01/16 00:00:01 (1 sec) - 3,785,981 bytes
#3 : writing 2017/01/16 00:00:02 (1 sec) - 5,159,126 bytes
    /root/pcap/output1.pcap : 12,080,102 bytes
# 

利用環境：
開発は、CentOS6 x86_64で行っています。
CentOS6 x86_64、CentOS7 x86_64、ubuntu 16.04 x86_64、などの環境で利用することができます。

ドキュメント：
インストール方法については、 wiki - インストール を参照ください。
設定については、 wiki - 設定 を参照ください。

ダウンロード：
pscli-c-1.03.00-20170116.tgz

ステータス画面が拡張されました。

これまでのステータス画面では、ディスク使用状態や、ディスク使用量の傾向などを確認する機能が搭載されていました。
今回、以下の機能が拡張実装されました。

1. 監視対象（連携対象）となっているlogファイルの最新の数行の表示機能
   ログの追記状況が簡単に確認できます。
2. PASTEの動作に必要なdaemon群の動作状態表示機能
   daemonが正常動作している場合は緑で状態を表示、daemonが停止しているなどの場合は赤で状態を表示します。
   簡単に状態を確認できます。
3. pcap生成状況の表示機能
   1. pcapの生成された過去数日のpcapファイル数の表示機能
   2. もっとも最近に生成されたいくつかのpcapファイルの表示機能

より簡単にシステムの動作状態を確認することができるようになりました。

ステータス画面イメージ：
正常動作している場合の表示例です。

設定：

本機能の拡張に関して、設定項目の追加・変更などはありません。

設定については、 wiki - 機器設定 を参照ください。
upgrade時に引継ぎができる要素は、次のとおりです。

ダウンロード：
syslog_integration-2.02.00-20170113.tgz

設定確認機能の追加

設定されている内容を確認することができる機能が追加されました。

コマンドラインオプションに「-C」を指定することで、設定内容を確認できます。

実行イメージ：

# psclic
Usage : psclic <options>
  -c : command VAL   : Info | Flow(Header) | Pcap (I | F[H] | P)
  -a : address VAL   : IP address of Probe        (xxx.xxx.xxx.xxx)
  -t : time VAL      : start time                 (YYYYMMDD[hh[mm[ss]]])
  -d : duration VAL  : aggregate time             (sec)
  -s : step VAL      : interval time              (sec)
  -i : interface VAL : capture interface
  -n : narrow VAL    : filter expression
  -f : field VAL     : list of field type IDs summarized into lines
  -p : pcap VAL      : PCAP output file name
  -C : Configuration : show psclic configuration
  -h : help          : show psclic help
  -v : version       : show psclic version
#
#
# psclic -C
[ Configuration of PSCLI-C ]
  probeip             : [172.16.183.93]   (IP address of Probe)
  delimiter           : [1]               ("0":comma,   "1":TAB)
  log_audit           : [1]               ("0":disable, "1":enable)
  log_audit_facility  : [LOG_LOCAL1]      ("LOG_LOCAL0" ~ "LOG_LOCAL7")
  minimum_requirement : [5000]            (disk space (unit: Mbytes))
  timezone            : [-9]              (hours from UTC)
#

利用環境：
開発は、CentOS6 x86_64で行っています。
CentOS6 x86_64、CentOS7 x86_64、ubuntu 16.04 x86_64、などの環境で利用することができます。

ドキュメント：
インストール方法については、 wiki - インストール を参照ください。
設定については、 wiki - 設定 を参照ください。

ダウンロード：
pscli-c-1.02.00-20170105.tgz