#175 ごく稀にログが欠損する可能性を排除できない問題を修正

[tkhr-ueda]

close #175

実装内容

既存コードの修正

下記のコードを、集約対象のログファイルのリストを変数に格納した後、集約処理や削除処理を実行する際に当該変数を参照するように変更。

OsecT/osect_sensor/Infrastructure/edge_cron/work/ot_tools/bro.sh

Lines 17 to 18 in 6604b9b

	awk '$9<60{print}' $(find /usr/local/zeek/logs -name "conn.*.log") > "/usr/local/zeek/logs/conn_replace.log"
	rm $(find /usr/local/zeek/logs -name "conn.*.log")

OsecT/osect_sensor/Infrastructure/edge_cron/work/ot_tools/p0f.sh

Lines 4 to 6 in 6604b9b

	cat /var/log/p0f-k.log.* > p0f-k.log
	chmod 644 p0f-k.log
	rm /var/log/p0f-k.log.*

OsecT/osect_sensor/Infrastructure/edge_cron/work/ot_tools/suricata.sh

Lines 5 to 6 in 6604b9b

	cat /var/log/suricata/eve?*.json > $4/eve.json
	rm /var/log/suricata/eve?*.json

OsecT/osect_sensor/Infrastructure/edge_cron/work/ot_tools/yaf.sh

Lines 3 to 19 in 6604b9b

	merge_log () {
	cat $1 > $2
	sed -i '/^#/d' $2
	sed -i '1i #ts start-time end-time duration rtt proto sip sp dip dp srcMacAddress destMacAddress iflags uflags riflags ruflags isn risn tag rtag pktoct rpkt roct end-reason' $2
	}
	cd $1/$2 || exit
	flow=$(find "/var/log/yaf" -name "flow*.yaf")
	for flowfile in $flow; do
	/usr/local/bin/yafscii --tabular --print-header --mac --in $flowfile --out flow.csv
	cat flow.csv | /opt/ot_tools/yaf.awk > "$flowfile".log
	rm "$flowfile" flow.csv
	done
	merge_log "/var/log/yaf/flow*.log" "yaf_flow.log"
	rm /var/log/yaf/flow*.log

テストコードの追加

今回修正したスクリプトが動作することを確認するためのテストコードを追加。

OsecT$ cd osect_sensor                # osect_sensorディレクトリへ移動
OsecT/osect_sensor$ ./run_sh_test.sh  # テストコードを実行