本文へ移動

トピック一覧 / 日常操作

ログ・CSV・テキストを抽出して集計

到達確認:手作業の転記なしでエラー件数・上位IP・必要な列を抽出し、入力ログを保全すること。Stage 2、24-4〜6を使います。

使うコマンド

cat less head tail grep sed awk cut sort uniq wc tr tee paste join comm diff patch iconv

実習と検証状況

ネイティブ実習 (本物のツール)

  • python3 -m engine.toolbox start shell パイプ・終了コード・標準エラーを扱う
    ネイティブ実機検証済み
  • python3 -m engine.toolbox start regex 正規表現の梯子: grep -E/-o/-w/-v・sed -E 後方参照・awk -F 正規表現区切り
    ネイティブ: 追加直後、実機での検証記録は未整理

VM実習 (使い捨てVMが必要)

このトピックに対応づけたVM実習はありません。

ブラウザー版は模擬ターミナルです。上の実習は教材をダウンロードして自分の環境で行います。

練習ミッション (9件)

  • 1-7
  • 2-2
  • 2-5
  • 2-7
  • 2-8
  • 17-7
  • 24-4
  • 24-5
  • EX-5

テキスト・ログ・CSV

less の /語 と n、head、tail -n、tail -f、grep -n -C 2 で巨大ログの必要な部分を読みます。sort | uniq -c | sort -nr で件数を集計し、awk -F, で単純なCSVの列を扱います。引用符内にカンマや改行を含むCSVは単純な区切り処理では壊れるので、Pythonの csv などを使います。

sed -E の置換結果はまず標準出力へ出し、diff -u original edited で確認してから置き換えます。iconv の入力・出力文字コードを明示します。文字列、数値順、ロケールの違いで結果が変わることを説明します。

到達確認:手作業の転記なしでエラー件数・上位IP・必要な列を抽出し、入力ログを保全すること。Stage 2、24-4〜6を使います。