※有料会員になるとこの動画をご利用いただけます
詳しい説明を読む
＃11:ファイル処理
このチャプターでは、バッチ処理などで用いるファイル処理のアルゴリズムについて学習します。
バッチ処理: データ収集やデータ分析など、時間のかかる大量の処理をまとめておこなう処理方式。
ファイル処理とバッチ処理は密接に関連している。
バッチ処理で扱う大量のデータはファイル形式で処理することが多いため。
前処理: ファイルを開き、必要に応じて内容を主記憶に読み込む
主処理: ファイルが開かれた後に実際にデータに対して処理をおこなう
後処理: 処理が終わった後にファイルを保存したり閉じたりする
データを特定の順序に並べ替える処理。
ソートアルゴリズムを用いる。
後続の処理ステップでは、データが特定の順序に並んでいることが前提となることがある。
また、その後の処理を効率的におこなうことができるという点でも、整列処理は重要な役割を果たす。
複数のデータを 1 つのデータにまとめる処理。
データのグループ化や集計をおこなう処理。
特定の条件に基づいてデータをグループ化し、各グループに対して集計処理をおこなう。
整列されていると一部分のみについて処理をおこなうことができ、効率的。
データの整形や検証、変換をおこなう処理。
入力されたデータがそのままでは利用できない場合や、特定の形式で出力する必要がある場合に必要不可欠。
データの利用目的への適合性を保証し、エラーがシステム全体に伝播するのを防ぐうえでとても重要。