ファイルマッピングとは?初心者にも分かる基礎解説共起語・同意語・対義語も併せて解説!

  • このエントリーをはてなブックマークに追加
ファイルマッピングとは?初心者にも分かる基礎解説共起語・同意語・対義語も併せて解説!
この記事を書いた人

高岡智則

年齢:33歳 性別:男性 職業:Webディレクター(兼ライティング・SNS運用担当) 居住地:東京都杉並区・永福町の1LDKマンション 出身地:神奈川県川崎市 身長:176cm 体系:細身〜普通(最近ちょっとお腹が気になる) 血液型:A型 誕生日:1992年11月20日 最終学歴:明治大学・情報コミュニケーション学部卒 通勤:京王井の頭線で渋谷まで(通勤20分) 家族構成:一人暮らし、実家には両親と2歳下の妹 恋愛事情:独身。彼女は2年いない(本人は「忙しいだけ」と言い張る)


ファイルマッピングとは何か

ファイルマッピングとは大きなファイルを扱うときの技法の一つです。ファイルマッピングはファイルを読み込む際に、ファイル全体を連続してメモリ上に展開するのではなく、OS がファイルとプロセスの仮想メモリ空間を結びつける仕組みです。これにより必要な部分だけが実際のメモリへ読み込まれ、残りは後で必要になったときに読み込まれます。

この仕組みは大きなデータを扱うときに有効で、特に大きな画像データや動画データ、データベースのファイルなどを扱う場面で使われます。遅延読み込みと呼ばれる性質により、必要になった箇所だけ読み出すことができます。

仕組みの概要

仕組みは次のとおりです。ファイルマッピングを作成すると、OS はファイルとプロセスの仮想メモリ空間を結びつけます。映し出された領域は実際にはディスクのデータを指す参照であり、アクセスが行われるとそのとき初めて物理メモリへデータがロードされます。これにより、プログラムはファイルの一部をまるで自分のメモリに入っているかのように扱えます。

重要な点として、ファイルの変更はメモリ上の領域を介してファイルへ伝搬します。書き込み時の同期ページアウトの挙動はOSに任せられるため、開発者は適切なタイミングでデータをflushする必要があることがあります。

メリットとデメリット

メリットには次のものがあります。大きなファイルを全てメモリに展開せずに済む点、乱雑アクセスでも効率よくデータを取得できる点、複数のプロセスで同じファイルを共有しやすい点などです。

一方でデメリットとしては、プラットフォーム依存の挙動書き込み時の同期の難しさ長時間読み取りが連続する場合のページアウト動作などが挙げられます。特定の環境ではメモリの割り当てやキャッシュの挙動が異なるため、移植性を考える際には注意が必要です。

使い方の概要と注意点

プラットフォームごとに提供される関数やモジュールが異なります。代表的な例として、Unix系の mmapWindows の CreateFileMapping と MapViewOfFilePython の mmap モジュールなどがあります。ここでは実装コードは省略しますが、概念としては以下のような流れです。

まず対象ファイルを開き、次にファイルを仮想メモリ空間へ地図づけ、最後に地図づけられた領域へアクセスします。アクセス時にOSが必要なページを読み込み、必要であれば他のページを置き換えます。重要なのは、読み込みの最小化と適切な同期です。処理が完了したら地図づけを解除します。

従来のI/Oとの比較

項目ファイルマッピングの特徴従来のI/O の特徴
データの読み込み必要な部分だけを遅延ロードファイル全体またはブロックを直接読み込む
メモリの使い方仮想メモリと連携して部分的に使用実メモリに連続的にデータを展開することが多い
速度と性能大きなファイルや乱雑アクセスで有利になることがある連続読み込みが中心で大規模データには向かない場合がある
共有と並行複数プロセスでの共有が比較的容易共有は難しく、別ファイルとしての管理になることが多い

実世界での使い方の例

ファイルマッピングは画像処理や動画処理、データ解析の分野でよく使われます。大きなログファイルを順次読むのではなく、必要な期間だけを地図づけて閲覧・検索することで、メモリとディスクの負荷を抑えることができます。

注意点として、正しく同期をとることファイルの整合性を保つことOSの制限を理解することが挙げられます。特に同じファイルを複数のプロセスから更新する場合には競合を避けるための施策が必要です。

まとめ

ファイルマッピングは大きなデータを効率的に扱う強力な手法の一つです。適切に使えばI/O待ちを減らし、データへ素早くアクセスできますが、同時にOS依存の挙動を理解し、同期と整合性を保つ工夫が必要です。


ファイルマッピングの同意語

ファイルマッピング
ファイルを仮想メモリ空間にマッピングし、アプリケーションがファイルの内容を直接メモリ上で参照できるようにする技術。IOの回数を減らして高速化を図る目的で使われる。
メモリマッピング
ファイルやデバイスなどを仮想メモリ空間に割り当てる技術(memory mapping)の総称。OSの機能として提供され、アクセスをメモリ風に扱える。
メモリマップドファイル
memory-mapped file の日本語表現。ファイルをメモリ上に展開して、ポインタ経由で直接読み書きできるようにする方式。
メモリマッピング済みファイル
すでにメモリにマッピング済みとなっているファイルを指す表現。
メモリ上のファイル割り当て
ファイルを仮想メモリ空間に割り当て、ファイルの内容を直接参照できるようにする操作・状態。
仮想メモリ割り当てファイル
仮想メモリを用いてファイルをアドレス空間へ割り当てる技術や状態を指す表現。
ファイルの仮想メモリ化
ファイルを仮想メモリで扱えるように変換・適用する技術・処理。
ファイルをメモリへマッピング
ファイルを直接メモリ上のアドレスに対応づけ、ポインタ経由でアクセス可能にする操作・設計思想。

ファイルマッピングの対義語・反対語

直接ファイルアクセス
ファイルをメモリにマッピングせず、OSの通常のファイルI/Oで直接読み書きする方法。ビューを作成せず、データを必要時にディスクから読み出すスタイル
非メモリマッピング
memory-mappedファイルを使わないアプローチ全般を指す表現。メモリ上のファイルビューを作成しない点が特徴。
逐次ファイルアクセス
データを連続的・順番に読み書きする方法。ランダムアクセスを前提とするファイルマッピングとは対照的。
ディスクI/O直アクセス
ディスクへ直接I/Oを行い、メモリマッピングやキャッシュのビューを介さない読み書きのこと。
メモリマッピングなし
メモリマッピングを全く使わない状態を指す表現。ファイルをメモリ上に展開しないことを意
ファイルストリーム読み込み
ファイルをストリームとして連続的に読み込む方式。全体を一括でマッピングするのではなく、逐次処理が中心。
物理ファイル参照のみ
仮想化されたメモリマッピングではなく、物理的なファイル参照・アクセスのみを用いる表現。

ファイルマッピングの共起語

メモリマッピング
ファイルの内容を仮想メモリのアドレス空間に対応づける技術。必要な時だけデータを読み込み、ディスクI/Oを減らすことができます。
メモリマップドファイル
ファイルを仮想メモリへ直接割り当て、メモリ上の領域としてデータにアクセスするファイルのこと。
仮想メモリ
OSが提供する、実際の物理RAMと補助記憶を組み合わせた大きなアドレス空間。
アドレス空間
プロセスが使える仮想的な連続メモリ領域。
ページング
仮想メモリをページと呼ばれる小さな区切りで管理し、必要なデータだけを物理メモリに読み込みます。
ページファイル/スワップ
仮想メモリが不足した場合にデータを一時的にディスクへ退避する領域。
ファイルI/O
ファイルの読み書きを行う基本的な入出力処理全般。
ファイルシステム
ファイルを保存・整理するOSの仕組み。
共有メモリ
複数のプロセスが同じ物理メモリ領域を共有してデータを利用する仕組み
セクション
ファイルマッピングでファイルとメモリを結びつける基本単位。Windows などで使われます。
セクションオブジェクト
ファイルやメモリのマッピング作成・管理を行うオブジェクト。
マッピングオブジェクト
アドレス空間とデータ源(ファイル/メモリ)を結び付ける情報を表すオブジェクト。
アクセス権/保護
マッピング領域に対する読み取り・書き込み・実行などの権限設定。
ロック/同期
複数のスレッドが同じデータに同時に触れないようにする仕組み。
フォーマンス
ファイルマッピングを活用するとI/O回数の削減や遅延の低減などの性能効果が得られる場合があります。
大容量ファイル
大きなサイズのファイルを効率よく扱える点がメリット。
キャッシュ
OSのデータキャッシュによってアクセスを高速化する仕組み。
直接メモリアクセス/ゼロコピー
データをユーザー空間から直接メモリへ読み込み、I/Oを減らす技術。
MemoryMappedFile
.NET などの環境で提供される、ファイルをメモリ上にマッピングする機能。
CreateFileMapping
Windows API のファイルをマッピング用のオブジェクトとして作成する関数。
MapViewOfFile
Windows API の、マッピングされたファイルをプロセスのアドレス空間にマップする関数。
セキュリティ/リスク
ファイルマッピングを介した情報漏えい・権限誤設定などのリスクに留意する必要があります。
用途/メリット
大容量データの高速アクセス、ランダムアクセスの効率化、I/O待ちの軽減などが挙げられます。
実装言語/環境
C/C++、C#、Java など、言語や環境ごとの実装パターンが存在します。

ファイルマッピングの関連用語

メモリマッピング
ファイルやデバイスを仮想メモリのアドレス空間に直接割り当て、データの読み書きをメモリ経由で行える技術です。
mmap
POSIX規格のメモリマッピングAPI。ファイルや匿名メモリを仮想アドレス空間にマップします。
munmap
mmapで割り当てた領域を解放する関数です。
コピーオンライト
書き込みが発生した時点で初期データのページを別のコピーに分離して変更を保存する戦略で、メモリマッピングでも利用されます。
仮想アドレス空間
プロセスが利用できる仮想的なメモリアドレスの範囲。OSが実体の物理メモリと対応づけます。
ページング
仮想メモリと物理メモリを結ぶ仕組み。必要に応じてページを読み出します。
ページフォールト
マッピングされたページが物理メモリに存在しない場合に発生する割り込み。ページを読み込みます。
ページサイズ
1ページの大きさ。一般には4KBなど、OSやアーキテクチャにより異なります。
物理メモリ
実際のRAM。仮想メモリとの対応を通じてデータを保持します。
共有メモリ
複数のプロセスが同じメモリ領域を共有できる仕組み。メモリマッピングを用いた協調に利用されます。
大規模ファイルサポート
大きなファイルを扱えるようOS・APIが提供する機能群の総称です。
ファイルロック
ファイルへの同時アクセスを制御して整合性を保つ仕組み。
バッファリング
I/Oを中間のバッファに蓄えて読み書きを効率化する従来の手法。メモリマッピングと比較されることがあります。
ファイルI/O
従来のファイルの読み書き方法。メモリマッピングと選択肢として対比されます。
Windowsでのメモリマップトファイル
Windowsでファイルを仮想メモリにマップする仕組みの総称です。
CreateFileMapping
Windows APIの1つ。ファイルをマッピングオブジェクトとして作成します。
MapViewOfFile
Windows APIでファイルを仮想メモリにマッピングしたビューを作成します。
UnmapViewOfFile
Windowsで作成したビューを解放します。
msync
POSIXで、マップ領域の変更をディスクへ同期します。
mprotect
仮想メモリ領域の保護属性を設定します(読み取り・書き込み・実行の許可など)。
ビュー
マッピングされた領域をプロセスの仮想アドレス空間に表示する“ビュー”の概念です。
オフセットとサイズ
ファイルのどの位置から、どの長さをマッピングするかを指定します。

インターネット・コンピュータの人気記事

awstatsとは?初心者でもわかる使い方と基本解説共起語・同意語・対義語も併せて解説!
14308viws
bing・とは?初心者のための基本ガイド:検索エンジンの仕組みと使い方共起語・同意語・対義語も併せて解説!
2381viws
着信転送とは?初心者向けガイドで分かる使い方と設定のコツ共起語・同意語・対義語も併せて解説!
1057viws
差し込み印刷・とは?初心者でもすぐわかる使い方と仕組みガイド共起語・同意語・対義語も併せて解説!
1017viws
com端子・とは?初心者にも分かる基礎ガイド|シリアルポートの使い方と歴史を解説共起語・同意語・対義語も併せて解説!
911viws
充電アダプターとは何かを徹底解説|初心者でも分かる基本と選び方のコツ共起語・同意語・対義語も併せて解説!
885viws
全角文字とは?初心者向け解説|全角と半角の違いをやさしく学ぶ共起語・同意語・対義語も併せて解説!
817viws
7zファイル・とは?初心者でもわかる使い方と特徴を解説共起語・同意語・対義語も併せて解説!
813viws
pinロックとは?初心者が知っておくべき基本と使い方ガイド共起語・同意語・対義語も併せて解説!
786viws
リマインドメールとは?初心者にもわかる基本ガイドと使い方のコツ共起語・同意語・対義語も併せて解説!
770viws
none とは?初心者にもやさしく解説する意味と使い方ガイド共起語・同意語・対義語も併せて解説!
703viws
16進数カラーコード・とは?初心者でもつまずかない基礎と使い方ガイド共起語・同意語・対義語も併せて解説!
659viws
xlsmとは?初心者でも分かるExcelのマクロ付きファイルの基本共起語・同意語・対義語も併せて解説!
580viws
asp・とは?初心者向けに徹底解説する基本と使い方ガイド共起語・同意語・対義語も併せて解説!
555viws
ローカルポート・とは?初心者にも分かる基本と使い方ガイド共起語・同意語・対義語も併せて解説!
543viws
countifとは?初心者でもすぐ使える基本と応用ガイド共起語・同意語・対義語も併せて解説!
541viws
ワンタイムコード・とは?初心者でも分かる基本と使い方ガイド共起語・同意語・対義語も併せて解説!
501viws
csvダウンロードとは?初心者が今すぐ使える基本ガイド共起語・同意語・対義語も併せて解説!
475viws
googleドキュメントとは?初心者が今日から使いこなす基本ガイド共起語・同意語・対義語も併せて解説!
461viws
sha256とは?初心者が知るべき暗号ハッシュの基礎と使い道共起語・同意語・対義語も併せて解説!
443viws

新着記事

インターネット・コンピュータの関連記事