ベンチマークテスト

ベンチマークテストは 性能テストの一種で比較対象の製品と性能を比較するテストです。 同一条件で実行可能な項目をピックアップし、比較対象の製品、テストに使うデータ、テストツール、テスト実行環境、テスト手順、テスト結果の記録用紙などを準備して行います。

開発工程における位置づけ

V字モデルにベンチマークテストを重ねたものを以下に示します。紫の矢印は工程の進行を、青の矢印はアウトプット・インプットの関係を表します。

ベンチマークテストは開発の早い段階(V字の左端)からスタートし比較対象の製品がバージョンアップしたときや開発の節目などに実施します。 比較対象の製品はいつバージョンアップするか分からないため開発の終盤でもテストを行う可能性があります。

性能要件を決める際の参考資料としてベンチマークの結果を使用する場合、性能要件を決めるより前にテストを実装、実行するので「テストのアウトプットが分析・設計のインプット」となります。 いわゆるテストが「分析・設計のアウトプットをテストのインプット」にするのと対称的です。

まとめ

ベンチマークテストは性能テストの一種ですが以下のような違いがあります。

参考

ベンチマークテスト

べんちまーくてすと 【ベンチマークテスト】 Benchmark Test
コンピューターのハードウェアやソフトウェアの性能を、他社の製品と比較して評価する製品テストのこと。 単にベンチマーク（基準という意味）とも呼ばれる。評価用のプログラムを使って、 同じ条件下で基準となるテストを行い、その処理速度を数値化して性能を測定する。
(出典：ASCII.jpデジタル用語辞典 ベンチマークテスト)

ベンチマークテスト（benchmark test）：
(1)測定や比較のベースとなる標準。
(2)コンポーネントやシステム同士の比較をするためのテスト、又は、(1)の標準と比較するためのテスト。
(出典：JSTQB ソフトウェアテスト標準用語集 日本語版 Version 2.3.J02)

性能テスト

性能は「スループット」「レスポンスタイム」「リソース使用量」の3つの要素で評価されます。
(出典：ソフトウェアテスト基本テクニック 第8回 性能テスト)

上記記事はWebサービスを例に解説していますがWeb以外でも同様の考え方ができます。 例えばカメラであればスループットは「連写スピード」、レスポンスタイムは「シャッターボタンを押してから撮影されるまでのタイムラグ、タイムラグのばらつき」、 リソース使用量は「必要なハードウェアスペック」などとなるでしょう。

更新履歴

1. 2017.11.28