スイッチ・ルータ機器スペックを正確に知るためのベンチマーク規格のポイントをまとめました。
参考RFC
・ネットワーク相互接続装置のためのベンチマーク方法論(RFC2544)
http://www5d.biglobe.ne.jp/~stssk/rfc/rfc2544j.html
・ネットワーク相互接続装置のためのベンチマーク用語(RFC1242)
http://www5d.biglobe.ne.jp/~stssk/rfc/rfc1242j.html
一連のテストを実行する理想的な方法は、送信ポートと受信ポートの両方にテスターを使うことです。
+------------+
| |
+------------| tester |<-------------+
| | | |
| +------------+ |
| |
| +------------+ |
| | | |
+----------->| DUT |--------------+
| |
+------------+
図1
+--------+ +------------+ +----------+
| | | | | |
| sender |-------->| DUT |--------->| receiver |
| | | | | |
+--------+ +------------+ +----------+
図2
異なったメディアタイプのネットワーク接続の場合テスターが両方のメディアタイプをサポートできる場合、図1が理想であるが、下図での方法もあります。
+-----------+
| |
+---------------------| tester |<---------------------+
| | | |
| +-----------+ |
| |
| +----------+ +----------+ |
| | | | | |
+------->| DUT 1 |-------------->| DUT 2 |---------+
| | | |
+----------+ +----------+
図3
・フレーム処理率のテストの間にフレーム処理バッファの大きさを変えることです。
・プロトコル処理能力をテストする時に1つの転送プロトコル以外のすべてを止める事は適切でありません。
・通常の推薦されたルーティング更新間隔と生存確認頻度を含むべきです。
・ソフトウェアのバージョンと、テストの間にどの機能を止めていたかを含む厳密なDUT設定は結果報告の一部に含まなければなりません。
・試験プロトコルと試験で使うメディアで許される最大サイズと最小サイズと少なくとも5つのフレームサイズが各テスト状態でテストされるべきです。
・イーサーネットに使うフレームサイズ
64, 128, 256, 512, 1024, 1280, 1518
・相互接続DUTが異なるMTUサイズである場合、より大きいMTUのフレームサイズを使い、プロトコル限界がテストされるべきです。
・テスト装置で印加されたテストフレームでないフレームをテスト中受信した場合は受信フレームのカウントに含めるべきではありません。
(例えば、生存確認やルーティング更新フレーム)
・テスト装置で印加されたフレームにシーケンス番号を含め受信フレーム上でこれらの番号を確認するべきです。
また、廃棄フレーム数、順序通りに受信できなかったフレーム数、重複受信したフレーム数、受信フレームの連番の隙間を報告書に含めるべきです。
・テストフレーム流に1%のブロードキャストフレームを含めるべきです。ブロードキャストフレームはデータ流全体に均等に配置されるべきです。
ブロードキャストフレームはルーターが処理する必要がないタイプであるべきです。
・毎秒最初のフレームでSNMP管理要求フレームを含めるべきです。
sysUpTime/ifInOctets/ifOutOctets/ifInUcastPkts/ifOutUcastPkts
・ダイナミックルーティングプロトコル更新の処理はルーターのデータフレームを転送する能力に重要な影響を持つことがあります。
試験の間の最初のフレームに1つのルーティング更新を含めるべきです。
・DUTの双方向性の性能をテストするために、テストでは同じデータレートで各方向に送る状態で実施されるべきです。
・DUTが多数のインタフェースカードでそれぞれ多数のネットワークポートを持つなら、すべての可能タイプのパスは個別にテストされるべきです。
・マルチポート
例えば、DUTが各4ポートを持つ2枚のインタフェースカードを持っているなら、各インタフェースカード上の2つのポートが入力と指定され、2つが出力と指名されます。
・マルチプロトコル
・マルチフレームサイズ
・DUTは最初1つのフィルターを加えて設定されるべきで(SHOULD)、テスト処理が行われます。
このフィルターはテストデータフローの転送を認めるべきです。ルーターでこのフィルターは以下の形式であるべきです。
・LAN接続をテストする時使われるべきである最大フレームレートは、メディア上のフレームサイズのためにリストアップされた理論的な最大レートであるべきです。
・バーストトラヒック
テストの目的はDUTがフレーム損失なしで処理することができる最小バースト間隔を決定することです。
各テストの間に各バーストフレームの数は不変であると考えられ、バースト間の間隔は変化します。
テストが16と64と256と1024のフレームのバーストサイズで行われるべきです。
・各トライアルのテスト部の持続時間は少なくとも60秒であるべきです。
DUTを通して特定の数のフレームを特定のレートで送って、次にDUTによって伝達されたフレームを数え、
供給されたフレーム数が受信したフレーム数と等しいか確認します。
スループットとは、DUTによって伝えられたテストフレームの数がテスト装置によってそれに送られてテストフレームの数と等しい最も速いレートです。
スループットテストのグラフ
X軸:フレームサイズ
Y軸:フレーム率
1つの線はメディアで様々なフレームサイズを使った場合の理論的なフレームレートを示す線で、もう1つは試験結果のプロットであるべきです。
特定の宛先に特定のフレームサイズの、フレーム流を送ります。流れは少なくとも120秒持続すべきです。
識別タグは60秒後に1フレーム含むべきです、タグタイプは実装依存です。
このフレームが完全に送り出された時刻が記録されます(タイムスタンプA)。
テスト装置の受信ロジックはフレーム流からタグ情報を認識し、タグを付けられたフレームを受信した時刻を記録します(タイムスタンプB)。
応答時間はタイムスタンプB引くタイムスタンプAで、これがRFC1242の定義、すなわち蓄積転送装置かビット転送装置の応答時間となります。
テストは少なくとも20回繰り返され(MUST)、報告値は記録された値の平均です。
報告フォーマット
・応答時間
・レート
・メディアタイプ
・応答時間結果値
・フレームサイズ
フレーム損失率=((input_count-output_count)*100)/input_count
最初のトライアルは入力メディアのフレームサイズに対する最大レートの100%に対応するフレーム率で行うべきです。
最大レートの90%に対応する率と、次に80%に対応する率で手順を繰り返し、2回連続フレームが失われないトライアルが
あるまで10%づつ減らしながら続けられるべきです。
最小フレーム間隔でDUTにバーストフレームを送り、DTUの転送するフレームを数えます。
もし伝達されたフレーム数が送ったフレーム数と等しいなら、バースト長さを増やし、テストを再実行します。
もし伝達されたフレーム数が送ったフレーム数以下なら、バースト長を減らし、テストを再実行します。
連続値はDUTがフレーム損失なしで処理できる最も長いバーストフレーム数です。
トライアルは少なくとも2秒で、少なくとも50回以上繰り返されるべきで、記録された値の平均が報告されます。
記録されたスループットの110%か、メディアの最大レートのどちらか低いほうで、少なくとも60秒間、フレーム流を送ります。
タイムスタンプAにおいてフレーム率を上記の率の50%に下げて、そして失われた最後のフレームの時刻(タイムスタンプB)を記録します。
システム回復時はタイムスタンプBからタイムスタンプAを引くことで決定します。テストは何度も繰り返されるべきです(SHOULD)、
そして記録された値の平均を報告します。
電源妨害によってリセットされたテストは、DUTへの電力供給をリセットが起きてから10秒間中断する以外、上記と同様に実行します。