News and Views 2012 Winter

[FEATURE-2 | Functional Verification]

ワールドワイド規模での市場調査に見た日本と世界との格差
機能検証の市場調査

メンター・グラフィックスでは2010年に設計や機能検証における動向を調査する目的で、ワールドワイド規模の市場調査を実施しました。調査結果への偏りが出ることを防ぐため、第三者の調査機関であるWilson Research Groupに委託する形で行われました。しかし市場調査が英語で行われたこともあり、日本のユーザの参加がほとんどなかったため、2011年5月にすべて日本語による調査を実施しました。
市場調査は過去との比較を行うため、2002年、2004年のCollett International Researchによる市場調査や、2007年のFar West Researchによる市場調査と同じ形式が取られました。先日開催されたTech Design Forum 2011でもHarry D. Fosterの講演で取り上げられた内容の一部ですが、改めて重要な項目についてご紹介いたします。

設計と機能検証における再利用

図1図1

まず設計と機能検証における再利用について見てみましょう。図1の左半分から分かるとおり、設計資産における新規開発のロジックは格段に減っており、再利用が増えています。ここで日本国内と世界の大きな違いは、社内調達と社外調達の違いです。日本国内では社内での再利用の割合が高いものの、社外調達の割合は全世界に比べ低いことが分かります。国内のプロジェクトでは同じ会社内にIPの開発や管理をする部門が整備されている、あるいは海外のIPを採用したくても言葉の壁により採用に踏み切れないなど、様々な理由はあると思われます。また図1の右半分は検証資産の再利用について見たものです。これはテストベンチの再利用という視点で質問したものですが、国内は新規テストベンチの割合が全世界に対して高いことが分かります。これは検証の生産性という観点からはあまり喜ばしいことではありません。全世界では新規テストベンチの割合が減り、外部調達のテストベンチ、つまり検証IPなどに代表される資産の活用が増えています。設計における新規開発ロジックの割合は全世界に比較しても同等かそれ以下にまで減っていますから、それにも関わらず新規テストベンチが多いというのは、新規ロジックと他ブロックとの組合せが増えているなどの理由か、あるいは検証資産再利用のための手法が浸透、確立していないのではないかとも取れるのです。

機能検証の生産性

図2図2

ここで気になる機能検証の動向について見てみます。図2は検証工数の割合を2007年全世界、2010年全世界、2011年日本とで比較したものです。単位は平均の人数です。検証工数を割り出す場合に注意すべきポイントがあります。それは検証エンジニアとして明確に定義された職種が無い場合でも、設計者が検証作業を行なっているケースが多くあり、これも加味する必要があります。特徴として言えることは、全世界では検証エンジニアの工数が設計の工数に比べ増加していること、そして日本国内においては検証エンジニアと呼ばれる工数は比較的少ないものの、設計者が行う検証工数を入れると全世界に比べ検証工数が大きいことが分かります。

図3図3

その理由の1つとも思われる機能検証に関するデータが図3になります。これは採用されている検証技術について質問したものです。制約付きランダムテスト、およびそれに関連する機能カバレッジの導入割合が、全世界に比べて非常に低いと言えます。特に制約付きランダムテストについては全世界の4年前の水準にも達していません。逆にコードカバレッジの割合は高いことも分かります。検証の生産性や品質を考えれば、制約付きランダムテストや機能カバレッジは欠かせない技術であり、逆にコードカバレッジはテストそのものの品質を見る指標としては優れているものの、設計品質に直接的に貢献する指標ではないにもかかわらず、多くの工数がコードカバレッジを上げることに取られているのではないかとも推察できます。コスト高にならない機能検証の生産性や品質を目指した改善が急務と言えるでしょう。

メンター・グラフィックスではOVMやUVMなどの検証メソドロジおよびテストの効率とカバレッジを数十倍改善するグラフベースのテストアプローチなど、様々なソリューションやメソドロジをご紹介しています。皆様の機能検証の改善にお役に立てていただければと思います。