ヴァーチャル・アシスタントが株式公開するとき、企業は最終的に品質に関係する複数の質問に直面する。 カンバセーショナル・ソリューションの品質はどのように測定すればよいのでしょうか？

当社のバーチャル・アシスタント・トレーニングの質を測定する1つの方法は、アサーティブネス測定テストを適用することです。

この最後の用語の意味は社会的スキルを表現しているが、現在コミュニティ内では、チャットボットやバーチャルアシスタントに直接訓練されていない方法で自己表現したユーザーからの特定の質問に対して、正しいまたは適切な回答を与えるバーチャルアシスタントの能力を表現するために使用されている。

アサーティブネスを正しく測定する方法はいくつかあるが、複雑さとコストが増大する主な測定方法は3つに分類できる。

1.自己主張の間接的な割合：

フォールバックというのは、アシスタントが訓練を受けておらず、「理解できませんでした」というようなメッセージで応答した場合のことを指している。

このようにして、最も簡単な自己主張の指標を作ることができる。それは、フォールバックの総数を、ある期間にボットに入ってきたインタラクションの数で割ることである。

つまり、間接的な自己主張率ということになる。 これは、ボットが訓練されていない、ボットが理解していない回答をしている質問の量をおおまかに知るためのものです。

2.厳しい自己主張率：

もう一方の極端な例では、アサーティブネスを測定する最も複雑な方法は、システムが測定される入力の代表的なサンプルまたはユーザーの実例を選択し、入力のそれぞれに手動でその出力、つまりシステムが実際に与えた応答を注釈し、その文がボットの知識ドメインに属するかどうか、ボットが提供した分類または応答が適切であったかどうかを識別する、2人以上の当事者の共通の合意を必要とする。

注釈者グループが同じデータセットに対して関連する評価を行った後、注釈者間の一致の度合いが評価される。というのも、注釈者の中には、すべてが関連し、適切であるとランダムに考えた人がいる可能性があるからである。

簡単な統計的テストは、それを解決し、さらなるトレーニングの改善のために非常に価値のある注釈付きコレクションを作成することができます。 この作業は面倒で時間がかかり、さらに注釈者の訓練も必要である。 このような厳格自己主張率の測定方法は、この指標が、正式な実証を必要とする何らかの義務と関連している場合にのみ推奨される。

3.半自動アサーティブ・レート：

中間的なアプローチとして、半自動アサーティブ率計算手順があります。これは時間を節約でき、仮想アシスタントの品質を測定し、その価値を示すことで更新する必要があるアジャイルな状況では、しばしば理想的な計算式となります。

会話ソリューションのタイプにもよるが、まずすべてのトレーニングを特定し、それを測定される答えと結びつけることによって計算が行われる。 この入力により、実際の文章と「受け取るべき」応答が記載された表が生成される。

この作業は通常、その文章を分類すべき意図を使うだけで省略できる。 実際にはこの部分に手作業が必要とされることが多いため、インジケーターの名前の「セミ」の部分が出てくる。 場合によっては、最初から最後まですべてのフローを自動化することも可能だが、この作業を困難にする条件があることも多い。

そして、2番目の外部ボットがバーチャル・アシスタントに文章を「送信」する。 ウィザードはその答えで応答し、その答えは保存され、実際のユーザー入力、提供されるべき分類、および提供された分類のそれぞれを含むデータコレクションが生成される。

これにより、ボットが扱えない知識領域や、トレーニングがより失敗した知識領域を、パーセンテージで表される身近な指標で、詳細かつ比較的迅速に特定することができます。

このような測定経験から得られた最初の洞察は、ウィザードを実行するダイアログエンジンを混乱させないために、いくつかの回答をマージする必要があるということです。

これらの測定値を組み合わせる方法は無限にあり、3つのレベルはその複雑さを表すにはむしろ教則的である。 通常、各バーチャル・アシスタントの要件が明らかになるにつれて、測定にさらなるステップが追加される。

ボットのアサーティブネスを適切に測定することで、ユーザーエクスペリエンスとバーチャルアシスタントの最終評価に影響を与える指標をサポートし、その品質を保証することができます。 測定には再トレーニングが必要であり、トレーニングされていない新しいケースに対するモデルの汎化能力を低下させないように注意深く行わなければならない。

もう1つ興味深い読み物がある： あるバーチャルアシスタントが言った：すみません、正しく理解できませんでした。