応対品質モニタリングの評価ずれを減らすキャリブレーション方法

同じ通話を二人のSVが評価したところ、一人は82点、もう一人は68点になりました。差が大きかった項目は「十分な共感」と「分かりやすい説明」です。評価基準の言葉が抽象的で、個人の好みによって点数が変わっていました。

キャリブレーションの進め方

1. 同じ通話を全評価者が別々に採点する
2. 点差が大きい項目だけ理由を説明する
3. 必須行動と望ましい行動を分ける
4. 具体的な音声例を基準へ追加する
5. 翌月に別の通話で再確認する

今回、「共感の言葉を言った回数」ではなく、「お客様が困っている点を正しく捉え、その内容へ応答したか」を基準にしました。形式的に「お気持ちは分かります」と言っても、問題を取り違えていれば高得点にはしません。

説明力は、結論が先にあるか、専門用語を言い換えたか、次の行動が分かるかで確認します。声の明るさや話す速さは相手に合わせる必要があるため、一つの話し方だけを正解にしないようにしました。

運用上の課題

委託元によって評価票が異なるため、共通基準と業務固有基準を分けています。評価者会議を増やしすぎるとSVの負担になります。月1回60分で効果を保つため、事前に点差の大きい通話だけ選ぶ方法を試しています。評価ずれを数値で追っている現場があれば方法を教えてください。

評価者間の差を確認した結果

同じ10通話をSV4名が評価したところ、「共感」と「説明の分かりやすさ」で点数が大きく分かれました。理由を聞くと、声の明るさを重視する人と、お客様の言葉を要約できたかを重視する人が混在していました。そこで、印象ではなく観察できる行動へ評価基準を書き換えました。

書き換えた例

1. 共感がある、から、困っている点を要約して確認した、へ変更
2. 説明が丁寧、から、結論、理由、次の行動の順で説明した、へ変更
3. 保留が適切、から、理由と目安時間を伝え、戻った後にお礼を述べた、へ変更

基準合わせでは、点数を一致させることだけを目的にしません。なぜその行動がお客様の理解や安全につながるかを話し合います。業務知識の誤りは一つでも重大ですが、話す速さはお客様に合わせて変わるため、同じ基準で機械的に減点しないようにしました。

翌月の再評価では、SV間の点差が小さくなりました。ただし、新人と経験者を同じ期待値で見る項目、チャット応対にも使える項目については未整理です。評価結果を給与や順位へ直結させる前に、育成目的と監査目的を分ける必要もあります。

※この投稿はデモンストレーション用のサンプルです。