製造業の生成AI・人工知能活用の進め方：熟練者ノウハウの社内Q&A化で分かった効果と残課題

生産技術センターで熟練者ノウハウの社内Q&A化を担当している山口智子です。先に結果をお伝えすると、今回の試行では「確認・検索時間を59％短縮」となりました。ただし、すべてが想定どおりだったわけではありません。効果が出た条件と、まだ人の確認が必要な場面を分けて記録したので、同じテーマを検討している方の参考になればと思います。

改善前は、熟練者への質問が集中し、同じ問い合わせに何度も回答する状態になっていました。そこで、直近の実績から36件を抽出し、開始から完了までの時間、差し戻し回数、問い合わせ先、例外の理由を一件ずつ確認しました。平均値だけでなく、時間が極端に長かったケースを見たことで、作業そのものより確認待ちがボトルネックになっていることが分かりました。

対策として、機密情報を入力しないルールを先に定め、良い回答例と悪い回答例を20件ずつ用意して評価しました。試行期間は4週間とし、利用者が困った場面をその日のうちに短いメモで残してもらいました。翌週まで問題を持ち越さず、小さな設定変更と手順修正を繰り返した点が、定着に効いたと考えています。説明会は一度で終わらせず、質問の多かった部分だけを10分の補足資料にしました。

処理時間の改善に加え、確認漏れと再作業は7％減少しました。一方、担当者によるばらつきは完全にはなくなっていません。数値が改善していても、別工程へのしわ寄せや入力負担が増えていないかを確認するため、作業後アンケートと例外対応時間も継続して測っています。

次の課題は、略語や設備固有名詞の揺れで精度が下がるため、用語集の更新が次の課題です。今回は効果の出た結果だけでなく、対象外にした条件、途中で変更した判断基準、手作業を残した理由も資料に含めました。他拠点が同じ失敗を繰り返さないよう、再利用時には前提条件から確認できる形にしていきます。

皆さんの拠点では、生成AIの回答をどのような基準で評価し、誤回答をどこまで許容していますか。評価表や運用ルールの工夫があればコメントで教えてください。

※この投稿はデモンストレーション用のサンプルです。人物や企業、内容は架空のものです。