設備トラブル検索の回答精度改善を現場で実証｜製造業の生成AI・人工知能活用で確認・検索時間を24％短縮

品質保証部の橋本亮です。「設備トラブル検索の回答精度改善」は一度目のやり方では思うような成果が出ず、設計を見直したテーマです。今回は、最初につまずいた点と、生成AI活用として現場に受け入れられるまでに変更した内容を中心に紹介します。成功結果だけでは判断しにくいため、検証に使った84件の記録も残しました。

当初の状況は、必要な情報が複数のフォルダと過去メールに分散し、検索だけで担当者の時間を奪っていました。現場説明では理解を得られたつもりでしたが、実際の作業では例外が多く、担当者が従来手順へ戻る場面がありました。そこで利用率だけを見るのをやめ、使わなかった理由、途中で止めた理由、誰に確認したかを記録し、技術上の問題と運用上の問題に分けました。

再設計では、回答に根拠文書名を必ず添えるプロンプトを作り、現場メンバー5名による二週間の試行を行いました。全体展開をいったん止め、影響の小さい範囲で9週間の再試行を実施しました。毎週のレビューでは管理者が結論を決めるのではなく、実際に操作した人から改善案を出してもらい、次の一週間で一つだけ変更して差を確認しました。

見直し後は「確認・検索時間を24％短縮」となり、確認漏れや再作業も11％減少しました。特に、例外時に手作業へ戻す基準を明確にしたことで、止まったまま放置されるケースが減りました。ただし、短期間の数字だけで成功と判断せず、担当者交代後も同じ結果になるかを追加確認しています。

現在も、便利さだけを強調すると利用が先行するため、禁止事項と確認手順の教育を継続しています。今回の経験から、機能の多さより、やめる条件と助けを求める先が明確であることが定着には重要だと分かりました。改善履歴には採用しなかった案と理由も残し、次の担当者が同じ検討を繰り返さないようにしています。

皆さんの拠点では、生成AIの回答をどのような基準で評価し、誤回答をどこまで許容していますか。評価表や運用ルールの工夫があればコメントで教えてください。

※この投稿はデモンストレーション用のサンプルです。人物や企業、内容は架空のものです。