製造業の生成AI・人工知能活用の進め方：新人向け教育教材の自動作成で分かった効果と残課題

グループ子会社Aで新人向け教育教材の自動作成を担当している石川健です。先に結果をお伝えすると、今回の試行では「確認・検索時間を42％短縮」となりました。ただし、すべてが想定どおりだったわけではありません。効果が出た条件と、まだ人の確認が必要な場面を分けて記録したので、同じテーマを検討している方の参考になればと思います。

改善前は、必要な情報が複数のフォルダと過去メールに分散し、検索だけで担当者の時間を奪っていました。そこで、直近の実績から64件を抽出し、開始から完了までの時間、差し戻し回数、問い合わせ先、例外の理由を一件ずつ確認しました。平均値だけでなく、時間が極端に長かったケースを見たことで、作業そのものより確認待ちがボトルネックになっていることが分かりました。

対策として、回答に根拠文書名を必ず添えるプロンプトを作り、現場メンバー5名による二週間の試行を行いました。試行期間は8週間とし、利用者が困った場面をその日のうちに短いメモで残してもらいました。翌週まで問題を持ち越さず、小さな設定変更と手順修正を繰り返した点が、定着に効いたと考えています。説明会は一度で終わらせず、質問の多かった部分だけを10分の補足資料にしました。

処理時間の改善に加え、確認漏れと再作業は23％減少しました。一方、担当者によるばらつきは完全にはなくなっていません。数値が改善していても、別工程へのしわ寄せや入力負担が増えていないかを確認するため、作業後アンケートと例外対応時間も継続して測っています。

次の課題は、便利さだけを強調すると利用が先行するため、禁止事項と確認手順の教育を継続しています。今回は効果の出た結果だけでなく、対象外にした条件、途中で変更した判断基準、手作業を残した理由も資料に含めました。他拠点が同じ失敗を繰り返さないよう、再利用時には前提条件から確認できる形にしていきます。

皆さんの拠点では、生成AIの回答をどのような基準で評価し、誤回答をどこまで許容していますか。評価表や運用ルールの工夫があればコメントで教えてください。

※この投稿はデモンストレーション用のサンプルです。人物や企業、内容は架空のものです。