AIによる工場作業の見える化 — みまもりAIの開発 —
工場の作業負荷の平準化と作業内容の質的向上に向けた深層学習の適用
株式会社IHI
IHIグループでは，工場における作業効率の改善活動を支援するため，AIシステムの試験運用を開始した．深層学習による画像認識（あらかじめ学習させたAIモデルにより，画像の認識や解析をする技術）に基づいて，工場作業者の作業時間・作業内容を自動で見える化することで，工場のデジタル化，すなわちデジタル技術を活用した生産性の向上に貢献している．
はじめに
IHIグループの各工場では，作業者の作業効率を改善する活動を進めてきた．工場ではこれまで作業者の作業時間や作業内容を明らかにするために，ストップウオッチで時間を計測して，その結果を集計したり，目視で作業内容を確認したりしていた．しかし，このような作業の実態把握は，人手により行っているため手間が掛かる．それだけではなく，経験の積み重ねによって作業時間が短縮されるのかといった傾向を分析することや，作業時間を長期間にわたり計測・集計し続けることなどに人手を割くのが難しいといった課題を抱えていた．また，作業時間や作業内容の記録を取っていない場合は，作業者の記憶に頼るしかないため，作業の実態と乖離する可能性があり，本質的な改善が難しいケースもあった．
近年のAIの発展に伴い，画像中の人物や物体を検出でき，人物の動作内容などを自動的に分類できるようになってきた．これらの物体検出や画像分類と呼ばれる技術は，これまで人手によって行ってきた作業時間および作業内容の把握を自動化できる可能性をもっている．
IHIグループでは，画像認識における物体検出の標準的なデータセットや工場の画像・映像から作成した教師データを基に学習させた独自の深層学習モデルを構築した．このモデルを用いて，作業者の自動検出や作業内容の自動認識を実施するシステム（みまもりAI）を試験運用中である．ここでは，みまもりAIの機能や今後の展開について紹介する．
みまもりAIの機能
みまもりAIとは，工場に設置したカメラから取得する画像を利用して，作業人数と作業時間を自動集計する人検知機能と，作業内容を自動認識し，その作業時間を自動集計する作業分類機能といった二つの機能を備えたシステムである．
(1) 人検知機能
人検知機能は，工場の天井付近に設置した作業現場を俯瞰できるカメラからの映像を入力データとして作業者を自動検出し，作業現場の各作業机における作業人数や，作業者ごとの作業時間を自動で計測・集計する機能である．この仕組みは，深層学習を用いた作業員の検出処理と検出された座標に対するルールベースの処理を組み合わせることで，各作業現場に複数存在する作業机ごとの作業時間を自動集計している．
みまもりAIが分析した結果を基に，作業現場ごとの負荷の偏りを把握し，工場全体の作業負荷の平準化を支援できる．
また，複数の作業現場にみまもりAIを設置した場合，各作業現場の作業人数と作業時間から，作業現場単位で全作業時間が算出できる．このデータから，作業負荷の高い作業現場が見える化でき，作業人数を増やすなどの対応が可能になる．作業人数や作業現場が増えるほど，人手で作業時間を計測すると大きな手間が掛かるため，みまもりAIの人検知機能が効果を発揮する．
(2) 作業分類機能
作業分類機能は，作業机付近に設置したカメラの映像から作業内容を自動認識し，あらかじめ登録されている複数の作業分類と一致させ，その作業時間を自動で計測・集計できる機能である．この仕組みは，深層学習を用いた人検知処理と検出した人物の関節点情報に基づいた作業内容の推定処理を逐次実施することで画像データから作業内容を自動認識している．
従来，作業内容ごとの作業時間の内訳を知りたい場合は，ほかの作業者が目視で判断するか，作業者の記憶に頼らざるを得なかった．目視で判断する場合は，ほかの作業者による付き添いが必要となるためコストが掛かり，作業者の記憶に頼る場合は，本来改善に取り組むべき作業内容が明らかにならない恐れがある．
作業分類機能を用いることで，作業内容ごとの作業時間を，人手を要さずに長期間にわたり計測・集計し続けることが可能になる．このため，従来と比べてボトルネックとなる作業内容を素早く特定し，改善に取り組むことができる．例えば，ボトルネックとみられる作業内容に初心者と熟練者が取り組んだ場合の作業時間の違いを把握できるので，人員配置の見直しによる改善効果を定量的に検討できる．
みまもりAIのこうした二つの機能を同時に利用すると，全体的な作業者の動きとともに，作業内容の変化を把握できる．例えば，みまもりAIで情報確認の時間を集計・分析し，電子マニュアルの検索時間が冗長であることが明らかになると，データ検索性を向上することで，確認作業の量的な改善を支援できるようになる．同じく，みまもりAIで電話を掛ける時間を集計・分析し，この時間が冗長であることが明らかになると，連絡手段を電話からメールに変更することで，作業内容の質的改善を支援できるようになる．このように，みまもりAIを各作業現場に導入することにより，工場の稼働状況を見える化し，工場全体で作業内容を量的・質的に改善できる．
また，工場の管理・監督者は，見える化した作業時間・作業内容から，作業者の作業効率を把握できる．人検知結果（全体把握）から作業者の人数を特定し，作業分類結果（詳細把握）から作業内容の違いや会話などの状況を特定する．これらの結果から，作業効率が低い作業内容を特定して，適切に改善活動を策定・実施できる．このように，みまもりAIを利用することで，工場の管理・監督者の意思決定支援が容易となる．
機能向上への取り組み
みまもりAIは，工場内に機器を固定して使用するだけではなく，見える化に取り組みたい作業現場へ手軽に設置し，利用できることを目指している．工場の管理・監督者や作業者自身が，目的に応じて設置・利用場所を容易に変更できる．
これまでのみまもりAIは，ワークステーションのようなサーバーや，工場内のネットワークに接続したカメラから構成されていた．このような構成の場合，ハードウェアを設置し，カメラとハードウェアを工場内ネットワークに接続するために工場側のセキュリティ部門との調整といった作業が必要となり，時間やコストが掛かることがネックとなっていた．そこで，エッジコンピューターのような小型のハードウェアを採用し，カメラをハードウェアに直接接続してローカルエリアネットワークで完結する構成とすることで携行性が向上し，導入に掛かる時間やコストを低減できるようにした．
この取り組みを進めていくに当たり，IHIグループで開発したエッジコンピューターに，みまもりAIを実装中である．エッジコンピューターには，データ収集用のインターフェースと通信モジュールが内蔵されており，IHIグループで運用しているIoTプラットフォームなどのデータ収集基盤にデータを集約する場合にデータ転送が容易である．将来的には，IoTプラットフォームにみまもりAIを実装することで，開発プログラム（仮想化技術など）との親和性やクラウド上のデータ分析能力を向上でき，社内データを用いた価値創出を促進できる．
操作性については，コマンドプロンプトに代表されるようなコマンドラインによるテキスト入力をせずに，GUI ( Graphical User Interface ) による視覚的・直感的に操作しやすいユーザーインターフェース機能をみまもりAIに搭載した．それにより，エリアを指定する際は，設定ファイルを開いてカメラの画像から座標の数値を手入力せずに，ドラッグ＆ドロップ操作により簡単に画面上で指定できるようにした．また，システムの検出結果をグラフに表示する際は，テーブルデータ形式の数値を手動でグラフ化せずに，画面上のボタンをクリックするだけで簡単に表示できるようにした．こうした作業エリアの指定や録画，分析結果のグラフ表示といった作業をマウス操作で行うことが可能で，だれでも使いやすいAIシステムとなっている．
まとめ
IHIグループでは，工場作業者の作業時間・作業内容を自動で見える化することを目的に，みまもりAIの試験運用を開始している．今後はみまもりAIのエッジコンピューターへの実装と動作確認を実施し，必要な場所に必要な期間だけ，みまもりAIを活用できるようにサービス展開を推進していく．今後，試験運用を完了し，本番運用を実施できるようみまもりAIの開発を積極的に進めていく．
また，本番運用などを経て，みまもりAIが工場に本格的に導入されるようになれば，将来的には人検知といった画像認識技術は作業効率化だけではなく，作業者の安全・防災面にも応用できると見込んでいる．こうした展望も踏まえて開発を続けていき，さまざまな場所や場面において，みまもりAIによる工場のデジタル化に貢献していきたい．