機械学習による金属の損傷形態推定

　　宮澤優斗，千葉竜涼，大田祐太朗

PDFダウンロード

宮澤　優斗　技術開発本部技術基盤センター材料・構造グループ
千葉　竜涼　技術開発本部技術基盤センター材料・構造グループ
大田　祐太朗　航空・宇宙・防衛事業領域ロケット開発事業推進部技術グループ　博士（工学）

構造材料は使用時に種々の損傷が生じ，劣化や破壊へとつながっていく．破壊を未然に防ぐ，あるいは再発を防止するためには損傷の要因を明確化することが必要である．しかしながら，従来の損傷調査では有識者の知識や経験に基づく推定がほとんどであり，その推定結果は属人的かつ不安定性を有するものであった．損傷材のミクロ組織画像に対して機械学習による画像分類手法を用いることで，このような問題の解決が期待でき，知識や経験によらない一般化された推定を行うことが期待できる．本稿ではクリープ／クリープ疲労／疲労の3 種類の損傷が与えられた供試材のEBSD像を用いて機械学習を行い，約89％の精度での推定に成功した．これにより本手法によって損傷形態を高精度に推定できる可能性が示された．

Structural materials experience various types of damage during use, which can lead to deterioration and failure. To prevent failure or recurrence, it is necessary to identify the causes of damage. However, in conventional damage investigations, estimations have been mostly based on the knowledge and experience of experts, leading to subjective and unstable results. It is expected to make generalized estimations, that are not dependent on knowledge or experience, by using machine learning image classification methods for microstructure images of damaged materials. This paper presents the prediction results of machine learning model, which accuracy was 89%, by using EBSD ( Electron Backscatter Diffraction ) images of three types of damaged materials ( creep, creep-fatigue, fatigue ). This result shows the potential for accurately estimating damage types through this method.

1.　緒言

構造材料には，使用温度や負荷形態に応じた種々の損傷が生じ，劣化や破壊へとつながっていく．特に，実環境における損傷は温度や平均応力・負荷振幅といった要素が複合的に作用したものも多く複雑である．部材の破壊を未然に防ぐ，あるいは再発を防止するためには，メンテナンス・損傷調査において材料の状態を分析し，損傷要因を明らかにする必要がある．一般に金属材料においては，破面観察やミクロ組織観察をつうじて材料の状態を把握し，有識者の知見に基づいて損傷要因を推定している．そのため，推定には属人的要素が多く，不安定性も有していた．

構造材料には，使用温度や負荷形態に応じた種々の損傷が生じ，劣化や破壊へとつながっていく．特に，実環境における損傷は温度や平均応力・負荷振幅といった要素が複合的に作用したものも多く複雑である．部材の破壊を未然に防ぐ，あるいは再発を防止するためには，メンテナンス・損傷調査において材料の状態を分析し，損傷要因を明らかにする必要がある．一般に金属材料においては，破面観察やミクロ組織観察をつうじて材料の状態を把握し，有識者の知見に基づいて損傷要因を推定している．そのため，推定には属人的要素が多く，不安定性も有していた．

このような問題には，機械学習による画像分類手法が有効であると考えられる．損傷材のミクロ組織画像と損傷形態とをひも付けたデータセットを作成し，機械学習を行うことで，評価者の知識や経験によらない一般化された損傷要因推定が期待できる．

材料のミクロ組織は，種々の光学顕微鏡・電子顕微鏡を用いて評価される．なかでもEBSD ( Electron Backscatter Diffraction ) 解析は，局所的な結晶方位差の情報からミクロ組織を定量的に分析することが可能な手法である．ひずみ量とEBSDパラメータの相関についての報告は多数あるが ( 1 )，( 2 )，これらのEBSDパラメータは視野内の平均値を用いた評価に限られている．ひずみ量が同等の場合にEBSDパラメータの平均値のみから損傷形態を判別することは困難であるとともに，材料中のEBSDパラメータの分布に関する評価や損傷形態との対応付けなどは行われていない．

本稿では，EBSD像に対して機械学習による画像分類手法を適用することによって，EBSDパラメータの分布情報に基づいて損傷形態を推定するモデルを構築した内容について報告する．加えて，機械学習の着目点の分析によって，損傷メカニズムの解明につなげることを試みた．

2.　試験・解析方法

2.1　データセットの作成

2.1.1　供 試 材

本研究では供試材としてTi-6Al-4V合金を用い，室温でのクリープ／クリープ疲労／疲労の3 種類の損傷を与えた．ステンレス鋼やNi基合金において，LCF ( Low Cycle Fatigue ) 寿命は高温で応力保持を入れることによって低下することが知られている ( 3 )．この現象は高温にてクリープが生じるためと考えられ，クリープ疲労と呼ばれている．また，Ti合金では室温においてもクリープ変形が生じることが報告されている ( 4 )．それゆえに，Ti合金では室温でも応力保持を導入することによる疲労寿命低下が生じる ( 5 )．この室温保持疲労はCold Dwell Fatigueと呼ばれている．

本研究における定荷重クリープ試験は初期応力876 MPaにて実施した．疲労試験は最大応力876 MPa，応力比R = 0，除荷負荷時間各2 sの条件にて実施した．クリープ疲労試験では疲労試験における最大応力時に120 sの応力保持を導入した．ひずみ量をそろえるため各試験は中断試験とした．中断後の試験片の伸びから得られた平均的なひずみ量は，クリープにて4.43％，クリープ疲労にて4.13％，疲労にて4.29％であった．

2.1.2　EBSD像の取得

各供試材の試験荷重方向に平行な断面のEBSD像を観察倍率400 倍で6 視野ずつ取得した．測定範囲は200 × 200 μm，ステップサイズ（ピクセルサイズ）は0.25 μm，ピクセル形状は正六角形とした．このように取得したEBSD像に対し方位差解析を実施した．なお，Ti-6Al-4V合金はα + βの二相組織であるが，変形は主にα 相が担っていること，広範なデータ取得を目的に観察倍率を低く設定したためEBSD上における粒界のβ 相の検出が困難であることから，本研究ではα 相のみを用いてEBSD解析を行った．

EBSDの方位差解析では，まずピクセルごとの結晶方位情報から結晶粒界が定義され，その後種々の指標によって各ピクセルの方位差を算出する．本研究では方位差解析の手法としてGROD ( Grain Reference Orientation Deviation ) とKAM ( Kernel Average Misorientation ) の2 種類を使用した．GRODは各結晶粒内の平均方位を基準に粒内の変形勾配を表す指標であり，( 1 ) 式にて計算される．

ここでθiおよびθaveは，それぞれ結晶粒内のi番目のピクセルの方位および基準となる平均方位である．一方KAMは周辺ピクセルとの方位差平均を表す指標であり， ( 2 ) 式にて計算される．

ここでαiは対象とするピクセルと隣接するピクセルとの方位差で，KAMとはすなわち六角形状ピクセルと隣接する六つのピクセル間の方位差の平均値である．

本研究ではこれら二つの解析手法に加えて，KAMの応用的な解析手法である粒界KAM・粒内KAMも使用した．粒界KAMは通常のKAMから粒界近傍の測定点を抽出したものであり，粒界における方位差に着目する場合に用いられる．一方で，粒内KAMは粒界近傍以外の測定点を抽出したものであり，粒内における方位差に着目する場合に用いられる．本研究では粒界から5 ピクセル以内を粒界近傍とした．すなわち，粒界を中心に2.5 μm（10 ピクセル）幅に含まれるものを粒界KAM，それ以外を粒内KAMとして使用した．

このようにして得られたEBSD像を，横800 ×縦799 ピクセルのグレースケール画像として出力した．代表視野を第1図に示す．各画像は方位差が大きいほど白に近い色で描画されている．今回の供試材は損傷ごとのひずみ量をおおむね統一したため，EBSD像の明度は同程度となっていた．したがって，人間の目によって損傷形態を判別することは困難であった．

2.1.3　EBSD像のデータセット化

3 種類の損傷形態それぞれについて6 視野ずつ取得した800 × 799 ピクセルのEBSD像に対して，データ拡張と学習用／評価用へのデータ分割を実施し，機械学習に使用するデータセットを作成した．

機械学習において，入力に対する正解（ラベル）が既知である教師データの量は精度に直結する重要な要素の一つである．特に材料分野においては，実験コストの高さや製造プロセスの複雑さといった要因によって，統一されたフォーマットのデータを大量に確保することが難しく，機械学習の妨げとなっている．画像を扱う機械学習ではこれらの問題を解決するため，既存のデータセットからデータ数を水増しするデータ拡張 ( Data Augmentation ) と呼ばれる手法が複数提案されている．代表的なものとして，回転・反転・平行移動・トリミング・拡大・縮小などが挙げられる．

本研究ではデータ拡張処理として，トリミングおよび回転・反転処理を実施した．トリミングサイズを小さくすることでEBSD像1 枚当たりから生成される画像数は多くなる．一方で画像1 枚に含まれる視野は狭くなってしまうため，マクロな損傷の特徴が反映されづらくなる，あるいは局所的な損傷の特徴の生じている領域が視野から漏れやすくなるといった，精度低下につながる事象が起こりやすくなると考えられる．そこで，トリミングサイズの影響を評価するため，400 × 400 ピクセル，200 × 200 ピクセル，100 × 100 ピクセルの3 種類を比較検討した．これらのデータ拡張処理によって，400 × 400 ピクセルの場合はEBSD像1 枚当たり72 枚，200 × 200 ピクセルの場合は392 枚，100 × 100 ピクセルの場合は1 800 枚の画像を得た．

学習用／評価用へのデータ分割は，データ拡張処理を行う前のEBSD像に対して行った．すなわち，トリミング・回転・反転処理後の画像を混ぜてから学習用／評価用に分割するのではなく，各損傷6 視野取得したEBSD像のうち1 視野ずつを事前に選択した．そこからデータ拡張処理によって得られる72／392／1 800 枚 × 損傷3 種類の画像を評価用データ，それ以外の5 視野分の画像を学習用データとした．これによって，学習に使用した画像の回転像や反転像が評価用データに含まれることを防止し，完全に未知の視野に対する予測精度を評価することが可能である．

以上の処理によって，GROD／KAM／粒界KAM／粒内KAMの各方位差解析手法およびクリープ／クリープ疲労／疲労の各損傷形態について，第1表に示す枚数のデータセットが得られた．

2.2　機械学習の手法

2.2.1　ネットワーク構造

機械学習のネットワーク構造には，畳み込みニューラルネットワークの一種であるResNet ( Residual Networks ) ( 6 ) を使用した．ResNetには，ResNet-18，34，50，101，152という複雑さの異なる5 種類の構造が提案されている．本研究で扱うデータ数は最大でも3 万枚程度であり，画像認識分野で広く知られているMNIST（Mixed National Institute of Standards and Technology database，7 万枚）やImageNet（1 400 万枚以上）といったデータセットと比較すると少数であるため，最も単純な構造であるResNet-18のネットワーク構造を使用した．入力画像は複数の畳み込み層を経由した後，Softmax関数によって各ラベルに分類される確率が計算される．パラメータの更新に寄与する損失関数には交差エントロピーが，使用するモデルを決めるValidation誤差にはTop-1 Accuracyが用いられている．このようなネットワークを用いて機械学習を行った後，Validation誤差が最小となるモデルを用いて，Softmax関数によって評価用画像がクリープ／クリープ疲労／疲労に分類される確率を算出した．このうち，最も確率が高いものをその画像に対する予測結果とみなした

2.2.2　機械学習の結果評価

EBSDにおける方位差解析手法やトリミングサイズの影響を比較するためには，得られた機械学習モデルの精度を定量的に比較する必要がある．本研究では，Accuracy，Precision，Recallの三つの指標を用いて機械学習モデルの精度を評価した．これらの指標は混同行列 ( Confusion Matrix ) から算出される．混同行列とは予測結果の正誤をまとめた表である．ラベルが2 通りの場合の混同行列の例を第2表に示す．混同行列はラベル数 ×ラベル数のマトリクスであり，各セルには該当するデータ数が記される．例えば，TPのセルには実ラベル・予測ラベルがどちらもPositiveであったデータ数が，FNのセルには実ラベルがPositiveで予測ラベルがNegativeであったデータ数が記される．

まずAccuracyは正解率や精度などと訳され，全データのうち正しく予測できていたものの割合を示す指標である．Accuracyは以下の ( 3 )式にて計算される．

続いてPrecisionは適合率などと訳され，Positiveと予測されたデータのうち実際にPositiveであるものの割合を表す指標である．Precisionは以下の ( 4 ) 式にて計算される．

次にRecallは再現率などと訳され，実際にPositiveであるデータのうちPositiveと予測されたものの割合を表す指標である．Recallは以下の ( 5 ) 式にて計算される．

Precisionは予測結果がどれだけ正しかったのかを，Recallはどれだけ漏れなく予測できたかを表す指標である．一般に両者はどちらか一方を高めればもう一方が低くなるといった対の関係にあることが知られており，扱う問題の性格に応じてどちらを優先するかを判断する．

本研究ではラベルがクリープ／クリープ疲労／疲労の3 種類なので，機械学習モデルによる予測結果として3 × 3の混同行列が得られる．この混同行列に対してAccuracy，損傷形態ごとのPrecisionとRecallを計算し，それらの指標を用いて方位差解析手法やトリミングサイズの影響を比較した．なお，本研究において対象となる問題では実際の損傷形態をどれだけ正しく予測できていたのかが重要であるため，PrecisionとRecallのなかではRecallを優先して評価した．

2.3　機械学習の着目点分析

2. 1. 2 項にて述べたとおり，人間の目によって今回使用するEBSD像のみから損傷形態を判別することは困難であった．しかしながら，機械学習による分類が可能なのであれば，損傷形態の異なるEBSD像の間に人間の目では判別できない差異が生じており，その差異を認識して分類を行っているものと推測される．したがって，機械学習の着目箇所を可視化することによって，損傷形態による材料の組織的な特徴の差異を明確化することが可能と考えられる．近年，深層学習モデルが画像のどこに着目して予測を行ったのかを可視化する手法が多数提案されている．本研究では，これらの可視化手法の一つであるGrad-CAM ( Gradient-weighted Class Activation Mapping ) ^{( 7 )} を用いて着目箇所の可視化を実施した．

3.　解析結果と考察

3.1　EBSD解析手法の影響

まず，トリミングサイズ条件を400 × 400 ピクセルの条件で統一し，GROD／KAM／粒界KAM／粒内KAMの4 種類のEBSDの方位差解析手法による損傷形態の予測精度の差異を比較した．各方位差解析手法によって得られる画像で構成されたデータセットを用いて機械学習を行い，Accuracy，Precision，Recallを計算した結果を第3表に示す．いずれの方位差解析手法においても疲労の画像に対する予測結果はPrecision，Recallともに1.00であり，100％の精度で予測できていたことが分かる．また，全ての指標において粒内KAM像を用いた場合が最も高い値となっていた．粒内KAM像を用いた場合の混同行列を第4表に示す．クリープとクリープ疲労の判別に多少の誤りが生じているものの，今回検討した4 種類の解析手法のなかでは粒内KAM像に最も損傷の特徴が表れている可能性が示唆された．

続いて，ほかの解析手法の結果を詳細に確認した．まずGROD像を用いた場合，クリープのRecallは1.00と非常に高い値が得られた一方で，クリープ疲労のRecallは0.042と非常に小さな値になっていた．このことはクリープの画像もクリープ疲労の画像も大半がクリープと予測されたことを意味し，クリープとクリープ疲労をほとんど区別できていなかったと考えられる．KAM像を用いた場合もクリープのRecallが0.5を下回った．すなわちクリープの画像の半数以上がクリープ疲労と予測されており，クリープとクリープ疲労をほとんど区別できていなかったと考えられる．

KAM像，粒界KAM像，粒内KAM像の結果を比較すると，予測精度はいずれの指標においても粒内KAMが最も高く，次いで粒界KAM，KAMの順であった．粒界KAM，粒内KAM像は通常のKAM像の特定領域を抽出したものであるため，画像1 枚に含まれる方位差の情報量は通常のKAM像の方が多い．それにもかかわらず粒界KAM，粒内KAMを用いた方が高精度であったのは，方位差のついた単なるピクセルの座標情報に「粒界」「粒内」といった材料学的な意味が付与されたからではないかと推察される．

3.2　トリミングサイズの影響

次に，トリミングサイズによる予測精度の差異を比較した．EBSDの方位差解析手法は3. 1 節の結果において最高精度であった粒内KAMで統一し，400 × 400 ピクセル，200 × 200 ピクセル，100 × 100 ピクセルそれぞれのデータセットを用いて機械学習を行った．各モデルのAccuracy，Precision，Recallを計算した結果を第5表に示す．なお，400 × 400 ピクセルの解析結果は第3表，第4表と同じものである．いずれのトリミングサイズにおいても疲労の画像に対する予測結果はPrecision，Recallともに1.00であり，100％の精度で予測できていた．しかし，クリープとクリープ疲労の分類に関しては400 × 400 ピクセルの画像を用いた場合が最高精度であり，トリミングサイズを小さくするほど精度が低下していった．データ数が5 倍や25 倍も増えているにもかかわらず予測精度が低下した原因として，画像1 枚当たりの情報量の減少が考えられる．トリミング後の粒内KAM像の代表例を第2図に示す．視野内に含まれる結晶粒の数が，400 × 400 ピクセルでは約150 個，200 × 200 ピクセルでは約40 個，100 × 100 ピクセルでは約10 個と大きく異なっている．EBSD像に表れる損傷の特徴が結晶粒数十個規模に及ぶようなマクロなものであった場合，トリミングサイズを小さくするほどその特徴の全容を把握することは困難になり，モデルの予測精度低下につながると考えられる．逆に損傷の特徴が特定の領域に集中するようなものであった場合，トリミングサイズを小さくすると視野内にその領域が含まれる確率が低下するため，損傷の影響が少ない視野にもラベルが付与されたデータセットで学習・評価が行われてしまい，予測精度が低下してしまうと推察される．いずれの場合であっても本検討の結果より，トリミングサイズの減少によるデータ数の水増しは無制限に行えるものではないことが示された．データ数の増加によって精度向上を図る場合には，EBSDの追加取得が最も有効な手法であると考えられる．

3.3　実用化に向けた検討事項

ここで，これまでの比較検討において最も高精度であったモデルについて整理する．本研究で検討した条件下においては，粒内KAM像を400 × 400 ピクセルにトリミングしたデータセットを用いて作成した予測モデルが最も高精度であった．予測結果の混同行列は第4表に示すとおりである．疲労は100％の精度で予測することができていたものの，クリープ／クリープ疲労に限定したAccuracyは約0.8であった．

このように，今回検討した手法は高精度に損傷形態を判別できる可能性が示されたものの，100％の精度で判別できるわけではない．実際に本手法をメンテナンスや損傷調査といった場面で活用していくには，精度向上といった技術的な検討とともに，求められる精度や予測結果の妥当性をどのように担保するかといった，機械学習モデルの運用方法に関する検討が必要となる．また，実際の構造物からの試験片採取方法（位置，手順），採取された試験片からのEBSD像の取得方法や取得画像に許容されるばらつきなどといった，機械学習モデルに投入されるデータの取得方法と質に関する議論も必要になると考えられる．

3.4　Grad-CAMによる着目点分析

最後に，これまでの比較検討において最も高精度であった粒内KAM，トリミングサイズ400 × 400 ピクセルの予測モデルに対して，Grad-CAMによる着目点分析を行った．クリープ／クリープ疲労／疲労それぞれについて，着目点の分析結果を第3図に示す．第3図においては，赤に近い領域ほど着目度が高く，青に近い領域ほど着目度が低いことを意味する．なお，これらは正しく分類できていた画像に対する分析結果を記載している．第3図から，粒内KAM像において白くなっている，すなわち粒内の方位差が大きくなっている結晶粒を中心に着目していることが分かる．着目点が画像全体ではなく局所的であることから，損傷形態によるマクロな方位差分布の差異ではなく，粒内に生じた方位差分布の形状を特徴として分類が行われている可能性が示唆された．今後，これらの着目点についてより詳細に観察を実施することで，損傷メカニズムの解明にもつながることが期待される．

また，個々の着目箇所は結晶粒1 個 ～ 数個程度の広さであり，その数も画像1 枚当たり数か所程度であった．このことから，トリミングサイズを小さくしたときに予測精度が低下した原因は，損傷の特徴が顕著な領域が視野内に含まれる確率が低下したことであったと推察される．

4.　結言

ひずみ量が同程度になるように室温において，クリープ／クリープ疲労／疲労の異なる損傷を与えたTi合金のEBSD像を用いて機械学習を行い，人間の目では困難な損傷形態の判別を試みた．

EBSDの方位差解析手法としてGROD，KAM，粒界KAM，粒内KAMの4 種類を，データ拡張処理におけるトリミングサイズとして400 × 400 ピクセル，200 × 200 ピクセル，100 × 100 ピクセルの3 種類を比較し，これらの条件が予測精度に与える影響について検討した．さらに，Grad-CAMによる機械学習の着目点分析を実施し，EBSD像におけるどのような特徴に着目した推定が行われたのかを確認した．得られた結論を以下に示す．

1. 本研究で検討した解析条件下においては，トリミングサイズを400 × 400 ピクセル，方位差解析手法を粒内KAMとしたモデルが最高精度であった．
2. トリミングサイズを小さくすると，損傷の特徴が顕著な領域が視野内に含まれる確率が低下し，予測精度低下につながる．したがって，トリミングサイズの減少によるデータ数の水増しは無制限に行えるものではない．
3. 本研究で検討した手法は高精度に損傷形態を判別できる可能性が示されたが，100％の精度で判別できるわけではない．本手法の実用化に向けては，モデル自体の精度向上だけでなく，機械学習モデルの運用方法に関する検討や，投入されるデータの取得方法と質に関する議論が必要である．
4. Grad-CAMによる着目点分析によって，結晶粒内に生じた方位差分布の形状を特徴として損傷形態の分類が行われている可能性が示された．今後これらの着目点を詳細に観察することで，損傷メカニズムの解明につながることが期待される．

本技術の高精度化によって，評価者の知識や経験によらない一般化された損傷要因推定を実現することで，保全防災の面から社会に貢献していく．

　　　　 　　　　 　　　　 　　　　 　　　　 　　　　 　　　　 　　　　 　　　　 　　　　 　　　　 　　　　 　　　　 　　　　 　　　　 　　　　 　　　　 　　　　 　　　　 　　　　 　　　　 　　　　 　　　　 　　　　 　　　　 　　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　

第63巻 第2号 特集 社会課題の解決を支える基盤技術の進化