1. Pengenalan
Struktur awam, seperti landasan kereta api, merosot dari semasa ke semasa disebabkan oleh haus, kakisan, pecah dan ubah bentuk komponen. Untuk mengekalkan struktur sedemikian, pengendali manusia memantau kesihatan mereka dan membaikinya jika perlu. Meramalkan kesihatan struktur adalah penting untuk pengurusan projek dan kesihatan [1], [2] dan bukannya pengurusan reaktif kerana pengendali boleh menentukan sama ada campur tangan penyelenggaraan perlu, lebih awal.
Untuk prognostik dan pengurusan kesihatan, kami mempertimbangkan masalah meramalkan proses pemulihan degradasi, seperti yang ditunjukkan dalam Rajah 1 (atas). Dalam proses ini, kesihatan struktur merosot dari semasa ke semasa tetapi pulih apabila campur tangan penyelenggaraan dilakukan. Intervensi penyelenggaraan biasanya direkodkan dari segi tarikh dan jenis. Dalam kajian ini, kami mewakili rekod tersebut sebagai siri masa binari seperti \([0,0,1,0,0,\ldots]\), menunjukkan bahawa campur tangan penyelenggaraan telah dilakukan pada hari ketiga.
Kami mencadangkan model ingatan jangka pendek panjang (LSTM) [3] untuk meramalkan proses pemulihan degradasi menggunakan rekod intervensi penyelenggaraan binari. Terdapat beberapa cara yang mungkin untuk menyuapkan data siri masa binari tersebut ke dalam LSTM. Walau bagaimanapun, kaedah input ini belum diterokai dengan secukupnya. Kami secara eksperimen membandingkan dua kaedah untuk memasukkan rekod intervensi penyelenggaraan dalam LSTM menggunakan data sintetik. Salah satunya ialah penyatuan rekod intervensi penyelenggaraan dan data kesihatan dan memasukkannya ke dalam LSTM [4]. Kaedah penggabungan ialah pendekatan yang mudah untuk pembelajaran mendalam. Yang lain adalah untuk memulakan semula memori dalaman LSTM apabila melakukan intervensi penyelenggaraan. Kaedah ini memulakan semula LSTM setiap kali beberapa campur tangan penyelenggaraan dilakukan. Oleh itu, LSTM boleh menumpukan pada ramalan proses degradasi. Keputusan eksperimen menggunakan data sintetik menunjukkan bahawa kaedah penggabungan pertama mengatasi kaedah pemulaan kedua. Tambahan pula, kajian ablasi dengan pelbagai tahap hingar pemerhatian mendedahkan bahawa kedua-dua kaedah memberikan prestasi yang lebih baik daripada LSTM tanpa rekod intervensi penyelenggaraan. Sumbangan utama kajian ini diringkaskan seperti berikut:
- Kami mendedahkan bahawa kaedah penggabungan mengatasi kaedah permulaan dalam prestasi ramalan.
- Kami menunjukkan bahawa rekod intervensi penyelenggaraan binari menyumbang kepada peningkatan prestasi ramalan. Keputusan ini menunjukkan bahawa LSTM boleh dipelajari daripada data siri masa binari.
2. Kaedah
Dalam bahagian ini, kami merumuskan masalah meramalkan proses pemulihan degradasi dengan campur tangan penyelenggaraan. Kemudian, kami menerangkan kaedah yang dicadangkan untuk memasukkan data intervensi penyelenggaraan ke dalam LSTM.
2.1 Model LSTM untuk Ramalan
Kami menandakan kesihatan struktur pada masa \(t\) as \(x^*_t \in \left[0,1\right]\), Di mana \(x^*_t=1\) menunjukkan kesihatan terbaik dan lebih rendah \(x^*_t\) menunjukkan kesihatan yang lebih teruk. Kami menganggap bahawa pengendali memerhatikan kesihatan yang bising \(x_t\) as \(x_t=x^*_t+\varepsilon_t\), Di mana \(x^*_t\) adalah kebenaran asas dan \(\varepsilon_t\) ialah bunyi Gaussian dengan min sifar.
Kajian ini mempertimbangkan dua intervensi penyelenggaraan: pembaikan separa dan penggantian [5]. Jika sama ada pembaikan atau penggantian separa dilakukan, kesihatan struktur dipulihkan. Perbezaan antara kedua-dua campur tangan ialah kadar kemerosotan selepas penggantian adalah lebih rendah daripada itu selepas pembaikan separa kerana penggantian merujuk kepada penggantian keseluruhan struktur dengan yang baharu. Kami menandakan pembaikan dan penggantian separa pada masa \(t\) as \(p_{t},r_{t}\in\left\{0,1\right\}\), masing-masing, di mana \(p_t\) and \(r_t\) ambil satu secara eksklusif, dan \(p_{t}=1\) or \(r_t=1\) menunjukkan bahawa intervensi telah dilakukan.
Kami menyasarkan untuk membina model ramalan berasaskan LSTM \(\hat{x}_{t+1}=f(x_{t-T+1:t},p_{t-T+1:t},r_{t-T+1:t};\theta)\), di mana kita menandakan \(x_{t-T+1:t}=\left\{x_{t-T+1},\ldots,x_t\right\}\), \(p_{t-T+1:t}=\left\{p_{t-T+1},\ldots,p_t\right\}\), dan \(r_{t-T+1:t}=\left\{r_{t-T+1},\ldots,r_t\right\}\), masing-masing, dan \(\theta\) ialah parameter LSTM. Kami tetapkan \(T=10\) semasa eksperimen. Untuk menentukan parameter optimum \(\hat{\theta}\), kami meminimumkan fungsi kehilangan kuasa dua berkenaan dengan \(\theta\):
\[\begin{equation*} L(\theta)=\frac{1}{N-T+1}\sum_{t=T}^{N}\left(x_{t+1}-\hat{x}_{t+1}\right)^2 \rightarrow\min, \tag{1} \end{equation*}\] |
di mana \(N\) ialah panjang data siri masa.
2.2 Memasukkan Rekod Intervensi Penyelenggaraan Binari
Kami meneliti dua kaedah untuk memasukkan rekod intervensi penyelenggaraan \(p_{t},r_{t}\) ke dalam LSTM: penggabungan dan pemulaan semula.
Gabungan: Kaedah ini menggabungkan pemerhatian kesihatan \(x_t\) dan rekod penyelenggaraan \(p_{t},r_{t}\) as \(\tilde{x}_t=(x_t,p_{t},r_{t})\). Vektor bercantum \(\tilde{x}_t\) dimasukkan ke dalam lapisan pertama LSTM. Walaupun LSTM tidak dilatih secara eksplisit untuk menganggarkan masa pemulihan dan kadar kemerosotan, kami menjangkakan bahawa LSTM boleh menangkap corak pemulihan-degradasi sebagai sebahagian daripada perwakilan dalamannya kerana keupayaannya untuk mempelajari kebergantungan temporal.
Inisialisasi semula: Kaedah ini memulakan semula sel memori \(c_t\) dan keadaan tersembunyi \(h_t\) LSTM apabila pembaikan separa (\(p_t=1\)) atau penggantian (\(r_t=1\) ) dilakukan seperti berikut:
\[\begin{eqnarray*} h_{t+1}&=& \begin{cases} h'_{t+1}(1-p_{t})+h_{\text{init}}^{\text{(p)}} p_t & \text{for partial repair} \\[1mm] h'_{t+1}(1-r_{t})+h_{\text{init}}^{\text{(r)}} r_t & \text{for replacement} \end{cases} \tag{2} \\ c_{t+1}&=& \begin{cases} c'_{t+1}(1-p_{t})+c_{\text{init}}^{\text{(p)}} p_t & \text{for partial repair} \\[1mm] c'_{t+1}(1-r_{t})+c_{\text{init}}^{\text{(r)}} r_t & \text{for replacement} \end{cases} \tag{3} \end{eqnarray*}\] |
di mana \(h'_{t+1},c'_{t+1}\) ialah keluaran sel LSTM vanila, dan \(h_{\text{init}}^{\text{(p)}},h_{\text{init}}^{\text{(r)}},c_{\text{init}}^{\text{(p)}}, c_{\text{init}}^{\text{(r)}}\) ialah parameter pemulaan semula yang boleh dipelajari. Parameter ini dipelajari semasa perambatan belakang untuk Pers. (1); kecerunan \(\partial L/\partial h_\text{init}^{(*)}\) and \(\partial L/\partial c_\text{init}^{(*)}\), Di mana \(*\) menunjukkan sama ada p dan r, digunakan dalam perambatan belakang apabila salah satu intervensi dilakukan. Inisialisasi semula ini bertujuan untuk memulakan model LSTM setiap kali campur tangan penyelenggaraan juga diberikan. Oleh itu, LSTM menumpukan pada ramalan proses degradasi.
3. Eksperimen
Kami secara eksperimen membandingkan dua kaedah untuk memasukkan data intervensi penyelenggaraan ke dalam LSTM menggunakan proses pemulihan degradasi.
3.1 Tetapan Eksperimen
Kami menjana 18 data siri masa secara bebas dengan \(N=500\) panjang menggunakan proses degradasi-pemulihan berdasarkan gerakan Brownian geometri [6] yang diterangkan dalam Lampiran. Untuk bunyi rawak \(\varepsilon_t\), kami menggunakan taburan normal \(N(0,\sigma^2)\) bersama \(\sigma=0.01, 0.03, 0.05, 0.07, 0.09\). Kami membahagikan 18 data siri masa kepada enam untuk latihan, dua untuk pengesahan dan sepuluh untuk ujian. Rajah 1 (atas) menunjukkan data siri masa ujian untuk \(\sigma=0.05\). Dalam rajah, garis menegak hijau dan merah menunjukkan bahawa pembaikan dan penggantian separa telah dilakukan.
Untuk melatih LSTM, kami menggunakan pengoptimum Adam [7] dengan hiperparameter \((\beta_1, \beta_2) = (0.9, 0.999)\). Kami menetapkan saiz kelompok kepada 16 dan bilangan zaman kepada 100. Kami menggunakan min kehilangan ralat kuasa dua. Menggunakan Optuna [8], kami mengoptimumkan hiperparameter LSTM berikut: bilangan unit tersembunyi, bilangan lapisan, kadar keciciran dan kadar pembelajaran.
3.2 Metrik Penilaian
Sebagai metrik penilaian, kami menggunakan ralat purata kuasa dua akar (RMSE) seperti berikut:
\[\begin{equation*} \mathcal{L}=\sqrt{\frac{1}{(N-T)M}\sum_{t=T+1}^{N}\sum_{m=1}^{M} \left(x_t^{*(m)}-\hat{x}_t^{(m)}\right)^2}, \tag{4} \end{equation*}\] |
di mana \(M\) ialah bilangan data siri masa untuk ujian, ditetapkan kepada \(M=10\), dan \(x_t^{*(m)}\) and \(\hat{x}_t^{(m)}\) adalah kebenaran asas dan ramalan pada masa \(t\) of \(m\)data siri masa ke-, masing-masing.
3.3 Keputusan Eksperimen
Jadual 1 menyenaraikan RMSE untuk LSTM vanila, LSTM dengan pemulaan semula dan LSTM dengan gabungan. LSTM vanila dilatih hanya menggunakan siri masa kesihatan, manakala dua kaedah lain menggunakan rekod intervensi penyelenggaraan bagi pembaikan dan penggantian separa. Keputusan mereka menunjukkan bahawa kaedah penggabungan memberikan prestasi ramalan yang terbaik. Rajah 1 menunjukkan keputusan contoh untuk tahap hingar \(\sigma=0.05\). Baris kedua, ketiga dan bawah menunjukkan baki antara kebenaran tanah dan ramalan oleh kaedah pemulaan semula LSTM vanila dan kaedah penggabungan.
Jadual 1 Hasil perbandingan RMSE dengan LSTM vanila, kaedah pemulaan semula dan kaedah penyambungan. RMSE terbaik untuk setiap tahap hingar diserlahkan dalam huruf tebal. |
Daripada Rajah 1 (kedua), vanila LSTM memberikan ramalan yang lemah, terutamanya pada dan selepas intervensi, masing-masing ditunjukkan untuk garis menegak hijau dan merah; Ini kerana LSTM vanila tidak dibekalkan dengan rekod intervensi penyelenggaraan. Sebaliknya, dari Rajah 1 (ketiga dan bawah), dua kaedah lain memberikan ramalan yang lebih baik daripada LSTM vanila; Ini menunjukkan bahawa rekod binari berguna untuk meramalkan lonjakan dalam data siri masa. Apabila membandingkan kaedah pemulaan semula dengan kaedah penyambungan, yang kedua mempunyai RMSE yang lebih kecil untuk semua tahap hingar, seperti ditunjukkan dalam Jadual 1. Daripada Rajah 1 (ketiga dan bawah), kaedah pemulaan semula (ketiga) menghasilkan ramalan yang lebih teruk daripada kaedah penyatuan ( bawah), terutamanya selepas penggantian yang ditunjukkan oleh garis menegak merah, cth selepas masa 300. Walaupun kaedah pemulaan semula mempelajari parameter awal, \(h_{\text{init}}^{\text{(p)}},h_{\text{init}}^{\text{(r)}},c_{\text{init}}^{\text{(p)}}, c_{\text{init}}^{\text{(r)}}\), LSTMnya sentiasa cuba meramalkan proses degradasi secara sama, sekali gus merendahkan prestasi.
4. Kesimpulan
Kami mempertimbangkan proses pemulihan degradasi dan memeriksa penyusunan rekod intervensi penyelenggaraan binari ke dalam LSTM. Eksperimen menggunakan data sintetik menunjukkan perkara berikut: perwakilan binari boleh dipelajari untuk meramalkan proses yang melibatkan lompatan melalui campur tangan penyelenggaraan. Tambahan pula, kaedah penggabungan adalah cara yang menjanjikan untuk memasukkan data siri masa binari tersebut ke dalam LSTM. Penemuan ini berguna untuk pembangunan model mendalam untuk peramalan menggunakan data yang diwakili oleh siri masa binari.
Penghargaan
Kajian ini disokong oleh JSPS KAKENHI Nombor Geran JP19K12039.
Rujukan
[1] K.L. Tsui, N. Chen, Q. Zhou, Y. Hai, and W. Wang, “Prognostics and health management: A review on data driven approaches,” Mathematical Problems in Engineering, vol.2015, Article ID 793161, 2015.
CrossRef
[2] Y. Lei, N. Li, L. Guo, N. Li, T. Yan, and J. Lin, “Machinery health prognostics: A systematic review from data acquisition to rul prediction,” Mechanical Systems and Signal Processing, vol.104, pp.799-834, 2018.
CrossRef
[3] S. Hochreiter and J. Schmidhuber, “Long short-term memory,” Neural Computation, vol.9, no.8, pp.1735-1780, 1997.
CrossRef
[4] K. Kosukegawa, Y. Mori, H. Suyari, and K. Kawamoto, “Spatiotemporal forecasting of vertical track alignment with exogenous factors,” Sci. Rep., vol.13, 2023.
CrossRef
[5] B. Castanier, C. Bérenguer, and A. Grall, “A sequential condition-based repair/replacement policy with non-periodic inspections for a system subject to continuous wear,” Appl. Stochastic Models Bus. Ind., vol.19, no.4, pp.327-347, 2003.
CrossRef
[6] C. Park and W. Padgett, “Accelerated degradation models for failure based on geometric brownian motion and gamma processes,” Lifetime Data Anal., vol.11, no.4, pp.511-527, 2005.
CrossRef
[7] D.P. Kingma and J.L. Ba, “Adam: A method for stochastic optimization,” Proc. International Conference on Learning Representations (ICLR), 2015.
[8] T. Akiba, S. Sano, T. Yanase, T. Ohta, and M. Koyama, “Optuna: A next-generation hyperparameter optimization framework,” Proc. 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp.2623-2631, 2019.
CrossRef
Lampiran: Proses Pemulihan Degradasi
Kami mentakrifkan proses pemulihan degradasi untuk kesihatan struktur seperti berikut. Semasa proses degradasi, kami menggunakan gerakan Brownian geometri (GBM) [6], yang merupakan proses stokastik yang diberikan oleh persamaan pembezaan stokastik sebagai \(dx_t=\mu x_t dt+\sigma x_t dW_t\), Di mana \(W_t\) ialah gerakan Brown dan \(\mu,\sigma\) ialah parameter drift dan volatiliti, masing-masing. Menggunakan formula Ito, penyelesaian GBM diberikan sebagai \(x_t=x_0\exp{\left(\tau t-\sigma W_t\right)}\), Di mana \(\tau=\mu-\sigma^2/2\). Menggunakan penyelesaian itu, kami mentakrifkan proses kemerosotan kesihatan seperti berikut:
\[\begin{equation*} x_t^*=x_0\exp{\left(-\tau (t-s)-\sigma W_{t-s}\right)} \tag{A$\cdot $1} \end{equation*}\] |
di mana \(x_0\) menandakan keadaan kesihatan awal, \(t\) ialah masa semasa dan \(s (<t)\) menandakan masa campur tangan penyelenggaraan terakhir, di mana \(\tau\) menunjukkan kadar degradasi. Semakin tinggi \(\tau\), semakin cepat degradasi. Di samping itu, bunyi Gaussian \(\varepsilon_t\sim N(0,\sigma^2)\) ditambahkan ke \(x_t^*\) as \(x_t = x_t^* + \varepsilon_t\).
Semasa proses pemulihan, kami mengambil sampel \(x_0\) dalam Persamaan. (A\(\cdot\)1) daripada taburan normal \(N(1,0.03^2)\). Proses pemulihan berlaku apabila sama ada pembaikan separa atau penggantian dilakukan. Pembaikan dan penggantian separa mempunyai kesan yang berbeza-beza pada kadar kemerosotan \(\tau\). Pembaikan separa meningkatkan kadar degradasi sebagai \(\tau'=\tau + \tau_d +\varepsilon_\tau\), \(\tau_d\) ialah kadar tambahan dan \(\varepsilon_\tau\sim N(0, 0.05^2)\). Kenaikan ini meningkat \(\tau\) setiap kali pembaikan separa dilakukan, mengakibatkan degradasi yang lebih cepat. Sebaliknya, penggantian menetapkan semula kadar degradasi yang meningkat sebagai \(\tau'\sim N(1.0,0.05^2)\). Pilihan pembaikan atau penggantian separa dan masanya ditentukan seperti berikut. Jika \(x_t<L_d\) and \(\tau>2.5\), penggantian dilakukan serta-merta kerana strukturnya telah rosak teruk dan dalam bahaya. Jika \(x_t<L_d\) and \(\tau<2.5\), kami melakukan pembaikan separa kerana kadar degradasi tidak begitu tinggi. Sebaliknya, jika \(x_t>L_m\), kami tidak melakukan pembaikan separa mahupun penggantian. Ini menjadi sedikit lebih rumit apabila \(L_d\le x_t \le L_m\). Dalam kes ini, strukturnya rosak tetapi tidak berada dalam bahaya yang teruk. Oleh itu, kami tidak selalu melakukan intervensi penyelenggaraan; sebaliknya, kami memutuskan sama ada untuk melaksanakannya secara berkemungkinan. Kami memilih pembaikan dan penggantian separa, setiap satu dengan kebarangkalian \(0.5\).