Transformer這么火，LSTM這種“老古董”還有什么可研究的？

LSTM作為一個被充分驗證的、高效的問題解決工具，在Transformer爆火的現(xiàn)在，仍然是我們發(fā)論文的好選擇。

當(dāng)然，單純“刷點”的LSTM論文確實難發(fā)了，但如果將LSTM視為一個強大的基礎(chǔ)模塊，用于解決實際問題，那空間就非常廣闊了，而且這樣更容易落地，工業(yè)界相當(dāng)喜歡。

鑒于此，目前LSTM研究的技術(shù)路徑主要有四類：內(nèi)部魔改型、結(jié)構(gòu)增強型、機制融合型、新興架構(gòu)結(jié)合型。為幫助大家更好的上手，我整理了126篇LSTM前沿論文。

本論文合集已按照上述路徑做好了分類，可以直接作為LSTM創(chuàng)新方向參考，開源代碼也整理了，想提升效率的同學(xué)可自取。

掃碼添加小享，回復(fù)“LSTM合集”

免費獲取全部論文+開源代碼

內(nèi)部魔改型

解決 “LSTM 性能 / 效率瓶頸” 問題，比如LSTM魔改。

Multi-Channel Multi-Step Spectrum Prediction Using Transformer and Stacked Bi-LSTM

方法：論文提出了一種新的多通道多步譜預(yù)測方法TSB，它通過“魔改”LSTM（即堆疊雙向LSTM）和Transformer架構(gòu)，利用多頭注意力機制和堆疊Bi-LSTM來深度捕獲多通道譜數(shù)據(jù)的長期依賴關(guān)系，從而實現(xiàn)更準(zhǔn)確的譜預(yù)測。

創(chuàng)新點：

• 提出了一種新的Transformer模型TSB，結(jié)合了編碼器 - 解碼器架構(gòu)、多頭注意力機制和堆疊雙向LSTM，用于多通道多步譜預(yù)測。

• 多頭注意力機制能夠持續(xù)關(guān)注多通道譜序列的所有位置，而堆疊Bi - LSTM則可以逐層學(xué)習(xí)這些編碼特征，深度捕獲多通道譜數(shù)據(jù)的長期依賴關(guān)系。

• 在真實模擬平臺生成的數(shù)據(jù)集上進行了廣泛實驗，結(jié)果表明該算法相比基線方法具有更好的預(yù)測性能。

解決 “LSTM 單一模態(tài) / 依賴建模不足” 問題，比如LSTM+注意力/Transformer、CNN-LSTM-Attention、LSTM+CNN。

A Respiratory Motion Prediction Method Based on LSTM-AE with Attention Mechanism for Spine Surgery

方法：論文提出了一種基于LSTM（長短期記憶網(wǎng)絡(luò)）和注意力機制的呼吸運動預(yù)測方法，用于脊柱手術(shù)。該方法通過LSTM捕捉呼吸運動的時間序列特征，并利用注意力機制聚焦于重要的時間步，從而提高預(yù)測精度。

創(chuàng)新點：

• 提出了一種基于LSTM和注意力機制的呼吸運動預(yù)測方法，能夠快速適應(yīng)不同患者的呼吸模式，為脊柱手術(shù)中的精準(zhǔn)操作提供支持。

• 引入了PCA降維技術(shù)，有效降低了呼吸運動數(shù)據(jù)的復(fù)雜度，提升了模型的訓(xùn)練效率和預(yù)測性能。

• 實現(xiàn)了在短時間內(nèi)（約2分鐘）利用少量數(shù)據(jù)完成模型訓(xùn)練，并在333毫秒的延遲下達到了高精度的預(yù)測效果，滿足了臨床應(yīng)用的需求。

掃碼添加小享，回復(fù)“LSTM合集”

免費獲取全部論文+開源代碼

機制融合型

解決 “LSTM 數(shù)據(jù)質(zhì)量 / 數(shù)量不足” 問題，比如LSTM+卡爾曼濾波、LSTM+GAN。

An end-cloud collaboration approach for state-of health estimation of lithium-ion batteries based on bi-LSTM with collaboration of multi-feature and attention mechanism

方法：論文提出了一種端云協(xié)作的鋰離子電池健康狀態(tài)（SOH）估計方法，使用Bi-LSTM和注意力機制進行高精度預(yù)測，并通過擴展卡爾曼濾波（EKF）融合端側(cè)和云側(cè)的估計結(jié)果，從而在保證實時性的同時，提高了SOH估計的準(zhǔn)確性。

創(chuàng)新點：

• 提出端云協(xié)作的鋰離子電池健康狀態(tài)（SOH）估計方法，云側(cè)用深度學(xué)習(xí)模型確保高精度，端側(cè)用簡單模型保證實時性。

• 在云側(cè)的深度學(xué)習(xí)模型中引入了注意力機制，能夠自動識別和聚焦于與電池健康狀態(tài)強相關(guān)的特征，進一步提升模型的預(yù)測精度。

• 采用擴展卡爾曼濾波算法作為端云協(xié)作的核心，有效融合了端側(cè)和云側(cè)的估計結(jié)果，實現(xiàn)了在保證實時性的同時兼顧估計的準(zhǔn)確性。

解決 “LSTM 可解釋性 / 領(lǐng)域適配差” 問題，比如LSTM+PINN、LSTM+KAN。

Physics-Informed LSTM-Based Delay Compensation Framework for Teleoperated UGVs

方法：論文提出了一種基于LSTM和PINN的混合方法，用于解決具有不確定性和動態(tài)變化的物理系統(tǒng)建模問題。LSTM用于處理時間序列數(shù)據(jù)，捕捉系統(tǒng)的動態(tài)行為，而PINN則通過嵌入物理定律來提高模型的準(zhǔn)確性和泛化能力。

創(chuàng)新點：

• 提出了一種結(jié)合LSTM和PINN的混合模型，用于處理具有不確定性和動態(tài)變化的物理系統(tǒng)建模。

• 利用LSTM處理時間序列數(shù)據(jù)，捕捉系統(tǒng)的動態(tài)行為，而PINN則通過嵌入物理定律來提高模型的準(zhǔn)確性和泛化能力。

• 通過實驗驗證了該混合模型在處理復(fù)雜物理系統(tǒng)時的有效性，展示了其在預(yù)測精度和計算效率方面的優(yōu)勢。

掃碼添加小享，回復(fù)“LSTM合集”

免費獲取全部論文+開源代碼