神經網路學習(一)：簡介NN、CNN、DNN等基礎

起源

今天上課開始講到NN部分，作為記錄試著開始寫我對於NN的學習歷程

NN、DNN與CNN

NN (Neural Network) ：僅描述最基礎及廣義的神經網路模型，全連接，後續所有神經網路都可以是廣義上的NN
DNN (Deep Neural Networks) ：專指深度超過2的NN模型
CNN (Convolutional neural network) ：較適合用在圖片識別，捲積層、池化層、全連接層
其中池化層負責縮小圖片維度，捲積層透過filter負責提取局部特徵，全連接層回到最初始NN的分類模型
RNN
GNN
Transformer

1. 卷積神經網絡（Convolutional Neural Networks，CNN）：
   CNN是一種專為圖像識別設計的神經網絡模型，它使用卷積層、池化層和全連接層來實現對圖像數據的特徵提取和分類。卷積層用於捕捉局部特徵，池化層用於減少特徵維度，全連接層用於進行最終的分類。
2. 遞歸神經網絡（Recurrent Neural Networks，RNN）：
   RNN是一種處理序列數據（如時間序列、文本等）的神經網絡模型，它具有記憶功能，可以捕捉時間上的依賴關係。RNN的一個主要挑戰是梯度消失或梯度爆炸問題，因此在實作中經常使用長短時記憶（LSTM）或門控循環單元（GRU）等改進型結構。
3. 生成對抗網絡（Generative Adversarial Networks，GAN）：
   GAN是一種創新的生成模型，它由生成器（Generator）和判別器（Discriminator）兩部分組成。生成器負責生成假數據，判別器負責辨別真假數據。通過博弈過程，生成器逐步提高生成數據的質量，判別器逐步提高辨別能力。最終，生成器可以生成接近真實數據的假數據。
4. Transformer模型：
   Transformer是一種基於自注意力機制（Self-Attention Mechanism）的深度學習模型，它在自然語言處理（NLP）等領域取得了顯著成果。Transformer克服了RNN無法充分捕捉長距離依賴的問題，並具有高度並行化的特點，能夠更有效地處理大規模數據。基於Transformer的預訓練語言模型（如BERT、GPT等）在各種自然語言處理任務上都取得了極高的性能。