深度學習

人工智慧----神經網路

神經網絡

人工神經網路,簡稱神經網路或類神經網路,在機器學習和認知科學領域,是一種模仿生物神經網路的結構和功能的數學模型或計算模型,用於對函式進行估計或近似。神經網路由大量的人工神經元聯結進行計算。大多數情況下人工神經網路能在外界資訊的基礎上改變內部結構,是一種自適應系統,通俗地講就是具備學習功能(維基百科)。 

第一代神經網路在1950年左右被提出來,它的算法只有兩層,輸入層輸出層,主要是線性結構。不能解決複雜的問題

為了解決第一代神經網絡的缺陷,在1980年左右Rumelhart、Williams等人提出第二代神經網路(MLP)。和第一代神經網絡相比,第二代在輸入層之間有多個隱含層的感知機,它導入一些非線性的結構,解決了之前無法模擬異或邏輯的缺陷。

第二代神經網絡讓科學家們發現神經網絡的層數直接決定了它對現實的表達能力,但是隨著層數的增加,由於存在梯度消失的問題,深層網絡往往難以訓練,效果還不如淺層網絡。

2006年Hinton採取無監督預訓練(Pre-Training)的方法解決了梯度消失的問題,使得深度神經網絡變得可訓練,將隱含層發展到7層,神經網絡真正意義上有了“深度”,由此揭開了深度學習的浪潮,第三代神經網路開始正式興起。


深度神經網路

深度神經網路 簡稱DNN(Deep Neural Network)

從結構上來說,DNN和傳統意義上的NN(神經網絡)並無太大區別,最大的不同是層數增多了,並解決了模型可訓練的問題。例如要理財機器人,可以輸入一些您個人的財務資料及當前的財務資訊,如下圖的X1~X?,機器人就會輸出投資標的。

深度學習TensorFlow Playground   將資料分類。

遞迴神經網路

遞迴神經網路簡稱RNN(recurrent neural networks),最標準的應用就是NLP自然語言處理和聊天機器人。 它是一種專門設計來解決時間相關問題的神經網路。如圖當輸出時除了受輸入影響,也受同一層的輸出影響,接下來把每次訓練的模型狀態傳遞到下一次訓練。在自然語言的翻譯及語音輸入法就會比較前後文,例如翻譯英文“I'm going to the movies on sunday”,機器會比較前後文翻成“星期日我要去看電影”不會翻成“我要去看電影星期日”。

圖片來源:https://ithelp.ithome.com.tw/articles/10193469

作業----google翻譯體驗(請將自我介紹的作業直接翻成英文繳交)

卷積神經網路簡稱CNN(Convolutional Neural Networks),在圖片辨別上甚至可以做到比人類還精準的程度 ,它利用卷積層提取特徵,接著進行池化過程,此過程將數值簡化但仍保留原特徵,經過數次的卷積和池化後再經過平坦化、全它連結層分類輸出視學化效果。

卷積提特徴值(卷積盒運作解說網站

利用3*3的卷積盒提取特徵值,將5*5卷積後變3*3矩陣。

彩色卷積

 將光的三原色各自卷積後再加起來得到特徵值,輸出到新的矩陣。

圖片來源:https://hackmd.io/@allen108108/rkn-oVGA4

池化

池化層的主要概念是,當我們在做圖片的特徵萃取的過程中,經過池化減少神經網路的參數,但特徵值仍保留

生成對抗網路

生成對抗網路(Generative Adversarial Network,簡稱GAN,GAN由兩個網路構成,分別是鑑別網路(Discriminating Network)與生成網路(Generative Network),透過兩者相互對抗產生結果是其深度學習的運作原理。簡單做個比喻:GAN是一場鑑定師與仿畫家的比賽,仿畫家畫出假畫讓鑑定師評斷有多接近真品,根據評斷結果再繼續畫出比原本更好的作品,鑑定師也會透過不斷練習提升鑑定水準,最後比賽的結果就是一幅幾可亂真的機器畫。

資料來源:https://medium.com/@hiskio/%E7%94%9F%E6%88%90%E5%B0%8D%E6%8A%97%E7%B6%B2%E8%B7%AF%E5%88%B0%E5%BA%95%E5%9C%A8gan%E9%BA%BB-f149efb9eb6b

快速複習AI

免費玩Stable Diffusion

Stable Diffusion是一種基於AI的圖像生成技術,它先產生一個全部為雜訊圖片,根據prompt,慢慢一步一步的去掉雜訊,經過多次去掉雜訊,隨機產生清晰的圖。

免費玩 Stable Diffusion
仿造-圖生圖

咒語參考網站,點進去就會有咒語出現。prompt教學

利用chatgpt寫diffusion咒語

用chat gpt 玩AI 繪圖

Diffusion原理

AI圖像搜索網站

免費玩Leonardo AI繪圖

1.註冊與登入
2.AI繪圖實作