20240914清華大學

主題：利用AI製作繪本 

時間：2024/09/14(六)  09:00~12:00

線上課程  (清華大學環文系趙芝良教授邀請) 

講師：黃文玉老師  

• AIGC：Artificial Intelligence Generated Content，AIGC 中文名稱是人工智慧生成內容，常見的包括文字、圖片、音樂、語音、影片等，近來也延伸出可以生成像是程式碼、網頁內容、設計圖或3D模型等不同類型的應用。而這些透過AI所產生的資料統稱為AIGC(AI Generated Content)。
  
  

• 利用AI製作繪本：

  • 利用AI聊天機器人構思繪本故事

  • 利用AI生圖平台來產生繪本圖片

  • 利用AI換臉平台來換臉，讓人物有一致性

  • 利用AI音樂創作平台(如Suno)來產生繪本配樂

  • 最後利用剪輯軟體或Canva完成繪本

一、作品參考

• 學生作品參考：https://sites.google.com/site/wenyunotify/15-ai%E7%9B%B8%E9%97%9C/08-ai%E8%A3%BD%E4%BD%9C%E7%B9%AA%E6%9C%AC 

• 本次作品分享：https://padlet.com/shspswenyu/20240914-ai-rw1b775gh3g1dpsj 

二、利用AI構思繪本故事

• • 各式聊天機器人介紹

    • OpenAI的chatgpt：https://chat.openai.com/  (可免註冊使用GPT 4o mini)

      • 現在chatgpt不用註冊也可以使用，但是建議要登入會比較好，可以把歷程記錄下來

    • 微軟的Copilot：https://copilot.microsoft.com/  (建議使用Edge瀏覽器，也可免註冊使用，使用GPT4)

    • Google的Gemini：https://gemini.google.com/app?hl=zh-TW (要使用Google帳號登入)

    • Chat Everywhere：https://chateverywhere.app/zh  (GPT3.5可免註冊使用)

    • Claude：https://claude.ai/  最近很紅，但免費帳號限制多，建議使用Websim平台 ( https://websim.ai/ ) 來使用Claude模型

  • 與AI互動取得故事內容：

    • 你好，你是一位國小繪本故事的設計師

    • 請設計一個繪本故事，主角是一位對【唱歌】感興趣的【12】歲【女】學生，名叫【Ana】，請給我一些點子   (

      • 【】內容請自行修改，如天文、地理、歷史、音樂、美術、運動、舞蹈、科學、漫畫、醫學、植物、大象、海底、古文明、AI、中國文學、唐詩、創客、機器人、程式設計.....

      • 名字儘量取英文名字，如果取中文名字，人物會比較東方臉孔，取名字網站https://www.behindthename.com/ 

    • AI可能會列出很多點子，讓您挑選...

      • 我對點子2有興趣，請幫我設計這故事的內容

      • 或是：請利用Ana參加歌唱比賽為題，當成故事主要的情節，請幫我設計這故事的內容

  • 先取得主角的特徵

    • 可能會產生很多角色，建議只先著重在主角的角色

      • 請修改角色為只有2個人 

      • 請說明你設計的Ana的外型特徵，如性別、膚色、長短髮、頭髮顏色、衣服顏色、有沒戴帽子、眼鏡或配件等? 

      • 請將上面Ana的外型特徵整理成一句話，30個字以內。  (如果不喜歡AI產生的特徵可以自行修改！！)

        • 如：Ana是12歲的女孩，擁有深棕色中長微卷髮，淺棕色皮膚，喜歡穿淡紫T恤與牛仔褲，戴小星星項鍊。   

      • 請將上面文字翻譯成英文

        • 如：安娜的插圖 Illustration of Ana, Ana is a 12-year-old girl with medium-length wavy dark brown hair, light brown skin, who likes to wear a light purple T-shirt and jeans, and wears a small star necklace. 

  • 取得繪本各頁的文字內容及畫圖的英文prompt

    • 請將上面故事內容做成【6】頁適合【國小高年級學生】的繪本，包括每頁的圖像說明及文字內容      (由於時間有限，先產生6張圖即可)

    • 請修改各頁的文字內容及圖像說明都在40個字以內 

    • 請將每個圖像說明都以Ana當句子主詞，請重新調整      (這是為了主角的一致性)

    • 請將上面的圖像說明翻譯成英文字

      • (封面)Ana stands by the window singing softly, holding a small star necklace. Sunlight streams in through the window, illuminating her, with music-related items in the room. 

      • Ana sits by the bed, looking out the window with a slight smile, surrounded by music CDs and headphones, with floating musical notes in the background. 

      • Ana looks down at Ms. Lily, clutching her necklace, while Ms. Lily smiles. The background shows a poster of the "Annual Singing Contest" on the bulletin board. 

      • Ana and Ms. Lily practice by the piano. Ana smiles while singing, with musical notes floating in the background.

      • Ana practices singing in front of a mirror, holding her star necklace. Her reflection looks determined, with lyrics posted on the wall. 

      • Ana stands on stage under bright lights, facing a blurred audience. She holds a microphone, ready to perform. 

      • Ana stands on stage with her back to the audience, illuminated by lights, while the audience applauds and musical notes dance in the background.

      • (結尾頁)Ana looks up at the shining stars, smiling with hope. The stars symbolize dreams. 

三、利用AI生圖平台來生圖

• 教學網站：STEAM 教育學習網

  • https://steam.oxxostudio.tw/category/aigc/index.html (裡面有非常多AI生圖平台的使用教學)

• 現在有名的AI繪圖平台

  • DALL·E ：OpenAI公司所出的 (最新已到DALL-E3)  https://openai.com/dalle-3  (收費)

  • MidJourney (先在Discord註冊)  https://www.midjourney.com 

    • (2023年3月31日) Midjourney 停止提供免費的 AI 圖片產生服務

    • (2024年8月)可用Google帳號註冊，用戶可免費生成25幅圖片 ，我測試後仍無法進入生圖！！

  • Stable Diffusion  https://stability.ai/  

    • 可以安裝在自己的電腦(要有較高的硬體配置)或安裝在Google Colab 

    • 沒自己安裝也沒有關係，現在很多根據Stable Diffusion所架設的Web介面，供大家來使用，有的近似免費

    • 簡單教學：11 認識SD

    • 常見的SD平台

      • https://app.prodia.com/#/art-ai  (最簡單，練習用)

        • 這套免註冊可用AI生圖，生圖快，無限制張數、但生圖大小只有512X512

        • 我們先用它來練習SD平台及模型

        • 先利用主角的prompt來畫各種模型下的主角圖

        • 正向Prompt：在Prompt的最後加上, ultra realistic, intricate, highly detailed, cinematic lighting, best quality, 8k high resolution  (，複雜，高度詳細，電影燈光，最佳質量，8k 高分辨率) 

        • 負向Prompt：在Prompt加上text, logo, wordmark, writing, heading, signature, two heads, two faces, cropped image, out of frame, deformed hands, twisted fingers, double image, malformed hands, multiple heads, extra limb, ugly, poorly drawn hands, missing limb, disfigured, cut off, ugly, grain, low res, deformed, blurry, bad anatomy, disfigured, poorly drawn face, mutation, mutated, floating limbs, disconnected limbs, disgusting, poorly drawn, mutilated, mangled, extra fingers, duplicate artifacts, missing arms, mutated hands, mutilated hands, cloned face, malformed,(文本、徽標、字標、寫作、標題、簽名、兩個頭、兩張臉、裁剪圖像、出框、變形的手、扭曲的手指、雙圖像、畸形的手、多個頭、額外的肢體、醜陋、畫得不好的手、缺失 肢體、毀容、切斷、醜陋、顆粒、低分辨率、變形、模糊、解剖結構不良、毀容、畫得不好的臉、突變、突變、浮動肢體、斷開的肢體、噁心、畫得不好、殘缺不全、損壞、多餘的手指、重複 文物，失踪的手臂，變異的手，殘缺的手，克隆的臉，畸形的，)

        • 常見模型：

          • SD 1.4 模型：素描、手繪、3D風格

          • Anything V3 模型：CG風格（日系）

          • Anything V4.5 模型：CG風格（歐美）

          • Analog V1 模型：真人樣貌

          • TheAlly’s Mix II 電繪畫像（柔美）：3D 電繪風格人物圖片

          • Elldreth’s Vivid 模型：電玩CG風格畫像（陰影），韓國電玩 CG 風格

          • Dreamlike Diffusion：真人樣貌

        • 採樣器(Sampler)是負責控制去噪的具體操作的算法

        • 改變CFG Scale、Steps(採樣步數)、Seeds(-1是隨機)

• • • https://playground.com/   最早使用時，免費帳號每天可生1000張圖，後來只剩50張，再後來.. 

      • 免費帳號：每天10張圖，超過10張還可以生圖，但要等一下，而且生圖比較慢一點 (針對之前已註冊者)

      • 新註冊者，只有最新的playgroud v3模型可用，且只能生10張圖

      • 如果要用playgroud v3模型，建議直接使用POE AI平台採用playgroud v3模型來生圖

      • POE AI平台 https://poe.com/ 

        • 每人每天有3000點，生一張圖只要40點

        • Ana is a 12-year-old girl with medium-length wavy dark brown hair, light brown skin, who likes to wear a light purple T-shirt and jeans, and wears a small star necklace. --aspect 1:2 

• • • https://leonardo.ai/  這套李奧納多也有很多人在使用

      • 免費帳號：每天150tokens

      • 每算一次圖(基本會產生4張圖)，最少會用掉16tokens，也就是一天只能算10次圖(40張)

• • • https://ideogram.ai/

      • 免費帳號：每天10點

      • 但使用最新的ideogram v2模型，只能畫5次(20張圖)

      • 我覺得生出的圖很不錯！！如下2張圖

• 簡易型AI繪圖平台

  • Copilot設計工具 (Bing 影像建立工具(由DALL·E提供)) https://www.bing.com/images/create/  (可用中文prompt)

    • 採用微軟帳號登入

    • 免費帳號每天有15點(點數用完時，生圖速度變慢)

    • 提示基本原則 

      • 形容詞 + 名詞 + 動作 + 風格

        • 形容詞：可愛的、年紀大的、美麗的、強壯的...等。

        • 名詞：老人、畫家、機器人、女生、科學家...等。

        • 動作：在畫圖、在吃飯、在奔跑、在玩球...等。

        • 風格：2D 卡通風格、攝影風格...等 ( 參考：AI 繪圖風格大全  )。

      • 13 取自網路的Prompt

  • 微軟designer https://designer.microsoft.com/ 

    • 生圖時，可設定圖大小(方形1024X1024、直向1024X1792、橫向1792X1024)

    • 微軟想與Canva抗衡的利器

    • Bing 影像建立只是其中的一個項目，生成的圖像在兩邊是一致的

    • 採用微軟帳號登入

    • 免費帳號每天有15點(點數用完時，生圖速度變慢)

• 這次採用Playground AI來生圖

  • https://playground.com/  (請直接用google帳號來註冊、登入)

  • 教學：Board 輸入文字產生圖片 - Playground AI 教學 ( AI 繪圖教學 ) | STEAM 教育學習網 (oxxostudio.tw) 

  • 如果要用playgroud v3模型，建議直接使用POE AI平台採用playgroud v3模型來生圖

  • POE AI平台 https://poe.com/ 

    • 每人每天有3000點，生一張圖只要40點

    • Ana is a 12-year-old girl with medium-length wavy dark brown hair, light brown skin, who likes to wear a light purple T-shirt and jeans, and wears a small star necklace. --aspect 1:2 

• 相關設定，建議如下：

  • Model：Stable Diffusion XL

  • Filter：Real Cartoon XL  (有空也可以去嘗試其他filter)

  • 正向Prompt：在Prompt的最後加上, ultra realistic, intricate, highly detailed, cinematic lighting, best quality, 8k high resolution  (，複雜，高度詳細，電影燈光，最佳質量，8k 高分辨率) 

  • 負向Prompt：在Prompt加上text, logo, wordmark, writing, heading, signature, two heads, two faces, cropped image, out of frame, deformed hands, twisted fingers, double image, malformed hands, multiple heads, extra limb, ugly, poorly drawn hands, missing limb, disfigured, cut off, ugly, grain, low res, deformed, blurry, bad anatomy, disfigured, poorly drawn face, mutation, mutated, floating limbs, disconnected limbs, disgusting, poorly drawn, mutilated, mangled, extra fingers, duplicate artifacts, missing arms, mutated hands, mutilated hands, cloned face, malformed,(文本、徽標、字標、寫作、標題、簽名、兩個頭、兩張臉、裁剪圖像、出框、變形的手、扭曲的手指、雙圖像、畸形的手、多個頭、額外的肢體、醜陋、畫得不好的手、缺失 肢體、毀容、切斷、醜陋、顆粒、低分辨率、變形、模糊、解剖結構不良、毀容、畫得不好的臉、突變、突變、浮動肢體、斷開的肢體、噁心、畫得不好、殘缺不全、損壞、多餘的手指、重複 文物，失踪的手臂，變異的手，殘缺的手，克隆的臉，畸形的，)

  • 圖片大小：768x512 (採用橫式圖片)

    • 圖片產生後再利用【Upcale by 4x】來放大4倍解析度

    • 或使用【Face restoration】(臉部修復)來放大2倍解析度，變成1536x1024

  • 生成2張圖即可

  • 其他設定都先不更動

• 畫圖的prompt說明

  • 畫圖的prompt不要太細，有時只要什麼人在什麼地方即可(做什麼事都也可省了！！)

• 下載畫出的圖時，記得把圖片檔案重新命名為01、02、...06

• 先畫主角圖

  • 利用上面取得的prompt，如：

    • Illustration of Ana, Ana is a 12-year-old girl with long brown hair, medium skin, vibrant dance outfits, and youthful energy. ultra realistic, intricate, highly detailed, cinematic lighting, best quality, 8k high resolution

    • 也可以在前面加上圖片風格

  • 絕大部份用預設值，修改不同模型或濾鏡，直到產生出滿意的圖片

• • 取得滿意圖片的seed值，並固定使用此seed值 

    • 把游標移到該圖上，會出現Actions / Use image settings

    • 固定seed值後，每次只能產生1張圖

• • 繼續產生各頁的圖

    • 各頁圖的prompt為 "主頁的特徵prompt"+"各頁的prompt" + "優化的prompt"

    • seed值同上

四、調整臉部的一致性

• 如果覺得主角臉部的差異太大，請用換臉平台來換臉

  • 請參考我的另一篇文章：https://sites.google.com/site/wenyunotify/15-ai%E7%9B%B8%E9%97%9C/15-ai%E6%8F%9B%E8%87%89 

  • Pica-ai官網：https://www.pica-ai.com/tw/  

    • 可以換單一張臉、多張臉、影片

    • 免費、免註冊，每天有8個credits (可換8張臉)

  • 先找一張主角相片(臉面積要清晰大一點)，再把其他張圖的主角臉換成這張的！！！

• • 免費的圖檔，如果覺得圖太小，可以利用以下軟體來把圖擴大一倍

    • https://snapedit.app/art-enhance  (不用登入，最大到1600)  

    •  https://clipdrop.co/image-upscaler  (要先登入，可放大2X，可一直放大)；  這一個網站也可換臉 https://clipdrop.co/swap

  • 如果要去浮水印，可以利用以下軟體把浮水印移除 

    • https://snapedit.app/remove-text  (不用登入，但又加入比較小的自家logo)

    • https://picwish.com/tw/remove-unwanted-object (要先登入)

五、將文字轉聲音

• 將文字轉為語音

  1. • 如果自己的聲音好聽也可以自己錄

     • 在線免費文字轉語音：TTSMaker https://ttsmaker.com/zh-hk 

     • 另一套微軟的clipchamp：https://clipchamp.com/en/  ，但要匯出成mp4，再轉mp3

• 從AI取得的繪本的文字說明，如下：

  1. • 標題：Ana的音樂夢

     • Ana喜歡唱歌，但害怕在別人面前唱。她常獨自哼唱，夢想有一天能站上舞台。

     • 學校宣布歌唱比賽，Ms. Lily鼓勵Ana參加，但Ana擔心自己在台上表現不好。

     • Ms. Lily在課後輔導Ana，告訴她：「唱歌是為了你自己，不必擔心別人的評價。」

     • Ana在練習中變得越來越自信，她開始專注於音樂，勇敢追尋自己的夢想。

     • 比賽當天，Ana站上舞台，雖然緊張，但她記住了Ms. Lily的話：「這是你和音樂的時刻。」

     • Ana唱完後，掌聲響起。她雖未得冠軍，但找回了自信，感受到音樂的快樂與自由。

     • (結尾頁)Ana仰望夜空中的星星，微笑著說：「每個人都有自己的夢想，只要勇敢追尋，就能找到屬於自己的舞台。」

六、利用Suno製作主題曲

• • 如果想要有屬於自己主題曲，請用suno來製作

    • 請參考我的另一篇文章：https://sites.google.com/site/wenyunotify/15-ai%E7%9B%B8%E9%97%9C/10-%E5%88%A9%E7%94%A8ai%E8%A3%BD%E4%BD%9C%E7%8F%AD%E6%AD%8C 

  • Suno官網：https://suno.com/  

    • 建議直接使用Google帳號來註冊一個免費帳號

    • 免費用戶每天可獲得50個點數，每天第1次進來就是50點，不會累積 

    • 製作一首歌會用到5點，一次會製作2首，所以每天可製作10首歌(只製作5次)

    • 非商業條款

  • 主角對唱歌充滿熱情，但不敢在他人面前表現自己，經老師溫柔啟發，克服恐懼，找到內心的力量。

    • https://suno.com/song/4588a447-4b39-45c0-8093-233e2c1d894d 

    • https://suno.com/song/f817da8a-b5fd-4988-88cd-f8c5a4a79686 

七、利用Canva產生影片

• Canva記得使用教育電子郵件(.edu)取得教育版

  •  網址：https://www.canva.com/zh_tw/  

    1. 使用【影片】(1920x1080)來設計

    2. 上傳及加入製作好的圖片及聲音檔(調整每頁的長度以符合聲音的長度)

    3. 圖片加入一些【動畫】效果

    4. 每頁加入文字內容

    5. 自行加入一些與內容有關的插圖

    6. 加入每頁的轉場效果

    7. 在開頭的地方加入主題曲

    8. 完成作品，並分享作品

    9. 下載影片成mp4檔

    10. 上傳到youtube