Instagrammatics and digital methods: studying visual social media, from selfies and GIFs to memes and emoji

Highfield, T. & Leaver, T. (2016). Instagrammatics and digital methods: studying visual social media, from selfies and GIFs to memes and emoji, Communication Research and Practice, 2:1, 47-62, DOI: 10.1080/22041451.2016.1155332

作者背景：

Tim Highfield: Digital Media Research Centre, Queensland University of Technology, Brisbane, Australia Tama Leaver: Department of Internet Studies, Curtin University, Perth, Australia

（近年著作⽬錄參考本摘要最後部分）

原⽂摘要：

在諸如Instagram和Vine（視覺為主）、Facebook，Twitter，Tumblr（圖⽂並⽤），以及各種應⽤和⾃我介紹中（apps and profiles︔在此視覺和資訊呈現是重要的考量元素），視覺內容（Visual content）都是⽇常⽣活社群媒體活動中的重要組成部分。但是，儘管⾃拍、循環媒體（looping media）、資訊圖表（infographics）、memes，以及線上影⾳（online videos）等形式已如此普遍，社會⽂化研究（sociocultural research）對這些視覺為中⼼元素的線上傳播的分析，卻遠落後於對⽂字主導的社群媒體（text-driven social media）的分析。本⽂強調⽇常⽣活裡，數位、社會、移動媒體中的視覺元素的重要性，提出學界在追蹤（tracking）、分析與理解視覺社群媒體同時作為「影像為基礎」和「互⽂內容」（visual social media image-based and inter- textual content）上的重⼤鴻溝／落後（gap）。本⽂將根據我們過去對Instagram的⽅法上的考量（methodological considerations of Instagram），個別地檢視各種問題、挑戰以及研究視覺社群媒體的好處，包括⽅法與倫理上的議題。我們希望藉此召喚和激起（rallying cry and provocation）未來對視覺（⽂字、混合）社群媒體內容、實踐，以及不同特定形式的特點之相關研究︔包括⼀⽅⾯針對不同形式的特點之同時，另⼀⽅⾯也探討不同傳播形式之間的持續對話和互動（ongoing dialogues and interrelations）。

關鍵字：Visual social media; Instagram; visual communication; digital methods

內⽂重點：

⼀、前⾔：視覺與線上傳播

當今各種重⼤事件，包括巴黎和布魯塞爾恐攻事件中，社群媒體上傳播著⼤量的圖像。⽽且，這些視覺傳播活動並非只是⾃拍、食物照、Memes⽽已，也有關政治觀點、反應、資訊，以及重要的事件場景（區：以影像「再現」vs.透過影像進⾏「溝通」、「參與」、「社交」）。1977年Sontag在《論攝影》中曾說，攝影作為⼀種經驗某事情的主要⼯具，提供了⼀種參與的表象（photography as ‘one of the principal devices for experiencing something, for giving an appearance of participation’ ）︔在當今，無所不在的智慧型⼿機與網絡化連結性（networked connectivity）實現著Sontag的看法。其實，早在早期電腦email發展以來，視覺就可透過⽂字，例如表情符號來進⾏傳播和溝通，⽽之後諸如GIF圖案（例如，本站建⽴中︔Under constrution）、Flash動畫、照⽚和影⽚等也隨著各種網路技術和應⽤的發展⽽成為線上傳播活動的重要部分。總之，我們其實經常以視覺⽅式來上線（to be visual online）。

但是，比起⽂字傳播以及結構性元素（例如，hyperlinks），社群媒體的視覺相關研究卻顯得不⾜。不過，不同領域研究者也發展了各種⽅式探討視覺。運算⽅法（computational methods）和⼤數據分析使得研究者能探索⼤量社群媒體活動資料，包括視覺資料的量化研究，例如有研究者（Losh, 2015; Manovich et al., 2014）就曾對「⾃拍」進⾏分析，分類出不同城市的視覺傳播趨勢。但計算⽅法與⼤數據分析有其技術⾨檻，並非每⼀個研究者都能採⽤。另外，也有研究者以較⼩規模的⽅式對各種線上視覺現象進⾏質化研究。

⼆、視覺社群媒體

本⽂提出，⽇常⽣活社群媒體內容與實踐中的無所不在的視覺（the ubiquity of the visual）引發（也被引發⾃）新科技潛能與平台機緣，⽽已經成為線上傳播的重要部分。過去已有⼈研究針對「⾃拍」（包括⾃戀與⾃卑︔narcissism of selfie-takin, selfie-shaming）、社群媒體平台與其內容和形式之間的關係、線上身份展演與呈現，以及使⽤者透過影像參與社會或政治活動（例如，發布新聞、表達意⾒、更換⼤頭像來表達團結或抗議）等⽅⾯進⾏研究。

本⽂認為，視覺對⽇常⽣活和社群媒體實踐中扮演重要地位，需要學界擴⼤和發展更多⽅式去進⾏研究。推⽂（Tweets）與狀態（Statuses），如同⽂字留⾔／評論（t e x t u a l comments）⼀樣，提供⼈們呈現資訊、表達意⾒的⽅式，⽽這些資料也不必完全等同於推⽂中的圖像或影⽚︔當視覺與⽂字產⽣協⼒時（the visual is in concert with the textual ），表⾯上的⼀詞多義（polysemy）將到達更進⼀步的層次。本研究探討⽅法論議題時，我們將特別聚焦於視覺社群媒體的特點（considerations of visual social media），⽽比較不是要聚焦如何分析這些資料。其實，關於視覺分析已經有許多的理論，⽽本研究則更強調，視覺社群媒體的廣泛範圍所引起的額外的、重要的考量因素，包括其格式（formats）與功能、⽂化與實踐。如同Berry（2011）所提的「運算轉算」與Rogers（2013）所說的數位媒體研究⽅法，本研究也提出銜接計算技能與視覺社群媒體分析兩者之間的重要性，包括編碼、庫存、整理資料集（datasets）、對不同平台使⽤特點（例如，Terms of Use）的分析，以及倫理和隱私等問題。 0

三、Instagrammatics

本研究探討Instagram是先以過往對Twitter和相關社群媒體研究為基礎。我們先針對社群媒體上共同元素 — Hashtag — 去追蹤與研究Instagram活動、內容與實踐。⽽探討Hashtag也可幫助我們理解其他同樣有Hashtag的平台（雖然有不同⽤途與意義），例如FB、Tumblr 等。當然，Hashtag（以Instagram來說，還包括其提供emoji hasthag的功能）也被⽤作⼀種視覺內容的「⽂字梗」（textual hook）︔另外，Instagram的API也具有⽂字與地點為基礎的搜尋（text- and location-based queries）可供研究者⽤⾃動化⽅式（automated approach）去從⼤量的可能角度探討Instagram，包括使⽤者、⽂化與美學。

（區：Hashtag重要性～1. 圖⽂關係 2. 彌補⽬前尚無成熟影像辨識技術（沒有辦法將「圖」本身做為「關鍵字」））

本研究將透過蒐集具有#ultrasound和#funeral的hashtags的圖像與影⽚推⽂，聚焦關於「身份的終結」（出⽣與死亡）（‘ends of identity’ （birth and death））概念的內容。透過 API進⾏Query，我們能取得各種⽂字後設資料，包括地點座標（location coordinates）、濾鏡、評論、⽤⼾資料，以及媒體內容的連結（但不能直接蒐集媒體內容）。

在儲存和⽅法上的挑戰則包括為了研究視覺內容去蒐集和儲存⾔語資料（said content）會觸犯Instagram平台政策。

我們初步聚焦分析具有這些hashtag的相關貼⽂中所展現對超⾳波和喪禮的視覺再現（visual representation），作為個⼈與社會媒體事件的經驗和建構，以及相關形式（有時候是意料之外的）。⽂字內容也將幫助我們分析視覺所要描述與再現的事物，讓其意圖與脈絡更清晰（例如，辨認出那些從電影和電視所拍攝的照⽚）。

另外，我們也可透過延伸⼯具去進⼀步探討Instagram內容與活動的其他元素，例如 University of Amsterdam所開發的Digital Methods Initiative（DMI）Instagram Tool、Websta.me （透過Tags提供視覺內容的初步綜覽），以及Gramfeed.com（處理地理資訊1）。在我們的 Instagrammatics workshops中，我們以這些⼯具凸顯出主題的多樣性、角度與脈絡。除了我們之外，也有研究者以量化分析⽅式處理⼤量的特定內容形式，例如⾃拍（Hochman & Manovich, 2013），也有研究者透過訪談與觀察就特定個⼈使⽤者或群體進⾏研究（Abidin, 2014）。

Instagram照⽚⿎勵了正⽅形景框與濾鏡的使⽤，這些視覺溝通形式也是值得注意的。

此外，不管是哪⼀種媒體物件（media object）— 以圖像呈現的藝術作品、memes、動態影像、拼貼、資訊圖表、警世／勵志引語（inspirational quotes）或詩，以及諸如emoji等⽤以對話的圖像元素 — 這些媒體內容流通於各種社群媒體平台中，也因此，當我們研究 Instagram時，也必須考量這種社群媒體應⽤的發展、演化、改變，以及對使⽤者之影響。本團隊從2014年開始蒐集Instagram資料，Instagram已經推出過許多新的應⽤或外掛（例如，拼接圖、⾃製GIFs、新濾鏡、新的貼圖許像、提供emoji hashtag）。我們認為，研究社群不只要探討使⽤者與網絡、內容、資訊，與互動︔我們更要關注平台與脈絡、機緣與改變（affordances and changes），包括平台之間的關係。

註1 http://www.gramfeed.com

四、Instagram以外的視覺（The visual beyond Instagram）

我們探討Instagram有⼀預設：Instagram⽤⼾所使⽤的裝置（devices）對他們使⽤ Instagram重要影響。我們必須注意社群媒體⽤⼾同時活躍於不同平台，資訊與內容以會隨著跨平台⽽變化，在某⼀平台的使⽤⽅式也可能形構了另外⼀些平台的使⽤⽅式。因此，這樣的延伸的社群媒體脈絡（extended social media contex）是探討Instagram時的必要考量。當然，我們亦同時要注意Instagram有別於其他社群媒體平台的特點，例如濾鏡美學（為了表⽰沒使⽤濾鏡，有⽤⼾反⽽創造了#nofilter and #latergram 的hashtags）。

（區：重點～1. 跨平台影像活動 2. 特定平台的影像活動特⾊）

我們⼀開始探討Instagram時，想先瞭解不同平台流通的視覺內容，⽽並非只針對具有 hashtag的內容。像是Memes、網路圖庫（Repositories︔例如Imgur（The most viral images on the internet）和Giphy（Gif maker））也是我們分析對象。我們透過Google反向圖像搜尋與 Cloud Vision API去進⾏分析。

社群媒體的視覺美學也牽涉到作者身份（authorship）和原真性（authenticity）問題。社群媒體上⼈們如何⾃我展演和建構某個「真／非真」的⾃我（authentic/inauthentic self）近年受到許多研究者關注。例如，Instagram提供濾鏡效果，使許多上傳照⽚有別於原始照⽚。在 Instagram上，原真性問題也可能是⼀種美學競爭（aesthetic contest），例如#nofilter的使⽤（區：修⽚就是「業餘」、⽤了濾鏡就輸了、技術差才要P S、沒有講過後製美化的好肌膚…）。不過，在某些脈絡中（甚至包括新聞攝影）圖⽚編輯／修⽚亦有重要含義（Alper, 2014; Borges-Rey, 2015）。除此之外，視覺趨勢，像是「屎照」和「醜照」（shitpics and the idea of ‘internet ugly’︔Douglas, 2014; Feldman, 2014 ）也屬於⼀些新舊形式的結合（新：社群媒體⽂化／舊：⽂化慣例），模糊了所謂的「美」和「真」。

經由Photoshop後製的memes和製圖範本（templates）除了視覺或構圖上，也可能具有重要意義。這些圖像⼤多是幽默或具有評論意味的（e.g.Texts From Hillary, Pepper Spray Cop, and McKayla Is Not Impressed），甚至可能跟真實場景無關。在⼀些突發新聞中，也會有⼈以作假圖像去回應事件，給予評論，並可能被迅速即時⼤量傳播。當然，這也許不是嶄新事物，但社群媒體的即時發佈與無所不在特性，也使得諸如災難事件中之的視覺報導和視覺的情感價值變得更顯著。

視覺內容對於說故事（story-telling）和意義產製（meaning-making）同樣重要，⽽在社群媒體上，更混合了原始圖像、編輯與拼貼圖像，以及挪⽤視覺（appropriated visual）⾏為。許多⼈就將既有電視或電影進⾏截圖，製作GIF，其互⽂本（intertext）甚至不需要觀看者熟知「原始圖像」的脈絡也能理解（e.g. The Fellowship of the Ring, 30 Rock）。當然，對知悉原始圖像的⼈來說，看到這些圖⽚時也會得到額外的意義︔⽽當這些圖像再被傳播與再使⽤時，又可能比原GIF版本產製時多了新的含義。

五、研究視覺社群媒體時的⽅法論議題（區：不同平台特性對視覺內容之影響）

視覺社群媒體所引發的版權、著作權問題也是發展數位⽅法時所要考量的事情。社群媒體⽤⼾除了挪⽤既有⽂本，也可能挪⽤已被挪⽤過的⽂本，將已經過重製的內容再次進⾏重製。這使得諸如何謂版權、創意、改變過的作品（transformative works）、合理使⽤（fair use）等成為線上視覺物件流通活動的重要部分（Lessig, 2005, 2008; Meese, 2014）。國與國之間對這些議題的差異也是重點。例如，在美國，合理使⽤有關新作品與原始作品之間的不同程度（新，到底有多新︖夠「新」才合法...），但在澳洲，則沒有此法律認定。對研究者來說，這些經常處於灰⾊地帶的社群媒體圖像也是研究時的倫理考量部分。

在像是Periscope這種即時串流應⽤中，版權問題更複雜。例如，當有⽤⼾現場「轉播」電視所現場轉播的體育賽事時，便會延伸出各種法律問。（例如，直播平台上的⽤⼾評論和討論內容，是否算是屬於直播平台的「版權」︖）

「帝國毀密」memes（‘Hitler reacts’ video memes）也是顯⾒案例。當電影公司訴諸版權時，許多相關惡搞影⽚通通下架，這造成了研究上的困難。其實，視覺社群媒體上許多視覺資料往往不是為了被庫存起來，⽽是⽤作對話（conversational），在⼀些像是Snapchaat的例⼦中，視覺內容更是⽴刻被刪除，那在隱私權上，研究者如何處理這些視覺內容與其⽤⼾的傳播活動也是難題。

這也延伸視覺社群媒體的時間問題。例如，Instagram曾經推出過「這⼀刻」（in the moment），就可以看到⽤⼾如何發展出⼀種對於「非即時貼⽂」（n o n - i n s t a n t a n e o u s posting）的反應︔⽤⼾們將新圖代替舊圖，並附上像是＃latergram或＃latepost的hashtags。另外，在像是Throwback Thursday（#tbt）的共同懷舊主題中（區：以#tbt可搜到335,929,105 則貼⽂！），既懷念「過去」也要明確標⽰「不是現在」（區：e.g.軍⼈節、記者節）。（區：這段落重點～即時平台並非總是「即時影像」）

⽅法論上考量時間性議題時，我們也必須超越舊有的時間軸線（timelines）⽅式，有特定起點與終點的⽅式去看待視覺社群媒體。動態GIF，Vine短⽚與⼀些應⽤程式產⽣的內容，是要透過不斷重播（looping）才產⽣出其意義和效果。例如，6秒鐘Vine短⽚透過不斷重播變成永恆（perpetuity），GIF則也要將序列打破為⽚刻，才能將情緒（以及其底下的幽默感）孤⽴凸顯出來。也有時候，當⼈們重複看⼀個不斷重播的短⽚時，每⼀次看也可能多了新的意義。這些短⽚也有多元的意涵與⽬的，有的只是為了產⽣動態效果，有的則是要創造或翻轉意義（在Youtube上，所謂Looping media則可以是從10分鐘到10⼩時長度的，有⼈也可能快轉或慢轉這些影⽚，產⽣不同的效果）。

（區：參考http://giphy.com）

有些媒體則是即時被經驗⽽不是為了被留下來的（experienced live but which do not necessarily persist），它們也可能沒有「往前倒轉」的功能。像是透過Twitch、ustream、 Periscope、Meerkat等進⾏抗議事件、電競遊戲、藝術創造或對談的直播串流展⽰了視覺社群媒體如何結合到⽇常⽣活之中，但卻也讓我們難以去紀錄和分析它們。像是F B的直播，則經常也是要為了把直播再分享出去（區：不只是⼀次性直播），進入新的脈絡（包括新聞或政治脈絡），⽽這也顯⽰出因不同社群媒體平台在直播上也有所不同。

視覺社群媒體圖像也可能充滿象徵意義／象徵主義（symbolism）。⼀個視覺物件在不同的使⽤⽅式中其象徵也有所不同。例如，emoji貼圖可能只是直接反應表情、食物、⼿勢、動物，但也可能被⽤來象徵身體的⼀部分（e.g. 茄⼦、桃、⽟⽶捲taco被⽤來象徵男女⽣殖器官︔Bonnington, 2015）。這些emoji也可能反映出社會⽂化議題，例如emoji貼圖上的種族不平等（區：e.g. Whatsapp表情符號）。emoji也可能受到平台影響，例如Instagram就有⼀個禁⽌使⽤的hashtag清單，⽽統⼀碼聯盟（Unicode Consortium）就可能因不同裝置與平台⽽有emoji的⽀援性問題（e.g.在Android裝置上的emoji就和在iOS上的有所不同）。對研究者來說，這引發出許多研究難題：我們如何知道使⽤者到底看了什麼︖我們透過API所蒐集的資料又跟原貼⽂者所⽤的emoji⼀樣嗎︖遺漏了什麼︖

六、倫理議題與視覺社群媒體

倫理議題，尤其隱私權也是難題。例如，F B多次更動隱私設定，這讓我們難以確定某些內容是否真的屬於公開。在Instagram，使⽤者則可選擇是公⽤或私⼈帳號，這似乎讓問題比較簡單︔但是，這其中也有是否為「完全公開／私⼈」模糊地帶（Highfield & Leaver, 2015 ）。就Instagram來說，這其實也是它從⼿機應⽤程式發展為社群媒體的過程中所產⽣的現象︔Instagram原本作為⼿機程式，被視為是相對地「私⼈」，但隨著⽤⼾在五年之間增加至4億⼈次，並被FB收購，這讓它變得越來越「公開」。我們認為或許要超越過往「公開／私⼈」⼆元思考⽅式，⽽去考量我們的研究報告會引起多⼤的注意（或不太引起注意）並可能造成多⼤程度的傷害。

這對視覺內容來說尤其重要，因為比起⽂字推⽂，它更是被「看⾒」並可能透露出更多原貼⽂者無意透露的事情（區：⾃拍照⽚背景顯露臥室隱私）。研究者該如何呈現與出版這些內容成為重要考量。

七、結論

本⽂雖然就對提出的問題給出答案，但這些都是研究者要分析視覺社群媒體時所必須注意的事情。這其實不只有關視覺社群媒體，也同樣可⽤來看待其他社群媒體內容的研究。當然，對視覺社群媒體來說，這些問題尤其重要，因為不同社群平台上，越來越多視覺內容。另外，攝影裝置也無所不在︔⼈們溝通的⽅式也越來越不是透過⽂字，也透過視覺媒體同時進⾏。

討論問題：

1. 研究發想：關鍵字“photojournalsim”（Instagram 1,124,994則貼⽂+ Flickr 677548貼⽂）

2. 政治貼圖（Twitter 2016總統⼤選）：

1. 圖的種類、特點、圖佔所有「Photo」比例 2. 不同時間點、不同語系差別 3. Hashtag 4. Twitter特性的影響

Notes:

Highfield 2013-2015
Highfield TJ, Leaver TB, (2015) A methodology for mapping Instagram hashtags, First Monday p1-11
Highfield TJ, (2015) News via Voldemort: Parody accounts in topical discussions on Twitter, New Media and Society p1-18
Croeser S, Highfield TJ, (2014) Occupy Oakland and #oo: Uses of Twitter within the Occupy movement, First Monday p1-13
Highfield TJ, (2015) Tweeted joke life spans and appropriated punch lines: Practices around topical humor on social media, International Journal of Communication p2713-2734
Highfield TJ, (2014) Following the yellow jersey: Tweeting the Tour de France, Twitter and society [Digital Formations, Volume 89] p249-261 Bruns A, Burgess JE, Highfield TJ, (2014) A 'big data' approach to mapping the Australian twittersphere, Advancing digital humanities: Research, methods, theories p113-129
Highfield TJ, Harrington SM, Bruns A, (2013) Twitter as a technology for audiencing and fandom: The Eurovision phenomenon, Information, Communication and Society p315-339
Bruns A, Highfield TJ, (2013) Political networks on Twitter: Tweeting the Queensland state election, Information, Communication and Society p667-691
Tama Leaver
Research Interests: digital death; social media; convergence; Twitter; Facebook; blog ……
Journal Articles (Research)
Willson, M., and T. Leaver. 2015.“Zynga's FarmVille, social games, and the ethics of big data mining.”Communication Research and Practice 1 (2): 147-158.
Highfield, T., and T. Leaver. 2015.“A methodology for mapping Instagram hashtags.”First Monday 20 (1).
Journal Articles (Scholarly/Professional)
Leaver, T. 2015.“Researching the Ends of Identity: Birth and Death on Social Media.”Social Media + Society 1 (1). 2016
Journal Articles (Research)
Highfield, T., and T. Leaver. 2016.“Instagrammatics and digital methods: Studying visual social media, from selfies and GIFs to memes and emoji.”Communication Research and Practice 2.