演講速記沙克爾頓共學讀書團：人文地理學經典導讀系列五

講題：Cloud Ethics: Algorithms and the Attributes of Ourselves and Others (Louise Amoore)

導讀人：彭松嶽老師

與談人：李梅君老師

時間： 2022年05月28日（六）下午2：00

地點： 線上會議

主辦：科技部沙克爾頓計畫

線上轉播連結：https://meet.google.com/yhk-wdtk-nbf

參見張書維同學的演講紀要：

彭老師在一開始的導讀便開宗明義的提到，這本Cloud Ethics並不是太好讀，作者Louise Amoore過往的寫作習慣，便是慣於使用與援引困難的理論哲學家作為發展與推進理論的基礎。那麼這本書也不意外，Amoore談了Derrida、Deleuze與Foucault，另外也有後現在的理論家，包括Katherine Hayles、Donna Haraway等等。之所以提到這一點是因為，雖然可以用一句話總結這本書：「演算法有它的侷限性與部份性的。」但其實這本書有很豐富的內容，很難簡單用一句話總結，本次的導讀也無法關照到全部內容。

接下來，彭老師總結Amoore近十年來的學術研究，她關注於數據與演算法如何改變，無論是國家安全或社會本身。我們可以從她一系列的研究窺見端倪，包括早期的作品與專書，如The Politics of Possibility，這是在探討有些發生機率很低的事情，像是水災與恐攻，這些是國家必須面對的威脅與風險。亦即，在這種低機率但高風險的情況下，國家該如何來進行治理－這是她前一期的研究焦點。那近十年來，討論演算法的部份也是從她的研究累積與轉變而來的，比如說Algorithmic Life（合編），這本書是她研究的累積。這些早期的經驗研究環繞在安全與風險越仰賴大數據與演算法來理解、分析與治理的時候，究竟當中發生了什麼事情，實際上怎麼進行的，那對於國家安全、社會與邊界空間產生什麼影響。總結上述，彭老師指出閱讀本書的關鍵在於，為何要在Cloud Ethics裡面去另外討論一種Ethics，或者是談Ethicopolitics的方式，那為何這種方式是必須要的，那可以從Amoore早期的經驗研究中看到端倪，這也是本次導讀是從她早期作品開始談起的原因。

彭老師Amoore早期的文章－Taking people apart（2009）－談起。這個經驗研究的部份是body scanner，這套設備在歐美比較常見。透過這套設備，國家可以做邊境與人做控制。我們可以看到數位科技介入邊境的治理，以及對人的治理過程，並日益強調透過視覺化的技術、數據的分析，還有演算法的運算，去把人的輪廓抽象與擷取出來。換言之，機器做了兩件事情：它把人take apart，並使其可見，這是同時進行的。我們透過這個機器看到的不再是完整的人，而是人形象的輪廓，或是衣服底下、身體的周圍一些具體物品的形狀。為了達成這個目標，不可避免的，需將邊境管理時不需要看到的資訊，讓它變得看不見；相反地，將我們想到看到的資訊，或者是數據更加凸顯出來。在這過程中，重新塑造人跟身體、機器與國家安全之間的關係。

第二個部份是，當美國或其他的國家在進行border control的時候，不僅只是停留在body scanner來進行，他們另外也會去看個人背景的資料。透過Snowden的事件，我們逐漸地發現NSA（National Security Agency）在背後做很多個人資訊的蒐集跟分析。比如說，他們使用一個演算法，去分析申請簽證的人，手機的metadata。所以透過metadata，他們可以看到的事情是一個人生活的型態，他的社交網絡與旅遊模式是長怎麼樣子（個人的屬性）。在Data derivatives這篇文章重要的是，我們不再是分析一個完整的人，而是用各種不一樣關係這個人屬性的數據，來去作為理解的方式。換句話說，透過不同的數據與屬性的關連，去構成這些人是誰，以及去認識這些人。

當我們利用這種方式去認識這些人，屬性之間的關連，由此我們（國家）採取相對應的作為。也因此，數據不只是定義，或者是認識這些人，而是進一步去強調對於這些人的作為。

在上述這些作法中，很容易地會採用湯姆克魯斯的關鍵報告做為範本與宣傳。這部電影的場景雖然是在未來，但裡面的場景在目前來說已經是相當熟悉。在Amoore而言，什麼是正常的社會，它已經受到演算法的影響。比如說，一個和平進行的抗議，演算法要如何去辨識這些行為？他們會造成什麼風險嗎？

所以Amoore對演算法的研究從早期的國家安全，逐轉變到演算法在做的決定，同時具有倫理與政治的後果。當我們要去談論這樣的事情，我們需要有更謹慎的思考。我們是否可以透過演算法來追蹤，像是在民主社會中常見的示威抗議，或者是更進一步的行動？（誰是具備風險的？）我們已然知曉演算法造成的傷害，但更重要的事情是說，演算法正在產生新的，關於什麼是民主，什麼是合理、合法的邊境移動，什麼是合法的社會運動，甚至是選舉。因此，Amoore認為我們應該有好的與恰當的，理解演算法的方式。這使我們去想像或規劃演算法中倫理政治的基礎。

彭老師透過Amoore先前的經驗研究作為本書的鋪陳，這也有另一個原因，因為本書在行文的過程當中，比較多理論性與哲學性的思考，但她其實是有相關的經驗研究作為基礎。

Amoore在第一章區分了Cloud I與Cloud II，這個區分其實是呼應了她本書提出新的知識論與認識論，或者對於倫理的理解。那為何Cloud I不足夠呢？那她所謂的Cloud I究竟是什麼？彭老師展示了NSA總部的照片（資料中心），一個神秘、臭名遠播的與偏僻的所在。當這個總部逐漸被人們所認知並了解他所進行的監控的時候，我們對於他的問責性（可被究責的）、必須是具透明性；我們必須知道此機構進行監控的理由、為何要這樣做？當然，這不僅僅是針對機構（或類似的組織），同時，我們對於其中使用的演算法，也必須進行相關的宣稱，比如說Frank Pasquale在談的黑箱社會。

然而，演算法究竟有沒有辦法做到這個程度呢？對Amoore來說這是一個很關鍵的問題。她有幾個回應的方式：第一，在她的書中談的演算法主要是人工神經網路與機器學習，這兩種演算法的運作跟其他或早期的演算法是分不開的。所以演算法混雜著不同的運算，即便是人工神經網路與機器學習，它是有很多層演算法互相牽連與交疊在一起。所以，究竟有沒辦法讓演算法變成具有透明性，並同時具有究責性呢？這是學術界非常關心的議題，那當然這有難度存在。在中研院法律所有篇文章，便是在討論讓演算法能夠清楚明確的被知道。這中間的困難包括技術性的－演算法是一層一的堆疊的，並且知道這些演算法為何會合併使用；也有知識的，要了解演算法必須具備相當電腦運算的知識。另外，政府部份也有制訂法規，去掩蓋內部的運作。

上述討論演算法的方式，對於Amoore而言，她認為沒辦法完全去觸及到演算法實際運作的過程，以及我們如何去認識演算法。她認為最根本的事情在於，當我們試圖將演算法可辨識、透明化與可究責性的過程當中，我們預設有一個人類主體，他可以做理性判斷與自主決定的，他是外在於演算法，他可以對演算法做各式各樣的檢驗；在這個黑盒子打開的過程，可以去檢視內部的code，哪些code寫不好，或者帶有歧視被帶入；哪些社會正常或不正常的判斷，在有意或無意間被納入code中，使得演算法造成社會的傷害。

對於Amoore來說，這樣的理解方式是有缺陷的。這個缺陷在於它呼應或重製了內部與外部的關係－有一個人在外部，他可以完全知道演算法。這是一個不可能與不恰當的認識論。更重要的是，Amoore認為當代的演算法產生傷害的方式，並不是逾越了既有的社會規範；演算法重新制定、定義與發現什麼是好的/壞、正常與不正常的模式，並在這個基礎上做出各種判斷與行動。換句話說，對Amoore而言，演算法和社會規範是互相牽涉在一起，並無法清楚地切割開來－沒辦法看出來哪些壞/不好的部份可以被切割開來－進而可以把它排除（對演算法進行更好的治理）。

如果說上述Cloud I的方式，對於演算法的理解是不足夠，或是有缺漏的話，那我們可以怎麼做？在Cloud II的地方，她有幾件事情是特別在意的，包括說，我們並不是放棄追求演算法的問責性與透明性，而是可以從倫理或知識論上的角度去追尋有其他看待演算法的方式。Amoore指出演算法一直都在說明它自己怎麼做事情。這一部份是延續Katherine Hayles在後人類的討論－所有對自己的陳述與表現都持續地在進行的並改變，但它是部份且侷限的。也就是將這個想法作為認識論的基礎，去重新理解演算法。

如果要用這個方法認識演算法，有幾件事情跟Cloud I是非常不一樣的。在認識論上，Amoore去強調有侷限性的、偶然的，它是由分散的作者來完成的－它的作者同時包括人與非人。它同時也是不完全的。相較之下，她要去強調與過去將演算法視作是黑盒子，是非常不同的認識論。另外一個很重要的區別是倫理與價值判斷的過程。過去討論黑盒子的方式，是從演算法做了之後，我們去看裡面做的好與不好的地方，再進行修正。可對Amoore來說，如果演算法永遠都是部份、偶然的與不完全的話，那就沒有辦法知道演算法該怎麼做。所以我們在進行道德判斷的時候，我們是在有限制的情況下進行的。換言之，在黑暗中或是不確定中，去抓住演算法怎麼樣改變、轉變，或影響不同的行為。所以，重點是說，演算法並不是再現特定社會的規範，而是重新構成世界的方式。

在第二章到第五章，她分別用了不同的案例去探討如果用這種知識論的基礎，去重新認識與分析演算法，它是用什麼方式讓我們關注到特定的事物與模式，以及如何影響我們未來的行為。由於時間的關係，彭老師無法一一解釋每一個案例，或者是深入地介紹單一案例，所以彭老師簡述一兩個案例，去解釋Amoore說的Cloud II究竟是什麼。

她提到一個例子是達文西手術機器人。外科醫生會透過（與操作）機器去看到他要手術的器官。機器人不只是單純讓醫生進行手術，它同時也在蒐集各個外科醫師怎麼開刀（包括有經驗或較少經驗的醫師）；手術的方式是如何進行。把這些資料蒐集了之後，他們甚至可以進行分析，怎麼樣開刀的手勢與方式是最恰當與最佳化的。這樣一來，可以提供日後醫生學習的範例。在這過程中，Amoore覺得有趣的地方在於，正確與錯誤都是在數據當中，而且是相互構成的；換言之，機器學習是仰賴有經驗與無經驗的刀法，才可以釐清中間的差別何在。在其他的案例中也是如此，機器學習過程也需要持續運用，或是理解錯誤，使得它能持續修正自己的演算法，讓最後出來的「值」是能夠讓使用者接受的。另一方面，透過手術資料的分析，最佳化的手術模式被建立出來，這使得後續的醫生有了學習與仿效的對象。這也是一開始所說的，把不清楚、看不見的東西呈現出來，同時也有後續行動的參照。

Amoore提出要理解Cloud Ethics有三個路徑：第一，把演算法當作arrangements of propositions。在開刀的例子中，我們可以看到當刀切下去之後，其實裡面器官與身體狀態其實是不確定的，但有些人可以，或有些人不行結束手術。我們可以將其看做各種不一樣的對於世界、身體的propositions。所以，她會去強調持續地、進行地、實驗性的，它同時也是由人與演算法共同構成的，最佳的行動結果。這個結果往往會以數值的方式呈現出來，但在這過程中，演算法會告知手術過程中的最佳化路徑，但它不一定來決定手術該如何進行，而是醫生的學習過程。這個過程同樣存在許多的可能性，這出現在人跟機器共同學習的過程。在過程中，有兩個事情是要強調的，一個是分散的作者之外，它的後果以及建議，中間是有許多的選擇與判斷，最後凝練成最後最有效率的開刀方式。或者是說，在演算法的建議之下，其結果也不是單一與決定性的。這種多重性是必須透過特定的Cloud Ethics，或認識演算法的方式才能夠被呈現出來。

第二是演算法作為aperture instruments。同樣，在機器人的案例中，它透過特定的方式讓我們能夠看到，它同時也掩蓋掉其他開刀的方式。它就像光圈一樣，同時讓我們看見與看不見某些事物的可能性。所以演算法不只是塑造了好與壞的規範，它同時讓我們看到特定的事情、特別作為的方向。這要說明的是，演算法的結果讓我們看到單一與特定的，但其實是有多重與其他的可能性（存在於世界上）。

把這兩件事情綜合起來，其實是Amoore想要強調的，演算法是giving accounts of themselves。並不是說把黑盒子打開來，我們才能知道說演算法如何影響我們。演算法讓我們認識特定的世界與面向，建議我們採取特定的行動。除了把黑盒子打開來的方式之外，去理解演算法跟人如何同時的行動與作為等等，它其實是giving accounts of themselves。

不可避免的，要回到一個問題－究竟要怎麼做？ethicopolitics究竟在哪裡？或者，如果說Amoore說了這麼多理解演算法的方式，那我們如何採取倫理的作為，又或是這樣理解的方式如何幫助我們去看待演算法？所以在她最後一章，她試圖回應這樣的問題。她的案例是圖像辨識－演算法對於圖像的描述是否正確是一種方式。但Amoore提出其他的策略，第一個是去強調演算法是光圈。做這種事情的重要性在於，演算法中的不透明性打開來，讓我們知道演算法最終的判斷，中間有很多可能性與權重判斷。

另外一個是說不透明性，這與黑盒子不一樣之處在於，它並不是放棄讓演算法可以被問責，但演算法一直以來會有個問題是，中間會有不同的權重產生。但她希望去做的事情是去看到演算法開發的過程中，究竟有哪些疑惑、等待與遲疑。這些過程正是能夠重新看待演算法，或是去重新陳述演算法。不是看這些進行價值判斷的程式碼，而是其中的過程發生什麼事情。

最後一個部份ethicopolitics of algorithms。她引用Foucault的方式去說明，我們可以不用完全依照演算法的方式，去進行生活。在圖像辨識中，其實有不同權重的可能，那能不能夠拒斥或不完全接受的方式，或是是不被演算法歸類的人，作為社會集結可能性的來源。

接下來是李梅君老師的與談。李老師一開始指出本書針對演算法、大數據與機器學習的批判性研究。李老師也提到目前在這方面的研究，大致上可以區分為兩個彼此不太對話的陣營：一邊是樂觀擁抱大數據的人；另一邊則是大數據的批判者（對於科技感到悲觀與負面）。這兩陣容對於演算法與大數據有截然不同的看法，幾乎是水火不容。

本書作者Amoore則是另闢蹊徑，她讓我們更開放也更根本地去思考，以及去判斷它是好/壞與對/錯之前，一個關於大數據演算法，乃至於數位社會的倫理可以如何形成。Amoore在開宗明義便指出，當下我們對於演算法有許多謬誤與偏見，常常我們的解決之道是在於讓演算法更透明，打開黑盒子，這種視覺意向的論述。視覺意向的論述其根本是在尋找人類主體，這個人類主體被視為是演算法的作者，並作為問責的對象。Amoore認為過快的跳入對與錯的判斷，就會急著去尋找究竟誰要負責？彷彿只要錯誤、偏見，或者是那個作惡的人挑出來，那演算法便可以輸出善的結果。但她指出演算法不是一個獨立的個人製作出來的物，而是許多人與非人交織而成，用她的話是一個後人類的演算法。

舉例來說，書中她提到美國在911之後，做一個雲端去辨識可能對國家安全有風險危害的個人。其實這個資料其實來自於不同的機關，以及機關有著不同的蒐集目標（起心動念不是為了反恐）；蒐集的方式也有所不同，包括不同的技術物－指紋辨識、手寫的資料（各種資料的來源）。如果我們去想像這個author的話，就資料端來說就已經是非常分散與多元。又或者是，機器學習的基礎，通常是經過人工的標示（群眾外包），所以這也是分散的作者，藏在資料的後面。甚至是演算法也會自我調整與學習自己的權重－演算法自己也成為自己的作者。

總結上述，大數據演算法從來不是一個單一、明確的作者可以說是誰。因此，Amoore認為我們不能對單一的人類主體問責，必須去關照人與非人之間的關係。同時，她也反對將演算法視為是中性的，並認為所有的惡都是外加的觀點。Amoore認為演算法如同社會行動一樣，內部是充斥著價值的假設、判斷與選擇。如果沒有這些假設與偏好，演算法是無法成立的。所以問題的核心不再是去抓出錯誤與壞人，而是去檢視演算法生成過程當中，我們跟自己、我們跟他人的關係是如何被編寫成碼。在此，Amoore一直很強調是WE不是THEY、YOU。

李老師繼續談到Giving an Account of Oneself，我們要如何不去畏懼當我們沒有辦法找到一個明確問責基礎的時候，可以持續對演算法進行partial、contingent、opacity、incomplete和ungrounded的描述。她也去引述Katherine Hayles、Donna Haraway去討論演算法是如何參與人的主體解構，以及人與科技的再重構中，進一步去強調演算法必須是一個去人類中心，它必須在不穩定與變動之中，去尋找跟憂患共存。在與Derrida對話中，她認為我們不該把演算法當作完成的文本，並有一個外在的作者。雖然演算法輸出的結果是單一的，但我們要關注的是過程之中的複雜、多重與開放的可能性，我們必須一直以充滿懷疑的描述，去檢視演算法之中一層又一層的假設是什麼。

李老師而後提到的問題也是從中而來：演算法是分散的作者構成的，我們可以更深入去討論說，從I到WE究竟隱藏什麼樣的移動與解構，並如何去說明分散的作者。如何在光圈的裝置中，從複數變成單一。這個WE究竟還包含了誰？在她的書中比較少提及這些角色，不同的角色是否有不同的重量與責任？是否扁平化這些角色？反而去政治化了演算法？

第二個問題，李老師提到Amoore談的倫理是圍繞在我們要去認可對演算法的說明，它是片段、不穩定的，無法完整被描述的演算法的關係，她去解構單一主體的存在。可是這也使得倫理很難去討論，如果沒有一個明確的主體，治理是可能的嗎？

第三個問題：Amoore不斷在強調演算法不斷在描述自身的過程，但李老師會認為這些描述本身是困難的，他是需要知識去理解的。也就是說從Giving an Account到understand，中間是有很大的落差。那我們該如何處理這個落差？我們是否要積極去尋找一個轉譯的中介？這個轉譯者的政治與能力是什麼？特別是，在李老師的研究中，轉譯者在數位科技中很重要的存在。

游博翔同學提問兩個問題，第一是Amoore的經驗研究似乎沒有特別去分析，什麼樣的演算法會被市場青睞，想請問中間的社會政治過程，怎麼去跟她提倡的倫理政治作連結？第二個是，倫理政治是一個原則性的，還是說是一個代表技術的問題（要納入不同地區的數據）？

Wilson Kao也提出兩個問題，第一，Amoore會去如何會回應歐盟逐步立法去限制與保障大數據演算法？第二，如果沒有究責的主體（變得分散了），那後段（政策與法律）如何去反應Amoore的說法？

彭老師的回應如下：大家的問題有一個共通的回答，這同時也是我自己的疑問，這本書是非常理論性的，但卻沒有清楚去說明行動指南。我也會非常好奇，如李老師第三個問題提到轉譯者的角色為何？如何將她討論的倫理，轉換成某種回應，無論是制度上、技術上或認知上的。然而，這部份在這本書上並沒有這麼多的著墨（可能還需要更多的經驗研究去佐證與探討）。

另外，在不同地方蒐集數據，這樣是具倫理的嗎？或如何用Amoore的方式去探討？那治理是否是有可能的？有兩件事情可切入，無論是傳統馬派將數據蒐集當作資本累積的過程；或是法律地理學者，他會去談這樣的過程當中，是否迴避倫理的審查。他們都是採取批判的方式去審視這件事情。換言之，除了Amoore說法之外，還有其他的理論工具可以去切入。

當我們面對分散的主體（或許要邀請Amoore來解答），治理是有可能的嗎？彭老師的想法是，其實是透過治理的一系列手段，才使得主體慢慢清楚起來。治理的對象是治理技術產生的後果，對象不是先存有的。

李老師的回應如下：Amoore在寫這本書的時候，是有一個明確對話的對象－不是一般的使用者與普羅大眾（很難看到行動的路徑），而是研究者（特別是批判資料研究）。她試圖去鬆動在有一個明確可被治理的主體的可能性，也因此，我們不會簡單去說打開黑箱就好，我們才可以看到更細緻的面貌。那她是否有企圖去對話到法律的制訂者？李老師認為是有這樣的可能性，但必須有橋樑的銜接，這個銜接如同剛剛彭老師提到，治理的主體經常是在治理的過程中，透過不同的手段而被產生出來的。也就是說，治理的主體並不會在治理之前就已經存在了。雖然說在法學的實踐中，必須要去界定一個人。但如果法律作為治理的手段，在更後面看到更宏大治理的過程，主體是在治理中被產製出來的。我們現在當代社會中，國家治理的邏輯，先創造一個主體再經由法律明確地（懲罰方式）去施加在明確的主體之上。所以李老師認為Amoore在做的事情是回到前面鬆動治理的對象，去思考是不是可能使用分散治理的方式；它就是我們面對的現象：演算法的作者不是單一的。甚至我們要去思考的是，當我們的對象要納入非人的時候，那個非人的對象是怎麼樣治理的模式？