蘋果聯合創始人史蒂夫·沃茲尼亞克(Steve Wozniak)、圖靈獎得主約書亞·本吉奧(Yoshua Bengio)、AI領域教科書《人工智能：現代方法》的合著者斯圖爾特·羅素(Stuart Russell)等著名科技人士均在這封公開信上署名。
這封公開信聲稱，“高級AI可能意味著地球生命史上的深刻變革，我們應當投入相稱的關注和資源對其進行規劃和管理”，但現在人工智能已經陷入失控的競賽，開發者也無法理解、預測及可靠地控制。
這封公開信還提到，當代人工智能系統現在在一般任務上變得與人類具有競爭力，“只有當我們確信強大的人工智能系統的效果是積極的，其風險是可控的，才應該開發。”
按照公開信的設想，應該暫停比 GPT-4 更強大的 AI 系統6個月訓練。在這段暫停期間，人工智能實驗室和獨立專家應該共同開發和實施一套用于高級人工智能設計和開發的共享安全協議，并由獨立的外部專家進行嚴格審計和監督。
這些協議應確保它們的系統是安全的，并且無可置疑。這并不意味著總體上暫停AI開發，只是從向更大的、不可預測的黑盒模型的危險競賽中退后一步。
這封信發布在未來生命研究所 (Future of Life Institute) 網站上，那家研究所主要由馬斯克基金會、有效利他主義組織 Founders Pledge和硅谷社區基金會資助，機構的使命是引導變革性技術遠離極端、大規模的風險，轉向造福生活。
早在2017年，未來生命研究所便曾在加州召集了100 多位經濟學、法律、倫理學和哲學領域的思想領袖和研究人員齊聚一堂，討論和制定有益人工智能的原則。最終他們制定了23條阿西洛馬人工智能原則，被視為人工智能治理的重要原則。其中第一條是“ 人工智能研究的目標應該建立有益的智能，而不是無秩序的的智能。”
對本次在公開信上署名的那些科技工作者來說，大部分人的擔憂在于：AI發展的太快了，相關的監管和法律沒有跟上，甚至連發明者也缺乏有效的控制手段。這種條件下，無限制地使用AI，如果出現問題，很可能就會帶來系統性的風險。
根據《時代周刊》報道，公開信的簽署人、人工智能安全初創公司 SaferAI 的首席執行官西蒙·坎波斯表示，AI系統的發明者不確切知道它們是如何工作的，也不知道它們是什么，因此無法管理系統的風險。發明者有能力做到，但不知道如何限制AI的行為。
“我們現在在做什么?” 坎波斯說。“我們正在全速將這些系統擴展到前所未有的能力水平，并對社會產生變革性影響。我們必須放慢這些系統的開發速度，讓社會適應。”
馬斯克的擔心：關不掉的AI
馬斯克對AI的警惕由來已久，早在2014年，馬斯克曾在一次采訪中公開表示，我們應該對人工智能非常小心，如果一定要猜人類生存的最大威脅是什么，那可能就是人工智能。“通過人工智能，人類正在召喚惡魔”，馬斯克說。
他還表示“我越來越傾向于認為應該進行一些監管監督，也許是在國家和國際層面，只是為了確保我們不會做一些非常愚蠢的事情。”
馬斯克對AI安全問題不只是說說而已。2015年初，馬斯克向未來生命研究所捐助700萬美元的資助，旨在讓AI造福于人類的研究。被資助者大多從事AI倫理、治理、安全之類的研究，很多受資助者，比如斯圖爾特·羅素，參與了這次公開信署名。
作為DeepMind的早期投資者，馬斯克對AI的態度似乎有些矛盾。但他聲稱自己這項投資并非從投資回報率角度出發，只是想關注人工智能的發展，因為這可能導向危險的結果。他說，有一些可怕的后果，我們應該努力確保結果是好的，而不是壞的。”
壞的結果并不是像電影里描繪的那樣，機器人造反消滅人類。相反，專家們不擔心機器人的意識，而擔心它們的能力。AI實現目的的能力強大，但如果失控或者脫離計劃中的使用場景，就可能造成不可逆轉的破壞。
在公開信上簽名的重要人物，圖靈獎獲得者，被譽為“AI教父”的約書亞·本吉奧一直關注人工智能的濫用問題。2018 年，本吉奧是簽署反對AI武器發展承諾書的數千名人工智能研究人員之一。他呼吁各國政府規范人工智能研究，停止致命機器人的發展。
AI武器便是個機器人被濫用的極端例子，AI武器用于戰場，會比傳統武器更有效率。不過一旦失控，人工智能武器造成的問題也會更嚴重。在戰場上，為了不在簡單干擾下失靈，現在的AI武器往往會設計得很難被直接關閉。設想一下，如果被編程為攻擊人類的高效AI武器意外落在平民居住區，會產生什么樣的慘痛后果。
事實上，如何關掉AI，是很多簽名大佬擔心的問題。
但如果AI的應用走得太快，關掉它也許便可能需要付出巨大代價，成了一件難事。馬斯克便曾設想過，如果一個系統里算法失控了，管理人員可以找到它。但如果這個系統是大型AI管理的，我們可能根本找不到失控的位置，或者沒有權限停止整個大型的AI的運作。簡單的檢修會成為難題。
這也就是為什么AI需要更多監管，需要在技術上更民主，而不是集中在大公司的手中。
為了讓AI的力量不集中于大公司手中，尤其是Google DeepMind手中，馬斯克和山姆?阿爾特曼(Sam Altman) 合作創立了OpenAI ，目的是實現是關于人工智能權力的民主化，降低 AI 力量被壟斷的可能性。
這多少有些諷刺，由OpenAI所創造的GPT-4.正是馬斯克現在著力反對的。就在幾天前，馬斯克還在和OpenAI的CEO阿特爾曼(Sam Altman)打隔空嘴仗。
停下來，“我們對齊一下”
這些大佬們的擔憂之外，在更廣泛的民眾中，對于AI的恐懼則由來已久。
這其中，有對科幻電影《太空漫游2001》中那種獲得了意識的超智慧電腦HAL 9000的恐懼，也有更實際的，對于AI控制世界可能會造成的混亂和糟糕局面的恐懼。
在那封公開信中，多次被引用的一份資料是被包括微軟高管在內的多位人工智能領域大佬盛贊的暢銷書《對齊問題》(Alignment Problem)。發布那封公開信的未來生命研究所(FLI)一位聯合聯合創始人便曾公開稱贊那本書：“充滿了令人驚艷的發現，意想不到的障礙、巧妙的解決方案，以及越來越多關于我們這個物種本質的難題”。而那本書中所討論的最大的難題便是：人工智能倫理。
一個最簡單的人工智能倫理問題是曲別針問題，如果命令一個機器人去造盡可能多的曲別針，只要可能，它就會窮盡地球上所有的資源，不知疲倦地去制造曲別針，因為完成這個任務與它的道德規范沒有什么沖突，那么它能做的就只能是執行任務。人類在漫長的歷史中，大量固化在我們文化中，深植于每一個人的頭腦中的道德規范，我們的敬與畏，有時我們自己都尚未察覺，而一個機器，并沒有經歷過這樣漫長的進化，如同一個生下來就有超能力的孩童，它們自己就變成了風險。
因而，《對齊問題》一書的作者，現在正在加州大學伯克利分校做訪問學者的暢銷書作家布萊恩(Brian Christian)認為，需要細致、全面以及實時地讓AI的道德規范與人類的道德規范進行對齊。從這個意義上，這封公開信，便如同大廠的某個部門，要求員工停止手中的工作，都到會議室去，“我們對齊一下”。
當然，《對齊問題》除了討論這些看起來比較遙遠的問題，也有正在發生的。
美國某州利用計算機程序為罪犯的再次犯罪概率打分，進而決定保釋與假釋，分配保證金數額。然而，這個系統發生了些奇怪的事情，黑人博登被評為高風險，白人普拉特則被評為低風險，對兩人的兩年跟蹤調查發現，兩年間，博登再也沒有受到任何犯罪指控，而普拉特則因搶劫盜竊被判入獄8年。很顯然，大數據之下，人類中的種族歧視也被移植到了AI中——但關鍵問題在于，所有的人都認為，他們是初生的嬰兒，是公平。在《對齊問題》中，作者還提到了招聘中的性別歧視，沒有人對AI去做什么設定，然而大數據之下，歧視自然的就產生了。
基于大數據建立的人工智能，也許會強化我們族群中被廣泛忽略的歧視問題、不平等問題，而一旦這些問題在未被察覺，或者被認為微不足道的情況下進入系統，它們就被固化了，這會是一個很不美好的結局。
于是，讀者們對《對齊問題》一書的評論中，很多人提到了人——AI在放大人類現存的問題，以及，最為重要的，AI將交到什么樣的人手里?
幾乎毫無疑問的，AI會帶來生產力的大幅增長，但與上一場信息革命一樣，這種強大的勞動力工具會進一步導致財富的集中——從1980年到今天，收入最高的1%的人口所占的收入份額已經從10%上升到了近20%，而最底層的50%的人口所占的收入份額已經從1980年的20%下降到了12%。沒人想象的出，GPT面世40年之后，這個數據會變成怎樣?更何況這是一個更親資本的生產力工具。
早在今年2月份，長期關注人工智能問題的MIT教授達龍(Daron Acemoglu)就曾發文提到下列場景：企業辭退了人工客服，大量的人失業，而消費者只能接受一個能言善辯卻不能解決任何問題的機器人客服的服務。這樣的方式，“會剝奪和取代員工的權力并降低消費者體驗，最終讓大多數投資者失望”，我們不該如此。
這次公開信并不是人們第一次對人工智的未來表示擔憂，蓋茨在他的公開信中同樣曾提到過要關注人工智能時代的平等問題：市場力量不會自然而然地生產出幫助最貧困人群的人工智能產品和服務，相反的可能性反倒會更大。
早在3月16日，阿特爾曼同樣曾擔憂地提到“能夠思考和學習的軟件將完成越來越多的人們現在所做的工作。更多的權力將從勞動力轉移到資本。如果公共政策不做出相應調整，大多數人最終會過得比現在更糟”。
因此，阿特爾曼提到，需要引入新的體系，向資本而非勞動者征稅從而讓更多的人能夠共享這次人工智能革命的成果。
目前，AI要成為人類生活的基礎設施還需要一段時間，但這個時間可能已經不多了。GPT-4出現后，大型AI的能力在”軍備競賽“中飛漲，AI應用可能會快就會普及到生活的各個方面，卻沒有時間幫AI測試安全程度、理解人類的需求、設定監管的方案。這也是這次公開信背后的專家們，要為大型AI研究叫暫停的原因。
也許，如同微軟首席科學家Eric Horvitz所言：今天，在地平線上的人工智能，有些事情是已知的，有些事情是未知的，中間則是為我們觀察這個世界留下的大門。
