ChatGPT們難以復制的原因，除了耗顯卡，還有水電費太貴？最近，出現(xiàn)了新的對于ChatGPT研究，比如AI耗電、排碳等，并非是在譴責或反對發(fā)展AIGC用資源去換取技術的改進。現(xiàn)如今AI能發(fā)展到如何，誰也說不準，但它有著無限的發(fā)展可能，需要我們去不斷的探索。本篇文章推薦給對AI感興趣的童鞋們閱讀。一覺醒來，世界又變了。ChatGPT走入大眾視野之后，AIGC行業(yè)迎來了爆發(fā)，尤其是上個月，仿佛每一天都可能是「歷史性」的一天。以ChatGPT為代表的生成式AI，看似超前，但卻以一種極其「古典」的交互形式出現(xiàn)在大眾面前。它沒有花里胡哨的圖標，也沒有深入人心的UI設計，而是用最簡單的對話框來「震撼」世界。不過，如此簡單的形式，卻成為了當下網絡上和現(xiàn)實里最火熱的話題，果然「好看的皮囊千篇一律，有趣的靈魂萬里挑一」。只是存在于一個個web網頁，一條條簡單的問答中，往往會讓我們忽略不少問題?？此坪翢o負擔的一個個「回答」，背后卻用著世界上屈指可數(shù)的云算力。隨著ChatGPT成為常態(tài)，隱藏在ChatGPT們背后的這些角落也逐步被報道出來。01燒錢費電，還喜歡喝水生成式AI耗費顯卡這種情況，有些類似于「挖礦」。對大語言模型（LLMs）進行訓練，參數(shù)越多，性能越好。2018年的LLM大約有1億個參數(shù)，而到了現(xiàn)在，大約就要對2000億個參數(shù)進行訓練。運行他們需要算力更強的GPU，英偉達也在2020年推出了相對應的A100高性能GPU，并且也可以打包八張A100形成DGXA100服務器。這些計算服務器，或者說顯卡組，最終被安放在所謂的云計算中心，比如說微軟的就是Azure云服務。不光訓練大語言模型需要大量算力，當每個用戶請求一次，ChatGPT們回答一次，都要調用部分算力。流量就是金錢，我想OpenAI、微軟應該有刻骨銘心的體會。根據(jù)Similarweb的數(shù)據(jù)，上個月ChatGPT吸引了全球16億次訪問，是一月時的近三倍。這種情況下，即便微軟有所準備，給ChatGPT準備了一萬多張A100，但面對如此的流量，OpenAI還是堅持不住了，出現(xiàn)了宕機、封號和暫停Plus會員的開通。有人做過預估，想要吃下當下的流量，微軟還得買幾萬張A100、H100顯卡，Azure現(xiàn)在的算力遠遠不夠。但買更多的顯卡，除了燒錢，也會衍生出許多問題。八張A100組成的DGXA100服務器大概售價19.9萬美元，最高功率為6.5kW。按照一萬張來算的話，光在硬件上微軟就要花去2.5億美元，運行一個月就要用掉585萬度電。而按照國家統(tǒng)計局公開的數(shù)據(jù)，我國居民月度用電量大約是69.3度。ChatGPT運行一月，大概與我們8萬人用電相當。除了顯卡本身的價值，以及維持他們工作所需的電能外，給他們創(chuàng)造一個涼爽的環(huán)境，配置一套蒸發(fā)冷卻裝置。原理也比較簡單，就是利用蒸發(fā)水來散熱，但運行起來需要消耗大量的清水，并且在循環(huán)的過程里，大概會有1%～2%的水會作為細水霧被風吹走。雖然站在宏觀角度，水仍然維持著動態(tài)平衡，但在冷卻塔的小環(huán)境中，卻是一種無形的消耗。結合AIGC需要龐大算力的計算中心，卡羅拉多大學與德克薩斯大學的研究人員就在論文里預估了在訓練過程中所消耗的清水。以GPT-3為例，訓練過程中所需的清潔淡水相當于填滿核反應堆冷卻塔所需的水量。果然AI最終還是要跟核電掛上鉤。如果再具體點，則大約消耗了70萬升，并且他們還算出，一個用戶與ChatGPT進行25～50個問題的對話，大概就相當于請ChatGPT喝了500ml水。同時，他們也發(fā)現(xiàn)，蒸發(fā)冷卻塔在工作時，平均每消耗一度電，就會讓一加侖水（3.78L）消失。其實不僅是微軟，Google在2019年為其三個數(shù)據(jù)中心使用了超過23億加侖的清水。Google的數(shù)據(jù)計算中心圖片來自：Google在美國本土，Google擁有14個數(shù)據(jù)中心，為其搜索和現(xiàn)在的LaMDA和Bard提供算力。且在訓練LaMDA語言模型的過程要比GPT-3還耗能費水。原來，AI不止費顯卡，住恒溫的大house，胃口還出奇的好，大口吃電，大口喝水。02無處不在的AI鴻溝在AIGC行業(yè)里，一個簡單的，能準確響應的對話框，背后不只是展示技術實力，也展示了雄厚的金錢實力。SashaLuccioni博士就表示，大型復雜的語言模型，世界上只有少數(shù)的公司和組織才有資源訓練它們。還是以GPT-3為例，訓練1800億參數(shù)，成本大約是460萬美元，還不包括后續(xù)的運行和迭代維護等等。這些有形和運行過程中帶來的無形成本，很多公司很難承受。由此，在AIGC浪潮里，無形之中有了那么一個AI鴻溝，大概也分成了兩類公司。一種是，花得起耗得起資金，能夠訓練先進復雜的大語言模型的大型科技公司。另一種就是無法承擔成本的的非盈利組織和小型公司。在許多關于AIGC到底消耗了多少電力、資源的許多研究報告中，大多是以GPT-3，或者用「預估」等字眼。就像對訓練GPT-3用了多少水的研究里，由于OpenAI并沒有披露GPT-3訓練所需的時間長度，因此研究人員只能從微軟所公布的Azure計算中心冷卻塔的數(shù)據(jù)來預估。而關于碳排放等一系列參考數(shù)據(jù)，也多是從2019年的Bert訓練模型中預測而得。除了資金、GPU、數(shù)據(jù)中心、網絡帶寬等等硬實力，Google、微軟也把大語言模型的訓練算法、過程、時間、參數(shù)等等都列成了最高機密。我們想使用和了解它，只能通過提供的API，或者直接詢問ChatGPT或者Bard本身。無形之中，這也成為了一個「AI鴻溝」。AIGC發(fā)展地如此迅速，并且能力也在無限擴大，許多國家地區(qū)和組織都在考慮如何給AIGC設立一些規(guī)范，免得它（產生自我意識，開始覺醒……）恣意妄為。但就如同相關的研究人員一般，目前AIGC（如GPT-4）幾乎沒有公開的信息，更像是一個黑盒。誠然對于大公司而言，AIGC可能就是下一個新時代的開端，塑造科技壁壘，無可厚非。但對于資源的消耗，無論是對于立法機構，還是對于大眾，都該保持一些透明度，這也是AI在提供便利的同時，為何研究人員不斷挖掘和道明相應的代價。03發(fā)展AI，其實也是人類的一次登月對于AI耗電、排碳，以及最新的費水等研究，并非是在譴責、或者說反對發(fā)展AIGC用資源去換取技術的改進。這些數(shù)據(jù)，其實是提供了AIGC行業(yè)的另外一個角度，在一條條符合人味兒回答的背后，到底我們或者說大型科技公司為此付出了什么。也并非是要呼吁Google、微軟立刻做碳中和，并為耗費的水資源、電能和間接的一些環(huán)境問題買單，讓它們變成GoogleGreen或者是綠軟。AIGC的爆發(fā)，并不是一蹴而就，也不是簡單開竅式的技術爆發(fā)，它背后涵蓋了相當多的產業(yè)鏈，更像「水到渠成」。大公司云計算中心算力的增強，以及GPU對復雜算法的高效計算，以及大語言模型參數(shù)的復雜化，再加上AIGC企業(yè)本身一直在不計成本地投入。而在GPT-3出現(xiàn)之前，AI們的能力還顯得比較稚嫩，大眾也沒意識到AI可能會改變世界。但隨著GPT-4、MidjoureyV5等等涌現(xiàn)，AIGC也終于成為了硅谷寵兒。此時此刻，OpenAI、微軟、Google等大企業(yè)對資源的消耗，對大算力的使用也有了一個初步的成果。同樣地，當下的AIGC節(jié)點，有些類似于阿姆斯特朗剛踏上月球的那一刻。登月動用了當時相當?shù)馁Y金財力資源，但月