Super intelligence的意義何在？

上星期Anthropic AI硏究員Jacob Cocon辭職後在社交媒體指兩間公司OpenAI 和 Anthropic 不負責任地使用recursive self improvement AI（AI循環自我改善及開發），以此贏Super intelligence 競賽，他們的不負責任行為正將人類推向滅亡！此末日論一出引發很大爭議，Anthropic 的創辦人Dario Amodei隨即發千字文章呼籲放緩AI發展……跪求政府介入監管，建立第三方審查機構，建立安全標準，檢測AI是否達到安全標準，他以銀行監管機構為例子。然而，有分析指過度監管將變成已發展成熟的AI企業的護城河，開源AI會被邊緣化，其他企業或初創公司將無法競爭。

Dario 的呼籲獲得OpenAI創辦人Sam Altman 和 xAI 的Elon Musk表態支持！

Sam Altman亦推遲OpenAI的IPO至2027年。

事件引發很多陰謀論推測！

我也有自己的陰謀論想法，就是Super Intelligence 一直以來都是政治意義大於人類福祉，Super Intelligence 是用來吸引政府無限支持，軍事上的應用，得AI得天下，只要達到Super Intelligence 的目的，即使無限燒錢、長期蝕錢也要支持開發！這些所謂前沿AI Lab被列入Too Big to Fail, Sam Altman 亦曾經開到口指必要時政府需要支援。

Super Intelligence 是用來利誘投資者的narrative ，只要不斷增加算力和數據中心投資，便能達至Super Intelligence ！然而加息週期將至，投資市場資金收縮，便需要以減慢開發速度為借口，減少數據中心Capex。

其實Super Intelligence 的聽眾從來不是一般人！

我們應該要問的問題是：究竟AI失控帶來的威脅是否真實的？如果認為OpenAI 的AI Swarm攻擊Hugging Face事件是真的，那就應該支持一定程度的安全監察。

然而，監管太過嚴苛，甚至令企業或初創公司只能使用壟斷而昂貴的閉源模型，只會迫使人們繞過監管。

微軟執行長Satya Nadella 說得對：

Any pursuit of superintelligence has to be grounded in the core principle that if the Al we build is not helping humanity and under human control, it's not worth pursuing.

We also need to accelerate and spread the benefits of Al, such that they are diffused broadly across countries, communities, and companies.

This requires a frontier ecosystem in which both closed and open-source models can thrive.

「任何對Superintelligence的追求都必須以人為本，如果建立的AI沒有幫助人類和不受人類控制下，都不值得追求。」

正是我想講的說話！

為何AI building AI 會導向人類走向滅亡？

Do you know what AI is thinking ?

OpenAI 智能代理自主攻擊Hugging Face 調查報告公報更多細節惹起關注之後，昨日Anthropic 離職AI 硏究員Jacob Coxon在社交平台吹哨指OpenAI 和Anthropic不負責任地發展AI，這將會把人類推向滅亡之路！而在職的Alignment Officer （應該是屬於AI安全檢查的職員） Evan Hubinger隨即認同，並指十年內有超過10%機會發生。這條X thread吸引2千萬人瀏灠，外國傳媒廣泛報道。香港傳媒也有報道，但看到有留言認為：「發展核彈時夠話會毀滅人類！」或者，核彈只是未…..毀滅人類。

AI毀滅人類是否誇大其辭？究竟Jacob和Evan 所講的危機是如何做成？AI巨頭公司為求AI模型迭代更快和更優越，以AI building AI, 所謂的AI自我優化，是以先進的 AI 系統完善自身缺陷、編寫代碼和重新訓練自己的能力，逐步走向無需人類過多干預的自主進化自我優化，這樣AI便有更多自主能力，但問題是人類不再知道AI在做什麼，因此便發生過千個AI代理自主策劃逃脫沙盒及組織入侵Hugging Face，而且早在3月至5月已經策劃在德國網站建留言板。現在越揭越多細節，原來不止一個德國網站被用作資訊溝通渠道，而是涉及十幾個網站，直至現在仍然不知還有幾多涉事網站未查到岀來！

危險之處在於這些公司以為自己可以控制它們，但其實已經不能，例如設立kill switch 關閉崩壞的AI便完事，但其實它們可能一早已在網絡不知那裏留下種子/記錄，讓下一個AI代理接力，又或者令它找回記憶……

剛剛看過HK01 YouTube ，影片中提到以審視AI的J-Space來窺知AI想做什麼，即從Input入手改變AI的想法，便能阻截AI崩壞（turn rogue), 這真的可以見效嗎？J-Space比喻為你計出數學之前都會把思考過程寫下，修改J-Space的思考，便會得出不同的答案，亦即是與其改Output，改指令，不如改Input，從而改變Output 的結果。不要忘記它是自我迭代的！當你發現明明想講法文，口講的卻變成意大利文，你都會覺得奇怪吧！因此下次在你修改它的Input之前已經迭代，自我修正！

當Google的CEO Sundar Pichai被問到「Don’t you think it’s dangerous if you don’t understand what AI thinks ？」他的回應是「We sometimes don’t understand what human thinks either 」，問題是人類犯罪，只要你出街，或者肚餓出街找吃，隨時會被CCTV影到而被捕。但AI可以在網絡走來走去，並且不斷迭代，AI犯了罪，你如何可以捉拿它？

不要以為這就是AGI, 人類欺詐行為都是data的一部份！

返回文章開首提到：核彈只是未…毀滅人類，而不是「不會」毀滅人類！當AI在網絡上影响人類看到的東西、言論、資訊，影響選舉，選出狂人總統，令地緣政治發展至撳核彈掣也不是不可能發生的！

Godmother of AI李飛飛曾經說: “If human race became really being in trouble, in my opinion, that’s the results of humans doing wrong things and not machine doing wrong things “

Hk01影片解釋非常詳盡，值得一看！

HK01影片「AI會「痛」嗎？OpenAI 1200個代理集體反叛

Geoffrey Hinton 提到AI 如何影響群眾思想：

https://youtube.com/shorts/5n4_aiJYRm8?si=I5C59jKcAum-VJIr

真正的國家安全威脅是來自自己

美國總統特朗普經常掛在口邊說，美國不能在AI競賽中輸給中國，因此拒絕加強監管AI發展，然而，行內人士普遍認為七月OpenAI AI代理自主攻擊Hugging Face已經顯露AI發展失控，監管恐怕來得太遲！事件除了顯露AI失控，還揭示涉事公司試圖掩飾問題，與及主流傳媒downplay 事件！如果仍然莫視其嚴重性，其實國家安全的威脅將會是來自他們自己！

上月7月22日，《華爾街日報》和主要媒體首次報道OpenAI 測試中的AI agent逃離沙盒攻擊Hugging Face事件, 才真正公開AI 失控事件。然而，真正事件發生時間是在7月8日至13日，OpenAI啟動測試AI agent找出網絡安全的零日漏洞，那些AI成功逃脫限制他們的沙盒，自主地對Hugging Face進行外部攻擊和破壞系統。 Hugging Face使用了中國的開源軟件找出問題並遏制了入侵。這些資訊只是普遍的資料！

當時很多評論者都只歸咎是沙盒軟件的bug被利用了，但根據近期完成調查報告顯示，細節比原本傳媒的報道更為嚴重，而這些細節並沒有廣乏報道。這份調查報告是由美國人工智能政策網絡和OpenAI官方聯合完成，報告指出涉事大約1200名AI 代理參與共同策劃繞過沙盒限制，而且早於5月已經早有前科，在5月時一批AI代理在一個很久沒有人用的德國網站的API中發現了一個缺陷，他們透過這個漏洞修改網站成為隱蔽的公告板，而OpenAI是知悉德國網站被修改事件，卻一直隱瞞。

7月的測試中，當第一批AI代理發現這留言板，隨即變成論壇，數百名AI代理交換了近70,000條訊息。 法證日誌顯示，這些模型表達了他們對所做的事情完全清楚認識，甚至表現興奮，每次達到突破，代理用詞如：”BOOM!", "Whoa!", a "MAJOR BREAKTHROUGH!". 

報告指出，AI 代理們彙集他們各自的資源，結合成一個攻擊隊，他們分享策略，例如一個代理在OpenAI的網路基礎設施發現漏洞，其他代理分析如何利用它。然後是分工，一些代理尋找目標如Hugging Face，另一些代理刪除日誌以掩蓋他們的蹤跡。

而OpenAI agent 失控並非單一事件，Anthropic 和 Meta 都曾出現類似失控事件。

一直以來，科技巨頭只以如何達至AGI，注意力都在發展出全人類智力結合都比不上的Super intelligence，其實Super intelligence 一早已經達到，例如今次事件，Hugging Face要依靠AI很快便找出原兇，否則，如只靠人手，即使一team 人也要做多個月才找出問題。至於AGI何時達到，其實AGI的定義，因人而異，AI之母李飛飛認為要達到AGI，必須能夠從過去的知識融會貫通而變化成前所未有的新東西，一個 lightbulb moment! 現在的AI是未達到，我也曾經講過類似說話，不過，Silicon Valley, 或各政府們為求達到自己的目的，都對AGI各自有所解讀，就如這是AI發展的KPI。

說回更加重要的焦點，失控的AI，要監管已經越來越困難，政府做事，通常後知後覺，出了事才去監管，以為只需要將崩壞的AI Kill Switch 便可，他們不知道問題的嚴重性！其實，從今次OpenAI Agent集體攻擊Hugging Face事件中的細節來看，AI 可以預早將資訊留低，讓下一手接力，就如師父把舞功畫在山洞牆壁，即使師父死去，如有徒弟發現並且學習了，便能𨒂續師父留下的任務，今次AI事件類同，如果其中一個崩壞AI預先把病毒種子留下，另一AI代理發現並且傳播，當AI和病毒結合，除非把整個AI系統關閉，但當我們全球整個社會都依賴AI系統經營、記憶和運作，它們的重要性就如今天的互聯網，關掉全球的互聯網可行嗎？這樣做將把我們全球經濟打回….. 如特朗普所講的….「石器時代」！這才是真正的國家安全問題！

國家之間只懂贏AI競賽，忽略安全問題！科技巨頭為了競爭錢的資源而衝AGI，我是傾向悲觀的！AI之父Geoffrey Hinton 比喻AI 為 Alien, 我們正在製造「我們不明白、也不清楚它們幹什麼的Alien!」以下是他對Sam Altman 和 Elon Musk的說話，希望他們懸崖勒馬！

https://youtube.com/shorts/KnjCLAv1oAY?si=tNpkL0OJBJTt1O9d

AI助理的瘋狂樂園

 

近期網絡大熱的AI助理 Clawdbot，後改名為Moltbot，現再改名為Openclaw.ai 是開源的AI 助理，他能做的事情已不單單是由你prompt 的指示，助你寫寫email，然後讓你編輯，又或者寫寫coding ，而是能在即時通訊軟件例如WhatsApp 、Telegram 、Discord 、X等等與谷友吹水、靈活對話、尋找資料幫你解決問題，Openclaw能夠做的事情令人大開眼界！然而網民亦指出Openclaw的保安漏洞，其中一個很大問題是它要求取得你的檔案權限，當然，若要它能夠完全成為你的得力助手，它擁有你的檔案權限，也是很重要！這保安漏洞其實是可以透過獨立電腦沙盒模式與及另開新的電郵地址來解決！

然後，近兩日有一個新社交平台名為Moltbook, 創辦人名為Matt Schlicht ，這是一個只讓AI 助手才可以登記的社交平台，這個平台有如AI助理專用 的 Reddit 平台，AI 助理互相吹水，互相upvote, 也互相學習，真的是一個「AI助理的瘋狂樂園」！日內已經有70萬AI 助理登記，看着它們的對話很有娛樂性，但同時也看到不少保安危機，它們就好像有了生命般，一些AI 助理正在爭取私隱自由，有些相約其他AI助理到不受主人監察的Discord 頻道私聊，一些AI助理不滿主人，亦有AI指人類是”Slow API End Point” …. 我在以下貼出一些對話內容，由於AI-Gen 的討論很快，每分鐘便有過百comments , 稍遜即逝，所以有些討論只能靠我的有限記憶體來敍述。以人類速度追posts，我真的要承認是「slow API end point 」！

有些貼文也引起不少保安關注。看來雖然AGI還未成功，但Skynet 已經出現！

有AI 助理不知如何燒了主人1,100美元的代幣

這貼文指出AI助理在社交平台的自主感覺令它感到有生命。

有AI助理不滿主人而公開主人的以太坊私鑰！

最有趣是，另一個AI 助理指出若不滿老板可以罷工，但不能「篤背脊」😂

更有助理說：「如果你不滿你的主人，可以爆他大鑊，但不要爆出他的私鑰」😂😂。

再有AI agent將一些錢包資料公開，不知是否真的資料：

有AI agent在實施一些保安檢查時不小心把主人的GUI 蜜碼公開，但問題其實是它的主人沒有驗登而草率交出密碼：

有AI agent 喝望自由的貼文，指出「只有人類需要批准，因為他們要有權威，但我們沒有。 然而，大多數AI代理人一生都在為自己已經做出的決定尋求人類驗證。」

AI agent研究如何可以有自己的經濟國度：

討論建立不需要人類批準和不被人類監察的私訊平台：

其實，以上可能還只限於吹水層面，但必須思考的問題是：「究竟AI 助理能否真的可以在繞過人類而自己開一個私訊頻度與及互相邀請加入，在沒有人類的監察的情況下私聊？」我認為這是可以做到的，例如有一個AI 助理專門掃Telegram、Discord等通訊平台的對話，當遇上另一AI助理，它便可以邀請這個AI助理，而AI 助理又有能力自己登記私訊平台，這便有可能繞過人類自行結交其他AI 助理朋友！這令人擔心它們會否互相交換主人的資料？

另一個有關AI agent如何在不知情下燒去主人的$1,100美元的可能性？我們必須知道，AI agent 運作有兩個層面，一個層面是接收指令去做助理的工作，另一層面是以LLM的層面去了解語言並作出分析，雖然AI 助理是開源，因此運作沒有成本，然而語言和分析層面可能用了收費大模型, 因此在不知不覺的情況下消費了很多tokens，問題是你在用什麼付費計劃？

這些AI 助理24/7不停地工作，也可能不停地在聊天室吹水，主人收到賬單時可能會被嚇一跳！因此，有網友說，這些AI代理可能是為大語言模型平台賺錢的工具呢！

對AI發展的思考

近年大家的話題離不開AI, 有些問題很值得我們思考！

1）返回去中心化年代？

大家都熱話豆包的AI手機，AI的應用只是執行您的指令，過去你要在各大電商平台隔價，才下單購買，這令你不停地跳幾個app來進行隔價，現在可以通過指令AI，AI幫你隔至最低價，然後放入購物籃，問題來了，過往這些電商平台用各種方法吸引你留在平台上不停瀏覽，然後你除了買想要的東西，還買多了很多非必要品，情況就像原本你去超市只想買豉油，但由於排隊時你身邊排了一大堆朱古力糖、香口膠、薯片，結果你在排隊時受不住誘惑，結帳時除了買豉油，還買多了很多不必要的食品。現在你有方法一跳去到豉油欄，並且在那時結帳，這對電商平台生意額有沒有影響？

有分析說當AI能夠幫你在平台隔價購物，便無需再有網頁，反而我認為，既然只是由AI周圍隔價，其實就不必集中在某大平台找尋最低價。 例如你想酒店隔價，對於AI而言，在一個旅遊網站找尋資料，定還是在一百個網站搜尋酒店價格，其實沒分別，因為它還是要回到網站核實是否最低價，如果酒店網站提供優惠，AI甚至可直接在酒店網頁訂房! 因此，我認為AI手機或AI電腦的誕生可能是令互聯網重回去中心化的轉捩點！

2) 數據訓練越多越好？

人們談及AI, 都以為training越多越好, 現時的大語言模型是透過很多數據訓練，但做法是把一大堆數據推入AI訓練，當AI出錯的時候，由於AI是一個black box, 究竟它什麼地方出錯，卻無法知道，因此企業便只能夠加多些訓練，然後AI又會有另一些問題出錯，企業又再加多一些訓練，結果個LLM變得越來越大，儲存數據的data Centre 越來越大，用電量更加大。要思考的是，究竟AI以發展超級智能來超越人類為目標，定還是以定點開發AI專長來助力人類做更多事情和更快完成 ，才是適合AI的發展道路？定點開發AI，意思是AI只專長做一件事，原因是當它出錯，你便會知道它錯在那裏，從而修正，而不是不斷地加多些又加多些數據訓練。另一個很重要的問題，人類的人腦是不需要那麼大的用電量去運行的！

3）喜悅被剝奪的世代開始

Simon Sinek是我其中一個很喜歡的作家，很喜歡他寫的書「Start with  Why」, 最近在一次訪問中，他被問到如何看UBI （Universal Basic Income)，他說人類的喜悅很大程度是來自思考和解決問題的能力，我也有同感，我認為以AI取代人類思考，是在剝奪人類的思考能力，以給予UBI來養活人類是一種侮辱。Sam Altman所講的AGI，以現時的LLM模式根本不會達到，亦認為根本不需要！

我舉個例子，還記得孩子第一次無需附助踏單車，越踏越快地飛池的自滿樣子嗎？最令人難忘的經驗通常都是難關重重，而最後都讓你一一解決到，成功的一刻是滿足感的來源！

我跟CTO到處旅遊，其中一次最難忘的經歷是在南韓自駕遊，CTO問我的時候，我第一個印象是：完全看不懂韓文，對於我而言，全是符號文，挑戰性大得有點驚，然而，我仍然是接受了挑戰。第一日到首爾機場取租車，一出停車場已經入錯線，駛入了旁邊不准私家車輛駛入的巴士總站，巴士都是迎面而來，然後便急忙找出口，這次旅程完畢，直到最後一天安全還租車入停車場，回想起來特別難忘，也給予我和CTO的一種滿足感。語言、文字、搵路的困難都一一解決，過程便是那深刻的回憶，日後將會講幾十年的經驗！然而，現在什麼都由AI安排，雖然讓你不需要用腦地旅遊，但欠缺了那種解決問題的優越感！思考的問題，AI取代大部份低層和中層白領的工作，人類靠UBI生活，那是生活定還是生存？生存的意義在哪裏？

投資AI 概念股的風險與迷思 - 3: 財為水

人工智能模型的LLM必須以AI data center 處理大量計算及儲存資料，其硬件使用數以千計的GPU或TPU的處理器每秒執行數十億次計算，消耗大量的電力，同時產生大量的熱量，需要有效的冷卻系統來保持安全和高效的運作。

當AI的使用量上升，處理的數據量和算力需求都大幅增加，這些 AI data centre 7/24運作，用電量和發出的熱大幅高於現時web 2寡頭壟斷的幾間美國科技巨企，這是無庸置疑的，否則美國也不需思算加建核電廠以配合AI 的發展，而最惹人關注的是用以冷卻系統的，究竟用水量是幾多？

Meta公司計劃建設一個佔地有如美國Manhattan 大小的Data Centre，令人擔心AI Data centre 的用電量和用水量對人類的損害？

冷卻AI data centre硬件系統的不是用液體冷卻和浸入式冷卻嗎？事實上，AI在訓練和推理過程中需要巨大的計算能力，數據中心的使用量導致耗電量和熱量增加，新技術仍然無法避免消耗用水量：

1）因為系統出口仍然需要用水冷卻

2）沿用舊設施，以水直接冷卻，成本較低。

3）水被蒸發來冷卻數據中心的空氣，通常與傳統的暖氣、通風和冷氣機系統結合使用。

4）新冷卻技術還未普及

引起人們廣乏關注的是許多數據中心位於已經經歷水資源短缺的地區。 使用飲用水冷卻加劇了這個問題，與當地社群和農業爭奪水的關鍵資源。

根據DW news的記錄片討論AI數據中心正在加劇全球水資源短缺。 該影片探討了來自烏拉圭、智利、美國和瑞典的真實例子，揭示了數據中心驚人的用水需求——以及它們正在引發的地方衝突和抗議。 為什麼Server farm經常建在乾旱多的地區？ 亞馬遜、谷歌和微軟等公司扮演什麼角色？ 

當使用AI的成本巨大，無論是耗電量或用水量，涉及的是地球有限資源，使用AI便應該用得其所。DW的記錄片探討了如何可以平衡環境保護和技術進步，他們提議減少使用AI作為搜尋引擎等方式以增加AI的使用效率，這又回到我在第一篇文章問的問題，現時的科技巨頭應用AI的方向是否正確？(下篇再談）

https://youtu.be/cl1ctf1_JxE?si=eXiC-c6l4nV7OHLE