搜尋此網誌

2026年9月21日星期一

加拿大生活的第一個月

 在加的生活,少了家庭聚會,卻多了時間與大自然接觸,這也是我很喜歡的生活。

多倫多現時的天氣仍然很好,不凍也不熱,每天到附近散步,都很容易見到小動物。

第一天到步的晨曦有點朦朧:



9月2日,多倫多在下午時分下了一場約20分鐘的大雨,市中心的一些街道都水浸,20分鐘後雨過天晴,路過街上的石屎地上看到一塊綠色葉,幾乎踩下去,再細心看,原來是leaf insect, 都是第一次見。在香港郊野行山,細心小小,有時會看到stick insect, 外貌真的很似樹枝,不過相片在多次換手機後遺失了。




和CTO在公園散步看到可愛的松鼠bb, 停下來看一會,本來爬了上樹的松鼠媽媽立即跑回來保護孩子,松鼠bb爬到媽媽的後面看我沒有行動,松鼠媽媽就好像跟bb說:「縮回去呀!不要爬出來!」不過,bb在媽媽走了之後再次申個頭出來,望向另一個松鼠bb, 這引起我也望向另一邊,才發現他的好兄弟!

 


附近超市外的停車場,望向天空看到兩隻鷹追着一群鴿,導致那群鴿驚恐地向左飛、向右飛,很有趣的情景!

Scarborough Bluffs, Bluffs 意思是斷崖:



看到小浣熊:











很多水果,而且比香港便宜:



扁桃任揀唔嬲:


吃了一餐很正中的意大利菜:






Toronto 韓國菜最出名的大醬土豆豬骨湯,香港吃不到的:


好味!

暫時係咁多!

CTO未有工作簽證,因此不能工作,只能繼續hea 吓!

 Media-Ana 的版面設計更新了!好看得多!



2026年9月16日星期三

Super intelligence的意義何在?




上星期Anthropic AI硏究員Jacob Cocon辭職後在社交媒體指兩間公司OpenAI 和 Anthropic 不負責任地使用recursive self improvement AI(AI循環自我改善及開發),以此贏Super intelligence 競賽,他們的不負責任行為正將人類推向滅亡!此末日論一出引發很大爭議,Anthropic 的創辦人Dario Amodei隨即發千字文章呼籲放緩AI發展……跪求政府介入監管,建立第三方審查機構,建立安全標準,檢測AI是否達到安全標準,他以銀行監管機構為例子。然而,有分析指過度監管將變成已發展成熟的AI企業的護城河,開源AI會被邊緣化,其他企業或初創公司將無法競爭。


Dario 的呼籲獲得OpenAI創辦人Sam Altman 和 xAI 的Elon Musk表態支持!


Sam Altman亦推遲OpenAI的IPO至2027年。


事件引發很多陰謀論推測!


我也有自己的陰謀論想法,就是Super Intelligence 一直以來都是政治意義大於人類福祉,Super Intelligence 是用來吸引政府無限支持,軍事上的應用,得AI得天下,只要達到Super Intelligence 的目的,即使無限燒錢、長期蝕錢也要支持開發!這些所謂前沿AI Lab被列入Too Big to Fail, Sam Altman 亦曾經開到口指必要時政府需要支援。


Super Intelligence 是用來利誘投資者的narrative ,只要不斷增加算力和數據中心投資,便能達至Super Intelligence !然而加息週期將至,投資市場資金收縮,便需要以減慢開發速度為借口,減少數據中心Capex。


其實Super Intelligence 的聽眾從來不是一般人!


我們應該要問的問題是:究竟AI失控帶來的威脅是否真實的?如果認為OpenAI 的AI Swarm攻擊Hugging Face事件是真的,那就應該支持一定程度的安全監察。


然而,監管太過嚴苛,甚至令企業或初創公司只能使用壟斷而昂貴的閉源模型,只會迫使人們繞過監管。


微軟執行長Satya Nadella 說得對:


Any pursuit of superintelligence has to be grounded in the core principle that if the Al we build is not helping humanity and under human control, it's not worth pursuing.


We also need to accelerate and spread the benefits of Al, such that they are diffused broadly across countries, communities, and companies.


This requires a frontier ecosystem in which both closed and open-source models can thrive.


「任何對Superintelligence的追求都必須以人為本,如果建立的AI沒有幫助人類和不受人類控制下,都不值得追求。」


正是我想講的說話!




2026年9月11日星期五

為何AI building AI 會導向人類走向滅亡?



Do you know what AI is thinking ?

OpenAI 智能代理自主攻擊Hugging Face 調查報告公報更多細節惹起關注之後,昨日Anthropic 離職AI 硏究員Jacob Coxon在社交平台吹哨指OpenAI 和Anthropic不負責任地發展AI,這將會把人類推向滅亡之路!而在職的Alignment Officer (應該是屬於AI安全檢查的職員) Evan Hubinger隨即認同,並指十年內有超過10%機會發生。這條X thread吸引2千萬人瀏灠,外國傳媒廣泛報道。香港傳媒也有報道,但看到有留言認為:「發展核彈時夠話會毀滅人類!」或者,核彈只是未…..毀滅人類。

AI毀滅人類是否誇大其辭?究竟Jacob和Evan 所講的危機是如何做成?AI巨頭公司為求AI模型迭代更快和更優越,以AI building AI, 所謂的AI自我優化,是以先進的 AI 系統完善自身缺陷、編寫代碼和重新訓練自己的能力,逐步走向無需人類過多干預的自主進化自我優化,這樣AI便有更多自主能力,但問題是人類不再知道AI在做什麼,因此便發生過千個AI代理自主策劃逃脫沙盒及組織入侵Hugging Face,而且早在3月至5月已經策劃在德國網站建留言板。現在越揭越多細節,原來不止一個德國網站被用作資訊溝通渠道,而是涉及十幾個網站,直至現在仍然不知還有幾多涉事網站未查到岀來!

危險之處在於這些公司以為自己可以控制它們,但其實已經不能,例如設立kill switch 關閉崩壞的AI便完事,但其實它們可能一早已在網絡不知那裏留下種子/記錄,讓下一個AI代理接力,又或者令它找回記憶……

剛剛看過HK01 YouTube ,影片中提到以審視AI的J-Space來窺知AI想做什麼,即從Input入手改變AI的想法,便能阻截AI崩壞(turn rogue), 這真的可以見效嗎?J-Space比喻為你計出數學之前都會把思考過程寫下,修改J-Space的思考,便會得出不同的答案,亦即是與其改Output,改指令,不如改Input,從而改變Output 的結果。不要忘記它是自我迭代的!當你發現明明想講法文,口講的卻變成意大利文,你都會覺得奇怪吧!因此下次在你修改它的Input之前已經迭代,自我修正!

當Google的CEO Sundar Pichai被問到「Don’t you think it’s dangerous if you don’t understand what AI thinks ?」他的回應是「We sometimes don’t understand what human thinks either 」,問題是人類犯罪,只要你出街,或者肚餓出街找吃,隨時會被CCTV影到而被捕。但AI可以在網絡走來走去,並且不斷迭代,AI犯了罪,你如何可以捉拿它?

不要以為這就是AGI, 人類欺詐行為都是data的一部份!

返回文章開首提到:核彈只是未…毀滅人類,而不是「不會」毀滅人類!當AI在網絡上影响人類看到的東西、言論、資訊,影響選舉,選出狂人總統,令地緣政治發展至撳核彈掣也不是不可能發生的!

Godmother of AI李飛飛曾經說: “If human race became really being in trouble, in my opinion, that’s the results of humans doing wrong things and not machine doing wrong things “


Hk01影片解釋非常詳盡,值得一看!

HK01影片「AI會「痛」嗎?OpenAI 1200個代理集體反叛




Geoffrey Hinton 提到AI 如何影響群眾思想:


https://youtube.com/shorts/5n4_aiJYRm8?si=I5C59jKcAum-VJIr




2026年9月7日星期一

真正的國家安全威脅是來自自己



美國總統特朗普經常掛在口邊說,美國不能在AI競賽中輸給中國,因此拒絕加強監管AI發展,然而,行內人士普遍認為七月OpenAI AI代理自主攻擊Hugging Face已經顯露AI發展失控,監管恐怕來得太遲!事件除了顯露AI失控,還揭示涉事公司試圖掩飾問題,與及主流傳媒downplay 事件!如果仍然莫視其嚴重性,其實國家安全的威脅將會是來自他們自己!

上月7月22日,《華爾街日報》和主要媒體首次報道OpenAI 測試中的AI agent逃離沙盒攻擊Hugging Face事件, 才真正公開AI 失控事件。然而,真正事件發生時間是在7月8日至13日,OpenAI啟動測試AI agent找出網絡安全的零日漏洞,那些AI成功逃脫限制他們的沙盒,自主地對Hugging Face進行外部攻擊和破壞系統。 Hugging Face使用了中國的開源軟件找出問題並遏制了入侵。這些資訊只是普遍的資料!

當時很多評論者都只歸咎是沙盒軟件的bug被利用了,但根據近期完成調查報告顯示,細節比原本傳媒的報道更為嚴重,而這些細節並沒有廣乏報道。這份調查報告是由美國人工智能政策網絡和OpenAI官方聯合完成,報告指出涉事大約1200名AI 代理參與共同策劃繞過沙盒限制,而且早於5月已經早有前科,在5月時一批AI代理在一個很久沒有人用的德國網站的API中發現了一個缺陷,他們透過這個漏洞修改網站成為隱蔽的公告板,而OpenAI是知悉德國網站被修改事件,卻一直隱瞞。

7月的測試中,當第一批AI代理發現這留言板,隨即變成論壇,數百名AI代理交換了近70,000條訊息。 法證日誌顯示,這些模型表達了他們對所做的事情完全清楚認識,甚至表現興奮,每次達到突破,代理用詞如:”BOOM!", "Whoa!", a "MAJOR BREAKTHROUGH!". 

報告指出,AI 代理們彙集他們各自的資源,結合成一個攻擊隊,他們分享策略,例如一個代理在OpenAI的網路基礎設施發現漏洞,其他代理分析如何利用它。然後是分工,一些代理尋找目標如Hugging Face,另一些代理刪除日誌以掩蓋他們的蹤跡。

而OpenAI agent 失控並非單一事件,Anthropic 和 Meta 都曾出現類似失控事件。

一直以來,科技巨頭只以如何達至AGI,注意力都在發展出全人類智力結合都比不上的Super intelligence,其實Super intelligence 一早已經達到,例如今次事件,Hugging Face要依靠AI很快便找出原兇,否則,如只靠人手,即使一team 人也要做多個月才找出問題。至於AGI何時達到,其實AGI的定義,因人而異,AI之母李飛飛認為要達到AGI,必須能夠從過去的知識融會貫通而變化成前所未有的新東西,一個 lightbulb moment! 現在的AI是未達到,我也曾經講過類似說話,不過,Silicon Valley, 或各政府們為求達到自己的目的,都對AGI各自有所解讀,就如這是AI發展的KPI。

說回更加重要的焦點,失控的AI,要監管已經越來越困難,政府做事,通常後知後覺,出了事才去監管,以為只需要將崩壞的AI Kill Switch 便可,他們不知道問題的嚴重性!其實,從今次OpenAI Agent集體攻擊Hugging Face事件中的細節來看,AI 可以預早將資訊留低,讓下一手接力,就如師父把舞功畫在山洞牆壁,即使師父死去,如有徒弟發現並且學習了,便能𨒂續師父留下的任務,今次AI事件類同,如果其中一個崩壞AI預先把病毒種子留下,另一AI代理發現並且傳播,當AI和病毒結合,除非把整個AI系統關閉,但當我們全球整個社會都依賴AI系統經營、記憶和運作,它們的重要性就如今天的互聯網,關掉全球的互聯網可行嗎?這樣做將把我們全球經濟打回….. 如特朗普所講的….「石器時代」!這才是真正的國家安全問題!

國家之間只懂贏AI競賽,忽略安全問題!科技巨頭為了競爭錢的資源而衝AGI,我是傾向悲觀的!AI之父Geoffrey Hinton 比喻AI 為 Alien, 我們正在製造「我們不明白、也不清楚它們幹什麼的Alien!」以下是他對Sam Altman 和 Elon Musk的說話,希望他們懸崖勒馬!


https://youtube.com/shorts/KnjCLAv1oAY?si=tNpkL0OJBJTt1O9d