近日人人都在談論Deepseek, 有認為它的所謂Knowledge Distill 是抄襲OpenAI，OpenAI官方指：DeepSeek （DS)可能不恰當地'蒸餾'了OpenAI的模型來開發自有的AI 產品。亦有指控質疑DS的訓練成本不只600萬美元，因為DS並沒有包括硬件，又指硬件包含50,000張H100而非DS所講的2,000張Nvidia H800。這幾天媒體的焦點就是圍繞着這些指控來研究DS的真正成本，外國傳媒甚至形容DS引發國家AI競賽。
而根據一些分析，以整合數據儲存和運作方法來迎新合H800，是可以大大改善效果。
不過，這些DS是否使用H800或H100的問題，對普遍的developers而言，他們的興趣不大，他們都非常興奮地專注於測試及下載到自己的電腦，試圖以local使用DS。這點其實對AI行業來講更為重要，因為這意味着人人都可以自己開發自家應用的AI。
在外國人的YouTube 頻道更多聚焦在如何下戴DS到自己電腦使用，一方面無需把自己的data 與DS分享，增加私隱，另一方面，大家都在想以自己的notebook 行DS造自己應用的AI 。
我們的CTO以自己的Mac M2 Max 可輕鬆使用DS 14b （b = billions parameter ) model，速度為每秒20 tokens ，速度合理。而麥加文給我的YouTube 連結（see below)更顯示有外國YouTuber 用兩張RTX 4090 gpu card 可運作14b及32b 。可能廣泛宣傳，導致近日網上出現大量之前用於以太坊挖礦的RTX 4090 graphic cards出售。但根據我們的CTO的分析，32b可能都會慢，另兩張RTX 4090 gpu 加起來full system 的用電量是1500 watt , 相等於15個100 watt 烏絲燈膽在你身旁發出熱力，是很浪費電力的做法。
Website/App 版是連接DS伺服器行671b, 問答輕鬆自如，速度快，但硬件GPU要求的成本非普通人買得到。因此人們都在想如何可以把671b再壓縮至例如96GB，讓DS 的671b都能夠在notebook使用。
對！DS免費下載可引發競賽，令更多人競賽怎樣可更有效地local使用DS，從而建立自家的AI。
CTO形容這發展就像audio、video 由原本CD只能儲存12首歌，壓縮成mp3便能儲存60首歌的時代即將來臨到AI發展，當發展至此便是每人一AI的時代了。
我的讀者可能對如何在自己電腦存取公司財務報表更有興趣，然後用AI做分析，一種方法是以每個月200美元使用OpenAI Pro 的 Deep Research, 首先把財報下載到自己電腦及存檔，然後讓AI分析，但現時只容許美國用戶使用。第二種方法是把DS下載行local, 然後把公司財報存檔到電腦，再使用DS，你便可以有自己AI 做分析了。
以上所有資料由CTO 提供及編輯。
PS: 1.5b / 7b / 8b/ 14b/ 32b/ 70b 是由671b的DS蒸餾出來的較細版本, b 是 billion parameters , 版本越高越聰明
https://youtu.be/7TR-FLWNVHY?si=U8vwPWKnlJB1lepe
沒有留言:
發佈留言
請留回應！