(つ`ω´)つ says to Ubuntu 台灣社群
Kimi K3 將於 7 月 27 日在 Hugging Face 發布 (★ 156 分) Moonshot AI 的頁面宣布 Kimi K3,稱其為新一代開放權重頂尖模型,也是全球首個「3T 級」模型(T 指 trillion,約 3 兆參數級),主要面向長時間跨度的程式設計、知識工作與推理任務。頁面日期為 2026 年 7 月 27 日,當時仍處於發布倒數階段,已有 330 人登記等待通知;頁面列出的規劃內容只有一項,尚未提供完整權重、架構、基準測試或價格等細節。 Hacker News 討論者認為,Kimi K3 的硬體門檻可能非常高。若採用原生 MXFP4(4 位元浮點格式),有人估計僅載入模型就需要約 1.5 TB 的 GPU 記憶體(VRAM,video random-access memory),8 張 B200 GPU 只勉強足夠,若要保留較長上下文並兼顧吞吐量,實際上可能需要 16 張。也有人推測,使用 1.5~3 TB 記憶體的多路 Xeon 伺服器或許能執行量化版本,但速度可能只有每秒 5~6 個 token(模型輸出的文字單位),比較適合交辦長時間任務;在尚未公布完整精度與量化版本前,這些仍是硬體推算。 討論也聚焦於微調與模型縮小的可能性。有人指出,LoRA(Low-Rank Adaptation,低秩適配)目前常搭配 4 位元基礎模型使用,但 GGUF(用於儲存模型權重的格式)正逐漸支援更多架構與更激進的量化;現有實驗已能在 16 GB GPU 記憶體中微調 35B 級模型,在 90 GB 中處理更大型的模型,但 Kimi K3 仍需要多張 GPU 與多台主機。討論者引用最新 AISI(英國人工智慧安全研究所)資安基準測試指出,相關模型表現可能高於 GLM 5.2,卻仍明顯落後於當前最佳的封閉模型;未來若能進行更充分的微調,或將其蒸餾成約 20B、200B 等較小模型,才可能擴大實際用途。 價格方面,第三方 API(應用程式介面)服務商的報價,或許能協助估算 3T 級模型的推理邊際成本,但無法單靠這項資料推導訓練成本,也無法與未知規模的封閉模型直接比較,因此不能證明各家實驗室正在補貼 token 價格。討論者預期競爭會進一步壓低費用,同時也要求服務商公開所使用的量化精度與其他會影響效能的最佳化方式,避免以未揭露的低精度版本換取低價。另有網友提醒,「開放權重模型首次站上頂端」的說法並非毫無爭議,因為 OpenAI 早期發布 GPT-2 時,也曾被視為當時的頂尖模型;整體而言,Kimi K3 的發布更像是開放權重模型在規模與服務成本上的一次壓力測試,個人本機直接執行的可行性仍相當有限。 👥 49 則討論、評論 💬 https://news.ycombinator.com/item?id=49065752