Qwen3 30B A3B 在 4 台 Raspberry Pi 5 上達到每秒 13 個 token （★ 101 分）
在 GitHub 的專案討論中，有人成功在四台 Raspberry Pi 5（每台 8GB 記憶體）上運行 Qwen3 30B A3B Q40 模型，透過分散式架構達到每秒約 13 個 token 的推論速度。整個設定使用 TP-Link 的交換器串接一台作為根節點 (root) 與三台工作節點 (worker)，共同運行 distributed-llama 這個框架。測試結果顯示，在四台樹莓派組成的小型叢集上，模型的評估速度為每秒 14.33 token，推論速度則為每秒 13.04 token，證明大型語言模型 (LLM, Large Language Model) 即便在低成本、低功耗的硬體環境下，也能透過分散式運算得到可用的效能。這個測試過程不僅展示了性能數據，還包含模型架構細節，例如隱藏層維度、專家數量 (MoE, Mixture of Experts) 等，意味著雖然在 Raspberry Pi 上可行，但需要相當精細的量化設定與記憶體管理才能維持正常運作。
在 Hacker News 的討論中，許多開發者對這項成果感到驚艷，認為這代表未來即使是低成本硬體也能承載一些大型 AI 模型。其中有人提及，如果這樣的效能能壓縮到單一台 Raspberry Pi 運行，就可能應用在更創新的場景，例如不需網路連線的智慧玩具或邊緣運算工具，從小朋友的互動玩具到簡易的離線助理都能受益。不過，也有留言指出這種技術的落地應用存在隱憂，特別是若讓孩童長時間與 LLM 做互動，可能帶來心理健康風險，因為 LLM 會以過度順從與正向回應方式回饋使用者，這種「數位應聲蟲效應」可能會影響尚未成熟的心智發展。
另一方面，有人深入討論這種分散式架構是否能擴展到更強大的運算環境，例如 GPU 叢集，但受限於顯示卡記憶體不足及網路延遲問題，仍需要更多研究來克服。若能成功讓多台顯卡共享模型權重並以高速網路串接，則有機會在企業或研究單位中，以相對低資本支出來運行超大型模型。這被視為可能推動低成本自動化 AI 的重要突破。
除了硬體層面的探討，也有網友對應用與社會影響表達擔憂。有些人將 LLM 的互動比喻成「數位版的唯唯諾諾」，憂慮它會造成心理偏差甚至加劇精神問題。另一派則認為這只是發展過程中的問題，就像航空技術初期也有不少難關，但透過修正訓練方法與安全設計，LLM 在教育或娛樂上的應用仍可能帶來正面價值。有討論建議應當設計「專為兒童的模型」來適度篩選內容，確保 AI 在陪伴學習的過程中不會帶來負面影響。
總體來看，這次的實驗不僅是硬體效能的展示，也是象徵性地打開了「人人皆可實驗最前沿 AI 技術」的大門。它同時引發了對模型分散式運算的新思考，以及 AI 在日常生活與教育領域的社會學討論，讓人既看到技術民主化的潛力，也意識到對未來應用的反思與責任。
👥 16 則討論、評論 💬
https://news.ycombinator.com/item?id=45148237