如何在家中安全使用AI：Mac Studio M3的完美解決方案

呢 排 呢 收 到 好 多 朋 友 問 我 啦 ， 點 樣 先 可 以 喺 屋 企 玩 AI 又 唔 使 擔 心 私 隱 嘅 問 題 。 其 實 呢 我 自 己 都 有 同 感 㗎 ， 咁 喺

AI 方 便 啦 ， 但 係 始 終 呢 都 會 擔 心 資 料 嘅 安 全 呀 嘛 咁 點 算 好 呢 。 而 當 我 試 用 apple 嘅 Mac Studio M3 嘅 時 候 呢 ， 我 就 發 現 咗 一 個 幾 正 嘅

解 決 方 案 啦 ， 就 係 配 合 呢 個 工 具 將 佢 哋 兩 個 放 埋 一 齊 ， 就 可 以 幫 你 呢 喺 屋 企 立 一 個 屬 於 你 嘅 AI 實 驗 室 。 咁 就 唔 洗 驚 資 料 俾 人 睇 啦 ， 仲 可 以

隨 時 隨 地 玩 AI 添 。 咁 喺 呢 個 影 片 入 面 啦 ， 我 就 會 同 大 大 家 分 享 下 我 嘅 使 用 心 得 一 步 一 步 咁 樣 教 大 家 點 樣 喺 Max Studio 上 面 安 裝 同 埋 使 用 去

部 署 呢 你 第 一 個 嘅 私 有 AI 平 台 ， 準 備 好 呢 就 跟 住 我 一 齊 實 AI 自 由 啦 [音樂]

。 咁 講 下 點 解 呢 ？ 我 地 Ma Studio MG Ultra 作 為 呢 一 個 測 試 平 台 啦 ， 咁 因 為 呢 ， 佢 係 唯 一 推 出 咗 嚟 啦 ， 呢 一 部 咧 個 RAM 係 可 以 上 到 去

512GB 嘅 ， 咁 亦 都 可 以 畀 我 哋 裝 啦 ， 最 大 嗰 個 model 㗎 。 咁 講 緊 咧 係 佔 用 超 過 400GB RAM 㗎 ， 咁 我 哋 呢 再 會 裝 埋 Mat 啦 ， 同 埋 Google 呢 啲

開 嘅 model 度 落 去 ， 噉 呢 部 Mac Studio 除 咗 呢 答 咗 apple 嘅 MG Ultra 嘅 處 理 器 之 外 呢 ， 佢 就 有 呢 個 核 心 嘅 CPU 啦 ， 同 埋 80 克 核 心 嘅 GPU,

噉 佢 嘅 一 記 憶 睇 架 構 呢 CPU 同 埋 GPU 呢 係 可 以 共 記 憶 體 ， 亦 都 可 以 運 行 到 呢 更 加 大 的 LM 㗎 。 而 且 呢 Mac Studio 呢 仲 有 32 核 心 嘅 engine 啦

， 咁 即 係 咩 意 思 呢 ？ 即 係 佢 可 以 令 呢 嗰 個 l 啦 運 行 得 更 加 快 更 加 順 暢 ， 可 以 呢 俾 我 哋 喺 本 地 呢 快 速 運 行 大 型 嘅 形 呀 ， 咁 就 唔 使 依 賴 雲 端 服

務 喇 。 咁 喺 我 測 試 嘅 過 程 中 呢 ？ 發 現 呢 ， Mac Studio MG3 Ultra 咧 佢 運 行 l 嘅 速 度 呢 ， 都 算 係 幾 快 同 埋 都 幾 穩 定 㗎 ， 而 佢 最 後 呢 出 到 嚟 嗰

個 time to first token 呢 ， 即 係 佢 回 答 黎 嗰 第 一 隻 字 啦 ， 嗰 個 速 度 呢 都 係 喺 我 接 受 範 圍 之 內 㗎 ， 而 整 體 感 覺 呢 用 起 嚟 都 係 順 暢 。 咁 如 果

呢 你 想 喺 本 地 部 署 l 啦 ， MA Studio MOr 呢 ， 其 實 絕 對 係 一 個 方 便 同 埋 比 較 直 接 嘅 選 擇 嚟 㗎 。 好 啦 ， 講 到 Ma Studio 咁 強 啦 ， 點 樣 先 可 以

同 同 AI 呢 咁 喺 呢 個 時 候 呢 奧 就 登 場 喇 。 咁 先 講 下 喇 。 呢 係 一 個 開 嘅 工 具 ， 即 係 一 個 engine 係 可 以 幫 你 呢 本 地 運 行 l 嘅 ， 而 佢 都 支 援 多 個 l

啦 例 如 係 喇 ， JA 喇 ， 同 埋 碟 等 等 㗎 ， 你 可 以 根 據 返 自 己 嘅 需 求 啦 ， 去 選 擇 返 唔 同 嘅 模 型 ， 而 佢 最 大 嘅 優 點 呢 就 係 用 喇 ， 你 係 唔 需 要 有 任 何

編 情 嘅 知 識 咧 ， 你 都 可 以 輕 鬆 咁 樣 run 到 LM 㗎 。 而 Oma 呢 另 一 個 優 點 嘞 就 係 保 護 啦 。 因 為 呢 所 有 嘅 數 據 呢 都 係 睇 你 嘅 電 腦 上 面 啦 ， 咁 你 就

唔 需 要 擔 心 資 料 俾 人 睇 到 啦 ， 因 為 呢 你 已 經 將 佢 變 成 本 地 嘅 LM 啦 嘛 咁 喺 連 接 網 絡 嘅 情 況 之 下 呢 都 可 以 用 得 到

。 其 實 呢 安 裝 嘅 過 程 呢 都 好 簡 單 嘅 ， 我 哋 先 去 官 方 網 站 咁 喺 網 站 上 面 啦 download 嘅 DMG 檔 ， 將 入 面 嘅 app 嘅 檔 案 呢 line 拉 line 拉 入 去

application 呢 個 資 料 啦 ， 然 後 打 開 呢 隻 完 之 後 呢 ， 第 一 次 打 開 嘅 時 候 呢 嘅 介 面 呢 就 會 會 出 現 㗎 喇 ， 咁 跟 返 隻 app 嘅 指 示 做 就 得 㗎 喇 ，

welcome page 撳 Next 跟 住 撳 ， 入 返 去 你 嘅 password 咁 你 就 安 裝 完 成 㗎 喇 ， 咁 安 裝 完 成 之 後 呢 隻 AP 就 會 叫 你 裝 第 一 個 嘅 model Copy 佢

嘅 指 令 打 開 貼 上 佢 就 會 開 始 download 㗎 喇 ， 下 成 功 之 後 呢 ， 你 就 可 以 同 AI 對 答 㗎 喇 ， 但 係 大 家 有 冇 發

覺 過 噉 樣 呢 ， 係 咪 真 係 我 哋 淨 係 可 以 經 過 同 AI 對 答 呢 ， 咁 就 梗 係 唔 係 啦 ， 跟 住 落 嚟 緊 接 住 呢 ， 我 就 會 介 紹 一 個 都 幾 好 用 嘅 俾 大 家 ， 就 係 叫

做 UI 好 啦 ， 首 先 你 要 確 保 呢 已 經 完 成 咗 上 個 step 嘅 安 裝 啦 ， 成 功 運 行 到 Olama 跟 住 呢 你 就

要 裝 doc desktop, 你 可 以 去 返 do 嘅 官 方 網 站 嗰 度 download 同 埋 安 裝 啦 咁 download Doc desktop, 揀 翻 你 對 應 嘅 電 腦 系 統 嘅 版 本 ， 咁 好

似 我 咁 啦 ， 用 緊 番 apple silicon 嘅 版 本 ， 咁 完 之 後 啦 ， 就 會 將 呢 一 隻 Apply 入 up 入 去 folder 然 後 再 打

開 application 入 面 嘅 呢 呢 一 個 Desktop, 跟 住 佢 嘅 安 裝 步 驟 ， 用 返 就 可 以 㗎 喇 ， 咁 過 程 中 呢 ， 可 能 要 你 安 裝 㗎 ， 揀 呢 個 畫 面 呢 即 係 成 功 運

行 緊 㗎 喇 ， 裝 好 doc 之 後 咧 ， 就 去 open web UI 嘅 網 UI 搵 到 Quick Start with Docker 下 面 呢 就

有 installation with default configuration, Copy 呢 一 個 指 令 咧 ， 然 後 喺 terminal 嗰 度

。 安 裝 完 成 之 後 呢 ， 就 輸 入 呢 個 網 址 ， 咁 你 應 該 就 會 見 到 Open We UI 嘅 介 面 㗎 喇 ， 跟 住 落 嚟 呢 就 要 create 一 個 admin account, 噉 呢 個

email 同 password 嘞 就 系 你 之 後 登 入 用 嘅 喇 。 入 到 去 咧 已 經 自 動 見 到 你 啱 啱 先 download 咗 嘅 3.2 咁 見 到 呢 個 咁 熟 嘅 介 傾 計 㗎 喇 ， 同 埋 呢 好

似 平 時 大 家 用 AI 咁 啦 叫 佢 幫 你 做 嘢 。 好 啦 咁 我 哋 安 裝 咗 Oma 啦 同 埋 open web UI 呢 跟 住 就 示 範 一 下 呢 點 樣 安 裝 唔 同 嘅 model 上

去 喇 ， 咁 我 就 建 議 翻 初 學 者 呢 揀 一 個 比 較 細 嘅 無 型 啦 去 方 便 返 自 己 測 試 。 例 如 呢 我 就 覺 得 呢 ， 最 近 Google 提 供 嘅 Jamm 3 呢 係 幾 好 用 嘅 ，

我 哋 呢 可 以 去 返 呢 一 頁 ， 搵 下 最 近 有 咩 熱 門 嘅 model , 咁 我 想 試 3 我 就 click 入 去 ， Copy 翻 呢 個 model 嘅 名 ， 去 返 open web UI 嘅 版 撳 自

己 嘅 頭 像 ， 然 後 呢 就 揀 admin 入 去 setting 揀 model, 咁 你 就 會 見 到 呢 個 管 理 model 嘅 介 面 㗎 喇 ， 跟 住 再 撳 右 上 嘅 manage models, 喺 呢 個 位

咧 貼 上 頭 先 嘅 model 名 ， 再 撳 右 邊 download 制 咧 就 會 開 始 㗎 喇 ， 噉 呢 個 過 程 咧 都 需 要 一 啲 時 間 咁 你 download 完 之 後 呢 ， 就 會 自 動 安 裝 㗎 喇

。 之 後 咧 你 就 可 以 用 gymmet 嘅 模 型 㗎 喇 噉 不 過 呢 都 要 提 翻 大 家 ， 由 於 呢 l 由 訓 練 到 推 出 呢 係 需 要 啲 時 間 嘅 ， 所 以 呢 係 唔 會 有 最 新 嘅 資 訊 喺

入 面 ， 咁 點 先 可 以 令 到 佢 搵 最 新 嘅 資 訊 回 答 你 嘅 問 題 呢 教 大 家 一 入 返 去 panel 再 去 setting 揀 web search, 右 邊 呢 度 呢 開 咗 佢 ， 再 喺 下 面

呢 search engine 揀 一 個 適 合 你 嘅 啦 。 今 次 示 範 呢 ， 我 就 會 用 得 高 去 翻 新 增 對 話 嘅 頁 面 呢 ， 你 就 會 見 到 呢 對 話 框 下 面 多 咗 粒 web search 制

㗎 啦 ， 只 要 你 撳 著 佢 呢 咁 今 次 嘅 問 題 呢 ， 佢 就 會 幫 你 先 做 一 次 網 業 嘅 搜 尋 。 AI 嘅 答 案 呢 就 可 以 包 到 最 新 嘅 資 料 喇 ， 咁 另 一 個 呢 就 係 好 多 人

呢 都 可 能 想 AI 呢 係 用 返 中 文 去 回 答 你 啦 ， 但 係 又 唔 想 每 次 問 問 題 呢 都 要 講 一 次 好 麻 煩 㗎 嘛 咁 呢 你 就 可 以 跟 住 我 咁 樣 set up 喇 都 係 撳 自 己 嘅

頭 像 啦 ， 跟 住 撳 喺 system prom 入 面 呢 就 打 請 使 用 凡 睇 廣 東 話 回 答 存 咁 其 實 佢 嘅 作 用 呢 就 係 你 每 次 問 問 問 題 啦 佢 都 會 幫 你 先 講 一 次 呢 個

prom 咁 樣 ， 咁 你 就 唔 使 問 題 都 要 打 喇 ， 咁 如 果 呢 想 喺 open web UI 嘅 介 面 呢 都 係 中 文 呢 ， 就 可 以 喺 同 一 個 版 面 啦 上 面 個 選 項 language 入 面

揀 翻 中 文 再 儲 存 呢 咁 就 得 㗎 喇 。 咁 呢 個 時 候 呢 ， 我 哋 叫 AI 重 新 產 一 次 嘅 答 案 啦 ， 都 留 意 到 連 關 鍵 字 嘅 搜 尋 呢 ， 都 變 返 中 文 㗎 。 咁 不 過 呢 唔

知 點 解 10 個 景 點 咗 10 月 啦 ， 呢 個 位 就 怪 地 啦 。 跟 住 呢 ， 我 就 叫 佢 再 跟 返 上 面 嘅 景 點 啦 ， 安 排 返 四 日 三 夜 嘅 行 程 俾 我 。 咁 我 睇 返 我 答 案 都

可 以 參 考 下 嘅 。 咁 另 外 我 自 己 有 試 下 啦 ， 問 下 一 啲 中 醫 嘅 問 題 其 實 都 回 答 得 幾 快 碟 最 大 嘅 model 有 成 400 幾 G 㗎 ， 有 成 672B 嘅

， 最 後 呢 ， download 咗 成 個 鐘 呀 。 咁 我 頭 一 次 run 呢 ， 其 實 係 run 唔 到 㗎 。 睇 返 呢 佔 用 嘅 RAM 呢 一 路 上 到 三 百 幾 時 炒 咗 啦 。 原 因 呢 就 係

因 為 呢 係 會 用 V RAM 嚟 跑 LM 啦 ， 但 係 macOS 只 係 從 512G 同 一 記 憶 體 呢 分 配 咗 三 百 幾 VRAM 嘅 啫 。 咁 所 以 之 後 呢 ， 我 就 出 咗 一 個 小 入 al, 打

呢 一 句 ， command 。 提 升 嘅 上 限 去 到 448GB, 再 試 就 得 咗 啦 。 咁 呢 1 出 到 嚟 嘅 答 案 呢 都 真 係 比 較 細 一 啲 㗎

。 好 啦 ， 跟 住 嚟 到 就 係 如 果 你 連 想 出 街 都 免 費 用 到 嘅 話 呢 ， 你 就 可 以 試 下 線 用 下 你 屋 企 嗰 隻 。 就 係 呢 ， 大 部 分 Router 呢 都 有 嘅 功 能 。 不 過

留 意 返 啦 ， 呢 個 方 法 係 有 一 定 嘅 風 險 㗎 ， 因 為 forward 呢 係 直 接 將 你 嘅 服 務 喺 互 聯 網 上 面 。 咁 如 果 呢 你 唔 做 足 夠 嘅 保 護 呢 係 好 容 易 受 到 攻

擊 㗎 。 咁 大 家 就 要 自 己 行 兩 風 險 喇 ， 咁 不 過 呢 我 自 己 就 set 咗 真 心 方 便 嘅 ， 先 喺 機 設 定 入 面 呢 搵 出 佢 內 嘅 IP 地 址 ， 然 後 登 入 嘅 管 理 介 面 ，

搵 到 或 者 類 似 嘅 選 項 ， 即 係 返 下 嘅 設 定 再 喺 Router 咧 啟 用 呢 個 dynamic DNS 揀 佢 哋 提 供 嘅 dynamic DNS 服 務 ， 咁 通 常 呢 係 dn 啦 ， 一 個

dn 名 ， 之 後 呢 就 可 以 測 試 連 接 㗎 喇 。 咁 用 你 嘅 ds 名 啦 跟 返 頭 先 嘅 設 定 喺 外 網 ， 其 實 咧 ， 成 個 運 作 就 係 當 你 出 到 街 容 喇 ， 你 嘅 dynamic DS 嘅

名 連 線 呢 ， 即 係 呢 到 去 呢 一 AI 啦 ， 個 Router 呢 收 到 連 線 嘅 情 況 就 會 將 請 球 轉 化 去 到 你 部 Mac 嘅 指 定 嘅 pot 嗰 度

。 好 啦 ， 除 咗 自 己 用 之 外 喇 都 咗 咁 多 嘢 啦 ， 當 然 啦 呢 係 可 以 share 埋 畀 屋 企 人 同 朋 友 用 啦 ， 因 為 你 自 己 就 系 本 原 嚟 㗎 啦 嘛 ， 隻 要 呢 你 開 返

個 account 俾 佢 哋 就 得 㗎 啦 。 首 先 去 阻 下 你 嘅 icon, 見 到 管 理 制 裁 使 用 者 嗰 度 呢 ， 又 上 有 個 家 好 咁 你 就 可 以 新 增 啦 入 屬 於 佢 哋 嘅 email 同

ork 咁 儲 存 之 後 呢 就 畀 翻 曬 啲 資 料 佢 哋 自 己 登 入 返 咁 佢 就 會 見 到 呢 個 版 面 呢 咁 就 用 得 㗎 喇 咁 你 亦 都 可 以 教 翻 啲 model 啦 係 咪 公 開 開 喇 ， 又

或 者 呢 喺 啲 model 度 呢 開 個 group, 咁 你 就 可 以 控 制 翻 呢 咩 人 用 邊 啲 model 啦 ， 咁 另 外 呢 我 自 己 就 會 長 期 喺 手 機 度 開 owser 啦 ， 隨 時 呢 都 有

得 用 AI, 我 自 己 就 覺 得 呢 同 Ong 呢 個 組 真 係 幾 正 嘅 ， 佢 可 以 幫 你 喺 屋 呢 不 過 屬 於 你 嘅 AI 實 驗 室 啦 ， 你 可 以 隨 時 隨 地 玩 AI 又 唔 需 要 擔 心 人 嘅

問 題 。 咁 而 且 最 重 要 係 佢 可 以 幫 你 提 升 工 作 效 率 啊 嘛 。 咁 當 然 啦 Mac Studio 本 身 嘅 價 錢 都 唔 平 ， 但 係 呢 出 面 玩 LLM 嘅 Community 呢 ， 其 實

都 好 龐 大 㗎 ， 唔 同 玩 家 呢 都 有 唔 同 盡 嘅 玩 法 。 咁 如 果 呢 想 深 入 啲 去 做 一 啲 需 要 用 到 LM 嘅 工 作 啦 ， 又 或 者 呢 你 係 一 個 AI 外 好 者 ， 噉 新 嘅 Mac

Studio 呢 ， 其 實 就 係 你 開 展 你 無 限 可 能 嘅 機 石 絕 對 係 一 個 值 得 投 資 嘅 選 擇 嚟 㗎 。 好 啦 ， 今 次 呢 條 教 學 片 呢 就 嚟 到 呢 度 喇 ， 希 望 大 家 鍾 意 呢

條 片 啦 ， 記 得 訂 閱 我 嘅 youtu Channel 撳 埋 隔 籬 蹤 ， 千 唔 好 唔 記 得 我 嘅 Instagram 啦 ， 如 果 中 意 嘅 話 就 記 得 分 享 俾 朋 友 睇 啦 ， 我 哋 下 次 再

見 誒