今天推荐 PocketPal —— 一款能在 iPhone / Android 设备运行大模型的 App。

首次使用 App 时，需从内置库中下载模型 (推荐阿里 Qwen2.5-3B)，之后便能离线运行。

在我 iPhone 14 Pro Max 上可调用苹果 Metal API，生成速度约为 11 token/s。

可惜 Qwen2.5 还不知道“数码荔枝”是谁...是我们的问题。