跳到正文

技术方向

端侧 AI 最新动态

直接跑在手机、电脑等设备上的 AI:小模型、在本机运行模型的工具与端侧芯片。

1 条精选近 30 天 0条 共收录 6条

更新

端侧 AI的精选

8月11日周二第 1–1 条
  1. Ollama Blog78

    NVIDIA Nemotron 3.5 Lightning 上线 Ollama,30B 总参数 3B 激活可本地运行

    NVIDIA Nemotron 3.5 Lightning 已在 Ollama 上线,可完全在本地设备运行。该模型为 30B 总参数、每 token 仅 3B 激活的混合 MoE 开源模型,面向持续运行的智能体任务,支持最高 1M token 上下文,并借助多 token 预测(MTP)、DFlash 或 DSpark 的投机解码实现最高 4 倍于同类开源模型的吞吐。

    推荐理由:材料给出 30B 总参数、3B 激活的本地智能体模型规格与吞吐数据,可据此判断本地跑长任务智能体的可行性。