
IT之家 3 月 22 日音问开yun体育网,当地时辰周四,AMD 告示推出专为腹地运行谎言语模子(LLM)商量的哄骗GAIA(发音为/ˈɡaɪ.ə/)并在 Github 开源,当今仅限于 Windows 平台。 GAIA 是一款生成式 AI 哄骗,梗概在 Windows PC 上已矣腹地化神秘运行 LLM,并针对锐龙 AI 300 系列科罚器进行了优化,记号着 AMD 在角落规划界限的又一贫乏布局。 在 NPU 上运行 GAIA 可提高 AI 特定任务的性能。从 Ryzen AI 软件版块

IT之家 3 月 22 日音问开yun体育网,当地时辰周四,AMD 告示推出专为腹地运行谎言语模子(LLM)商量的哄骗 GAIA(发音为/ˈɡaɪ.ə/)并在 Github 开源,当今仅限于 Windows 平台。

GAIA 是一款生成式 AI 哄骗,梗概在 Windows PC 上已矣腹地化神秘运行 LLM,并针对锐龙 AI 300 系列科罚器进行了优化,记号着 AMD 在角落规划界限的又一贫乏布局。

在 NPU 上运行 GAIA 可提高 AI 特定任务的性能。从 Ryzen AI 软件版块 1.3 启动,搀杂因循部署同期使用 NPU 和核显的量化 LLM。

其中枢组件基于 ONNX TurnkeyML 的 Lemonade SDK 开辟,摄取检索增强生成(RAG)本领框架,通过腹地向量索引已矣 YouTube、GitHub 等外部数据的及时检索与分析。
系统责任流包含 LLM 蚁集器、LlamaIndex RAG 管谈和代理 Web 工作器三大模块,因循 Llama、Phi 等主流模子。功能模块包含四大 AI 智能体:
Chaty:因循历史对话的聊天机器东谈主
Clip:YouTube 视频搜索与问答群众
Joker:具备幽默格调的见笑生成器
Simple Prompt:模子平直交互测试器用

硬件方面,AMD 提供平方版与搀杂版两种装配决策。平方装配包兼容淘气 Windows PC(含非 AMD 硬件配置),通过 Ollama 后端已矣跨平台因循。
搀杂装配包专为配备锐龙 AI 300 系列科罚器的配置进行优化,可智能分拨 NPU 与集成显卡的规划负载。AMD 暗示,Ryzen AI 软件自 1.3 版块起因循量化模子在 NPU 和集成显卡间的搀杂部署。
阴私与性能上风方面:
腹地化科罚确保医疗、金融等敏锐行业数据不出境
反应蔓延指责至毫秒级(相较云表决策指责 40-60%)
NPU 专用架构已矣每瓦性能陶冶,因循离线环境运行
该面孔摄取 MIT 开源契约,代码库已在 GitHub 绽放。AMD 相配荧惑开辟者孝敬自界说代理模块,当今已有多个行业定制化代理处于开辟阶段。
此外,尽管 GAIA 当今暂不因循 Linux / macOS 系统,但 AMD 官方文档泄露过去可能彭胀多平台因循。
IT之家附 Github 地址:
https://github.com/amd/gaia