1 DeepSeek在端侧设备的瑞萨运用场景。
DeepSeek大言语模型(LLM)可用于了解人类言语的渠道交互方法,考虑 ,支撑并给出适宜的布置版回应。一起,离线经过结合RAG(Retrieval-Augmented Genera。瑞萨ti。渠道on ,支撑检索增强生成)技能,布置版能够从用户定制常识数据库检索信息 ,离线将其作为提示输入给LLM,瑞萨LLM经过将这些额定的渠道常识与自己的言语技能相结合,能够编撰更精确 、支撑更具时效性且更贴合详细需求的布置版文字,供给面向某个详细范畴的离线专业应对。在。AI。概念和端侧 。AI技能 。炽热的当下,瑞萨。半导体。推出的面向端侧AI运用的高性能MPU ,也能够布置DeepSeek-R1模型。在咱们料想的运用场景中,咱们能够在布置了DeepSeek-R1模型和RAG定制数据库的瑞萨MPU电路板上,在不联网的状况下,完结如下运用 :
为此,咱们在瑞萨定坐落AI运用的MPU芯片RZ/V2H,适配了DeepSeek-R1:1.5B的LLM模型,以支撑这些潜在的AI运用 。
2 瑞萨RZ/V2H硬件渠道简介 。
在演示用例中,运用瑞萨官方的RZ/V2H-EVK开发板,如图1所示 。
图1 瑞萨官方RZ/V2H-EVK开发板 。
板载丰厚的外扩资源,如图2所示。
图2 RZ/V2H-EVK开发板板载资源。
关于RZ/V2H-EVK开发板的更多概况,可拜访瑞萨官网产品主页:(您可仿制下方链接至浏览器检查)。
RZ/V2H-EVK - RZ/V2H四核视觉AI MPU评测套件 | Rene 。sas 。瑞萨电子 。
https://www.renesas.cn/zh/products/microcontrolle。rs。-microprocessors/rz-mpus/rzv2h-evk-rzv2h-quad-core-vision-ai-mpu-evaluation-kit 。
其间,RZ/V2H集成了7个 。处理器。中心,分别是4个Cortex-A551.8GHz,2个Cortex-R8800MHz ,1个Cortex-M33200MHz ,一起还集成了瑞萨自主研制的AI核算专用加快引擎DRP-AI3和图画核算加快引擎DRP ,有体系框图,如图3所示 。
图3 RZ/V2H处理器体系框图。
3 下载、装备和发动DeepSeek-R1。
RZ/V2H-EVK开发板现已适配了Yocto 。 Linux。操作体系。 ,在此基础上,运用Ollama官方引荐的方法,能够完结布置并运转DeepSeek-R1大模型 。
运用能够联通外部网络的路由器 ,用网线将RZ/V2H-EVK电路板和PC连起来
,保证RZ/V2H-EVK电路板和电脑能够联网,并可相互拜访。对RZ-V2H-EVK电路板的装备作业,将经过电脑完结
。
在电脑上,经过 。Te 。ra Term东西(或许其它SSH东西)连接到开发板 。在终端中 ,运用脚本装置并发动Ollama服务 :
经过Ollama发动DeepSeek-R1模型 。留意,在第一次运转指令时 ,会自行下载DeepSeek-R1模型文件 。在此过程中,需求保证联网状况杰出。
下载完结之后,自行发动DeepSeek-R1模型。后续运转这个指令载入模型时,就不需求联网了。
载入模型成功后,能够看到指令行中有提示信息“Send a message(/? for help)”。此刻