智能嵌入式视觉
什么新!
CoreVectorBlox神经网络IP和VectorBlox加速器SDK
VectorBlox加速器软件开发工具包和PolarFire fpga在中档fpga中提供了最高效的CNN实现。机器学习提供的特点:
|
|
 |
VectorBlox SDK需要在Linux环境下安装。它被托管在GitHub模型动物园,包括:
|
 |
在竞争激烈的中端fpga中，PolarFire fpga功耗低30%至50%。其他显著的好处包括:
*VB V1000, VB V500, VB V250是CoreVectorBlox Libero IP的配置 |
概述
随着计算工作负载向边缘移动，PolarFire fpga的总功耗比竞争对手的中端fpga低30-50%，静态功耗低5-10倍，使其成为一系列计算密集型边缘设备的理想选择，包括那些部署在热和功耗受限环境中的设备。PolarFire FPGA智能嵌入式视觉解决方案包括视频、成像和机器学习IP和工具，用于加速在工业、医疗、广播、汽车、航空航天和国防市场中要求高性能、低功耗、小尺寸的设计。
PolarFire在智能嵌入式视觉中的主要好处
1.在具有竞争力的中密度fpga中，总功耗最低
- 与具有竞争力的中密度fpga相比，功耗降低30%至50%
- 延长便携式设备的电池寿命，如无人机，AR/ VR头盔，hud，便携式超声波等。
- 通过消除热风扇和散热器降低系统成本
- 在4kp60 HDMI 2.0, 12G SDI, 10G以太网，12.5G CoaXPress等，使用额定为90mw 10G的SERDES通道yabo8855下载实现低功耗
2.100K LE的11x11毫米起的小尺寸封装
- 创建具有100K (11x11 mm)和200K (11x14.5 mm) LE设备的紧凑模块
- 使用DDR4、LPDDR3、12.7G SERDES、1.6 Gbps LVDS I/ o和PCIe Gen2x4等无与伦比的特性，设计您的下一代视觉平台
功耗竞争基准与16通道音视频桥设计实例
示例设计演示了一个音频-视频桥的实现。它在PolarFire MPF500T设备中使用56%的lut, 35%的Mathblocks, DDR3和16通道收发器。基准测试表明，与类似密度的fpga相比，功耗可降低52%。
16通道AVB开关功率估计结果
| AVB切换器(4通道) | 静态(W) | 核心动态(W) | I / O * (W) | 收发器* (W) | 总功率(W) |
|---|---|---|---|---|---|
| 极火(MPF500TS) | 1.493 | 2.474 | 2.991 | 0.769 | 7.727 |
| 极火(MPF500TLS * *) | 1.059 | 2.474 | 2.991 | 0.769 | 7.293 |
| Kintex 7 (XC7k325T-2) | 1.796 | 5.471 | 3.971 | 4.079 | 15.317 |
| Arria V (5 agxfb3h) | 2.572 | 4.350 | 5.451 | 1.651 | 14.025 |
| 我们Zynq + (XCZU7EV-1L (0.72 v)) | 2.864 | 2.165 | 4.011 | 2.694 | 11.7 |
*I/O和收发器功率估计包括静态和动态组件。* *电力设备进行了优化
16信道AVB切换器资源利用率
| 资源 | 数 | 接口 | 车道 | I / o | 率 |
|---|---|---|---|---|---|
| 4附近地区 | 271 k | 收发器 | 16 | - | 2.97 gb / s |
| DFF | 188 k | ||||
| LSRAM | 816 | ||||
| uSRAM | 249 | 3 x72一点DDR3 | - | 351 | 800 Mb /秒 |
| MathBlock | 500 |
了解更多
| 了解微芯片fpga比竞争对手的中密度fpga功耗低50%的原因? | 了解更多 |
| 你知道PolarFire是世界上保护你的IP最好的FPGA吗? | 了解更多 |
| 你知道是什么让Microchip fpga在业界最可靠吗? | 了解更多 |
| 了解Libero, PolarFire的IDE。 | 了解更多 |
| 了解PolarFire将如何满足您下一代视觉平台的需求。 | 了解更多 |
开始
 |
PolarFire视频套件(MPF300-VIDEO-KIT-NS)
|
PolarFire视频FMC组合
CoaXyabo8855下载Press融合卡 |
SDI融合卡 |
USXGMII融合卡 |
| CoaXPresyabo8855下载s FMC子卡是评估和测试CoaXPress协议的硬件评估平台。价格:849美元。 | SDI FMC子卡是评估和测试串行数字接口IP的硬件评估平台。价格:499美元。 | USXGMII FMC子卡是用于评估和测试四方PHY IP的硬件评估平台。价格:499美元 |
| ＃ | 描述 | 链接 |
|---|---|---|
|
1 |
探索和购买PolarFire视频工具包。 | 工具包的网页 |
|
2 |
探索并购买CoaXPress FMC子卡。yabo8855下载 | 固定-移动网页 |
| 3. | 探索和购买SDI FMC子卡。 | 固定-移动网页 |
| 4 | 探索和购买USXGMII FMC子卡。 | 固定-移动网页 |
| 5 | 下载用于PolarFire fpga的Libero SoC v12.1软件。 | Libero SoC v12.1下载 |
| 6 | 该套件附带一年免费Libero SoC黄金许可证。注册您的软件ID。 | 许可 |
| 7 | 下载双摄像头视频工具包演示指南。 | DG0849 |
| 8 | 下载设计文件，编程文件和GUI安装程序。 | 设计文件，程序文件，GUI安装程序 |
| 9 | 探索图像和视频ip选项卡获取更多信息。 | 进入“图像和视频ip”选项卡。 |
| 10 | 探索低功率的PolarFire设计。下载powerestimator UG和Excel工具。 | 低功率UG，功率估计量 |
PolarFire视频工具包的开箱演示设计
演示指南和编程文件
| DG0849: PolarFire 4K FPGA双摄像头视频工具包演示指南 | 07/2021 |
图像和视频ip
Microchip的FPGA产品组合通过内部开发和使用我们的第三方合作伙伴生态系统提供可扩展的生产可用ip。我们的内部IP组合包括最新的嵌入式视觉IP，如MIPI, SLVS-EC, CoaXPress，串行数字接口(SDI)， HDMI等，而我们的合作伙伴提供机器学习，H.264,yabo8855下载 DisplayPort和HDCP IP，更多的IP正在不断增加。
点击这里查看我们的合作伙伴ip。
用于PolarFire FPGA的内部DirectCore智能嵌入式视觉ip
| 知识产权 | 特性 | 文档 |
| MIPI DSI-1 TX | 每道最多1gbps x 4道，4Kp30 | UG0948: PolarFire MIPI DSI发射机用户指南 |
| MIPI CSI-2 Rx | 每道1.5 Gbps × 4道，4Kp60 | UG0806: MIPI CSI-2 Rx UG |
| MIPI CSI-2 Tx | 每道最多1gbps x 4道，4Kp30 | UG0826: PolarFire MIPI CSI-2 Tx UG |
| HDMI 2.0的处方 | 支持HDMI 2.0, 8位彩色，1080p60 | Ug0863: hdmi rx IP ug |
| HDMI 2.0 Tx | 支持HDMI 2.0和1.4,4Kp60 | Ug0862: hdmi tx IP |
| USXGMII | 支持1,2.5,5和10G以太网铜PHY: EDCS-1150953 | 请求的信息 |
| 3 g / HD SDI Rx | 1.485 Gbps HD-SDI和2.97 Gbps 3G-SDI | CoreSDIRX v2.2手册 |
| 3 g / HD SDI Tx | 1.485 Gbps HD-SDI和2.97 Gbps 3G-SDI | CoreSDITX v2.2手册 |
| 6克/ 12 g SDI Rx | 6 Gbps (1080p120, 2160p30)和12Gbps (2160p60) | corehd_sdirx v2.0手册 |
| 6克/ 12 g SDI Tx | 6 Gbps (1080p120, 2160p30)和12 Gbps (2160p60) | corehd_sditx v2.0手册 |
| SLVS-EC | 支持每车道2.3 Gbps × 2车道RAW8数据类型 | UG0877: SLVS-EC Rx UG |
| CoaXyabo8855下载Press v1.1 | 6.25 Mbps下降，20.83 Mbps上升连接，主机和设备IP | UG0875: CoaXyabo8855下载Press IP UG |
| ISP包 | 拜耳，视频DMA，阿尔法混合，颜色空间(RGB, YCbCr)，图像锐化，显示增强，边缘检测，显示控制器，模式生成，MIPI CSI-2 Rx/ Tx和LVDS 7:1显示Rx/ Tx | UG0640:拜耳插值UG UG0693边缘检测UG UG0639:色彩空间转换UG UG0641: Alpha混合UG 显示增强UG UG0651:标量UG 图形发生器UG UG0649显示控制器UG UG0944:直方图用户指南 UG0830: PolarFire的低电压差分信号7:1 |
如需评估或购买任何ip，请填写请求信息的形式,或联系当地销售在你的区域。
智能嵌入式愿景伙伴ip
| 合作伙伴 | 描述 | 支持fpga |
 |
|
PolarFire fpga |
 |
|
PolarFire fpga |
 |
|
PolarFire fpga |
 |
|
PolarFire fpga SmartFusion2 SoC fpga IGLOO2 fpga |
 |
|
PolarFire fpga |
 |
|
SmartFusion2 SoC fpga IGLOO2 fpga |
 |
|
SmartFusion2 SoC fpga IGLOO2 fpga |
 |
|
PolarFire fpga |
请求的信息
VectorBlox人工智能
概述 |
开发流程 |
开始 |
部署选项 |
VectorBlox加速器软件开发工具包
VectorBlox Accelerator SDK包含不同的工具，可以将TensorFlow和ONNX的神经网络描述编译成二进制大对象(BLOB)，该对象存储在flash中，并在执行期间加载到DDR内存中。
|
|
CoreVectorBlox IP
|
开发流程
步骤1:准备你训练过的模型 |
使用SDK中提供的Python脚本将训练过的模型转换为优化的称为二进制大对象(BLOB)的INT8表示。通过VectorBlox Simulator运行BLOB，验证网络的准确性，确保网络转换成功。  |
步骤2:准备硬件 |
的PolarFire视频设备被配置为作为一个AI启用的智能相机运行。该SDK包括一个预编译的工具包图像比特流。将双流写入PolarFire FPGA使用FlashPro程序员包括与工具包。将步骤1生成的BLOB写入工具箱的SPI flash中。  |
步骤3:编写嵌入式代码 |
使用提供的嵌入式代码在C/ c++的基础上SoftConsoleIDE和生成十六进制文件和程序。将视频套件连接到HDMI监视器并打开它。修改嵌入式代码以加载和运行多个CNN blob，动态切换CNN，或顺序加载CNN以进行同步推断。
|
开始
部署选项
| PolarFire视频设备 |
 |
| 使用PolarFire视频工具包的智能相机参考设计 | |
|
1.视频帧通过MIPI CSI-2接收
2.并通过axis -4互连存储在DDR中
3.在推断之前-帧被从DDR读回
4.从RAW转换为RGB, RGB到刨床R, G, B和写回DDR
5.CoreVectorBlox引擎在R, G, B数组上运行推理，并将结果写回DDR
6.Mi-V对概率进行排序，用边界框、分类结果、帧数等创建覆盖帧，并将帧存储在DDR中
7.原始视频帧被读取，与叠加帧混合，并发送到HDMI显示器 |
|
