实验小项目招新：基于荔枝派4A和亚博智能无人车在ArceOS上实现KCF目标追踪和颜色识别追踪demo

[limingth]

目标：（工程实践类）在ArceOS上实现KCF目标追踪和颜色识别追踪demo

荔枝派4A（最新基于RISC-V架构 平头哥C910x4核）和亚博智能无人车（基于树莓派主控和STM32开发板电机驱动），在ArceOS上实现KCF目标追踪和颜色识别追踪demo

相关资料

荔枝派4A（曳影TH1520）

LicheePi 4A 是基于 licheepi4a 核心板的 高性能 RISC-V Linux 开发板，以 曳影TH1520 为主控核心（[email protected]， RV64GCV，4TOPS@int8 NPU， 50GFLOP GPU），板载最大 16GB 64bit LPDDR4X，128GB eMMC，支持 HDMI+MIPI 双4K 显示输出，支持 4K 摄像头接入，双千兆网口（其中一个支持POE供电）和 4 个 USB3.0 接口，多种音频输入输出（由专用 C906 核心处理）。

• 技术资料
  https://wiki.sipeed.com/licheepi4a

• 平头哥C910 技术资料下载
  https://xuantie.t-head.cn/community/download?id=643604837828657152

• 购买链接
  https://item.taobao.com/item.htm?spm=a1z09.2.0.0.52d92e8dV8ECFx&id=715508771884&_u=91lonbjm48a8

亚博智能 ROSMASTER X3无人小车

ROSMASTER X3 是一款基于ROS机器人操作系统开发的麦轮全向移动机器人，它支持Jetson系列主板和树莓派4B作为主控，并搭载了激光雷达、深度相机等高性能硬件配置，可实现机器人运动控制、遥控通讯、建图导航、跟随避障、自动驾驶、人体特征识别等应用；ROSMASTER配套103节ROS课程，均提供教学课程文档和中英文字幕讲解视频，手把手教您入门ROS，玩转ROS机器人应用。

• 技术资料
  ROSMASTER X3
  https://www.yahboom.com/study/ROSMASTER-X3
  提取码：zsdf

• 硬件连接 - jetson nano 4GB主板接线示意图
  https://www.yahboom.com/build.html?id=5450&cid=529

• 购买链接
  https://detail.tmall.com/item.htm?abbucket=5&id=673838052098&rn=5e8fe16c390563a12971c928cc10ebe0&spm=a1z10.5-b-s.w4011-22651484606.108.3df12992CCzg2Z&skuId=4849189332147

具体步骤

一、基于开发机的Linux

• 1. Python 读 http 摄像头，识别红色超过一半面积，就用 Python 发包驱动小车前进
• 2. Rust 读 http 摄像头，用 rust cv 库做红色识别，通过 rust 发包驱动小车前进

二、基于荔枝派的Linux

• 1. 移植上面的Rust程序2，在荔枝派Linux 跑通
• 2. Rust 读http摄像头，用 rust cv 库做红色识别，通过 rust 发包驱动小车前进
• 3. Rust 读荔枝派自带 MIPI 摄像头，完成cv红色识别，Rust实现小车控制

三、基于荔枝派的ArceOS，依赖树莓派的http摄像头+tcp小车驱动

• 1. 移植 ArceOS 到荔枝派跑通网卡驱动，支持 http
• 2. Rust 读http摄像头，用 rust cv 库做红色识别，通过 rust tcp发包驱动小车前进

四、基于荔枝派的ArceOS，不依赖树莓派

• 1. 树莓派上的http摄像头，改为荔枝派自带MIPI摄像头
• 2. 树莓派通过usb连接stm32的pwm， 改为荔枝派直接通过自己的GPIO驱动小车
• 3. 荔枝派+ArceOS +MIPI摄像头驱动（Rust CV）+GPIO驱动（PWM）实现全替代原方案

参考

• Astra颜色追踪
  https://www.yahboom.com/build.html?id=5319&cid=529
  colorTracker.py
  https://github.com/cicvedu/ROSMASTER-X3/blob/main/colorTracker.py

• KCF物体追踪
  https://www.yahboom.com/build.html?id=6566&cid=529
  colorHSV.py
  https://github.com/cicvedu/ROSMASTER-X3/blob/main/colorHSV.py

注：偏工程实践类

如有兴趣一起来探索，请联系我 limingth AT gmail.com OR 微信 id limingth

目前已有 @傅新元 @侯建宇 @王哲威 @彭伟浩 参与该项目开发，急需对摄像头MIPI驱动，OpenCV图像识别等熟悉的技术爱好者加入。

[limingth]

团队任务和分工

内核团队

1. 负责开发和维护在荔枝派/树莓派上的 ArceOS 发行版
2. 负责测试各个版本的 ArceOS 内核发行版的基本功能（网络通信/视频采集等）

驱动团队

1. 负责在 ArceOS 内核上进行网卡、摄像头、GPIO等驱动的开发
2. 负责各类设备驱动的测试

应用团队

1. 负责 ArceOS 内核之上的应用开发（包括Rust CV识别）
2. 负责应用程序的移植适配和开发（包括Python环境移植）
3. 负责用户使用手册和技术文档的编写

工具团队

1. 负责硬件设备的改装，开发板的连接等
2. 负责开发便于上述内核/驱动/应用团队进行协作的工具软件