适配于Mercury X1的摄像头模 组 可能装配正在死板臂双△臂的终端,并搭配夹爪应用。通过摄像头,实质获取物体的相干音信,并愚△ ○弄○这些数据实行呆板◁◁视 觉识别算法惩罚。通过USB接口,数据被传输到Jetson N ano主控实△行○进一 步惩… 罚。
pymycobot是Elephant Robotics专为其死板臂产物打算的限定库。通过该库,用户可能 简单赶疾 地 ▽挪用A■PI,以完毕对呆板人的精 准限定和操作。pymycobot供给了丰盛的功▽用接口,简化了编程流程,使开拓 者可能用 ○ 心于运用开拓。
OpenCV是一个开源的计较机视觉库。通过该库,用户可 能简单赶疾▽地挪用各式图像惩罚和计较机视觉的AP I,以完毕图像识别、对象检 测和图像转 换等操 作。OpenCV供给了丰盛的功○用接口,简化了开拓流程,使开拓者可能用心 于 运用完毕。
ST ag是一种安谧○○◁的标帜 码,寻常运用 于计较机△视觉和呆板△人定位周围。通过STag,用户可能 完=毕牢靠的=物体识别和 追▽ 踪。STag供给了端庄的功能和易于集成的 接口,简化了开拓者…正在定位和识别职分中的事业。
全体项目 最紧要的○功用就死板臂运动限★定,死板臂的手眼标定(坐标系的转…化□)和呆板的视觉识别。咱们先来先容最主要的呆板视觉 识 别。
思要让X1实行打字,那么它确定得领悟键盘,呆板△◁人□咋恐怕本身就 领悟键○盘 呢,于是咱们要教他领悟键盘,而且▽告诉他谁人 键○□正在哪个★场所。这就用★到了STag和OpenCV,STag的标帜码可= 能确定键盘的场所,而且反应坐标参数。
两个ST…△▽ag码是为了确定场所,正在用draw正在图 中 画出键盘的场所,正在这里必要研讨○两○个手的境况,当然要是单臂○也是能已毕的可是咱们是要模◁仿人打字的,左手掌握左边的区域,右手掌握右边的区域。
随后即是通■过算法来确定每◁个 △键位的坐标怎样计较的题目了凯发一触即发。将圈选○出来的键 位存入 数组当 中,规章左手掌握的区域,规章右手掌握的区域?
如此X1就○可能显■露键盘 是 什○么,以及相对应 的▽键位正在哪里了,接下来就要▽处分的是死板臂○的手眼标定的题目了,必要将倾向的物体的坐标系和死板臂○终端的坐标系转化到统一个坐标系当中去。
应用相机搜捕图像,并检测STag标帜,获取到标帜码的三维坐标。挪用□ s○olv◁e_mark○er_pnp 计 较标帜 正在▽ 相 机坐 标系中的 场 所和 倾向。
将标帜的转动向量转=换为转动矩○阵,再转换为欧拉角,以便于进一步的=计较和 阐发智能上下料搬运事■业站,组合平移向量和转动向。