OpenCV读入3D相机数据写在前面本人从事机器视觉细分的3D相机行业。编写此系列文章主要目的有1、便利他人应用3D相机本系列文章包含公司所出售相机的SDK的使用例程及详细注释2、促进行业发展及交流。知微传感Dkam系列3D相机可以应用于定位分拣、焊接引导、逆向建模、检测测量等领域欢迎与我深入交流Liu_Gump_OpenCV读取数据说明基本说明知微传感的3D相机可以输出红外图灰度图和RGB图以便利2D3D的应用场景红外图和RGB图在相机端是以char类型存储并在上位机中以char类型接收的深度图是从点云中提取的Z值按照红外图的顺序存放的在提取数据的过程中将char类型转为了short类型相关APIGetCloudPlaneZ 获取Z轴数据int GetCloudPlaneZ(Camera_Object_C* camera_obj, PhotoInfo *raw_data, short *imagedata)函数功能获取点云 Z 平面数据头文件dkam_zhicamera_api.h参数camera_obj相机的结构体指针; raw_data点云数据; imagedata获取的 Z 平面数据返回值0获取成功; 非 0获取失败例程及注释本例程基于WIN10VisualStudio2019DkamSDK_1.6.71OpenCV4.5.4采用C语言DkamSDK的配置方法请参考SDK说明书OpenCV的配置方法另请查阅除自己安装配置OpenCV外还可以利用知微传感提供的DkamSDK自带的OpenCV在include和lib文件夹内本例程在D132S型相机上验证#include iostream //DkamSDK #includedkam_discovery.h #includedkam_gige_camera.h #includedkam_gige_stream.h #includedkam_zhicamera_api.h //OpenCV #include opencv2/opencv.hpp int main() { std::cout Hello ZhiSENSOR! std::endl; std::cout Hello liu_sensor! std::endl; std::vectorDiscoveryInfo discovery_info; Discovery discovery; GigeCamera camera; GigeStream* pointgigestream NULL; GigeStream* graygigestream NULL; GigeStream* rgbgigestream NULL; //**********************************************查询相机**************************************************** //查询局域网内的3D相机 std::vectorDiscoveryInfo().swap(discovery_info); int camer_num discovery.DiscoverCamera(discovery_info); std::cout 局域网内共有 camer_num 台相机 std::endl; //显示局域网内相机的IP for (int i 0; i camer_num; i) { std::cout 局域网内相机的IP为: discovery.ConvertIpIntToString(discovery_info[i].camera_ip) std::endl; } //**********************************************连接相机**************************************************** //选定相机 int k -1; for (int i 0; i camer_num; i) { if (strcmp((discovery.ConvertIpIntToString(discovery_info[i].camera_ip)), 192.168.30.35) 0) { k i; std::cout 将连接第 k 1 台相机 std::endl; } else { std::cout 局域网内无该IP的相机 std::endl; } } //连接相机 int connect camera.CameraConnect(discovery_info[k]); if (connect 0) { std::cout 成功连接相机 std::endl; } else { std::cout 连接相机失败请检查 std::endl; } //**********************************************配置相机**************************************************** if (connect 0) { //获取当前红外相机的宽和高 int width -1; int height -1; std::cout 获取相机红外图的宽和高。。。 std::endl; int height_gray camera.GetCameraHeight(height, 0); int width_gray camera.GetCameraWidth(width, 0); std::cout 相机红外图的宽为: width std::endl; std::cout 相机红外图的高为: height std::endl; //获取当前RGB相机的宽和高如相机不支持则无此项 int width_RGB -1; int height_RGB -1; std::cout 获取相机RGB图的宽和高。。。 std::endl; int height_rgb camera.GetCameraHeight(height_RGB, 1); int width_rgb camera.GetCameraWidth(width_RGB, 1); std::cout 相机RGB图的宽为 width_RGB std::endl; std::cout 相机RGB图的高为 height_RGB std::endl; //定义红外数据大小 PhotoInfo* gray_data new PhotoInfo; gray_data-pixel new char[width * height]; memset(gray_data-pixel, 0, width * height); //定义点云数据大小 PhotoInfo* point_data new PhotoInfo; point_data-pixel new char[width * height * 6]; memset(point_data-pixel, 0, width * height * 6); //定义RGB数据大小 PhotoInfo* RGB_data new PhotoInfo; RGB_data-pixel new char[width_RGB * height_RGB * 3]; memset(RGB_data-pixel, 0, width_RGB * height_RGB * 3); //**********************************************打开数据通道**************************************************** //开启数据流通道(0:红外 1:点云 2:RGB) //红外图 int stream_gray camera.StreamOn(0, graygigestream); if (stream_gray 0) { std::cout 红外图通道打开成功 std::endl; } else { std::cout 红外图通道打开失败 std::endl; } //点云 int stream_point camera.StreamOn(1, pointgigestream); if (stream_point 0) { std::cout 点云通道打开成功 std::endl; } else { std::cout 点云通道打开失败 std::endl; } //RGB图通道 int stream_RGB camera.StreamOn(2, rgbgigestream); if (stream_RGB 0) { std::cout RGB图通道打开成功 std::endl; } else { std::cout RGB图通道打开失败 std::endl; } //开始接受数据 int acquistion camera.AcquisitionStart(); if (acquistion 0) { std::cout 可以开始接受数据 std::endl; } //刷新缓冲区数据 pointgigestream-FlushBuffer(); graygigestream-FlushBuffer(); rgbgigestream-FlushBuffer(); //**********************************************等待相机上传数据*************************************** //采集红外 int captureGray -1; captureGray graygigestream-TimeoutCapture(gray_data, 3000000); if (captureGray 0) { std::cout 红外接收成功 std::endl; } else { std::cout 红外接收失败 std::endl; std::cout 失败代号 captureGray std::endl; } //采集点云 int capturePoint -1; capturePoint pointgigestream-TimeoutCapture(point_data, 3000000); if (capturePoint 0) { std::cout 点云接收成功 std::endl; } else { std::cout 点云接收失败 std::endl; std::cout 失败代号 capturePoint std::endl; } //采集RGB int captureRGB -1; captureRGB rgbgigestream-TimeoutCapture(RGB_data, 3000000); if (captureRGB 0) { std::cout RGB接收成功 std::endl; } else { std::cout RGB接收失败 std::endl; std::cout 失败代号 captureRGB std::endl; } //保存数据到本地 //保存红外数据 int savegray camera.SaveToBMP(*gray_data, (char*)Gray.bmp); if (savegray 0) { std::cout 红外图保存成功 std::endl; } else { std::cout 红外图保存失败 std::endl; } //保存RGB数据 int savergb camera.SaveToBMP(*RGB_data, (char*)RGB.bmp); if (savergb 0) { std::cout RGB图保存成功 std::endl; } else { std::cout RGB图保存失败 std::endl; } //保存深度图 int savedepth camera.SaveDepthToPng(*point_data, (char*)Depth.png); if (savedepth 0) { std::cout 深度图保存成功 std::endl; } else { std::cout 深度图保存失败 std::endl; } //**********************************************将数据OpenCV可处理格式*************************************** //灰度图 std::cout 将红外图转换到OpenCV格式并显示... std::endl; cv::Mat GrayImage cv::Mat(height, width, CV_8UC1, (void*)gray_data-pixel); //显示灰度图 cv::imshow(Gray Picture, GrayImage); //RGB图 std::cout 将RGB图转换到OpenCV格式并显示... std::endl; cv::Mat RGBimage cv::Mat(height_RGB, width_RGB, CV_8UC3, (void*)RGB_data-pixel); //前面有使用API保存RGB到本地的操作这个操作会将RGB数据转为888格式因此直接使用上面这句代码会成功如果没有保存RGB这一步需要先将RGB数据转为RGB888后使用上面的代码才能成功可以使用RawdataToRgb888(*RGB_data)这个函数进行更改 cv::imshow(RGB Picture, RGBimage); //深度图 std::cout 提取深度数据,转换到OpenCV格式并显示... std::endl; short* depthdata (short*)malloc(width * height * 2 * sizeof(short)); memset((void*)depthdata,0, width * height * 2 * sizeof(short)); int getZ camera.GetCloudPlaneZ(*point_data, depthdata); if (getZ 0) { std::cout 提取点云Z值成功 std::endl; } else { std::cout 提取点云Z值失败 std::endl; } cv::Mat DepthImage cv::Mat(height, width, CV_16U, (void*)depthdata); cv::imshow(Depth Picture, DepthImage); std::cout 注意深度图像素值乘以最小单位才是真实物理世界的距离。 std::endl; std::cout 各型号最小单位如下 std::endl; std::cout D132S 0.05mm std::endl; std::cout D300 1/60mm std::endl; std::cout D330XS0.02mm std::endl; std::cout D330S 0.02mm std::endl; std::cout D330M 0.05mm std::endl; std::cout D330L 0.05mm std::endl; //**********************************************结束工作*************************************** memset(point_data-pixel, 0, width* height * 6); memset(gray_data-pixel, 0, width* height); memset(RGB_data-pixel, 0, width_RGB* height_RGB * 3); //释放内存 delete[] point_data-pixel; delete point_data; delete[] gray_data-pixel; delete gray_data; delete[] RGB_data-pixel; delete RGB_data; delete depthdata; //关闭数据流通道 int streamoff_gray camera.StreamOff(0, graygigestream); int streamoff_point camera.StreamOff(1, pointgigestream); int streamoff_rgb camera.StreamOff(2, rgbgigestream); //断开相机连接 int disconnect camera.CameraDisconnect(); std::cout 工作结束 std::endl; } else { std::cout 相机连接失败 std::endl; std::cout 请排查原因代号 connect std::endl; } cv::waitKey(0); }运行结果结果对比使用知微传感自带的保存API保存的图片和OpenCV显示结果对比仅示意了红外图可以看出用OpenCV显示的图片和用官方体供的API保存的数据相同以上代码可行后记知微传感Dkam系列3D相机可以应用于定位分拣、焊接引导、逆向建模、检测测量等领域
