前提・実現したいこと
Libtorch(C++版Pytorch)で画像を小さなパッチに変換しようとしています。
下のサイトを参考にしました。
https://blog.shikoan.com/pytorch-extract-patches/
発生している問題・エラーメッセージ
torchの"unfold"関数を使用した後の結果がおかしくなり、想定した動作ができません。
切り出し後の画像が、別の位置で表示されるべきの画像がタイル状に出力されます。
該当のソースコード
C++
1#include <iostream> 2#include <torch/script.h> 3#include <torch/torch.h> 4#include <opencv2/opencv.hpp> 5#include <opencv2/imgproc/imgproc.hpp> 6#include <opencv2/core/core.hpp> 7#include <opencv2/highgui/highgui.hpp> 8 9std::string type2str(int type) { 10 std::string r; 11 12 uchar depth = type & CV_MAT_DEPTH_MASK; 13 uchar chans = 1 + (type >> CV_CN_SHIFT); 14 using std::string; 15 typedef std::pair<string, float> Prediction; 16 switch (depth) { 17 case CV_8U: r = "8U"; break; 18 case CV_8S: r = "8S"; break; 19 case CV_16U: r = "16U"; break; 20 case CV_16S: r = "16S"; break; 21 case CV_32S: r = "32S"; break; 22 case CV_32F: r = "32F"; break; 23 case CV_64F: r = "64F"; break; 24 default: r = "User"; break; 25 } 26 27 r += "C"; 28 r += (chans + '0'); 29 30 return r; 31} 32 33torch::Tensor MattoTensor(cv::Mat img) { 34 cv::Mat image; 35 cv::cvtColor(img, image, cv::COLOR_BGR2RGB); 36 std::vector<int64_t>shape = { 3, img.rows, img.cols }; 37 torch::Tensor img_tensor = torch::from_blob(img.data, at::IntList(shape), at::ScalarType::Byte).mul(-1); 38 return img_tensor; 39} 40int saveImageTensor(at::Tensor pic,std::string name) { 41 auto output = pic.clone().permute({ 1, 2, 0 }); 42 output = output.detach().mul(255).clamp(0, 255); 43 output = output.to(torch::kU8).to(torch::kCPU); 44 auto sizes = output.sizes(); 45 cv::Mat mat{ cv::Size{static_cast<int>(sizes[1]) , 46 static_cast<int>(sizes[0]) }, 47 CV_8UC(static_cast<int>(sizes[2])), 48 output.data_ptr() }; 49 cv::imwrite("C:/caffe/Tens" + name + ".png", mat); 50} 51 52int main() 53{ 54 const at::Tensor imageSample = MattoTensor(cv::imread("C:/pic/cat.jpg", cv::IMREAD_COLOR)).unsqueeze(0).clone(); 55 saveImageTensor(imageSample[0], "_" + std::to_string(0)); 56 std::cout << imageSample.sizes() << std::endl; 57 const torch::Tensor tensorpat = imageSample.unfold(2, 128, 64).unfold(3, 128, 64); 58 std::cout << tensorpat.sizes() << std::endl; 59 torch::Tensor tensorpermute = tensorpat.permute({ 0, 2, 3, 1, 4, 5 }); 60 std::cout << tensorpermute.sizes() << std::endl; 61 torch::Tensor tensorpershape = tensorpermute.reshape({ -1, 3, 128, 128 }); 62 std::cout << tensorpershape.sizes() << std::endl; 63 saveImageTensor(tensorpershape[2], "_" + std::to_string(2)); 64}
補足情報(FW/ツールのバージョンなど)
環境は:Windows10
C++17
Visualstudio2019
Libtorch:バージョン1.7.1
です。
回答1件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。