C#で画像をNumpy配列に変換する方法

Posted On 2020-12-11

7.4k{icon} {views}

C#でPythonのNumpy配列を使えるライブラリがありますが、C#で画像をNumpy配列化するときに少し大変だったのでメモとして書いておきます。

環境構築

Visual Studio 2019、.NET Core 2.1のコンソールアプリケーションを想定します。

NuGetから、「Numpy」をインストールしておきます。他にもNumSharpというライブラリがありますが、今回はNumpyを使います。

https://github.com/SciSharp/Numpy.NET

64ビットでビルドするようにします。「ビルド」→「構成マネージャー」から、「アクティブ　ソリューション　プラットフォーム」で「x64」を指定します。プラットフォームが変わることで、カレントディレクトリが変わるので注意が必要です。

基本的なNumpyの使い方

まずはNumpyライブラリの使い方から見ていきましょう。ほとんどPython版と同じです。

行列の作成

例えば3×3の連番の行列を作るのなら、

using System;
using Numpy;

namespace NumPyNet
{
    class Program
    {
        static void Main(string[] args)
        {
            var x = np.arange(9).reshape(3, 3);
            Console.WriteLine(x);
        }
    }
}

[[0 1 2]
 [3 4 5]
 [6 7 8]]

スライスだけ注意

「x[2:3]」のようなスライスはC#だと定義できないので、文字列キャストします。ただし、一部対応していないスライスもあるので、Numpy関数で置き換える必要があります。

using System;
using Numpy;

namespace NumPyNet
{
    class Program
    {
        static void Main(string[] args)
        {
            var x = np.arange(9);

            // :は文字列で囲む必要がある
            Console.WriteLine(x["2:5"]);

            // 一部対応していないスライスがある            
            // var y = x["None, :"] * x[":, None"];
            var y = np.expand_dims(x, 0) * np.expand_dims(x, 1);
            Console.WriteLine(y);
        }
    }
}

[2 3 4]
[[ 0  0  0  0  0  0  0  0  0]
 [ 0  1  2  3  4  5  6  7  8]
 [ 0  2  4  6  8 10 12 14 16]
 [ 0  3  6  9 12 15 18 21 24]
 [ 0  4  8 12 16 20 24 28 32]
 [ 0  5 10 15 20 25 30 35 40]
 [ 0  6 12 18 24 30 36 42 48]
 [ 0  7 14 21 28 35 42 49 56]
 [ 0  8 16 24 32 40 48 56 64]]

画像のByte配列化

Pythonでは一瞬のことでも

この記事の目標は、カラー画像ファイルを$(H, W, 3)$というshapeのNumpy配列へ変換することです。Pythonだとこんなの一瞬で、

from PIL import Image
import numpy as np

with Image.open("imagefile.jpg") as img:
    x = np.array(img)

または、

import cv2

x = cv2.imread("imagefile.jpg")[:,:,::-1] # BGR -> RGB

でOKです。これをC#で実装するだけでも結構面倒なのです。

Byte配列にする

まずは、画像をByte配列にします。これをuint8の（C#のByteとNumPyのuint8は同じ）np.arrayして加工していく方針です。

https://gist.github.com/ksasao/f841b85d7521f49306fb

こちらのコードを活用させていただきます。

バイト配列の構造を知る

2×2の簡単な画像

まずは2×2の簡単な画像を用意して、できたByte配列がどのような構造になっているか確認します。

https://blog.shikoan.com/wp-content/uploads/2020/12/sample_22.png

2×2の小さな画像です。見えないので引き伸ばして可視化します。

それぞれのカラーコードがByte配列でどう対応しているかを確認します。

Byte配列との対応

using System;
using System.Drawing;
using System.Runtime.InteropServices;
using Numpy;

namespace NumPyNet
{
    class Program
    {
        /// <summary>
        /// Bitmapをbyte[]に変換する
        /// </summary>
        /// <param name="bitmap">変換元の32bitARGB Bitmap</param>
        /// <returns>1 pixel = 4 byte (+3:A, +2:R, +1:G, +0:B) に変換したbyte配列</returns>
        public static byte[] BitmapToByteArray(Bitmap bmp)
        {
            Rectangle rect = new Rectangle(0, 0, bmp.Width, bmp.Height);
            System.Drawing.Imaging.BitmapData bmpData =
                bmp.LockBits(rect, System.Drawing.Imaging.ImageLockMode.ReadWrite,
                System.Drawing.Imaging.PixelFormat.Format32bppArgb);

            // Bitmapの先頭アドレスを取得
            IntPtr ptr = bmpData.Scan0;

            // 32bppArgbフォーマットで値を格納
            int bytes = bmp.Width * bmp.Height * 4;
            byte[] rgbValues = new byte[bytes];

            // Bitmapをbyte[]へコピー
            Marshal.Copy(ptr, rgbValues, 0, bytes);

            bmp.UnlockBits(bmpData);
            return rgbValues;
        }

        static void Main(string[] args)
        {
            using(var img = new Bitmap("sample_22.png"))
            {
                var byteArray = np.array(BitmapToByteArray(img), dtype:np.uint8);
                Console.WriteLine(byteArray);
            }
        }
    }
}

結果は次のようになります。

[ 36  28 237 255  76 177  34 255 232 162   0 255   0 242 255 255]

これを解釈していくと次のようになります。透明要素はないのでAは必ず255です。

[ 36  28 237 255 ←　左上のB, G, R, A
  76 177  34 255　←　右上のB, G, R, A
  232 162   0 255 ←　左下のB, G, R, A
  0 242 255 255]　←　右下のB, G, R, A

まとめると、

左上から横方向に、下に向かってピクセルが4バイトで格納されている。
RGBは反転してB, G, Rで格納されている。それにAが合わさって1ピクセルとなっている。

これをRGBの3チャンネルの配列にするのは、Numpy関数を使えばそこまで難しくありません。

画像をNumPy配列化する

これをLoadImageという関数にまとめると次のようになります。

using System;
using System.Drawing;
using System.Runtime.InteropServices;
using Numpy;

namespace NumPyNet
{
    class Program
    {
        /// <summary>
        /// Bitmapをbyte[]に変換する
        /// </summary>
        /// <param name="bitmap">変換元の32bitARGB Bitmap</param>
        /// <returns>1 pixel = 4 byte (+3:A, +2:R, +1:G, +0:B) に変換したbyte配列</returns>
        public static byte[] BitmapToByteArray(Bitmap bmp)
        {
            Rectangle rect = new Rectangle(0, 0, bmp.Width, bmp.Height);
            System.Drawing.Imaging.BitmapData bmpData =
                bmp.LockBits(rect, System.Drawing.Imaging.ImageLockMode.ReadWrite,
                System.Drawing.Imaging.PixelFormat.Format32bppArgb);

            // Bitmapの先頭アドレスを取得
            IntPtr ptr = bmpData.Scan0;

            // 32bppArgbフォーマットで値を格納
            int bytes = bmp.Width * bmp.Height * 4;
            byte[] rgbValues = new byte[bytes];

            // Bitmapをbyte[]へコピー
            Marshal.Copy(ptr, rgbValues, 0, bytes);

            bmp.UnlockBits(bmpData);
            return rgbValues;
        }

        /// <summary>
        /// 画像ファイルを読み込んで3ランクのNumPy配列に変換
        /// </summary>
        /// <param name="filename">画像ファイルのパス</param>
        /// <returns>(H, W, 3)からなるuint8型のNumPy配列</returns>
        public static NDarray LoadImage(string filename)
        {
            NDarray imgArray;
            using (var img = new Bitmap(filename))
            {
                // 1次元ベクトル(B, G, R, A)が左上→右上、左下……と並ぶ
                imgArray = np.array(BitmapToByteArray(img), dtype: np.uint8);
                imgArray = imgArray.reshape(img.Height, img.Width, 4);
                imgArray = imgArray[":, :, :3"][":, :, ::- 1"]; // スライスは文字列で囲む
            }
            return imgArray;
        }

        static void Main(string[] args)
        {
            var imgArray = LoadImage("sample_22.png");
            Console.WriteLine(imgArray);
        }
    }
}

結果は次の通り。

[[[237  28  36]
  [ 34 177  76]]

 [[  0 162 232]
  [255 242   0]]]

これでやっと画像をNumpy配列としてC#で読み込むことができました。

Pythonだと一瞬の処理を、ライブラリが整備されていない環境で再現しようとすると思わぬ大変さがあります。「Pythonって楽でいいな」という有り難みを感じざるを得ませんね。

Shikoan's ML Blogの中の人が運営しているサークル「じゅ～しぃ～すくりぷと」の本のご案内