C#で画像をNumpy配列に変換する方法
C#でPythonのNumpy配列を使えるライブラリがありますが、C#で画像をNumpy配列化するときに少し大変だったのでメモとして書いておきます。
目次
環境構築
Visual Studio 2019、.NET Core 2.1のコンソールアプリケーションを想定します。
NuGetから、「Numpy」をインストールしておきます。他にもNumSharpというライブラリがありますが、今回はNumpyを使います。
https://github.com/SciSharp/Numpy.NET
64ビットでビルドするようにします。「ビルド」→「構成マネージャー」から、「アクティブ ソリューション プラットフォーム」で「x64」を指定します。プラットフォームが変わることで、カレントディレクトリが変わるので注意が必要です。
基本的なNumpyの使い方
まずはNumpyライブラリの使い方から見ていきましょう。ほとんどPython版と同じです。
行列の作成
例えば3×3の連番の行列を作るのなら、
using System;
using Numpy;
namespace NumPyNet
{
class Program
{
static void Main(string[] args)
{
var x = np.arange(9).reshape(3, 3);
Console.WriteLine(x);
}
}
}
[[0 1 2]
[3 4 5]
[6 7 8]]
スライスだけ注意
「x[2:3]」のようなスライスはC#だと定義できないので、文字列キャストします。ただし、一部対応していないスライスもあるので、Numpy関数で置き換える必要があります。
using System;
using Numpy;
namespace NumPyNet
{
class Program
{
static void Main(string[] args)
{
var x = np.arange(9);
// :は文字列で囲む必要がある
Console.WriteLine(x["2:5"]);
// 一部対応していないスライスがある
// var y = x["None, :"] * x[":, None"];
var y = np.expand_dims(x, 0) * np.expand_dims(x, 1);
Console.WriteLine(y);
}
}
}
[2 3 4]
[[ 0 0 0 0 0 0 0 0 0]
[ 0 1 2 3 4 5 6 7 8]
[ 0 2 4 6 8 10 12 14 16]
[ 0 3 6 9 12 15 18 21 24]
[ 0 4 8 12 16 20 24 28 32]
[ 0 5 10 15 20 25 30 35 40]
[ 0 6 12 18 24 30 36 42 48]
[ 0 7 14 21 28 35 42 49 56]
[ 0 8 16 24 32 40 48 56 64]]
画像のByte配列化
Pythonでは一瞬のことでも
この記事の目標は、カラー画像ファイルを$(H, W, 3)$というshapeのNumpy配列へ変換することです。Pythonだとこんなの一瞬で、
from PIL import Image
import numpy as np
with Image.open("imagefile.jpg") as img:
x = np.array(img)
または、
import cv2
x = cv2.imread("imagefile.jpg")[:,:,::-1] # BGR -> RGB
でOKです。これをC#で実装するだけでも結構面倒なのです。
Byte配列にする
まずは、画像をByte配列にします。これをuint8の(C#のByteとNumPyのuint8は同じ)np.arrayして加工していく方針です。
https://gist.github.com/ksasao/f841b85d7521f49306fb
こちらのコードを活用させていただきます。
バイト配列の構造を知る
2×2の簡単な画像
まずは2×2の簡単な画像を用意して、できたByte配列がどのような構造になっているか確認します。
https://blog.shikoan.com/wp-content/uploads/2020/12/sample_22.png
2×2の小さな画像です。見えないので引き伸ばして可視化します。
それぞれのカラーコードがByte配列でどう対応しているかを確認します。
Byte配列との対応
using System;
using System.Drawing;
using System.Runtime.InteropServices;
using Numpy;
namespace NumPyNet
{
class Program
{
/// <summary>
/// Bitmapをbyte[]に変換する
/// </summary>
/// <param name="bitmap">変換元の32bitARGB Bitmap</param>
/// <returns>1 pixel = 4 byte (+3:A, +2:R, +1:G, +0:B) に変換したbyte配列</returns>
public static byte[] BitmapToByteArray(Bitmap bmp)
{
Rectangle rect = new Rectangle(0, 0, bmp.Width, bmp.Height);
System.Drawing.Imaging.BitmapData bmpData =
bmp.LockBits(rect, System.Drawing.Imaging.ImageLockMode.ReadWrite,
System.Drawing.Imaging.PixelFormat.Format32bppArgb);
// Bitmapの先頭アドレスを取得
IntPtr ptr = bmpData.Scan0;
// 32bppArgbフォーマットで値を格納
int bytes = bmp.Width * bmp.Height * 4;
byte[] rgbValues = new byte[bytes];
// Bitmapをbyte[]へコピー
Marshal.Copy(ptr, rgbValues, 0, bytes);
bmp.UnlockBits(bmpData);
return rgbValues;
}
static void Main(string[] args)
{
using(var img = new Bitmap("sample_22.png"))
{
var byteArray = np.array(BitmapToByteArray(img), dtype:np.uint8);
Console.WriteLine(byteArray);
}
}
}
}
結果は次のようになります。
[ 36 28 237 255 76 177 34 255 232 162 0 255 0 242 255 255]
これを解釈していくと次のようになります。透明要素はないのでAは必ず255です。
[ 36 28 237 255 ← 左上のB, G, R, A
76 177 34 255 ← 右上のB, G, R, A
232 162 0 255 ← 左下のB, G, R, A
0 242 255 255] ← 右下のB, G, R, A
まとめると、
- 左上から横方向に、下に向かってピクセルが4バイトで格納されている。
- RGBは反転してB, G, Rで格納されている。それにAが合わさって1ピクセルとなっている。
これをRGBの3チャンネルの配列にするのは、Numpy関数を使えばそこまで難しくありません。
画像をNumPy配列化する
これをLoadImageという関数にまとめると次のようになります。
using System;
using System.Drawing;
using System.Runtime.InteropServices;
using Numpy;
namespace NumPyNet
{
class Program
{
/// <summary>
/// Bitmapをbyte[]に変換する
/// </summary>
/// <param name="bitmap">変換元の32bitARGB Bitmap</param>
/// <returns>1 pixel = 4 byte (+3:A, +2:R, +1:G, +0:B) に変換したbyte配列</returns>
public static byte[] BitmapToByteArray(Bitmap bmp)
{
Rectangle rect = new Rectangle(0, 0, bmp.Width, bmp.Height);
System.Drawing.Imaging.BitmapData bmpData =
bmp.LockBits(rect, System.Drawing.Imaging.ImageLockMode.ReadWrite,
System.Drawing.Imaging.PixelFormat.Format32bppArgb);
// Bitmapの先頭アドレスを取得
IntPtr ptr = bmpData.Scan0;
// 32bppArgbフォーマットで値を格納
int bytes = bmp.Width * bmp.Height * 4;
byte[] rgbValues = new byte[bytes];
// Bitmapをbyte[]へコピー
Marshal.Copy(ptr, rgbValues, 0, bytes);
bmp.UnlockBits(bmpData);
return rgbValues;
}
/// <summary>
/// 画像ファイルを読み込んで3ランクのNumPy配列に変換
/// </summary>
/// <param name="filename">画像ファイルのパス</param>
/// <returns>(H, W, 3)からなるuint8型のNumPy配列</returns>
public static NDarray LoadImage(string filename)
{
NDarray imgArray;
using (var img = new Bitmap(filename))
{
// 1次元ベクトル(B, G, R, A)が左上→右上、左下……と並ぶ
imgArray = np.array(BitmapToByteArray(img), dtype: np.uint8);
imgArray = imgArray.reshape(img.Height, img.Width, 4);
imgArray = imgArray[":, :, :3"][":, :, ::- 1"]; // スライスは文字列で囲む
}
return imgArray;
}
static void Main(string[] args)
{
var imgArray = LoadImage("sample_22.png");
Console.WriteLine(imgArray);
}
}
}
結果は次の通り。
[[[237 28 36]
[ 34 177 76]]
[[ 0 162 232]
[255 242 0]]]
これでやっと画像をNumpy配列としてC#で読み込むことができました。
Pythonだと一瞬の処理を、ライブラリが整備されていない環境で再現しようとすると思わぬ大変さがあります。「Pythonって楽でいいな」という有り難みを感じざるを得ませんね。
Shikoan's ML Blogの中の人が運営しているサークル「じゅ~しぃ~すくりぷと」の本のご案内
技術書コーナー
「本当の実装力を身につける」ための221本ノック――
機械学習(ML)で避けて通れない数値計算ライブラリ・NumPyを、自在に活用できるようになろう。「できる」ための体系的な理解を目指します。基礎から丁寧に解説し、ディープラーニング(DL)の難しいモデルで遭遇する、NumPyの黒魔術もカバー。初心者から経験者・上級者まで楽しめる一冊です。問題を解き終わったとき、MLやDLなどの発展分野にスムーズに入っていけるでしょう。
本書の大きな特徴として、Pythonの本でありがちな「NumPyとML・DLの結合を外した」点があります。NumPyを理解するのに、MLまで理解するのは負担が大きいです。本書ではあえてこれらの内容を書いていません。行列やテンソルの理解に役立つ「従来の画像処理」をNumPyベースで深く解説・実装していきます。
しかし、問題の多くは、DLの実装で頻出の関数・処理を重点的に取り上げています。経験者なら思わず「あー」となるでしょう。関数丸暗記では自分で実装できません。「覚える関数は最小限、できる内容は無限大」の世界をぜひ体験してみてください。画像編集ソフトの処理をNumPyベースで実装する楽しさがわかるでしょう。※紙の本は電子版の特典つき
- まとめURL:https://github.com/koshian2/numpy_book
- みんなの感想:https://togetter.com/li/1641475
- A4 全176ページモノクロ / 2020年12月発行
「誰もが夢見るモザイク除去」を起点として、機械学習・ディープラーニングの基本をはじめ、GAN(敵対的生成ネットワーク)の基本や発展型、ICCV, CVPR, ECCVといった国際学会の最新論文をカバーしていく本です。
ディープラーニングの研究は発展が目覚ましく、特にGANの発展型は市販の本でほとんどカバーされていない内容です。英語の原著論文を著者がコードに落とし込み、実装を踏まえながら丁寧に解説していきます。
また、本コードは全てTensorFlow2.0(Keras)に対応し、Googleの開発した新しい機械学習向け計算デバイス・TPU(Tensor Processing Unit)をフル活用しています。Google Colaboratoryを用いた環境構築不要の演習問題もあるため、読者自ら手を動かしながら理解を深めていくことができます。
AI、機械学習、ディープラーニングの最新事情、奥深いGANの世界を知りたい方にとってぜひ手にとっていただきたい一冊となっています。持ち運びに便利な電子書籍のDLコードが付属しています。
「おもしろ同人誌バザールオンライン」で紹介されました!(14:03~) https://youtu.be/gaXkTj7T79Y?t=843
まとめURL:https://github.com/koshian2/MosaicDeeplearningBook
A4 全195ページ、カラー12ページ / 2020年3月発行
累計100万PV超の人気ブログが待望の電子化! このブログが電子書籍になって読みやすくなりました!
・1章完結のオムニバス形式
・機械学習の基本からマニアックなネタまで
・どこから読んでもOK
・何巻から読んでもOK
・短いものは2ページ、長いものは20ページ超のものも…
・通勤・通学の短い時間でもすぐ読める!
・読むのに便利な「しおり」機能つき
・全巻はA5サイズでたっぷりの「200ページオーバー」
・1冊にたっぷり30本収録。1本あたり18.3円の圧倒的コストパフォーマンス!
・文庫本感覚でお楽しみください
北海道の駅巡りコーナー
ローカル線や秘境駅、マニアックな駅に興味のある方におすすめ! 2021年に大半区間が廃線になる、北海道の日高本線の全区間・全29駅(苫小牧~様似)を記録した本です。マイカーを使わずに、公共交通機関(バス)と徒歩のみで全駅訪問を行いました。日高本線が延伸する計画のあった、襟裳岬まで様似から足を伸ばしています。代行バスと路線バスの織り成す極限の時刻表ゲームと、絶海の太平洋と馬に囲まれた日高路、日高の隠れたグルメを是非たっぷり堪能してください。A4・フルカラー・192ページのたっぷりのボリュームで、あなたも旅行気分を漫喫できること待ったなし!
見どころ:日高本線被災区間(大狩部、慶能舞川橋梁、清畠~豊郷) / 牧場に囲まれた絵笛駅 / 窓口のあっただるま駅・荻伏駅 / 汐見の戦争遺跡のトーチカ / 新冠温泉、三石温泉 / 襟裳岬
A4 全192ページフルカラー / 2020年11月発行