LightGBM(GPU版)をWindowsにインストールするのにハマった話
LightGBMのGPU版のWindows10へのインストールが非常に面倒くさかったくさかったのでハマった点のメモを書いておきます。Boostライブラリの扱い方が大変でした。
環境
- Windows 10
- Visual Studio 2019インストール済み
- CUDA 10.0インストール済み
ハマった点その1~Boostライブラリ~
公式のインストール手順からGPUあり版をインストールする。
pip install lightgbm --install-option=--gpu
しばらくするとこんなエラー画面が出てきてインストールに失敗する。
INFO:LightGBM:Starting to compile the library.
INFO:LightGBM:Starting to compile with Visual Studio 15 2017 Win64.
INFO:LightGBM:Starting to compile with Visual Studio 14 2015 Win64.
INFO:LightGBM:Starting to compile with Visual Studio 16 2019.
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "C:\Users\ユーザー名\AppData\Local\Temp\pip-install-atz7f78d\lightgbm\setup.py", line 338, in <module>
'Topic :: Scientific/Engineering :: Artificial Intelligence'])
File "c:\program files\python37\lib\site-packages\setuptools\__init__.py", line 145, in setup
return distutils.core.setup(**attrs)
File "c:\program files\python37\lib\distutils\core.py", line 148, in setup
dist.run_commands()
File "c:\program files\python37\lib\distutils\dist.py", line 966, in run_commands
self.run_command(cmd)
File "c:\program files\python37\lib\distutils\dist.py", line 985, in run_command
cmd_obj.run()
File "C:\Users\ユーザー名\AppData\Local\Temp\pip-install-atz7f78d\lightgbm\setup.py", line 261, in run
openmp_include_dir=self.openmp_include_dir, openmp_library=self.openmp_library)
File "C:\Users\ユーザー名\AppData\Local\Temp\pip-install-atz7f78d\lightgbm\setup.py", line 163, in compile_cpp
LOG_NOTICE)))
Exception: Please install Visual Studio or MS Build and all required dependencies first
The full version of error log was saved into C:\Users\ユーザー名\LightGBM_compilation.log
ここではVisualStudioやビルドツールがないようなエラーメッセージだが、本当の原因はBoostライブラリがインストールされていないこと。これは「The full version of error log was saved into 」の出てくろログファイルをよく読むと出てくる。Visual Studio自体は2019が認識されている。
Boostのインストール
以下の記事を参考に、Boostライブラリをインストールする。
https://qiita.com/Gaccho/items/7e78911d2c8093baf200
ただしこの記事は、Visual Studio2017かつ、Boost 1.68.0の情報なので、一部のパラメーターを書き換える必要がある。
MSVCのバージョン確認
上の記事では、
b2.exe toolset=msvc-14.1 link=static runtime-link=static,shared –build-dir=build/x86 address-model=32 -j5 install –includedir=C:\boost_1_68_0\include –libdir=C:\boost_1_68_0\stage\lib\x86
このように書かれているが、Visual Studio2019にインストールされているMSCVのバージョンは必ずしも14.1ではない。そのため、14.1と指定してビルドすると、ビルドに失敗してしまう。
MSVCのバージョンの確認方法は「Visual Studio Installer」を起動する。スタートメニューから検索すると出てくる。
Visual Studio Community 2019がインストールされている前提で、Visual Studio Installerから「変更」をクリックする。「個別のコンポーネント」から、
C++によるデスクトップ開発をインストールしていればMSVCはインストールされているが、実は14.1ではなく一個上の14.2がインストールされている。つまり、toolsetの引数に与えるパラメーターは14.1ではなく、14.2を与えなくてはいけない。(VSのバージョンが違えば別のバージョンになるかもしれれない)
書き換えたインストールコマンド
正しいコマンドは以下のようになる。上の記事にならって、Cドライブ直下に「C:/boost_1_70_0」というディレクトリにある場合である。
b2.exe toolset=msvc-14.2 link=static runtime-link=static,shared --build-dir=build/x86 address-model=32 -j5 install --includedir=C:\boost_1_70_0\include --libdir=C:\boost_1_70_0\stage\lib\x86
b2.exe toolset=msvc-14.2 link=static runtime-link=static,shared --build-dir=build/x64 address-model=64 -j5 install --includedir=C:\boost_1_70_0\include --libdir=C:\boost_1_70_0\stage\lib\x64
この2個のコマンドを管理者権限から実行したコマンドプロンプトで実行すればOKだ。ただし、Boostのバージョンが変わればディレクトリの名前を書き換える必要があるので注意すること。
ハマった点その2~Boostのパス参照~
Boostのビルドが終わればあとはpip installすればいいかと思ったらもう1ステップある。自分の環境では、
- BOOST_ROOT
- BOOST_LIBRARYDIR
がわからないというエラーが出た(コンソール上のエラーメッセージではなく、ログファイルに出力される)。
次のようにpip installを書き換える。
pip install lightgbm --install-option=--gpu --install-option="--boost-root=c:/boost_1_70_0" --install-option="--boost-librarydir=c:/boost_1_70_0/stage/lib/x64"
LIBRARYDIRの対象っぽいようなディレクトリはいろいろあるが、stage/libのディレクトリを与えるのが正解っぽい。ただし、ライブラリが64ビット用(x64)と32ビット用(x86)があるので注意すること。LightGBMで使用する場合は、ほぼ確実に64ビット用になるので、64ビット用を選択した。
これでうまく行った。
Collecting lightgbm
Using cached https://files.pythonhosted.org/packages/c9/ce/3aff55e25e282383c19c5a5fb7387fd400e64b1a1036671aefa63ceeaaf4/lightgbm-2.2.3.tar.gz
Requirement already satisfied: numpy in c:\program files\python37\lib\site-packages (from lightgbm) (1.16.3)
Requirement already satisfied: scipy in c:\program files\python37\lib\site-packages (from lightgbm) (1.2.1)
Requirement already satisfied: scikit-learn in c:\program files\python37\lib\site-packages (from lightgbm) (0.20.3)
Skipping bdist_wheel for lightgbm, due to binaries being disabled for it.
Installing collected packages: lightgbm
Running setup.py install for lightgbm ... done
Successfully installed lightgbm-2.2.3
インストールがうまく行ったかチェック
LightGBMのバージョンだけ確認してみよう。
>>> import lightgbm as lgb
>>> print(lgb.__version__)
2.2.3
どうもうまくいったっぽい。
Shikoan's ML Blogの中の人が運営しているサークル「じゅ~しぃ~すくりぷと」の本のご案内
技術書コーナー
「本当の実装力を身につける」ための221本ノック――
機械学習(ML)で避けて通れない数値計算ライブラリ・NumPyを、自在に活用できるようになろう。「できる」ための体系的な理解を目指します。基礎から丁寧に解説し、ディープラーニング(DL)の難しいモデルで遭遇する、NumPyの黒魔術もカバー。初心者から経験者・上級者まで楽しめる一冊です。問題を解き終わったとき、MLやDLなどの発展分野にスムーズに入っていけるでしょう。
本書の大きな特徴として、Pythonの本でありがちな「NumPyとML・DLの結合を外した」点があります。NumPyを理解するのに、MLまで理解するのは負担が大きいです。本書ではあえてこれらの内容を書いていません。行列やテンソルの理解に役立つ「従来の画像処理」をNumPyベースで深く解説・実装していきます。
しかし、問題の多くは、DLの実装で頻出の関数・処理を重点的に取り上げています。経験者なら思わず「あー」となるでしょう。関数丸暗記では自分で実装できません。「覚える関数は最小限、できる内容は無限大」の世界をぜひ体験してみてください。画像編集ソフトの処理をNumPyベースで実装する楽しさがわかるでしょう。※紙の本は電子版の特典つき
- まとめURL:https://github.com/koshian2/numpy_book
- みんなの感想:https://togetter.com/li/1641475
- A4 全176ページモノクロ / 2020年12月発行
「誰もが夢見るモザイク除去」を起点として、機械学習・ディープラーニングの基本をはじめ、GAN(敵対的生成ネットワーク)の基本や発展型、ICCV, CVPR, ECCVといった国際学会の最新論文をカバーしていく本です。
ディープラーニングの研究は発展が目覚ましく、特にGANの発展型は市販の本でほとんどカバーされていない内容です。英語の原著論文を著者がコードに落とし込み、実装を踏まえながら丁寧に解説していきます。
また、本コードは全てTensorFlow2.0(Keras)に対応し、Googleの開発した新しい機械学習向け計算デバイス・TPU(Tensor Processing Unit)をフル活用しています。Google Colaboratoryを用いた環境構築不要の演習問題もあるため、読者自ら手を動かしながら理解を深めていくことができます。
AI、機械学習、ディープラーニングの最新事情、奥深いGANの世界を知りたい方にとってぜひ手にとっていただきたい一冊となっています。持ち運びに便利な電子書籍のDLコードが付属しています。
「おもしろ同人誌バザールオンライン」で紹介されました!(14:03~) https://youtu.be/gaXkTj7T79Y?t=843
まとめURL:https://github.com/koshian2/MosaicDeeplearningBook
A4 全195ページ、カラー12ページ / 2020年3月発行
累計100万PV超の人気ブログが待望の電子化! このブログが電子書籍になって読みやすくなりました!
・1章完結のオムニバス形式
・機械学習の基本からマニアックなネタまで
・どこから読んでもOK
・何巻から読んでもOK
・短いものは2ページ、長いものは20ページ超のものも…
・通勤・通学の短い時間でもすぐ読める!
・読むのに便利な「しおり」機能つき
・全巻はA5サイズでたっぷりの「200ページオーバー」
・1冊にたっぷり30本収録。1本あたり18.3円の圧倒的コストパフォーマンス!
・文庫本感覚でお楽しみください
北海道の駅巡りコーナー
ローカル線や秘境駅、マニアックな駅に興味のある方におすすめ! 2021年に大半区間が廃線になる、北海道の日高本線の全区間・全29駅(苫小牧~様似)を記録した本です。マイカーを使わずに、公共交通機関(バス)と徒歩のみで全駅訪問を行いました。日高本線が延伸する計画のあった、襟裳岬まで様似から足を伸ばしています。代行バスと路線バスの織り成す極限の時刻表ゲームと、絶海の太平洋と馬に囲まれた日高路、日高の隠れたグルメを是非たっぷり堪能してください。A4・フルカラー・192ページのたっぷりのボリュームで、あなたも旅行気分を漫喫できること待ったなし!
見どころ:日高本線被災区間(大狩部、慶能舞川橋梁、清畠~豊郷) / 牧場に囲まれた絵笛駅 / 窓口のあっただるま駅・荻伏駅 / 汐見の戦争遺跡のトーチカ / 新冠温泉、三石温泉 / 襟裳岬
A4 全192ページフルカラー / 2020年11月発行