Python > LightGBM > LightGBM（GPU版）をWindowsにインストールするのにハマった話
   こしあん
2019-05-31

LightGBM（GPU版）をWindowsにインストールするのにハマった話

Posted On 2019-05-31
このエントリーをはてなブックマークに追加
Pocket
LINEで送る
Delicious にシェア

2.6k{icon} {views}

新刊情報

技術書典8の新刊『モザイク除去から学ぶ　最先端のディープラーニング』（A4・195ページ）好評通販中です！　機械学習の入門からGANの最先端までを書いたおすすめの本となっています！　Boothで試し読みできます。情報まとめ・質問用GitHub


LightGBMのGPU版のWindows10へのインストールが非常に面倒くさかったくさかったのでハマった点のメモを書いておきます。Boostライブラリの扱い方が大変でした。

環境

  • Windows 10
  • Visual Studio 2019インストール済み
  • CUDA 10.0インストール済み

ハマった点その1～Boostライブラリ～

公式のインストール手順からGPUあり版をインストールする。

pip install lightgbm --install-option=--gpu

しばらくするとこんなエラー画面が出てきてインストールに失敗する。

    INFO:LightGBM:Starting to compile the library.
    INFO:LightGBM:Starting to compile with Visual Studio 15 2017 Win64.
    INFO:LightGBM:Starting to compile with Visual Studio 14 2015 Win64.
    INFO:LightGBM:Starting to compile with Visual Studio 16 2019.
    Traceback (most recent call last):
      File "<string>", line 1, in <module>
      File "C:\Users\ユーザー名\AppData\Local\Temp\pip-install-atz7f78d\lightgbm\setup.py", line 338, in <module>
        'Topic :: Scientific/Engineering :: Artificial Intelligence'])
      File "c:\program files\python37\lib\site-packages\setuptools\__init__.py", line 145, in setup
        return distutils.core.setup(**attrs)
      File "c:\program files\python37\lib\distutils\core.py", line 148, in setup
        dist.run_commands()
      File "c:\program files\python37\lib\distutils\dist.py", line 966, in run_commands
        self.run_command(cmd)
      File "c:\program files\python37\lib\distutils\dist.py", line 985, in run_command
        cmd_obj.run()
      File "C:\Users\ユーザー名\AppData\Local\Temp\pip-install-atz7f78d\lightgbm\setup.py", line 261, in run
        openmp_include_dir=self.openmp_include_dir, openmp_library=self.openmp_library)
      File "C:\Users\ユーザー名\AppData\Local\Temp\pip-install-atz7f78d\lightgbm\setup.py", line 163, in compile_cpp
        LOG_NOTICE)))
    Exception: Please install Visual Studio or MS Build and all required dependencies first
    The full version of error log was saved into C:\Users\ユーザー名\LightGBM_compilation.log

ここではVisualStudioやビルドツールがないようなエラーメッセージだが、本当の原因はBoostライブラリがインストールされていないこと。これは「The full version of error log was saved into 」の出てくろログファイルをよく読むと出てくる。Visual Studio自体は2019が認識されている。

Boostのインストール

以下の記事を参考に、Boostライブラリをインストールする。

https://qiita.com/Gaccho/items/7e78911d2c8093baf200

ただしこの記事は、Visual Studio2017かつ、Boost 1.68.0の情報なので、一部のパラメーターを書き換える必要がある。

MSVCのバージョン確認

上の記事では、

b2.exe toolset=msvc-14.1 link=static runtime-link=static,shared –build-dir=build/x86 address-model=32 -j5 install –includedir=C:\boost_1_68_0\include –libdir=C:\boost_1_68_0\stage\lib\x86

このように書かれているが、Visual Studio2019にインストールされているMSCVのバージョンは必ずしも14.1ではない。そのため、14.1と指定してビルドすると、ビルドに失敗してしまう。

MSVCのバージョンの確認方法は「Visual Studio Installer」を起動する。スタートメニューから検索すると出てくる。

Visual Studio Community 2019がインストールされている前提で、Visual Studio Installerから「変更」をクリックする。「個別のコンポーネント」から、

C++によるデスクトップ開発をインストールしていればMSVCはインストールされているが、実は14.1ではなく一個上の14.2がインストールされている。つまり、toolsetの引数に与えるパラメーターは14.1ではなく、14.2を与えなくてはいけない。（VSのバージョンが違えば別のバージョンになるかもしれれない）

書き換えたインストールコマンド

正しいコマンドは以下のようになる。上の記事にならって、Cドライブ直下に「C:/boost_1_70_0」というディレクトリにある場合である。

b2.exe toolset=msvc-14.2 link=static runtime-link=static,shared --build-dir=build/x86 address-model=32 -j5 install --includedir=C:\boost_1_70_0\include --libdir=C:\boost_1_70_0\stage\lib\x86
b2.exe toolset=msvc-14.2 link=static runtime-link=static,shared --build-dir=build/x64 address-model=64 -j5 install --includedir=C:\boost_1_70_0\include --libdir=C:\boost_1_70_0\stage\lib\x64

この2個のコマンドを管理者権限から実行したコマンドプロンプトで実行すればOKだ。ただし、Boostのバージョンが変わればディレクトリの名前を書き換える必要があるので注意すること。

ハマった点その2～Boostのパス参照～

Boostのビルドが終わればあとはpip installすればいいかと思ったらもう1ステップある。自分の環境では、

  • BOOST_ROOT
  • BOOST_LIBRARYDIR

がわからないというエラーが出た（コンソール上のエラーメッセージではなく、ログファイルに出力される）。

次のようにpip installを書き換える。

pip install lightgbm --install-option=--gpu --install-option="--boost-root=c:/boost_1_70_0" --install-option="--boost-librarydir=c:/boost_1_70_0/stage/lib/x64"

LIBRARYDIRの対象っぽいようなディレクトリはいろいろあるが、stage/libのディレクトリを与えるのが正解っぽい。ただし、ライブラリが64ビット用（x64）と32ビット用（x86）があるので注意すること。LightGBMで使用する場合は、ほぼ確実に64ビット用になるので、64ビット用を選択した。

これでうまく行った。

Collecting lightgbm
  Using cached https://files.pythonhosted.org/packages/c9/ce/3aff55e25e282383c19c5a5fb7387fd400e64b1a1036671aefa63ceeaaf4/lightgbm-2.2.3.tar.gz
Requirement already satisfied: numpy in c:\program files\python37\lib\site-packages (from lightgbm) (1.16.3)
Requirement already satisfied: scipy in c:\program files\python37\lib\site-packages (from lightgbm) (1.2.1)
Requirement already satisfied: scikit-learn in c:\program files\python37\lib\site-packages (from lightgbm) (0.20.3)
Skipping bdist_wheel for lightgbm, due to binaries being disabled for it.
Installing collected packages: lightgbm
  Running setup.py install for lightgbm ... done
Successfully installed lightgbm-2.2.3

インストールがうまく行ったかチェック

LightGBMのバージョンだけ確認してみよう。

>>> import lightgbm as lgb
>>> print(lgb.__version__)
2.2.3

どうもうまくいったっぽい。

新刊情報

技術書典8の新刊『モザイク除去から学ぶ　最先端のディープラーニング』好評通販中（A4・195ページ）です！　Boothで試し読みもできるのでよろしくね！

このエントリーをはてなブックマークに追加
Pocket
LINEで送る
Delicious にシェア

Tags:, ,

Add a Comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です