LightGBM（GPU版）をWindowsにインストールするのにハマった話

Posted On 2019-05-31

Pocket

3.4k{icon} {views}

LightGBMのGPU版のWindows10へのインストールが非常に面倒くさかったくさかったのでハマった点のメモを書いておきます。Boostライブラリの扱い方が大変でした。

環境

Windows 10
Visual Studio 2019インストール済み
CUDA 10.0インストール済み

ハマった点その1～Boostライブラリ～

公式のインストール手順からGPUあり版をインストールする。

pip install lightgbm --install-option=--gpu

しばらくするとこんなエラー画面が出てきてインストールに失敗する。

    INFO:LightGBM:Starting to compile the library.
    INFO:LightGBM:Starting to compile with Visual Studio 15 2017 Win64.
    INFO:LightGBM:Starting to compile with Visual Studio 14 2015 Win64.
    INFO:LightGBM:Starting to compile with Visual Studio 16 2019.
    Traceback (most recent call last):
      File "<string>", line 1, in <module>
      File "C:\Users\ユーザー名\AppData\Local\Temp\pip-install-atz7f78d\lightgbm\setup.py", line 338, in <module>
        'Topic :: Scientific/Engineering :: Artificial Intelligence'])
      File "c:\program files\python37\lib\site-packages\setuptools\__init__.py", line 145, in setup
        return distutils.core.setup(**attrs)
      File "c:\program files\python37\lib\distutils\core.py", line 148, in setup
        dist.run_commands()
      File "c:\program files\python37\lib\distutils\dist.py", line 966, in run_commands
        self.run_command(cmd)
      File "c:\program files\python37\lib\distutils\dist.py", line 985, in run_command
        cmd_obj.run()
      File "C:\Users\ユーザー名\AppData\Local\Temp\pip-install-atz7f78d\lightgbm\setup.py", line 261, in run
        openmp_include_dir=self.openmp_include_dir, openmp_library=self.openmp_library)
      File "C:\Users\ユーザー名\AppData\Local\Temp\pip-install-atz7f78d\lightgbm\setup.py", line 163, in compile_cpp
        LOG_NOTICE)))
    Exception: Please install Visual Studio or MS Build and all required dependencies first
    The full version of error log was saved into C:\Users\ユーザー名\LightGBM_compilation.log

ここではVisualStudioやビルドツールがないようなエラーメッセージだが、本当の原因はBoostライブラリがインストールされていないこと。これは「The full version of error log was saved into 」の出てくろログファイルをよく読むと出てくる。Visual Studio自体は2019が認識されている。

Boostのインストール

以下の記事を参考に、Boostライブラリをインストールする。

https://qiita.com/Gaccho/items/7e78911d2c8093baf200

ただしこの記事は、Visual Studio2017かつ、Boost 1.68.0の情報なので、一部のパラメーターを書き換える必要がある。

MSVCのバージョン確認

上の記事では、

b2.exe toolset=msvc-14.1 link=static runtime-link=static,shared –build-dir=build/x86 address-model=32 -j5 install –includedir=C:\boost_1_68_0\include –libdir=C:\boost_1_68_0\stage\lib\x86

このように書かれているが、Visual Studio2019にインストールされているMSCVのバージョンは必ずしも14.1ではない。そのため、14.1と指定してビルドすると、ビルドに失敗してしまう。

MSVCのバージョンの確認方法は「Visual Studio Installer」を起動する。スタートメニューから検索すると出てくる。

Visual Studio Community 2019がインストールされている前提で、Visual Studio Installerから「変更」をクリックする。「個別のコンポーネント」から、

C++によるデスクトップ開発をインストールしていればMSVCはインストールされているが、実は14.1ではなく一個上の14.2がインストールされている。つまり、toolsetの引数に与えるパラメーターは14.1ではなく、14.2を与えなくてはいけない。（VSのバージョンが違えば別のバージョンになるかもしれれない）

書き換えたインストールコマンド

正しいコマンドは以下のようになる。上の記事にならって、Cドライブ直下に「C:/boost_1_70_0」というディレクトリにある場合である。

b2.exe toolset=msvc-14.2 link=static runtime-link=static,shared --build-dir=build/x86 address-model=32 -j5 install --includedir=C:\boost_1_70_0\include --libdir=C:\boost_1_70_0\stage\lib\x86
b2.exe toolset=msvc-14.2 link=static runtime-link=static,shared --build-dir=build/x64 address-model=64 -j5 install --includedir=C:\boost_1_70_0\include --libdir=C:\boost_1_70_0\stage\lib\x64

この2個のコマンドを管理者権限から実行したコマンドプロンプトで実行すればOKだ。ただし、Boostのバージョンが変わればディレクトリの名前を書き換える必要があるので注意すること。

ハマった点その2～Boostのパス参照～

Boostのビルドが終わればあとはpip installすればいいかと思ったらもう1ステップある。自分の環境では、

BOOST_ROOT
BOOST_LIBRARYDIR

がわからないというエラーが出た（コンソール上のエラーメッセージではなく、ログファイルに出力される）。

次のようにpip installを書き換える。

pip install lightgbm --install-option=--gpu --install-option="--boost-root=c:/boost_1_70_0" --install-option="--boost-librarydir=c:/boost_1_70_0/stage/lib/x64"

LIBRARYDIRの対象っぽいようなディレクトリはいろいろあるが、stage/libのディレクトリを与えるのが正解っぽい。ただし、ライブラリが64ビット用（x64）と32ビット用（x86）があるので注意すること。LightGBMで使用する場合は、ほぼ確実に64ビット用になるので、64ビット用を選択した。

これでうまく行った。

Collecting lightgbm
  Using cached https://files.pythonhosted.org/packages/c9/ce/3aff55e25e282383c19c5a5fb7387fd400e64b1a1036671aefa63ceeaaf4/lightgbm-2.2.3.tar.gz
Requirement already satisfied: numpy in c:\program files\python37\lib\site-packages (from lightgbm) (1.16.3)
Requirement already satisfied: scipy in c:\program files\python37\lib\site-packages (from lightgbm) (1.2.1)
Requirement already satisfied: scikit-learn in c:\program files\python37\lib\site-packages (from lightgbm) (0.20.3)
Skipping bdist_wheel for lightgbm, due to binaries being disabled for it.
Installing collected packages: lightgbm
  Running setup.py install for lightgbm ... done
Successfully installed lightgbm-2.2.3

インストールがうまく行ったかチェック

LightGBMのバージョンだけ確認してみよう。

>>> import lightgbm as lgb
>>> print(lgb.__version__)
2.2.3

どうもうまくいったっぽい。

Shikoan's ML Blogの中の人が運営しているサークル「じゅ～しぃ～すくりぷと」の本のご案内

技術書コーナー

北海道の駅巡りコーナー