PyTorchでweight clipping
Posted On 2019-08-14
新刊情報
技術書典8の新刊『モザイク除去から学ぶ 最先端のディープラーニング』（A4・195ページ）好評通販中です！ 機械学習の入門からGANの最先端までを書いたおすすめの本となっています！ Boothで試し読みできます。
- Booth（物理、電子版、Booth）：https://koshian2.booth.pm/items/1835219
- とらのあな（物理版：お急ぎの場合はとらのあなをお使いください。Boothよりも物理本の到着が早いです（即日で発送されます）。電子版プレゼントキャンペーンもあります ：https://ec.toranoana.shop/tora/ec/item/040030818462/
- 情報まとめ・質問用：https://github.com/koshian2/MosaicDeeplearningBook
WGANの論文見てたらWeight Clippingしていたので、簡単な例を実装して実験してみました。かなり簡単にできます。それを見ていきましょう。
Weight Clippingとは
レイヤーの係数の値を一定範囲以内に収める手法。例えば、あるレイヤーが「-2, -1, 0, 1, 2」という5つの係数を持っていたとして、-1～1でWeight Clippingする場合、出力は「-1, -1, 0, 1, 1」になります。
WGANの論文では、このWeight ClippingがGANの損失関数のリプシッツ連続性を満たすために必要（ただし賢い方法ではない）、だと主張しています。
この記事はこちらのリポジトリをもとに実装しています。
Weight Clippingの実装
簡単なモデルを作ってみました。
import torch
from torch import nn
class SomeModel(nn.Module):
def __init__(self):
super().__init__()
self.weights = nn.Sequential(
nn.Linear(3, 10),
nn.BatchNorm1d(10),
nn.Sigmoid()
)
def forward(self, inputs):
return self.weights(inputs)
これでWeight Clipping前後で係数の値を比較します。
if __name__ == "__main__":
model = SomeModel()
print("Initial paramters")
for p in model.parameters():
print(p)
# Weight clippng
for p in model.parameters():
p.data.clamp_(-0.1, 0.1)
print("Weight clipped")
for p in model.parameters():
print(p)
「p.data.clamp_」でやっていることがWeight Clippingです。
結果
±0.1でクリップしてみました。
Initial paramters
Parameter containing:
tensor([[-0.0665, 0.3825, 0.4054],
[-0.3007, -0.4494, -0.4472],
[ 0.2556, -0.0655, 0.0282],
[ 0.1952, -0.2858, -0.5615],
[-0.5459, 0.5111, -0.0154],
[-0.3570, -0.3204, -0.5725],
[ 0.2857, -0.2683, -0.0341],
[-0.4374, -0.3827, 0.1591],
[-0.4890, 0.5398, 0.4199],
[-0.2990, -0.4984, 0.5026]], requires_grad=True)
Parameter containing:
tensor([ 0.3708, 0.5396, -0.0534, 0.3967, 0.2119, -0.2312, -0.4485, 0.2014,
0.5071, -0.1236], requires_grad=True)
Parameter containing:
tensor([0.3622, 0.8353, 0.6523, 0.5045, 0.7205, 0.0731, 0.2502, 0.2064, 0.7109,
0.4635], requires_grad=True)
Parameter containing:
tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], requires_grad=True)
Weight clipped
Parameter containing:
tensor([[-0.0665, 0.1000, 0.1000],
[-0.1000, -0.1000, -0.1000],
[ 0.1000, -0.0655, 0.0282],
[ 0.1000, -0.1000, -0.1000],
[-0.1000, 0.1000, -0.0154],
[-0.1000, -0.1000, -0.1000],
[ 0.1000, -0.1000, -0.0341],
[-0.1000, -0.1000, 0.1000],
[-0.1000, 0.1000, 0.1000],
[-0.1000, -0.1000, 0.1000]], requires_grad=True)
Parameter containing:
tensor([ 0.1000, 0.1000, -0.0534, 0.1000, 0.1000, -0.1000, -0.1000, 0.1000,
0.1000, -0.1000], requires_grad=True)
Parameter containing:
tensor([0.1000, 0.1000, 0.1000, 0.1000, 0.1000, 0.0731, 0.1000, 0.1000, 0.1000,
0.1000], requires_grad=True)
Parameter containing:
tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0.], requires_grad=True)
確かに±0.1の範囲外の値は頭打ちされているのがわかります。これで想定された実装になりました。
新刊情報
技術書典8の新刊『モザイク除去から学ぶ 最先端のディープラーニング』好評通販中（A4・195ページ）です！ Boothで試し読みもできるのでよろしくね！
【一般同人】「じゅ～しぃ～すくりぷと」の『モザイク除去から学ぶ 最先端のディープラーニング』が3Fにて好評販売中！今作は誰もが夢見る"モザイク除去"を起点として機械学習・ディープラーニングの知識をたっぷり学べる注目作品。初心者向けの話題からマニアックな情報まで網羅しております！！ pic.twitter.com/HX1wAXESod
— とらのあな 秋葉原店A (@tora_akiba_a) March 8, 2020
これが君の望んでいる、「ディープラーニング－ロマン－」
— こしあん@技術書典8 Day2 あ03 委託 (@js_koshian2) March 22, 2020
誰もが夢見る「モザイク除去」から機械学習を学ぼう。ご好評につき鋭意増刷中！
Booth：https://t.co/d2oXBf0kQ6
とら：https://t.co/5P0HJ7r8sL
試し読み：https://t.co/1z2XScVNsz#技術書典 pic.twitter.com/tttO6VnTXG
- Booth（物理、電子版、Booth）：https://koshian2.booth.pm/items/1835219
- とらのあな（物理版：お急ぎの場合はとらのあなをお使いください。Boothよりも物理本の到着が早いです（即日で発送されます）。電子版プレゼントキャンペーンもあります ：https://ec.toranoana.shop/tora/ec/item/040030818462/
- 情報まとめ・質問用：https://github.com/koshian2/MosaicDeeplearningBook