CLIPから見るAttentionの有用性

4.8k{icon} {views} Attentionはこれまでの研究から多く有用性は報告されていたのですが、ネットワークの内側で使われることが多く、わかりやすく差を体感できる例を自分は知りませんでした。今回はCLIP […]...

colorsysでライブラリ不要でRGB→HSV変換をする

2.1k{icon} {views} PythonでRGB値から色相、彩度、明度への変換は画像処理ライブラリを使わないで行うことができます。ビルトインのcolorsysというモジュールを使います。 きっかけ コード書くの […]...

いろんなT5からSentence Embeddingをとって遊ぶ

4.2k{icon} {views} 自然言語処理モデルT5を使って文章単位の埋め込み量(Sentence Embedding)を取得することを考えます。T5のEmbeddingはトークン単位ですが、平均を取ることで、簡 […]...