論文まとめ:SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling
63{icon} {views} タイトル:SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling 著者 […]...
OpenAIの新しいEmbeddingAPIをlivedoorニュースコーパスで試す
701{icon} {views} OpenAIの新しいEmbedding APIを試してみました。Embedding APIをテキスト分類のバックボーンとして使用し、ロジスティック回帰を行います。Livedoorニュー […]...
日本語翻訳で比較するLLMと翻訳API
1.6k{icon} {views} 英語を日本語に翻訳するというタスクから、Amazon TranslateやDeepLのような翻訳APIと、GPTやClaudeのようなLLMを比較します。BLEUによる翻訳性能と、コ […]...
MiniGPT-4をAutoGPTQ/BitsAndBytesで量子化時の生成文章の定量評価
398{icon} {views} LLMをデプロイする際に、LLM部分の量子化が必要になることが多いです。MiniGPT4のようなVLMに焦点をあて、AutoGPTQとBitsAndBytesという2つの量子化フレーム […]...
論文まとめ:TinyStories: How Small Can Language Models Be and Still Speak Coherent English?
561{icon} {views} タイトル:TinyStories: How Small Can Language Models Be and Still Speak Coherent English? 著者:Rone […]...
論文まとめ:Sentence Simplification via Large Language Models
507{icon} {views} 論文:Sentence Simplification via Large Language Models 著者:Yutao Feng, Jipeng Qiang, Yun Li, Yu […]...
いろんなT5からSentence Embeddingをとって遊ぶ
4.8k{icon} {views} 自然言語処理モデルT5を使って文章単位の埋め込み量(Sentence Embedding)を取得することを考えます。T5のEmbeddingはトークン単位ですが、平均を取ることで、簡 […]...
論文まとめ:OCR-free Document Understanding Transformer
3.4k{icon} {views} タイトル:OCR-free Document Understanding Transformer 著者:Geewook Kim, Teakgyu Hong, Moonbin Yim, […]...
論文まとめ:Large Language Models are Zero-Shot Reasoners
6.7k{icon} {views} タイトル:Large Language Models are Zero-Shot Reasoners 著者:Takeshi Kojima, Shixiang Shane Gu, Ma […]...
論文まとめ:Extreme Compression for Pre-trained Transformers Made Simple and Efficient
641{icon} {views} タイトル:Extreme Compression for Pre-trained Transformers Made Simple and Efficient 著者:Xiaoxia W […]...