Embedding APIの決定性について
26{icon} {views} OpenAI等のEmbedding APIに潜む非決定性が、クラスタリング結果に及ぼす影響を各社モデルで比較検証しました。結果として一部のAPIは微小なベクトルのブレがクラスタ境界を大き […]...
【12モデル比較】OpenAI・Gemini・ローカルLLMをファインチューニングしてGitHubライセンス判定
51{icon} {views} ModernBERTでの敗北から一転、OpenAI・Gemini・OSS LoRAを含む計12モデルのファインチューニング性能をGitHubライセンス判定タスクで徹底検証しました。API […]...
論文まとめ:Competitive Programming with Large Reasoning Models
400{icon} {views} 大規模言語モデル(LLM)を強化学習によって訓練し、競争プログラミングにおける高度な推論とコーディング能力を高めたOpenAIによるLRMの研究。特にo3モデルは、人間によるドメイン特 […]...
GPT-4oのファインチューニングで画像に対する「ボケて」を学習
412{icon} {views} 画像とテキストの組み合わせで「ボケて」を学習させるため、GPT-4oをファインチューニングしてみた。じわじわくる系の面白さは学習できたものの、OpenAIのコンプライアンスが厳しく、多 […]...
OpenAIの新しいEmbeddingAPIをlivedoorニュースコーパスで試す
1.4k{icon} {views} OpenAIの新しいEmbedding APIを試してみました。Embedding APIをテキスト分類のバックボーンとして使用し、ロジスティック回帰を行います。Livedoorニュ […]...
論文まとめ:Weak to Strong Generalization: Eliciting Strong Capabilities with Weak SUPERVISION
539{icon} {views} タイトル:Weak to Strong Generalization: Eliciting Strong Capabilities with Weak SUPERVISION 著者:O […]...
OpenAI DevDayの発表まとめ(2023年11月)
432{icon} {views}2023/11/6(日本時間2022/11/7の3時から)に発表されたOpenAI DevDayの内容をまとめました 1次ソース OpenAI DevDay動画 https://www. […]...
論文まとめ:Improving Image Generation with Better Captions
2.1k{icon} {views} タイトル:Improving Image Generation with Better Captions 著者:James Betker、Gabriel Gohなど(OpenAIの人 […]...
MiniGPT-4をAutoGPTQ/BitsAndBytesで量子化時の生成文章の定量評価
549{icon} {views} LLMをデプロイする際に、LLM部分の量子化が必要になることが多いです。MiniGPT4のようなVLMに焦点をあて、AutoGPTQとBitsAndBytesという2つの量子化フレーム […]...
OpenAIのChatGPT APIの並列化を試す(LangChain)
2.3k{icon} {views} 大量のデータをChatGPTで推論したいときに、並列化したらどの程度速くなったのかを実験してみました。振れ幅はかなり大きいですが、かなり並列化の効果はありました。 はじめに Chat […]...