Embedding APIの決定性について
34{icon} {views} OpenAI等のEmbedding APIに潜む非決定性が、クラスタリング結果に及ぼす影響を各社モデルで比較検証しました。結果として一部のAPIは微小なベクトルのブレがクラスタ境界を大き […]...
EC2のUbuntuのAMIをパラメーターストアから取得する
318{icon} {views} UbuntuのAMI IDはSSMパラメーターストアのcanonical配下から取得可能だが、EKSやPro/最小構成などが混在し約1万件と膨大なため絞り込みに工夫が必要。Ubuntu […]...
VPCのトラフィックミラーリングを試す
355{icon} {views} ALB経由のWebサーバー通信をVPCのトラフィックミラーリング機能で複製し、別EC2でパケットをキャプチャする手順をTerraformで組み上げる方法を紹介。フィルターやセッション設 […]...
AWS Transit Gatewayでのマルチリージョン接続とRoute Analyzer活用
356{icon} {views} Transit Gatewayを用いた複数VPC・複数リージョン間の接続構成と、その設定手順を解説。Network ManagerのRoute Analyzerを併用することで、ルート […]...
ALBで送信IPアドレスベースのルーティングを試す
151{icon} {views} ALBのリスナールールでソースIPを指定し、WAFを使わずに簡易的なアクセス制限を行える。Terraformにより特定IP向けの固定レスポンスルールを設定し、EC2インスタンスから動作 […]...
LLMの推論システムの定式化(2):価格理論の推論速度の統合
228{icon} {views} LLM推論にかかるGPUインスタンス料金やトークン生成速度、サービス提供単価などを数式で統合し、黒字化の条件を理論的に示した。実験結果では、GPU以外のボトルネックの影響は小さく、高い […]...
LLMの推論システムの定式化(1):GPU以外のボトルネック
423{icon} {views} LLM推論時にGPU以外が占める遅延要因(SQSのバッチ処理やログ書き込み等)を実験的に検証し、オーバーヘッドは入力トークン数に対してほぼ線形に近似できることを示した。トークナイザーの […]...
Auto Scaling Groupの「Stoppedウォームプール」を試す
150{icon} {views} Auto Scaling GroupのStopped状態のウォームプールを利用することで、初回セットアップを終えたインスタンスを停止したまま待機させ、必要時に素早く起動できる。Acti […]...
ElastiCache RedisでEC2からPub/Subを試す(Redis OSS)
469{icon} {views} EC2からTerraformで構築したRedisにPub/Subを行い、ミリ秒レベルの遅延を検証した。ValkeyではなくOSS版Redisを用いつつ、コードサンプルを通じてシンプルか […]...
CloudFormationのメタデータでEC2ユーザーデータの制限を回避する
270{icon} {views} CloudFormationのMetadata機能を使い、EC2にYAML形式で構成を適用することでユーザーデータの16KB制限を回避できる。Terraformと組み合わせてPyTor […]...