AWS Transit Gatewayでのマルチリージョン接続とRoute Analyzer活用
117{icon} {views} Transit Gatewayを用いた複数VPC・複数リージョン間の接続構成と、その設定手順を解説。Network ManagerのRoute Analyzerを併用することで、ルート […]...
AWS Network ManagerのReachability Analyzerを試す
60{icon} {views} AWSのReachability Analyzerを使うと、NATゲートウェイやネットワークACLなどの通信経路を自動解析して接続障害の原因を即座に突き止められる。プライベートNATの誤 […]...
ALBで送信IPアドレスベースのルーティングを試す
64{icon} {views} ALBのリスナールールでソースIPを指定し、WAFを使わずに簡易的なアクセス制限を行える。Terraformにより特定IP向けの固定レスポンスルールを設定し、EC2インスタンスから動作を […]...
LLMの推論システムの定式化(2):価格理論の推論速度の統合
114{icon} {views} LLM推論にかかるGPUインスタンス料金やトークン生成速度、サービス提供単価などを数式で統合し、黒字化の条件を理論的に示した。実験結果では、GPU以外のボトルネックの影響は小さく、高い […]...
AWS Network Firewallの導入とロギング
141{icon} {views} Network FirewallはAZ単位の設計とパブリックIPの有無に注意しつつ、ステートレス・ステートフル両方のルールとCloudWatch Logsへのログ出力による高い可視化が […]...
VPC間通信におけるPrivate Linkとクロスゾーン負荷分散の組み合わせ
127{icon} {views} クロスゾーン負荷分散が有効なNLBをVPCエンドポイントサービスと連携し、CIDR重複時でもインターネット経由せずに通信できる例をTerraformで構築します。プライベートホストゾー […]...
GPT4.5でSVG生成を試す
359{icon} {views} OpenAIがGPT-4.5をリリースし、画像入出力やSVG生成などのマルチモーダル機能が大幅に強化された。その一方でモデルの大規模化に伴い高額な利用料金がネックになっている。 解禁さ […]...
論文まとめ:Vision Grid Transformer for Document Layout Analysis+OSS紹介
139{icon} {views} Vision TransformerとGrid Transformerを組み合わせ、視覚・テキストの両面からマルチモーダル情報を効果的に活用する手法VGTを提案。多様な文書タイプと詳細 […]...
LLMの推論システムの定式化(1):GPU以外のボトルネック
269{icon} {views} LLM推論時にGPU以外が占める遅延要因(SQSのバッチ処理やログ書き込み等)を実験的に検証し、オーバーヘッドは入力トークン数に対してほぼ線形に近似できることを示した。トークナイザーの […]...
論文まとめ:Mélange: Cost Efficient Large Language Model Serving by Exploiting GPU Heterogeneity
56{icon} {views} タイトル:Mélange: Cost Efficient Large Language Model Serving by Exploiting GPU Heterogeneity 論文U […]...