LLMの推論システムの定式化(1):GPU以外のボトルネック
167{icon} {views} LLM推論時にGPU以外が占める遅延要因(SQSのバッチ処理やログ書き込み等)を実験的に検証し、オーバーヘッドは入力トークン数に対してほぼ線形に近似できることを示した。トークナイザーの […]...
IAMロールのタグとLeadingKeysを用いたDynamoDBへのABAC実装
77{icon} {views} IAMロールに付与したタグとDynamoDBのパーティションキーをConditionで照合し、特定ロールのみアイテムの書き込みを許可する設定をTerraformで実装しています。タグによ […]...
DynamoDBの消費したキャパシティユニットを取得する
77{icon} {views} DynamoDBにアイテムをPutItemする際、レスポンスのConsumedCapacityやCloudWatch Metricsから消費キャパシティユニットを取得する手順を紹介した。 […]...
DynamoDBのScanIndexForwardで昇順/降順ソートでクエリ
602{icon} {views} DynamoDBでソートキーの昇順・降順を簡単に切り替えるために、ScanIndexForwardオプションを使う方法をTerraformとPythonのサンプルコードで検証してみまし […]...
DynamoDBのグローバルテーブルを試す
81{icon} {views} Terraformを使ったDynamoDBグローバルテーブルで、複数リージョンへの自動同期を実装する方法を紹介します。例えば、東京とバージニア間でのリアルタイムなデータレプリケーションも […]...