敷地は北側が海に面し、三方を山に囲まれた横須賀に特徴的な谷戸状の地形をしている。このランドスケープと一体になった美術館とするために、大部分の建物ボリュームが地下に埋込まれている。さらに臨海部の厳しい自然環境に対する解答として、外周部にレストランやワークショップと言った開放的な施設、中心部にデリケートな展示・収蔵施設というように、何重にも入れ子状になったプランニングである。展示・収蔵棟を覆う、ガラスの外皮と鉄板の内皮の二重のシェルターは、自然光をコントロールするための装置であると同時にその二重のシェルターが大空間を支える構造システムになっている。来館者はこの巨大なシェルターで覆われた内部空間を巡りながら、アートを媒介とした様々な出来事を体感することができる。