如在旅途01中所述，飯森山文化公園在計劃當時，是由美術館區與體育館區兩大區域組成，負責體育館區主要建築物的同樣也是土門拳紀念館負責建築師—谷口吉生。一開始在土門拳決定將作品送給酒田市後，其實當下並未立刻決定放置這些作品的展場，以及文化園區基地位置，整個計畫的選址是後來由當時的酒田市長相馬大作，以及土門拳的弟子三木純、三堀家義以及谷口吉生為首的團隊討論而決定的。據谷口說，當初其實文化公園的位置有不少候選地，會選定飯森山，是因為這附近廣袤的水田景色、以及由近景的飯森山，和遠景的鳥海山所構成的大山大水的環境氛圍，成了選址的決定性關鍵。

​

  1983年土門拳紀念館落成後，緊接著就是體育館的建設。在土門拳紀念館中，谷口為了強調周遭自然的柔和曲線，而刻意使用方正、直線性強的量體來對比，也更襯托出了周邊自然的風景。但現在卻要在同個園區內另外蓋一個和紀念館性質截然不同的體育館，據谷口說如何將這兩種截然不同的機能配置在一起，讓當時的他相當頭痛。最後谷口為了將這種反差造成的違和感降至最低，大膽地採取了「將兩個區塊完全脫開、使兩者看起來毫無關係」的策略。除了盡量降低體育館的量體，同時利用兩個區域內的植栽緩衝綠帶，種植高度較高的樹以遮擋視線，讓兩者在視線上並不會看到彼此，切斷了視線上的關係。同時也利用這條綠帶來降低噪音，讓運動區的喊聲不會干擾到館區安靜的氛圍。

​

  因此當我背向拳湖、穿過這層緩衝綠帶時，其實並不會認為自己在同個園區裡，反而會意識到自己從紀念館的領域進入了另一個領域，從拳湖紀念館畔的對面朝著體育館前進。