読者です 読者をやめる 読者になる 読者になる

中2病を実現?! さくらインターネット石狩DCを、はてなのエンジニアが見学してみた



(※この記事はさくらインターネットの提供によるPR記事です)

■ 「中2病を実現」と語るデータセンター

石狩データセンターの見学を案内してくれた、さくらインターネット 取締役 副社長の舘野さん。なにを話していても技術力とコスト感覚のバランスがすごくよい感じがして楽しい

そんなさくらインターネットが2011年11月、北海道は石狩市に新しい「石狩データセンター」を開設しました。

開所式まもない金曜日、小雪がぱらつく中、ピカピカで最新鋭の石狩データセンター(以下石狩DC)をじっくりと見学させていただきました。案内していただいたのは、さくらインターネット株式会社 取締役 副社長の舘野 正明さん。最大の特徴は北海道の涼しい気候を利用した“外気冷却”です。さすが最新鋭だけあって他の見所も盛りだくさんでした。舘野さん自ら「社内の一部からは『中2病を実現した最強のデータセンター』って呼ばれているんですよ」という、最強感極まるデータセンターをエンジニアの視点からじっくりレポートします。

■ DCに欠かせない3つの要素(サーバエンジニア的な意味で)

北海道石狩市某所にある、さくら石狩DC。DCなので詳細な所在地は秘密である。金属製の屋根が、極めて格好いい

石狩DCは、北海道の石狩市にあります。札幌からは車で30分弱。飛行機で新千歳空港に降り立ってしまえば、意外と近い場所です。

DCがどこに存在しようとも、その中には愛すべきサーバが必ずございます。サーバというものは、買って置いたらそれだけで済むというものではありません。電源を入れてネットワークにつないでこそ、サーバは生き生きと、動作音を上げ、格好よくLEDを光らせ、熱風をはき出しながら、その仕事ができるのでございます。

さて、電源だネットだと気軽に申し上げましたが、高性能なサーバがたくさん集まるDCでは、気軽な話では済みません。電気ストーブ1台に匹敵する電力を数台で消費するサーバもありますし、ネットワークの転送能力を一瞬で食い尽くすサーバもございます。そして、サーバが消費した電力は、すべて熱となって排出されます。

つまり、サーバを設置するDCのキモとなるのは、以下の3つです。

  • 電力を供給する仕組み
  • 熱を管理する冷却装置
  • ネットワークの流れ

正しい電力が正しく供給されれば、たくさんのサーバが、動作音を上げ、格好よくLEDを光らせ、熱風をはき出しながら格好よく動作します。数が多ければ多いほど格好いいのはいうまでもありません。

さくら石狩DC内の某所で発見したたくさんのドライヤー。開所式前に熱の処理や電源の試験に利用したそのもの現物である。消費電力と発生する熱量という意味ではサーバと等しく、いずれも消費電力ほぼすべてが熱に変わる

たくさんのサーバが格好よく仕事をした結果、大量の熱が生まれます。1部屋に8kVAのラックが100本並んでいると、500Wの電気ストーブ1600台に相当する膨大な熱です。つまり、電気ストーブ1600台が並んだ部屋を冷やせる強力な冷却設備が必要です。

そして、たくさんのサーバの仕事の成果の多くは、ネットワークの向こう側で必要としているものです。ときに数Gbpsにもなるトラフィックを流すために、大容量、かつ切れないインターネット回線が必要です。

これら3つがばっちりそろうことはDCにおいて絶対必要条件です。さて、この3つの順で、石狩DCがどうそれを実現しているのか見てみましょう。

さくら石狩DC、サーバ室への入り口。複数の人が同時に入れないように回転ドア風のゲートが設けられている。左の白いパネルで指紋認証などをして入る。右にある通常のドアは火災など緊急時の脱出用

■ 【電力供給編】電力会社から直接引き込んだ6万6000ボルトが、サーバに届くまで

まずはサーバに届く電気の流れです。

特別高圧受電設備。電力会社から6万6000Vの高電圧を直接石狩DCに引き込む。何段階かの変圧を経て、サーバ室のサーバに届く。さすがに危険なので窓の外からの撮影。窓に近づくとブーンという50Hzの脈動を感じる。中に入れれば6万6000ボルトから放たれる独特の芳香を感じるはずである

石狩DCの受電は、ざっくりと以下のようになっているそうです。

6万6000V(電力会社からの引き込み線) → [変圧器] → 6600V → [変圧器] → 400V → [UPS(無停電電源装置)] → 230V → [サーバ]

高圧電気室。特別高圧受電設備が出力する6600Vの電気を400Vに降圧して、サーバ室のUPSに届ける役割を担う。6600V程度なので、とくにいい匂いはしない

電力会社からの引き込み線は、6万6000V、50Hzの交流電源です。日常でも意外と目にする機会はあって、送電線の鉄塔をよく通っているアレそのものです。引き込まれる先が上写真にある「特別高圧受電設備」です。ここで、6600Vに電圧を落とします。ここまでの設備が、石狩DC全体で共用です。

この電気はサーバ室ごとに用意された高圧電気室に向かいます。パネルをのぞくと「1系UPS - A - 2」などと書いてあって、順番に見ていくと石狩DCのどこに電気が必要かがわかります。サーバ室にある空調の電源もここから供給しています。

■ サーバ室内のUPSは分散配置 サーバへは230Vで給電

サーバ室に設置されたUPS。手前のラック3本がそれで、石狩DCではラック列ごとに設けている。奥はさくらインターネット 広報の櫻井さん

上の写真のように、サーバ室のラック列ごとにUPSが設けてあります。ここはかなり特徴的な部分です。

よくあるDCでは、電気設備室に巨大なUPSをどーんと設置します。この巨大なUPSはそれはそれで格好いいのですが、どうしてもUPSとサーバの距離が遠くなります。そのため、電気設備室のUPSは400Vで出力して、サーバ室内に変圧器付きのPDUを設置して、200Vや100Vに降圧してサーバに供給するということをします。

石狩DCでは、ラック列に対して上の写真のようなUPSラックを設け、その中に比較的小型のUPSを複数設置します。UPSの出力は230Vです。サーバ室内にUPSを分散させ、230Vを出力することで、最終段の変圧を省略できます。低電圧大電流で電源を引っ張り回す距離も十分短くできて、効率的です。

こういう重電寄りの機器は中央集中にしたほうが機器の価格が安くなる印象がありますが、舘野さんによると「中央集中のUPSと値段はそんなに変わらない」そうです。サーバ列ごとに電力に対する要求は異なりますから、その際の調整も容易だとのこと。

また、サーバへの電源供給は230Vを基本としているそうです。筆者はかつて、はてなの自作サーバのために電源ユニットのデータシートを取り寄せたところ、 230Vのほうが変換効率が有意に向上していることを知りました。とはいえ既存のDCで230V給電をするには、電源設備の工事し直しが必要になり、非常にコスト高となるため断念したことがありました。このさくら石狩DCでは、筆者がかつてやりたかったことが、すでに実現しています!

なお、ごく一部のネットワーク機器など、100Vでしか駆動できないものも分散しているUPSで対応できるそうです。230Vで動かない機器なんて古すぎませんか……って思う筆者はもしかしたらぜいたくなんでしょうか。

■ 停電対策、最後の番人はV16クアッドターボディーゼル

さて、電力会社の引き込み線からサーバまでの流れまで、やたら効率がよさそうな電源周りを見てきました。停電しても、UPSがあります。さらにUPSのバッテリを食い尽くしても、DCは非常用発電機を備えています。

現在の石狩DCには3台のディーゼル発電機が設置されています。2台はV12の大きいの、もう1台がV16のさらに巨大な発電機です。とくにV16のがものすごく格好いいのでここで紹介します。

非常用発電機。大きさは背の高さくらいで、車のエンジン風にいうと「6万5300cc60度バンクV16気筒4サイクル水冷クアッドターボ直噴ディーゼル」。出力は1500rpmで1450KW(約1944馬力)。写真は左バンクを写したものでシリンダーヘッドが8つあることがわかる

エンジンの後方にターボチャージャがある(白い円形の部品)。片バンクに2つずつ、計4つのターボである。上にのびる銀色のパイプは排気管。天井を走って建物の外へ向かう。ほのかに機械油の匂いがして心地よい

DCの非常用発電機として筆者がなじみ深いのはガスタービン式の発電機です。ところが石狩ではディーゼル式。その理由を舘野さんに聞くと、部分負荷での効率のよさと、振動が問題になりにくい立地の2点を教えてくれました。

たしかにディーゼルエンジンは、ガスタービンエンジンよりも出力の調整が容易です。そして出力を絞ると燃料を節約できます。長期間停電するような状況でも、実環境では電源のバックアップ時間を大きく伸ばせることを意味します。石狩DCの周囲には住宅がないため、振動も問題になりにくそうです。

動くところを見てみたいなあと思いましたが、動作音を思うと遠慮しておいたほうがよさそうです。起動音とかものすごく格好よさそうなんだけどなあ……。

■ 【熱管理編】寒冷な気候を利用した石狩DC外気冷却

さて、石狩DCにおける電気の流れを見てきました。サーバに流れ着いた電気は、サーバで消費され、すべて熱に変わります。その熱をうまく処理できないと、サーバ室に熱がこもり、サーバは停止してしまいます。DCにはとにかくたくさんのサーバがあるので、発生する熱量も膨大です。つまりDCでは、サーバの熱をうまく処理する必要があります。

とはいえ、とにかく冷やせばいいというものでもありません。湿度が高い空気は冷やしすぎると結露します。水滴はサーバにとって害でしかありません。石狩DCは、北海道の冷たい外気と空調機をたくみに制御して、サーバにとってよい温度と湿度の環境を実現しています。

特徴はなんといっても外気導入です。筆者は自宅でフィルタとファンのついた19インチラックを置いていて、夏以外は窓用換気扇で外気を取り入れて冷却しています。そんなこともあって、外気導入については並々ならぬ愛があります。「本当はこうしたいんだけど……」と思っていたすべてが石狩DCでは実現していて、激しく興奮したのでした。【熱管理編】ではそのあたりをくわしく見てみましょう。

さくらインターネットによる石狩DCの断面図。熱の処理も示している。2階建てで、2F部分がサーバルーム。基本的には外気を導入し、排気と混合して、空調機で整え、サーバルームに送るというもの。排気の一部は建物の外に放出される。サーバ室内のエアフローは「天井吹出方式」と「壁吹出方式」の2種類

■ 外気がサーバに届くまで

電力供給編と同様に、まずは大まかな流れを確認しておきましょう。

外気 → フィルタ → ミキシングチャンバー(ここで排気と混ぜる) → 加湿・空調機 → ファン → サーバ → 天井ダクト → 排気ファン → 外気

空気というのは、季節や時間によって温度はさまざまです。サーバが出す熱量もまたさまざま。なので、調節する仕組みが必要です。空気の流れを追いながら、調整の仕組みもあわせて見ていきます。

■ 「ひさし」の部分が取り入れ口。雪対策もあるよ!

まずは外気の取り入れ口です。上の図からもわかるように、屋根外板の下側、「ひさし」の部分が空気の取り入れ口になっています。

石狩DCの側面。銀色の外板は黒い部分より手前にあり、ひさし状になっている。そのひさしの下の部分から空気を取り入れる

そのひさしの下側に回り込んだ。メッシュ状になった空気取り入れ口があることがわかる。撮影時はファン停止中だったためか静か

この取り込み口から取り入れられた空気は、雪を吸い込まないようなトラップ構造を介して、フィルターを通ってからサーバ室へ向かいます。

取り込み口の内側。左側が外部で、右側の壁がDC。雪を吸い込まないように吸い込み口の高さから一段低いトラップが設けられている

左の写真の右側の壁のところどころにあるフィルター。ごみやちりを防ぐ不織布状のフィルターと、除塩フィルターの2段構え

ここまでが建物の「外」です。フィルターがシンプルすぎて少し心配な気がしてきますが、筆者の自宅にある19インチラックにつけたフィルターもほぼ同様です。筆者の自宅は、さわやかな北海道の空気にくらべると布団や衣服のほこりが発生するかなり悪条件なので、これでも大丈夫そうです。さらに後段にある除塩フィルタはさらに目が細かくて安心感があります。

フィルターはネジひとつではずれるように取り付けてあって、交換コストも安く済みそうです。と、楽しく説明してきましたがここは外、気温は5度くらいです。寒いので中に入りましょう。あーさむっ。

■ 内側に入って混ぜてから空調機へ

フィルターの内側と筆者。メッシュの向こうに除塩フィルターが見える。やっぱり外気なので寒い。この部屋の上にはサーバ室方面への取り込む空気量を調節できる板を備えた空気穴がある。筆者は寒そうにしてるが実際寒い

裏側にまわると除塩フィルターを見ることができます。白い不織布のような質感のものが折りたたまれています。石狩湾が近く念のため取り付けたそうですが、大成建設の計測では塩分はほぼ観測されず、メンテナンスコストはかなり少ないとのこと。中に入ってもここはやっぱり外気なので寒いのでした。あーさむっ。

そして上のフロアにいった北海道の空気(フィルター通過済)は、DCの2階、サーバ室真横のミキシングチャンバーに送られます。足下から外気が、天井からサーバの熱を奪った暖かい空気がやってきてここで混ざります。ようやく「さむくない」といえる温度になりました。ふう。

外気と排熱を混ぜるミキシングチャンバーで説明してくれる舘野さんと筆者(寒くない)。写真は右側が外。筆者の背中側に空調機とサーバ室がある

ミキシングチャンバー床面にある外気取り入れ口。銀色のパネルの角度で外気取り入れ量を制御する。冷気が来ていることはすぐわかる程度に寒い

ここまでの外気をやりくりする部分は、立体駐車場のような雰囲気の作りでした。コンクリート打ちっ放しで格好いいというか実利的というか。まあ普段人が入ることはめったにない部分の内装に凝るのは完全にムダです。このほうが現実的で機能的で格好いい。

ミキシングチャンバーの空気は空調機に入ってサーバ室へ抜けていきます。湿度の調整も空調機でやります。なんと北海道の空気は乾燥しているので、除湿するよりはむしろ加湿することのほうが、年間を通して多いとのこと。夏の北海道の空気はサーバにもさわやかなんですね! 素敵!

■ 「オーソドックス」と「アグレッシブ」のサーバ室の空気の流れ2種類

空調機から出てきた、サーバにとって過ごしやすい空気はサーバ室にブオーと流し込まれます。この吹き出し方、石狩DCでは2種類を試しています。オーソドックスなのが「天井吹き出し方式」。サーバ室の天井からラックめがけてまっすぐ吹き下ろします。アグレッシブなのは「横吹き出し方式」でサーバ室の壁からブオーと吹き出します。「実証試験を通して効率のいいほうを採用していく」と舘野さん。テスト楽しそうです。

横吹き出し方式の吹き出し部分と筆者。サーバにも筆者にも心地よい風がブオーと吹いてくる。気持ちいい。そして寒くない

横吹き出し方式の壁面にはプラグファンが付いていました。一時期話題になったFacebookのDCでも採用されていたものです。ファンガードの中で向きだしで回っているそれを、風に吹かれながらのぞき込むと、たまらなく格好いい見た目でございました。「別に参考にしていたわけじゃないんだけど自分たちで考えてたら似たようなものになった」と舘野さん。

せっかくサーバ室にいるのでラックも見てみましょう。こちらも工夫がこらされています。

■ 「えっダンボールですか」「安くて効率がいい」

横吹き出し方式の壁面ファンからサーバ室に送り込まれた空気は、サーバラック前後の扉から吸い込まれ、サーバを冷却してからラック上部に吸い出されるエアフローです。

ラック扉が両面メッシュかつサイド扉がないものであるためエアフローに問題が出そうですが、サーバの吸排気構造に応じて、透明なシートで覆うことにより柔軟に変更できるとのこと。必要に応じてメッシュなしの扉にも交換できるそうです。なるほど便利。

ラックの熱気吸い上げ構造が非常によく練られていて感心しました。下の写真を見てください。

石狩DCのラック。機器が入っていないスカスカの状態。扉はメッシュになっていて冷気を吸い込める。このメッシュ扉の取り外しは左右のあるクリップをぱちんぱちんと外すだけで簡単

ラックの天井部分を中から見る。ファンの右側にある部品は可動式。廃熱するポイントをラックごとに自由に選べる仕組み。すごく便利! なおこの排気システムは特許申請中とのこと

ラック上部を外から見る。手前のはしご形のものは電源やネットの配線を通すためのもの。その奥の銀色の箱が天井につながる廃熱ダクト

ラックの天井はファンと小さなパネルがあって、パネルを移動することで排気をラック中央や後部に変化させることができます。これはものすごく便利です。最近はオーソドックスな前方吸気後方排気だけでなく、ハーフ1Uサーバに代表される両面マウント中央吹き出しといったパターンもあるわけですが、これらのサーバの構成に応じて好きな場所から熱気を吸えるようになっています。

その先は銀色のダクトを通って天井へ向かいます。材質はダンボールとアルミを組み合わせた物です。「安くて加工性がよくて寸法合わせも容易で断熱性もいい」(舘野さん)。たしかに力がかかる部品ではないですし、間に空気が入っているので断熱もいいはずです。

天井裏に出た廃熱は、先ほどの空調機が設置された部屋に流れていきます。吸気される外気と同量だけミキシングチャンバー上部にあるファンで排気され、残りは床下のミキシングチャンバーに向かい外気と混合されサーバ室に再度向かいます。

■ 空調最後の要は巨大なターボ冷凍機

北海道石狩市は、2010年の平均気温が8.5度、2010年8月の平均気温でも23.0度という涼しい土地。外気をふんだんに導入できさえすれば、サーバには十分優しい環境です。一方で、なにかあったときに止まってしまうのが許されないのがDCの宿命。いざというときに備えてパワーのある冷房装置も備えています。

それが石狩DCの1Fにございます。中2病極まる格好よさなので大きい写真で紹介させてください。

インバーターターボ冷凍機。車のエアコンのウルトラ巨大なやつである。冷凍能力195.8トン、冷媒ガスはR134a、冷媒ガス充填量1100kg

冷凍機だけあって断熱材におおわれているが、はげしくくねるパイピングは隠しきれていない。バルブも分岐もボルトもすべてが、巨大な本物だけが備える機能美を見せる

自動車よりもでかくて、パイプがうねうねしていて、男の子の心に直撃です。この部屋は、他にもロードヒーティングとおぼしきポンプなどが所狭しと並び、ときめきに満ちあふれた空間を構成していました。この冷凍機は真夏の昼間など年間数日のみ稼働するものであり、冷凍機は外気冷却システムのバックアップという位置づけだそうです。

データセンターのエネルギー効率を示す「PUE」という指標があります。データセンター全体の消費電力を、データセンターが備えるIT機器による消費電力で割るというものです。最近の「効率がよい」といわれるデータセンターは一般に2.0より小さい程度の値です。

石狩DCは、外気導入を活用して、ファンすら止めてPUE 1.0X(1.10未満)を目指すとしています。それを最初に聞いたとき、筆者は耳を疑いましたが、外気導入の流れと、石狩平野に吹く強風をじっくり体験して、ありえない話ではないと納得しました。「屋根の除雪が必要なほどまでは積もらない」という話にもうなずけます。なお、取材当日にちらっと見たときのPUEは1.42でした。収容サーバがもっと増えればPUEの値はもっと小さくなるとのこと。「まだこんなもんですけどね」と軽くいう舘野さん、逆に「まだまだいけるぜ、どんどんいくぜ」という迫力を感じます。十分すごい数字なんですけどねえ、これ。

石狩DC内、監視センターの窓で表示されているモニタ。ここ1号棟の取材当時のPUEは1.42。ほとんどサーバを収容していない状況で空調運転していたので結構高い数字がでているとのこと。モニタにはこのほか、外気温湿度、使用電力、サーバ室環境などが表示されている。大きいモニタで大事な項目を監視するのは男の子のロマンである

しかしこのモニタ格好いいですね。男の子マインド直撃です。もう大興奮ですよ。そう思いませんか。弊社もこういうの作りたい作りたい。

■ 【ネットワーク編】10Gbpsを3本でいろいろ冗長化

続いては、石狩にDCと聞いて誰もが心配するであろうネットワークについてです。さくらインターネットのバックボーンは以下のURLで公開されています。

DCへの光ファイバーは10Gbps。異なるキャリア2系統を利用した冗長構成だそうです。これで東京の西新宿DC、大手町NOCとそれぞれ結んでいます。さらに、10GbpsでOCN北海道にも接続しています。北海道のOCNの人は東京を折り返さずにアクセスできます。

この10Gbpsのアクセスを受け止める石狩DCのボーダールータと、DCネットワーク全体の中心となるコアルータが、今回見学したラックに入っていました。

石狩DC、ネットワークのコア部分。詳細は省く

ネットワークのコア部分その2。詳細は省く

詳細は省きますが、これらが2セットあり冗長構成となっています。こいつらは石狩DCの心臓部なのでキャッキャッせざるを得ません。別室に設置された2セットのルータに入るファイバーは、これまた2セットあるMDF室を経由し、別々のマンホールから海底と内陸へ向かうそうです。徹底的なファイバー経路の分離が特徴的です。

なお、両方ともカードを差せば100Gbpsに対応できる機種で、将来の帯域拡大にも余裕があります。繊細な光ファイバーの取り回しもよく考慮されていて、DC内のあらゆる場所で、ネットワーク接続に無関係な人が通りにくく、場所を変えて冗長化するという配慮が見られました。

あとはレイテンシが気になる人もいるかもしれません。そのあたりは弊社CTOの田中とエンジニアの倉井が、さくらインターネット 研究所所長の鷲北さんに聞いた様子が過去の記事にまとまっているので、未読の方はぜひご覧ください。

■ まとめ

長い記事にお付き合いいただきありがとうございました。筆者はこの取材、たいへん楽しめました。みなさまも楽しんでいただけたなら幸いです。電源、空気、ネットと、DCの必要な要素別に見てきました。どれも先進的かつ、よく考えられた仕組みで、石狩から帰ってきた筆者は弊社のサーバをいかに石狩DCに移動するかを考えています(本気です)。

石狩DCの設計思想は「モジュラー構造」と「シンプル」の2つにまとめられると思いました。

■ そのときにいい技術をモジュラー単位で

からっぽで空調設備もまだない石狩DCの空部屋。ここに導入されるのはそのとき最新の機器と技術かもしれない

1つ目のモジュラー構造は、サーバ室ごとに柔軟な対応を可能にしています。1つのサーバ室が1単位で、空調、電源、サーバラックを導入していくことで、そのときそのときで最新の仕組みや機器を導入できます。とくに、6600Vで受電する電源設備をサーバ室ごとに柔軟に設計できるというのは、かなりのメリットです。サーバに直流で給電できる「HVDC」や、さらなる空調の進化など、将来できることが増えたときに、そのタイミングで最良を選べます。

土地に対してもモジュラー構造です。いまの建物が埋まってしまったら「となりに建てる」(舘野さん)。土地があるって素敵!

■ シンプルに考え尽くされた安心感

もう1つのポイントはシンプルです。面倒くさい鍵が付いていないシンプルなラック扉。また、ラックの両サイドに仕切りがない。これらはお客さんを立ち入らせないからできることです。モジュール構造なので、お客さんを入れる区画が必要になったら鍵付きのラックを打つ、ということもできます。

サーバラックの床面との固定部分を見る。ボルト一発である。ボルトと台座に書かれた赤い線はゆるみがないかを目視でチェックするためのもの

サーバ室の床もシンプル。DCにありがちな床上げのフリーアクセスはなく、シンプルなラックを床面に直接ボルトで止めています。「床上げるより安いし、耐震性もよい」(舘野さん)。常識にとらわれずシンプルに考えると、たしかにこのほうが良さそうです。

壁や天井はすごく薄いです。未使用の区画では、外壁や天井のパネルは、内側からあちこちで見えています。免震構造でもありません。チープというか、思い切っている印象で、銀行のシステムを預かるには足りないものがあるかもしれません。でも、私たちがサーバを動かすうえで建物の見た目が堅牢とかはどうでもいい。シンプルに考え尽くされているほうが、安心感があります。だいたい設置場所が安っぽかろうが、海の向こうだろうが雲の向こうだろうが気にしません。

取材中、舘野さんは「まず内側があり、それのためにハコを建てた」と説明してくれました。それゆえ、石狩DCの作りには余計なものがなく、とてもシンプルにできたのではないかと思います。加えて、付け焼き刃ではない素直なコスト削減が成立しています。

また、随所にDC利用者の立場に立った割り切りと利便性の向上が見える。説明を受けていて首を縦にぶんぶん振りたくなる、お仕着せのDCにはなかった魅力を感じました。

* * *

最後に、初雪をまとった石狩DCの拡張予定地の写真を紹介してこの記事を終わります。次に石狩に来るときは、きっと、はてなのサーバを移すときなのかな。

石狩DCの拡張予定地を1号棟からのぞむ。土地が続いていることがわかる。ここは北海道。“試される大地”である

[PR]企画・制作:はてな

文: 村松雄介