150人余りが圧死
工事の際の、信じられない逸話も残されている。
石垣の石材は主に伊豆半島周辺から切り出されて運ばれた。慶長11年（1606）には石材を運ぶために3000艘の石船が伊豆に集まり、切り出された膨大な石を載せたが、折からの暴風雨のために、鍋島勝茂の120艘、加藤嘉明の46艘、黒田長政の30艘、ほかにも53艘が海に沈んでしまったという。
また、慶長19年（1614）には、紀州が領国だった浅野長晟が築いた石垣が崩壊し、150人余りが圧死したと記録されている。寛永5年（1628）には、加藤清正の嫡男の忠広のもとで大勢が音頭をとりながら石垣を運んだ際、人夫に死者やけが人が続出したばかりか、綱で引かれた石が街角を曲がり切れず、多くの町屋を破壊しながら進んだという。
石垣は伊豆周辺のほか、瀬戸内からも運ばれてきた。いまも江戸城の石垣を見ると、伊豆から運ばれた黒っぽい安山岩が中心ではあるけれど、要所にベージュの石が組み込まれているのに気づく。これが瀬戸内方面から運ばれた花崗岩だ。
江戸城の旧本丸、二の丸、三の丸は現在、皇居東御苑として一般公開されている。そのなかで、たとえば本丸入口の中の門の石垣には、たったひとつで幅1.3～1.4メートル、長さ3.5メートル、重量は35トン前後にもなる花崗岩が用いられている。こうした巨石を大名たちが、瀬戸内からわざわざ運んできたのである。
姫路城よりも巨大だった天守
もちろん、江戸城にも天守はあった。しかも、短い期間に3回建てられている。
慶長11年（1606）、家康が最初の天守を建てたが、2代将軍秀忠が元和8年（1622）に解体してしまった。本丸を北に拡張するのに邪魔になったと思われ、翌年、2代目の天守が広がった本丸の北方に完成した。ところが、その天守も3代家光の時代の寛永13年（1636）に解体され、翌年までに3代目が完成した。
3代目天守は、約14メートルの石垣（天守台）にそびえる約45メートルの高層建築で、高さの総計は約59メートル。20階建てのビルに相当する、史上もっとも高い木造建築だった。ちなみに、現存天守最大の姫路城は、木造部分の高さが31.5メートルだ。
家光時代の天守は地上5階、石垣内の地階をふくめて6階。壁には耐火および耐久性能が高い黒色加工された銅板が張られ、屋根に高価な銅瓦が葺かれた。瓦の軒先には金箔が張られ、屋根を装飾する破風は金の金具で飾られ、てっぺんには金の鯱が据えられていたようだ。