現在の山形城（霞城公園）は二の丸までしか現存していないが、最上時代には広大な三の丸が築かれていた。山形城は本丸、二の丸、三の丸を同心円上に曲輪を重ねた輪郭式の城郭である。最上時代の本丸は東西150ｍ、南北160ｍ、およそ7千坪の広さであった。二の丸には5つの出入り門があり、東西396ｍ、南北427ｍ、およそ51800坪の広さであ ったといわれている。三の丸は11の出入り門があり、最近の図上計測においては東西1580ｍ、南北2090ｍ、面積2,35�uという広大さで、平城としてはかなりの規模である。三の丸の濠と土塁は、明治維新まで現存したが、街の発展と共に 民間に払い下げられた。現在は市街地の各部分片隅に僅かを残すのみである。現在の山形城（霞城公園）は二の丸まで現存しているが、これは最上家改易後に入封した鳥居忠政の縄張りによるものである。 城の規模自体の変更はなされなかったが、 本丸や二の丸の出入り門については大幅な変更が加えられている。本丸については、最上時代に東西にあった門が北と東南（一文字門）に変更されている。二の丸に至っては最上時代に５つあった門が４つに変更されている点と、枡形も逆になっている点である。東南の水濠も形を変えている。これは鳥居氏が最上時代の印象を払拭するために行った工事だろうと思われるが、それにしても大規模な工事であったであろうと推測できる。現在では最上時代の縄張りを見ることはできないのが非常に残念である。しかし山形城の原型は最上時代に確立されたといってよいだろう。
　

最上義光が、いつ頃から城郭や町割の建設に着手したかは明らかになっていないが、およそ30年の歳月をかけて行われたといわれている。義光は後北条氏の小田原城のように、徐々に規模を拡大していったと思われ、山形城の改築は天正から文禄にかけて行われたと伝えられている。文禄元年（1592年）義光が九州在陣中に、山形城の改築が行われていたことが｢立石寺文書｣からわかる。文禄2年（1593年）に、三の丸の濠を西から東へ掘り進めていたことが｢伊達文書｣にも見られることや、寺院や神社の創建、移建の年代から推定しても天正、文禄、慶長年間にかけて町割と共に寺社が配置されていったことがわかる。平成3年に復元された二の丸東大手門でも完成までに6年の歳月を費やした。当時の土木、建築技術での城作りや町作りにはいかに時間を費やすかがわかると思う。また、それに伴う費用も莫大なものである。当時の最上家の資金力、義光の政治手腕が優れていたことが窺える。本丸には御殿、二の丸と三の丸には534人、郊外には1326人の家臣の屋敷があって、二の丸、三の丸は上級、中級の最上家家臣の屋敷、それを囲む濠の外側には城下町が広がっていた。山形には、現在も当時の城下町の名が残っている。三日町、七日町などはその日に市が立った町である。旅篭町、鉄砲町、肴町、鍛冶町、銅町、現在は行政上の町としてはなくなってしまったが、材木町、銀町、塗師町、蝋燭町、桶町、檜物町などは、その名のとおり職人や商人が店や工房を構えて商いを行い、賑わった町である。 鍛冶町、銅町などは火を扱う仕事柄、万が一火事になった場合を想定して馬見ヶ崎川の対岸に配置されていた。また、城下の道には、敵が侵入してきた際に備えてＴ字路や鉤型を取り入れており、易々と城に辿り着けない造りになっていた。城から東側（笹谷・仙台側）に複雑な道が多くみられたのは伊達氏を警戒してのことだったのであろうか。山形城下には羽州街道があり、仙台街道にも通じることから交通の要として大変栄えた。17世紀初頭では、人口およそ3万人と推定されており、奥羽最大の都市だったと思われる。