その丘のうち「岡山」に本丸が設けられたことで、城名そして城下町の名の元になった。なお西には「石山」があり、さらに北西には「天神山」の丘が連なり、各時代ごとに要害として使用されたようである。城の縄張は基本的には梯郭式となっており、三段の城郭配置が西側の一方だけに広がる
平山城となっている。言いかえると本丸の北から東には郭の無い、非常に防備が薄い縄張である。そのため
旭川の流路を変更し、天然の堀として東側の備えに利用したとされる。さらには郭の代りとして、「後園(後楽園)」が築かれたともされる。
天守は4重6階の複合式望楼型で、特に初重平面形状が歪んだ多角形をしているため、同じく歪んだ多角形平面の天守台を持つ
安土城天主を模したものではないかと言われているが、
羽柴秀吉による
大坂城天守を模しているという説もある。その外観は黒漆塗の下見板が特徴的で、この印象から「烏城(うじょう)」とも呼ばれ、隣県の「白鷺城(はくろじょう)」とも呼ばれる
姫路城と対比されることもある。元禄時代の古地図からは、五重の濠に囲まれた城郭と、南北3.5km、東西1.3kmにおよぶ城下町の姿が伺える。
明治時代に御殿・櫓・門の大半が取り壊された。堀は内堀の一部を除いてほとんど埋められたが、街路は江戸時代の位置をほぼ踏襲している個所が多い。さらに
第二次大戦中、
空襲のため天守・石山門を焼失した。現在までに2つの櫓、本丸付近の石垣、内堀が残り、戦後に天守・不明門・廊下門・六十一雁木上門・塀の一部が再建された。現存する月見櫓・西之丸西手櫓は国の
重要文化財に指定され、「岡山城跡」として
史跡にも指定されている。その他、京橋御門が岡山市小串に移築され現存している。城跡は「烏城公園」として整備される一方、二之丸跡に
山陽放送、
林原美術館、
岡山市民会館が、三之丸跡に
岡山県庁、
岡山県立図書館などの公共機関がある。近年本丸御殿の再建が検討されたが、2008年度時点でもその目処は立っていない。
元亀元年(1570年)、
宇喜多直家が
金光宗高を謀殺しこの地を支配した。直家は備前守護代
浦上氏の一族
浦上宗景の被官であったが、備前西部を中心に勢力を急速に伸張していた。
天正元年(1573年)、直家はそれまでの居城である
亀山城(沼城)から石山城に入城し、城の改築と城下町の形成を行った。この頃の石山城(岡山城)は、縄張が東西に走る連郭式であったと推定されている。直家は北方の山裾にあった
西国街道を、城の南に沿うように付け替えて城下に導いた。そして
備前福岡、
西大寺などから商人を呼び寄せ、いわゆる城下町の整備を行うなど積極的に流通主導による経済振興とも言うべき政策をとった。信長が安土城を築城する3年前のことである。これは直家が幼少の頃に、備前福岡の商人に庇護を受けたと言われていることも無縁ではないとみられている。