Mōri Terumoto (1553–1625) był wnukiem i prawowitym spadkobiercą słynnego Mōri Motonariego. Gdy w 1571 roku stanął na czele klanu Mōri, odziedziczył rozległe terytoria obejmujące znaczną część regionów San’in i San’yō w zachodniej części wyspy Honsiu. Ponadto klan Mōri dysponował największą i najbardziej zaawansowaną technologicznie flotą morską swoich czasów.
Po klęsce stronników Toyotomiego Hideyoriego w kampaniach osakijskich z lat 1614–1615 w Japonii nadal istniało wiele rodów, których lojalność wobec siogunatu Tokugawa nie była pełna, zwłaszcza w zachodnim regionie Chūgoku. Mizuno Katsunari (1564–1651), kuzyn Tokugawy Ieyasu, stał się pierwszym z bliskich domowi Tokugawa panów feudalnych, tzw. fudai daimyō, przeniesionym do tego strategicznie ważnego obszaru.
Za założyciela klanu Chiba uważa się Chiba Tsunesige (1083–1180), który w 1126 roku przeniósł swoją siedzibę do rejonu Inohana i wzniósł tam silnie ufortyfikowaną warownię. Choć sam Tsunesige pochodził z klanu Taira, ród Chiba później poparł Minamoto no Yoritomo, przyszłego twórcę pierwszego siogunatu.
Oda Nobunaga, w ramach swojego „ostatecznego rozwiązania” konfliktu z klanem Saitō, zaplanował budowę fortu w rejonie Sunomata, który miał służyć jako wysunięta baza do ataku na zamek Inabayama (później przemianowany na Gifu). Sunomata była bagnistym obszarem położonym między zamkiem Ogaki, twierdzą klanu Oda, a Inabayamą, główną fortecą klanu Saitō. Wcześniejsze próby wzniesienia w tym miejscu umocnień, podejmowane przez generałów Ody Sakumę Nobumoriego i Shibatę Katsuiego, zakończyły się niepowodzeniem. Wówczas zadanie powierzono młodemu wasalowi Kinoshicie Tokichirō, który później stał się znany jako Toyotomi Hideyoshi.
Dokładny moment pojawienia się pierwszych budowli na terenie dzisiejszego zamku nie jest znany; powszechnie uważa się jednak, że pierwsze umocnione konstrukcje powstały tu w okresie Muromachi, gdy ziemie te znajdowały się pod kontrolą klanu Shibata.
Według różnych przekazów najwcześniejsze fortyfikacje na terenie dzisiejszego zamku Okayama powstały już w XIV wieku i zostały wzniesione przez ród Nawa. Rzeka Asahigawa była wykorzystywana jako naturalna przeszkoda obronna, chroniąca jedną ze stron umocnień.
Na początku XVI wieku ród Kanamitsu zbudował tu nowy zamek, który wówczas nosił nazwę Ishiyama. W 1573 roku przeszedł on pod kontrolę rodu Ukita, po czym Ukita Naoie (1529–1582) rozpoczął zakrojoną na szeroką skalę przebudowę. Nie zdążył jej ukończyć z powodu śmierci, a dalsze prace kontynuował jego syn Hideie.
