Gród w Toszku powstał prawdopodobnie w X wieku. W XII wieku utworzono tu kasztelanię, co poświadczają wzmianki z 1222 roku i późniejsze wymieniające trzech kasztelanów: Jakuba, Jaksę i Zwigora. Murowany zamek powstał na przełomie XIV i XV wieku, kiedy wzniesiono mury obwodowe otaczając nieregularnie dość znaczny obszar wzgórza.
Od północy i zachodu biegły prostopadłe do siebie odcinki muru, a od południa i wschodu dziedziniec zamknięty był murem biegnącym po łuku. Wjazd prowadził od wschodu, gdzie przekopana była fosa a nad nią przerzucony most. Brama umieszczona została w wysuniętym znacznie w stronę fosa przedbramiu. Pozostałe zabudowania były wtedy prawdopodobnie drewniane. Zamek przez pewien czas był siedzibą książąt piastowskich z linii opolskiej, którzy rządzili stąd udzielnym księstwem.
