La plus grandiose batisse du Krémlin est le palais d'Oleg. Sa construction a duré de 1653 jusqu'à 1780.
Le palais d'Oleg représente le mélange de 4 styles d'architecture russe.C'est un des plus rares exemples du style typique à la Russie de Sud.
A l'époque actuelle dans ce batiment en pierre blanche se trouve le musée historique de la région de Riazan.