16世紀からそのまま残っている石でできた城壁、再建された胸壁、狭間胸壁、門などは、人吉城(1589–1871年)の当時の雰囲気を伝えています。人吉の相良領主の御殿があった二の丸など、城敷地内を散策することができます。二の丸からは、遮るもののない町と球磨川の景色を見渡すことができます。 相良家は、12世紀末から19世紀末にかけて、37世代にわたって人吉・球磨を治めました。人吉城は、自然の地形を生かした天然の城壁に守られた丘陵上の要塞として始まり、それから数世紀の間に何度も改築を繰り返してきました。その中でも最も大きな変化は、人吉の第12第当主相良長毎によるものでした。長毎は、石垣工事や物見やぐらの強化を指示し、人吉球磨川に繋がる形で城を拡張しました。