佐伯氏はこの地を14代にわたり支配した。最後の当主惟定は豊臣秀吉による大友義統の豊後徐国に連座しこの地を退去していったが藤堂高虎に仕え伊勢津藩の重臣として家は幕末まで続いた。弟惟寛は備中足守藩に仕え大神氏の主筋である緒方姓を名乗りこちらも家は長く続いた(緒方洪庵の祖でもある)。
佐伯氏には武略に秀でた当主が多く出ている。10代惟治もその一人である。大友氏による騙し討ちにより惟治父子は非業の死を遂げた。死後、惟治の怨霊が日豊に猛威を奮ったと伝承される。惟治を祭神とする神社は判明しているものだけでも日豊一円で二十数社に上る。天変地異の頻発のせいにするにしても異常に多い。民衆にもっとも追慕された当主だったといえるのかもしれない。
1527年、大友義鑑の命で臼杵長景は2万の兵をもって栂牟礼城に佐伯惟治を攻めた。肥後の菊池義武(義鑑の弟)や筑後の星野親忠と気脈を通じ大友氏へ謀反を企んでいるとの讒訴による。
栂牟礼城は佐伯氏が工夫を凝らし独自に築城した堅城である。攻め手が尽きた長景は策を弄する。
義鑑へ謀反の意図なきを説得する条件で開城を促す。
これを受け入れた惟治は嫡男千代鶴とともに日向に落ちていく。
尾高知に至り潜んでいるところを新名党の追手に発見されついに自刃することになる。
後を追う嫡男千代鶴は惟治自刃の報に接し、謀反は誤解であった旨の義鑑の書状を手にした使者を目前に自刃する。
ただ惟治の場合はその数が異常に多い。祭神として日豊一円の二十数社に祀られているのである。
佐伯地方にはそのほかにも惟治を祀る神社は多い。墓碑になると更に各地に伝わっている。
明治23年「神社明細牒」(惟治祭神) による