영양남씨 활산(活山) 남용만(南龍萬,1709~1784)은 영덕에서 경주로 이거한 우암(寓菴) 남구명(南九明,1661~1719)의 손자로 학문과 덕행으로 명성이 있었고, 정범조·홍양호·류의건 등과 교유하였으며, 저서로 『활산집』이 전한다. 그는 남국형(南國衡)의 5남2녀 중 둘째로 태어나, 14살에 남국선(南國先)의 양자로 가서 가문을 일으켰다. 장성해서 풍천임씨 임간세의 따님을 맞이해 남경채를, 서산류씨 류의건의 따님을 맞이해 남경희·남경화를 두었는데, 특히 아들 치암 남경희는 과거에 급제 후 승문원박사·성균관전적·사헌부감찰·병조좌랑을 거쳐 사간원정언에 이르렀으나, 말년에 벼슬을 버리고 고향인 경주 보문리로 돌아와 지연계당(止淵溪堂)을 짓고 은거하며, 주변의 승경을 읊조렸다. 이러한 치암의 선비적 태도와 산수관은 부친인 활산공의 영향이 컸다. 활산은 벼슬을 멀리하고 경주의 동쪽 명활산 아래에 집을 짓고 스스로 활산거사라 하고, 한한정(閑閑亭)을 지어 평생을 자연과 벗삼아 마음의 한가로움을 얻으려 노력한 인물이었다. 문천 가 황폐해진 영귀정 옛터엔 주춧돌과 섬돌만 산재하고, 1736년 고을의 부로(父老)들이 힘을 모아 한 칸의 강학공간을 마련해 영귀정이라 하고, 1741년에 다시 세워 풍영정(風詠亭)이라 이름한 곳은 지금의 사마소(司馬所)다. 류의건은 1735년 증광시(增廣試) 진사에, 남용만은 1756년 식년시(式年試) 생원에 올라 사마소에서 강학하며, 영귀정에 대한 내력을 소상히 적었다. 특히 활산은 영귀정을 찾는 모두가 “성인은 하늘처럼 되기를 희망하고, 현인은 성인처럼 되기를 희망하고, 선비는 현인처럼 되기를 희망한다(周敦頤『通書』「志學」, 聖希天 賢希聖 士希賢)”라며 증점처럼 회재처럼 누구나가 이곳에서 그러한 기상을 얻고자 희망의 메시지를 전한다. 활산은 영귀정에 대해 다음과 같이 말하였다.『活山集』卷5,「記·詠歸亭記」영귀정은 오래전부터 이 이름이 있었고, 정자가 완성된 이후에 이름 지어진 것이 아니다. … 그러나 후세에 집을 짓고 이 ‘영귀’이름을 함부로 사용하는 경우가 천하에 많으니, 어찌 후대의 사람들이 그날 모든 사람을 친히 가르친 것보다 어질겠는가? 다만 그 기상을 사모하여 ‘영귀’ 이름만을 생각할 따름이다. 그것은 동도[경주]에도 있으니, 선도봉 서악서원[三賢廟] 앞에 누각이 있는데, 예전부터 ‘영귀’로 불리었으나, 그 이유는 자세하지 않다. 또 자계(紫溪)의 계정(溪亭) 난간 밖에 대가 있는데, 문원공 회재 이언적이 머문 곳이다. … 월성 서쪽 10여 걸음쯤에 주춧돌과 섬돌이 잡풀에 덮인 곳이 있다. 전하는 말에 예전에 영귀정이 있었는데, 언제 누가 지었는지 모르고 또한 어느 때에 무너졌는지도 모른다. 오래전 사마당(司馬堂)이 있었다고 하지만 완공과 무너진 연대 또한 알 수가 없다. 병진년(1736)에 고을의 부로(父老)들 가운데 성균관에 오른 자가 그 터를 닦고 집 한 칸을 일으켜 글공부하는 곳으로 삼아 장차 옛 이름을 따랐다. 나에게 그 일을 기록할 것을 부탁하였으나, 나는 난감해하며 “이곳은 공자께서 특별히 허여한 곳입니다. 그날 성인 문하의 여러 제자들이 이르지도 않았고, 문원공 이언적도 머물지 않았는데, 쉽사리 ‘영귀’의 뜻을 취할 수 있겠습니까?”라 사양하고 감히 말을 하지 않았다. 얼마 뒤 늘 오고 가고 배회하며 다만 바라만 보았는데 문득 얻는 바가 있었으니, 옛사람 또한 이곳에서 뜻을 취함이 있었다. 정자의 아래 문천(蚊川)라는 물이 있고, 문천의 남쪽에 노(櫓)라는 건물이 있고, 그 동쪽에 도장(道塲)이라는 작은 봉우리가 있고, 그 마을은 흥륜리(興倫里)라 하고, 그 위에 부자의 묘우가 있다. 나는 문(蚊)을 문(汶)이라 읽고, 노(櫓)를 노(魯)라 읽고, 도장을 나의 도를 닦는 장소로 삼고, 흥륜리를 가르침을 일으켜 인륜을 밝히는 곳으로 삼았다. 사당에 들어가 공경히 부자를 뵈면 또 마땅히 우리 스승으로 섬겨야 한다. 공자의 제자 가운데 사성십철(四聖十哲)이 모셔져 있고, 좌우에 칠십자(七十子)의 무리가 차례대로 모셔져 있고, 증씨도 그 반열에 있다. 이때 모인 생도들 가운데 경전의 뜻이 어렵다면 만일 모시고 앉아 뵙고 뜻을 읊조리는 날을 생각할 수 있다면, 이 정자가 이름을 얻은 까닭일 것이다. 어떤 자가 “사당과 정자가 세워진 그 선후를 알 수 없지만, 만약 정자가 사당보다 오래되었다면 그대의 말은 이치에 맞지 않다” 하기에, 나는 “그렇지 않다. 신라인들은 불교를 신봉하였고, 유교를 따르지 않았다. 이때는 틀림없이 사당이 없었다. 불교가 쇠하고 유교가 흥함에 사람들은 성인을 사모하고 현자가 되길 바랄 줄 알았으니, 정자가 사당보다 뒤인 것이 분명하다. 처음부터 정자를 세울 줄 몰랐던 자는 과연 어떠한 사람이었겠는가? 그러나 이미 공자의 사당이 존재했으니 이름이 우원(迂遠)하지 않다. 물은 문(汶)이 되고, 건물은 노(魯)가 되고, 산은 도(道)가 되고, 마을은 흥륜(興倫)이 되며, 성인의 가르침이 그 사이에 행해졌으니, 이름이 망령되지도 않다. 하물며 지금 정자가 오랜 세월 이름을 간직하고 그 땅에 다시 세워졌으며, 들어가는 자들은 공자의 가르침을 법 삼아 외우니, 장차 이 이름을 버리고 어찌하겠는가?”라 하였다.… 하늘은 빼어난 사람을 낳길 다함이 없고, 후인들이 진실로 회재선생과 같이 그 기상을 얻는다면, 또한 장차 증점과 한가지의 일이 될 것이니, 이 정자가 영원토록 없어지지 않고 오래 남아 다시 그러한 사람을 얻게 된다면 아마도 이 ‘영귀’라는 이름이 헛되지 않을 것이다.