회재 이언적선생은 김안로의 전횡으로 파직(1531~1537)되어 40대 초반에 향리로 돌아왔다. 당시는 사화가 거듭되던 어지러운 시기로 선비로서 사림과 권력층 사이에서 올곧은 사림들이 희생되지 않게 노력하던 중이었다. 특히 귀양살이를 하던 김안로가 풀려나 복귀하자 선생은 좌천되면서 곧이어 파직되었다. 그 후 고향으로 돌아온 선생은 홀로 된 어머니를 모시며 자그만 초가집을 지어 성주봉과 설창산등을 오르내리며 시를 읊고 거닐며 사색하던 곳에 후손들이 세운 정자다. 물봉동산에서 서편을 내려다보면 가까이 영귀정과 설천정사가 있어 여유를 즐기기에는 그저 그만이다. 마을에서도 영귀정은 적당히 외진 곳에 있어 생전의 선조를 기리며 정면 3칸, 옆면 2칸의 건물로 서쪽으로는 대청마루, 동쪽은 온돌방으로 뒤편으로만 출입할 수 있다. 따로 관리사가 없는 대신 대문채좌우에 하인방과 창고를, 설천정사 쪽으로 협문을 두었다. 실제로 회재는 어지러운 시대에 나랏일을 보았지만 ‘영귀’라는 말 그대로 자신의 자연과 함께하는 생활을 활짝 대문을 열어놓고 언제든 반기는 후손들의 마음에 답하듯 백일홍이 미소짓는 아름다운 정자에 가끔씩 들러서 거니는 회재가 보이는 듯하다. 정자의 이름인 영귀정은 《논어》〈선진〉편에 나오는 말이다. 공자가 네 명의 제자와 자리를 같이하여 공부하다가 말씀하시길 “내가 나이가 많다하나 말하기를 어려워하지 말았으면 좋겠구나. 평소에 내가 너희들을 알아주지 않는다고 하는데 만약 너를 알아준다면 어떻게 하겠는가?”라고 물으며 각자 가슴에 묻은 이상을 말해보라고 하였다. 먼저 자로(子路)가 말하길 “제후의 나라가 대국사이에 끼어서 침략을 받고 기근이 들어도 제가 다스리면 3년이면 백성들을 용맹하게 하고 명분으로 살아갈 수 있게 하겠습니다”라고 말하였다. 빙그레 웃으며 공자는 구(求)에게 묻자 “사방 6,7십리 정도의 작은 나라를 다스린다면 3년 만에 백성을 풍족하게 하고 예악(禮樂)에 관해서는 군자를 기다리겠습니다” 적(赤)은 “저는 좀 더 배우고 싶습니다. 왕과 제후 등이 모임을 가질 때는 관복을 입고 집례(執禮:나라의 큰 제사가 있을 때 순서를 소리 내어 읊는 이를 말한다)가 되기를 원합니다”라고 답하였다. 즉, 관리가 되어 백성들이 편히 살 수 있게 하겠다는 마음으로 볼 수 있다. 마지막으로 증석(曾晳)은 타던 거문고를 거칠게 내려놓고 “저는 세 사람과 다릅니다”며 말하기를 꺼리자 공자는 “사람마다 생각하는 게 다르다. 나와 다르다고 해서 화를 내는 것은 옳지 못하다. 뜻이 다른 것은 나쁜 것이 아니니 문제 삼지 말라”고 말씀하셨다. 그러자 증석이 말하길 “봄이 한창이니 봄옷을 입고 어른과 아이들과 더불어 기수에서 목욕하고 무우(기우제를 지내는 곳)에서 바람을 쐬고 시를 읊으며 돌아오겠습니다” (暮春者에 春服이 旣成이어든 冠者五六人과 童子六七人 浴乎沂하고 風乎舞雩 詠而歸하리라)”고 하자 공자는 “나는 증석이 부럽고나! 공부를 하더라도 틈틈이 자연을 즐길 수만 있다면야...” 공부도 중요하지만 책만 본다고 되는 것이 아니라 여유도 즐길 수 있어야 한다고 강조하고 있다. 즉 남이 나를 알아준다고 해서 딱히 자신이 바뀌는 것이 아니라는 것을 말하고 있다. 선비들은 내가 하고 싶은 것을 하되 자연을 벗삼아 소박한 생활을 하는 것을 이상으로 여겼다. 공자는 ‘나라를 다스린다는 것은 근본을 바로 세우고 명분에 따라 예를 세워야 하는데 예(禮)는 사양하는데 있다’라며 마무리하였다. 선생은 제자들이 모두 나라를 다스리고 정치에 뜻을 두었음을 알고 흐뭇해 하셨다. 정문인 이호문(二乎門)은 증석이 행했던 여유로움과 따뜻한 마음이 회재에게서도 느껴진다. 선생은 여유로울 때엔 노비의 아이들이라도 따뜻한 손길로 쓰다듬었다고 한다. 회재선생이 관직과 병석에서 보낸 날들에 대한 회한을 담은 시가 영귀정 대청마루에 2수 걸려있다. 지난 날들에 대한 회한을 한 잔 술에 담아 이제야 흘려보내시나 보다.登詠歸亭 (등영귀정, 영귀정에 올라...)半世塵籠困病軀 (반세진농곤병구: 반평생을 풍진 세상에 갇혀 병든 몸으로)登亭今日喜提臺 (등정금일희제대: 이제야 술 한 병 들고 정자에 오르니)江山渾是平生舊 (강산혼시평생구: 고향은 옛 모습 그대로 정겹건만)錦袍何曾昔日殊 (금포허중석일수: 어찌 마음만은 예와 다른가)