임진왜란이 발발하자 경주에서 의병을 일으켜 혁혁한 공을 세운 청안(淸安)이씨 동호 이방린(東湖 李芳隣,1574∼1624)·이유린(李有隣)·이광린(李光隣) 3형제는 의병 출전에 앞서 현재의 삼괴정 터에 회나무 한 그루씩을 심었다. 이방린[자 덕화(德華)·호 동호(東湖)]은 경주판관 박의장·의병장 권응수 등과 함께 영천성 전투에 참가하고, 비격진천뢰(飛擊震天雷)를 사용해 경주성 탈환에 공을 세웠으며, 경주 노곡 계연(鷄淵) 전투에서도 큰 공을 세워 안동대도호부 판관 겸 부사(安東大都護府判官兼府使)를 지냈다. 이유린[자 덕향(德馨)·호 퇴와(退窩)]은 훈련원첨정을 지냈고, 이광린[자 덕조(德照)·호 수와(睡)]은 훈련원봉사를 지냈다. 훗날 1813년 선조를 추모하기 위해 이방린의 6대손 이화택(李華宅)은 회나무가 심어진 고당 터(경주시 강동면 다산리)에 정자를 세웠다.
삼괴정은 단순한 봉사(奉祀)나 재실(齋室)의 기능보다는 3형제 선조의 충절을 본받고, 자손들이 번창하길 바라는 기복의 염원이 들어 있으며, 청하현감을 지낸 박민순(朴民淳)이 1813년에 지은 ‘삼괴정 상량문’에 정자 건립의 취지가 명확하게 실려있다. 연천(淵泉) 홍석주(洪奭周,1774∼1842)는 ‘삼괴정기(三槐亭記)’에서 “정자를 짓고, 그 곁에 열두 칸 집 가운데 그 반을 방[室]으로 삼았다. 왼쪽 방을 ‘화수당(花樹堂)’이라 하고, 당나라 위씨 종족의 모임에서 의미를 취했다. 오른쪽 방을 ‘포죽헌(苞竹軒)’이라 하고, 『시경』의 사간(斯干) 시에서 의미를 취하였다. 그 뒤쪽 방을 ‘필경재(必敬齋)’라 하고, 더욱이 『시경』의 ‘뽕나무와 추자나무도 반드시 공경한다(維桑與梓 必恭敬止)’의 뜻을 취하여 여러 회나무에 비유하였다. 세 개의 방을 합해 ‘삼괴정’이라 한다.”라 하였다. 사간(斯干) 시를 통해 새로운 집을 지어 화목하게 살아가는 한 대가족의 이야기를 비유하고, 옛날 집 담장 아래에 뽕나무와 추자나무를 심어 자손에게 물려준 일화를 언급했다. 자라난 뽕나무는 누에 먹이를 공급하고 추자나무는 일상용품을 마련하는데 도움이 되었으며, 게다가 3형제 모두 덕(德)자를 넣어 호로 삼은 것을 보면, 선조가 덕을 쌓는 일이 후손의 편안함을 돕기 위함임을 저절로 알게 된다.
현재 삼괴정에 걸린 홍석주와 권비응의 ‘삼괴정기’, 박민순의 ‘삼괴정 상량문’, 이효상의 ‘삼괴정 사적’, 이정엄·이악상·권종락·이지한·이수인·이정병 등 ‘제영시(題詠詩)’ 현판이 있으며, 이를 통해 삼괴정의 문학성을 유추할 수 있다.
구암(懼庵) 이수인(李樹仁,1739~1822)은 경주 안강현 산대리 출신으로, 부친 학반재(學半齋) 이위현(李渭賢)에게 수학하고, 청대 권상일의 문인인 작은할아버지 이약초(李若初)에게 학문을 배우며 가학을 계승하였다. 경사자집(經史子集)을 탐독하고, 「중용」·「대학」 공부를 통해 실천하는 일상의 삶을 추구하며 벼슬을 멀리하였으며, 당대의 권운표(權運標)·손성악(孫星岳)·남경희(南景羲)·정동필(鄭東弼)·정종로(鄭宗魯) 등과 교유하였다. 일찍이 17세에 부친상, 21세에 모친상을 겪고, 40세 늦은 나이에 아들 이효영(李孝永)을 낳으며 삶의 희비를 느꼈으며, 다소 42세의 늦은 나이에 비로소 복시(覆試:과거 초시합격자가 보는 시험)에 응시하고, 45세에 성균관에 들어가 생원시에 장원하였지만, 고향으로 돌아와 안빈호독(安貧好讀)하며 학문을 궁구하였다. 58세에 선공감 가감역관이 되지만, 또다시 몇 달 후에 고향으로 돌아와 지역인재 발굴과 후학양성에 매진하였다. 사후 후손의 노력으로 1893년 대사헌에 추증되었고, 1954년에 산대리 피일마을에 상모정(尙慕亭)을 건립해 구암의 정신을 계승 중이다. 그는 삼괴정 건립을 다음과 같이 기록하였다.
삼괴정기 - 이수인 세 그루의 회나무로 이름을 삼은 삼괴정(三槐亭)은 선인께서 손수 심은 것으로, 정자의 주인은 우리 집안의 이화택(李華宅) 군이다. … 공(이방린)은 어릴 적 여러 동생들과 동네에 각자 한 그루의 회나무를 심으며 “우리 형제들이 이곳에 복을 심노니, 훗날 미래성취와 자손흥망의 증험이 될 것이다”하였다. 장성함에 회나무 역시 무럭무럭 자랐다. 때마침 임진왜란이 발발하자 공과 형제들은 이미 기미에 밝아서 마침내 모두가 흔쾌히 붓을 던지고 회나무 아래에 나아가 단을 쌓고 매일 활쏘기를 연마하였으며, 활을 쏘는 기술과 재주 모두 매우 정밀하였다. 공이 먼저 무과에 급제하였고, 둘째·셋째가 차례로 급제하였다. 하지만 둘째가 요절하자, 회나무 한 그루 역시 저절로 쓰러졌다. 당시 왜구가 동남쪽에 많았는데, 공은 박의장·권응수 등 여러 공들과 함께 창의하여 적을 토벌하였고, 전투의 공을 많이 세웠다. 공은 공훈으로 벼슬이 내려지고, 둘째·셋째도 동시에 분기하여 모두가 급제해 사적(仕籍)에 들었으며, 둘째는 첨정에, 막내는 봉사를 지냈다. 모두 「제현창의록」에 실려있다. 세그루 회나무의 전설은 마을의 명칭이 되었고, 자손들이 대대로 살았다. 매번 그 나무 아래에 유식하며 문득 나무를 어루만지며 감회를 일으키고, 세대가 멀어지고 잊혀질 것이 두려워 이 정자를 짓게 되었다. 정자 공사는 임신년(1812)에 시작해서 1년이 지나 완공되었고, 3파의 자손들이 모두가 힘과 정성을 다하였으며, 시종 일을 주관한 자가 이화택 군이다. … 앞으로 이 정자에서 책을 보관하고(藏書) 배움을 익히는(肄業) 공간으로 삼아 자제들이 학문에 씨를 뿌리고 근본에 힘쓸 것을 권한다.