17세기부터 풍천임씨의 별장으로 사용된 이요당(二樂堂)·빙허루(憑虛樓)는 기단을 쌓고 양옆과 뒤가 막힌 당(堂)과 다락 형태로 높게 지은 루(樓)의 기능을 모두 갖췄다. 서출지의 제방이 기단 역할을 하고, 물 위에 기둥을 높게 세워 건물을 올렸으니, 경치를 감상하기에 최적의 공간 건축물이다.  활산(活山) 남용만(1709~1781)이 지은 「빙허루 중수기(憑虛樓 重修記)」를 보면, “빙허루는 임씨의 별장으로, 빼어난 경관으로 소문났으며, 서출지 위에 있다. 아래로는 땅이 없고, 물과 수십장 떨어져 떠 있다. 허공(空虛) 사이에 새가 나는 듯 화려하고, 초연(超然)히 기댈 곳(所憑)이 없는 듯하니, 이것이 빙허루(憑虛樓)라 이름 지어진 이유이다. 숭릉 갑진년(1664)에 처음 지었고, 원릉 병진년(1736)에 무너져서 고쳐 지었다. 금년 경자년(1780.정조4) 가을에 거듭 썩고 무너진 것을 보수하였다.(『活山集』卷5,「記·憑虛樓重修記」,“憑虛樓者, 任氏別閣. 以勝觀聞, 在書出池上. 下臨不地, 離水數丈而浮. 翬飛鳥革於空虛之間, 而飄飄然如無所憑, 此其所以名也. 崇陵甲辰, 肇刱之. 元陵丙辰, 因其頹而改搆之. 今上四年庚子秋, 重補其朽敗.).”라며, 건축물의 내력을 설명한다. 서출지의 누각은 임화세의 조부인 임적(任勣,1612~1672)이 1665년에 완공한 것으로 「이요당 창건기」가 전하며, 아들 오봉(鼇峯) 임인중(任仁重,1645~1721)과 손자 시옹(是翁) 임화세(任華世,1675~1731)를 거쳐 대대로 별장으로 사용되었다. 이요당·빙허루 현판을 단 누각은 완공 이후 세월의 풍파와 비바람에 훼손되었고, 1781년 중수(重修)되기에 이른다. 신라의 사금갑(射琴匣) 전설이 서린 서출지는 나라의 변괴를 알린 유명한 명승지로 많은 시인묵객이 이곳을 다녀갔고, 풍천임씨의 누각이 세워지면서 풍류와 휴식처로 더욱 이름났다.  연경재(硏經齋) 성해응(成海應,1760~1839)은 「소화고적(小華古蹟)」에서 특별히 금오산의 서출지를 언급하였고, 특히 남인계 퇴당(退堂) 유명천(柳命天,1633~1705)은 1694년(숙종20) 4월에 갑술옥사(甲戌獄事)로 강진(康津)에서 포항 오천(烏川)으로 이배(移配) 되면서 빙허루를 찾아 임인중을 만났고, 그가 남긴 시가 아직도 남아있다.  또 임화세는 화계 류의건과 남용만·치암(癡菴) 남경희(南景羲,1748~1812) 등 지역의 문사들과 이곳에서 자주 만나 회합을 가졌고, 차운시(次韻詩)를 많이 지었다. 여강이씨 정헌(定軒) 이종상(李鍾祥,1799~1870)은 외손의 입장으로 무더운 여름날 풍천임씨 임화세의 몽희당(夢羲堂)을 찾았고, 새롭게 단장된 서출지의 빙허루에 올라 걸려있던 시판에 차운하여 경치를 읊조렸다.  『정헌집(定軒集)』권1,「詩·自夢羲堂 緩步 登憑虛樓 次板上韻(자몽희당 완보 등빙허루 차판상운)」을 보면, 몽희당은 임화세의 은거처로 남산 기슭에 있고, 몽희당에서 누각까지는 가까운 거리로, 이종상은 임화세의 곧은 기개를 생각하며 감격에 겨워 천천히 걸음을 옮긴다.  둔덕에 지어진 누각은 물에 떠 있는 듯 착각을 일으키고, 크고 오래된 소나무가 시원한 그늘을 선사하며,. 게다가 연못의 아름다운 연꽃은 나그네의 발길을 끌어들이고, 배를 띄워 노니니 더위를 잊은 듯 시원함이 밀려온다. 아마도 당시의 서출지는 지금과 사뭇 분위기가 달랐고, 현재는 수많은 백일홍이 가을이 다 가도록 붉게 피어있다. 이종상은 조부 이헌석(李憲錫)·부친 이정열(李鼎說)의 가학을 이어받았고, 1831년(순조31) 진사에 오른 후, 돈녕부주부·한성부판관·용궁현감·개령현감·강원도사 등을 역임하였으며, 입재(入齋) 정종로(鄭宗魯,1738~1816)의 문인으로 영남학파의 학통을 계승하였다. 모친은 영양남씨 남용만의 아들인 치암 남경희의 따님이고, 또 양한당(養閒堂) 이정규(李鼎揆,1735~1810)가 임화세의 사위였기에 양동에서 남산동[빙허루]과 암곡동[지연정사] 간의 왕래가 잦았다.  유생의 강학처 사마소를 출입하며 「영광대기(影光臺記)」를 남겼고, 육영재(育英齋)에서 「심경」·「근사록」을 강의하였으며, 훗날 보문동에 보문정사(普門精舍)를 짓고 후학을 양성하였다. 또 남홍양(南鴻陽,1768~1849) 등과 깊이 교유하였고, 1860년 지연정사에서 외조부 남경희의 「치암집」을, 1865년 이언괄(李彦适,1494~1553)의 「농재집(聾齋集)」과 이의윤(李宜潤,1564~1597)의 「무첨당집(無忝堂集)」 등을 교정하는 등 문장에도 뛰어났다.