胡缵宗宦迹所至，无不在公余之遐，畅游山水，吟诗作赋，挥毫泼墨，尽兴而归。同治《苏州府志》：
在郡才敏风流，前后罕俪，兴学造士，多所甄拔，觞咏留题，遍满湖山泉石间。
正是其豪放洒脱的人生写照。
正德十四年（1519年），胡缵宗任安庆知府，曾游潜山县天柱山。天柱山石牛古洞虽不甚大，但非常幽雅。洞前有一“大石如牛眠，石上有天然二蹄迹”，因名石牛。此牛硕大无比，横跨溪涧，涧水从颈下泠泠而过。胡缵宗坐在溪旁，观赏“矫矫卧犹生”的石牛，凝视潺潺的溪水、漠漠的山云，摩认玩味前人的题刻，乐而忘形。尤其是王安石、苏轼、黄庭坚等前贤的遗踪和诗刻，更使他追慕不已。
于是，他题“石牛”二字，刻于石牛腹部，至今仍清晰可见。“石牛”二字为隶书，通刻33×55厘米，落款字较小，字径7×7厘米。《天柱山摩崖石刻集注》（安徽省潜山县政协文史委员会编：《天柱山摩崖石刻集注》第74页，2003年1月内部出版）著录。
胡缵宗又作《石牛》诗：
耕时云已红，卧处月犹白。
上为河边星，下为溪边石。
此诗收入《鸟鼠山人小集》卷二（明嘉靖十八年刻本，清顺治十三年补刻本）。
石牛在山谷石牛洞，洞旁石牛溪内有石伸出如卧牛，后渐淤没。1983年掘出时头部已毁，尚存牛身。上有明刻，即此诗。
云已红：指清晨太阳出山之前。
上为河边星：因牵牛星列于银河边，故有此语。潘岳《西征赋》：“仪景星于天汉，列牛女以双峙。”唐元稹《新秋》诗:“殷勤寄牛女，河汉正相望。”
全诗熔现实与传说为一炉，塑造了一头勤劳、神秘而令人喜爱的石牛形象。
,
