今日花港观鱼公园在苏堤西，公园大门在苏堤南端的第一桥（映波桥）与第二桥（锁澜桥）之间，向西跨过一汊之隔的定香桥，那一大片极美的区域既是。
但读南宋《武林旧事》，苏堤第一桥与第二桥西并无花港观鱼景点，而是先贤堂与旌德观。先贤堂又名仰高堂，祠许由以下共四十人，均为宋之前各代杭州先贤及节妇孝子的代表人物。旌德观是道观，原是佛寺名定香，袁韶时改为道观，后又复为定香教寺。
(西湖清趣图：苏堤南第一桥与第二桥间，堤西建筑在南宋时应是旌德观或定香寺，并非花港观鱼）
南宋时的花港观鱼景点并非在此，却是在苏堤的对岸（里西湖西岸）。
《武林旧事*湖山胜概*大麦岭》载：“卢园：内侍卢允升园。景物秀奇，西湖十景所谓‘花港观鱼’，即此处也。”
明《西湖游览志*孤山三堤胜迹》云：“（苏堤）第三桥曰望山，与西岸第四桥对。水名花港，所谓‘花港观鱼’者是也。”
西岸第四桥，指杨堤沿湖第四桥，在今丁家山东端，现西湖国宾馆一带，今地图上，那儿有一湖汊正对苏堤望山桥，此湖汊宋时称花港，当时花港观鱼景点应在湖汊纵深处的卢园内（今国宾馆内）。
《西湖游览志*卷四*南山胜迹》云：“卢园，宋内侍卢允升小墅。景物秀奇，有池，文石甃砌，水洌而深。异鱼种集，西湖十景所谓‘花港观鱼’，即此地也。”
此地在大麦岭东的丁家山后，名花家山（非今日花家山庄处），旧有花坞、花港；南宋内侍卢允升在此修建了别墅，曰卢园；文人雅士、宫廷画家多有往来，画师创作西湖十景时，见花港的池中奇鱼云集，非常有特点，于是命名为花港观鱼。这是花港观鱼景点名称的由来。
宋·张矩《应天长*花港观鱼》词：
“岸容浣锦，波影堕红，纤鳞巧避凫唼。禹浪未成头角，吞舟胆犹怯。
湖山外，江海匝。怕自有、暗泉流接。楚天远，尺素无期，枉误停楫。
回望涌金楼，带草蛮烟，缥缈际城堞。渐见暮榔敲月，轻舫乱如叶。
濠梁兴，归未惬。记旧伴、袖携留折。指鱼水，总是心期，休怨三叠。”
南宋·陈允平《蓦山溪*花港观鱼》：
“春波浮渌，小隐桃溪路。烟雨正林塘，翠不碍、锦鳞来去。
芹香藻腻，偏爱鲤花肥，檐影下，柳阴中，逐浪吹萍絮。
宫沟泉滑，怕有题红句。钩饵已忘机，都付与、人间儿女。
濠梁兴在，鸥鹭笑人痴。三湘梦，五湖心，云水苍茫处。”
古代文人观鱼，往往会提及“濠梁兴”，所谓濠梁兴，典出《庄子*秋水篇》，言庄子与惠子游于濠梁之上观鱼，庄子见鱼从容而泳，“是鱼之乐也！”于是产生了两句经典的对话，惠子曰：“子非鱼，安知鱼之乐？”庄子曰：“子非我，安知我不知鱼之乐！”于是庄子及后人便由此产生了许多哲理的思考与思辨。濠梁兴也成了观鱼与咏山水之乐的代名词，
到了南宋末，花港观鱼景点或已没落。南宋诗人王洧《湖山十景*花港观鱼》诗云：“断汊惟余旧姓存，倚阑投饵说当年。沙鸥曾见园兴废，近日游人又玉泉。”说是那个名叫花港的湖汊，其间卢园已经名存实亡，水鸟见证了它的兴废，近来人们观鱼又都去玉泉寺了。
明代也有诗人吟咏花港观鱼之景，已不知何处了，或大都是想象之中的景。诗人聂大年的《西湖景十首*花港观鱼》诗，读之，不见观鱼人，只有捕鱼人了：
“湖上春来水拍空，桃花浪暖柳阴浓。微翻荇带彩千尺，乱跃萍星翠几重。
洲渚此时多避鹭，风云何日去为龙。个中纵有濠梁乐，阔网深罾不汝容。”
（花港观鱼：鱼乐图）
清康熙年间，因迎接皇帝下江南，杭州官员大兴土木，以图恢复南宋十景景观，在苏堤定香寺遗址上重新筑造了花港观鱼园林新景点，即今处，与南宋时里西湖西岸的花港观鱼原处南北隔水相望。清人咏花港观鱼之诗，都是指此处（今亦是）。
清·厉鹗《淸江引*花港观渔》：
“东风倚阑花似雪。小汊分鳞鬛。
鱼将花吐吞，花逐鱼明灭。人生不如鱼乐也。”
厉鹗观鱼后，发出了人生不如鱼乐的感叹！
而喜欢写诗的清乾隆帝弘历曾写《题西湖十景*花港观鱼》诗：
“花家山下流花港，花着鱼身鱼嘬花。最是春光萃西子，底须秋水悟南华。”
弘历之后每到杭州，都会按原韵再写一首《花港观鱼》诗，如此五叠。其《题西湖十景五叠旧作韵*花港观鱼》诗：
“渠成水到自为港，名以实传因号花。却异如棠观鱼者，随时玩景助年华。”
乾隆觉得观鱼无非是“玩景观年华”，图个乐子而已，是不必去像庄子在《秋水篇》里那样去思考人生悲欢的，故云“底须秋水悟南华”。简言之，有濠梁兴、观鱼乐即可，不必每每因此去深层次地思考人生哲理。南华：《南华真经》，是《庄子》的别名。
,
