如今风摆花狼籍，绿叶成阴子满枝
照顾病弟，杜牧不惜丢掉官职开成二年(837)，杜牧突然接到弟弟杜顗来信，说眼疾加重，双目几乎失明了，现正困居扬州禅智寺。杜牧看完信，立即向朝廷请假，带着重金厚礼，亲自赴同州，延请眼科名医石公集，然后一起去扬州，给杜顗看病。
杜牧悉心照料弟弟，很快超过了一百天，弟弟的眼病却没有痊愈。按大唐律，假满百日，就要自动辞官。杜牧不愿丢下弟弟不管，于是继续留下来照顾弟弟，宁可丢掉监察御史的官职。禅智寺地处扬州东北，居高临下，杜牧静坐寺中，耳朵里传来扬州城里的歌声和乐声，伤感油然而生：身处如此喧闹、繁华的扬州，却只能在静寂的禅智寺中凄凉度日，哎！
扬州禅智寺
没有官职就没有收入，一家老小还需要他供养，所以杜牧接受了宣徽观察使崔郸的邀请。秋末，他带着双目失明的弟弟，前往宣州（今安徽宣城），出任宣州团练判官、殿中侍御史内供奉。
杜顗形象
湖州游玩，与妇人约定十年之期杜牧出身高门大户，爷爷杜佑曾三任宰相。作为官三代，杜牧不像一般平头百姓出身的士子那样，对前途战战兢兢。他有天子门生的忠诚担当，也有公子哥儿的放荡不羁，听说湖州盛产美女，工作之余，便到湖州游玩。
杜牧形象
湖州刺史崔君素知道杜牧的诗名，盛情款待，把治下所有官妓都叫来，供他挑选。可杜牧看了又看，有些遗憾："美倒是美，只是不够尽善尽美！"杜牧提出举行一次龙舟竞渡，让全湖州的人都来观看。到时候他在人群中慢慢地走，细细地挑，或许能有他相中的人。
崔君素按照杜牧的意思，在太湖边上举行了这样一次娱乐活动。那天，岸边围观的人挤挤挨挨，杜牧在人群中穿来穿去，挑了一天，竟然没有找到一个合意的。眼看就要失望而归，突然发现一位妇人带牵着一个女孩子的手，向他走来。杜牧眼睛立刻长在女孩身上了，看了好大一会，才激动地说："真是天姿国色啊，先前的那些简直等于没有啊！"
杜牧将这对母女接到官船上，妇人十分紧张，死死盯着杜牧的眼睛。女孩则一派天真烂漫，好奇地打量着官船的里摆设。她眉眼里透着俊俏，看样子只有十多岁，是一副美人胚子的模样。杜牧叫妇人不用紧张，说他暂时不会娶她女儿。但是，十年之内，他会来湖州做刺史，那时女孩也已长大，可以嫁人了。妇人说："那十年后，你若不来，又该当如何？"杜牧说："如果我十年后不来，你就把她嫁与别人吧。"
开成三年（838）冬天，朝廷征调杜牧为左补阙、史馆修撰。杜牧不愿走啊，宣州有让太多让他记挂的事情，首先是惦念湖州那位女孩，此去长安，千里之遥，想见次面可就难了；其次，他的病弟杜顗还没有安排好。但皇命难违，次年开春，他把弟弟送到浔阳（今江西九江），托付给堂兄江州刺史杜慥，然后从浔阳溯长江、汉水西进北上，至长安就任新职。
左补阙是个从七品上的小官，俸禄不高。这时候，杜牧需要承担自己一家、弟弟一家，还有孀妹一家的生活用度，左补阙的俸禄根本不够。而刺史一般为正六品，地位较高，俸禄也较高，所以他主动提出外放。会昌二年（842）春，杜牧出为黄州（今湖北黄冈）刺史；会昌四年（844）九月，迁池州（今安徽贵池）刺史；会昌六年（846）九月，移睦州（今浙江建德）刺史。
直到宣宗大中二年（848）八月，杜牧内升为司勋员外郎，调回中央。但经济还是头等大事，钱不够花最让人头疼。回到长安不久，他就给时任宰相的好朋友周墀连写三封信，请求出任湖州刺史。湖州属于经济发达地区，刺史月俸可以达到八万钱，相当天今天的四万元人民币，足够他支付三家人的支出用度。大中四年(850)，朝廷终于答应了杜牧的要求。
在湖州署衙落脚之后，杜牧马上想起了他与湖州妇人的约定，一晃13年过去，不知那位女孩出落成何等美人了！他派人去请母女俩，结果妇人带了三个孩子来，还告诉杜牧这是女孩生的孩子。杜牧生气道："你既已答应将女儿许配给我，为什么违背诺言呢？"妇人说："约定的是十年，可十年过了，你没有来呀！"杜牧觉得妇人讲得有道理，是自己违约在先，便不再强迫她，还送给她很多礼物。
妇人带着外孙们走了，也带走了杜牧的美好期许。一阵风吹来，院子里落红缤纷，海棠树上的青涩果实隐约可见。杜牧有些遗憾，有些伤心，便写下了《叹花》一诗，寄托自己的心事：
自恨寻芳到已迟，往年曾见未开时。
如今风摆花狼籍，绿叶成阴子满枝。
如今风摆花狼籍，绿叶成阴子满枝
都怪自己寻访春色太晚啊，以前曾经见到的鲜花已经不见。风雨使得百花凋零，树上绿叶繁茂，果实累累，快到收获的季节了。诗人借寻春迟到，芳华已逝，子满枝头，暗喻少女不再妙龄，已然结婚生子的现实，含蓄委婉地表达出机缘已误，时不再来的惆怅之情。
第二年初春，杜牧亲爱的弟弟死了，年仅44岁。三月，杜牧带着失意和伤心，去顾渚茶山监督采茶。顾渚紫笋茶是上贡珍品，芽色带紫，芽形如笋，茶汁碧绿如茵，兰香扑鼻。大历五年(770)，唐王朝在顾渚山侧的虎头岩建贡茶院，据说这是中国历史上有据可查的首座茶叶加工场。对失恋、失亲、失意的杜牧来说，顾渚茶山无疑是疗伤的最佳场。茶山绿油油的景色、茶叶清幽幽的香气、采茶女们欢谑的笑声，让他暂时忘却了烦恼，自喻为"茶仙"。
浙江长兴顾渚村
这年秋天，朝廷拜杜牧为考功郎中，知制诰。考功郎中是一个从五品上的官职，等于给杜牧提了一级。虽然他仍对湖州依依不舍，"千岁鹤归犹有恨，一年人住岂无情。"但还是按照朝廷的要求，八月启程，返回了长安。
