彭德怀自搬进吴家花园，就切断了和自己生命相连的军队的关系。"军事俱乐部"、"反党小集团"这些远远超过思想路线问题的罪名，使他不得不和党内的战友也断绝了来往。杨尚昆有时到吴家花园来，是借着安排生活的名义。杨尚昆回忆说："也是想去看看他。"朱德总司令来看他，和他对弈，他不要朱德再来了。解放军卫生部长傅连暲来看他，他说，我犯错误了，你来做什么？傅连暲说："我是个医生，你是我的病人，我来看病人的!"解放军上将李志民的儿子曾翻过墙到他屋子里坐了一会儿，他的父亲只要知道彭老总是否还在人间。另一个上将杨得志在颐和园偶然遇到彭德怀，彭德怀装出没有看见他的样子。杨得志跟在身后，向警卫员景希珍详细打听彭老总的情况，走了很长一段路。解放军忘不了彭老总。在吴家花园的门外墙边，还曾发现过一袋大米、两条大鱼，悄悄放在那里。是谁送来的呢？没有留下一句话。

　　尽管彭德怀自己规定一个军人也不见，以免引起嫌疑，牵累来者，但几年来有一个军人的妻子常来看他，他却不拒绝，这就是1930年牺牲的红三军团纵队司令员陈毅安烈士的妻子李志强。李志强和儿子曾被国民党抓去坐牢，出狱后，母子二人在国民党统治区顽强挣扎到全国解放。多年来，彭德怀一直关心着这母子一家的生活。

　　十中全会以后，彭德怀劝李志强不要再来看他了，李志强仍不时带着全家人到吴家花园来。一天，李志强又带着儿子、儿媳、孙儿一起来了，彭德怀笑着问李志强："我一个犯错误的人，你们又来干什么？"李志强也笑答："我是个老百姓，不干政治的事。"这天，彭德怀心情似乎很好，邀李志强参观了他的菜园、果园，从一棵桃树上撷下几个大桃送给李志强，并口占四句诗相赠。多年以后，当李志强有可能和人谈起这件往事的时候，她已经年迈体衰，只能回忆起后面两句：

　　平生戎马无暇日，

　　老来偷闲学种桃。

　　这两句诗虽为自嘲，也确是彭德怀这一段生活的一个侧面。使人不禁想起南宋曾举兵抗金的词人辛弃疾晚年退闲后的名句："却将万字平戎策，换得东家种树书。"

　　为了给以后回乡生产自食其力做准备，彭德怀在吴家花园买了不少土壤学、栽培学等农业技术书，又拜附近果园的农艺师刘富先和孟瑞祥为师，学习果树栽培嫁接技术。吴家花园在几年内改了观，除有麦地、菜畦、鱼池，还种了桃、梨、核桃、苹果、葡萄、柿子各种果树。他计划把北方能生长的果树都引进吴家花园做实验，他和13岁就学艺、曾培育出秋香、燕红等著名蜜桃品种的园艺师刘富先结下友谊，常相过从。不想，这一非政治性的友谊，也使刘富先在以后的"文化大革命"中被关押了一整年。

　　吴家花园的岁月悠长又匆促地过去了。在漫长的冬夜，彭德怀也常常看小说，读历史，特别喜欢读人物传记。他不再说自己是张飞，而常说："我就像明朝的于谦。"

　　于谦在明朝曾官至兵部尚书，当北方民族瓦剌兵临明都北京城下之际，他受命于危难，举兵抗击，使局势转危为安。于谦为官清廉，性格耿直，生活简朴，不阿附权贵，后为瓦剌反间计所中，被明英宗以"意欲"罪杀害。《明史》载于谦被抄时："家无余资，萧然仅书籍尔"。

　　彭德怀十分喜欢于谦那首有名的《石灰吟》：

　　千锤万击出深山，

　　烈火焚烧若等闲。

　　粉骨碎身全不惜，

　　要留清白在人间。

　　他几次对侄女彭梅魁、彭钢说："我死后什么也不要留下，一身清白。"