上个世纪的三四十年代，中国西北的有个古老的农村。因为坐落在一个山里面，村子里还没有遭到战争的破坏，村民过着平静的生活。村子里最高的权威是长老，村子里的困难户叫牛二，父母双亡，也没有老婆，他养了一头老黄牛，整天脏兮兮的，村子里的没有人瞧得起他。
这一天，村子里来了一队八路军，很多伤员，是在村子里休养的。八路军还带来一头奶牛，每天牛奶给伤员补充营养。突然有一天，八路军要紧急撤离，日军就要攻击这个村子，奶牛没有办法一起撤离，就把奶牛委托给了村子里长老代为饲养，还留下几枚银元和一张字据。
长老也很为难，日军来了，这么大的奶牛，很容易被日军发现。所有的男人都被集中到广场抓阄，牛二耍奸不去抓阄。这个时候，村子里的寡妇九儿，自告奋勇帮牛二抓阄，没想到，抓到了奶牛的饲养权。
牛二说什么也不愿意，长老做主把九儿许配牛二，牛二就答应了饲养奶牛。
牛二偷懒，这几天躲在山上。村子遭到日军的攻击，他来到村子，没有看到一个人，到处都是尸体，他也看到了九儿的尸体，他非常难过。村子的阁楼一声巨响，一面墙倒了，上面是奶牛。牛二把奶牛牵下来，奶牛非常倔，他找了一些饲料喂它，照顾它。
这天日军的小分队来到这个村子，这是一对伤员的日军，他们是想在这个村子修养的。由于奶牛不听话，牛二只能独自跑到山上躲避。日军发现了奶牛，他们用牛奶补充营养，晚上聚在一起唱歌。日军在他们住的周围布满了地雷，牛二在山上用捡到的望远镜看得清清楚楚。
奶牛在日军手里，牛二想偷回来。他不会使用枪支，用自制的弓箭，都失败了。牛二被日军抓到了，日军就要处置牛二了，有一对八路军打进村子。这一队日军一下子就消灭了，八路军伤亡也很大，很快就撤离了。
这个村子就剩下牛二和那头奶牛。村子来了一大队难民，牛二就挤牛奶给难民喝，由于太多的难民，奶牛再也挤不出牛奶。难民就提议杀了奶牛吃肉，牛二不愿意了，这个是八路军的奶牛，寄养在我们村子的，到时我拿什么还给八路军。难民只有离开了这个村子去别的地方找吃的。
其中有两个年轻力壮的人留了下来，他们想偷偷杀了奶牛吃肉。夜色下他们找到饲养奶牛的地方，没想到他们都被日军埋的地雷炸死了。
牛二感觉村子是待不下去了，他牵着奶牛来到山上。他和奶牛住在山上，搭建窝棚，种菜种粮。日子一天天过去，牛二思念去世的父母，也思念九儿，他给奶牛取个名字叫九儿。
这一天，他看到山下走过一对军队，他跑下山，想把奶牛还给八路军。他找到军队的领导，说明原由。长官告诉他，八路军已经改编为解放军了，至于奶牛他做主送给牛二。他说不会再下山了，牛二求长官给他写个墓志铭。
长官写下“牛二之墓”。
