电影讲述了在毛泽东发动的“四清运动”及“文化大革命”中，湘粤桂三省交界处的芙蓉镇上，知识分子秦书田（姜文饰）和人称“芙蓉姐”的胡玉音（刘晓庆饰）的遭遇。
胡玉音与丈夫桂桂（刘利年饰）租下好吃懒做的破落户王秋赦（祝士彬饰）的祖屋，在国营商店对面经营一家米豆腐店。夫妻俩热情好客，在镇上人缘很好，做的米豆腐也美味可口，胡玉音的干哥、镇党支书黎满庚（张光北饰）常来光顾，粮站主任谷燕山（郑在石饰）也把碎米作为饲料出售给他们加工使用。就这样两人靠自己的打拼渐渐攒起一笔钱。暗恋谷燕山的国营饮食店经理李国香（徐松子饰）在生意和人际关系上都比不上胡玉音，因此心生嫉妒。
李国香靠着舅舅的关系调到了县里当上了商业局的科长；桂桂和胡玉音夫妻俩买下了王秋赦的房子，扩大了店面，招待镇上亲朋四邻共庆喜事。不久迎上“四清运动”，李国香作为主持调查的领导回到芙蓉镇开展工作，她将王秋赦定性为遭到压迫的穷人，将胡玉音定性为“反革命五类分子”中的“富农婆”，桂桂让胡玉音去投奔亲戚躲避风头。胡玉音把存下的积蓄偷偷交给黎满庚保管，而黎满庚当初为了仕途弃绝了“出身不好”的恋人胡玉音，认她做干妹妹，这次他又一次背叛胡玉音，把她的积蓄交给了李国香，胡玉音再回来时，桂桂因为刺杀李国香未遂，已经被处死。
李国香找到谷燕山，恶意揣测谷燕山和胡玉音是奸夫奸妇，面对对方的恶意揣测，谷燕山愤懑之中称要脱下裤子证明清白，李国香则说召开全镇大会让谷燕山在群众面前脱裤裤子，谷燕山说自己是被李国香逼的，自己在战争中已经负伤了，李国香看此情形说就算你不是，黎满庚又为何和胡玉音打得火热的，最后说到谷燕山、胡玉音、黎满庚和秦书田互相勾结，实质上是一个小集团。
胡玉音被安排与县文化馆原馆长、现人称“秦癫子”的“右派”秦书田一起清扫大街，她将自己的遭遇归咎于秦书田，认为是秦书田在她成亲时唱的贺喜歌、盖新房时写的贺喜对联内容“反动”招致了祸端。秦书田则不以为意，反而处处照顾胡玉音。
“文化大革命”开始后，王秋赦跟着红卫兵一起批斗李国香，在她脖子上挂上破鞋。即便受到如此侮辱，李国香仍不愿与扫大街的秦书田和胡玉音为伍，仿佛只有她真的受到了委屈。不久后李国香恢复身份回到芙蓉镇，王秋赦拼命巴结，两人在某天夜里借着“汇报工作”发生了关系。
秦书田和胡玉音在每天的工作中滋生了感情，谷燕山则为他们证婚。王秋赦看到后妒火中烧，李国香对秦书田和胡玉音判了刑。
文化大革命结束后，李国香升职调任到省里。王秋赦则一落千丈，更逢房屋倒塌，只能重新走上街头成为流氓，不久后精神失常，整日高呼“运动了”在镇上游走。秦书田得以平反，却拒绝了回到县文化局的工作，回到家里与妻儿团聚。