故事發生在17世紀馬薩諸塞灣的英屬殖民地。赫絲特（黛米·摩爾飾）離開身為醫生的丈夫獨自來到此地，其自由奔放的性格與清教徒社會格格不入。當地牧師阿瑟（加里·奧德曼飾）被她的真摯吸引，兩人陷入禁忌之戀。當殖民地誤傳赫絲特的丈夫齊靈渥斯（羅伯特·杜瓦爾飾）被印第安人殺害后，赫絲特因懷孕暴露罪行被捕。在法庭上她拒絕供出情人身份，被判入獄并終生佩戴象征通奸的猩紅字母A。出獄后齊靈渥斯突然現身，以化名羅杰潛入殖民地展開復仇。他逐步瓦解阿瑟的精神防線，最終迫使牧師在刑臺公開懺悔后倒地身亡。赫絲特帶著女兒珠兒棲身荒野，多年后在齊靈渥斯死后重返殖民地。盡管獲得自由，她仍選擇繼續佩戴紅字A，這個曾代表恥辱的符號逐漸被人們視為堅韌與新生的象征。