海丝特·白兰因犯了通奸罪受到加尔文教派权力机构的惩罚，胸前佩戴着标志通奸的红色“A”字站在古老的枷刑台上示众。她的手中抱着这个罪孽的证据：一个出生仅数月的婴儿。在人们无情的注视下，她拒绝了年轻牧师阿瑟·丁梅斯代尔提出的忏悔并供出同犯的要求。受过惩罚后，海丝特在城外远离人群的一间小茅屋里住了下来。她以作针线活维生，并细心地照料着她的女儿—珠儿。这时，海斯特的丈夫来到了美国。他满怀仇恨地改名为罗杰·奇林沃思，以医生的身份暗中察访与海丝特通奸的同犯。很快七年过去了。珠儿已成长为一个美丽可爱的小姑娘。而海丝特因为不断热心接济和帮助别人，最终赢得了人们的尊敬，使胸前那本来代表耻辱的红字变成了美好善良德行的象征。而经过多年的窥探，罗杰也认定了“道德伟大”的丁梅斯代尔牧师就是那个隐藏的同犯。于是他千方百计地接近牧师，旁敲侧击，冷嘲热讽，不停地在精神上对牧师进行折磨。海丝特为了使丁梅斯代尔逃离丈夫的阴影，决心带着女儿和他一起逃走，但却被罗杰发现，计划失败了。而对罗杰的恐惧和自己隐瞒罪责的煎熬使丁梅斯代尔的健康每况愈下。终于在离开尘世前夕，他在全体教众的面前，挽着海丝特和他们的女儿珠儿登上了枷刑台，用以生命为代价的深切忏悔换取了道德上的新生。