如果夫妻中的一方或双方仅仅是单纯的有婚外情行为的话，一般是不构成犯罪的。但此时需要区分婚外情与重婚，因为现实中很多婚外情行为实际上已经构成了重婚犯罪。此时就需要按照《中华人民共和国刑法》规定，对重婚的一方定罪处罚。对于有配偶而重婚的，或者明知他人有配偶而与之结婚的，处二年以下有期徒刑或者拘役。
【本文关联的相关法律依据】
《中华人民共和国民法典》
第一千零七十九条 人民法院审理离婚案件，应当进行调解；如果感情确已破裂，调解无效的，应当准予离婚。有下列情形之一，调解无效的，应当准予离婚：
（一）重婚或者与他人同居；
（二）实施家庭暴力或者虐待、遗弃家庭成员；
（三）有赌博、吸毒等恶习屡教不改；
（四）因感情不和分居满二年；
（五）其他导致夫妻感情破裂的情形。
因篇幅问题不能全部显示，请点此查看更多更全内容