对于没有协议的话土地使用权所有人可以收回房屋的权利,但是有协议的规定的话房屋还是应该属于房屋建造者的。要结合自身的相关情况来确定。根据《中华人民共和国物权法》第一百五十三条:宅基地使用权的取得、行使和转让,适用土地管理法等法律和国家有关规定。