问想收房，租房合同未到期，想违约租客不同意

今年买了一个小公寓，离自己家很近，买的时候就想着老人过来住，或者我们过去住，老人住现在老小区的小房子也行。
买的时候前房主告知与租客签了一个三年的合同，还有两年才到期，她不想让租客为难。因为买卖不破租赁，我们又继续与租客签了两年合同，到2023年中才到期，合同约定提前六个月通知解约，解约过错方赔偿两个月的房租。
现在过去半年了，心里翻来覆去的，还是想把租出去的公寓收回来自用，老房子也能正好翻新一下。也跟租客说了可以六个月后退房，并赔给他们两个月租金，但是租客情绪激动不同意，一定要租到到期，不然说腾空让我们赔偿投资损失。。问题是，合同也没这么约定啊！
租客是做小生意的，屋子里有货架，还有，我们的公寓租给他们，应该也是低于市价几百，这些是前房主和他们约定的租金，我们也没有变更。
有没有什么合适的办法让租客尽早搬走呢？不到这个时候真不想求助，实在不想等那么久了，没想到自己的房子现在也住不到。。。