Правильно, это единственный выход для вас. Будете жить в новом доме и никто там вам уже не будет мешать и не будут ограничивать доступ к вашей квартире. Вам необходимо требовать проведение экспертизы о состоянии дома и затем когда его признают аварийным то уже через суд всех вас выселят оттуда и дадут новые квартиры.