'Niet iedereen staat te springen om meer sociale woningbouw in de buurt'