La disposition architecturale des HLM fait que ceux-ci sont rarement accessibles pour une personnes en fauteuil roulant. Les logements adaptés sont très rares notamment parce que la construction des HLM date de 1960-1970 avant la loi imposant l'accessibilité des logements sociaux. Depuis 1991, les logements au rez-de-chaussée doivent être accessibles pour les constructions neuves. Par contre en cas de rénovation, il n'y a pas d'obligation.

Dès lors les associations françaises tirent la sonnette d'alarme. En effet plus de la moitié des personnes handicapées à la recherche d'un logement social ne seront pas relogées par manque de logements accessibles.

Le problème est identique en Belgique notamment par le fait que les sociétés de logements sociaux utilisent des points de priorité et qu'il n'est pas rare qu'un logement accessible soit donné à une famille valide car celle-ci à plus de points de priorité que la personne handicapée. Ce n'est qu'en changeant le système qu'on pourra résoudre ce problème.