Данное выражение связано с полицейскими порядками в царской России.
Бездомных бродяг, не имеющих документов и вида на жительство, записывали как людей с двумя характеристиками. Одна их характеристик — "родства не помнящие". Как звучала вторая уместная характеристика?