قالوا: نفسك غلبتنا عليها، أما ابنتنا (يعنون زوجته) فلا والله لا نتركك تأخذها معك. وجاء أقاربه فقالوا: ونحن والله لا نترك ابننا (يعنون سلمة) معكم؛ ففرقوا بين الرجل وأسرته، ثم فرقوا بين المرأة وابنها، بعد أن تجاذبوه حتى خلعوا يده، وترك أبو سلمة كل ذلك وهاجر لله ولرسوله.