Наверное уже не актуально, но быть может кому-то пригодится.
Первое что пришло в голову – скорость разделить на массу.
player.x += (0.1/M)*time*(pos.x – player.x) / distance;
В таком случае скорость не станет отрицательной.
При желании большей реалистичности, можно заглянуть в учебник по физике)