а что за большой спрайт у тебя? может он слишком большого разрешения? программу можно попытаться распаралеллить. на хабре есть хорошие статьи по open mp. в целом можно и sfml путями раскидать по потокам.
а еще возможно что при наведении на спрайт где то происходит какое то зацикливание