Разобрался, сам был виноват.
Я сделал как в коментарии к https://www.youtube.com/watch?v=CVYjVCuPuY4.
Вместо sfml-graphics-s-d.lib поставил sfml-graphics.lib и пр.
А надо было sfml-graphics-d.lib, у меня же debug сборка. Ну, и в папку с exe-шником своего проекта надо докидывать соответствующие dll.