Господи, это такой треш, короче я с того момента так ничего и не придумал, спрашивал на английских форумах, там все предлагали перепроверить либы, один вообще говорил, что у меня итератор удаляется слишком рано, вообщем я отчаялся, но вдруг пересматривая уже в последний раз код я заметил это, у меня было написано if (p.getRect().intersects((*iter1)->getRect()));
что-то подозрительная точка с запятой, ОНА МЕШАЛА ПРОВЕРКИ ПЕРЕСЕЧЕНИЯ и в итоге все команды снизу начинали выполняться обходя, жесть полная, столько было теорий, даже какие-то совсем непонятные вещи мне говорили