В общем поспрашивал я на форумах, проблема нашлась:
Собственно проблема в том, что при создании чего-то в потоке, создается скрытый контекст opengl, оно пихается в “глобальную корзину” (std::set <GlContext*> internalContext) и при уничтожении потока не освобождается. Освобождение произойдет только когда больше не останется контекстов(в Context.cpp есть переменная count, когда станет ноль, то будет вызвана функция globalCleanup, которая почистит эту “корзинку”).
Ну и так пользоваться потоками очень не советуют.