Можешь попробовать делать, как делают демоны в linux, а именно: определить в системе под твою программу файл. Как только программа начинает работать считывает из этого файла pid процесса, если такой процесс существует программа закрывается, так как это значит, что уже один экземпляр данной программы работает. Если процесса с таким pid нету или файл пустой, то значит что ни одного экземпляра твоей программы не работает. Записываешь в файл pid текущего процесса и продолжаешь работу программы. Как только программа завершается очищаешь файл.
Есть еще другой вариант: становишься на про слушку определенного порта. Если порт занят, то значит что программа уже работает, если нет то можешь работать дальше. Только как по мне это хреновый вариант.
А вообще не совсем понимаю, зачем тебе это нужно.