GUI sam po sebi ne bi trebalo da ima tolikog uticaja na performanse.
Možeš li da nam pokažeš project settings za kompajler u oba slučaja? Idi na Project Properties, C++, Command Line i iskopiraj šta tamo piše.
Inače, VC++ 2005 ima čudnu osobinu da koristi čekirane iteratore i u release verziji što itekako utiče na performanse:
http://www.codeproject.com/vcpp/stl/checkediterators.asp
Međutim, ti iteratori su čekirani i u konzolnim aplikacijama, tako da ne vidim vezu.