Обновился к версии Skype 4.2 beta. После обновления Skype ну никак не пропадал с панели задач после закрытия, как это было в предыдущей версии.
В настройках ничего подобного нет. Решениие оказалось простым, надо запускать Skype в режиме совместимости с Vista. Для этого в свойствах ярлыка запуска Skype ставим такую опцию:

Теперь окно не будет оставаться в трее. В следующей версии разработчики обещают добавить в настройки соответствующую опцию.

Уже добавили, ставьте последнюю версию.

P.S. Кстати, Windows Live Messenger  имеет такую же проблему. Решается она аналогично.