Não há necessidade de desinstalar o Internet Explorer depois de instalar o Firefox. Na realidade, o Windows e alguns programas precisam do Internet Explorer para funcionarem corretamente. Também precisam do Internet Explorer para acessarem determinados sites, como o Windows Update.
Para fazer com que o Firefox seja o seu navegador preferido, veja Como tornar o Firefox o navegador padrão.
Para remover atalhos do Internet Explorer, você pode usar um recurso disponível no Painel de controle do Windows, chamado "Definir acesso e padrões do programa". Veja estes artigos no site da Microsoft para obter mais informações:
Baseado nas informações do Internet Explorer (mozillaZine KB)