O mod "Tekkit" para "Minecraft" adiciona tecnologia (motores, geradores). Com mais conteúdo, servidores Tekkit precisam mais memória que o Minecraft vanilla — por padrão usam 2-3 GB RAM, enquanto o clássico usa 1 GB. Para dedicar mais, edite o launcher do servidor.
Abra a pasta do servidor Tekkit, clique com botão direito no arquivo "launch" e escolha "Editar". O código abre no editor de texto. Na primeira linha, a seção -Xmx3G -Xms2G define o heap Java (RAM máxima/mínima). Altere o número após -Xmx para o máximo desejado em GB. O número após -Xms define o mínimo e deve ser ≤ -Xmx. Para valores precisos, troque G por M e use megabytes. Salve e relance o servidor.
Programas 32-bit têm limite de 4 GB. Devido ao overhead do Java, a versão 32-bit em Windows 32-bit limita a ~1,4-1,6 GB; Windows 64-bit aproxima mais do 4 GB. Se tem SO 64-bit, use Java 64-bit para remover o teto de 4 GB.
Baixe Java 64-bit no site oficial. Instala junto do 32-bit (navegadores continuam usando 32-bit). Programas usam 64-bit por padrão se ambos instalados. Se Tekkit ainda tiver problemas com heap grande após instalar Java 64-bit, force o uso alterando java no launcher para o caminho do Java 64-bit, ex.: C:\Program Files\Java\jre7\bin\java.exe.
Altere os padrões apenas por pequenas quantidades conforme necessário. Se o servidor ficar instável após horas ou com muitos jogadores, aumente marginalmente (≤1 GB) e teste. Quando estável, não há benefício em adicionar mais RAM. Alocar demais tira RAM de outras tarefas; não exagere se for usar o PC enquanto roda o servidor. Verifique RAM disponível na aba Desempenho do Gerenciador de Tarefas do Windows.