Para que todos esses processadores trabalhem em cooperação, é necessário que, em primeiro lugar, tenham algum tipo de comunicação entre si. Essa comunicação pode ser direta - ou seja, como se fosse um computador só contendo todos os processadores - ou em forma de cluster - muitos computadores comuns ligados entre si para simular um supercomputador, normalmente em uma rede comum de computadores.
Mas não basta ligar todo mundo em rede para ter um supercomputador. É preciso que o sistema operacional em cada um deles seja preparado para isso, e ainda que haja um software central para distribuir as tarefas entre todos eles. No caso dos clusters, o software mais popular para isso é o Beowulf (beowulf.org), gratuito e aberto, mas há outras opções pagas como o MOSIX (mosix.org) e o Microsoft Windows Computer Cluster Server 2003.
A gratuidade, o código aberto e a grande comunidade que se formou em volta do Linux e do Beowulf permitem que se construam, facilmente, pequenos supercomputadores “em casa” (ou na Universidade, como normalmente é o caso), a custo baixo. Qualquer um pode construir um supercomputador modesto se tiver vários PCs à disposição e quiser “meter a mão” em configurações de rede e na instalação do Linux e do Beowulf. Para mais informações, um bom ponto de partida é o artigo da wikipedia sobre clusters, disponível em en.wikipedia.org/wiki/Computer_cluster (em inglês).
No caso dos supercomputadores maiores, em que os processadores (ou "nós", como também são chamados nesse ambiente) são ligados internamente, cada instalação têm o seu software próprio de controle. Uma coisa bastante comum entre todos, entretanto, é que a maioria dos supercomputadores no mundo (mesmo os maiores) rodam alguma versão do sistema operacional Linux.