Um sistema de processamento distribuído ou paralelo é um sistema que interliga vários nós de processamento (cada nó pode ser um computador) de maneira que um processo de grande consumo seja executado no nó "mais disponível", ou mesmo subdividido por vários nós.
Fonte: https://pt.wikipedia.org/wiki/Sistema_de_processamento_distribu%C3%ADdo