Son las siglas de Red, Green y Blue, los tres colores que conforman toda la gama cromática que ves en tu pantalla. Entonces, si vas a crear una imagen para ser utilizada en pantalla (facebook, twitter, una web, un blog, un documento PDF para ser enviado por email, etc.) hay que utilizar el modo de color RGB.
También tienes otras opciones de modo de color como escala de grises, LAB, mapa de bits, y otros basta con saber elegir bien entre RGB y CMYK es más que suficiente.
Son las siglas de Cyan, Magenta, Yellow y BlacK, los 4 colores que se utilizan en una imprenta para imprimir cualquier documento en cuatricomía. Por lo tanto, si creas un documento para ser impreso en imprenta, utilizarás el modo de color CMYK. Ten en cuenta que las impresoras modernas la pueden imprimir perfectamente en RGB.