Es la primera Institución Educativa Secundaria de la Provincia de Carabaya. Los gestores de éste claustro del saber fueron las autoridades políticas, eclesiásticas y vecinos notables, quienes hicieron los trámites pertinentes para concretizar ese anhelo, porque era una necesidad de la población carabaina contar con una Institución de Educación Secundaria, donde se puedan formar las futuras generaciones, los mismos que se encargarían en adelante de forjar el desarrollo de su pueblo, bajo esa perspectiva, en el año 1963 se logró que esta institución funcione inicialmente como Colegio Particular. La perseverancia y tenacidad lograron que al año siguiente se cristalice aquello que comenzó como una ilusión, justamente en el periodo del Presidente de la República Arq. Fernando Belaunde Terry, en el cual se emite la Ley N° 14911, el 15 de Enero de 1964 donde se crea el “COLEGIO NACIONAL MIXTO DE MACUSANI”.
Mientras los trámites para su funcionamiento se concretizaban, los actores no se durmieron en sus laureles, es así, que el 15 de Abril de 1964, en acto solemne presidido por las principales autoridades de la Provincia, encabezados por el Sr. Marcos Duich Popovich (Alcalde), Sr. Gerardo Chávez Lazo (Subprefecto), R.P. Jaime Aragón Núñez, Sra. Sabina de Macedo (esposa del entonces parlamentario José Macedo Mendoza), y pueblo en su conjunto, inauguran oficialmente el funcionamiento del “COLEGIO NACIONAL MIXTO DE MACUSANI”, con la ilusión puesta en el progreso y desarrollo de esta parte del país. El 20 de Mayo, bajo la Resolución Directoral N° 1269 emitido por la Dirección de la IV Región de Educación de Arequipa, reconocen oficialmente como Director al Sr. Teodoro Walter Morales Arce y al personal docente que fueron parte de la creación de esta institución, considerada como alma mater de la educación carabaina, que desde sus aulas surgieron prominentes líderes en el ámbito político, social, cultural, deportivo, etc.
Durante sus años de existencia sufrió algunos cambios en su denominación, producto de las políticas educativas experimentadas por los gobiernos de turno, es así, que en el año 1972 por D.L. 191326 (Ley de la Reforma Educativa) y por disposición Ministerial cambió la denominación a Centro Educativo Base. En el año de 1982 por disposición de la Ley Nº 23384 (Ley General de Educación), de fecha 18 de Mayo se cambió de Centro Educativo Base a Colegio de Educación Secundaria de Menores. El cambio más significativo se da en el año 1990, cuando por Resolución Directoral Nº 034 de fecha 15 de Mayo, la Dirección del Programa Sectorial II, Unidad de Servicios Educativos de Carabaya – Macusani, resuelve reconocer, al Colegio Secundario de Menores de Macusani, por el de Colegio Secundario de Menores “JOSÉ MACEDO MENDOZA”, para todos sus trámites legales. Cambio que se dio en gratitud a este insigne y brillante personaje que trabajo desde el parlamento por el crecimiento y desarrollo de esta parte del altiplano peruano. La denominación actual de Institución Educativa Secundaria Pública “José Macedo Mendoza” se da en función a la Ley Nº 28044 (Ley General de Educación) promulgada el 17 de Julio del 2003. El año 2005 nuestra institución es reconocida como institución educativa LÍDER en la provincia de Carabaya según la R.D. Nº 347-2005-UGEL-C.