En 1865 se matriculó en la École Navale de Brest, pero optó por no ejercer la carrera militar. Se anotó en la Escuela Superior de las Bellas Artes de Toulouse, pero disgustado con el rigor de la carrera, decide abandonarla antes de comenzar a cursar. Este mismo año, obtiene de su padre permiso para realizar un largo viaje, pero una vez llegado a París, nota que tiene muy poco dinero para continuar y, no queriendo regresar en esas condiciones, decide gastar el dinero que le resta en un viaje de segunda mano en el primer buque que zarpara. Es así como se sube al velero "Anita", con destino a Buenos Aires (influyó en su decisión de emigrar el disgusto que le ocasionaron las nuevas nupcias que había contraído su padre). Traía una carta de recomendación del filósofo y antiguo alcalde de Toulouse, Adolphe Gatien-Arnoult, para su ex-colega universitario Amadeo Jacques (que había emigrado a la Argentina y estaba casado con la patricia Benjamina Augier Echagüe). Groussac se queda en Buenos Aires el resto de su vida.
Cuando desembarca de Buenos Aires, vaga por las calles sin saber una palabra de castellano. Es por esto que es detenido, bajo la sospecha de simular su condición de extranjero para evitar ser reclutado para la Guerra del Paraguay. Pero el equívoco es resuelto con auxilio del cónsul, quien le consigue un puesto como ovejero en San Antonio de Areco, pero una carta de su padre lo insta a regresar a la vida civilizada.
Durante los próximos diecisiete años, dicta clases de matemática en el Colegio Modelo, comienza sus estudios autodidactas en la biblioteca, trabaja como catedrático, da clases en la Escuela Normal y en el Colegio Nacional. Se interesa profundamente, convirtiéndose en un gran estudioso, en el idioma español; publica en la "Revista Argentina" y dirige La Unión (periódico del gobierno tucumano—provincia donde permaneció once años—, por encargo del gobernador Federico Helguera); escribe para el diario La Razón (en el cual realiza un polémico estudio acerca de una posible radicación de los jesuitas en la provincia tucumana) y, más tarde, asume su dirección. Dirigió la Escuela Normal de Tucumán; es nombrado Director de Enseñanza en Tucumán e Inspector Nacional de Educación (en 1874), participa del primer congreso pedagógico como defensor del laicismo presentando una conferencia (que más tarde publica) bajo el título de Estado Actual de la Educación Primaria en la República Argentina. Publica un artículo en Le Figaro de París durante su breve estadía en 1883 y, desde París también, envía sus impresiones parisinas publicadas por "El Diario". Un año más tarde (1884), regresa con su familia a Buenos Aires donde se instala nuevamente (tomando una vida más social y pública, apoyando candidaturas gubernamentales y presidenciales, como el apoyo dado a Bernardo de Irigoyen o a Roque Sáenz Peña). Había contraído matrimonio (en 1879) con una joven santiagueña perteneciente a la alta sociedad, Cornelia Beltrán Alcorta, hija de José Lino Beltrán Talavera y de Mercedes Alcorta Aranda (pariente de Amancio Alcorta y del músico Alberto Williams). La había conocido en uno de sus viajes como inspector nacional de educación.
En su regreso a Buenos Aires funda Sud-América (un diario de ideas liberales opuesto al gobierno porteño; además de él, fueron socios fundadores Lucio Vicente López, Delfín Gallo, Roque Sáenz Peña y Carlos Pellegrini); en 1885 vuelve a ser designado inspector de educación y jefe de la Biblioteca Nacional (año en la cual se nacionaliza; antes era la Biblioteca Pública de Buenos Aires) por orden del presidente Julio Argentino Roca. Ocupó este cargo hasta su muerte, cuarenta y cuatro años más tarde. Este mismo año, tiene grandes desacuerdos con la prensa clerical y los defensores por la educación religiosa, en el debate nacional sobre Ley de Educación. Para 1894, ya escribía en La Nación y Le Courrier du Plata, y había publicado numerosos artículos acerca de sus viajes por América. Ese mismo año, funda un diario en francés, Le Courrier Français, journal du matin, politique, littéraire & commercial, con la colaboración financiera del industrial Clodomiro Hileret; que suspende a los dos años. En los años venideros, se dedica profundamente a la Biblioteca, ordenándola, administrándola y aumentando su patrimonio enormemente gracias a grandes donaciones que él promovió.
Su libro Del Plata al Niágara, escrito en 1893 y publicado en 1897, Groussac rechaza el modelo de país de Estados Unidos, con sus ciudades desarrolladas y homogéneas, y su sociedad democrática e igualitaria, a la que calificó de "niveladora". Según el historiador Marcos Cantera Carlomagno, Groussac fue quien inició el antiamericanismo.
Tras una operación de glaucoma en 1926, pierde la poca vista que tenía, pocos años antes de morir, a los 81 años.
Sus obras más destacadas son La Biblioteca (1896) y Anales de la Biblioteca (1900), que fueron antologías de ensayos críticos, relatos históricos de la biblioteca y documentos pertinentes a la historia del Río de la Plata. Como redactor de la revista Sud América, Groussac se encontró en el centro del mundo literario de Argentina. Sus obras subsiguientes, como Estudios de historia argentina, Ensayo histórico sobre el Tucumán y Mendoza y Garay se destacaron por una riqueza de factos, descripciones vívidas de personajes y sus entornos, y un estilo lúcido y esmerado. Otras de sus obras significativas son Fruto vedado (novela), Relatos argentinos, La divisa punzó, Crítica literaria, Las islas Malvinas y sobre todo (por la pasión que sobre él infundía), la "Biografía de Liniers", finalmente publicada como libro en 1907, luego de adelantar capítulos en la revista de la Biblioteca. Su cuento "La pesquisa" del año 1884, que luego volvió a publicar en La Biblioteca es considerado el primer cuento policial argentino. El poeta nicaragüense Rubén Darío le dedica a Groussac una obra intitulada "Coloquio de los Centauros", en la que se lee:
"Por suma ley un día llegará el himeneo que el soñador aguarda: Cinis será Ceneo; claro será el origen del femenino arcano: la Esfinge tal secreto dirá a su soberano."
Su póstuma reputación fue apoyada por menciones frecuentes en los ensayos críticos de Jorge Luis Borges, quien escribió su necrología. En el ensayo autobiográfico La ceguera, Borges mencionó la influencia de Groussac sobre Alfonso Reyes, a quién apreciaba mucho: "Alfonso Reyes me dijo: Groussac, que era francés, me enseñó cómo debe escribirse en castellano."
Como crítico, Groussac fue muy conocido por su carácter despiadado e intratable, y por su sarcasmo fulminante. Borges analizó unos de sus insultos literarios en Arte de injuriar (1933), un artículo de Sur.
También hay paralelos biográficos entre Groussac y Borges: entre 1955 y 1973 Borges ocupó el viejo puesto de Groussac como director en la Biblioteca Nacional. Además, ambos fueron ciegos mientras ejercían el cargo.
Groussac fue sepultado en el Cementerio de la Recoleta, en la bóveda de las familias Macías-Soria, pero años más tarde fue trasladado a su mausoleo definitivo erigido en el Cementerio de la Chacarita. Un pasaje del barrio de Monte Castro, en la Ciudad Autónoma de Buenos Aires lleva su nombre en homenaje
