Ainda na infância foi morar no morro da Mangueira, onde logo conheceu Cartola e Nelson Cavaquinho, com quem aprendeu a tocar violão. O apelido "Sargento" veio de sua época no exército. Entrou para a ala dos compositores da Mangueira levado por Carlos Cachaça, e compôs sambas-enredo para a escola na década de 50, como por exemplo "Cântico à Natureza" (com Jamelão/ Alfredo Português), de 1955. Nos anos 60 freqüentava e bar Zicartola, onde conheceu outros sambistas e músicos da zona sul carioca. Participou, convidado por Hermínio Bello de Carvalho, do espetáculo "Rosa de Ouro" (1965), ao lado de Elton Medeiros, Clementina de Jesus, Araci Cortes e Paulinho da Viola, entre outros. Em seguida integrou o conjunto A Voz do Morro, e com ele gravou "Roda de Samba 2", um marco do gênero. Seu maior sucesso, "Agoniza Mas Não Morre", foi lançado em 1978 por Beth Carvalho e tornou-se um hino de resistência da cultura do samba carioca. Outros sambas seus de sucesso são "Idioma Esquisito", "Falso Amor Sincero", "Vai Dizer a Ela" (com Carlos Marreta), "Nas Asas da Canção" (com Dona Ivone Lara) Nos anos 90 gravou discos no Japão, incluindo composições inéditas de seu parceiro Cartola. Foi tema do documentário "Nelson Sargento", de Estêvão Pantoja, lançado e premiado no final da década de 90. Paralelamente à atividade de músico, Nelson Sargento é também escritor (já lançou dois livros), ator (trabalhou em "O Primeiro Dia", de Walter Salles e Daniela Thomas e "Orfeu do Carnaval" de Cacá Diegues) e pintor primitivista, atividade que desenvolveu graças ao conhecimento obtido na profissão de pintor de paredes, que exerceu por vários anos.nelson sargento dando uma canja na roda de samba
