Ontstaan in 1976 uit het koor voor oude muziek genaamd "Souterliedekens", nadat de toenmalige dirigent en oprichter met enkele koorleden en de naam van het koor vertrok en het grootste deel van het koor zonder naam (sine nomine) achterliet. Nadat Siem Groot enkele jaren het koor leidde, was Gerard Beemster van 1979 tot 1991 dirigent. In de roerige periode daarna namen Paul Sanders en Hendrik-Jan Brethouwer het stokje over. In 1993 begon het koor aan zijn huidige opmars onder leiding van Paul Valk.
Het repertoire is allang niet meer beperkt tot oude muziek. Sine Nomine zingt nu door alle eeuwen heen: van de renaissance tot hedendaags werk. Buiten het normale concertprogramma deinst Sine Nomine ook niet terug voor een opera of een ander muzikaal experiment.
In 2004 deed het koor in tien voorstellingen mee aan de opera Trijn, die gecomponeerd was bij het 750-jarig bestaan van Alkmaar. In 2005 gaf het een concert in Warmenhuizen samen met een balletdanseres en in 2007 was in Heiloo de theatrale uitvoering van Dido and Aeneas van Henry Purcell. Het koor heeft ook meermalen in het buitenland opgetreden, onder andere in Darmstadt (Duitsland) en in 2006 in Kopenhagen.
Samen met het Amsterdams Gemengd Koor (AGK), dat ook geleid wordt door Paul Valk, zong het koor in februari 2007 mee met Carmina Burana van Carl Orff in het Concertgebouw in Amsterdam.
In november 2010 stond Sine Nomine op het podium van de grote zaal in het Concertgebouw in Amsterdam. Samen met het AGK zong het koor onder leiding van Paul Valk mee in het Magnificat van John Rutter en in de Carmina Burana van Carl Orff. In de Beurs van Berlage in Amsterdam voerde Sine Nomine samen met het AGK en Symfonisch Blaasorkest ATH voor 600 mensen de wereldpremière van Poems from Guantanamo uit van Bernard van Beurden.
In 2011 bestond Sine Nomine 35 jaar en dat is gevierd met twee bijzondere concerten. Membra Jesu Nostri voor koor, solisten en strijkers en continuo is twee keer met groot succes uitgevoerd. En een lang gekoesterde wens kwam in november uit. Toen zong een versterkt Sine Nomine in Heiloo en Den Helder Ein Deutsches Requiem van Johannes Brahms. Het waren hoogtepunten voor zowel muzikanten als voor het publiek.
In het voorjaarsconcert van 2012 stond het Stabat Mater centraal en kon Sine Nomine laten horen dat het zowel in de oude muziek, zoals de 10-stemmige uitvoering van Scarlatti, als in de moderne versie van de componist Nystedt goed thuis is.
In 2013 volgden Hymn to St. Cecilia met werken van o.a. Britten, Hindemith en Haydn en The Road to Paradise met o.a. Leonardo Dreams of his Flying Machine van Eric Whitacre.