Родился 7 октября 1863 года в  г. Глухове Черниговской губернии и был крещен в Рождества Богородичной церкви, как незаконнорожденный. Позднее его мать, Улиания Павловна, вышла замуж за мещанина Николая Иванова Колубовского, который усыновил мальчика, дал ему свое отчество и фамилию. В 1873 году Яков поступил в Глуховскую Прогимназию. Всю учёбу Колубовский "шёл на полных пяти балах" и по окончании Прогимназии на гимназическом акте получил в награду несколько книг.

В 1877 году для продолжения учебы юношу отправили в Киев, где он поступил в Коллегию Павла Галагана. На испытаниях, проходивших в мае 1882 года Колубовский получил по всем предметам отметки "отлично".

31 августа того же 1882 года юноша подал прошение о зачислении в число студентов Императорского Санкт-Петербургского Университета. К тому времени умер отец и семья очутилась на гране бедности -  мать ни на какой службе не состояла и пенсии не получала, а на руках у нее оставался еще младший брат Якова. Несмотря на несостоятельность и невозможность внести плату за слушание лекций, Колубовский был принят на 1-й курс Историко-филологического факультета Университета. Выручала стипендия и частные уроки, которые приходилось давать на протяжении всего срока обучения. В мае 1886 года, по окончании 4-го курса Историко-филологического факультета, Колубовский выдержал устное испытание на степень Кандидата и представил требуемую диссертацию. Вследствие удостоверений профессоров О.Ф. Миллера, И.В. Янича и М.И. Владиславлева, Яков Николаевич получил из канцелярии Попечителя С.-Петербургского учебного округа свидетельство на право преподавания русского и церковно-славянского языков, русской словесности, а также логики и психологии в гимназиях Министерства народного Просвещения. Избрав себе специальностью философию и, в частности, психологию, Колубовский, не дожидаясь утверждения в степени Кандидата, в том же 1886 году отправился на собственные средства в Германию, где и провел 2 семестра, слушая лекции в Лейпцигском Университете у Зейделя, Шуберта-Зальдерна, Вольфа - по философии, у Мазиуса - по педагогике, но главным образом у Вундта - по логике, общей психологии и психологии народов. В то же время Колубовский занимался в психологической лаборатории Вундта. Работа, в которой участвовал Колубовский, обнародована магистром философии Н.Н. Ланге под заглавием «Beiträge zur Theorie der activeт Apperception». Вернувшись из-за границы, Колубовский готовился к экзамену на степень магистра философии. Одновременно с этим на осеннее полугодие 1888 года Яков Николаевич записался в качестве вольнослушателя на лекции по анатомии человека у приват-доцента Лесгафта и по химии у приват-доцента Менделеева, которые слушал в Санкт-Петербургском Университете.

В 1891 - 1892 годах Колубовский состоял помощником редактора журнала "Вопросы философии и психологии. В январе 1892 года Яков Николаевич подал прошение на имя Начальника С.-Петербургских и Царскосельских женских гимназий о разрешении ему преподавать отечественную словесность, но лишь приказом Министра Народного Просвещения от 20 июня 1892 года был определен на службу по Министерству Народного Просвещения с откомандированием на службу в Императорскую Публичную Библиотеку. Примерно в это время Колубовский женился, супругу его звали Наталья Алексеевна. 23 мая 1894 года у них родился сын Игорь, ставший впоследствии историком философии и переводчиком. 1 сентября 1894 года Колубовский был назначен преподавателем истории, педагогики и логики на Педагогический Курсах при Санкт-Петербургских женских гимназиях. С 1901 года Колубовский получил назначение на должность Управляющего делами Попечительства Императрицы Марии Александровны о слепых.

За это время Я.Н. Колубовский получил чин Надворного Советника и был пожалован орденом Св. Станислава 3 степени. Им были изданы "Материалы для истории философии в России" и целый ряд библиографических перечней философских книг и журнальных статей на русском языке, кроме того, он перевел "Историю новой философии" Ибервега-Гейнца, присоединив к ней очерк философии у русских, и редактировал Значительную часть очерков психологии Гефдинга.

После революции, будучи уже профессором,  Я.Н. Колубовский вернулся в Глухов, где преподавал некоторое время в Учительском Институте.

Скончался Я.Н. Колубовский в 1929 году в Нежине.