Родился в Псковском уезде. До 1941 года работал сотрудником районной газеты «Псковский колхозник».

В первые месяцы войны Иван Павлович отправился добровольцем на фронт.  Командуя пулеметным взводом, он не расставался с томиком Пушкина. Книга прошла с ним путь от Москвы до Варшавы и Восточной Пруссии.  

Иван Сергеев получил серьезное ранение под Кенигсбергом. Был награжден орденом Красной Звезды и пятью боевыми медалями.    

Первые послевоенные годы Иван Сергеев руководил отделом Карамышевского райисполкома. Затем, заочно окончив Московский библиотечный техникум, стал заведующим детским отделом Карамышевской районной библиотеки. Книжное пространство для сотрудников и юных читателей обустраивал сам. Своими руками изготовил стеллажи (один из них до сих пор хранится в Культурно-историческом центре села Карамышево), столы и лавки. 

Иван Павлович коллекционировал книги с автографами авторов. Начало этому увлечению было положено в 1936 году на творческой встрече с писателем Алексеем Николаевичем Толстым, который подписал Ивану свою новую книгу «Хлеб».

После войны коллекция Ивана Павловича пополнилась автографами и дарственными надписями знаменитых писателей, поэтов, ученых, артистов, государственных и политических деятелей из 15 стран мира. Всего их было около тысячи.  

За автограф Юрия Гагарина известный рижский коллекционер предлагал Сергееву ценную старинную Библию, но тот отказался.

Сейчас книги Ивана Сергеева хранятся в фонде Государственного архива Псковской области и Культурно-историческом центре села Карамышево.

После библиотеки Иван Павлович работал на молокозаводе и в совхозе «Большевичка». Продолжал сотрудничество с районными газетами. Писал о земляках, погибших в годы Великой Отечественной войны, и о незаконно репрессированных. Был автором статей «Книги Памяти» и «Книги Памяти жертв политических репрессий».

Иван Сергеев умер 7 августа 1998 года в селе Карамышево. Похоронен на местном кладбище.