Родился в 1920 году в деревне Шарпиловка Гомельского района Гомельской области. Белорус, из крестьян.

В 1935 году Иван Фёдорович поступил в Речицкое педагогическое училище. После его окончания его в 1938 году Иван Федорович был приглашен на работу литсотрудником газеты «Заря коммунизма» города Речица, но жажда знаний победила и он поступил в Рогачевский учительский институт. Окончив первый курс института, И.Ф. Харламов уехал на работу директором Карповской семилетнуй школы Лоевского района, откуда он в 1940 году был призван в ряды Красной Армии. Службу проходил в 429 ГАП РГК в городе Каунасе. Понимая, опасность войны для СССР, Иван Фёдорович поступил в военно-политическое училище в городе Смоленске и уже в сентябре 1941 года политруком роты 964-го стрелкового полка 296-й стрелковой дивизии участвовал в боевых действиях на Юго-Западном фронте. В действующей армии он находился до марта 1942 года. Затем ранение, госпиталь. С июня 1942 по июнь 1944 года Иван Фёдорович продолжал служить в армии секретарем комсомольской организации зенитно-прожекторного училища в городе Омске, а с июля 1944 по ноябрь 1945 года заместителем редактора окружной многотиражной газеты.

Демобилизовавшись из армии, Иван Федорович с декабря 1945 года работал в Лоевском районе директором школ, заведующим районным отделом народного образования. В 1948 году он поступил на литературный факультет Гомельского государственного педагогического института имени В.П. Чкалова, а после его окончания в 1952 году – в аспирантуру Минского государственного педагогического института имени А.М.Горького.

Окончив в 1955 году аспирантуру, И.Ф. Харламов возвратился в Гомельский педагогический институт, работая в котором в 1957 году защитил кандидатскую диссертацию. В 1960 году ВАК СССР утвердил Ивана Фёдоровича в ученом звании доцента. До конца 1960-х годов он работал старшим преподавателем, доцентом, проректором по учебной работе, заведующим кафедрой педагогики в институте, а в 1969 году перешёл на должность старшего научного сотрудника.

В 1972 году И.Ф.Харламов защитил докторскую диссертацию, в 1974 году его утвердили в ученом звании профессора.

Автора более 300 научных работ, среди которых 33 монографии, учебники и учебные пособия Иван Федорович Харламов был широко известен в СССР, БССР, Республике Беларусь и Российской Федерации среди научной общественности и педагогов-практиков. Признанием его вклада в развитии педагогической науки, являлось избрание Ивана Федоровича членом-корреспондентом (1974 год), академиком АПН СССР (1990 год), академиком НАН Республики Беларусь (1995 год), иностранным членом Российской академии образования (1999 год).