Родился в 1922 году в селе Романовка Аненковского района Воронежской области. Русский, из крестьян.

В 1933 году вместе с родителями переехал в город Самарканд. После окончания школы в 1938 году поступил в Ташкентский техникум физкультуры, который окончил в 1941 году.

С первых дней Великой Отечественной войны Александр Иванович был призван в ряды Красной Армии. С сентября 1941 года по январь 1943 года – курсант авиационного, прожекторного и артиллерийского училищ. В боевых действиях принимал участие в составе Западного, 2-го Прибалтийского, Карельского и 1-го Белорусского фронтов в качестве командира взвода управления минометного полка, начальника разведки дивизии. Боевой путь Александра Ивановича отмечен орденом Отечественной войны 2-й степени, 3 орденами Красной Звезды и многими медалями.

Отслужив в армии до декабря 1968 года, майор, начальник физической подготовки и спорта бригады, А.И. Рыбин решил и гражданскую жизнь связать с развитием спорта. С 1969 по декабрь 1988 года он работал лаборантом кафедры физического воспитания Гомельского государственного университета имени Ф. Скорины.