Родился в 1908 году в деревне Яловка Красногорского района Брянской области. Русский, из крестьян.

Трудовую деятельность А.Я. Шпилько начал в 1921 году пастухом, с 17 лет работал батраком. В 1931 году он вступил в колхоз, с 1938 года работал грузчиком в речном порту города Гомеля, в 1940–1941 годах был колхозником в деревне Прудок.

С нападением гитлеровской Германии на СССР А.Я. Шпилько был призван в Красную Армию. В боевых действиях он принимал участие в составе 808-го стрелкового полка. В боях под Ельней в марте 1942 года А.Я.Шпилько попал в плен. В марте 1945 года он был освобожден войсками Красной Армии из лагеря, и продолжал сражаться в составе 25-го стрелкового полка. Под Кёнигсбергом А.Я. Шпилько был ранен. Боевой путь Алексея Яковлевича отмечен медалями: «За отвагу», «За взятие Кёнигсберга», «За победу над Германией в Великой Отечественной войне 1941–1945».

Демобилизовавшись из армии, А.Я. Шпилько возвратился в город Гомель. С 1946 года он работал путейцем на железной дороге, сторожем, грузчиком в 251-м, затем 105-м авиаотрядах аэропорта в г. Гомеле.

С сентября 1954 по май 1955 года Алексей Яковлевич Шпилько работал старшим препаратором кафедры зоологии Гомельского государственного педагогического института имени В.П. Чкалова.