Родился в крестьянской семье 2 августа 1917 г. в с. Белый Колодезь Новозыбковского уезда Черниговской губернии. Мать, Анастасия Георгиевна Кутузова, умерла очень рано (Илье было около 2-х лет). Отец Андрей Павлович Швец часто уезжал из дома на заработки, впоследствии женился второй раз, так что рос Илья у бабушки Анны Тимофеевны и дедушки Павла Ивановича по отцовской линии.

Начальное образование он получил в школе с. Белый Колодезь, семилетку закончил в соседнем селе Манюки. Окончив школу колхозной молодежи и подготовительные курсы при Новозыбковском пединституте, поступил на факультет естествознания (тогда в институте не было литфака).

Со второго курса перевелся на факультет русского языка и литературы Смоленского пединститута. Годы учебы были временем активного формирования личности поэта. Швецу запомнились интересные выступления перед студентами М. Исаковского, А. Макаренко, А. Твардовского. В 1938 г. в газете «Большевистский молодняк» он опубликовал первое стихотворение.… Так начался его литературный путь.

Окончив институт в 1939 г., был направлен учительствовать в г. Киров Смоленской области. В октябре 1939 г. призван на службу в РККА. Служил Илья Швец недалеко от г. Баку в зенитной артиллерии. В начале войны написал рапорт на имя Верховного Главнокомандующего с просьбой направить на Западный фронт. Пришел ответ: «при необходимости желание будет учтено, а пока служите на страже Баку». В свободное время Илья Андреевич писал стихи, очерки и статьи. Часто печатался в армейских газетах: «На страже», «За Отечество», «Боец РККА». На его тексты писались песни, которые тогда входили в репертуар ансамбля песни и пляски Закавказского фронта.

С апреля 1945 г. работал в аппарате редакции армейской газеты «На страже». Награжден медалью «За оборону Кавказа», «За победу в Великой Отечественной войне». Демобилизован в октябре 1945 г.

С 1946 г. работал литсотрудником в Калужской областной газете «Знамя», затем — директором школы рабочей молодежи. В 1948 г. Илья Андреевич переехал в г. Бежицу, где преподавал русский язык и литературу в старших классах средней школы рабочей молодежи и литературу в машиностроительном техникуме. С февраля 1949 г. и до 1956 г. редактировал художественную литературу в издательстве «Брянский рабочий», а потом год был лектором Брянского областного лекционного бюро.

Илья Андреевич установил через редакции районных газет связи с начинающими поэтами и прозаиками, вёл с ними обширную переписку, поддерживал личные контакты и, объединив их вокруг книжной редакции, начал готовить к изданию литературно-художественный сборник. Летом 1949 г. под редакцией Ильи Швеца вышел в свет первый в Брянске альманах «Край родной».

25 марта 1958 г. Швец принят в Союз писателей. В августе 1963 г. секретариат Союза писателей РСФСР принял решение о создании Брянского отделения Союза. Торжественное открытие состоялось 3 октября 1963 г. Илья Андреевич вошел в состав бюро уполномоченным Литфонда по Брянской области. Все эти годы Илья Швец усиленно занимался поэзией, много писал, совершенствуя свое художественное мастерство. С середины 50-х гг. он начинает печататься в центральных периодических изданиях: журналах «Смена», «Огонёк», «Крокодил», «Москва», «Нева»; альманахах «Молодая гвардия», «Рыболов-спортсмен»; сборниках «День поэзии»; областных альманахах Брянска, Смоленска, Орла, Курска.

В 1954 г. издана первая книга стихов «Над Десной». Через неё красной нитью проходит стремление поэта с нежной, трепетной любовью обрисовать величие отчего края, раскрыть неиссякаемое трудолюбие, духовное богатство и щедрость земляков, в ярких красках запечатлеть очарование пейзажей родной Брянщины.

И затем почти ежегодно выходят книги стихов и прозы:
«Расскажи-ка, Брянский лес…» (стихи, 1955, Брянск)
«Зачем держать в секрете?» (лирика, сатира, песни, частушки, 1956, Брянск)
«Настя Толстенок» (очерк в стихах, 1957, Брянск)
«Наше село» (стихи, 1958, Москва)
«Речные сказки» (в соавторстве с В. Соколовым, стихи, рассказы, 1958, Брянск)
«В краю легенд» (стихи, 1960, Брянск)
«Трубна мира» (поэмы, 1961, Брянск)
«Будимир» (стихи, 1962, Брянск)
«Почему мы смеялись?» (рассказы, 1962, Орёл)
«Соловьи и разбойники» (юмор, сатира, 1962, Орёл)
«Любовь и подвиг» (стихи, поэмы, 1965, Тула)
«Жаворонки» (поэма, 1968, Тула)
«Зеленые пожары» (стихи, 1970, Москва)
«Ракеты и сердца» (стихи, поэмы, 1974, Москва)
«Голубой поворот» (стихи, 1975, Москва)

В 1990 г. была издана последняя книга поэта «Вечерняя дорога», в которой прослеживается мотив грусти и расставания со всем, что он любил и чем жил в отведенный на земле срок. Книгу он готовил к изданию, будучи тяжело больным.

Умер Илья Андреевич 4 апреля 1991 г. Похоронен поэт в Брянске на аллее журналистов и писателей.