Родился он 4 декабря 1885 года село Бараново (Курская губерния). Известен как  советский и российский скрипач, педагог и заслуженный деятель искусств РСФСР (1934), считается основателем цыганской музыкальной династии Эрденко. Известен также тем, что написал ряд произведений для скрипки в академическом и вместе с тем цыганском стиле.
Могила Эрденко на Новодевичьем кладбище Москвы.

Михаил Эрденко родился 22 ноября 1885 года в селе Бараново Старооскольского уезда Курской губернии2] в бедной цыганской семье. Его отец был скрипачом в третьем поколении, руководителем цыганского оркестра, и было ясно, что Миша тоже станет музыкантом. С самых ранних лет отец обучал его игре на скрипке. Уже в четыре года Михаил играл с отцом на свадьбах, а к 5 годам дал свой первый концерт из сорока с небольшим пьес в Харькове, в том же возрасте он дал концерты в Ростове и Екатеринославе. О мальчике-музыканте писали газеты. В результате в Курске им заинтересовались преподаватели Курских музыкальных классов.

В 14 лет на меценатские пожертвования и на деньги, заработанные на концертах, Михаил поехал в Москву с рекомендательным письмом А. М. Абазы о приёме в музыкальную школу при Московской консерватории им. Чайковского с назначением стипендии. В 1904 году Эрденко окончил консерваторию по классу скрипки у И. В. Гржимали с «малой» золотой медалью и занесением имени на мраморную доску консерватории, затем преподавал в музыкальном училище в Самаре.

Участвовал в революционных событиях 1905 года. Дирижировал оркестром на похоронах Н. Э. Баумана. После подавления восстания в Москве Эрденко был судим и сослан в Вологду, затем в Архангельскую губернию. Как только ему было позволено вновь выступать, он едет на Украину, в Донбасс, в Курск, Самару, Киев, Одессу, Вологду, Архангельск, Царицын, Оренбург, Среднюю Азию и на Кавказ, где наряду с выступлениями в больших городах и престижных концертных залах даёт благотворительные концерты в пользу шахтёров, рабочих и студенчества. Его репертуар состоял как из классических произведений Баха, Бетховена, Моцарта, Брамса, Шопена, Чайковского, Паганини и других композиторов, так и собственной обработки цыганского фольклора. Михаил Эрденко посещал с концертами также и другие страны.

В 1910 году он приезжает в Ясную Поляну к Л. Н. Толстому, в результате чего у них завязываются дружественные отношения. В том же году он берёт уроки у знаменитого бельгийского скрипача Эжена Изаи в Бельгии, становится лауреатом Московского конкурса скрипачей и получает приглашение на профессуру в Киевское музыкальное училище, реорганизованное в 1913 году в консерваторию. Одновременно Эрденко расширяет свою концертную деятельность, выступая не только как скрипач, но и как симфонический дирижёр, композитор, участник камерных ансамблей.

В Киеве Михаил Эрденко заводит дружественные отношения с С. Рахманиновым, А. Скрябиным, А. Гречаниновым, Р. Глиэром, А. Глазуновым, В. И. Сафоновым, Г. Г. Нейгаузом и другими известными музыкантами.

После Октябрьской революции он ведёт активную творческую жизнь, разъезжает с оркестрами, в том числе благотворительными, по России. В 1920 году Эрденко останавливается на постоянное проживание в Краснодаре, где организует и возглавляет музыкально-театральный комитет, симфонический оркестр, академический хор, драматический и оперный театры и Кубанскую консерваторию, при этом продолжает свою концертную деятельность и гастролирует по стране.

С 1923 по 1932 год Михаил Эрденко совершает 5 зарубежных гастрольных поездок в качестве первого и единственного представителя советского скрипичного искусства в Японии и Китае (1927—1928), в Корее, Польше, Латвии, Литве и Германии.

В 1925 году Михаилу Эрденко присвоено звание Заслуженного артиста республики, а в 1934 — Заслуженного деятеля искусств РСФСР.

В 1927 году Михаил Гаврилович переезжает в Москву, где не только занимается концертной деятельностью, но и участвует в первых радиоконцертах совместно с К. Державиной, В. Качаловым, А. Неждановой, Н. Обуховой. В 1926—1928 годах посещает с концертами Китай, Японию, Литву, Латвию, Эстонию, выступает на антифашистских концертах-митингах в Германии.

В 1935 году его приглашают на должность профессора в Московскую консерваторию. Параллельно с преподавательской деятельностью Михаил Гаврилович продолжает давать концерты.

21 января 1940 года Михаил Гаврилович Эрденко скончался.