В газетах 19 века часто можно было прочитать следующего рода рецензии на оперу: музыканты играли хорошо и сыграли бы, вероятно, ещё лучше, если бы не этот человек, который... Что же делал этот человек?
"... размахивал руками, сбивая музыкантов с такта", т.е. дирижировал.