Armas Järnefeltin kapellimestarin uran voidaan sanoa alkaneen vuoden 1893 syksyllä Berliiniin vaimonsa kanssa saadusta kevätsesongin kestäneestä kiinnityksestä. Vuosien 1893-1898 väliin mahtuu useita syksy- tai kevät-sesongin tai vain kuukauden pituisia kiinnityksiä Berliinissä, Bremenissä, Hampurissa sekä Dresdenissä. Koko sesongin kestäneitä kiinnityksiä aviopari sai Breslaun oopperasta 1895-1896, 1896-1867 Magdeburgista ja 1897-1898 Düsseldorfista. Vaimo Maikki Järnefelt (s. Pakarinen) sai kiinnityksen solistina oopperaan ja Armas Järnefelt harjoituspianistina tai harjoituskapellimestarina. Vuoden 1898 syksyllä Järnefelt aloitti kapellimestarin työt Suomessa ottamalla vastuun Wiipurin Musiikin Ystävien orkesterista. Wiipuriin Järnefelt toi suomalaista musiikkia ottamalla ohjelmistoon Sibeliusta, Kajanusta, Mielckiä, Paciusta, Ekmania, Merikantoa, Aueria sekä omia teoksiaan. Huomiota herätti myös se, että hänen ensimmäisestä kaudestaan alkaen ohjelmalehdet painettiin myös suomen kielellä.

Ei ole helppoa kuvailla Armas Järnefeltin toimintaa kapellimestarina muuten kuin yleisin termein. Tiedon hänen johtamistavastaan yleisön kokemana on jälkimaailma menettänyt. Jäljelle jää levytykset Odeonille Berliinissä 1928-30 ja Tukholmassa 1929 ja 1931 sekä Jean Sibeliuksen viulukonsertto, solistina Anja Ignatius, Polydorille Berliinissä 1943.

Vaikka Valtionoopperan orkesterin jäsenet eivät saaneet harjoitella tarpeeksi, onnistui Järnefelt pitämään yhtyeen koossa ja luomaan tunnelmaa. Näiden lisäksi on olemassa kiinnostavia radioäänityksiä. Valitettavinta on että mitkään Beethovenin teoksien esityksistä eivät ole säilyneet.

Oman kertomansa mukaan, häneen teki suuren vaikutuksen Hans von Bülow, jonka konsertteja filharmonikkojen kanssa hän kuuli Berliinin vuosinaan 1890-93. Näinä vuosina Järnefelt myös teki lähempää tuttavuutta Wagnerin teosten kanssa, mm katsomalla Tristanin ja Isolden 15 kertaa peräkkäin seisomapaikalta!

Ratkaisevinta oli kuitenkin yhteistyö Tukholmassa hovikapellimestari Conrad Nordquistin kanssa, jonka pienistä ja selkeistä liikkeistä tuli hänen esikuvansa. Vuosikymmenen ajan Järnefelt jakoi yhdessä Nordquistin kanssa vuosittaisen kahdensadan esityksen taakan. Kaudella 1907/08 hänellä ei ollut vähempää kuin 20 oopperaa repertuaarissaan, ja lisäksi suurin osa Oopperan kuukausittaisista sinfoniakonserteista. Maaliskuussa 1908 hän johti koko Wagnerin Nibelungen Ringin saman viikon aikana: Reininkulta tiistaina, Valkyyria keskiviikkona, Siegfried lauantaina ja Jumalten tuho maanantaina. 1911 hän johti koko Ringin uudestaan ja 1924 hän otti vastuulleen myös Ringin ohjauksen. Ensin oopperakapellimestarina, sitten 1911 lähtien Hovikapellimestarina ja 1923 lähtien Ensimmäisenä Hovikapellimestarina, Järnefeltiä pidettiin asiantuntijana kaikessa.

Tukholmassa hän kantaesitti myös Kurt Atterbergin, Natanael Bergin, Wilhelm Peterson-Bergerin ja Ture Rangströmin oopperoita. Oopperan konserteissa hän esitti niinkin vaativia teoksia kuin Honeggerin Kuningas Daavid, Mahlerin kahdeksas sinfonia ja Schönbergin teoksen Gurrelieder.  Mozartin sinfoniat ja Wagner - erityisesti Tannhäuser- alkusoitot, esiintyvät kuitenkin jatkuvasti hänen ohjelmistossaan. Hänen ohjelmiston tuntemuksensa oli valtava.