V „Sweet Baby James“ James Taylor zpívá ukolébavku dítěti, které se také jmenovalo James, a vypráví mu o realitě vychovávání jako kovboj.
Zpěvák začíná píseň vyprávěním příběhu osamělého kovboje, jehož jedinými přáteli jsou zvířata, se kterými pracuje. Život tohoto kovboje, jak je vidět v textech, se točí jen prací, spánkem, přemýšlením o pivu a ženách a poté zpíváním jemné písničky, když se chystá usnout. Píseň, kterou tato postava zpívá, je ukolébavka určená pro miminko James, aby mu pomohla i trochu se vyspat.
James se zmínil o Elvisovi Costellovi Ukázat Ukažte, že tuto skladbu napsal, když odjel do Severní Karolíny za svým novorozeným synovcem jménem James.
V roce 2015 Taylor v rozhovoru s Valící se kámen , popsal píseň jako své nejlepší dílo. Naznačil, že uspořádání písní ukazuje, jak důležitá je pro něj hudba. Předtím zmínil, že píseň měla prvek „ukolébavky“ poté, co lidé naznačili, že píseň udělal pro sebe.
Sladké dítě James lze definovat jako ukolébavku soustředěnou kolem života mladého kovboje, zachycující každodenní události a zkušenosti kovbojů.
Taylor vydal tuto klasiku v roce 1970 jako hlavní skladbu ze svého alba nesoucího stejný název jako píseň. Taylor ji věnoval svému synovci Jamesovi, synovi svého staršího bratra jménem Alex.
Taylor tuto píseň předvedl v řadě ikonických televizních pořadů, například „The Tonight Show“ a „Saturday Night Live“.
Od vydání této klasiky z roku 1970 ji pokryli tak renomovaní umělci jako Tom Rush a Highway 101.