فوتبال را در 17 سالگی در تیم پارما آغاز کرد. در سال 1979 به آ. اس. رم پیوست و با این تیم یک بار قهرمان لیگ و چهار بار قهرمان جام حذفی ایتالیا شد و در آنجا بود که تبدیل به یک بازیکن ثابت شده و ملی‌پوش شد. بین سال‌های 1984 تا 1987 به عنوان کاپیتان، تیمش را در میدان رهبری می‌کرد. بلافاصله پس از آن، از 1987 تا 1992 برای میلان بازی کرد. او متعلق به تیم اسطوره‌های میلان است که در سال های 1989 و 1990 قهرمانی جام باشگاه‌های اروپا را کسب کردند.

تیم ملی

آنچلوتی در مجموع 26 مرتبه پیراهن تیم بزرگسالان ایتالیا را به تن کرد. پس از انجام 7 بازی برای تیم ملی زیر 21 سال و تیم ملی المپیک، برای  اولین مرتبه در تاریخ 6 ژانویه 1981 در برابر تیم ملی فوتبال هلند به میدان رفت (1 : 1). او در جام جهانی 1986 مکزیک و جام ملت‌های اروپا در سال 1988 در آلمان نیز حضور داشت و نامش در فهرست اسامی بازیکنان جام جهانی 1990 در کشورش ایتالیا هم که این تیم به مقام سوم جهان رسید، دیده می‌شد.

فعالیت به عنوان مربی

پس از دوران موفقیت‌آمیز بازی، آنچلوتی تصمیم گرفت به عنوان مربی کار کند. ایستگاه اول او به عنوان مربی، تیم ملی ایتالیا بود. او در آنجا بین سال‌های 1992 و 1995 به عنوان دستیار آریگو ساکی کار کرد و توانست با این تیم به فینال جام جهانی 1994 در آمریکا برسد. در آنجا ایتالیا در ضربات پنالتی مغلوب تیم ملی فوتبال برزیل شد.

آنچلوتی در تابستان سال 1995برای اولین بار به عنوان سرمربی با رجینا در سری B قرارداد بست و در اولین سال حضورش موفق شد این تیم را راهی سری A کند. بعد از سپری شدن یک فصل در رجینا، در تابستان سال 1996 به پارما رفت. در اولین فصل حضور در پارما ( 97/1996) به طرزی باورنکردنی این تیم را به مقام نایب قهرمانی سری A رساند. در فوریه سال 1999 جانشین مارچلو لیپی در یوونتوس تورین شد که در این تیم، موفقیتی در آن فصل کسب نکرده بود. آنچلوتی در یوونتوس نتوانست عنوان‌های ملی یا بین‌المللی مورد اتنظار را به دست آورد. وی برای این تیم جام یوفا اینترتوتو را درسال 1999 به ارمغان آورد و دوبار در سال‌های 2000 و 2001، این تیم را به نایب قهرمانی سری A رساند. وی در تابستان سال 2001 به دلیل عدم کسب نتایج مطلوب، دوباره جایش را به مارچلو لیپی داد.

 آ. ث. میلان

آنچلوتی در 5 نوامبر سال 2001 به جای فاتح تریک، سکان هدایت تیم پرآوازه آ. ث. میلان را به دست گرفت. در آن برهه از زمان، میلان گرفتار بحرانی شدید بود. او میلان را به نیمه نهایی جام یوفا در فصل 02/2001 رساند و فصل را با کسب مقام چهارم سری A به پایان رساند. پس از آن‌که در شروع کار، به دلیل شیوه بازی دفاعی، به شدت مورد انتقادعلنی رئیس باشگاه، سیلویو برلوسکونی قرار گرفت، اما ارائه بازی‌های چشمگیر و سراسر نظم و انضباط،‌ احترام زیادی برایش به وجود آورد. برای فصل 03/2002 توانست دو بازیکن مهم به نام‌های آندره‌آ پیرلو و روی کاستا را به میلان بیاورد. به علاوه با هدایت وی، فیلیپو اینزاگی و آندره شوچنکو به یک زوج خط حمله قدرتمند تبدیل شدند.

 میلان در فصل 03/2002 در فینال لیگ قهرمانان اروپا در مقابل یوونتوس تورین قرار گرفت و توانست این تیم را در ضربات پنالتی 3 بر 2 مغلوب کند. چند روز بعد هم قهرمانی جام حذفی ایتالیا را به دست آورد. برای فصل 04/2003، کاکا، ستاره فوتبال برزیل با میلان قرارداد امضاء کرد. آنچلوتی با کاکا، به عنوان بازیکن کلیدی تیمش، میلان را در فصل 04/2003 به سوی قهرمانی سوپر جام اروپا و اسکودتو هدایت کرد.

در فصل بعد از آن (05/2004)، آنچلوتی دوباره میلان را به فینال لیگ قهرمانان اروپا رساند. بعد از برتری 3 بر 0 در نیمه اول،‌ تیم او در نیمه دوم برتری‌اش را از دست داد و پس از 90 دقیقه و تساوی 3 بر 3، در ضربات پنالتی، قهرمانی را به لیورپول انگلیس واگذار کرد. دو سال بعد، در فصل 07/2006، دوباره این دو تیم در فینال به هم رسیدند. این‌بار اما میلان موفق شد با دو گل فیلیپو اینزاگی، قهرمانی اروپا را از آن خود کند. این پیروزی وجهه شایان توجهی برای کارلو آنچلوتی به ارمغان آورد. وی در آغاز ماه جون سال 2007، قراردادش را با میلان تا سال 2010 تمدید کرد.

آنچلوتی با قهرمانی در لیگ قهرمانان اروپا در سال 2007، به جرگه کسانی پیوست که هم به عنوان بازیکن و هم مربی، این افتخار را کسب کرده‌اند. چهار نفر دیگر عبارتند از میگوئل مونوز، جووانی تراپاتونی، یوهان کرایف و فرانک ریکارد.

با این قهرمانی، به علاوه وی در دایره کوچک مربیانی قرار گرفت که دوبار صاحب این عنوان شده‌اند. درکنار آنچلوتی، ویسنته دل‌بوسکه،‌ اوتمار هیتزفلد و الکس فرگوسن دوبار قهرمان این جام شده‌اند.

افتخارات به عنوان بازیکن

در تیم ملی

تیم سوم جهان: 1990

در باشگاه

قهرمان جام حذفی: 1980، 1981، 1984، 1986
قهرمانی سری آ: 1983، 1988، 1992
قهرمانی سوپرجام ایتالیا: 1988
قهرمانی لیگ قهرمانان اروپا: 1989، 1990
قهرمانی سوپرجام اروپا: 1989، 1990
قهرمانی جام باشگاه‌های جهان: 1990

افتخارات به عنوان مربی

به عنوان کمک مربی تیم ملی:

نایب قهرمان جهان در جام جهانی 1994 در آمریکا

به عنوان مربی باشگاهی:

نایب قهرمان سری آ: 1997، 2000، 2001، 2005، 2006
قهرمان جام حذفی ایتالیا: 2003
قهرمان سری آ: 2004
قهرمان سوپرجام ایتالیا: 2004
نایب قهرمان سوپرجام ایتالیا: 2003
قهرمان جام یوفا اینترتوتو: 1999
نایب قهرمان لیگ قهرمانان اروپا: 2005
قهرمان لیگ قهرمانان اروپا: 2003، 2007
قهرمان سوپرجام اروپا: 2003، 2007
قهرمان جام باشگاه‌های جهان: 2007
نایب قهرمان جام باشگاه‌های جهان: 2003

عناوین شخصی به عنوان مربی

جایزه باشگاه فوتبال یوفا: مربی سال: 2003، 2007
برترین مربی باشگاهی جهان: 2007
ورد ساکر: مربی سال: 2003
ای. اس. ام: مربی سال اروپا: 2007
مربی سال ایتالیا: 2001، 2004