Mở đầu câu truyện, cậu học sinh trung học 17 tuổi Shinichi Kudo bị biến thành cậu bé Conan Edogawa. Shinichi trong phần đầu của Thám tử lừng danh Conan được miêu tả là một thám tử học đường xuất sắc. Trong một lần đi chơi công viên "Miền Nhiệt đới" với cô bạn từ thuở nhỏ Ran Mori, cậu tình cờ chứng kiến vụ một án giết người, Kishida - một hành khách trong trò chơi Chuyến tàu tốc hành đã bị giết một cách dã man. Cậu đã giúp cảnh sát làm sáng tỏ vụ án. Trên đường về nhà, cậu vô tình phát hiện một vụ làm ăn mờ ám của những người đàn ông mặc toàn đồ đen. Khi chúng phát hiện ra cậu, Shinichi đã bị đánh ngất đi. Sau đó những người đàn ông áo đen đó đã cho cậu uống một thứ thuốc độc chưa qua thử nghiệm là Apotoxin-4869 với mục đích thủ tiêu cậu. Tuy nhiên chất độc đã không giết chết Kudo. Khi tỉnh lại, cậu bàng hoàng nhận thấy mình đã bị teo nhỏ lại thành hình dạng của một cậu học sinh tiểu học.

Theo lời khuyên của Tiến sĩ Hiroshi Agasa, Shinichi đã che giấu tung tích, để tránh việc hội Áo đen có thể phát hiện ra rằng cậu vẫn còn sống. Khi Ran hỏi tên cậu, Shinichi đã ghép "Conan" trong tên của Sir Arthur Conan Doyle và "Edogawa" trong tên của Edogawa Rampo, buột miệng nói ra tên mình là "Conan Edogawa". Tiến sĩ Agasa đã nói Conan là một người cháu của mình, nhưng hiện ông đang quá bận rộn không thể chăm sóc cho chú bé nên đã nhờ Ran trông nom Conan giúp mình. Ran nhận lời và từ đó Conan sống tại nhà của Ran tức văn phòng thám tử Mori, vừa che giấu thân phận vừa điều tra tung tích của Tổ chức Áo đen và tìm kiếm thuốc giải độc.

Cha của Ran, Kogoro Mori (Richard Moore) là một thám tử bất tài. Từ khi Conan giúp ông phá án, ông trở nên rất nổi tiếng với biệt danh "Mori ngủ gật". Vì bộ dạng bé nhỏ của Conan, cảnh sát chẳng mấy khi để tâm tới những phán đoán, suy luận của cậu bé. Conan, bằng cách bắn súng gây mê để cho ông Mori ngủ say, sau đó sử dụng thiết bị đổi giọng nói là chiếc nơ gắn trên cổ áo để giả giọng ông, đã giúp cảnh sát phá rất nhiều vụ án dưới danh nghĩa Mori. Cũng có lúc cậu gợi ý và dẫn dắt ông Mori tìm ra chìa khóa của vụ án hay phá án dưới danh nghĩa của Suzuki Sonoko, bạn thân của Ran.

Một số nhân vật quan trọng khác xuất hiện về sau là cha mẹ của Shinichi, Yusaku (Booker) và Yukiko Kudo (Vivian), Heiji Hattori, một thám tử đến từ Osaka, Siêu trộm Kid, nhà sáng chế ra thuốc APTX4869 - Sherry ( người của Tổ chức Áo đen, cũng bị biến thành một đứa trẻ sau khi uống chính loại thuốc độc mình đã sáng chế ra với hy vọng chạy trốn khỏi tổ chức), các thành viên của Tổ chức Áo đen: Gin, Vodka, Tequila, Calvados, Pisco, Vermouth, Kir, Chianti, Köln, và một "ông trùm" bí ẩn chỉ được nhắc đến rất mơ hồ.

Để duy trì vỏ bọc bên ngoài, Conan đi học ở trường Tiểu học Teitan và kết bạn với ba đứa trẻ ở trường, Genta Kojima, Mitsuhiko Tsuburaya, và Ayumi Yoshida, lập ra Đội thám tử nhí lớp 1B (Detective Boys/Shōnen Tantei-dan - trong bản gốc). Bộ tứ đã có nhiều cuộc phiêu lưu với nhau và ba đứa trẻ đã cho thấy khả năng làm trợ lý thám tử ở tuổi của chúng. Sau này, Ai Haibara - tức Sherry cũng trở thành thành viên của đội thám tử nhí này.

Trải qua nhiều vụ án, Conan khám phá ra rằng FBI và CIA cũng đang truy đuổi Tổ chức Áo đen. Cùng với các thành viên Áo đen đang dần dần lộ mặt, truyện xuất hiện thêm một số điệp viên của FBI và CIA như Shuichi Akai, Jodie Starling, James Black, Mizunashi Rena...