История рассказывается от лица Пола Эджкомба — бывшего надзирателя федеральной тюрьмы штата Луизиана «Холодная гора», а в настоящее время обитателя дома престарелых «Джорджия Пайнз». Пол рассказывает своей подруге Элейн о событиях, произошедших более полувека назад
1932 год. Пол — старший надзиратель тюремного блока «Е», в котором содержатся приговоренные к смертной казни на электрическом стуле. В тюрьме этот блок, застеленный светло-зелёным линолеумом, называют «Зелёная миля», по аналогии с «Последней милей», которую приговорённый проходит в последний раз.
В обязанности Пола входит проведение казней. Надзиратели Гарри Тервиллигер, Брут Хоуэлл и Дин Стэнтон, которые помогают ему в этом, выполняют свою работу, придерживаясь негласного правила «Зелёной мили»: «Лучше относиться к этому месту, как к реанимационной палате. Самое лучшее здесь — тишина».
Одиночкой в команде Пола стоит пятый надзиратель — Перси Уэтмор. Молодой садист, злобный, трусливый и жестокий, он развлекается, издеваясь над заключёнными и мечтает о том дне, когда лично проведёт казнь. Несмотря на всеобщее омерзение, которое он вызывает на «Зелёной миле», Перси чувствует себя в полной безопасности: у него большие связи, он племянник жены губернатора штата.
На момент повествования в блоке «Е» ожидают казни два смертника — индеец племени чероки Арлен Биттербак по прозвищу Вождь, приговорённый к смерти за убийство в пьяной драке, и француз Эдуар Делакруа, приговорённый к смерти за то, что изнасиловал и убил девушку — чтобы скрыть следы преступления, он попытался сжечь тело, но огонь перекинулся на здание общежития, где заживо сгорели ещё шесть человек, в том числе двое детей.
После того как Вождь проходит по «Зелёной миле» и садится на «Старушку Искру» (англ. Old Sparky), как называют в тюрьме электрический стул, в блоке «Е» появляется несколько новых обитателей.
Первым в октябре 1932 года прибывает заключённый по имени Джон Коффи. Странный вид этого человека сразу привлекает внимание Пола: абсолютно лысый негр более двух метров ростом и весом около двухсот килограммов, по поведению скорее похожий на умственно отсталого ребенка, чем на взрослого человека. В сопроводительных документах указано, что Джон Коффи признан виновным в изнасиловании и убийстве двух девочек-близняшек Кэти и Коры Деттериков.
Вторым на «Зелёной миле» появляется маленький мышонок. Неизвестно откуда взявшись в тюрьме, он всякий раз неожиданно появляется и исчезает, демонстрируя недюжинный ум и сообразительность, несвойственную мышам. Вскоре Делакруа удается приручить мышонка и он дает ему имя «Мистер Джинглс». Забавный зверек становится любимцем всей «Мили», а для ожидающего казни Делакруа превращается в единственного друга. Получив разрешение оставить мышонка в камере, Делакруа обучает его различным трюкам и просит Пола не оставить Мистера Джинглса после своей смерти. Единственный, кто не разделяет общего отношения к мышонку — Перси Уэтмор. Каждый раз впадая в бешенство при появлении Мистера Джинглса, Перси пытается его убить, но мышонок всегда успевает ускользнуть.
Третьим в блок «Е» прибывает заключённый Уильям Уэртон, также известный как «Малыш Билли» и «Дикий Билл». Несмотря на свои девятнадцать лет, Уэртон — смертельно опасный маньяк, безжалостный и кровожадный. Осужденный за грабёж и убийство четырех человек, включая беременную женщину, «Дикий Билл», едва попав на «Милю», сразу оправдывает свое прозвище, чуть не задушив цепью от наручников надзирателя Дина Стэнтона.
Пол — близкий друг начальника тюрьмы Мурса. В семье Мурса трагедия: у его жены Мелинды неоперабельная опухоль мозга. Надежды на излечение нет, и Мурс делится с Полом своими переживаниями. У самого Пола также проблемы со здоровьем: он страдает воспалением мочевого пузыря. Мучительная болезнь изматывает Пола, не оставляя его ни дома, ни на работе.
Именно болезнь Пола позволяет Джону Коффи проявить свои сверхъестественные способности. Случайно прикоснувшись к Полу, тихий и равнодушный ко всему заключенный оживляется и заявляет, что «может помочь». Потрясенный Пол видит, как Джон Коффи сначала поглощает болезнь как некую субстанцию, а затем выпускает ее из себя в виде тучи мошкары. Удивительное исцеление заставляет Пола сомневаться в виновности Джона Коффи: ведь Господь не мог дать такой дар убийце и насильнику.
Тем временем обстановка в блоке «Е» накаляется. Дикий Билл, который остается смертельно опасным даже в камере смертников, подкарауливает потерявшего осторожность Перси Уэтмора и хватает его через решетку. От испуга Перси мочится в штаны, а Делакруа, наблюдающий эту сцену, не может удержаться от насмешки. В отместку за свое унижение, Перси давит Мистера Джинглса сапогом. Но Джон Коффи снова проявляет свой дар и возвращает мышонка к жизни.
Возмущенные поведением Перси, Пол и другие надзиратели требуют, чтобы тот убирался с «Мили». Перси ставит условие: если ему разрешат руководить казнью Делакруа, то он переведется в психиатрическую лечебницу Брайр-Ридж, работа в которой считается для охранника престижной. Не видя другого способа избавиться от Перси Уэтмора, Пол соглашается.
Казнь Делакруа превращается в кошмар: намеренно не намочив губку в соляном растворе, Перси размыкает один из контактов в электрическом стуле, из-за чего Делакруа буквально сгорает заживо.
Для Пола это становится последней каплей. Понимая, что Мелинде Мурс, также как и Джону Коффи жить осталось совсем немного, он решается на отчаянный шаг: тайно вывезти из тюрьмы приговоренного к смерти заключенного для того, чтобы спасти умирающую женщину. Брут, Дин и Гарри без колебаний соглашаются помочь Полу, хорошо понимая, что ожидает их всех в случае провала.
Операция начинается с избавления от нежелательных свидетелей. На Перси Уэтмора, с которым больше никто не церемонится, надевают смирительную рубашку и сажают его в карцер для буйных, а Дикого Билла усыпляют большой дозой снотворного. Подогнав к блоку «Е» грузовик, надзиратели с величайшими предосторожностями сажают туда Джона Коффи и отправляются к дому начальника тюрьмы.
Помощь приходит вовремя, и Джон исцеляет Мелинду. Но поглотив опухоль, Коффи почему-то не выпускает ее в виде тучи мошек, как делал до этого, и ему сразу же становится плохо. Едва живого, его снова сажают в грузовик и спешно возвращают на «Милю». Убедившись, что за время их отсутствия ничего не произошло, Пол выпускает Перси из карцера, после чего события принимают непредсказуемый характер.
Освободившись от смирительной рубашки, Перси начинает угрожать Полу и остальным надзирателям, что заставит их заплатить за содеянное. В очередной раз потеряв осторожность, он слишком близко подходит к камере, и Джон Коффи хватает его через решетку. На глазах надзирателей Джон выдыхает поглощенную опухоль в Перси Уэтмора. Лишившись рассудка, Перси выхватывает револьвер и всаживает шесть пуль в спящего «Дикого Билла».
Джон Коффи объясняет потрясенному Полу причины своего проступка. Именно «Дикий Билл» был настоящим убийцей Кэти и Коры Деттериков, и теперь его настигла заслуженная кара. Понимая, что ему предстоит казнить невинного человека, Пол предлагает Джону выпустить его. Но Джон отказывается. Он хочет уйти, потому что устал от людской злобы и боли, которой в мире слишком много, и которую он ощущает вместе с теми, кто её испытывает.
На этом заканчивается земной путь Джона Коффи: скрепя сердце, Полу приходится провести его по «Зелёной миле». Это становится последней казнью, которую проводит Пол. Расследование смерти «Дикого Билла» приходит к выводу, что причиной произошедшего было внезапное помешательство надзирателя. Перси Уэтмора, как и предполагалось, переводят в Брайр-Ридж, но не как охранника, а в качестве пациента. Так и не приходя в сознание, он остается там до самой смерти.
На этом Пол завершает свой рассказ. Элейн, которая уже давно живет рядом с ним в доме престарелых и считавшая его своим ровесником, задает вопрос: если на момент описываемых событий, в 1932 году, у Пола было двое взрослых детей, то сколько же лет ему самому сейчас, в 1996 году?
Ответ Пола поражет Элейн: он показывает ей мышь, старую и дряхлую, но живую. Это — Мистер Джинглс, который прожил больше шестидесяти лет. Самому Полу — сто восемь лет. Сверхъестественный дар Джона Коффи дал им обоим долгую жизнь, но для Пола это стало проклятьем за убийство невинного. Он остался совершенно один: все его родные и близкие давно мертвы, а он продолжает жить.
Последние слова Пола: «Мы все обречены на смерть, все без исключения, я это знаю, но, о Господи, иногда зелёная миля так длинна».