当然，以王阳明当时的能量还远远不足以和刘瑾相抗衡，刘瑾将王阳明杖责四十，贬为贵州龙场驿丞。龙场在今贵州省贵阳市修文县龙场镇，离贵阳38公里，当时是汉、苗、僚等多个民族、部落杂居的地区，非常蛮荒。驿丞更是非常卑贱的未入流品官，主要负责迎来送往、车马仪仗。清朝甚至规定满人不得为驿丞，可见对这个职务的鄙视。而且刘瑾还派了人一路追杀，还好王阳明机敏，躲过了追杀，终于顺利到达龙场。
到了龙场后，王阳明并未因为仕途受挫就心灰意冷，而是继续斗志昂扬地工作。他在蛮荒地区主动担当起了教化蛮夷的责任，迅速提高了当地的文明水平，让夷民睁眼看世界，走出大山。当地夷民感恩戴德，他们不懂得中原建祠立庙的做法，便纷纷伐木为屋，送给王阳明住，以表感激之情。王阳明的工作既造福了一方生民，也为明王朝拓展巩固统治基础作出了巨大贡献。明朝的羁縻区非常大，但汉化水平一直很低，甚至一些宋代己经汉化的地区又退化成部落统治，很大程度上就是因为地方官不尽责，缺少王阳明这种深入蛮荒，教化夷民的奉献精神。
