За что могут высадить пассажиров?

Высадить пассажиров инспектор может только при нарушении правил эксплуатации ТС.
[сводка здесь]

А также если какие-то проблемы с водителем (без прав, пъяный и т.п.).

Как правило, сразу пассажиров не высаживают.
Сначала ставят в путевой лист штамп о запрете эксплуатации и отпускают.
Затем через сто метров останавливает другой инспектор, а с такой отметкой в путевке перевозка пассажиров — это уже статья 238 Уголовного кодекса (оказание услуг, не отвечающих требованиям безопасности).
[статья целиком здесь]