Nesse artigo é feito um estudo de modelos de aprendizado profundo para auxiliar os agricultores na melhor tomada de decisão da colheita dos cafeeiros. Este é um problema pouco explorado na literatura e se torna muito difícil por conta dos frutos amadurecerem de maneira desuniforme na planta. Nesse sentido, coletamos milhares de imagens de cafeeiros as quais foram posteriormente classificadas por especialistas da área, Além disso, triplicamos a base de dados utilizando o processo de aumento de dados e três arquiteturas de redes neurais convolucionais foram treinadas e tiveram seu desempenho preditivo comparado. Os resultados mostram que nosso melhor obteve uma taxa de acerto de 93\% e F1-score de 92\% em imagens separadas para os testes.