L'autorité judiciaire peut refuser par une décision motivée d'accorder un permis de visite aux personnes n'appartenant pas à la famille d'une personne prévenue. Ainsi qu'aux membres de la famille de celle-ci au cours du premier mois de placement en détention provisoire. A l'expiration de ce délai, elle ne peut plus refuser de délivrer un permis de visite aux membres de la famille, sauf en prononçant une décision écrite et spécialement motivée par les nécessités procédurales. Au moment du placement en détention provisoire, le juge d'instruction peut, par ailleurs, décider de prononcer à l'encontre d'une personne prévenue une interdiction de communiquer pour une période de dix jours, renouvelable une fois. Elle entraîne notamment l'impossibilité de recevoir des visites pendant cette durée. Mais en aucun cas, cette interdiction de communiquer ne peut s'appliquer à l'avocat de la personne prévenue.
Article 35 de la loi pénitentiaire n°2009-1436 du 24 novembre 2009; Articles 145-4 et D.64 du Code de procédure pénale.

La seule voie ouverte appartient aux membres de la famille, à l'encontre uniquement de la décision de refus spécialement motivée prise à compter d'un mois suivant le placement en détention provisoire. La décision doit être alors contestée dans les dix jours après sa notification devant le président de la chambre de l'instruction qui doit alors statuer dans un délai de cinq jours par une décision écrite et motivée. Cette décision ne sera pas susceptible de recours. Si le président de la chambre de l'instruction annule la décision du juge d'instruction, il délivre lui-même le permis de visite.
Articles 145-4 et D. 64 du Code de procédure pénale.

Le chef d'établissement pénitentiaire est responsable de la délivrance des autorisations de visiter une personne condamnée. Il faut lui envoyer un courrier demandant un permis de visite, en indiquant le lien de parenté avec la personne détenue ainsi qu'une fiche familiale d'état civil, une photocopie de sa pièce d'identité ou de son titre de séjour et deux photos. Si la personne est hospitalisée dans un établissement public, c'est le préfet qui est compétent pour accorder le permis de visite.
Article D. 403 du Code de procédure pénale.

Le permis doit être en principe accordé aux membres de la famille dans un délai de 10 jours maximum. Lorsque le chef d'établissement demande une enquête préalable, et dans l'attente des conclusions de celle-ci, il peut exceptionnellement délivrer une autorisation provisoire de visite. Le chef d'établissement apprécie la situation au cas par cas. Il est donc important de justifier le plus possible sa demande.
Note n°509 du 15 septembre 2009 sur les relations des personnes détenues avec leur entourage.

Le chef d'établissement ne peut refuser d'accorder le permis à un membre de la famille ou au tuteur d'une personne condamnée que si cette visite peut mettre en danger la sécurité ou le bon ordre de l'établissement pénitentiaire ou pour prévenir des infractions. Selon une note du directeur de l'administration pénitentiaire du 15 septembre 2009 la « définition de la famille ne doit pas être restrictive ». Elle s'entend des personnes justifiant d'un lien de parenté ou d'alliance juridiquement établi. Mais aussi des personnes ne justifiant pas d'un lien de parenté juridiquement établi mais « attestant d'un projet familial commun avec la personne détenue ». Le concubin et la concubine doivent être considérés comme membres de la famille. La preuve du concubinage s'apporte par tous moyens (factures, quittances de loyer, attestation d'un service social...). Pour les personnes extérieures à la famille, le chef d'établissement dispose d'une plus grande marge d'appréciation, puisqu'il peut refuser d'accorder le permis outre les motifs ci-dessus énoncés pour les membres de la famille (sécurité et bon ordre de l'établissement, prévention des infractions) s'il considère que ces visites font obstacle à « la réinsertion du condamné ». En pratique, le manque de précision de ces différents critères laisse une liberté d'appréciation importante au directeur, dont la décision est toutefois susceptible de faire de recours devant le tribunal administratif.
Article 35 de la loi pénitentiaire n°2009-1436 du 24 novembre 2009; article R57-8-10 du Code de procédure pénale; note n°509 du 15 septembre 2009 relative aux relations des personnes détenues avec leur entourage.

En cas de refus du chef d'établissement de délivrer un permis de visite, la personne à l'origine de la demande peut effectuer un recours gracieux ou un recours hiérarchique par courrier auprès du directeur interrégional des services pénitentiaires. Elle peut, dans tous les cas, exercer un recours en excès de pouvoir devant le tribunal administratif dans un délai de deux mois à compter de la décision de rejet ou de la décision confirmant le rejet. Un recours peut s'appuyer sur l'article 35 de la loi pénitentiaire, selon lequel un chef d'établissement ne peut refuser un permis de visite que dans certains cas, et sur l'article 8 de la Convention européenne de sauvegarde des droits de l'homme qui garantit le droit au respect de la vie privée et familiale.
Article 35 de la loi pénitentiaire n°2009-1436 du 24 novembre 2009, décision du tribunal administratif de Toulouse du 22 avril 1999, affaire K.

Les enfants relèvent des mêmes règles que le reste de la famille en ce qui concerne le droit de visite. Toutefois, il semble plus difficile de justifier le refus d'octroi d'un permis de visite à leur égard, en raison de considérations propres aux nécessités procédurales ou de motifs liés à l'ordre ou la sécurité de l'établissement pénitentiaire. Par ailleurs, si la personne investie du droit de garde rend difficile la visite des enfants titulaires d'un permis de visite à un de leurs parents détenu, l'exercice du droit de visite peut être établi par le juge et être entouré des garanties nécessaires pour satisfaire à la fois la personne qui a la garde et le parent détenu. Dans certains établissements, des associations proposent l'accompagnement des enfants mineurs auprès de leur parent détenu. Il est possible de solliciter le service pénitentiaire d'insertion et de probation pour obtenir plus d'information sur les possibilités d'accompagnement proposés au sein de l'établissement.

Hormis certains permis délivrés pour un nombre de visites limité et précisé sur le document, le permis a une durée de validité indéterminée : il est « permanent ». Il n'est donc pas nécessaire de procéder à son renouvellement lorsque le magistrat qui l'a accordé est dessaisi du dossier de la procédure. L'autorité judiciaire ultérieurement saisie garde toutefois la possibilité de supprimer ou de suspendre l'utilisation du permis, ou bien d'en délivrer un nouveau. Il n'est pas nécessaire également de procéder à une nouvelle demande de permis de visite du chef d'établissement en cas de condamnation définitive. Le permis est valable pour tous les établissements dans lesquels le détenu est susceptible d'être transféré. Par ailleurs, en cas d'hospitalisation de la personne détenue, il appartient au chef d'établissement d'informer l'autorité préfectorale des conditions dans lesquelles celle-ci peut entretenir des relations avec l'extérieur, et de lui communiquer dans les meilleurs délais les permis de visite des personnes autorisées à lui rendre visite. Les règlements pénitentiaires demeurent en effet applicables aux personnes détenues hospitalisées, dans toute la mesure du possible, en ce qui concerne leurs relations avec l'extérieur.
Articles D. 64, D. 395 et D. 403 du Code de procédure pénale; guide méthodologique relatif à la prise en charge sanitaire des détenus.

Une décision de suspension ou de retrait du permis de visite peut être prise à la suite d'un incident qui se serait produit lors d'un parloir. Lorsque le chef d'établissement envisage de prendre une décision de suspension ou de retrait du permis de visite, il doit respecter la procédure du contradictoire. Il doit avertir le titulaire du permis suffisamment à l'avance de la décision qu'il envisage de prendre. La personne peut alors faire parvenir ses observations et/ou solliciter un entretien au cours duquel elle peut se faire assister d'un avocat, ou d'un mandataire agréé ou non. En principe, le chef d'établissement ne peut refuser une telle demande d'entretien. Il notifie sa décision motivée au titulaire du permis soit verbalement contre émargement (signature) soit par lettre recommandée avec accusé de réception. Le temps de mettre en œuvre cette procédure, la suspension du permis peut être prononcée à titre conservatoire. Un recours contentieux contre la mesure de retrait ou suspension prise par le chef d'établissement à l'issue d'une procédure contradictoire est ensuite possible auprès du tribunal administratif dans un délai de deux mois à compter de la notification de la décision. Lorsque l'autorité judiciaire (juge d'instruction, procureur de la République...) décide de retirer un permis de visite, cette procédure contradictoire ne peut être mise en place. En effet, elle ne s'applique qu'aux relations entre le citoyen et les autorités administratives.
Articles D. 251-3, D. 408 et D. 409 du Code de procédure pénale; circulaire du 9 mai 2003 relative à l'application pour l'administration pénitentiaire de l'article 24 de la loi n° 2000-321 du 12 avril 2000 relative aux droits des citoyens dans leurs relations avec les administrations.