делать. The practical implementation of artificial intelligence technologies in medicine
Скачать 64.99 Kb.
|
Patient safetyWhat mechanisms will (or should) be in place for quality control of algorithms remain unclear. The US Food and Drug Administration (FDA) recognizes that AI-based technologies are distinct from traditional medical devices. Along with the International Medical Device Regulators Forum (IMDRF), the FDA has defined a new category called Software as Medical Device (SaMD) and has expressed the need for an updated regulatory framework, the details of which we will explore in the next section. | Безопасность пациентовКакие механизмы будут (или должны) использоваться для контроля качества алгоритмов, остается неясным. Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA) признает, что технологии на основе ИИ отличаются от традиционных медицинских устройств. Наряду с Международным форумом по регулированию медицинских устройств (IMDRF) FDA определило новую категорию под названием «Программное обеспечение как медицинское устройство» (SaMD) и заявило о необходимости обновленной нормативно-правовой базы, подробности которой мы рассмотрим в следующем разделе. |
Some have proposed that AI technologies should be held to the same standard as clinical laboratories—that is, local standards and established minimum performance metrics for critical abnormalities should be in place9. AI systems face safety challenges in the forms of complex environments, periods of learning during which the system’s behavior may be unpredictable, and the uncertainty of human–machine interactions, which may result in significant variation in the system’s performance. | Некоторые предлагали, чтобы технологии искусственного интеллекта соответствовали тем же стандартам, что и клинические лаборатории, то есть должны применяться местные стандарты и установленные минимальные показатели производительности для критических отклонений. Системы ИИ сталкиваются с проблемами безопасности в виде сложных сред, периодов обучения, в течение которых поведение системы может быть непредсказуемым, и неопределенности взаимодействия человека и машины, что может привести к значительным изменениям в производительности системы. |
Another issue related to patient safety is that of accountability. If a patient suffers an adverse event due to an AI-based technology, who is responsible? AI technologies will undoubtedly alter the traditional physician–patient relationship. Inherent in that change is a potential shift in the physician’s sense of personal responsibility. If AI indeed completely replaces certain tasks previously performed by the physician, perhaps that shift in responsibility is warranted. But if the physician is not responsible, who is? One could reasonably propose multiple sources—the vendor providing the software platform, the developer who built the algorithm, or the source for the training data. The patient safety movement is already shifting away from blaming individual ‘bad actors’ and working toward identifying systems-wide issues as opportunities for improvement and reduction in potentially avoidable adverse events. The same principles could be applied to AI technology implementation, but where liability will ultimately rest remains to be seen. | Еще одна проблема, связанная с безопасностью пациентов, связана с ответственностью. Если пациент страдает от нежелательного явления из-за технологии на основе ИИ, кто несет ответственность? Технологии искусственного интеллекта, несомненно, изменят традиционные отношения между врачом и пациентом. Неотъемлемой частью этих изменений является потенциальное изменение чувства личной ответственности врача. Если ИИ действительно полностью заменяет определенные задачи, ранее выполнявшиеся врачом, возможно, такое перераспределение ответственности оправдано. Но если врач не несет ответственности, то кто? Можно разумно предложить несколько источников — поставщика, предоставляющего программную платформу, разработчика, создавшего алгоритм, или источника обучающих данных. Движение за безопасность пациентов уже отказывается от обвинения отдельных «злоумышленников» и работает над выявлением общесистемных проблем как возможностей для улучшения и сокращения потенциально предотвратимых побочных эффектов. Те же принципы могут быть применены к внедрению технологий искусственного интеллекта, но на ком в конечном итоге будет лежать ответственность, еще предстоит выяснить. |