Month: May 2022

The sounds of your heart beating and your lungs filling and exhaling are something everyone is familiar with.  Your heartbeat is the sound of your heart valves opening and closing.  In between those familiar sounds is sound energy given off by the of blood rushing through your heart.  In most cases, these sounds can represent normal healthy operation; where valves close properly and at the right time, and blood flows in the right direction.  Abnormal functioning of the heart will produce abnormal sounds, for instance valves closing  insufficiently and  with irregular rhythm, blood moving in the wrong direction or wrong velocity.  There are dozens of conditions that can be detected by analyzing the kinetic mechanical energy radiating from the heart as is functions.  These sound waves carry with them a vast amount  diagnostic information about the structure and condition of the heart, but separating these sounds from the background is tricky.

The most medically interesting sounds are also some of the hardest to isolate and hear. Like trying to separate out a single wave in an ocean. Important symptoms, such as gallop tones S3 and S4, mitral stenosis murmur, Still’s murmur and Austin Flint murmur exist and extremely low-frequency which are thousands of times harder for humans to hear than everyday sounds we are used to. Some diseases like infectious endocarditis can be detected at very early stages through sound, but it requires that we detect by the presence of a (very low power) quiet cardiac noise.

The use of machine learning is going to change things dramatically. It’s possible to train AI to detect and assess these sounds – especially those that exist on the edge of human hearing ability. This will significantly augment the diagnostic capacity, early detection, and screening available to people. Of course the real work today is in making this audio data machine readable. Bioacoustics is what they call unstructured data. It needs to be annotated and organized and its key features identified well before AI can work. If you want the AI to work well (and we do) you need a huge amount of this data. Daunting as it may seem, it’s an enormously worthy pursuit and will lay the foundation for years of innovation in the detection of dozens of diseases of the heart. lungs and possibly other organs.

Left – A wave off the coast of New Zealand. Right – a spectrographic visualization of a cardiac murmur as a result of aortic regurgitation

Звуки биття серця, наповнення й видиху легень — це те, що знайоме кожному. Серцебиття — це звук відкривання та закривання серцевих клапанів. Між цими знайомими звуками є звукова енергія, яку генерує кров, що протікає через ваше серце. У більшості випадків ці звуки можуть свідчити про нормальну здорову роботу серця, коли клапани закриваються належним чином й у потрібний час, а кров тече в правильному напрямку. Порушення роботи серця призводить до появи патологічних звуків, наприклад, коли клапани закриваються не повністю й із нерегулярним ритмом, кров рухається в неправильному напрямку або з неправильною швидкістю. Існують десятки станів, які можна виявити, аналізуючи кінетичну механічну енергію, що випромінюється серцем під час його роботи. Ці звукові хвилі несуть із собою величезну кількість діагностичної інформації про структуру і стан серця, але відокремити ці звуки від фонового шуму досить складно. 

Найцікавіші з медичної точки зору звуки водночас є одними з тих, які найважче виокремити й почути. Це схоже на спробу виділити одну хвилю в океані. Важливі симптоми, такі як галопуючі тони S3 і S4, шум мітрального стенозу, шум Стілла та шум Остін-Флінта, існують на надзвичайно низькій частоті, що робить їх у тисячі разів важчими для сприйняття людським вухом у порівнянні зі звичними для нас звуками. Деякі захворювання, такі як інфекційний ендокардит, можна виявити на дуже ранніх стадіях завдяки звуку серця, але для цього необхідно виявити (дуже слабкий) тихий серцевий шум. 

Використання технології машинного навчання кардинально змінить ситуацію. Можна навчити штучний інтелект виявляти та оцінювати ці звуки — особливо ті, що існують на межі людського слуху. Це значно розширить можливості діагностики, раннього виявлення та скринінгу, доступні для людей. Звичайно, справжня робота сьогодні полягає в тому, щоб зробити аудіодані машиночитабельними. Біоакустика — це те, що називають неструктурованими даними. Вони повинні бути анотовані та організовані, а їхні ключові характеристики визначені задовго до того, як штучний інтелект запрацює. Якщо ви хочете, щоб штучний інтелект працював добре (а ми хочемо), вам потрібна величезна кількість цих даних. Яким би складним це не здавалося, проте така мета є надзвичайно гідною й закладе фундамент для багаторічних інновацій у виявленні десятків хвороб серця, легень й, можливо, інших органів. 

Зліва — хвиля біля берегів Нової Зеландії. Праворуч — спектрографічна візуалізація серцевого шуму внаслідок аортальної регургітації