هکر میتواند به صداهای آکوستیکی که از صفحه نمایش میآید گوش دهد و این صدا میتواند برای تشخیص محتوای نمایش داده شده بر روی صفحه نمایش استفاده شود؛ به عبارت دیگر، هر شخصی با دانش فنی خوب، میداند چگونه میتواند بهراحتی فعالیتهای رایانهای اشخاص را جاسوسی کند.
در این حمله که محققان آن را Synesthesia نامیدهاند، هکرها میتوانند محتوای یک صفحه نمایش راه دور را آشکار سازند، دسترسی به اطلاعات حساس بالقوه را که تنها مبتنی بر نشت آکوستیک مبتنی بر محتوا از صفحات LCD هستند را فراهم آورند.
صفحات LCD با هر دو نور پسزمینه CCFL و LED تحتتأثیر این حملات قرار گرفتهاند.
صداهای ظریف آکوستیک از طریق میکروفونهای معمولی داخل وبکمها یا صفحات نمایش، گوشیهای هوشمند یا بلندگوی هوشمند جاسازشده بر روی میز کنار صفحه نمایش، از فاصله 10 متری با استفاده از یک میکروفون پارابولی، از طریق میکروفون وبکم متصل شده در طی اسکایپ، Google Hangouts یا دیگر جریانهای چت صوتی یا از طریق ضبطهای یک دستگاه نزدیک مانند Google Home یا Amazon Echo، قابل جمعآوری است.
صداهای مربوطه بسیار ضعیف و پرقدرت هستند و گوش انسانی قادر به شنیدن آن نیست؛ بنابراین کاربران نمیتوانند شک کنند این انتشارات وجود دارد و اطلاعات مربوط به محتوای صفحه نمایش آنها به هر کسی که جریانهای صوتی را دریافت میکند، منتقل میشود.
اغلب کاربران تلاش میکنند وبکمهای (و بنابراین میکروفون) خود را نزدیک صفحه نمایش جای دهند تا بتوانند در حین کنفرانس ویدیویی تماس چشمی برقرار کنند و در نتیجه اندازهگیریهای با کیفیت بالایی را برای مهاجمان خواستار ارائه میدهند.
محققان بهمنظور بررسی این نوع حملات، برنامه آزمایشی کوچکی ساختند که الگوهای خطوط سیاه و سفید متناوب افقی با ضخامت برابر (با واحد پیکسل) را که به آنها Zebra میگویند، نمایش میدهد.
دوره تناوب یک Zebra، فاصله بین دو نوار سیاه مجاور (با واحد پیکسل) است؛ پس از اجرای برنامه، تیم تحقیقاتی، صدای پخش شده از صفحه نمایش Soyo DYLM2086 را در حین نمایش چندین Zebra ضبط کردند.
در هر دوره مختلف از نوارها، فرکانس صدای آلتراسونیک در یک حالت قابل پیشبینی تغییر یافت.
با کمک الگوریتم یادگیری ماشین (دادهها را تجزیه و تحلیل میکند تا پیشبینی کند چه چیزی بر روی صفحهنمایش کاربر بوده است)، محققان توانستند ضبط شدهها را ترجمه کنند.
این تیم تحقیقاتی همچنین با دقت 96.5 درصد توانستند 10 مورد از محبوبترین وبسایتهای نمایش داده شده بر روی صفحه نمایش را تشخیص دهند.
محققان همچنین در تحقیقات خود که مرکز ماهر نیز آن را منتشر کرده، اثبات کردند که چگونه مهاجمان میتوانند آنچه را که کاربر تایپ میکند را با تجزیه و تحلیل فرکانس صدای تولید شده در حین استفاده از صفحه کلید روی صفحه نمایش، استنتاج کنند.
اگر چه صفحه کلید روی صفحه نمایش یک مکانیزم امنیتی برای گذرواژه ورودی است اما محققان ثابت کردند که این عملیات نیز از هکرهایی که چشمها و گوشها را جاسوسی میکنند در امان نیست.