در سال 2003، زندگی پانچو برای همیشه تغییر کرد. امسال یک سانحه رانندگی باعث شد این کارگر 20 ساله مزرعه تحت عمل جراحی اورژانسی قرار گیرد تا آسیب وارده به معده او ترمیم شود. عملیات به خوبی پیش رفت. اما روز بعد، لخته خون ناشی از این روش مانع از رسیدن اکسیژن به ساقه مغز او شد و پانجو فلج شد و توانایی صحبت کردن خود را از دست داد.
در فوریه 2019، یک عمل جراحی دیگر زندگی پانچو را یک بار دیگر تغییر داد. این بار، به عنوان بخشی از یک کارآزمایی بالینی جسورانه، جراحان دانشگاه کالیفرنیا، سانفرانسیسکو (UCSF) جمجمه او را باز کردند و ورقه ای نازک حاوی 128 میکروالکترود را روی سطح مغز او گذاشتند.
این سیستم که در آزمایشگاه ادوارد چانگ، جراح مغز و اعصاب UCLA ساخته شده بود، به تکانه های الکتریکی قشر حرکتی پانچو هنگام صحبت کردن گوش می داد، سپس آن سیگنال ها را به کامپیوتری فرستاد که الگوریتم های پیش بینی زبان آن سیگنال ها را رمزگشایی می کرد و آنها را به کلمات و جملات تبدیل می کرد. . اگر این رویکرد موفقیت آمیز بود، پس از 15 سال پانچو می توانست دوباره صدای خود را داشته باشد.
آزمون موفقیت آمیز بود. در یک مطالعه مهم که سال گذشته منتشر شد، چانگ و همکارانش گزارش دادند که پروتز عصبی به پانچو این امکان را میدهد تا با تلاش برای گفتن کلمات روی صفحه تایپ کند. در حدود 75 درصد موارد، این الگوریتم به درستی جملاتی را از واژگان 50 کلمه ای تولید می کرد. اکنون، در گزارش جدیدی که در مجله Nature Communications منتشر شده است، تیم چانگ این نقطه عطف علمی را از این هم فراتر برده است.
دستگاه آنها که برای تشخیص حروف الفبای آوایی ناتو (آلفا، براوو، چارلی و غیره) اصلاح شده بود، توانست بیش از 1100 کلمه از فعالیت الکتریکی مغز پانچو را رمزگشایی کند، در حالی که او در سکوت سعی می کرد حروف را بگوید. جملات پانچو شامل جملاتی مانند «متشکرم» یا «موافقم» بود که محققان او را تشویق کرده بودند که بگوید. اما سیستم جدید به او کمک کرد تا خارج از جلسات تمرینی صحبت کند. او یک روز در اواخر تابستان گذشته به محققان گفت: «از این ویروس در امان بمانید.
دیوید موزز، مهندس فوق دکترا که نرم افزار رمزگشایی را با شان متزگر و جسی آر لیو توسعه داده است، می گوید: «بسیار جالب بود که خود را بسیار قوی تر از آنچه قبلا دیده بودیم بیان می کند.
پانچو یکی از معدود افرادی روی زمین است که به عنوان بخشی از یک کارآزمایی بالینی، یک رابط مغز و کامپیوتر (BCI) در ماده خاکستری مغزشان کاشته شده است. این داوطلبان در حال جابجایی از مرزهای فناوری هستند که این پتانسیل را دارد تا به افرادی که به دلیل سکته مغزی، آسیب نخاعی یا بیماری توانایی تکلم را از دست داده اند کمک کند تا حداقل بخشی از آنچه در ذهنشان می گذرد را به اشتراک بگذارند.
به لطف پیشرفت های همزمان در علوم اعصاب، مهندسی و هوش مصنوعی در دهه گذشته، زمینه رابط های مغز و کامپیوتر به سرعت در حال پیشرفت است. سال گذشته، دانشمندان دانشگاه استنفورد مطالعه پیشگامانه دیگری را منتشر کردند که در آن فردی تصور می کرد که یک قلم در دست دارد و کلماتی را می نویسد و یک رابط مغز و کامپیوتر حرکات ذهنی دست او را به گفتار تبدیل می کند. حداکثر سرعت این کار 18 کلمه در دقیقه بود.
در ماه مارس، یک تیم بین المللی از محققان برای اولین بار گزارش دادند که یک فرد مبتلا به سندرم قفل شده (بیماری که از دستگاه تنفس مصنوعی استفاده می کند و به طور کامل فلج است و هیچ کنترل اختیاری ماهیچه ای ندارد) توانسته است از رابط مغز و کامپیوتر برای اشاره استفاده کند. . جملات کامل را با حروف بگویید.
آخرین مطالعه محققان دانشگاه کالیفرنیا نشان می دهد که سیستم املای آنها می تواند توسعه یابد و واژگان بیشتری را در اختیار مردم قرار دهد. در یک سری از آزمایشهای آفلاین، شبیهسازیهای کامپیوتری با استفاده از فعالیت عصبی ثبتشده پانچو نشان میدهد که سیستم باید تا 9000 کلمه را ترجمه کند.
مهمتر از آن، سیستم جدید محققان سریعتر از دستگاهی بود که Pancho در حال حاضر برای برقراری ارتباط از آن استفاده می کرد. سیستم فعلی صفحهای است که او با استفاده از قلمی که با مغزش کنترل میکند، روی آن ضربه میزند.
دکتر ادی چانگ، جراح مغز و اعصاب و رئیس بخش جراحی مغز و اعصاب در دانشکده پزشکی دانشگاه کالیفرنیا، سانفرانسیسکو، آماده میشود تا یک ایمپلنت مغزی آزمایشی را به رایانه متصل کند که به بیمار فلج به نام پانچو کمک میکند تا با خواندن سیگنالهای مغزش صحبت کند. .
این سیستم هنوز از تولید گفتار طبیعی در زمان واقعی از افکار متوالی فاصله دارد. اما رفته رفته به این مرحله نزدیک می شود. آنا لیز ژیرو، مدیر موسسه شنوایی در انستیتو پاستور پاریس، که بخشی از کنسرسیوم اروپایی برای رمزگشایی گفتار از فعالیت مغز است، گفت: “به احتمال زیاد، ما به این فناوری بسیار نزدیک هستیم.” “با هر آزمایش جدید، ما دانش زیادی در مورد خود فناوری و همچنین در مورد عملکرد مغز و انعطاف پذیری به دست می آوریم.”
خواندن سیگنال های مغز برای تولید گفتار بسیار دشوارتر از خواندن این سیگنال ها برای حرکت است، فناوری پشت اندام مصنوعی کنترل شده توسط ذهن. یکی از چالش های اصلی این است که نواحی مختلف مغز درگیر زبان هستند و زبان در شبکه های عصبی که حرکات لب، دهان و مجرای صوتی ما را کنترل می کند، حروف نوشته شده را با صداها مرتبط می کند و گفتار را تشخیص می دهد، کدگذاری می شود. تکنیکهای کنونی که فعالیت مغز را ثبت میکنند، نمیتوانند تمام نواحی مرتبط را با وضوح مکانی و زمانی کافی که برای رمزگشایی سیگنالها لازم است، نظارت کنند.
مشکل دیگر این است که سیگنالهایی که با تفکر درباره گفتن کلمات تولید میشوند، معمولا ضعیفتر و مستعد خطاتر از سیگنالهایی هستند که با صحبت کردن واقعی تولید میشوند. به منظور استخراج دقیق الگوهای گفتاری تلاش شده، لازم است هم سیگنالهای پراکنده فرکانس پایین و هم سیگنالهای محلی با فرکانس بالا در نظر گرفته شود.
راه های زیادی برای انجام این کار وجود دارد، بنابراین این مشکل نیز یک فرصت است و گزینه های زیادی برای رمزگشایی گفتار در سطوح مختلف زبانی وجود دارد: حروف فردی، واج ها، هجاها و کلمات.
ژیرو گفت که این رویکردها، همراه با مدلهای زبانی بهتری که در چند سال گذشته تولید شدهاند، به غلبه بر مشکلات دیرینه رمزگشایی این حوزه کمک کردهاند. در حال حاضر مهمترین گلوگاه رابط های مهندسی هستند که برای استفاده طولانی مدت مناسب هستند. ژیرو می گوید: «چالش یافتن بهترین تعادل بین پرخاشگری و کارآمدی است. الکترودهایی که با جراحی در اعماق مغز قرار می گیرند می توانند فعالیت تک تک نورون ها را ثبت کنند و در رمزگشایی سیگنال های گفتاری بهتر عمل کنند. اما مغزی که در مایع شور خورنده قرار دارد، محیط مناسبی برای وسایل الکترونیکی نیست.
علاوه بر این، عمل قرار دادن الکترودها در داخل جمجمه با خطر التهاب، زخم و عفونت همراه است. رابط های غیرتهاجمی که فعالیت الکتریکی را از بیرون جمجمه ثبت می کنند، فقط می توانند شلیک دسته جمعی گروه های بزرگی از نورون ها را ثبت کنند. بنابراین رابط های غیر تهاجمی در عین ایمن تر بودن، ضعیف تر از انواع تهاجمی هستند.
شرکتها و گروههای تحقیقاتی مختلف برای توسعه الکترودهای سطحی با چگالی بالا کار میکنند که نیاز به جراحی و سختافزارهای جانبی دست و پا گیر را از بین میبرد. اما در حال حاضر، دانشمندانی که این فناوریها را در کلینیکها آزمایش میکنند، اغلب عملی بودن را قربانی دقت میکنند. به عنوان مثال، در آزمایش BRAVO در دانشگاه کالیفرنیا، داوطلبانی مانند پانچو ایمپلنتی دریافت میکنند که برای خواندن فعالیت مغز او باید با کابل به کامپیوتر متصل شود.
تیم چانگ میخواهد در آینده از یک نسخه بیسیم استفاده کند که دادهها را به تبلت ارسال میکند و ریسک کمتری دارد. اما این نوع به روز رسانی سخت افزاری یک شبه اتفاق نمی افتد و به گفته موسی، زمان و تلاش می خواهد.
توسعه رابط های مغز و کامپیوتر غیر تهاجمی مناسب برای استفاده طولانی مدت در خارج از آزمایشگاه نه تنها از نظر فراگیر بودن آنها مهم است. توسعه چنین رابطهایی از نظر اخلاقی نیز مهم است. هیچ کس نمی خواهد بیماران تحت عمل جراحی و آموزش استفاده از ایمپلنت های عصبی قرار گیرند. اما به دلیل عفونت یا توقف الکترودها، باید آنها را خارج کنند.
در سال 2013، NeuroVista که یک رابط مغز و کامپیوتر میسازد، زمانی که نمیتوانست هزینه آزمایشهایش را تامین کند، مجبور به خاموش شدن شد و بیماران مبتلا به صرع در آزمایشهای دستگاهش مجبور به برداشتن ایمپلنتهای خود شدند. تجربه ای که یکی از بیماران در مصاحبه با نیویورکر آن را ویران کننده خواند. اخیراً یک شرکت پروتز عصبی به نام Second Sight خدمات چشم های بیونیک را که به بیش از 350 فرد کم بینا فروخته بود، به دلیل درآمد کم متوقف کرد.
رابط های مغز و کامپیوتر به تازگی شروع به دادن توانایی صحبت به افرادی می کنند که توانایی صحبت کردن خود را از دست داده اند. اما اگر قرار است به وعده خود عمل کنند، باید برای ماندگاری ساخته شوند.