Pencarian Lembah Silicon untuk Memelihara Suara Stephen Hawking

Bagaimana pasukan Silicon Valley membantu membina semula suara robotiknya yang tersendiri

Patti Price, seorang perunding teknologi pertuturan, dan Eric Dorsey, seorang pengurus kejuruteraan, adalah sebahagian daripada pasukan yang berusaha menyelamatkan suara akrab Stephen Hawking ketika perkakasan berusia 30 tahun yang menghasilkannya mula gagal. Foto: Michael Macor, The Chronicle

Oleh Jason Fagone

Eric Dorsey, seorang jurutera berusia 62 tahun di Palo Alto, menonton TV pada Selasa malam ketika dia mula mendapat teks bahawa Stephen Hawking telah meninggal dunia. Dia menghidupkan berita itu dan melihat klip ahli fizik terkenal yang bercakap dengan suara android ikoniknya - suara yang Dorsey luangkan begitu banyak masa sebagai seorang pemuda yang membantu mencipta, dan kemudian, jauh kemudian, untuk menyelamatkan diri dari kehancuran.

Dorsey dan Hawking pertama kali bertemu hampir 30 tahun sebelumnya. Pada bulan Mac 1988, Hawking telah mengunjungi UC Berkeley semasa lawatan kuliah selama tiga minggu.

Pada usia 46 tahun, Hawking sudah terkenal dengan penemuannya mengenai fizik kuantum dan lubang hitam, tetapi tidak begitu terkenal seperti yang dijangkakan. Buku terlarisnya, "Sejarah Ringkas Waktu," tidak sampai seminggu dibebaskan, dan orang California ingin tahu tentang profesor Britain dari University of Cambridge ini, mengemas tempat perbincangan awamnya, mendekatinya ketika makan. Hawking bergerak ke bangunan dan ke panggung di kerusi roda dengan tempat duduk kulit domba maroon, membesar-besarkan dorongan kayu bedik, menyeringai ketika dia meninggalkan wartawan dan jururawatnya di dalam debu.

Patti Price, seorang perunding teknologi pertuturan, menunjukkan klip suara lama dan baru Stephen Hawking yang sedang mereka kerjakan di Palo Alto. Eric Dorsey dan Price adalah sebahagian daripada pasukan yang berlumba untuk menyelamatkan suara Stephen Hawking. Suara robotik yang khas dari ahli fizik terkenal di dunia ketika perkakasan berusia 30 tahun yang menghasilkannya mula gagal. Foto: Michael Macor, The Chronicle

Ketika dia bercakap, itu adalah suara robot, suara yang muncul dari kotak kelabu yang terpaku di belakang kursinya. The synthesizer suara, produk komersial yang dikenali sebagai CallText 5010, adalah perkara baru ketika itu, belum menjadi sebahagian daripada identitinya; dia mula menggunakannya hanya tiga tahun sebelumnya, setelah penyakit neuron motorik sklerosis lateral amyotrophic mencuri kemampuannya untuk bercakap. Hawking memilih potongan teks pada skrin video dengan menggerakkan pipinya, dan CallText mengubah teks menjadi ucapan. Pada permulaan satu kuliah, Hawking bercanda: "Satu-satunya masalah," katanya, sambil tertawa besar, "ialah memberi saya aksen Amerika."

Dorsey bersama Hawking untuk sebahagian dari perjalanan itu, menganggapnya sebagai semacam kuasa atas suara itu, menjelaskan cara kerjanya kepada wartawan. Dia bekerja di syarikat Mountain View yang mengeluarkan CallText 5010, papan perkakasan dengan dua cip komputer yang menjalankan perisian tersuai.

Dorsey yang berusia 32 tahun yang bersemangat tenang oleh alam semula jadi, tetapi memandu. Dia telah bergabung dengan Speech Plus sebagai pekerja magang, tertarik dengan misinya untuk menolong orang yang tidak bersuara dan orang kurang upaya; sekarang dia mengetuai pasukan jurutera, dan sekurang-kurangnya 20.000 baris kodnya ada di CallText, produk yang memberikan suara kepada saintis paling terkenal di zamannya.

"Kami semakin hampir untuk menjawab soalan lama," kata Hawking pada akhir kuliah. "Kenapa kita di sini? Dari mana kita datang? Terima kasih kerana mendengar saya. "

Pada akhir lawatannya di California, ahli fizik memberi Dorsey salinan buku barunya yang ditandatangani, cap ibu jarinya menekan sampul dalam.

Hawking kembali ke Cambridge, Dorsey untuk hidupnya di California.

Dua puluh enam tahun berlalu sebelum mereka melintasi jalan semula.

Pada tahun-tahun berteknologi, itu adalah milenium. Internet berlaku. Lembah Silikon boom, bust, booming lagi. Apple, Amazon, Facebook, Google, Uber.

Dorsey, sementara itu, meninggalkan Speech Plus, yang muflis dan dijual kepada beberapa syarikat lain. Dia berkahwin dan mempunyai anak. Dia menyertai sebuah kuil Buddha. Dia akhirnya meninggalkan bidang teknologi pertuturan sama sekali, menjadi pemimpin kejuruteraan di pembuat DVR TiVo.

Teknikal, dia belajar, bergerak begitu pantas. "Terdapat iPhone baru setiap tahun," kata Dorsey. "Segala sesuatu terkubur di tong sampah sejarah dengan sangat cepat."

Itulah sebabnya, ketika e-mel dari Cambridge University tiba-tiba tiba pada tahun 2014, Dorsey terkejut. Ia datang dari pembantu teknikal Hawking, Jonathan Wood, yang bertanggungjawab untuk sistem komunikasi Hawking.

Wood menjelaskan sesuatu yang sangat mustahil sehingga Dorsey menghadapi masalah untuk memahami pada awalnya: Hawking masih menggunakan alat synthesizer ucapan CallText 5010, versi yang terakhir ditingkatkan pada tahun 1986. Dalam hampir 30 tahun, dia tidak pernah beralih ke teknologi yang lebih baru. Hawking menyukai suaranya sebagaimana adanya, dan dengan keras hati menolak pilihan lain. Tetapi sekarang perkakasan itu menunjukkan kehausan. Sekiranya gagal sepenuhnya, suaranya yang tersendiri akan hilang selama-lamanya.

Penyelesaiannya, dipercayai oleh Wood, adalah meniru perkakasan yang merosot dalam perisian baru, entah bagaimana mentransplantasikan synthesizer suara berusia 30 tahun ke dalam komputer riba moden - tanpa mengubah suara. Selama bertahun-tahun, dia dan beberapa rakan di Cambridge telah meneroka pendekatan yang berbeza. Apa pendapat Dorsey?

Tiga puluh tahun? Dia berfikir. Ya Tuhan.

Ia tidak mudah. Mereka mungkin perlu mencari kod sumber lama. Mereka mungkin perlu mencari kerepek asli dan manual untuk kerepek tersebut. Mereka tidak dapat membelinya lagi, syarikat tidak ada. Menyelesaikan masalah mungkin bermaksud memasang penggalian arkeologi melalui era teknologi kuno.

Tetapi itu untuk Stephen Hawking.

"Mari kita selesaikan," kata Dorsey.

Penyair Longfellow pernah menulis bahawa suara manusia adalah "organ jiwa." Lebih daripada bahagian lain dari kita, suara kita menyatakan siapa kita, dan turun naik terkecil bererti dengan cara yang sukar difahami oleh komputer. Anda mengucapkan ayat, dan intonasinya naik atau turun bergantung pada sama ada anda membuat pernyataan atau mengemukakan soalan. Anda melakukannya tanpa berfikir, tetapi komputer harus membuat tekaan.

Suara yang disintesis hari ini, seperti Apple's Siri, bergantung pada perpustakaan rakaman suara semula jadi. Pelakon suara merakam perpustakaan besar perkataan dan suku kata, dan perisian memotongnya dan menyusunnya semula menjadi ayat dengan cepat. Tetapi 30 tahun yang lalu, komputer hanya dapat menghasilkan "versi bentuk gambar" suara manusia, kata Patti Price, pakar pengecaman pertuturan dan ahli bahasa di Palo Alto.

Pada masa itu, dia bekerja sebagai postdoc di makmal Massachusetts Institute of Technology Dennis Klatt, seorang saintis tinggi, kurus, dan suka dengan opera yang berasal dari Wisconsin. Klatt adalah bapa baptis suara Hawking. Dia meletupkan tekaknya sendiri dengan sinar-X untuk mengukur bentuk kotak suaranya ketika dia mengartikulasikan bunyi tertentu, dan kemudian mengembangkan model ucapan perisian, Model Klatt, berdasarkan suaranya sendiri.

Speech Plus mengambil model Klatt, memperbaikinya, dan mengkomersialkannya dalam pelbagai produk, termasuk CallText 5010. Salah satu sumbangan Dorsey adalah menulis algoritma yang mengawal intonasi suara, naik dan turunnya kata dan ayat. Speech Plus akan menjual ribuan sistem CallText, walaupun banyak pelanggan mengadu bahawa suaranya terdengar terlalu robotik.

Tetapi Hawking menyukainya.

Benar, itu robot, tetapi dia menghargai bahawa mudah difahami: "kuat-kuat," seperti yang dijelaskan oleh Price. Bentuk ombaknya lebih mirip dengan deretan dataran tinggi daripada tebing gunung curam dengan suara manusia, yang jatuh lebih tajam. Kemerosotan suara Hawking yang mendatar menjadikannya kebisingan di amfiteater dan dewan kuliah. Dia sering memulakan pidatonya dengan baris yang sama - "Bolehkah anda mendengar saya?" - dan penonton akan menjawab dengan "Ya!"

"Ada cincin untuk itu," kata Price.

"Ini sangat difahami," kata Dorsey. "Anda dapat mendengarkannya untuk waktu yang lama, dan itu tidak menjengkelkan."

Satu-satunya keluhan Hawking adalah bahawa ia tidak mempunyai aksen Inggeris.

Selama bertahun-tahun, ketika suara sintetik menjadi lebih semula jadi, memanfaatkan cip yang lebih cepat dan penyimpanan yang murah, Hawking mempunyai peluang untuk meningkatkan. Pada tahun 1996, sebuah syarikat teknologi pertuturan Massachusetts bernama Nuance, yang telah memperoleh sisa-sisa Speech Plus, meningkatkan CallText dengan kod perisian yang berkembang yang menjadikan suara itu lebih kenyang dan lebih cepat, kurang robotik, dengan jeda yang lebih pendek antara ayat - kepada jurutera, peningkatan yang jelas.

Mereka mengirimkan contoh suara baru kepada Hawking, mengira dia akan senang. Dia tidak. Dia mengatakan intonasinya tidak betul. Dia lebih suka suara 1986, yang dimodulasi oleh algoritma intonasi Dorsey. Penjaja akan tetap berpegang pada yang satu itu.

"Saya menyimpannya kerana saya tidak mendengar suara yang saya sukai," katanya pernah, "dan kerana saya telah mengenalinya." Dia dapat berubah menjadi suara yang lebih halus, tetapi kemudian dia tidak akan terdengar seperti dirinya.

"Bagi Stephen, peralatannya seperti bahagian tubuhnya," kata Wood, ketua pembantu teknikalnya. "Untuk meningkatkannya menjadi perisian baru atau perkakasan baru ... dia harus mengubah bahagian fizikal dirinya."

Bermula sekitar tahun 2009, Wood dan beberapa yang lain di Cambridge mula berusaha memisahkan suara Hawking dari perkakasan CallText yang gagal. Kumpulan itu termasuk Peter Benie, seorang guru komputer di universiti; Paweł Wozniak, pelajar kejuruteraan tempatan; dan Mark Green, jurutera elektrik yang berpengalaman dengan Intel, yang mempunyai hubungan panjang dengan Hawking.

Salah satu pilihan yang mereka anggap ialah mengubah suara sintetik moden seperti Siri agar lebih menyerupai Hawking. Tetapi sistem jenis Siri bergantung pada kekuatan komputer yang besar dari awan Internet, dan Hawking tidak dapat terus ditambatkan ke Internet. Benie juga mencuba pendekatan yang sama sekali berbeza. Dia menulis emulator perisian untuk CallText - pada dasarnya program yang akan memperbodohkan PC moden untuk berfikir bahawa sebenarnya CallText lama. Tetapi sampel yang dihasilkannya tidak cukup setia untuk selera Hawking.

Pada saat Cambridge menjangkau Dorsey pada tahun 2014, mereka sedang menyelidiki jalan ketiga: menjejaki kod sumber CallText lama, yang kini dimiliki oleh Nuance, dan membawanya ke komputer riba Hawking, memindahkan suara lama ke badan baru.

Adakah mungkin? Dorsey tidak tahu. Itu bergantung pada apakah dia dapat menemukan kod sumber, atau, jika gagal, maklumat yang akan membolehkannya merekayasa semula kod sumber.

Dia mula menghantar e-mel kepada rakan sekerja yang belum pernah dilihatnya dalam 30 tahun, bertanya apakah mereka mempunyai CallText bric-a-brac yang masih ada: papan, kerepek, manual. Seorang lelaki menjumpai papan CallText yang sebenarnya di garajnya. Yang lain meletakkan skema berdebu.

Ia merasakan kegelisahan dalam era teknologi sebelumnya. Tetapi orang di mana-mana sahaja yang berpeluang untuk membantu. "Tujuannya adalah untuk menyelamatkan suaranya," kata Dorsey. "Sebaik sahaja anda pergi ke seseorang - 'Saya memerlukan anda untuk membantu menyelamatkan suara Stephen Hawking' - mereka segera bangun."

Kolaborator terdekatnya di Palo Alto segera menjadi Price, teknolog pertuturan yang pernah belajar dengan Klatt, ayah baptis suara Hawking. Dia mahir dalam menganalisis sampel audio, membandingkan satu sama lain dan menggunakan cap jari audio mereka untuk membalikkan bagaimana ia mesti dibuat.

Pencarian arkeologi Dorsey untuk kod lama ternyata mengecewakan. Tidak ada seorang pun di Nuance yang dapat mencari kod sumber dari CallText versi 1986. Namun, mereka menemukan kod untuk versi suara versi 1996 yang ditingkatkan, pada pita cadangan di sebuah pejabat di Belgium. Setelah bekerja selama beberapa bulan, jurutera Nuance menyusun kodnya dan menghantar satu siri sampel audio kepada pasukan Hawking, menyesuaikan program untuk mencocokkan suara 1986.

Ia tidak berjaya. Untuk satu perkara, perlawanan sudah hampir tetapi tidak sempurna. Hawking membezakan perbezaan halus yang lain mengalami masalah. "Ini seperti mengenali suara ibumu," kata Price. "Apabila anda mendengarnya melalui telefon, mereka menyebut dua suku kata dan anda tahu sama ada betul atau tidak."

Isu lain ialah Nuance memiliki kod, bukan Hawking. Ahli fizik terkenal selalu berniat mengawal penggunaan suaranya sendiri. Sekiranya pasukan mengelak daripada menggunakan perisian proprietari, Hawking cenderung mempunyai lebih banyak kawalan.

Pada ketika ini, mereka menukar tack dan kembali ke salah satu idea asalnya: untuk meniru CallText dalam perisian, serupa dengan bagaimana PC dapat meniru permainan Nintendo lama yang tidak lagi dijual.

CallText, tentu saja, adalah binatang yang lebih rumit daripada Nintendo, didorong oleh dua cip usang dan berinteraksi kompleks, satu yang dibuat oleh Intel dan yang lain oleh NEC. Membangun emulator menuntut kejayaan pengaturcaraan, intuisi dan operasi berteknologi tinggi. Kerepek harus dikeluarkan dari papan CallText yang tersisa dengan pinset dan pemutar skru. Emulator untuk cip Intel harus ditulis dari awal, oleh Benie. Emulator yang berasingan, untuk NEC, dipinjam dari emulator Nintendo sumber terbuka yang disebut Higan.

Kemudian semua kepingan yang berbeza ini harus dilekatkan bersama. Rasanya seperti melakukan teka-teki jigsaw di ruangan gelap. Satu cip menyerahkan paket misterius ke yang lain setiap 10 milisaat. Kenapa? Apa yang ada di dalamnya?

Untuk seketika, sukar untuk dilalui. Sebilangan sampel audio sangat buruk sehingga tidak ada yang berani memainkannya untuk Hawking.

Terobosan itu berlaku sebelum Krismas 2017, ketika emulator akhirnya mula mengeluarkan suara yang menyerupai suara yang biasa mereka kejar. Ini mempunyai beberapa gangguan kecil, tetapi menurut Price, suaranya adalah padanan akustik dengan Hawking, bentuk gelombang hampir sama. Satu-satunya perbezaan yang dapat dilihat adalah kekurangan buzz analog. "Ini seperti versi suaranya yang bersih dan berkilat," kata Price.

Ketika Benie mendengarnya untuk pertama kalinya, keluar dari komputer dan bukannya kotak suara Hawking, dia menyangka itu terdengar lebih Amerika daripada suara Hawking. Itu hanya ilusi suara. Benie menyedari bahawa mungkin, setiap kali dia melihat Hawking bercakap, dia secara mental menambah sedikit kewarasan.

Selama minggu-minggu berikutnya, di Cambridge dan Palo Alto, anggota pasukan terus melakukan debug suara baru, memberikan potongan ucapan lama Hawking dan contoh teks yang penuh dengan koma rawak, mendengarkan hasilnya.

Pada 17 Januari, pasukan merasa bersedia menunjukkan suara baru untuk Hawking. Wood, Wozniak, dan Benie pergi ke rumah Hawking di Cambridge dan memainkannya sampel di komputer riba Linux. Untuk lega dan kebahagiaan pasukan, Hawking memberikan restu. Bunyinya seperti suaranya.

Mereka masih perlu memasukkan suara ke PC, jadi sementara, Wood memuat versi suara ke papan perkakasan miniatur yang dikenal sebagai Raspberry Pi. Dia fikir Hawking mungkin ingin menilai suara dalam kehidupan sehari-hari, dan Pi adalah cara terpantas untuk membuatnya aktif.

Pada 26 Januari, Wood membawa Pi ke rumah Hawking dan bertanya adakah dia ingin mencubanya. Hawking mengangkat kening, yang bermaksud "ya."

Pasukan itu memasukkan Pi ke dalam kotak hitam kecil, melampirkannya ke kerusi Hawking dengan Velcro, dan memasukkannya ke kotak suara. Kemudian mereka memutuskan CallText. Buat pertama kalinya dalam 33 tahun, Hawking dapat bercakap tanpa itu.

Wood memerhatikan reaksi Hawking dengan penuh semangat.

"Saya menyukainya," kata Hawking.

Selama beberapa minggu berikutnya dalam perbualan peribadi, Hawking terus bercakap melalui emulator dan Raspberry Pi, berbual dengan gembira dengan rakan dan rakan sekerja. Wood berkata, "Senang dapat memberinya sesuatu seperti itu, sehingga banyak orang telah bekerja selama bertahun-tahun."

Yang tinggal, langkah terakhir dalam projek ini, adalah mendapatkan versi PC, masih sedikit kereta, berjalan lancar. Tetapi setelah beberapa semakan kod lagi, akhirnya bebas bug.

"Kami telah menyelesaikan semua rintangan teknikal," kata Dorsey. "Semua orang merasa, akhirnya, ini dia, akan berhasil, ini sudah selesai."

Dan ketika itulah Hawking jatuh sakit, pada bulan Februari.

Menurut Wood, Hawking terus menggunakan emulator hingga hari-hari terakhirnya. Dia dapat bercakap dengan orang tersayang dan penjaga dengan perisian baru di Raspberry Pi. Kata-kata terakhir yang dia bicarakan sambil menyambung ke kursinya, apa sahaja yang ada, dia bercakap dengan versi suaranya yang hanya tinggal dalam kod, bit dan bait yang berpotensi tidak mati.

Semua orang dalam projek memahami bahawa Hawking mungkin tidak cukup lama untuk menggunakan emulator. Dia pernah sakit sebelum ini, tetapi selalu sembuh. Pada tahun 2014, ketika Wood pertama kali menghubungi Dorsey, Hawking adalah 72. Namun, mereka memutuskan bahawa papan CallTextnya dapat habis dalam enam bulan, sementara Hawking mungkin berusia 80 tahun.

Seiring dengan kesedihan pada kematian Hawking, Dorsey tidak dapat menahan rasa kecewa. Dia dan pasukan telah berlumba selama bertahun-tahun untuk membina sesuatu yang rumit yang berfungsi dengan baik, tetapi sekarang duduk diam.

Pada masa yang sama, projek itu membawanya kembali kepada dirinya yang lebih muda, lelaki yang ingin menggunakan kejuruteraan untuk melakukan perbuatan baik dan menolong orang. Selama bertahun-tahun yang lalu, mengusahakan algoritma intonasi dalam CallText, dia tidak dapat membayangkan bahawa ia akhirnya akan membantu menentukan genius sains kepada dunia, dan bahkan untuk dirinya sendiri.

Teknologi berubah dengan pantas. Sebilangan besar mesin berakhir seperti habuk, dan apabila kita mati, suara kita mati bersama kita. Suara Hawking berbeza. Papan CallText yang asli telah dilewatkan ke harta tanahnya, untuk digunakan sesuai keinginan keluarganya. Begitu juga perisian baru, emulator CallText, yang dapat disalurkan ke platform masa depan ketika mereka diciptakan.

Hawking, terkenal, seorang atheis, sangsi terhadap kehidupan akhirat; "Kita mempunyai kehidupan yang satu ini untuk menghargai reka bentuk alam semesta yang agung ini," katanya pernah, "dan untuk itu, saya sangat berterima kasih." Tetapi tidak ada lagi alasan fizikal suaranya tidak dapat hidup selamanya.

Jason Fagone adalah penulis staf San Francisco Chronicle. E-mel: jason.fagone@sfchronicle.com Twitter: @jfagone