Google's plans to use AI to help the blind

Google wants to turn a regular Android phone into an artificial intelligence-powered helper for the blind.

Google brings new features to Android, Gmail at developer conference

Lookout is a new app that uses image recognition and artificial intelligence to describe a scene through a phone's camera. Google (GOOG) announced the app at its annual I/O developer conference this week.

Google is testing the app now and said it will be released later this year, starting on Pixel devices.

If you walk into building lobby with an Android camera held in your hand or worn around the neck on a lanyard, pointed outward, Lookout will detect people and objects like elevator doors, and read nearby text. The app doesn't require an internet connection.

Google says Lookout is designed to keep users engaged with what's going on without bombarding them with information. It only describes the most important items. If a person wants to stop the narration, they put a hand over the camera or give it a knock to pause the app.

The company says the app uses similar technologies to Google Lens, a visual search tool. It combines machine learning, image recognition and several different machine learning models, according to the company.

"What blind people need is access to information," Erin Lauridsen, director of access technology at LightHouse in San Francisco. "A lot of times the way these things are promoted and generate capital is all about making blind people 'see' but it really is about taking visual information and translating it into non-visual information."

Google is not the first company to use artificial intelligence and smartphones to help the blind. Microsoft has a similar app for iOS called Seeing AI.

Seeing AI can read printed or handwritten text, describe colors and recognize denominations of currency. Unlike Google Lookout, Seeing AI has a facial recognition component. After pointing the phone at a person, Seeing AI describes them and says how far away they are. If you've trained the app to recognize faces, it'll tell you the person's name. (Google said it may add facial recognition to Lookout in the future).

App-based technology for the blind isn't limited to big companies. The VocalEyes AI app, which can describe a person's emotion or age based on their face, was created by an 18-year-old high school student at an MIT summer program.

There are also more traditional apps that still use humans instead of AI. For example, Aira gives members smart glasses with a built-in camera so trained employees can describe what they see through the camera. Meanwhile, Be My Eyes relies on volunteers to check out what's around you though a live video chat.

"I think that AI is trending in general, and it makes sense to see how it can help for people who are blind but i think there are a lot of unanswered questions," said Lauridsen.

Source: CNN money

Google có kế hoạch sử dụng trí tuệ nhân tạo để trợ giúp người khiếm thị

Google muốn biến chiếc điện thoại Android thông thường thành một công cụ có trí tuệ nhân tạo để trợ giúp người khiếm thị.

Google đưa ra các tính năng mới cho Android, Gmail tại hội nghị dành cho các lập trình viên.

Lookout là một ứng dụng mới sử dụng chức năng nhận diện hình ảnh và trí tuệ nhân tạo để mô tả màn ảnh thông qua camera của điện thoại. Google (GOOG) đã công bố ứng dụng này tại hội nghị thường niên dành cho các lập trình viên trong tuần này.

Google hiện đang thử nghiệm ứng dụng và cho biết ứng dụng này sẽ được tung ra vào cuối năm nay, bắt đầu chạy thiết bị Pixel.

Nếu bạn đi vào hành lang của tòa nhà, và cầm theo camera Android trong tay hoặc đeo vào cổ bằng dây đeo thẻ, chỉ ra ngoài thì Lookout sẽ nhận ra người và những đồ vật như cửa thang máy và đọc ra chữ gần đó. Ứng dụng này không yêu cầu kết nối internet.

Google cho biết Lookout được thiết kế để giúp người dùng tương tác với những thứ đang diễn ra mà không cần phải thông báo cho họ. Nó chỉ mô tả các tin quan trọng nhất. Nếu người ta muốn dừng mô tả thì họ đặt một tay lên camera hoặc chạm vào để tạm dừng ứng dụng.

Công ty cho biết ứng dụng này sử dụng các công nghệ tương tự với Google Lens, một công cụ tìm kiếm trực quan. Nó kết hợp việc học máy móc, nhận diện hình ảnh và một số mô hình học tập máy móc khác nhau, theo công ty.

"Điều mà người khiếm thị cần là tiếp cận thông tin", Erin Lauridsen, giám đốc công nghệ truy cập tại LightHouse ở San Francisco cho biết. "Rất nhiều lần những điều này được thúc đẩy và tạo ra vốn, những điều đó giúp người khiếm thị 'nhìn thấy' nhưng thực sự là lấy thông trực quan và dịch nó thành thông tin không trực quan."

Google không phải là công ty đầu tiên sử dụng trí tuệ nhân tạo và điện thoại thông minh để trợ giúp người khiếm thị. Microsoft có một ứng dụng tương tự cho iOS gọi là Seeing AI.

Seeing AI có thể đọc văn bản in hoặc viết tay, mô tả màu sắc và nhận biết mệnh giá tiền tệ. Không giống như ứng dụng Google Lookout, Seeing AI có một thành phần nhận diện khuôn mặt. Sau khi chỉ điện thoại vào một người, Seeing AI mô tả họ và cho biết họ cách bao xa. Nếu bạn đã cài đặt ứng dụng nhận diện khuôn mặt, ứng dụng sẽ cho bạn biết tên của người đó. (Google cho biết có thể thêm chức năng nhận diện khuôn mặt cho Lookout trong tương lai).

Công nghệ dựa trên ứng dụng cho người khiếm thị không chỉ giới hạn ở các công ty lớn. Ứng dụng VocalEyes AI có thể mô tả cảm xúc hay tuổi tác của một người dựa trên khuôn mặt của họ, do một học sinh trung học 18 tuổi tại một chương trình hè của MIT đã tạo ra.

Ngoài ra còn có nhiều ứng dụng truyền thống vẫn sử dụng con người thay vì trí tuệ nhân tạo. Ví dụ, Aira cung cấp cho các thành viên kính thông minh với một camera tích hợp để nhân viên được đào tạo có thể mô tả những gì họ nhìn thấy thông qua máy ảnh. Trong khi đó, Be My Eyes dựa vào các tình nguyện viên để kiểm tra những thứ xung quanh bạn nhưng thông qua cuộc trò chuyện video trực tiếp.

"Tôi nghĩ rằng trí tuệ nhân tạo đang là xu hướng nói chung, và có ý nghĩa khi nhìn thấy cách nó trợ giúp những người khiếm thị nhưng tôi nghĩ rằng vẫn còn rất nhiều câu hỏi chưa được trả lời", Lauridsen nói.