FOD#38: AI có thể đưa chúng ta bước vào kỷ nguyên mới về theo dõi sức khỏe

Thứ Hai tuần trước, một y tá đã đề nghị chúng tôi thử dùng một màn hình không dây để theo dõi sức sống của tôi và của thai nhi.

“Chúng tôi gọi thiết bị này là” Monica, màn hình!” Đó có thể là một giấc mơ được làm việc hoặc là một cơn ác mộng thực sự,” y tá nói với tôi.

Vào ngày hôm đó, “Monica” (thực ra là Hệ thống vá lỗi không dây Novii) đã hoạt động rất tốt. Tôi có thể di chuyển tự do mà không bị vướng dây trong khi sinh con gái. Công nghệ này khai thác việc thu thập tín hiệu thụ động để phân biệt giữa tín hiệu tim thai và tim mẹ và phát hiện các cơn co tử cung. Dữ liệu được truyền không dây đến thiết bị giám sát để quan sát theo thời gian thực. Hệ thống này nâng cao độ chính xác và giảm cảnh báo sai, mang lại khả năng di chuyển rất cần thiết trong quá trình chuyển dạ.

Tôi nghĩ: viết và đưa ra lý thuyết về công nghệ là một chuyện, nhưng việc tận mắt trải nghiệm khả năng vượt trội của chúng lại là chuyện khác, đặc biệt là khi một thiết bị hoạt động hoàn hảo. Một câu hỏi được đặt ra: Mô hình nền tảng có thể thêm gì vào thiết bị đeo? Ngay sau trải nghiệm của tôi với “Monica”, một bài báo gần đây của Google Research và các nhà nghiên cứu của MIT đã thu hút sự chú ý của tôi. Với tiêu đề ' Sức khỏe-LLM: Mô hình ngôn ngữ lớn để dự đoán sức khỏe thông qua dữ liệu cảm biến đeo được ' và được viết bởi Kim và cộng sự, bài viết này đi sâu vào ứng dụng LLM trong lĩnh vực y tế, tập trung vào việc diễn giải dữ liệu từ các cảm biến đeo được để dự đoán sức khỏe. Điều thú vị là những mô hình này được cung cấp dữ liệu không phải từ hồ sơ y tế hoặc ghi chú của bác sĩ mà từ các thiết bị đeo được như Fitbits, theo dõi các bước hàng ngày, nhịp tim, kiểu ngủ, v.v. - giống như 'Monica'.

Nghiên cứu đã đánh giá 8 LLM tiên tiến: Med-Alpaca, PMC-Llama, Asclepius, ClinicCamel, Flan-T5, Palmyra-Med, GPT-3.5 và GPT-4, trên sáu bộ dữ liệu y tế công cộng. Họ đã tiến hành thí nghiệm trên 13 nhiệm vụ dự đoán sức khỏe liên quan đến sức khỏe tâm thần, hoạt động, trao đổi chất, giấc ngủ và đánh giá tim mạch.

Nhóm đã thử nghiệm nhiều phương pháp khác nhau, bao gồm nhắc nhở không bắn và ít bắn (dạy mô hình với rất ít hoặc không có ví dụ), tinh chỉnh hướng dẫn (điều chỉnh mô hình cho phù hợp với các nhiệm vụ cụ thể) và thậm chí một số tinh chỉnh hiệu quả về tham số cho hiệu quả tính toán.

Đặc biệt hấp dẫn là hiệu quả của việc nâng cao ngữ cảnh trong lời nhắc, bao gồm việc thêm ngữ cảnh của người dùng, kiến thức về sức khỏe và thông tin thời gian. Cách tiếp cận này mang lại hiệu suất cải thiện lên tới 23,8%.

Chăm sóc sức khỏe là một lĩnh vực cực kỳ nhạy cảm, nhưng lợi ích tiềm tàng của AI tạo ra đối với con người là vô cùng lớn, đặc biệt là với sức mạnh của các mô hình nền tảng. Health-LLM khám phá tương lai nơi các thiết bị đeo không chỉ là thiết bị theo dõi thụ động mà còn là thiết bị bảo vệ sức khỏe chủ động.

Một bài báo đột phá khác gần đây về chăm sóc sức khỏe đến từ các nhà nghiên cứu Stanford và AI ổn định, có tựa đề CheXagent: Hướng tới mô hình nền tảng cho diễn giải X-quang ngực . Khía cạnh hấp dẫn nhất của bài viết này là sự phát triển của CheXagent, một mô hình nền tảng tiên tiến được thiết kế đặc biệt để giải thích phim X-quang ngực. Mô hình này kết hợp độc đáo LLM lâm sàng, bộ mã hóa thị giác chuyên dụng và mạng cầu nối ngôn ngữ thị giác, thể hiện hiệu suất vượt trội trong việc diễn giải các hình ảnh y tế phức tạp. Khả năng vượt trội hơn các mô hình hiện có về độ chính xác và đánh giá công bằng đánh dấu một tiến bộ đáng kể trong công nghệ AI hình ảnh y tế. Nó có thể tiết kiệm rất nhiều thời gian! Và có thể là sự sống.

(Cô gái mới sinh - Reason Leeloo Joy - gửi lời hỏi thăm. Tuần trước chúng tôi đã nghỉ một tuần nhưng hiện đã quay lại đúng hướng, khám phá thế giới AI để hiểu cô ấy và bốn anh trai của cô ấy sẽ sống trong đó và điều hướng nó như thế nào.)

Tin tức từ The Usual Suspects ©

Sam Altman và OpenAI

• OpenAI đã phát hành hai mô hình nhúng mới (nhúng văn bản-3-nhỏ và nhúng văn bản-3-lớn) và các phiên bản cập nhật của GPT-4 Turbo, GPT-3.5 Turbo và mô hình kiểm duyệt văn bản. Các mô hình nhúng mới thể hiện nội dung dưới dạng chuỗi số, nâng cao các tác vụ học máy như phân cụm hoặc truy xuất. Chúng cũng hiệu quả hơn và tiết kiệm chi phí hơn.
• Trong khi đó, Sam Altman đang thảo luận với những người ủng hộ ở Trung Đông, bao gồm các nhà đầu tư giàu có và nhà chế tạo chip như TSMC, để khởi động một dự án kinh doanh chip mới. Động thái này nhằm đáp ứng nhu cầu bán dẫn ngày càng tăng của OpenAI và giảm sự phụ thuộc vào Nvidia. Cấu trúc của liên doanh không rõ ràng và nó có thể là một thực thể riêng biệt hoặc một công ty con của OpenAI.

Blackstone bước vào

• Một ông lớn khác đang đầu tư mạnh vào cuộc cách mạng AI. Blackstone đang xây dựng một mạng lưới trung tâm dữ liệu sử dụng nhiều năng lượng trị giá 25 tỷ USD trên khắp nước Mỹ. Sau khi mua lại QTS, nhà điều hành trung tâm dữ liệu lớn trị giá 10 tỷ USD, Blackstone đang phát triển các cơ sở lớn để đáp ứng nhu cầu AI và kỹ thuật số ngày càng tăng của các gã khổng lồ công nghệ. Những dự án tiêu thụ điện tương đương với hàng triệu ngôi nhà này đang định hình lại cộng đồng và làm dấy lên những cuộc tranh luận về việc sử dụng tài nguyên và lợi ích địa phương. Bất chấp những thách thức, bao gồm nguồn cung cấp năng lượng căng thẳng và phản ứng dữ dội của công chúng, Blackstone coi liên doanh này là một trong những khoản đầu tư tiềm năng tốt nhất của mình, minh họa tầm quan trọng ngày càng tăng và độ phức tạp của cơ sở hạ tầng dữ liệu trong kỷ nguyên AI.

Elon Musk, xAI và Tesla

• Elon Musk gần đây đang gây chú ý khi tìm kiếm khoản đầu tư trị giá 6 tỷ USD cho xAI từ các nhà đầu tư toàn cầu ở Trung Đông, Hồng Kông, Nhật Bản và Hàn Quốc. Nếu thành công, định giá của xAI có thể đạt 20 tỷ USD, vượt qua mức 18,4 tỷ USD của Anthropic nhưng lại kém mức 100 tỷ USD của OpenAI. Tuy nhiên, lời đe dọa gần đây của Musk về việc loại bỏ các dự án AI của Tesla trừ khi ông đảm bảo được 25% quyền kiểm soát đã làm dấy lên sự bất mãn của các nhà đầu tư hiện tại và có thể ảnh hưởng đến các cuộc đàm phán với những người ủng hộ mới tiềm năng. Trong khi đó, Tesla đang lên kế hoạch đầu tư 500 triệu USD vào siêu máy tính “Dojo” tại cơ sở Buffalo, New York, nhấn mạnh cam kết của công ty trong việc thúc đẩy công nghệ AI.

Google và Ôm Mặt

• Sự hợp tác được công bố gần đây giữa Hugging Face và Google Cloud nhằm mục đích giúp AI dễ tiếp cận hơn. Nó tập trung vào các sáng kiến được chia sẻ trong khoa học và nguồn mở, tận dụng cả các mô hình mở của Hugging Face và công nghệ của Google Cloud. Mục tiêu là tạo điều kiện thuận lợi cho việc phát triển công nghệ AI cho nhiều người dùng và ứng dụng hơn.
• Trong khi đó, Google Bard đã vươn lên vị trí thứ hai trên Bảng xếp hạng Chatbot Arena của HuggingFace, vượt qua GPT-4 và hiện chỉ xếp sau GPT-4 Turbo trong bảng xếp hạng LLM dựa trên cộng đồng.

Các tài liệu nghiên cứu mới nhất, được phân loại để thuận tiện cho bạn

Nén mô hình và hiệu quả

• SLICEGPT : Một kỹ thuật nén hiệu quả các mô hình ngôn ngữ lớn bằng cách loại bỏ các tham số trong khi vẫn giữ được hiệu suất →đọc bài báo
• DeepSeek-Coder : Tập trung phát triển các mô hình tạo mã đa ngôn ngữ, hiệu suất cao với phạm vi tham số mở rộng →đọc bài báo
• SPACTOR-T5 : Giới thiệu phương pháp đào tạo trước hiệu quả cho các mô hình T5, giảm yêu cầu tính toán →đọc bài báo
• MEDUSA : Một khung để tăng tốc suy luận mô hình ngôn ngữ lớn bằng cách sử dụng nhiều đầu giải mã →đọc bài báo

Khả năng và đánh giá LLM

• Từ GPT-4 đến Gemini và Beyond : Đánh giá MLLM về tính khái quát, độ tin cậy và quan hệ nhân quả trên nhiều phương thức → đọc bài báo
• MaLA-500 : Phát triển LLM đa ngôn ngữ hỗ trợ hơn 500 ngôn ngữ, nâng cao khả năng tiếp cận mô hình ngôn ngữ →đọc bài báo
• Phát hiện LLM bằng ống nhòm : Giới thiệu phương pháp phát hiện văn bản không bắn được tạo bởi các mô hình ngôn ngữ lớn → đọc báo

Mô hình đa phương thức và chuyên dụng

• Xem xét lại sự phụ thuộc bản vá cho bộ mã hóa tự động đeo mặt nạ : Kiểm tra cơ chế giải mã trong bộ mã hóa tự động đeo mặt nạ để cải thiện khả năng xử lý hình ảnh → đọc bài báo
• MM-LLM : Một khảo sát toàn diện về những tiến bộ và khả năng của các mô hình ngôn ngữ lớn đa phương thức →đọc bài báo
• CMMMU : Thiết lập chuẩn mực để đánh giá các mô hình đa phương thức lớn trong bối cảnh Trung Quốc →đọc bài báo
• SpatialVLM : Nâng cao các mô hình ngôn ngữ thị giác với khả năng suy luận không gian nâng cao →đọc bài báo

Kỹ thuật đào tạo và tạo dữ liệu AI

• Học các dự đoán phổ quát : Khám phá các mạng lưới thần kinh huấn luyện cho các chiến lược dự đoán phổ quát, tiếp cận Quy nạp Solomonoff →đọc bài báo
• Unitxt : Thư viện Python để chuẩn bị dữ liệu linh hoạt và có thể tái tạo trong NLP tổng quát →đọc bài báo
• GENIE : Một phương pháp tạo dữ liệu tổng hợp có chất lượng cao, dựa trên nội dung bằng cách sử dụng các mô hình ngôn ngữ lớn →đọc bài báo
• MambaByte : Nghiên cứu mô hình ngôn ngữ không có mã thông báo, học trực tiếp từ byte thô → đọc bài báo
• Meta-Prompting : Nâng cao các mô hình ngôn ngữ bằng kỹ thuật giàn giáo bất khả tri để có hiệu suất tốt hơn → đọc bài báo
• WARM : Một cách tiếp cận để sắp xếp các mô hình ngôn ngữ lớn phù hợp với sở thích của con người trong học tập tăng cường →đọc bài báo

Mô hình ngôn ngữ và nhập vai

• Mô hình ngôn ngữ nhỏ đáp ứng từ vựng thị giác được củng cố : Trình bày một mô hình nhỏ gọn tích hợp từ vựng thị giác nâng cao để mã hóa thông tin hình ảnh hiệu quả →đọc báo
• Mô hình ngôn ngữ lớn là sự chồng chất của tất cả các ký tự : Phát triển phương pháp đối thoại nhập vai bằng mô hình ngôn ngữ lớn → đọc báo
• Orion-14B : Giới thiệu bộ sưu tập mô hình ngôn ngữ lớn đa ngôn ngữ cho ứng dụng đàm thoại →đọc báo

Ở các bản tin khác

• Hãy tìm hiểu sâu hơn về “Cập nhật các ứng dụng được phân phối ở Liên minh Châu Âu” của Apple từ Hardcore Software
• Bài đọc thú vị từ Interconnects về Hợp nhất mô hình “Khi những gì có vẻ giống như ma thuật đen LLM thuần túy được tài liệu ủng hộ”
• Đây có phải là năm Apple thức tỉnh trong lĩnh vực AI? Ý kiến của nhà đầu tư Madrona.
• Andrew Ng mô tả kinh nghiệm của mình tại Davos và Diễn đàn Kinh tế Thế giới. Nó nói về AI nhưng theo phong cách nhân văn đặc trưng của Ng.