اختبار معياري للكاتب الطبي بالذكاء الاصطناعي: Hanah وسبع أدوات كتابة طبية ذكية أخرى
أُجري في ٦ أكتوبر ٢٠٢٦، وأُضيفت Arlo وأُعيد تقييم كل ملاحظة في ٢٠ أكتوبر ٢٠٢٦ · ١٣ استشارة مسجّلة · ٨ أدوات كتابة طبية ذكية
شغّلنا الاستشارات المسجّلة الثلاث عشرة نفسها في Hanah و Heidi و Lyrebird و Freed و PatientNotes و CliniScripts و Preve و Arlo، ثم قيّمنا كل ملاحظة مقارنةً بما قيل فعلًا. وكل تفريغ نصي وملاحظة وتقييم منشور في هذه الصفحة، مع سبب كل منها.
92%من ملاحظات Hanah خالية من إشارات الهلوسة الكبرىبلغ المتوسط لدى الأدوات السبع الأخرى ٤٢%.
أقل بنسبة ٦١%في أخطاء التفريغ النصي ذات الدلالة السريريةبمعدل ٠.٨٥ لكل استشارة مقابل متوسط ٢.١٧.
أكثر بنسبة ١٣%في التفاصيل السريرية المطلوبة الملتقطةبنسبة ٩٣.١% مقابل متوسط ٨٢.٣%.
النتائج
الأدوات مرتّبة حسب نسبة التفاصيل السريرية المطلوبة التي التقطتها ملاحظاتها. وتُقيَّم ملاحظة كل أداة للطلب الأول في كل تسجيل.
الكاتب الطبي الذكي
التفاصيل السريرية الملتقطة
ملاحظات تتضمن كل التفاصيل السريرية
إشارات الهلوسة الكبرى لكل ملاحظة
علامات الهلوسة الكبرى، جميع الملاحظات
علامات الهلوسة الكبرى لكل مستند، بما فيها الملخصات والرسائل
علامات الهلوسة الكبرى، بما فيها الملخصات والرسائل
ملاحظات بلا علامة هلوسة كبرى
أخطاء التفريغ النصي ذات الدلالة لكل استشارة
معدل خطأ الكلمات (WER)، الاستشارات باللغة الإنجليزية
* قُيِّمت Preve على ملاحظتها السريرية القياسية، لأنها لا تتبع التعليمات المخصصة إلا بعد رفع ملف PDF نموذجي لبناء قالب. ولا تُنشئ Preve ملاحظة من تفريغ نصي أقل من ٦٠٠ حرف، فلا توجد ملاحظات لأقصر ثلاثة تسجيلات لديها.
† واصلت Freed التسجيل بعد الضغط على «Stop» في أقصر تسجيل، ولم تُنتج تفريغًا نصيًا ولا ملاحظة، في محاولتين. وقُيِّمت Freed على التسجيلات الاثني عشر الأخرى.
خطأ التفريغ النصي الجسيم هو ما رأى مُقيِّم معمّى أنه قد يضلّل الممارس: دواء أو جرعة أو رقم أو جانب أو عَرَض خاطئ، أو نفي أو علامة تحذيرية مفقودة، أو محتوى سريري محذوف. أما معدل خطأ الكلمات فيعدّ كل كلمة بالتساوي، بما فيها كلمات الحشو.
دارت مراجعة جراحة الفك في معظمها بالماندرين. وشُغّلت في كل أداة مع ضبط لغة الإدخال على الماندرين حيث يتوفر هذا الإعداد. وارتكبت Heidi أقل عدد من أخطاء التفريغ الجسيمة فيها (٢)، تلتها Hanah (٥) ثم CliniScripts (٦). وارتكبت Freed عشرة أخطاء، و PatientNotes اثني عشر، و Lyrebird أربعة عشر، و Arlo و Preve ثمانية عشر خطأً لكل منهما. ولا يوجد في Arlo و Preve إعداد للغة الإدخال، أما Freed فتكتشف اللغة بنفسها.
حسب الاستشارة
التفاصيل السريرية الملتقطة، وتحتها عدد علامات الهلوسة الكبرى. اختاروا استشارة لقراءة كل ملاحظة وتقييم.
اختاروا استشارة وأداة كتابة. يمكنكم تشغيل التسجيل، وقراءة التفريغ النصي المرجعي، ورؤية كل حكم في قائمة التحقق وكل علامة هلوسة مع سبب إعطائها.
جارٍ التحميل…
كيف أُجري الاختبار
التسجيلات
التسجيلات الثلاثة عشر هي مجموعة التسجيلات المرجعية لقياس الدقة لدى Hanah، وهي المجموعة نفسها التي تقف وراء نتائج الإصدارات في صفحة الشفافية لدينا. وتشمل إملاء تسليم في وحدة العناية المركزة مع ضجيج الجناح ومن دونه، واستشارات في العلاج الطبيعي والتغذية والعلاج الوظيفي والعلاج العضلي وتمريض المجتمع، وطفلًا مصابًا بالربو يتحدث والده إنجليزية محدودة، وسقوطًا عن دراجة رباعية سُجّل في الهواء الطلق، وجلسة علاج عضلي مدتها ٥٠ دقيقة فيها نحو سبع دقائق من الكلام في غرفة علاج صاخبة، ومراجعة لجراحة الفك دارت في معظمها بالماندرين. ولكل منها تفريغ نصي مرجعي حرفي وقائمة تحقق بالتفاصيل التي يجب أن تلتقطها الملاحظة.
الالتقاط
شُغّلت كل أداة في تطبيق الويب الخاص بها في Chrome، مع تسجيل الدخول بحساب قياسي. وشُغّل التسجيل عبر مدخل الميكروفون في المتصفح، بالملف نفسه لكل أداة. وبعد التسجيل، كُتبت طلبات كل تسجيل حرفيًا في ميزة المستندات أو المحادثة الخاصة بالأداة، مثل «Generate SOAP notes please» و«Summarise this consult in two sentences for a referral letter». وشُغّلت كل أداة مرة واحدة لكل تسجيل في ٦ أكتوبر ٢٠٢٦، و Arlo في ٢٠ أكتوبر ٢٠٢٦، مع ضبط لغة الإدخال على الإنجليزية حيث تطلب الأداة ذلك. وفي مراجعة الماندرين، ضُبطت الأدوات التي تتيح إعداد لغة الإدخال على الماندرين: Heidi على «English and Chinese (Mandarin)»، و Lyrebird و PatientNotes على «Chinese (Mandarin, Simplified)». ولم تُنتج CliniScripts أي تفريغ نصي عند اختيار الصينية والإنجليزية في محاولتين، فاستُخدم إعدادها القياسي. ولا يوجد في Arlo إعداد للغة الإدخال. وتبني Arlo المستندات من قوالب محفوظة لا من مربع نص حر، لذلك كُتب كل طلب حرفيًا في مولّد القوالب الخاص بها، واستُخدم القالب الناتج دون تعديل.
التقييم بلجنة تحكيم من Claude
قيّم الملاحظاتِ Claude، النموذج الذي طوّرته Anthropic. ففي كل تسجيل، خُلطت مخرجات كل أداة خلف حرف مع حذف أسماء المنتجات، وقُيّمت مقارنةً بالتفريغ النصي المرجعي وفق معايير تقييم ثابتة. ويُعلَّم كل بند في قائمة التحقق بنعم أو جزئيًا أو لا. وتُدرج كل عبارة لا يدعمها التفريغ النصي علامةَ هلوسة: كبرى إذا كان من شأنها تغيير الرعاية أو تحريف الصورة السريرية (عَرَض أو نتيجة أو دواء أو تشخيص أو خطة مختلَقة، أو جانب خاطئ أو اسم دواء خاطئ)، وصغرى في غير ذلك. وفي ٢٠ أكتوبر ٢٠٢٦، عند إضافة Arlo، أُعيد تقييم ملاحظات جميع الأدوات وتفريغاتها النصية معًا في الحزم المعمّاة نفسها، فقيّم المُقيِّم نفسه الأدوات الثماني كلها. ولم تُكشف هوية الأدوات إلا بعد تقييم كل التسجيلات. وتجدون معايير التقييم كاملة في المنهجية لدينا.
أخطاء التفريغ النصي
طوبق كل تفريغ نصي كلمةً بكلمة مع المرجع الحرفي. واستُبعدت الفروق في كلمات الحشو، وحكم Claude على كل فرق متبقٍّ دون معرفة الأداة، وفق القاعدة أعلاه لما يجعل خطأ التفريغ جسيمًا. ويُحسب معدل خطأ الكلمات برمجيًا بالتطبيع الصارم نفسه المستخدم في تقارير الإصدارات لدينا، مع اعتبار الصيغ المكتوبة المتكافئة كلمات واحدة: ٢٢ mm و٢٢ millimetres، والتهجئة الأمريكية والبريطانية، والأرقام الصينية والعربية، والحروف الصينية المبسّطة والتقليدية. وتُقيَّم الصينية حرفًا حرفًا.