الاختبار المعياري

اختبار معياري لأدوات الكتابة الطبية الذكية: Hanah وست أدوات أخرى

أُجري في ٦ أكتوبر ٢٠٢٦ · ١٣ استشارة مسجَّلة · ٧ أدوات كتابة طبية ذكية

شغّلنا الاستشارات المسجَّلة الثلاث عشرة نفسها في Hanah و Heidi و Lyrebird و Freed و PatientNotes و CliniScripts و Preve، ثم قيّمنا كل ملاحظة مقارنة بما قيل فعلًا. وكل تفريغ نصي وملاحظة وتقييم منشور في هذه الصفحة، مع سبب كل تقييم.

100% من ملاحظات Hanah خالية من إشارات الهلوسة الكبرى كان المتوسط عبر الأدوات الست الأخرى ٤٨%.

أقل بنسبة ٦٦% في أخطاء التفريغ النصي ذات الدلالة السريرية بمعدل ٠.٥٩ لكل استشارة مقابل متوسط ١.٧٥.

أكثر بنسبة ١١% في التفاصيل السريرية المطلوبة الملتقطة بنسبة ٩٣.٧% مقابل متوسط ٨٤.٢%.

النتائج

الأدوات مرتّبة حسب نسبة التفاصيل السريرية المطلوبة التي التقطتها ملاحظاتها. وتُقيَّم ملاحظة كل أداة للطلب الأول في كل تسجيل.

الكاتب الطبي الذكي	التفاصيل السريرية الملتقطة	ملاحظات تتضمن كل التفاصيل السريرية	إشارات الهلوسة الكبرى لكل ملاحظة	ملاحظات بلا علامة هلوسة كبرى	أخطاء التفريغ النصي ذات الدلالة لكل استشارة	معدل خطأ الكلمات (WER)، الاستشارات باللغة الإنجليزية
Hanah١٣ ملاحظة	93.7%	62%	0.00	100%	0.59	1.6%
Heidi١٣ ملاحظة	91.4%	38%	0.23	77%	1.15	3.3%
CliniScripts١٣ ملاحظة	90.8%	62%	0.23	77%	0.69	2.1%
Lyrebird١٣ ملاحظة	90.2%	46%	0.62	62%	1.92	3.4%
Freed^†١٢ ملاحظة	85.7%	42%	0.83	33%	1.25	19.4%
PatientNotes١٣ ملاحظة	74.7%	15%	2.77	8%	1.92	3.9%
Preve^*١٠ ملاحظات	72.2%	30%	1.10	30%	3.54	6.7%
متوسط الأدوات الست الأخرى	84.2%	39%	0.96	48%	1.75	6.4%

* قُيِّمت Preve على ملاحظتها السريرية القياسية، لأنها لا تتبع التعليمات المخصصة إلا بعد رفع ملف PDF نموذجي لبناء قالب. ولا تُنشئ Preve ملاحظة من تفريغ نصي أقل من ٦٠٠ حرف، فلا توجد ملاحظات لأقصر ثلاثة تسجيلات لديها.

† واصلت Freed التسجيل بعد الضغط على «Stop» في أقصر تسجيل، ولم تُنتج تفريغًا نصيًا ولا ملاحظة، في محاولتين. وقُيِّمت Freed على التسجيلات الاثني عشر الأخرى.

خطأ التفريغ النصي الجسيم هو ما رأى مُقيِّم معمّى أنه قد يضلّل الممارس: دواء أو جرعة أو رقم أو جانب أو عَرَض خاطئ، أو نفي أو علامة تحذيرية مفقودة، أو محتوى سريري محذوف. أما معدل خطأ الكلمات فيعدّ كل كلمة بالتساوي، بما فيها كلمات الحشو.

دارت مراجعة جراحة الفك في معظمها بلغة الماندرين. وشُغّلت كل أداة بلغة إدخال مضبوطة على الماندرين حيث يتوفر هذا الإعداد. وارتكبت Heidi أقل عدد من أخطاء التفريغ الجسيمة فيها (٣ في كل من ثلاث مرات تشغيل)، تلتها CliniScripts (٤)، ثم Hanah (من ٤ إلى ٥ عبر ثلاث مرات تشغيل). وارتكبت PatientNotes ٩ أخطاء، و Freed ٧، و Lyrebird ١٤، و Preve ٢٤. ولا يوجد في Preve إعداد للغة الإدخال، وتكتشف Freed اللغة بنفسها.

حسب الاستشارة

التفاصيل السريرية الملتقطة، وتحتها عدد علامات الهلوسة الكبرى. اختاروا استشارة لقراءة كل ملاحظة وتقييم.

الاستشارة	Hanah	Heidi	CliniScripts	Lyrebird	Freed	PatientNotes	Preve
إملاء تسليم في وحدة العناية المركزة	١٠٠%لا علامات كبرى	١٠٠%لا علامات كبرى	١٠٠%لا علامات كبرى	١٠٠%لا علامات كبرى	١٠٠%علامتان كبريان	٧٥%علامتان كبريان	لا ملاحظة
إملاء تسليم في وحدة العناية المركزة، مع ضجيج الجناح	١٠٠%لا علامات كبرى	١٠٠%لا علامات كبرى	١٠٠%لا علامات كبرى	٩٢%لا علامات كبرى	٧٥%علامة كبرى واحدة	٧٥%علامتان كبريان	لا ملاحظة
زيارة منزلية لممرض المجتمع	١٠٠%لا علامات كبرى	١٠٠%لا علامات كبرى	٧٩%لا علامات كبرى	١٠٠%علامة كبرى واحدة	١٠٠%علامة كبرى واحدة	٦٤%علامة كبرى واحدة	٨٦%علامة كبرى واحدة
أخصائي تغذية، مراجعة القولون العصبي	٩٢%لا علامات كبرى	٩٢%لا علامات كبرى	١٠٠%لا علامات كبرى	٩٢%لا علامات كبرى	١٠٠%لا علامات كبرى	٧٥%علامة كبرى واحدة	٩٢%علامة كبرى واحدة
ألم الركبة، استشارة قصيرة	٨٣%لا علامات كبرى	٨٣%لا علامات كبرى	٨٣%لا علامات كبرى	٨٣%لا علامات كبرى	لا ملاحظة	١٠٠%لا علامات كبرى	لا ملاحظة
التأهيل المسبق لاستبدال الركبة	١٠٠%لا علامات كبرى	٨٨%لا علامات كبرى	١٠٠%لا علامات كبرى	١٠٠%علامة كبرى واحدة	١٠٠%علامة كبرى واحدة	١٠٠%علامتان كبريان	١٠٠%علامة كبرى واحدة
العلاج العضلي، ٥٠ دقيقة في غرفة صاخبة	١٠٠%لا علامات كبرى	٨٨%لا علامات كبرى	٥٦%لا علامات كبرى	١٠٠%لا علامات كبرى	٨١%علامة كبرى واحدة	٩٤%علامتان كبريان	١٠٠%لا علامات كبرى
تقييم السلامة المنزلية في العلاج الوظيفي	١٠٠%لا علامات كبرى	١٠٠%علامة كبرى واحدة	١٠٠%لا علامات كبرى	٩٣%لا علامات كبرى	٩٣%علامة كبرى واحدة	٩٣%٣ علامات كبرى	٩٣%٤ علامات كبرى
طفل مصاب بالربو، ووالد محدود الإنجليزية	١٠٠%لا علامات كبرى	٨٦%لا علامات كبرى	١٠٠%لا علامات كبرى	١٠٠%لا علامات كبرى	١٠٠%علامتان كبريان	٩٣%٤ علامات كبرى	٧١%علامة كبرى واحدة
مراجعة جراحة الفك بالماندرين والإنجليزية	٨١%لا علامات كبرى	٨٨%لا علامات كبرى	٨٨%علامة كبرى واحدة	٦٩%٣ علامات كبرى	٦٢%لا علامات كبرى	٤٧%٩ علامات كبرى	٢٥%علامة كبرى واحدة
سقوط عن دراجة رباعية، في الهواء الطلق	٨٦%لا علامات كبرى	٨٦%علامة كبرى واحدة	١٠٠%علامة كبرى واحدة	٩٣%علامتان كبريان	٩٣%علامة كبرى واحدة	٦٤%٥ علامات كبرى	٦٤%علامتان كبريان
التأهيل الوقائي للركبة في الرغبي	٨٣%لا علامات كبرى	١٠٠%لا علامات كبرى	١٠٠%لا علامات كبرى	١٠٠%علامة كبرى واحدة	٦٧%لا علامات كبرى	٥٠%٣ علامات كبرى	١٠٠%لا علامات كبرى
إصابة أوتار الركبة الخلفية في الرجبي، على خط الملعب	١٠٠%لا علامات كبرى	٨٦%علامة كبرى واحدة	٩٣%علامة كبرى واحدة	٨٦%لا علامات كبرى	٨٦%لا علامات كبرى	٨٦%علامتان كبريان	٧٩%لا علامات كبرى

كل ملاحظة وتفريغ نصي وتقييم

اختاروا استشارة وأداة كتابة. يمكنكم تشغيل التسجيل، وقراءة التفريغ النصي المرجعي، ورؤية كل حكم في قائمة التحقق وكل علامة هلوسة مع سبب إعطائها.

الاستشارة

جارٍ التحميل…

كيف أُجري الاختبار

التسجيلات

التسجيلات الثلاثة عشر هي مجموعة التسجيلات المرجعية لقياس الدقة لدى Hanah، وهي المجموعة نفسها التي تقف وراء نتائج الإصدارات في صفحة الشفافية لدينا. وتشمل إملاء تسليم في وحدة العناية المركزة مع ضجيج الجناح ومن دونه، واستشارات في العلاج الطبيعي والتغذية والعلاج الوظيفي والعلاج العضلي وتمريض المجتمع، وطفلًا مصابًا بالربو يتحدث والده إنجليزية محدودة، وسقوطًا عن دراجة رباعية سُجّل في الهواء الطلق، وجلسة علاج عضلي مدتها ٥٠ دقيقة فيها نحو سبع دقائق من الكلام في غرفة علاج صاخبة، ومراجعة لجراحة الفك دارت في معظمها بالماندرين. ولكل منها تفريغ نصي مرجعي حرفي وقائمة تحقق بالتفاصيل التي يجب أن تلتقطها الملاحظة.

الالتقاط

شُغّلت كل أداة في تطبيق الويب الخاص بها في Chrome، بعد تسجيل الدخول إلى حساب عادي. وشُغّل التسجيل عبر مدخل الميكروفون في المتصفح، بالملف نفسه لكل أداة. وبعد التسجيل، كُتبت طلبات كل تسجيل حرفيًا في ميزة المستندات أو المحادثة في كل أداة، مثل «Generate SOAP notes please» و«Summarise this consult in two sentences for a referral letter». وشُغّلت كل أداة مرة واحدة لكل تسجيل في ٦ أكتوبر ٢٠٢٦، مع ضبط لغة الإدخال على الإنجليزية حيث تطلب الأداة ذلك. وفي مراجعة الماندرين، ضُبطت الأدوات التي تتيح إعداد لغة الإدخال على الماندرين: Heidi على «English and Chinese (Mandarin)»، و Lyrebird و PatientNotes على «Chinese (Mandarin, Simplified)». ولم تُنتج CliniScripts تفريغًا نصيًا مع اختيار الصينية والإنجليزية في محاولتين، فاستُخدم إعدادها القياسي. وشغّلت Heidi و Hanah مراجعة الماندرين ثلاث مرات لكل منهما، وأُخذ متوسط نتائج التفريغ النصي لديهما.

التقييم بلجنة تحكيم من Claude

قيّم Claude، نموذج Anthropic، الملاحظات. ففي كل تسجيل، خُلطت مخرجات كل أداة خلف حرف مع إزالة أسماء المنتجات، وقُيّمت مقارنة بالتفريغ النصي المرجعي وفق معيار ثابت. ويُعلَّم كل بند في قائمة التحقق بنعم أو جزئيًا أو لا. وكل عبارة لا يدعمها التفريغ النصي تُدرج علامةَ هلوسة (اختلاق معلومات لم تُذكر): كبرى إذا كان يمكن أن تغيّر الرعاية أو تحرّف الصورة السريرية (عَرَض أو نتيجة فحص أو دواء أو تشخيص أو خطة مختلقة، أو جانب أو اسم دواء خاطئ)، وصغرى في غير ذلك. ولم يُكشف عن هوية الأدوات إلا بعد تقييم كل التسجيلات. والمعيار الكامل موجود في المنهجية لدينا.

أخطاء التفريغ النصي

طوبق كل تفريغ نصي كلمةً بكلمة مع المرجع الحرفي. واستُبعدت الفروق في كلمات الحشو، وحكم Claude على كل فرق متبقٍّ دون معرفة الأداة، وفق القاعدة أعلاه لما يجعل خطأ التفريغ جسيمًا. ويُحسب معدل خطأ الكلمات برمجيًا بالتطبيع الصارم نفسه المستخدم في تقارير الإصدارات لدينا، مع اعتبار الصيغ المكتوبة المتكافئة كلمات واحدة: ٢٢ mm و٢٢ millimetres، والتهجئة الأمريكية والبريطانية، والأرقام الصينية والعربية، والحروف الصينية المبسّطة والتقليدية. وتُقيَّم الصينية حرفًا حرفًا.