|
تصويربرداري با اشعه ايكس از قفسه سينه (Chest X-ray) يكي از پركاربردترين روش هاي تشخيصي در سراسر جهان است. با اين حال، تفسير اين تصاوير همچنان يك كار پيچيده و زمان بر باقي مانده است. اين مقاله به چالش توليد خودكار گزارش هاي اشعه ايكس قفسه سينه مي پردازد و از پيشرفت هاي اخير در مدل هاي بينايي-زبان (Vision-Language Models يا VLMs) بهره مي برد.
ما چارچوبي را پيشنهاد مي دهيم كه در آن از نظارت هدايت شده با «پرامپت» (prompt-guided supervision) و تكنيك هاي كاهش سوگيري (bias mitigation) در يك مدل VLM ريزتنظيم شده (BLIP) استفاده مي شود تا هم دقت و هم قابليت اعتماد گزارش هاي پزشكي توليدشده افزايش يابد.
در اين مطالعه، روش هايي را براي بهبود انسجام متني و كاهش سوگيري هاي ميانبر (shortcut bias) در مدل هاي VLM با استفاده از پرامپت هاي آسيب شناسي (pathological prompts) بررسي مي كنيم، بدون آنكه نياز به تغيير در معماري مدل يا استفاده از آموزش چندهدفه (multi-objective training) باشد — دو رويكردي كه در ادبيات موجود عمدتاً ناديده گرفته شده اند.
ما از برچسب هاي آسيب شناسي به عنوان پرامپت هاي زبان طبيعي استفاده مي كنيم تا مدل را هدايت كرده و با بهره گيري از يادگيري تدريجي (curriculum learning) و وارد كردن نويز كنترل شده در برچسب ها طي آموزش، تاب آوري مدل را افزايش دهيم.
براي مقابله با يادگيري ميانبر، كه در آن همبستگي هاي سطحي بين تصوير و متن (مانند تجهيزات پشتيباني در تصوير) ممكن است مدل را گمراه كند، يك استراتژي كاهش سوگيري چندوجهي ارائه مي دهيم. اين روش شامل حذف مصنوعي (artifact) هاي بصري با استفاده از يك مدل توليدي انتشار (generative diffusion model) و اصلاح متن مربوطه با كمك يك مدل زبان بزرگ است تا مدل به نمايش هاي علي و معنادارتر گرايش يابد.
ما رويكرد خود را بر روي مجموعه داده جديد **CheXpert Plus** آموزش داده و ارزيابي مي كنيم و بهبودهايي در كيفيت و تاب آوري گزارش هاي توليدشده مشاهده مي كنيم. در برخي معيارهاي ارزيابي، تا 63٪ بهبود روي مجموعه آزمايش حاصل شده است.
علاوه بر اين، روش ما براي كاهش سوگيري ميانبر چندوجهي باعث بهبود انسجام باليني گزارش هاي توليدي شده و تمركز مدل را به نواحي مرتبط تر در تصوير معطوف مي سازد. يافته هاي ما به توسعه سيستم هاي هوش مصنوعي ايمن تر و قابل اعتمادتر د
|