تخصیص تجهیزات درمانی به مراکز خدمات بهداشتی و درمانی با بهره گیری از تکنیک های هوش مصنوعی

تخصیص تجهیزات درمانی به مراکز خدمات بهداشتی و درمانی با بهره گیری از تکنیک های هوش مصنوعی و الگریتم های فرا ابتکاری، مطالعه موردی – مراکز درمانی دانشگاه علوم پزشکی تهران

نویسندگان :

سعید یوسفی

مدیر پشتیبانی شرکت ساپ

 نوید بخارایی

کارشناس واحد پشتیبانی شرکت ساپ

چکیده

افزایش شمار قربانیان بیماری کوید 19 در سراسر جهان امروز بزرگترین نگرانی جامعه بشری است. لذا تخصیص منابع محدود درمانی به خیل عظیم بیماران از مهم ترین دغدغه های تصمیم گیرندگان این حوزه می باشد. در این مقاله با بهره گیری از تکنیک شبکه عصبی میزان مراجعه کنندگان به مراکز درمانی ارائه دهنده خدمات بهداشتی مختلف پیش بینی  و کارایی این واحد های تصمیم در دوره های زمانی ارزیابی می گردد. در این راستا جهت بهینه تر شدن عملکرد این واحدهای تصمیم به ارائه راهکارهای بهبود پیش گیرانه پرداخته می شود.در این ارائه راهکار بهبود مقادیر مختلف ورودی بهینه جهت ارائه خدمات با کیفیت برای هر یک از واحدهای خدماتی مشخص و متناسبا تجهیزات به ایشان تخصیص داده می شود.

مقدمه

عفونت 2019-Ncov، یک آلودگی توام با علائم تنفسی به کرونا ویروس شناخته شده ی جدید بوده که تصور می شود به عنوان یک ویروس قابل انتقال بین انسان و حیوانات پدیدار شده و جهش یافته باشد یا در غیر این صورت، به گونه ای سازگاری پیدا کرده  باشد که امکان بیماری زایی در میان انسان فراهم کند. شیوع بیماری در چین آغاز شد و پس از آن بیماری به بسیاری از کشورهای دیگر سرایت کرده است. هر چند که قرنطینه تا کنون به محدود کردن انتقال بیماری در آن ها کمک کرده است.(Zhu et al 2020 )  دامنه های شدت بیماری از بدون علامت، ملایم تا شدید متغیرند. سهم قابل توجهی از بیمارانی که دارای شواهد بدیهی عفونت بالینی هستند بیماری شدیدی دارند.(Chen et al 2020) نرخ مرگ و میر کلی در مبان موارد تشخیص داده شده حدود 2 درصد است با این وجود دانش و شناخت از این بیماری کامل نیست و در حال نمو است. علاوه بر این، کرونا ویروس ها اغلب به این معروف هستند که جهش بازترکیب می کنند و یک چالش مداوم پیش روی درک پژوهشگران و مدیریت بالینی قرار می دهند. علاوه براین مهم سرعت انتقال این بیماری نیز منجر به توسعه غیر معمول در این جهش باز ترکیب شده است.  (Li et al 2020) در این میان ارزیابی کارایی واحدهای درمانی جهت ارائه راهکارهای بهبود و یا تخصیص منابع بیشتر از اهمیت بسازیی برخودار است. چرا که ایجاد منابع بیشتر منجر به کاهش خروجی های نامطلوب در این واحدهای تصمیم می باشد. به عنوان نمونه افزایش امکانات، دارو، تجهیزات، متخصصین منجر به افزایش بهبود یافتگان و کاهش مرگ و میر می شود. لذا ارائه راهکارهای بهبود مرسوم که به دنبال کاهش مقادیر ورودی برای افزایش کارایی است صرفا نمی تواند بیانگر افزایش کارایی در واحدهای تصمیم باشد. همچنین با توجه به اینکه  منابع در دسترس محدود و وسعت پراکندگی این بیماری، سرعت جهش یافتگی و فراگیری این بیماری بسیار سریع است. تخصیص منابع به واحدهای خدمات درمانی از اهمیت ویژه ای برخودار است. وی و یان 2020 با ارائه رویکرد اقتصاد مقیاس بیان می کنند که افزایش در ورودی ها صرفا منجر به کاهش نسبت کارایی نخواهد شد.  به عنوان مثال مدل اقتصاد مقیاس بیان می کند که هزینه تولید هر واحد محصول زمانی که حجم تولید افزایش یابد کاهش می یابد.  این امر منجر به ان می گردد که سود بیشتری نصیب واحد تولیدی شود. طبق اقتصاد مقیاس بهترین حجم تولید عددی است که هزینه هر واحد محصول به کمترین عدد خود برسد و این مستلزم افزایش حجم تولید است. برای افزایش تولید در نگاه اول نیاز به هزینه و سرمایه گذاری است ولی در مجموع زمانی که تولید در حد مقیاس اقتصادی باشد سود بیشتری ایجاد می شود.(Wei et al 2020) این رویکرد در ارزیابی واحدهای درمانی در این مقاله توسعه یافته است و جهت ارائه راهکار بهبود برای واحدهای تصمیم صرفا به کاهش ورودی ها جهت افزایش خروجی های مطلوب بسنده نمی شود بر مبنای رویکرد تراکمی برای برخی از ورودی ها به افزایش مقادیر ورودی برای افزایش خروجی های مطلوب پرداخته می شود.

با در نظر گرفتن دیدگاه فوق  عوامل ورودی را می توان به دو دسته تقسیم بندی نمود. دسته اول ورودی هایی هستند که دارای تراکم مثبت هستند به این مفهوم که افزایش انها به حرکت به سمت حد مقیاس اقتصاد منجر می گردد لذا کارایی افزایش می یابد به عبارت دیگر در این شرایط خروجی ایجاد شده بسیار بیشتر از ورودی هزینه شده است. دسته دوم ازورودی ها ، ورودی هایی است که کاهش انها منجر به حرکت به سمت حد مقیاس اقتصاد می باشد.  لذا با کاهش این ورودی ها میزان کارایی افزایش می یابد. شکل شماره 1 بیانگر دو فضای شدنی می باشد. همان طور که در شکل فوق ترسیم شده است هر ورودی را می توان در دو دسته که توصیف شده است قرار بگیرد در صورتی که فرض شود نقاط  A , B, C مقدار یک ورودی برای یک واحد باشد تشریح وضعیت ورودی های به شرح زیر خواهدبود. (Shabanpour et al 2019) مقدار ورودی  با بهره گیری از مقدار مشخصی از ورودی ها منجر به ایجاد سطح مشخصی از خروجی می گردد که در صورت افزایش ورودی ها می تواند به حد مقیاس اقتصاد برسد که در این نقطه با صرف ورودی بیشتر خروجی بیشتر ایجاد می شود به صورتی که نسبت خروجی به ورودی بیشتری در نقطه B نسیب تصمیم گیرنده می گردد. با این تفاصیل در صورتی که تولید در سطح نقطه A باشیم باید در ارائه راهکار بهبود  به افزایش مقدار ورودی پرداخته می شود. همچنین در شرایطی که تولید در نقطه C باشد برای رسیدن به حد مقیاس اقتصادباید با کاهش ورودی های به ارائه راهکار بهبود پرداخت. (Tone et al 2004)

شکل شماره 1: منحنی کارایی در مدل اقتصاد بیس (Shabanpour et al 2019)

در این مقاله ورودی ها به دو دسته دارای تراکم و ورودی های غیر تراکمی تقسیم بندی می شوند. مدل ارائه شده برای اولین بار به  ارائه مدلی پرداخته شده است که می تواند در مقایسه زوجی مرز کارایی تئوری اقتصاد مقیاس را برای ورودی های تراکمی ترسیم نماید سپس بر مبنای وضعیت ان ورودی به ارائه راهکار بهبود بپردازد. قابل توجه است خروجی های مورد استفاده در این مقاله نیز به دو صورت خروجی های مطلوب و نا مطلوب می باشد. که در ارائه راهکارهای بهبود به دنبال افزایش مقادیر خروجی مطلوب خواهیم بود. رویکرد ارائه شده در این مقاله می کوشد با بهره گیری از تکنیک پیش بینی شبکه عصبی مصنوعی میزان عوامل ورودی به مراکز درامنی را پیش بینی و میزان کارایی مراکز درمانی را در دوره های زمانی مختلف با توجه به موج های مختلف بیماری مورد ارزیابی قرار دهد. در بخش ارائه راهکار بهبود مدل ارائه شده در این مقاله متناسب با وضعیت واحدهای تصمیم مورد بررسی به ارائه راهکارهای تراکمی، ورودی محور، خروجی محور و یا ترکیبی پرداخته می شود.

پیشینه پژوهشی

تحلیل پوششی داده ها در سال اخیر توسط پژوهشگران مختلف مورد توجه قرار گرفته است. لذا رویکرد های تحلیل پوششی داده ها در مقالات متعددی توسعه یافته است.امروز نژاد و همکاران 2018  به ارزیابی برخی از  رویکردهای 40 ساله گذشته در حوزه تحلیل پوششی داده ها پرداخته اند و در این دسته بندی تکنیک های تحلیل پوششی داده ها را از منظر مختلفی مورد دسته بندی قرار داده اند از ان جمله می توان به دوشاخه از رویکرد های رتبه بندی و رویکرد ارائه راهکار بهبود پرداخت، برخی از مدلهای های ارائه شده در مقالات صرفا به ارائه راهکار بهبود برای واحد های تصمیم پرداخته و برخی از مدل های ارائه شده به رتبه بندی واحدهای تصمیم می پردازند. البته باید به این نکته توجه داشت برخی از تکنیک های توان رتبه بندی و ارائه راهکار بهبود همزمان را دارا می باشند. یوسفی و همکاران 2019 با بهره گیری از رویکرد تحلیل پوششی داده ها و توسعه مدل خود بر مبنای مقادیر رباست به ارزیابی و رتبه بندی کارایی نیروگاه های سوخت فسیلی ژاپن پرداخته اند. بهره گیری از تکنیک شبکه عصبی مصنوعی در خوشه بندی نیروگاه های سوخت فسیلی در این مقاله، ویزگی را ایجاد نموده است که نیروگاه های هم سطح در مقایسه زوجی با نیروگاه های مشابه مورد ارزیابی قرار گرفته است. در این مقاله در هر خوشه نیروگاه الگو شناسایی و بر مبنای آن به ارائه راهکار بهوبد پرداخته شده است. گستره استفاده از تحلیل پوششی داده ها در کاربردهای مختلف بسیار مورد توجه مدیران و تحلیل گران بوده است لذا در مطالعات موردی بسیار متنوعی مورد استفاده قرار گرفته است.

رویکرد ارائه شده در این مقاله برای اولین بار با استفاده از تکنیک شبکه عصبی مصنوعی مقادیر ورودی در دوره های زمانی آتی پیش بینی و کارایی آنها با استفاده از مدل ارائه شده ارزیابی و در نهایت به ارائه راهکارهای بهبود تراکمی پرداخته می شود.

مطالعه موردی

شرکت ساپ به عنوان یک سازمان دانش بنیان در عرصه تولید نرم افزار “برنامه ریزی منابع سازمانی” به این توفیق دست یافته است، که نظرات مدیران و خبرگان در صنایع تولیدی و توزیعی را در قالب نرم افزار ERP  طراحی و اجرا نماید. بهره گیری از سالها تجربیات خبرگان این عرصه و بومی سازی علوم روز دنیا دو ویژگی بارز نرم افزار ساپ است که وجه تمایزی آشکاری را با سایر نرم افزار های مشابه ایجاد نموده است. یکی از ماژول های ارائه شده در شرکت ساپ، سیستم BI است که با بهره گیری از به روز ترین متد های فراابتکاری و هوش مصنوعی  به تصمیم سازی برای مدیران می پردازد. در این مقاله به ارزیابی 35 مرکز درمانی مربوط به دانشگاه علوم پزشکی تهران در دوره های زمانی ماهانه پرداخته می شود.  در راستای حفظ اطلاعات این مراکز درمانی  از ارائه نام این مراکز پرهیز شده است و صرفا به جای نام از اعداد استفاده شده است. این مراکز جهت پیش بینی مقادیر ورودی با استفاده از شبکه عصبی مصنوعی بر مبنای داده های روزانه مربوط به هفت ماه گذشته روزهای آتی محاسبه می گردد. لذا داده های 247 روز گذشته منجر به پیش بینی مقادیر در دوره های زمانی آتی می گردد. عوامل ورودی و خروجی برای محاسبه کارایی در هر دوره زمانی به شرح ذیل ارائه می گردد.

عوامل ورودی:

• بیمارانی که تست آنها مثبت ارزیابی شده:

تعداد بیمارانی که به به بیماری کوید 19 مبتلا هستند و در دوره زمانی مربوطه به مراکز درمانی مراجعه کرده اند.

• تجهیزات تنفسی به اعضا هر نفر ساعت( این عامل به عنوان عامل تراکمی در نظر گرفته می شود)

تجهیزات متنوع تنفسی ائم از دستگاه های تنفسی، تخت های ارائه خدمات و سایر امکانت به صورت نفر ساعت قابل ارئه به بیماران مبتلا به کوید 19

• نفر ساعت پرسنل درمانی( این عامل به عنوان عامل تراکمی در نظر گرفته می شود)

تعداد نفر ساعت پرسنلی که برای مبتلایان کوید 19 به ارائه خدمات در مرکز درمانی می پردازند.

• تعداد متخصصین بیماری های تنفسی( این عامل به عنوان عامل تراکمی در نظر گرفته می شود)

تعداد متخصصین و فوق تخصص های بیماری تنفسی که در مراکز اعلامی در دوره زمانی به ارائه خدمات می پردازند بر مبنای نفر ساعت

خروجی ها

خروجی نا مطلوب : تعداد فوت شدگان

در این عامل تعداد نفراتی که در هر دوره زمانی در هر مرکز درمانی فوت کرده اند ارائه می گردد.

خروجی مطلوب :

تعداد بهبود یافتگان:

در این عامل تعداد نفراتی که در هر دوره زمانی در هر مرکز درمانی بهبود یافته و مرخص شده اند. ارائه می گردد.

تحقیقات علمی در خصوص شناسای بیماری کوید19:

تعداد تحقیقات و آزمایشات عملی در خصوص شناسایی راهکارهای بهبود و ساخت واکسن کویید 19

تعداد تست های انجام شده:

شامل تعداد تست های انجام شده در دوره زمانی مشخص شده

با توجه به محدودیت فضا در ارائه مقادیر ورودی و خروجی صرفا داده ها مربوط به یک دوره زمانی به صورت ماهانه برای این 35 واحد درمانی معرفی شده است. به درخواست این مراکز به جای نام مراکز صرفا از شماره به صورت اختصار استفاده شده است. به دلیل اینکه بعد از اعلام نتایج از مراجعه به واحدهای کارا جلوگیری شود. در جدول شماره 2 مقدار عوامل ورودی و خروجی در دوره زمانی شهریور ماه ارائه شده است

جدول شماره 2 : مقدار عامل های ورودی و خروجی در 35 مرکز درمانی برای شهریور ماه

با بهره گیری از مدل شماره 5 کارایی برای این 35 مرکز درمانی برای پنج دوره زمانی مورد ارزیابی قرار می گیرد. برای حل این مدل از نرم افزار Lingo ورژن 18 استفاده شده است. کارایی کلی این مراکز درمانی برای این پنج دوره زمانی به شرح کارایی کلی ارائه می گردد و بر مبنای آن به ارائه رتبه بندی پرداخته می شود. در سطر اول از چپ به راست به ترتیب، واحدهای تصمیم، دوره زمانی اردیبهشت الی شهریور و در کارایی کلی میزان کارایی در این پنج دوره زمانی و سپس رتبه بندی بر مبنای کارایی کلی ارائه شده است.

جدول شماره 3 : کارایی مراکز درمانی در 5 دوره زمانی

همانگونه که مشخص است کارایی مراکز 28، 20 و 5 به ترتیب بهترین کارایی را دربین این 5 دوره زمانی داشته اند. همچنین ناکارا ترین واحدهای تصمیم در بین این 5 دوره زمانی به ترتیب دوره های زمانی 15، 1 و 16 بوده است. بر مبنای مقادیر عامل های ورودی و خروجی ارائه شده و با استفاده از شبکه عصبی مصنوعی SOM به پیش بینی این عامل ها پرداخته می شود. عملیات پیش بینی با استفاده از نرم افزار MATLAB (نسخه 2020) انجام گرفته شده است. شبکه مورد استفاده برای پیش بینی عوامل ورودی و خروجی در دوره زمانی آتی یک شبکه دارای 16 نرون با و تابع فاصله پیوندی LinkDist  ساختاردهی شده است. در لایه پنهان و بهره گیری از توابع خطی در لایه خروجی جهت پیش بینی کارایی در دوره زمانی آتی صورت گرفته است. لذا برای پیش بینی روزانه این عوامل بر مبنای اطلاعات 247 روز گذشته به پیش بینی آینده پرداخته می شود. 30 روز آینده برای محاسبه کارایی ماهانه دوره زمانی به عنوان خروجی این این شبکه اعلام می گردد. نحوه آموزش شبکه بر مبنای توابع باز انتشار خطا ” لونبرگ مارکور” (Levenberg-Marquardt backpropagation) طراحی شده است.

جهت طراحی شبکه از ترکیب 65% داده ها جهت آموزش ، 20% داده جهت اعتبار سنجی و 15% داده  جهت آزمایش مورد استفاده قرار گرفته است. با ترکیب ارائه شده دقت پیش بین در بالاترین شرایط خود قرار گرفته است.

تصویر شماره 2 : توپولوژی شبکه پیش بینی آینده

همانگونه که در تصویر شماره  2  نمایش داده می شود با استفاده از رویکرد SOM با 16 نرون در لایه پنهان و دارای 247 دوره زمانی پیش بینی برای عوامل ورودی  و بازخور عامل خروجی مجددا در نرون های لایه پنهان جهت حداقل سازی میزان انحراف نمایش داده شده است.

میزان همگرایی و آموزش شبکه در دوره زمانی پیش از 50 ام به درستی صورت گرفته و شبکه ارائه شده توانسته است با مقادیر داده ها به صورت سازنده ای همگرا شود لذا پیش بینی صورت گرفته از دوره زمانی 50  الی دوره زمانی 247 با کمترین خطا نسبت به مقادیر واقعی صورت گرفته است. در تصویر شماره  3 این میزان همگرایی بین داده های آموزش، اعتبار و آزمایش مشخص است.

تصویر شماره 3  : گزارش میزان همرگرایی بین داده های آموزش، آزمایش و اعتبار سنجی

در ادامه گزارش از ترکیب های مختلف شبکه بر مبنای لایه های پنهان شبکه، مقادیر آموزش، اعتبار و ازمایش به همراه رویکرد آموزش شبکه و مقادیر انحراف تقدیم می گردد. در جدول شماره 4 گزارش ترکیب های مختلف شبکه را نمایش داده شده است.

جدول شماره 4 : گزارش ترکیب شبکه جهت پیش بینی مقادیر ورودی و خروجی

عوامل ورودی و خروجی با استفاده از شبکه ارائه شده پیش بینی و کارایی دوره زمانی بعدی به شرح جدول شماره 5  ارائه می گردد.

جدول شماره 5 : کارایی واحدهای درمانی در دوره زمانی آتی

بر این مبنا کارایی مرکز درمانی 20 معادل 1 و به عنوان واحد کارا و الگو برای سایر واحدهای تصمیم قلمداد می شود. این واحد تصمیم مرز کارایی را ایجاد و برمبنای آن به ارائه راهکار بهبود پرداخته می شود.

ارائه راهکار بهبود برای واحدهای ناکارا بر مبنای میزان ورودی ها دارای شاخص اقتصاد محور و ورودی های معمولی پرداخته می شود. که در ادامه به تحلیل آن پرداخته می شود.

به عنوان نمونه برای ارائه راهکار بهبود به مرکز درمانی شماره 15 مقادیر ورودی به شرح ذیل پیشنهاد می گردد. در این ارائه راهکار بهبود میزان عامل های تراکمی مربوط به “تجهیزات نفر ساعت”  و تعداد متخصصین” با افزایش مواجه است تا میزان خروجی نامطلوب کاهش و خروجی های مطلوب افزایش یابد. نقطه ترسیم شده در این ارائه راهکار بهبود بر روی مرز کارایی به صورتی تصویز شده است که با افزایش عامل های ورودی و افزایش بیشتر در عامل های خروجی مطلوب و کاهش در خروجی های نامطلوب الگو گزینی برای این واحد تصمیم صورت می گیرد.

جدول شماره 6 : ارائه راهکار بهبود برای مرکز درمانی شماره 15

در جدول شماره 6 مقادیری که باید برای مرکز درمانی مورد بررسی ایجاد شود تا این مرکز در دوره زمانی آتی به عنوان واحد تصمیم کارا معرفی شده است مشخص شده است. در این جدول مشخص است که میزان ورودی ها دارای تراکم به نسبت ورودی های مصرف شده در ارزیابی پیشین بیشتر شده است. همچنین مقادیر خروجی نیز بیشتر شده و عامل خروجی نامطلوب یعنی تعداد متوفی کاهش یافته است.

تجزیه و تحلیل نتایج مدیریتی

نتایج بدست آمده برای ارائه راهکارهای بهبود مراکز درمانی به صورت مشخصی به این نکته اشاره دارد که بلعکس مدل های کلاسیک تحلیل پوششی داده ها که بر مبنای رویکرد ورودی محور صرفا با کاهش ورودی ها و ثابت نگه داشتن خروجی ها به ارائه راهکار بهبود می پرداختند. نمی توان برای مراکز درمانی به ارائه اهرکار بهوبد پرداخت .

به عنوان نمونه در برخی از مراکز درمانی با افزایش تجهیزات پزشکی خروجی های نامطلوب یعنی تعداد فوتی ها کاهش می یابد و یا با افزایش تعداد متخصصین می توان تعداد مقالات و تحقیقات علمی در مراکز درمانی را افزایش داد. راهکار ارائه شده در این مقاله منجر به تخصیص منابع در مراکز درمانی شده است در این ارائه راهکار بهبود مقادیر ورودی برای واحدها ناکارا تخصیص داده می شود.

با استفاده از پیش بینی ناکارایی مراکز درمانی و در امتداد آن محاسبه کارایی و ارائه راهکار بهبود متناسب با عامل های ورودی و خروجی منجر به افزایش کارایی شده است و مقادیر عامل ها ورودی بر همین مبنا به مراکز درمانی تخصیص داده شده است. این مهم منجر به کاهش قابل توجه تعداد فوت شدگان در این مراکز درمانی شده و همچنین تجهیزات متناسب با نیازهای این واحد های درمانی به انها تخصیص داده شده است از ازدیاد منابع در برخی مراکز و مازاد در برخی مراکز درمانی جلوگیری شده است. رویکرد ارائه شده در این مقاله قابلیت توسعه و گسترش استفاده در شرکت ها و سازمان های تولیدی و توزیعی را دارد و می تواند از آن برای برنامه های توسعه بهره مند گردید.

منابع

Banker, R.D., Charnes, A., Cooper, W.W., 1984. Some models for estimating technical and scale inefficiencies in data envelopment analysis. Manage. Sci. 30, 1078–1092. http://dx.doi.org/10.1287/mnsc.30.9.1078.

Charnes, A., Cooper, W.W., 1961. Management models and industrial applications of linear programming. John Wiley and Sons, New York. 9, 63–64. https://doi.org/10.1002/nav.3800090109.

Charnes, A., Cooper, W.W., Rhodes, E., 1978. Measuring the efficiency of decision making units. Eur. J. Oper. Res. 2, 429–444. https://doi.org/10.1016/0377-2217(78)90138-8.

Zhu N, Zhang D, W ang W, Li X, Yang B, Song J, et al. A novel Coronavirus from Patients with Pneumonia in China, 2019. N Engl J Med. 2020; 382(8) 727-33.

DOI:10.1056/NEJMoa2001017PMID:31978945

Chen N, Zhou M, Dong X, Qu J, Gong F, Han Y, et al. Epidemiological and clinical characteristics of 99 cases of 2019 novel coronavirus pneumonia in Wuhan, China; a descriptive study. The Lancet. 2020;395(10223):507-523

Li Q. An Outbreak of NCIP (2019-nCoV) Infection in China-Wuhan, Hubei Province, 2019-2020. China CDC Weekly. 2020;2(5):79-80

Shabanpour, H., Fathi, A., Yousefi, S., Farzipoor Saen, R., 2019. Ranking sustainable suppliers using congestion approach of economies of scale theory of data envelopment analysis. J. Clean. Prod. 240, 118190. https://doi.org/10.1016/j.jclepro.2019.118190.

Tone, K., Sahoo, B. K., 2004. Degree of scale economies and congestion: A unified DEA approach. Eur. J. Oper. Res. 158, 755–772. https://doi.org/10.1016/S0377-2217(03)00370-9.

Wei, Q., H. Yan., 2020. Congestion and returns to scale in data envelopment analysis. Eur. J. Oper. Res. 132, 821–889. https://doi.org/10.1016/S0377-2217(02)00799-3.

Alinezhad, A., Tohidi., & Adibi, M. A. (2016). The Classification of Fuzzy Streaming Data Using Data Envelopment Analysis, 12^th International Conference on Industrial Engineering (ICIE 2016).

Alizadeh, A., & Omrani, H. (2019). An integrated multi response Taguchi-neural network-robust data envelopment analysis model for CO2 laser cutting. Measurement, 131, 69-78.

Aghayi, N., & Raayatpanah, M. A. (2019). A robust optimization approach to overall profit efficiency with data uncertainty: application on bank industry.Journal of the Chinese Institute of Engineers,42(2), 160-168

Aghayi, N., Tavana, M., & Maleki, B. (2018). A Malmquist Productivity Index with the Directional Distance Function and Uncertain Data.Scientia Iranica.

Chen, L., Wang, Y.,Lai, F. J. veFeng, F. (2017). An investment analysis for China’s sustainable development based on inverse data envelopment analysis. Journal of Cleaner Production, 142(4), 1638-1649.

Dula´, J. H., & Lo´pez, F. J. (2012). DEA with streaming data, Omega, 41, 41–47.

Emrouznejad, A. ve Yang, G.L. (2018). A survey and analysis of the first 40 years of scholarly literature in DEA: 1978–2016. Socio-Economic Planning Sciences, 61, 4-8.

Emrouznejad, A., Yang, G. ve Amin, G.R. (2020). A novel inverse DEA model with application to allocate the CO2 emissions quota to different regions in Chinese manufacturing industries, Journal of the Operational Research Society, 70(7), 1079-1090,

Fathi, A., Farzipoor Saen, R., 2018. A novel bidirectional network data envelopment analysis model for evaluating sustainability of distributive supply chains of transport companies. J. Clean. Prod. 184, 696–708. https://doi.org/10.1016/j.jclepro.2018.02.256.

Giannakis, M., Dubey, R., Vlachos, I., & Ju, Y. (2020). Supplier sustainability performance evaluation using the analytic network process.Journal of cleaner production,247, 119439

Kalantary, M., Farzipoor Saen, R., 2019. Assessing sustainability of supply chains: An inverse network dynamic DEA model. Comput. Indus. Eng. 135, 1224–1238. https://doi.org/10.1016/j.cie.2018.11.009.

Kalantary, M., Farzipoor Saen, R., Toloie Eshlaghy, A., 2018. Sustainability Assessment of Supply Chains by Inverse Network Dynamic Data Envelopment Analysis. Scientiairanica. 25, 3723–3743. https://doi: 10.24200/sci.2017.20017.

Keshavarz, E., Toloo, M., 2018. A hybrid data envelopment analysis and multi‐attribute decision making approach to sustainability assessment. Expert Syst. e12347. https://doi.org/10.1111/exsy.12347.

Kohl, S., Schoenfelder, J., Fügener, A., & Brunner, J. O. (2019). The use of Data Envelopment Analysis (DEA) in healthcare with a focus on hospitals.Health care management science,22(2), 245-286.

Lu, C., Tao, J., An, Q., & Lai, X. (2019). A second-order cone programming based robust data envelopment analysis model for the new-energy vehicle industry.Annals of Operations Research, 1-19.

Margara, A., & Rabl, T. (2018). Definition of Data Streams. In: Sakr S., Zomaya A.Y. (eds) Encyclopedia of Big Data Technologies. Springer, Cham. https://doi.org/10.1007/978-3-319-77525-8_188.

Mirmozaffari, M., Yazdani, M., Boskabadi, A., Ahady Dolatsara, H., Kabirifar, K., & Amiri Golilarz, N. (2020). A Novel Machine Learning Approach Combined with Optimization Models for Eco‐Efficiency Evaluation, applied sciences, 10(15), 1-32

Peykani, P., Seyed Esmaeili, F. S., Lotfi, F. H., & Rostamy-Malkhalifeh, M. (2019). Estimating Most Productive Scale Size in DEA under Uncertainty. 11th National Conference on Data Envelopment Analysis, Shiraz, Iran

Pereira, T., Dias, E., & Fontes, D. B. (2019). A MCDA Model for olive oil supplier selection using MACBETH.International journal for quality research,13(4).

Rostamy-Malkhalifeh, M., Sahmani., M. A., Ziaee, K., & Rahgoza, N. (2019). Robust Data Envelopment Analysis Approach for Performance Appraisal of Bank Customers in Private Banking; A Case Study of Refah K. Bank: 17th International Conference on Data Envelopment Analysis, Alberta, Canada.

Salahi, M., Toloo, M., & Hesabirad, Z. (2019). Robust Russell and enhanced Russell measures in DEA. Journal of the Operational Research Society, 70(8),1275–1283.

Shabanpour, H., Yousefi, S., Farzipoor Saen, R., 2017. Forecasting efficiency of green suppliers by dynamic data envelopment analysis and artificial neural networks. J. Clean. Prod. 142, 1098–1107. https://doi.org/10.1016/j.jclepro.2016.08.147.

Shabanpour, H., Fathi, A., Yousefi, S., Farzipoor Saen, R., 2019. Ranking sustainable suppliers using congestion approach of economies of scale theory of data envelopment analysis. J. Clean. Prod. 240, 118190. https://doi.org/10.1016/j.jclepro.2019.118190.

Shakouri, R., Salahi, M., & Kordrostami, S. (2019). Stochastic p-robust approach to two-stage network DEA model.Quantitative Finance and Economics,3(2), 315.

Shokri Kahi, V., Yousefi, S., Shabanpour, H., Farzipoor Saen, R., 2017. How to evaluate sustainability of supply chains? A dynamic network DEA approach, Indus. Manage. Data. Syst. 117, 1866–1889. https://doi.org/10.1108/IMDS-09-2016-0389.

Tavassoli, M., Saen, R. F., & Zanjirani,D. M. (2020). Assessing sustainability of suppliers: A novel stochastic-fuzzy DEA model.Sustainable production and consumption,21, 78-91.

Tavana, M., Shabanpour, H., Yousefi, S., Farzipoor Saen, R., 2016. A hybrid goal programming and dynamic data envelopment analysis framework for sustainable supplier evaluation. Neur. Comput. Appl. 28, 3683–3696.

Wardana, R. W., Warinsiriruk, E., & Joy-A-Ka, S. (2019). Selection of Welding Process for Repairing Shredder Hammer by Integrated Data Envelopment Analysis (DEA) and P-robust Technique. InMATEC Web of Conferences. EDP Sciences.

Wegener, M. ve Amin, G.R. (2019). Minimizing greenhouse gas emissions using inverse DEA with an application in oil and gas.Expert Systems with Applications. 122, 369-375.

Wu, D., Ding, W., Koubaa, A., Chaala, A., & Luo, C. (2017). Robust DEA to assess the reliability of methyl methacrylate-hardened hybrid poplar wood.Annals of Operations Research,248(1-2), 515-529.

Yousefi, S., Soltani, R., Bonyadi Naeini, A., Farzipoor Saen, R., 2019. A robust hybrid artificial neural network double frontier data envelopment analysis approach for assessing sustainability of power plants under uncertainty. Expert Syst. 36, e12435. https://doi.org/10.1111/exsy.12435.

Yousefi, S., Soltani, R., Farzipoor Saen, R., Pishvaee, M.S., 2017. A robust fuzzy possibilistic programming for a new network GP-DEA model to evaluate sustainable supply chains. J. Clean. Prod. 166, 537–549. https://doi.org/10.1016/j.jclepro.2017.08.054.

Yousefi, S., Alizadeh, A., Hayati, J., & Baghery, M. (2018). HSE risk prioritization using robust DEA-FMEA approach with undesirable outputs: a study of automotive parts industry in Iran.Safety Science,102, 144-158

Zhou, Z., Chen, Y., Song, P., & Ding, T. (2020). China’s urban air quality evaluation with streaming data: A DEA window analysis, Science of The Total Environment, 727, 1-9.