Криза реплікації. Сучасний стан розвитку кримінологічних досліджень

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Луганський державний університет внутрішніх справ імені Е.О. Дідоренка

Криза реплікації. Сучасний стан розвитку кримінологічних досліджень

Коростельова Л.А.,

ад'юнктка

м. Сєвєродонецьк

Анотація

У статті розкрито суть сучасної кризи реплікації в суспільних науках, до яких належить і кримінологія. Процеси глобалізації та його наслідки, які полягають у колосальній інформатизації суспільства, масовому тиражуванні наукових робіт, призводять до загострення кризи в наукових дослідженнях. Попри велику кількість праць, присвячених зазначеній проблемі, необхідно констатувати, що серед учених немає єдиної сформованої думки щодо способів розв'язання методологічної кризи.

Здійснено аналіз поточного стану розвитку кримінологічних досліджень та встановлено, що сучасні дослідження потребують методологічного оновлення. Акцентовано увагу на основних проблемах відтворюваності дослідження, до яких належать об'єкт кримінологічного дослідження, який неможливо відтворити повторно, що ставить під сумнів зміст та обсяг знань про суспільство. Проведений аналіз показав, що криза реплікації вплинула на кримінологічні дослідження та кримінологічну науку загалом. Запропоновано способи розв'язання цієї проблеми в перспективних вітчизняних кримінологічних дослідженнях.

Автором було визначено, що одним із напрямків оновлення методології суспільних наук і кримінології в цілому є методологія Reproducible research (відтворюваних досліджень). Проаналізовано здобутки України на шляху використання зазначеної методології та наведено приклади вже існуючих відкритих досліджень. Зроблено висновок, що в умовах швидкоплинних змін технологічної реальності саме використання таких елементів, як доступний програмний код, набори вихідних даних, їх обробка і візуалі - зація результатів дослідження забезпечить інтеграцію сучасних наукових концепцій про злочинність, заснованих на відкритості і прозорості кримінологічних досліджень.

Ключові слова: криза реплікації, кримінологія, кримінологічні дослідження, об'єкт кримінологічного дослідження, сучасні методи кримінологічного дослідження, Reproducible research, R.

Abstract

Crisis of replications. Modern level of criminological research development

Korostelova L., Associate of the Luhansk State University of Internal Afair E. Didorenko (Sіеvіеrodonetsk, Ukraine)

The article examines the essence of the modern crisis of replication in the social sciences, which also includes criminology. The processes of globalization and their consequences consist in the colossal informatization of society, the mass replication of scientific works, which lead to an aggravation of the crisis in scientific research. Despite the large number of works devoted to this problem, it should be noted that among scientists there is no consensus on how to resolve the replication crisis.

An analysis of the state of development of criminological research has been made and it has been established that modern research requires methodological updating.

The attention is focused on the main problems of research reproducibility, which include the object of criminological research, which cannot be reproduced repeatedly, which calls into question the content and scope of knowledge about society.

The analysis carried out showed that the replication crisis has affected criminological research and criminological science in general. Ways of solving this problem in perspective criminological researches are offered.

The author determined that one of the directions for updating the methodology of social sciences and criminology in general is the Reproducible research methodology (Reproducible Research).

In the context of the development of modern technologies, the use of such elements as an accessible program code, sets of initial data and their processing and visualization of research results will ensure the openness and reliability of criminological research.

Keywords: crisis of replication, criminology, criminological research, subject of criminological research, contemporary methods of criminological research, Reproducible research, R.

Основна частина

Постановка проблеми. На сучасному етапі розвитку суспільства потоки інформації зростають із кожним днем, причому, як загалом у країні, так і всередині окремих галузей управління. Такі процеси ведуть до глобалізації світового простору, трансформуючи його [1, с. 310].

Розвиток технологій і накопичення великих обсягів даних створили нову проблему в соціальних дослідженнях - кризу реплікації. Неможливість відтворювати дослідження викликала широкі дискусії серед науковців. Розв'язання цієї проблеми в суспільних науках полягає в оновленні методології, пошуку нових методів роботи із використанням цифрових технологій для здобуття якісного емпіричного дослідження. Це, певною мірою, має відношення і до кримінологічних досліджень.

Аналіз останніх досліджень і публікацій. Необхідно зазначити, що за останні 10-12 років криза реплікації стала для науки глобальною проблемою.

У 2016 році в журналі «Nature» була надрукована наукова стаття «Чи існує зараз криза реплікації?», де оприлюднено результати опитування 1 576 дослідників. Більше як 70% науковців намагалися відтворити експерименти своїх чи інших учених, та не змогли. За результатами дослідження, 52% опитаних погодились із тим, що існує значна криза реплікації в науці [2].

Даніель Фенеллі у дослідженні «Скільки учених вигадують і фальсифікують дослідження? Систематичний огля д та мета-аналіз даних опитування» з'ясував, що близько 2% учених визнали, що принаймні один раз сфабрикували, сфальсифікували або змінили дані чи результати досліджень, а 34% й надалі використовують іншу сумнівну дослідницьку практику. Водночас він зазначив, що більшість учених не визнають подібного, навіть якщо анонімність гарантована, і ці цифри є набагато вищими [3].

Джонон Лєрер, автор журналу «Нью-Йоркер», у 2010 році опублікував статтю «Правда стирається. Щось не так з науковим методом?» [4], де на прикладах продемонстрував універсальний характер проблеми відтворюваності дослідження.

Американські учені із Каліфорнійського університету Марта Серра - Гарсія та Урі Гнізі провели наукове дослідження «Публікації, що не повторюються, цитуються більше, ніж тиражуванні», згідно з яким було виявлено, що в наукових дослідженнях з психології, економіки та інших соціальних наук неможливо повторити дослідження з моменту їх публікації, але вони цитувалися в середньому в 153 рази частіше, ніж ті, які можна відтворити, і ця різниця в цитуванні не змінюється після публікації про неможливість реплікації. Лише 12% цитат постреплікацій - них невідтворюваних висновків визнають помилку реплікації [5].

Професор Микола Карчевський зазначає, що можливість працювати з великими обсягами даних створила новий вид. спокуси для дослідників, котрий полягає в недобросовісній добірці даних для аналізу. Як убачається, обираються тільки дані, які підтверджують гіпотези. У такий спосіб науковці творять дослідження, що відповідають формальним вимогам методології, при цьому пропонують нібито чіткі відповіді, але які, по суті, є хибними. Такі розвідки потрапляють до видань, що індексуються, отримують значний рейтинг цитування, але це не змінює їх підробленої суті [6, с. 2].

За останні 10-12 років втрати на помилки відтворюваності досліджень становили 28 мільярдів доларів, і це тільки в США [7]. Це певною мірою має відношення і до кримінологічної науки.

Професор Кембриджського університету Фрідріх Лозель також наголошує, що проблема «кризи реплікації» актуальна і для кримінологічної науки [9].

Так Сьюзен Макнілі та Джессіка Уорнер провели дослідження ступеня реплікації кримінологічних досліджень, опублікованих у найвпливовіших кримінологічних журналах за період з 2006 по 2010 роки. Результат розвідки показав, що в кримінологічних журналах дослідження реплікації складають трохи більше 2%. Ці висновки ставлять під. сумнів користь опублікованих емпіричних результатів у кримінологічних журналах для подальшого розвитку теорії [8].

Повною мірою означені проблеми властиві й українській науці. У сучасних вітчизняних кримінологічних дослідженнях, на наш погляд, не достатньо Грунтовних досліджень, не постійно приділяється увага актуальним проблемам, і головне - не завжди є можливість відтворювати їх у вітчизняну правозастосовну діяльність.

Розв'язання цієї проблеми в кримінологічній науці і загалом у суспільних науках можливе з оновленням методології, у пошуку нових методів роботи з використанням цифрових технологій для отримання якісного емпіричного дослідження.

Формулювання цілей. Метою статті є дослідження феномену «кризи реплікації» в науці загалом і в царині кримінології зокрема, а також розгляд оновленої методології кримінологічних досліджень у контексті інформатизації суспільства і у зв'язку з накопиченням великих масивів даних.

Виклад основного матеріалу. Сьогодні майже вся світова спільнота учених поділяє думку, що криза реплікації - це глобальна проблема, яка загострюється, і її важко призупинити.

Як стверджують англійські учені Майк Сєвіддж і Роджер Берроуз, традиційні методи емпіричного дослідження застаріли і загалом не забезпечать надійну основу для подальших досліджень [10].

У науці виявлено три основні причини проблеми реплікації: по-перше, це відсутність якості даних, що може призвести до неповторюваних результатів; по-друге, невизначені методології ускладнюють рецензентам коректне відтворення досліджень, котре спричинить проблеми тиражування; по-третє, наукові видання, віддають перевагу підтвердженій гіпотезі, і це спонукатиме дослідників до певної потреби підтвердити свою гіпотезу [11].

Сьогодні важко спиратись на результати кримінологічних досліджень в Україні, оскільки більшість досліджень Грунтується значною мірою на викривлені статистичні дані про кримінально протиправні діяння й не можуть розглядатися як надійне джерело інформації. І ще однин аспект «кризи» в кримінології - це масове тиражування ненадійних кримінологічних досліджень.

На нашу думку, для розв'язання проблем виходу із так званої «кризи відтворюваності досліджень» у кримінології може стати методологія Reproducible research (відтворюваних досліджень).

Методологія Reproducible research (відтворюваних досліджень) надає можливість дослідникам повторювати одне дослідження кілька разів із однаковими результатами, незалежно від часу. Ця інноваційна методологія дозволяє дослідникам швидко і просто змінювати результати аналізу. Reproducible research змінює конфігурацію раніше за виконані дослідницькі рішення, для того щоб нові дослідження, які потребують аналогічних рішень, стали набагато простішими. Проведення розвідок із використанням зазначеної методології гарантують достовірність і прозорість наукового дослідження, що значно підвищує кількість його цитувань. Рецензент із легкістю зможе отримати доступ до аналітичного процесу описаного дослідження, а також перевірити програмний код методу, який описаний у розвідці [12].

Роджер Пен позначив основні елементи Reproducible research:

1. Аналітичні дані - це відкриті відомості, які використовувались для аналізу дослідження. Вони відрізняються від початкових, оскільки дуже часто при аналізі не всі необроблені дані використовуються для аналізу, а в такому випадку можна переглянути неопрацьовані результати. Аналітичні показники є ключовими для вивчення аналізу даних дослідження.

2. Аналітичний код - це програмний шифр, який використовується до даних дослідження для отримання ключових результатів. Це комбінація обробки, моделювання регресії, який використовується для створення результатів із аналітичних даних.

3. Документування програмного коду - супроводжуючі документи до програмного забезпечення, які містять інформацію, що описує загальні положення, необхідні для ознайомлення перед тим, як використовувати його за призначенням. Така документація дуже важлива й описує, не тільки яким чином правильно використовувати поставлене програмне забезпечення, а й пояснює основні використані алгоритми. У залежності від складності кожного окремого програмного забезпечення, його специфіки, а також ліцензії, під якою воно створене, документація може варіюватися за обсягом і за змістом.

4. Розповсюдження, яке полягає в легкому доступі, де всі дані відкриті і прозорі [13, с. 12].

Сама методологія, як правило, відтворює результати у вигляді таблиць, рисунків, графіків, а статистичні дані у висновках позначаються в P-значенні й інтервалах.

Окремо необхідно виділити, що для збору, обробки дослідницької інформації відносять пакети SAS та SPSS, MiniTAB, Statistica, STATGRAPHICS; окремі статистичні розрахунки можна виконувати на базовому рівні в системах комп⁷ ютерної математики Maple, MatLAB, Matematica; обмеженим потенціалом, порівняно із зазначеними програмами, володіють пакети Excel від компанії Microsoft та Calc, що входить до вільно поширюваного офісного пакету LibreOffice [14, с. 274].

Також у більшості випадків для зазначеної методології використовують статистичну систему аналізу даних R. Це поширений програмний продукт, який активно розвивається і використовується провідними науковими установами в різних наукових галузях, зокрема і в суспільних науках.

R - статистична середа для аналізу даних, яка створена Росом Іхакою та Робертом Гентлеманом. Програма становить і мову програмування, і спеціалізоване програмне забезпечення одночасно. R розглядають як діалект статистичної мови S, яка була створена фахівцями AT1T Bell Laboratory. На цей час підтримання й розроблення нових версій забезпечує об'єднана команда розробників з усього світу [15].

R поширюється за ліцензією GNU GPL, а отже, будь-хто може цю програму використовувати у своїх дослідженнях. Єдине обмеження накладається на модифікацію платформи. Будь-які зміни в коді продукту або ж створення нових модулів на його основі також повинні поширюватися під такою ж ліцензією, як сама програма. До найважливіших переваг цього програмного пакету R необхідно віднести:

- ефективне опрацювання даних і прості засоби для збереження результатів;

- набір операторів для оброблення масивів, матриць, векторів;

- велику інтегровану колекцію інструментальних засобів для проведення статистичного аналізу;

- багатофункціональні бібліотеки для графічного оформлення даних досліджень;

- ефективну інтерпретовану мову програмування, яка уможливлює самостійно розширити функціонал програмного забезпечення і пристосувати його до специфіки задачі;

- відкритість і доступність самого програмного забезпечення і його модулів [14, с. 275].

Отже, враховуючи вищезазначене, можна стверджувати, що відтворювана дослідницька середа в R включає статистичні інструменти, які можливо не тільки автоматично досліджувати, а також розпаковувати для подальшого розповсюдження й отримання якісних результатів.

Використання Reproducible research у кримінологічних дослідженнях, на нашу думку, має свої переваги, які полягають у тому, що дослідження буде актуальним у вдосконаленні практики боротьби з кримінально протиправною діяльністю; його легко можна розширити; багаторазово використаний програмний код та інструкція підвищать ефективність відтворення досліджень, відновлення результатів іншими вченими із застосуванням різних методів.

М. Карчевським в Україні було вперше досліджено офіційну кримінальну статистику у форматі Data Science, здійснюючи цілком відтворювані кримінологічні дослідження. Подані в праці візуалізації дають змогу охарактеризувати зміст даних щодо і іротидії злочинності в Україні, що містяться у звітах Офісу Генерального прокурора України та Державної судової адміністрації за 2013-2020 роки. Результати робіт можуть бути використані для формулювання висновків щодо загальних тенденцій протидії злочинності в Україні, а також як емпірична база й підґрунтя побудови гіпотез подальших досліджень. Усі дані оброблялися лише автоматизовано. На їх підставі, знову ж таки програмним способом, створено візуалізації, що використовуються для формулювання висновків. В онлайн-додатках до цієї розвідки представлено вихідні дані, а також такі, що придатні до автоматизованої обробки, програмні коди для отримання первинних даних, їх обробки й візуалізації, графічні файли візуалізацій [6, с. 2].

Л. Панченко та Н. Самовілова також наголошують, що прозорі та відтворю - вальні дослідження збільшують вірогідність результатів, розширюють можливості для подальших пошуків з цієї тематики, підвищують якість аналізу та інтерпретації отриманих даних [16, с. 207].

Серед зарубіжних учених необхідно погодитись із Гарретом Кристенсеном, Джеремі Фризом та Эдвардом Мітелем, які зазначають, що методологія Reproducible research є надійним ресурсом для створення прозорих і надійних досліджень [17], зокрема й для кримінологічної науки.

Отже, сьогодні методологія відтворюваних досліджень відкриває нові підходи роботи з даними й дослідженнями в науці. Відтворюваність у кримінологічних дослідженнях зосередить дослідника на поглибленому аналізі даних.

Крім того, як уже зазначалось, Reproducible research робить дослідження корисним і точним для інших дослідників, а також і для правоохоронців, оскільки доступні дані й програмний код, який фактично проводив аналіз, виключають людські помилки.

Прискорений розвиток інформаційного суспільства і зміна наукового світогляду призвели до перегляду багатьох уявлень про суспільство та всі явища і процеси, що в ньому відбуваються [18, с. 12].

Використання нових дослідницьких практик, заснованих на великих обсягах даних, проголосило нову методологію, яка ґрунтується на їх широкому дослідженні, і це кидає виклик науковому дедуктивному підходу.

Висновки. Підсумовуючи вищевикладене, можна стверджувати, що сучасна трансформація науки оновила методологію соціальних досліджень. Інформатизація світу створила інноваційні методи збору даних, сучасні аналітичні і статистичні методи візуалізації інформації. Використання великих даних для кримінологічних досліджень розкриває нові закономірності між кримінологією та технологіями прогнозування і протидії злочинності. Оновлені типи даних відкривають сучасні дослідницькі проєкти і розвідки, що виходять за межі існуючих теорій.

Використані джерела

реплікація суспільний кримінологія

1. Бугера О.І. Кримінологічні засади використання мережі Інтернет для запобігання злочинності: дис….д-ра юр. наук: 12.00.08 / Інститут держави і права імені В.М. Корець - кого, 2020. С. 310.

2. Monya Baker Is the a Reproducibility Crisis? Nature. 2016. Vol. 533. [Електронний ресурс] URL: http://https://www.nature.com/news/polopoly_fs/1.19970!/menu/main/ topColumns/ topLeftColumn/ pdf/533452 a.pdf.

3. Fanelli D. How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta - Analysis of Survey Data. PLoS ONE, 2009. Vol. 4. No 5. [Електронний ресурс]. URL: http: https://journals.plos.org/ plosone/ artide? id=10.1371/journal. pone.0005738.

4. Jonah Lehrer The Truth Wears Off Is there something wrong with the scientific method? The New Yorker, 2010. [Електронний ресурс] URL: http: https://www.newyorker. com/magazine/2010/12/13/ the-truth-wears-off.

5. Marta Serra-Garcia Uri Gneezy Nonreplicable publications are cited more than rep lica - ble ones. Science Advances, 2021. Vol. 7. No 21. URL: http: https://www.science.org/doi/ 10.1126/ sciadv.abd1705.

6. Карчевський М.В. Протидія злочинності в Україні (2013-2020): інфографіка. Київ: ВАІТЕ, 2021. 312 c.

7. Leonard P. Freedman, Iain M. Cockburn, Timothy S. Simcoe The Economics of Reproducibility in Preclinical Research. PLOS Biology, 2015. Vol. 13, No. 6. [Електронний ресурс] URL: http:https://journals.plos.org/ plosbiology/ article? id=10.1371/journal.pbio. 1002165.

8. Susan McNeeley Jessica J. Warner Replication in criminology. European Journal of Criminology, 2015. Vol. 12. No 5. [Електронний ресурс] URL: http: https://www.sfu.ca/~palys/ McNeely-2015-ReplicationInCriminology.pdf.

9. Friedrich Losel. Evidence comes by replication, but needs differentiation: the reproducibility issue in science and its relevance for criminology. Journal of Experimental Criminology, 2018. Vol. 14. [Електронний ресурс] URL: http: https://link.springer.com/article/10.1007% 2Fs 11292-017-9297-z#Abs1.

10. Savage M., Burrows R. The Coming Crisis of Empirical Sociology. Sociology, 2007. Vol. 41. No 5. [Електронний ресурс] URL: https://journals.sagepub.com/doi/10.1177/003803 8507080443.

11. Ronan Duchemin. Blockchain Technology for Data Management of Research Data: A Systematic Review and Proposed Research Design, 2018. [Електронний ресурс] URL: http:// www.academia.edu/43596463/ Blockchain_Technology_for_Data_Management_of_Research _Data_A_Systematic_Review_and_Proposed_Research_Design.

12. Jesse M. Alston, Jessica A. Rick A Beginner's Guide to Conducting Reproducible Research. The Bulletin of the Ecological Society of America, 2021. Vol. 102. No 2. [Електронний ресурс] URL: http: https://esajournals.onlinelibrary.wiley.com/doi/full/10.1002/bes2. 1801.

13. Roger D. Peng Report Writing for Data Science in R. 2015. [Електронний ресурс] URL: https://leanpub.com/reportwriting.

14. Жуковська В.В., Мосіюк О.О., Комаренко В.В. Застосування програмного пакету R у наукових дослідженнях майбутніх філологів. Інформаційні технології і засоби навчання. 2018. №4. С. 272-285.

15. What is R? [Електронний ресурс] URL: https://www.r-project. org/about.html.

16. Панченко Л.Ф., Самовілова Н.О. Інформаційні технології як фактор прозорих та відтворюваних досліджень. Наукові записки Бердянського державного педагогічного університету. 2017. Вип. №3. С. 207-213.

17. Garret Christensen (Author), Jeremy Freese (Author), Edward Miguel. Transparent and Reproducible. Social Science Research, 2019. [Електронний ресурс] URL: https://www. ucpress.edu/book/9780520296954/transparent-and-reproducible-social-science-research.

18. Головкін Б.М. Кримінологія: підручник. Харків: «Право», 2020. С. 384.

References

1. Buhera, O.I. (2020) Kryminolohichni zasady vykorystannia merezhi Internet dlia zapobihannia zlochynnosti. Doctor's thesis. Instytut derzhavy i prava imeni V.M. Koretskoho, 310. [in Ukrainian].

2. Monya, Baker (2016) Is the a Reproducibility Crisis? Nature, vol. 533. N. p. URL: http:/ / https: / / www.nature.com/news / polopoly_fs /1.19970! / menu / main/ topColumns / topLeft Column/pdf/533452 a.pdf. [in English].

3. Fanelli, D. (2009) How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data. PLoS ONE, vol. 4, No 5. N. p. URL: http: https:// journals.plos.org/plosone/article? id=10.1371 /journal. pone.0005738. [in English].

4. Jonah, Lehrer (2010) The Truth Wears Off Is there something wrong with the scientific method? The New Yorker. N. p. URL: http: https://www.newyorker.com/magazine/2010/12/ 13/the-truth-wears-off. [in English].

5. Marta, Serra-Garcia (2021) Uri Gneezy Nonreplicable publications are cited more than replicable ones. Science Advances, vol. 7, No. 21. N. p. URL: http: https://www.science.org/doi/ 10.1126/sciadv.abd1705. [in English].

6. Karchevskyi, M.V. (2021) Protydiia zlochynnosti v Ukraini (2013-2020): infohrafika. Kyiv: ВАІТЕ, 312. [in Ukrainian].

7. Leonard, P. Freedman, Iain, M. Cockburn, Timothy, S. Simcoe (2015) The Economics of Reproducibility in Preclinical Research. PLOS Biology, vol. 13, No. 6. N. p. URL: http: https:// journals.plos.org/ plosbiology/article? id=10.1371/journal. pbio.1002165. [in English].

8. Susan, McNeeley, Jessica, J. (2015) Warner Replication in criminology. N. p. URL: https://www.sfu.ca/~palys/McNeely-2015-ReplicationInCriminology.pdf. [in English].

9. Friedrich, Losel (2018) Evidence comes by replication, but needs differentiation: the reproducibility issue in science and its relevance for criminology. Journal of Experimental Criminology, vol. 14. N. p. URL: http: https://link.springer.com/article/10.1007% 2Fs1 1292-017-9297-z#Abs. [in English].

10. Savage, M., Burrows, R. (2007) The Coming Crisis of Empirical Sociology. Sociology, vol. 41, No. 5. N. p. URL: https://journals.sagepub.com/doi/10.1177/0038038507080443. [in English].

11. Ronan, Duchemin (2018) Blockchain Technology for Data Management of Research Data: A Systematic Review and Proposed Research Design, 2018. N. p. URL: academia.edu/43596463/Blockchain_Technology_for_Data_Management_of_Research _Data_A_ Systematic_Review_and_Proposed_Research_Design. [in English].

12. Jesse, M. Alston, Jessica, A. Rick (2021) A Beginner's Guide to Conducting Reproducible Research. The Bulletin of the Ecological Society of America, vol. 102, No. 2. http: https: //esajour - nals.onlinelibrary.wiley.com/ doi/ full/10.1002/bes2.1801. [in English].

13. Roger, D. (2015) Peng Report Writing for Data Science in R. 2015. N. p. URL: https://leanpub.com/reportwriting. [in English].

14. Zhukovska, V.V., Mosiiuk, O.O., Komarenko, V.V. (2018) Zastosuvannia prohra mnoho paketu R u naukovykh doslidzhenniakh maibutnikh filolohiv. Informatsiini tekhnolohii i zasoby navchannia - Information technologies and teaching aids, 4, 272-285. [in Ukrainian].

15. What is R? (N. d.) N. p. URL: http: https://www.r-project.org/ about.html. [in English].

16. Panchenko, L.F., Samovilova, N.O. (2017) Informatsiini tekhnolohii yak faktor prozo rykh ta vidtvoriuvanykh doslidzhen. Naukovi zapysky Berdianskoho derzhavnoho peda - hohichnoho universytetu - Scientific notes of Berdyansk State Pedagogical University, issue 3, 207213. [in Ukrainian].

17. Garret, Christensen (Author), Jeremy, Freese (Author), Edward, Miguel (2019) Transparent and Reproducible Social Science Research. 2019. N. p. URL: https://www.ucpress. edu/ book/9780520296954/transparent-and-reproducible-social-science-research. [in English].

18. Holovkin, B.M. (2020) Kryminolohiia: pidruchnyk. Kharkiv: «Pravo», 384. [in Ukrainian].

Размещено на Allbest.ru