Document recommendation systems for locating relevant literature have mostly relied on methods developed a decade ago. This is largely due to the lack of a large offline gold-standard benchmark of relevant documents that cover a variety of research fields such that newly developed literature search techniques can be compared, improved and translated into practice. To overcome this bottleneck, we have established the RElevant LIterature SearcH consortium consisting of more than 1500 scientists from 84 countries, who have collectively annotated the relevance of over 180 000 PubMed-listed articles with regard to their respective seed (input) article/s. The majority of annotations were contributed by highly experienced, original authors of the seed articles. The collected data cover 76% of all unique PubMed Medical Subject Headings descriptors. No systematic biases were observed across different experience levels, research fields or time spent on annotations. More importantly, annotations of the same document pairs contributed by different scientists were highly concordant. We further show that the three representative baseline methods used to generate recommended articles for evaluation (Okapi Best Matching 25, Term Frequency-Inverse Document Frequency and PubMed Related Articles) had similar overall performances. Additionally, we found that these methods each tend to produce distinct collections of recommended articles, suggesting that a hybrid method may be required to completely capture all relevant articles. The established database server located at https://relishdb.ict.griffith.edu.au is freely available for the downloading of annotation data and the blind testing of new methods. We expect that this benchmark will be useful for stimulating the development of new powerful techniques for title and title/abstract-based search engines for relevant articles in biomedical science.

Brown, P., Zhou, Y., Tan, A. -., El-Esawi, M. A., Liehr, T., Blanck, O., Gladue, D. P., Almeida, G. M. F., Cernava, T., Sorzano, C. O., Yeung, A. W. K., Engel, M. S., Chandrasekaran, A. R., Muth, T., Staege, M. S., Daulatabad, S. V., Widera, D., Zhang, J., Meule, A., Honjo, K., Pourret, O., Yin, C. -., Zhang, Z., Cascella, M., Flegel, W. A., Goodyear, C. S., Van Raaij, M. J., Bukowy-Bieryllo, Z., Campana, L. G., Kurniawan, N. A., Lalaouna, D., Huttner, F. J., Ammerman, B. A., Ehret, F., Cobine, P. A., Tan, E. -., Han, H., Xia, W., Mccrum, C., Dings, R. P. M., Marinello, F., Nilsson, H., Nixon, B., Voskarides, K., Yang, L., Costa, V. D., Bengtsson-Palme, J., Bradshaw, W., Grimm, D. G., Kumar, N., Martis, E., Prieto, D., Sabnis, S. C., Amer, S. E. D. R., Liew, A. W. C., Perco, P., Rahimi, F., Riva, G., Zhang, C., Devkota, H. P., Ogami, K., Basharat, Z., Fierz, W., Siebers, R., Tan, K. H., Boehme, K. A., Brenneisen, P., Brown, J. A. L., Dalrymple, B. P., Harvey, D. J., Ng, G., Werten, S., Bleackley, M., Dai, Z., Dhariwal, R., Gelfer, Y., Hartmann, M. D., Miotla, P., Tamaian, R., Govender, P., Gurney-Champion, O. J., Kauppila, J. H., Zhang, X., Echeverria, N., Subhash, S., Sallmon, H., Tofani, M., Bae, T., Bosch, O., Cuiv, P. O., Danchin, A., Diouf, B., Eerola, T., Evangelou, E., Filipp, F., Klump, H., Kurgan, L., Smith, S. S., Terrier, O., Tuttle, N., Ascher, D. B., Janga, S. C., Schulte, L. N., Becker, D., Browngardt, C., Bush, S. J., Gaullier, G., Ide, K., Meseko, C., Werner, G. D. A., Zaucha, J., Al-Farha, A. A., Greenwald, N. F., Popoola, S. I., Rahman, S., Xu, J., Yang, S. Y., Hiroi, N., Alper, O. M., Baker, C. I., Bitzer, M., Chacko, G., Debrabant, B., Dixon, R., Forano, E., Gilliham, M., Kelly, S., Klempnauer, K. -., Lidbury, B. A., Lin, M. Z., Lynch, I., Ma, W., Maibach, E. W., Mather, D. E., Nandakumar, K. S., Ohgami, R. S., Parchi, P., Tressoldi, P., Xue, Y., Armitage, C., Barraud, P., Chatzitheochari, S., Coelho, L. P., Diao, J., Doxey, A. C., Gobet, A., Hu, P., Kaiser, S., Mitchell, K. M., Salama, M. F., Shabalin, I. G., Song, H., Stevanovic, D., Yadollahpour, A., Zeng, E., Zinke, K., Alimba, C. G., Beyene, T. J., Cao, Z., Chan, S. S., Gatchell, M., Kleppe, A., Piotrowski, M., Torga, G., Woldesemayat, A. A., Cosacak, M. I., Haston, S., Ross, S. A., Williams, R., Wong, A., Abramowitz, M. K., Effiong, A., Lee, S., Abid, M. B., Agarabi, C., Alaux, C., Albrecht, D. R., Atkins, G. J., Beck, C. R., Bonvin, A. M. J. J., Bourke, E., Brand, T., Braun, R. J., Bull, J. A., Cardoso, P., Carter, D., Delahay, R. M., Ducommun, B., Duijf, P. H. G., Epp, T., Eskelinen, E. -., Fallah, M., Farber, D. B., Fernandez-Triana, J., Feyerabend, F., Florio, T., Friebe, M., Furuta, S., Gabrielsen, M., Gruber, J., Grybos, M., Han, Q., Heinrich, M., Helantera, H., Huber, M., Jeltsch, A., Jiang, F., Josse, C., Jurman, G., Kamiya, H., De Keersmaecker, K., Kristiansson, E., De Leeuw, F. -., Li, J., Liang, S., Lopez-Escamez, J. A., Lopez-Ruiz, F. J., Marchbank, K. J., Marschalek, R., Martin, C. S., Miele, A. E., Montagutelli, X., Morcillo, E., Nicoletti, R., Niehof, M., O'Toole, R., Ohtomo, T., Oster, H., Palma, J. -., Paterson, R., Peifer, M., Portilla, M., Portillo, M. C., Pritchard, A. L., Pusch, S., Raghava, G. P. S., Roberts, N. J., Ross, K., Schuele, B., Sergeant, K., Shen, J., Stella, A., Sukocheva, O., Uversky, V. N., Vanneste, S., Villet, M. H., Viveiros, M., Vorholt, J. A., Weinstock, C., Yamato, M., Zabetakis, I., Zhao, X., Ziegler, A., Aizat, W. M., Atlas, L., Bridges, K. M., Chakraborty, S., Deschodt, M., Domingues, H. S., Esfahlani, S. S., Falk, S., Guisado, J. L., Kane, N. C., Kueberuwa, G., Lau, C. L., Liang, D., Liu, E., Luu, A. M., Ma, C., Ma, L., Moyer, R., Norris, A. D., Panthee, S., Parsons, J. R., Peng, Y., Pinto, I. M., Reschke, C. R., Sillanpaa, E., Stewart, C. J., Uhle, F., Yang, H., Zhou, K., Zhu, S., Ashry, M., Bergsland, N., Berthold, M., Chen, C. -., Colella, V., Cuypers, M., Eskew, E. A., Fan, X., Gajda, M., Gonzalezlez-Prendes, R., Goodin, A., Graham, E. B., Groen, E. J. N., Gutierrez-Sacristan, A., Habes, M., Heffler, E., Higginbottom, D. B., Janzen, T., Jayaraman, J., Jibb, L. A., Jongen, S., Kinyanjui, T., Koleva-Kolarova, R. G., Li, Z., Liu, Y. -., Lund, B. A., Lussier, A. A., Ma, L., Mier, P., Moore, M. D., Nagler, K., Orme, M. W., Pearson, J. A., Prajapati, A. S., Saito, Y., Troder, S. E., Uchendu, F., Verloh, N., Voutchkova, D. D., Abu-Zaid, A., Bakkach, J., Baumert, P., Dono, M., Hanson, J., Herbelet, S., Hobbs, E., Kulkarni, A., Kumar, N., Liu, S., Loft, N. D., Reddan, T., Senghore, T., Vindin, H., Xu, H., Bannon, R., Chen, B., Cheung, J. T. K., Cooper, J., Esnakula, A. K., Feghali, K. A., Ghelardi, E., Gnasso, A., Horbar, J., Lai, H. M., Li, J., Ma, L., Ma, R., Pan, Z., Peres, M. A., Pranata, R., Seow, E., Sydes, M., Testoni, I., Westermair, A. L., Yang, Y., Afnan, M., Albiol, J., Albuquerque, L. G., Amir, S., Amiya, E., Amorim, R. M., An, Q., Andersen, S. U., Aplin, J. D., Argyropoulos, C., Asmann, Y. W., Assaeed, A. M., Atanasov, A. G., Atchison, D. A., Avery, S. V., Avillach, P., Baade, P. D., Backman, L., Badie, C., Baldi, A., Ball, E., Bardot, O., Barnett, A. G., Basner, M., Batra, J., Bazanova, O. M., Beale, A., Beddoe, T., Bell, M. L., Berezikov, E., Berners-Price, S., Bernhardt, P., Berry, E., Bessa, T. B., Billington, C., Birch, J., Blakely, R. D., Blaskovich, M. A. T., Blum, R., Boelaert, M., Bogdanos, D., Bosch, C., Bourgoin, T., Bouvard, D., Boykin, L. M., Bradley, G., Braun, D., Brownlie, J., Bruhl, A., Burt, A., Butler, L. M., Byrareddy, S. N., Byrne, H. J., Cabantous, S., Calatayud, S., Candal, E., Carlson, K., Casillas, S., Castelvetro, V., Caswell, P. T., Cavalli, G., Cerovsky, V., Chagoyen, M., Chen, C. -., Chen, D. F., Chen, H., Chen, H., Chen, J. -., Chen, Y., Cheng, C., Cheng, J., Chinapaw, M., Chinopoulos, C., Cho, W. C. S., Chong, L., Chowdhury, D., Chwalibog, A., Ciresi, A., Cockcroft, S., Conesa, A., Cook, P. A., Cooper, D. N., Coqueret, O., Corea, E. M., Costa, A., Costa, E., Coupland, C., Crawford, S. Y., Cruz, A. D., Cui, H., Cui, Q., Culver, D. C., D'Angiulli, A., Dahms, T. E. S., Daigle, F., Dalgleish, R., Danielsen, H. E., Darras, S., Davidson, S. M., Day, D. A., Degirmenci, V., Demaison, L., Devriendt, K., Ding, J., Dogan, Y., Dong, X. C., Donner, C. F., Dressick, W., Drevon, C. A., Duan, H., Ducho, C., Dumaz, N., Dwarakanath, B. S., Ebell, M. H., Eisenhardt, S., Elkum, N., Engel, N., Erickson, T. B., Fairhead, M., Faville, M. J., Fejzo, M. S., Festa, F., Feteira, A., Flood-Page, P., Forsayeth, J., Fox, S. A., Franks, S. J., Frentiu, F. D., Frilander, M. J., Fu, X., Fujita, S., Galea, I., Galluzzi, L., Gani, F., Ganpule, A. P., Garcia-Alix, A., Gedye, K., Giordano, M., Giunta, C., Gleeson, P. A., Goarant, C., Gong, H., Gora, D., Gough, M. J., Goyal, R., Graham, K. E., Grande-Perez, A., Graves, P. M., Greidanus, H., Grice, D., Grunau, C., Gumulya, Y., Guo, Y., Gurevich, V. V., Gusev, O., Hacker, E., Hage, S. R., Hagen, G., Hahn, S., Haller, D. M., Hammerschmidt, S., Han, J., Han, R., Handfield, M., Hapuarachchi, H. C., Harder, T., Hardingham, J. E., Heck, M., Heers, M., Hew, K. F., Higuchi, Y., Hilaire, C. S., Hilton, R., Hodzic, E., Hone, A., Hongoh, Y., Hu, G., Huber, H. P., Hueso, L. E., Huirne, J., Hurt, L., Idborg, H., Ikeo, K., Ingley, E., Jakeman, P. M., Jensen, A., Jia, H., Jia, H., Jia, S., Jiang, J., Jiang, X., Jin, Y., Jo, D., Johnson, A. M., Johnston, M., Jonscher, K. R., Jorens, P. G., Jorgensen, J. O. L., Joubert, J. W., Jung, S. -., Junior, A. M., Kahan, T., Kamboj, S. K., Kang, Y. -., Karamanos, Y., Karp, N. A., Kelly, R., Kenna, R., Kennedy, J., Kersten, B., Khalaf, R. A., Khalid, J. M., Khatlani, T., Khider, T., Kijanka, G. S., King, S. R. B., Kluz, T., Knox, P., Kobayashi, T., Koch, K. -., Kohonen-Corish, M. R. J., Kong, X., Konkle-Parker, D., Korpela, K. M., Kostrikis, L. G., Kraiczy, P., Kratz, H., Krause, G., Krebsbach, P. H., Kristensen, S. R., Kumari, P., Kunimatsu, A., Kurdak, H., Kwon, Y. D., Lachat, C., Lagisz, M., Laky, B., Lammerding, J., Lange, M., Larrosa, M., Laslett, A. L., Laverman, G. D., Leclair, E. E., Lee, K. -., Lee, M. -., Lee, M. -., Li, G., Li, J., Lieb, K., Lim, Y. Y., Lindsey, M. L., Line, P. -., Liu, D., Liu, F., Liu, H., Liu, H., Lloyd, V. K., Lo, T. -., Locci, E., Loidl, J., Lorenzen, J., Lorkowski, S., Lovell, N. H., Lu, H., Lu, W., Lu, Z., Luengo, G. S., Lundh, L. -., Lysy, P. A., Mabb, A., Mack, H. G., Mackey, D. A., Mahdavi, S. R., Maher, P., Maher, T., Maity, S. N., Malgrange, B., Mamoulakis, C., Mangoni, A. A., Manke, T., Manstead, A. S. R., Mantalaris, A., Marsal, J., Marschall, H. -., Martin, F. L., Martinez-Raga, J., Martinez-Salas, E., Mathieu, D., Matsui, Y., Maza, E., Mccutcheon, J. E., Mckay, G. J., Mcmillan, B., Mcmillan, N., Meads, C., Medina, L., Merrick, B. A., Metzger, D. W., Meunier, F. A., Michaelis, M., Micheau, O., Mihara, H., Mintz, E. M., Mizukami, T., Moalic, Y., Mohapatra, D. P., Monteiro, A., Montes, M., Moran, J. V., Morozov, S. Y., Mort, M., Murai, N., Murphy, D. J., Murphy, S. K., Murray, S. A., Naganawa, S., Nammi, S., Nasios, G., Natoli, R. M., Nguyen, F., Nicol, C., Van Nieuwerburgh, F., Nilsen, E. B., Nobile, C. J., O'Mahony, M., Ohlsson, S., Olatunbosun, O., Olofsson, P., Ortiz, A., Ostrikov, K., Otto, S., Outeiro, T. F., Ouyang, S., Paganoni, S., Page, A., Palm, C., Paradies, Y., Parsons, M. H., Parsons, N., Pascal, P., Paul, E., Peckham, M., Pedemonte, N., Pellizzon, M. A., Petrelli, M., Pichugin, A., Pinto, C. J. C., Plevris, J. N., Pollesello, P., Polz, M., Ponti, G., Porcelli, P., Prince, M., Quinn, G. P., Quinn, T. J., Ramula, S., Rappsilber, J., Rehfeldt, F., Reiling, J. H., Remacle, C., Rezaei, M., Riddick, E. W., Ritter, U., Roach, N. W., Roberts, D. D., Robles, G., Rodrigues, T., Rodriguez, C., Roislien, J., Roobol, M. J., Rowe, A., Ruepp, A., Van Ruitenbeek, J., Rust, P., Saad, S., Sack, G. H., Santos, M., Saudemont, A., Sava, G., Schrading, S., Schramm, A., Schreiber, M., Schuler, S., Schymkowitz, J., Sczyrba, A., Seib, K. L., Shi, H. -., Shimada, T., Shin, J. -., Shortt, C., Silveyra, P., Skinner, D., Small, I., Smeets, P. A. M., So, P. -., Solano, F., Sonenshine, D. E., Song, J., Southall, T., Speakman, J. R., Srinivasan, M. V., Stabile, L. P., Stasiak, A., Steadman, K. J., Stein, N., Stephens, A. W., Stewart, D. I., Stine, K., Storlazzi, C., Stoynova, N. V., Strzalka, W., Suarez, O. M., Sultana, T., Sumant, A. V., Summers, M. J., Sun, G., Tacon, P., Tanaka, K., Tang, H., Tanino, Y., Targett-Adams, P., Tayebi, M., Tayyem, R., Tebbe, C. C., Telfer, E. E., Tempel, W., Teodorczyk-Injeyan, J. A., Thijs, G., Thorne, S., Thrift, A. G., Tiffon, C., Tinnefeld, P., Tjahjono, D. H., Tolle, F., Toth, E., Del Tredici, A. L., Tsapas, A., Tsirigotis, K., Turak, A., Tzotzos, G., Udo, E. E., Utsumi, T., Vaidyanathan, S., Vaillant, M., Valsesia, A., Vandenbroucke, R. E., Veiga, F. H., Vendrell, M., Vesk, P. A., Vickers, P., Victor, V. M., Villemur, R., Vohl, M. -., Voolstra, C. R., Vuillemin, A., Wakelin, S., Waldron, L., Walsh, L. J., Wang, A. Y., Wang, F., Wang, Y., Watanabe, Y., Weigert, A., Wen, J. -., Wham, C., White, E. P., Wiener, J., Wilharm, G., Wilkinson, S., Willmann, R., Wilson, C., Wirth, B., Wojan, T. R., Wolff, M., Wong, B. M., Wu, T. -., Wuerbel, H., Xiao, X., Xu, D., Xu, J. W., Xu, J., Xue, B., Yalcin, S., Yan, H., Yang, E. -., Yang, S., Yang, W., Ye, Y., Ye, Z. -., Yli-Kauhaluoma, J., Yoneyama, H., Yu, Y., Yuan, G. -., Yuh, C. -., Zaccolo, M., Zeng, C., Zevnik, B., Zhang, C., Zhang, L., Zhang, Y., Zhang, Y., Zhang, Z., Zhang, Z. -., Zhao, Y., Zhou, M., Zuberbier, T., Aanei, C. M., Ahmad, R., Al-Lawama, M., Alanio, A., Allardyce, J., Alonso-Caneiro, D., Atack, J. M., Baier, D., Bansal, A., Benezeth, Y., Berbesque, C., Berrevoet, F., Biedermann, P. H. W., Bijleveld, E., Bittner, F., Blombach, F., Van Den Bos, W., Boudreau, S. A., Bramoweth, A. D., Braubach, O., Cai, Y., Campbell, M., Cao, Z., Catry, T., Chen, X., Cheng, S., Chung, H. -., Chavez-Fumagalli, M. A., Conway, A., Costa, B. M., Cyr, N., Dean, L. T., Denzel, M. S., Dlamini, S. V., Dudley, K. J., Dufies, M., Ecke, T., Eckweiler, D., Eixarch, E., El-Adawy, H., Emmrich, J. V., Eustace, A. J., Falter-Wagner, C. M., Farhoudi, R., Fuss, J., Gao, J., Gill, M. R., Gloyn, L., Goggs, R., Govinden, U., Greene, G., Greiff, V., Grundle, D. S., Gruneberg, P., Gumede, N., Haore, G., Harrison, P., Hoenner, X., Hojsgaard, D., Hori, H., Ikonomopoulou, M. P., Jeurissen, P., Johnson, D. M., Kabra, D., Kamagata, K., Karmakar, C., Kasian, O., Kaye, L. K., Khan, M. M., Kim, Y. -., Kish, J. K., Kobold, S., Kohanbash, G., Kohls, G., Kugler, J. -., Kumar, G., Lacy-Colson, J., Latif, A., Lauschke, V. M., Li, B., Lim, C. J., Liu, F., Liu, X., Lu, J. -., Lu, Q., Mahavadi, P., Marzocchi, U., Mcgarrigle, C. A., Van Meerten, T., Min, R., Moal, I., Molari, M., Molleman, L., Mondal, S. R., Van De Mortel, T., Moss, W. N., Moultos, O. A., Mukherjee, M., Nakayama, K., Narayan, E., Navaratnarajah,, Neumann, P. -., Nie, J., Nie, Y., Niemeyer, F., Nolan, F., Nwaiwu, O., Oldenmenger, W. H., Olumayede, E., Ou, J., Pallebage-Gamarallage, M., Pearce, S. P., Pelkonen, T., Pelleri, M. C., Pereira, J. L., Pheko, M., Pinto, K. A., Piovesan, A., Pluess, M., Podolsky, I. M., Prescott, J., Qi, D., Qi, X., Raikou, V. D., Ranft, A., Rhodes, J., Rotge, J. -., Rowe, A. D., Saggar, M., Schuon, R. A., Shahid, S., Shalchyan, V., Shirvalkar, P., Shiryayev, O., Singh, J., Smout, M. J., Soares, A., Song, C., Srivastava, K., Srivastava, R. K., Sun, J., Szabo, A., Szymanski, W., Tai, C. N. P., Takeuchi, H., Tanadini-Lang, S., Tang, F., Tao, W., Theron, G., Tian, C. F., Tian, Y. -., Tuttle, L. M., Valenti, A., Verlot, P., Walker, M., Wang, J., Welter, D., Winslade, M., Wu, D., Wu, Y. -., Xiao, H., Xu, B., Xu, J., Xu, Z., Yang, D., Yang, M., Yankilevich, P., You, Y., Yu, C., Zhan, J., Zhang, G., Zhang, K., Zhang, T., Zhang, Y., Zhao, G., Zhao, J., Zhou, X., Zhu, Z., Ajani, P. A., Anazodo, U. C., Bagloee, S. A., Bail, K., Bar, I., Bathelt, J., Benkeser, D., Bernier, M. L., Blanchard, A. M., Boakye, D. W., Bonatsos, V., Boon, M. H., Bouboulis, G., Bromfield, E., Brown, J., Bul, K. C. M., Burton, K. J., Butkowski, E. G., Carroll, G., Chao, F., Charrier, E. E., Chen, X., Chen, Y. -., Chenguang,, Choi, J. R., Christoffersen, T., Comel, J. C., Cosse, C., Cui, Y., Van Dessel, P., Dhaval,, Diodato, D., Duffey, M., Dutt, A., Egea, L. G., El-Said, M., Faye, M., Fernandez-Fernandez, B., Foley, K. G., Founou, L. L., Fu, F., Gadelkareem, R. A., Galimov, E., Garip, G., Gemmill, A., Gouil, Q., Grey, J., Gridneva, Z., Grothe, M. J., Grebert, T., Guerrero, F., Guignard, L., Haenssgen, M. J., Hasler, D., Holgate, J. Y., Huang, A., Hulse-Kemp, A. M., Jean-Quartier, C., Jeon, S. -., Jia, Y., Jutzeler, C., Kalatzis, P., Karim, M., Karsay, K., Keitel, A., Kempe, A., Keown, J. R., Khoo, C. M., Khwaja, N., Kievit, R. A., Kosanic, S., Koutoukidis, D. A., Kramer, P., Kumar, D., Kirag, N., Lanza, G., Le, T. D., Leem, J. W., Leightley, D., Leite, A., Lercher, L., Li, Y., Lim, R., Lima, L. R. A., Lin, L., Ling, T., Liu, Y., Liu, Z., Lu, Y., Lum, F. M., Luo, H., Machhi, J., Macleod, A., Macwan, I., Madala, H. R., Madani, N., De Maio, N., Makowiecki, K., Mallinson, D. J., Margelyte, R., Maria, C., Markonis, Y., Marsili, L., Mavoa, S., Mcwilliams, L., Megersa, M., Souto-Maior, C., Menichetti, J., Mercieca-Bebber, R., Miller, J. J., Minde, D. -. M., Minges, A., Mishra, E., Mishra, V. R., Moores, C., Morrice, N., Moskalensky, A. E., Navarin, N., Negera, E., Nolet, P., Nordberg, A., Norden, R., Nowicki, J. P., Olova, N., Olszewski, P., Onzima, R., Pan, C. -., Park, C., Park, D. I., Park, S., Patil, C. D., Pedro, S. A., Perry, S. R., Peter, J., Peterson, B. M., Pezzuolo, A., Pozdnyakov, I., Qian, S., Qin, L., Rafe, A., Raote, I., Raza, A., Rebl, H., Refai, O., Regan, T., Richa, T., Richardson, M. F., Robinson, K. R., Rossoni, L., Rouet, R., Safaei, S., Schneeberger, P. H. H., Schwotzer, D., Sebastian, A., Selinski, J., Seltmann, S., Sha, F., Shalev, N., Shang, J. -., Singer, J., Singh, M., Smith, T., Solomon-Moore, E., Song, L., Soraggi, S., Stanley, R., Steckhan, N., Strobl, F., Subissi, L., Supriyanto, I., Surve, C. R., Suzuki, T., Syme, C., Sorelius, K., Tang, Y., Tantawy, M., Tennakoon, S., Teseo, S., Toelzer, C., Tomov, N., Tovar, M., Tran, L., Tripathi, S., Tuladhar, A. M., Ukubuiwe, A. C., Ung, C. O. L., Valgepea, K., Vatanparast, H., Vidal, A., Wang, F., Wang, Q., Watari, R., Webster, R., Webster, R., Wei, J., Wibowo, D., Wingenbach, T. S. H., Xavier, R. M., Xiao, S., Xiong, P., Xu, S., Xu, S., Yao, R., Yao, W., Yin, Q., Yu, Y., Zaitsu, M., Zeineb, Z., Zhan, X. -., Zhang, J., Zhang, R., Zhang, W., Zhang, X., Zheng, S., Zhou, B., Zhou, X., Ahmad, H., Akinwumi, S. A., Albery, G. F., Alhowimel, A., Ali, J., Alshehri, M., Alsuhaibani, M., Anikin, A., Azubuike, S. O., Bach-Mortensen, A., Baltiansky, L., Bartas, M., Belachew, K. Y., Bhardwaj, V., Binder, K., Bland, N. S., Boah, M., Bullen, B., Calabro', G. E., Callahan, T. J., Cao, B., Chalmers, K., Chang, W., Che, Z., Chen, A. T. Y., Chen, H., Chen, H., Chen, Y., Chen, Z., Choi, Y., Chowdhury, M. A. K., Christensen, M. R., Cooke, R. S. C., Cottini, M., Covington, N. V., Cunningham, C., Delarocque, J., Devos, L., Dhar, A. R., Ding, K. -., Dong, K., Dong, Z., Dreyer, N., Ekstrand, C., Fardet, T., Feleke, B. E., Feurer, T., Freitas, A., Gao, T., Gebremedhin,, Giganti, F., Grabowski, P., Guerra-Mora, J. R., Guo, C., Guo, X., Gupta, H., He, S., Heijne, M., Heinemann, S., Hogrebe, A., Huang, Z., Iskander-Rizk, S., Iyer, L. M., Jahan, Y., James, A. S., Joel, E., Joffroy, B., Jegousse, C., Kambondo, G., Karnati, P., Kaya, C., Ke, A., Kelly, D., Kickert, R., Kidibule, P. E., Kieselmann, J. P., Kim, H. J., Kitazawa, T., Lamberts, A., Li, Y., Liang, H., Linn, S. N., Litfin, T., Liusuo, W., Lygirou, V., Mahato, A. K., Mai, Z. -., Major, R. W., Mali, S., Mallis, P., Mao, W., Marvin-Dowle, K., Mason, L. D., Merideth, B., Merino-Plaza, M. J., Merlaen, B., Messina, R., Mishra, A. K., Muhammad, J., Musinguzi, C., Nanou, A., Naqash, A., Nguyen, J. T., Nguyen, T. T. H., Ni, D., Nida,, Notcovich, S., Ohst, B., Ollivier, Q. R., Osses, D. F., Peng, X., Plantinga, A., Pulia, M., Rafiq, M., Raman, A., Raucher-Chene,, Rawski, R., Ray, A., Razak, L. A., Rudolf, K., Rusch, P., Sadoine, M. L., Schmidt, A., Schurr, R., Searles, S., Sharma, S., Sheehan, B., Shi, C., Shohayeb, B., Sommerlad, A., Strehlow, J., Sun, X., Sundar, R., Taherzadeh, G., Tahir, N. D. M., Tang, J., Testa, J., Tian, Z., Tingting, Q., Verheijen, G. P., Vickstrom, C., Wang, T., Wang, X., Wang, Z., Wei, P., Wilson, A., Wyart,, Yassine, A. -., Yousefzadeh, A., Zare, A., Zeng, Z., Zhang, C., Zhang, H., Zhang, L., Zhang, T., Zhang, W., Zhang, Z., Zhou, J., Zhu, D., Adamo, V., Adeyemo, A. A., Aggelidou, M., Al-Owaifeer, A. M., Al-Riyami, A. Z., Alzghari, S. K., Andersen, V., Angus, K., Asaduzzaman, M., Asady, H., Ato, D., Bai, X., Baines, R. L., Ballantyne, M., Ban, B., Beck, J., Ben-Nafa, W., Black, E., Blancher, A., Blankstein, R., Bodagh, N., Borges, P., Brooks, A., Brox-Ponce, J., Brunetti, A., Canham, C. D., Carninci, P., Carvajal, R., Chang, S. C., Chao, J., Chatterjee, P., Chen, H., Chen, L., Chen, Y. -., Chhatriwalla, A. K., Chikowe, I., Chuang, T. -., Collevatti, R. G., Cornejo, D. A. V., Cuenda, A., Dao, M., Dauga, D., Deng, Z., Devkota, K., Doan, L. V., Elewa, Y. H. A., Fan, D., Faruk, M., Feifei, S., Ferguson, T. S., Fleres, F., Foster, E. J., Foster, S., Furer, T., Gao, Y., Garcia-Rivera, E. J., Gazdar, A., George, R. B., Ghosh, S., Gianchecchi, E., Gleason, J. M., Hackshaw, A., Hall, A., Hall, R., Harper, P., Hogg, W. E., Huang, G., Hunter, K. E., Ijzerman, A. P., Jesus, C., Jian, G., Lewis, J. S., Kanj, S. S., Kaur, H., Kelly, S., Kheir, F., Kichatova, V. S., Kiyani, M., Klein, R., Kovesi, T., Kraschnewski, J. L., Kumar, A. P., Labutin, D., Lazo-Langner, A., Leclercq, G., Li, M., Li, Q., Li, T., Li, Y., Liao, W. -., Liao, Z. -., Lin, J., Lizer, J., Lobreglio, G., Lowies, C., Lu, C., Majeed, H., Martin, A., Martinez-Sobrido, L., Meresh, E., Middelveen, M., Mohebbi, A., Mota, J., Mozaheb, Z., Muyaya, L., Nandhakumar, A., Ng, S. H. X., Obeidat, M., Oh, D. -., Owais, M., Pace-Asciak, P., Panwar, A., Park, C., Patterson, C., Penagos-Tabaree, F., Pianosi, P. T., Pinzi, V., Pridans, C., Psaroulaki, A., Pujala, R. K., Pulido-Arjona, L., Qi, P. -., Rahman, P., Rai, N. K., Rassaf, T., Refardt, J., Ricciardi, W., Riess, O., Rovas, A., Sacks, F. M., Saleh, S., Sampson, C., Schmutz, A., Sepanski, R., Sharma, N., Singh, M., Spearman, P., Subramaniapillai, M., Swali, R., Tan, C. M., Tellechea, J. I., Thomas, L. -., Tong, X., Vavvas, D. G., Veys, R., Vitriol, V., Wang, H. -., Wang, J., Wang, J., Waugh, J., Webb, S. A., Williams, B. A., Workman, A. D., Xiang, T., Xie, L. -., Xu, J., Xu, T., Yang, C., Yoon, J. G., Yuan, C. M., Zaritsky, A., Zhang, Y., Zhao, H., Zuckerman, H., Lyu, R., Pullan, W., Large expert-curated database for benchmarking document similarity detection in biomedical literature search, <<DATABASE>>, 2019; 2019 (Database): 1-67. [doi:10.1093/database/baz085] [http://hdl.handle.net/10807/201201]

Large expert-curated database for benchmarking document similarity detection in biomedical literature search

Calabro', Giovanna Elisa
Membro del Collaboration Group
;
Ricciardi, Walter
Membro del Collaboration Group
;
2019

Abstract

Document recommendation systems for locating relevant literature have mostly relied on methods developed a decade ago. This is largely due to the lack of a large offline gold-standard benchmark of relevant documents that cover a variety of research fields such that newly developed literature search techniques can be compared, improved and translated into practice. To overcome this bottleneck, we have established the RElevant LIterature SearcH consortium consisting of more than 1500 scientists from 84 countries, who have collectively annotated the relevance of over 180 000 PubMed-listed articles with regard to their respective seed (input) article/s. The majority of annotations were contributed by highly experienced, original authors of the seed articles. The collected data cover 76% of all unique PubMed Medical Subject Headings descriptors. No systematic biases were observed across different experience levels, research fields or time spent on annotations. More importantly, annotations of the same document pairs contributed by different scientists were highly concordant. We further show that the three representative baseline methods used to generate recommended articles for evaluation (Okapi Best Matching 25, Term Frequency-Inverse Document Frequency and PubMed Related Articles) had similar overall performances. Additionally, we found that these methods each tend to produce distinct collections of recommended articles, suggesting that a hybrid method may be required to completely capture all relevant articles. The established database server located at https://relishdb.ict.griffith.edu.au is freely available for the downloading of annotation data and the blind testing of new methods. We expect that this benchmark will be useful for stimulating the development of new powerful techniques for title and title/abstract-based search engines for relevant articles in biomedical science.
2019
Inglese
Brown, P., Zhou, Y., Tan, A. -., El-Esawi, M. A., Liehr, T., Blanck, O., Gladue, D. P., Almeida, G. M. F., Cernava, T., Sorzano, C. O., Yeung, A. W. K., Engel, M. S., Chandrasekaran, A. R., Muth, T., Staege, M. S., Daulatabad, S. V., Widera, D., Zhang, J., Meule, A., Honjo, K., Pourret, O., Yin, C. -., Zhang, Z., Cascella, M., Flegel, W. A., Goodyear, C. S., Van Raaij, M. J., Bukowy-Bieryllo, Z., Campana, L. G., Kurniawan, N. A., Lalaouna, D., Huttner, F. J., Ammerman, B. A., Ehret, F., Cobine, P. A., Tan, E. -., Han, H., Xia, W., Mccrum, C., Dings, R. P. M., Marinello, F., Nilsson, H., Nixon, B., Voskarides, K., Yang, L., Costa, V. D., Bengtsson-Palme, J., Bradshaw, W., Grimm, D. G., Kumar, N., Martis, E., Prieto, D., Sabnis, S. C., Amer, S. E. D. R., Liew, A. W. C., Perco, P., Rahimi, F., Riva, G., Zhang, C., Devkota, H. P., Ogami, K., Basharat, Z., Fierz, W., Siebers, R., Tan, K. H., Boehme, K. A., Brenneisen, P., Brown, J. A. L., Dalrymple, B. P., Harvey, D. J., Ng, G., Werten, S., Bleackley, M., Dai, Z., Dhariwal, R., Gelfer, Y., Hartmann, M. D., Miotla, P., Tamaian, R., Govender, P., Gurney-Champion, O. J., Kauppila, J. H., Zhang, X., Echeverria, N., Subhash, S., Sallmon, H., Tofani, M., Bae, T., Bosch, O., Cuiv, P. O., Danchin, A., Diouf, B., Eerola, T., Evangelou, E., Filipp, F., Klump, H., Kurgan, L., Smith, S. S., Terrier, O., Tuttle, N., Ascher, D. B., Janga, S. C., Schulte, L. N., Becker, D., Browngardt, C., Bush, S. J., Gaullier, G., Ide, K., Meseko, C., Werner, G. D. A., Zaucha, J., Al-Farha, A. A., Greenwald, N. F., Popoola, S. I., Rahman, S., Xu, J., Yang, S. Y., Hiroi, N., Alper, O. M., Baker, C. I., Bitzer, M., Chacko, G., Debrabant, B., Dixon, R., Forano, E., Gilliham, M., Kelly, S., Klempnauer, K. -., Lidbury, B. A., Lin, M. Z., Lynch, I., Ma, W., Maibach, E. W., Mather, D. E., Nandakumar, K. S., Ohgami, R. S., Parchi, P., Tressoldi, P., Xue, Y., Armitage, C., Barraud, P., Chatzitheochari, S., Coelho, L. P., Diao, J., Doxey, A. C., Gobet, A., Hu, P., Kaiser, S., Mitchell, K. M., Salama, M. F., Shabalin, I. G., Song, H., Stevanovic, D., Yadollahpour, A., Zeng, E., Zinke, K., Alimba, C. G., Beyene, T. J., Cao, Z., Chan, S. S., Gatchell, M., Kleppe, A., Piotrowski, M., Torga, G., Woldesemayat, A. A., Cosacak, M. I., Haston, S., Ross, S. A., Williams, R., Wong, A., Abramowitz, M. K., Effiong, A., Lee, S., Abid, M. B., Agarabi, C., Alaux, C., Albrecht, D. R., Atkins, G. J., Beck, C. R., Bonvin, A. M. J. J., Bourke, E., Brand, T., Braun, R. J., Bull, J. A., Cardoso, P., Carter, D., Delahay, R. M., Ducommun, B., Duijf, P. H. G., Epp, T., Eskelinen, E. -., Fallah, M., Farber, D. B., Fernandez-Triana, J., Feyerabend, F., Florio, T., Friebe, M., Furuta, S., Gabrielsen, M., Gruber, J., Grybos, M., Han, Q., Heinrich, M., Helantera, H., Huber, M., Jeltsch, A., Jiang, F., Josse, C., Jurman, G., Kamiya, H., De Keersmaecker, K., Kristiansson, E., De Leeuw, F. -., Li, J., Liang, S., Lopez-Escamez, J. A., Lopez-Ruiz, F. J., Marchbank, K. J., Marschalek, R., Martin, C. S., Miele, A. E., Montagutelli, X., Morcillo, E., Nicoletti, R., Niehof, M., O'Toole, R., Ohtomo, T., Oster, H., Palma, J. -., Paterson, R., Peifer, M., Portilla, M., Portillo, M. C., Pritchard, A. L., Pusch, S., Raghava, G. P. S., Roberts, N. J., Ross, K., Schuele, B., Sergeant, K., Shen, J., Stella, A., Sukocheva, O., Uversky, V. N., Vanneste, S., Villet, M. H., Viveiros, M., Vorholt, J. A., Weinstock, C., Yamato, M., Zabetakis, I., Zhao, X., Ziegler, A., Aizat, W. M., Atlas, L., Bridges, K. M., Chakraborty, S., Deschodt, M., Domingues, H. S., Esfahlani, S. S., Falk, S., Guisado, J. L., Kane, N. C., Kueberuwa, G., Lau, C. L., Liang, D., Liu, E., Luu, A. M., Ma, C., Ma, L., Moyer, R., Norris, A. D., Panthee, S., Parsons, J. R., Peng, Y., Pinto, I. M., Reschke, C. R., Sillanpaa, E., Stewart, C. J., Uhle, F., Yang, H., Zhou, K., Zhu, S., Ashry, M., Bergsland, N., Berthold, M., Chen, C. -., Colella, V., Cuypers, M., Eskew, E. A., Fan, X., Gajda, M., Gonzalezlez-Prendes, R., Goodin, A., Graham, E. B., Groen, E. J. N., Gutierrez-Sacristan, A., Habes, M., Heffler, E., Higginbottom, D. B., Janzen, T., Jayaraman, J., Jibb, L. A., Jongen, S., Kinyanjui, T., Koleva-Kolarova, R. G., Li, Z., Liu, Y. -., Lund, B. A., Lussier, A. A., Ma, L., Mier, P., Moore, M. D., Nagler, K., Orme, M. W., Pearson, J. A., Prajapati, A. S., Saito, Y., Troder, S. E., Uchendu, F., Verloh, N., Voutchkova, D. D., Abu-Zaid, A., Bakkach, J., Baumert, P., Dono, M., Hanson, J., Herbelet, S., Hobbs, E., Kulkarni, A., Kumar, N., Liu, S., Loft, N. D., Reddan, T., Senghore, T., Vindin, H., Xu, H., Bannon, R., Chen, B., Cheung, J. T. K., Cooper, J., Esnakula, A. K., Feghali, K. A., Ghelardi, E., Gnasso, A., Horbar, J., Lai, H. M., Li, J., Ma, L., Ma, R., Pan, Z., Peres, M. A., Pranata, R., Seow, E., Sydes, M., Testoni, I., Westermair, A. L., Yang, Y., Afnan, M., Albiol, J., Albuquerque, L. G., Amir, S., Amiya, E., Amorim, R. M., An, Q., Andersen, S. U., Aplin, J. D., Argyropoulos, C., Asmann, Y. W., Assaeed, A. M., Atanasov, A. G., Atchison, D. A., Avery, S. V., Avillach, P., Baade, P. D., Backman, L., Badie, C., Baldi, A., Ball, E., Bardot, O., Barnett, A. G., Basner, M., Batra, J., Bazanova, O. M., Beale, A., Beddoe, T., Bell, M. L., Berezikov, E., Berners-Price, S., Bernhardt, P., Berry, E., Bessa, T. B., Billington, C., Birch, J., Blakely, R. D., Blaskovich, M. A. T., Blum, R., Boelaert, M., Bogdanos, D., Bosch, C., Bourgoin, T., Bouvard, D., Boykin, L. M., Bradley, G., Braun, D., Brownlie, J., Bruhl, A., Burt, A., Butler, L. M., Byrareddy, S. N., Byrne, H. J., Cabantous, S., Calatayud, S., Candal, E., Carlson, K., Casillas, S., Castelvetro, V., Caswell, P. T., Cavalli, G., Cerovsky, V., Chagoyen, M., Chen, C. -., Chen, D. F., Chen, H., Chen, H., Chen, J. -., Chen, Y., Cheng, C., Cheng, J., Chinapaw, M., Chinopoulos, C., Cho, W. C. S., Chong, L., Chowdhury, D., Chwalibog, A., Ciresi, A., Cockcroft, S., Conesa, A., Cook, P. A., Cooper, D. N., Coqueret, O., Corea, E. M., Costa, A., Costa, E., Coupland, C., Crawford, S. Y., Cruz, A. D., Cui, H., Cui, Q., Culver, D. C., D'Angiulli, A., Dahms, T. E. S., Daigle, F., Dalgleish, R., Danielsen, H. E., Darras, S., Davidson, S. M., Day, D. A., Degirmenci, V., Demaison, L., Devriendt, K., Ding, J., Dogan, Y., Dong, X. C., Donner, C. F., Dressick, W., Drevon, C. A., Duan, H., Ducho, C., Dumaz, N., Dwarakanath, B. S., Ebell, M. H., Eisenhardt, S., Elkum, N., Engel, N., Erickson, T. B., Fairhead, M., Faville, M. J., Fejzo, M. S., Festa, F., Feteira, A., Flood-Page, P., Forsayeth, J., Fox, S. A., Franks, S. J., Frentiu, F. D., Frilander, M. J., Fu, X., Fujita, S., Galea, I., Galluzzi, L., Gani, F., Ganpule, A. P., Garcia-Alix, A., Gedye, K., Giordano, M., Giunta, C., Gleeson, P. A., Goarant, C., Gong, H., Gora, D., Gough, M. J., Goyal, R., Graham, K. E., Grande-Perez, A., Graves, P. M., Greidanus, H., Grice, D., Grunau, C., Gumulya, Y., Guo, Y., Gurevich, V. V., Gusev, O., Hacker, E., Hage, S. R., Hagen, G., Hahn, S., Haller, D. M., Hammerschmidt, S., Han, J., Han, R., Handfield, M., Hapuarachchi, H. C., Harder, T., Hardingham, J. E., Heck, M., Heers, M., Hew, K. F., Higuchi, Y., Hilaire, C. S., Hilton, R., Hodzic, E., Hone, A., Hongoh, Y., Hu, G., Huber, H. P., Hueso, L. E., Huirne, J., Hurt, L., Idborg, H., Ikeo, K., Ingley, E., Jakeman, P. M., Jensen, A., Jia, H., Jia, H., Jia, S., Jiang, J., Jiang, X., Jin, Y., Jo, D., Johnson, A. M., Johnston, M., Jonscher, K. R., Jorens, P. G., Jorgensen, J. O. L., Joubert, J. W., Jung, S. -., Junior, A. M., Kahan, T., Kamboj, S. K., Kang, Y. -., Karamanos, Y., Karp, N. A., Kelly, R., Kenna, R., Kennedy, J., Kersten, B., Khalaf, R. A., Khalid, J. M., Khatlani, T., Khider, T., Kijanka, G. S., King, S. R. B., Kluz, T., Knox, P., Kobayashi, T., Koch, K. -., Kohonen-Corish, M. R. J., Kong, X., Konkle-Parker, D., Korpela, K. M., Kostrikis, L. G., Kraiczy, P., Kratz, H., Krause, G., Krebsbach, P. H., Kristensen, S. R., Kumari, P., Kunimatsu, A., Kurdak, H., Kwon, Y. D., Lachat, C., Lagisz, M., Laky, B., Lammerding, J., Lange, M., Larrosa, M., Laslett, A. L., Laverman, G. D., Leclair, E. E., Lee, K. -., Lee, M. -., Lee, M. -., Li, G., Li, J., Lieb, K., Lim, Y. Y., Lindsey, M. L., Line, P. -., Liu, D., Liu, F., Liu, H., Liu, H., Lloyd, V. K., Lo, T. -., Locci, E., Loidl, J., Lorenzen, J., Lorkowski, S., Lovell, N. H., Lu, H., Lu, W., Lu, Z., Luengo, G. S., Lundh, L. -., Lysy, P. A., Mabb, A., Mack, H. G., Mackey, D. A., Mahdavi, S. R., Maher, P., Maher, T., Maity, S. N., Malgrange, B., Mamoulakis, C., Mangoni, A. A., Manke, T., Manstead, A. S. R., Mantalaris, A., Marsal, J., Marschall, H. -., Martin, F. L., Martinez-Raga, J., Martinez-Salas, E., Mathieu, D., Matsui, Y., Maza, E., Mccutcheon, J. E., Mckay, G. J., Mcmillan, B., Mcmillan, N., Meads, C., Medina, L., Merrick, B. A., Metzger, D. W., Meunier, F. A., Michaelis, M., Micheau, O., Mihara, H., Mintz, E. M., Mizukami, T., Moalic, Y., Mohapatra, D. P., Monteiro, A., Montes, M., Moran, J. V., Morozov, S. Y., Mort, M., Murai, N., Murphy, D. J., Murphy, S. K., Murray, S. A., Naganawa, S., Nammi, S., Nasios, G., Natoli, R. M., Nguyen, F., Nicol, C., Van Nieuwerburgh, F., Nilsen, E. B., Nobile, C. J., O'Mahony, M., Ohlsson, S., Olatunbosun, O., Olofsson, P., Ortiz, A., Ostrikov, K., Otto, S., Outeiro, T. F., Ouyang, S., Paganoni, S., Page, A., Palm, C., Paradies, Y., Parsons, M. H., Parsons, N., Pascal, P., Paul, E., Peckham, M., Pedemonte, N., Pellizzon, M. A., Petrelli, M., Pichugin, A., Pinto, C. J. C., Plevris, J. N., Pollesello, P., Polz, M., Ponti, G., Porcelli, P., Prince, M., Quinn, G. P., Quinn, T. J., Ramula, S., Rappsilber, J., Rehfeldt, F., Reiling, J. H., Remacle, C., Rezaei, M., Riddick, E. W., Ritter, U., Roach, N. W., Roberts, D. D., Robles, G., Rodrigues, T., Rodriguez, C., Roislien, J., Roobol, M. J., Rowe, A., Ruepp, A., Van Ruitenbeek, J., Rust, P., Saad, S., Sack, G. H., Santos, M., Saudemont, A., Sava, G., Schrading, S., Schramm, A., Schreiber, M., Schuler, S., Schymkowitz, J., Sczyrba, A., Seib, K. L., Shi, H. -., Shimada, T., Shin, J. -., Shortt, C., Silveyra, P., Skinner, D., Small, I., Smeets, P. A. M., So, P. -., Solano, F., Sonenshine, D. E., Song, J., Southall, T., Speakman, J. R., Srinivasan, M. V., Stabile, L. P., Stasiak, A., Steadman, K. J., Stein, N., Stephens, A. W., Stewart, D. I., Stine, K., Storlazzi, C., Stoynova, N. V., Strzalka, W., Suarez, O. M., Sultana, T., Sumant, A. V., Summers, M. J., Sun, G., Tacon, P., Tanaka, K., Tang, H., Tanino, Y., Targett-Adams, P., Tayebi, M., Tayyem, R., Tebbe, C. C., Telfer, E. E., Tempel, W., Teodorczyk-Injeyan, J. A., Thijs, G., Thorne, S., Thrift, A. G., Tiffon, C., Tinnefeld, P., Tjahjono, D. H., Tolle, F., Toth, E., Del Tredici, A. L., Tsapas, A., Tsirigotis, K., Turak, A., Tzotzos, G., Udo, E. E., Utsumi, T., Vaidyanathan, S., Vaillant, M., Valsesia, A., Vandenbroucke, R. E., Veiga, F. H., Vendrell, M., Vesk, P. A., Vickers, P., Victor, V. M., Villemur, R., Vohl, M. -., Voolstra, C. R., Vuillemin, A., Wakelin, S., Waldron, L., Walsh, L. J., Wang, A. Y., Wang, F., Wang, Y., Watanabe, Y., Weigert, A., Wen, J. -., Wham, C., White, E. P., Wiener, J., Wilharm, G., Wilkinson, S., Willmann, R., Wilson, C., Wirth, B., Wojan, T. R., Wolff, M., Wong, B. M., Wu, T. -., Wuerbel, H., Xiao, X., Xu, D., Xu, J. W., Xu, J., Xue, B., Yalcin, S., Yan, H., Yang, E. -., Yang, S., Yang, W., Ye, Y., Ye, Z. -., Yli-Kauhaluoma, J., Yoneyama, H., Yu, Y., Yuan, G. -., Yuh, C. -., Zaccolo, M., Zeng, C., Zevnik, B., Zhang, C., Zhang, L., Zhang, Y., Zhang, Y., Zhang, Z., Zhang, Z. -., Zhao, Y., Zhou, M., Zuberbier, T., Aanei, C. M., Ahmad, R., Al-Lawama, M., Alanio, A., Allardyce, J., Alonso-Caneiro, D., Atack, J. M., Baier, D., Bansal, A., Benezeth, Y., Berbesque, C., Berrevoet, F., Biedermann, P. H. W., Bijleveld, E., Bittner, F., Blombach, F., Van Den Bos, W., Boudreau, S. A., Bramoweth, A. D., Braubach, O., Cai, Y., Campbell, M., Cao, Z., Catry, T., Chen, X., Cheng, S., Chung, H. -., Chavez-Fumagalli, M. A., Conway, A., Costa, B. M., Cyr, N., Dean, L. T., Denzel, M. S., Dlamini, S. V., Dudley, K. J., Dufies, M., Ecke, T., Eckweiler, D., Eixarch, E., El-Adawy, H., Emmrich, J. V., Eustace, A. J., Falter-Wagner, C. M., Farhoudi, R., Fuss, J., Gao, J., Gill, M. R., Gloyn, L., Goggs, R., Govinden, U., Greene, G., Greiff, V., Grundle, D. S., Gruneberg, P., Gumede, N., Haore, G., Harrison, P., Hoenner, X., Hojsgaard, D., Hori, H., Ikonomopoulou, M. P., Jeurissen, P., Johnson, D. M., Kabra, D., Kamagata, K., Karmakar, C., Kasian, O., Kaye, L. K., Khan, M. M., Kim, Y. -., Kish, J. K., Kobold, S., Kohanbash, G., Kohls, G., Kugler, J. -., Kumar, G., Lacy-Colson, J., Latif, A., Lauschke, V. M., Li, B., Lim, C. J., Liu, F., Liu, X., Lu, J. -., Lu, Q., Mahavadi, P., Marzocchi, U., Mcgarrigle, C. A., Van Meerten, T., Min, R., Moal, I., Molari, M., Molleman, L., Mondal, S. R., Van De Mortel, T., Moss, W. N., Moultos, O. A., Mukherjee, M., Nakayama, K., Narayan, E., Navaratnarajah,, Neumann, P. -., Nie, J., Nie, Y., Niemeyer, F., Nolan, F., Nwaiwu, O., Oldenmenger, W. H., Olumayede, E., Ou, J., Pallebage-Gamarallage, M., Pearce, S. P., Pelkonen, T., Pelleri, M. C., Pereira, J. L., Pheko, M., Pinto, K. A., Piovesan, A., Pluess, M., Podolsky, I. M., Prescott, J., Qi, D., Qi, X., Raikou, V. D., Ranft, A., Rhodes, J., Rotge, J. -., Rowe, A. D., Saggar, M., Schuon, R. A., Shahid, S., Shalchyan, V., Shirvalkar, P., Shiryayev, O., Singh, J., Smout, M. J., Soares, A., Song, C., Srivastava, K., Srivastava, R. K., Sun, J., Szabo, A., Szymanski, W., Tai, C. N. P., Takeuchi, H., Tanadini-Lang, S., Tang, F., Tao, W., Theron, G., Tian, C. F., Tian, Y. -., Tuttle, L. M., Valenti, A., Verlot, P., Walker, M., Wang, J., Welter, D., Winslade, M., Wu, D., Wu, Y. -., Xiao, H., Xu, B., Xu, J., Xu, Z., Yang, D., Yang, M., Yankilevich, P., You, Y., Yu, C., Zhan, J., Zhang, G., Zhang, K., Zhang, T., Zhang, Y., Zhao, G., Zhao, J., Zhou, X., Zhu, Z., Ajani, P. A., Anazodo, U. C., Bagloee, S. A., Bail, K., Bar, I., Bathelt, J., Benkeser, D., Bernier, M. L., Blanchard, A. M., Boakye, D. W., Bonatsos, V., Boon, M. H., Bouboulis, G., Bromfield, E., Brown, J., Bul, K. C. M., Burton, K. J., Butkowski, E. G., Carroll, G., Chao, F., Charrier, E. E., Chen, X., Chen, Y. -., Chenguang,, Choi, J. R., Christoffersen, T., Comel, J. C., Cosse, C., Cui, Y., Van Dessel, P., Dhaval,, Diodato, D., Duffey, M., Dutt, A., Egea, L. G., El-Said, M., Faye, M., Fernandez-Fernandez, B., Foley, K. G., Founou, L. L., Fu, F., Gadelkareem, R. A., Galimov, E., Garip, G., Gemmill, A., Gouil, Q., Grey, J., Gridneva, Z., Grothe, M. J., Grebert, T., Guerrero, F., Guignard, L., Haenssgen, M. J., Hasler, D., Holgate, J. Y., Huang, A., Hulse-Kemp, A. M., Jean-Quartier, C., Jeon, S. -., Jia, Y., Jutzeler, C., Kalatzis, P., Karim, M., Karsay, K., Keitel, A., Kempe, A., Keown, J. R., Khoo, C. M., Khwaja, N., Kievit, R. A., Kosanic, S., Koutoukidis, D. A., Kramer, P., Kumar, D., Kirag, N., Lanza, G., Le, T. D., Leem, J. W., Leightley, D., Leite, A., Lercher, L., Li, Y., Lim, R., Lima, L. R. A., Lin, L., Ling, T., Liu, Y., Liu, Z., Lu, Y., Lum, F. M., Luo, H., Machhi, J., Macleod, A., Macwan, I., Madala, H. R., Madani, N., De Maio, N., Makowiecki, K., Mallinson, D. J., Margelyte, R., Maria, C., Markonis, Y., Marsili, L., Mavoa, S., Mcwilliams, L., Megersa, M., Souto-Maior, C., Menichetti, J., Mercieca-Bebber, R., Miller, J. J., Minde, D. -. M., Minges, A., Mishra, E., Mishra, V. R., Moores, C., Morrice, N., Moskalensky, A. E., Navarin, N., Negera, E., Nolet, P., Nordberg, A., Norden, R., Nowicki, J. P., Olova, N., Olszewski, P., Onzima, R., Pan, C. -., Park, C., Park, D. I., Park, S., Patil, C. D., Pedro, S. A., Perry, S. R., Peter, J., Peterson, B. M., Pezzuolo, A., Pozdnyakov, I., Qian, S., Qin, L., Rafe, A., Raote, I., Raza, A., Rebl, H., Refai, O., Regan, T., Richa, T., Richardson, M. F., Robinson, K. R., Rossoni, L., Rouet, R., Safaei, S., Schneeberger, P. H. H., Schwotzer, D., Sebastian, A., Selinski, J., Seltmann, S., Sha, F., Shalev, N., Shang, J. -., Singer, J., Singh, M., Smith, T., Solomon-Moore, E., Song, L., Soraggi, S., Stanley, R., Steckhan, N., Strobl, F., Subissi, L., Supriyanto, I., Surve, C. R., Suzuki, T., Syme, C., Sorelius, K., Tang, Y., Tantawy, M., Tennakoon, S., Teseo, S., Toelzer, C., Tomov, N., Tovar, M., Tran, L., Tripathi, S., Tuladhar, A. M., Ukubuiwe, A. C., Ung, C. O. L., Valgepea, K., Vatanparast, H., Vidal, A., Wang, F., Wang, Q., Watari, R., Webster, R., Webster, R., Wei, J., Wibowo, D., Wingenbach, T. S. H., Xavier, R. M., Xiao, S., Xiong, P., Xu, S., Xu, S., Yao, R., Yao, W., Yin, Q., Yu, Y., Zaitsu, M., Zeineb, Z., Zhan, X. -., Zhang, J., Zhang, R., Zhang, W., Zhang, X., Zheng, S., Zhou, B., Zhou, X., Ahmad, H., Akinwumi, S. A., Albery, G. F., Alhowimel, A., Ali, J., Alshehri, M., Alsuhaibani, M., Anikin, A., Azubuike, S. O., Bach-Mortensen, A., Baltiansky, L., Bartas, M., Belachew, K. Y., Bhardwaj, V., Binder, K., Bland, N. S., Boah, M., Bullen, B., Calabro', G. E., Callahan, T. J., Cao, B., Chalmers, K., Chang, W., Che, Z., Chen, A. T. Y., Chen, H., Chen, H., Chen, Y., Chen, Z., Choi, Y., Chowdhury, M. A. K., Christensen, M. R., Cooke, R. S. C., Cottini, M., Covington, N. V., Cunningham, C., Delarocque, J., Devos, L., Dhar, A. R., Ding, K. -., Dong, K., Dong, Z., Dreyer, N., Ekstrand, C., Fardet, T., Feleke, B. E., Feurer, T., Freitas, A., Gao, T., Gebremedhin,, Giganti, F., Grabowski, P., Guerra-Mora, J. R., Guo, C., Guo, X., Gupta, H., He, S., Heijne, M., Heinemann, S., Hogrebe, A., Huang, Z., Iskander-Rizk, S., Iyer, L. M., Jahan, Y., James, A. S., Joel, E., Joffroy, B., Jegousse, C., Kambondo, G., Karnati, P., Kaya, C., Ke, A., Kelly, D., Kickert, R., Kidibule, P. E., Kieselmann, J. P., Kim, H. J., Kitazawa, T., Lamberts, A., Li, Y., Liang, H., Linn, S. N., Litfin, T., Liusuo, W., Lygirou, V., Mahato, A. K., Mai, Z. -., Major, R. W., Mali, S., Mallis, P., Mao, W., Marvin-Dowle, K., Mason, L. D., Merideth, B., Merino-Plaza, M. J., Merlaen, B., Messina, R., Mishra, A. K., Muhammad, J., Musinguzi, C., Nanou, A., Naqash, A., Nguyen, J. T., Nguyen, T. T. H., Ni, D., Nida,, Notcovich, S., Ohst, B., Ollivier, Q. R., Osses, D. F., Peng, X., Plantinga, A., Pulia, M., Rafiq, M., Raman, A., Raucher-Chene,, Rawski, R., Ray, A., Razak, L. A., Rudolf, K., Rusch, P., Sadoine, M. L., Schmidt, A., Schurr, R., Searles, S., Sharma, S., Sheehan, B., Shi, C., Shohayeb, B., Sommerlad, A., Strehlow, J., Sun, X., Sundar, R., Taherzadeh, G., Tahir, N. D. M., Tang, J., Testa, J., Tian, Z., Tingting, Q., Verheijen, G. P., Vickstrom, C., Wang, T., Wang, X., Wang, Z., Wei, P., Wilson, A., Wyart,, Yassine, A. -., Yousefzadeh, A., Zare, A., Zeng, Z., Zhang, C., Zhang, H., Zhang, L., Zhang, T., Zhang, W., Zhang, Z., Zhou, J., Zhu, D., Adamo, V., Adeyemo, A. A., Aggelidou, M., Al-Owaifeer, A. M., Al-Riyami, A. Z., Alzghari, S. K., Andersen, V., Angus, K., Asaduzzaman, M., Asady, H., Ato, D., Bai, X., Baines, R. L., Ballantyne, M., Ban, B., Beck, J., Ben-Nafa, W., Black, E., Blancher, A., Blankstein, R., Bodagh, N., Borges, P., Brooks, A., Brox-Ponce, J., Brunetti, A., Canham, C. D., Carninci, P., Carvajal, R., Chang, S. C., Chao, J., Chatterjee, P., Chen, H., Chen, L., Chen, Y. -., Chhatriwalla, A. K., Chikowe, I., Chuang, T. -., Collevatti, R. G., Cornejo, D. A. V., Cuenda, A., Dao, M., Dauga, D., Deng, Z., Devkota, K., Doan, L. V., Elewa, Y. H. A., Fan, D., Faruk, M., Feifei, S., Ferguson, T. S., Fleres, F., Foster, E. J., Foster, S., Furer, T., Gao, Y., Garcia-Rivera, E. J., Gazdar, A., George, R. B., Ghosh, S., Gianchecchi, E., Gleason, J. M., Hackshaw, A., Hall, A., Hall, R., Harper, P., Hogg, W. E., Huang, G., Hunter, K. E., Ijzerman, A. P., Jesus, C., Jian, G., Lewis, J. S., Kanj, S. S., Kaur, H., Kelly, S., Kheir, F., Kichatova, V. S., Kiyani, M., Klein, R., Kovesi, T., Kraschnewski, J. L., Kumar, A. P., Labutin, D., Lazo-Langner, A., Leclercq, G., Li, M., Li, Q., Li, T., Li, Y., Liao, W. -., Liao, Z. -., Lin, J., Lizer, J., Lobreglio, G., Lowies, C., Lu, C., Majeed, H., Martin, A., Martinez-Sobrido, L., Meresh, E., Middelveen, M., Mohebbi, A., Mota, J., Mozaheb, Z., Muyaya, L., Nandhakumar, A., Ng, S. H. X., Obeidat, M., Oh, D. -., Owais, M., Pace-Asciak, P., Panwar, A., Park, C., Patterson, C., Penagos-Tabaree, F., Pianosi, P. T., Pinzi, V., Pridans, C., Psaroulaki, A., Pujala, R. K., Pulido-Arjona, L., Qi, P. -., Rahman, P., Rai, N. K., Rassaf, T., Refardt, J., Ricciardi, W., Riess, O., Rovas, A., Sacks, F. M., Saleh, S., Sampson, C., Schmutz, A., Sepanski, R., Sharma, N., Singh, M., Spearman, P., Subramaniapillai, M., Swali, R., Tan, C. M., Tellechea, J. I., Thomas, L. -., Tong, X., Vavvas, D. G., Veys, R., Vitriol, V., Wang, H. -., Wang, J., Wang, J., Waugh, J., Webb, S. A., Williams, B. A., Workman, A. D., Xiang, T., Xie, L. -., Xu, J., Xu, T., Yang, C., Yoon, J. G., Yuan, C. M., Zaritsky, A., Zhang, Y., Zhao, H., Zuckerman, H., Lyu, R., Pullan, W., Large expert-curated database for benchmarking document similarity detection in biomedical literature search, <<DATABASE>>, 2019; 2019 (Database): 1-67. [doi:10.1093/database/baz085] [http://hdl.handle.net/10807/201201]
File in questo prodotto:
File Dimensione Formato  
Brown,2019.pdf

accesso aperto

Tipologia file ?: Versione Editoriale (PDF)
Licenza: Creative commons
Dimensione 1.95 MB
Formato Adobe PDF
1.95 MB Adobe PDF Visualizza/Apri

I documenti in IRIS sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10807/201201
Citazioni
  • ???jsp.display-item.citation.pmc??? 6
  • Scopus 21
  • ???jsp.display-item.citation.isi??? 17
social impact