Pages

Hiển thị các bài đăng có nhãn đạo văn. Hiển thị tất cả bài đăng
Hiển thị các bài đăng có nhãn đạo văn. Hiển thị tất cả bài đăng

Những ngộ nhận về trích dẫn & đạo văn ở VN

Thứ Năm, 23 tháng 10, 2014
Đọc bài báo trên Người lao động (1) tôi càng hiểu hơn tại sao nạn đạo văn ở VN quá nhiều. Ngay cả giảng viên, quan chức cao cấp trong đại học, và những người "cầm trịch" học thuật mà cũng chứng tỏ chưa hiểu về các nguyên tắc trích dẫn và qui ước về đạo văn! Tôi thử giải toả vài ngộ nhận theo hình thức vấn đáp như sau:

1. Trích dẫn có cần xin phép không?

Bài báo trích ý kiến của một chuyên gia về sở hữu trí tuệ nói rằng trích dẫn là phải xin phép. Nhưng trong học thuật trích dẫn không cần phải xin phép tác giả. Nếu người viết trích dẫn sai ý của tác giả gốc thì người viết chịu trách nhiệm. Không có một qui ước học thuật nào mà người viết phải xin phép tác giả gốc để trích dẫn cả. Ngược lại, khi một công trình được người khác trích dẫn đó là một vinh hạnh, và tần số trích dẫn được xem là một thước đo về tầm ảnh hưởng cũng như chất lượng của nghiên cứu. Người viết có thể xin phép nhà xuất bản (chứ không phải xin phép tác giả) để dùng một bảng số liệu, hay một hình ảnh, hay biểu đồ.

2. Không trích dẫn những công trình của tác giả có trình độ thấp hơn mình?

Trước đây, cũng trên báo NLĐ, có một vị tiến sĩ phát biểu rằng “Trong nghiên cứu khoa học, ai cũng biết một luật bất thành văn là luận án tiến sĩ không thể nào trích dẫn, tham khảo tài liệu ở những công trình có học vị thấp hơn. Một luận án tiến sĩ mà dựa trên nghiên cứu, quan điểm của sinh viên thì khó chấp nhận.” (2) Thật ra, không có qui định thành văn hay bất thành văn nào như thế. Rất nhiều tập san khoa học quốc tế không cho phép tác giả đề học vị và chức danh. Do đó, một công trình nghiên cứu trên tập san khoa học như thế, làm sao chúng ta biết tác giả đó có bằng cử nhân hay tiến sĩ? Thật ra, khoa học rất bình đẳng trong tri thức, và trích dẫn trong khoa học không phân biệt đẳng cấp và học vị của tác giả của nguồn thông tin.

3. Trích 1 chữ cũng phải ghi nguồn?

Bài báo trên NLĐ, có một phát biểu của một vị tiến sĩ như sau: “Nguyên tắc nghiên cứu khoa học, khi đã sử dụng dù chỉ một từ vẫn phải có trích dẫn chữ dùng của ai.” (2) Thật ra, không có nguyên tắc nào đòi hỏi người ta phải trích dẫn nếu sử dụng chỉ 1 từ cả, ngoại trừ đó là một thuật ngữ đặc biệt chưa được nhiều người biết đến. Tuy nhiên, có qui ước: khi dùng hay sao chép hơn 3 hay 4 từ liên tục từ một nguồn thì cần phải để trong ngoặc kép hoặc đề nguồn.

4. Giảng viên lấy kết quả của sinh viên đi trình bày trong hội thảo là vi phạm tác quyền?

Bài báo trên NLĐ trích ý kiến của một người từ Khoa Y của ĐHQGHCM phàn nàn rằng giảng viên hướng dẫn luận văn dùng công trình của học trò để đi nói chuyện trong hội thảo chuyên ngành. Ông giám đốc Trung tâm Sở hữu trí tuệ và Chuyển giao công nghệ cho rằng giảng viên làm như thế là vi phạm tác quyền tác giả và đạo đức của người làm nghiên cứu. Còn bà phó hiệu trưởng Trường Đại học Khoa học Xã hội và Nhân văn thì cho rằng việc làm đó là "khó chấp nhận."

Tôi thì nghĩ khác: việc làm đó của vị giảng viên hoàn toàn có thể chấp nhận, và vị đó chẳng có vi phạm tác quyền gì cả, nếu vị giảng viên đó có đóng góp tri thức vào công trình nghiên cứu. Nếu người giảng viên hướng dẫn luận án cho sinh viên, theo định nghĩa, tức là hai thầy trò đã làm chung, và họ phải là đồng tác giả. Khi đồng tác giả, sinh viên hay giảng viên, dùng kết quả đó đi nói chuyện trong hội thảo là chuyện rất bình thường. Dĩ nhiên, trong bài nói chuyện phải ghi rõ tất cả tác giả.

5. Cần đạo luật về đạo văn?

Đạo văn là vấn đề vi phạm đạo đức khoa học, chứ không phải là một tội phạm (crime). Chẳng ai bỏ tù người đạo văn. Do đó, không cần luật về đạo văn. Đã có những qui ước về trích dẫn và đạo văn, và những qui ước này đã được áp dụng trong các đại học ở các nước tiên tiến và được cộng đồng học thuật chấp nhận. Các trường ở VN chỉ cần áp dụng các qui ước này, chứ không cần làm thêm luật. Trường có thể ra những qui định về hình phạt cho những người đạo văn. Trong qui ước thế nào là đạo văn và qui định về trích dẫn, không có những "qui định riêng" cho bất cứ ai hay trường nào cả.

6. Giảng viên từ chối hướng dẫn luận văn vì sinh viên yếu?

Bài báo trên NLĐ có một đoạn thú vị nói rằng "nhiều giảng viên từ chối hướng dẫn luận văn cho sinh viên vì lý do sinh viên rất yếu trong xây dựng đề cương và giảng viên phải bổ sung đến 70% nội dung đề cương luận văn nhưng khi công bố, sinh viên không cảm ơn, không ghi nhận." Tôi nghĩ cần phải xem xét lại vai trò của các giảng viên này. Một trong những nhiệm vụ của người hướng dẫn là cùng với sinh viên xây dựng đề cương. Trong thực tế, có giảng viên viết lại gần như 100% đề cương, bởi vì sinh viên chưa am hiểu vấn đề. Còn việc sau khi viết luận văn mà sinh viên chẳng cám ơn hay không ghi nhận đóng góp của giảng viên thì đó là phép lịch thiệp và đạo đức của sinh viên có vấn đề; đó không phải là lí do để từ chối hướng dẫn sinh viên. Chỉ từ chối khi đề tài không phải thuộc chuyên môn của mình, hay vì quá bận, chứ không phải vì sinh viên vô ơn.

7. Người bình duyệt luận văn có trách nhiệm phát hiện đạo văn?

Không có một ai, dù uyên bác cỡ nào, mà có thể phát hiện đạo văn. Do đó, không thể kì vọng người bình duyệt phải phát hiện đạo văn. Không ai lại qui trách nhiệm phát hiện đạo văn cho người duyệt luận văn. Trách nhiệm đầu tiên và lớn nhất là thí sinh, rồi mới đến giảng viên hướng dẫn.

Qua những ngộ nhận về trích dẫn như trên, tôi nghĩ thật sự các đại học và trung học VN cần đưa môn học đạo đức học thuật vào chương trình giảng dạy. Thầy cô mà không am hiểu về trích dẫn và đạo văn thì trò cũng thế thôi. Phải thay đổi từ hệ thống, và từ thấp lên cao, chứ những hội thảo như mô tả trong bài báo chẳng đi đến đâu vì chẳng có hiệu quả gì khi mà người bàn việc đạo văn không am hiểu vấn đề.

====



Có thể đọc thêm:





Read more ...

Vấn nạn đạo văn

Thứ Ba, 16 tháng 7, 2013
Đây là vấn đề thuộc vào loại "biết rồi, khổ lắm ..." (Vũ Trọng Phụng") . Ấy thế mà tôi vẫn thấy cần thiết lên tiếng. Hôm qua, nhân dịp đọc luận án tiến sĩ (của một bác sĩ gửi tôi đọc và cho ý kiến), tôi thấy vài đoạn văn quen quen, và đọc đến phần cuối thì tôi phát hiện đó là những đoạn văn của tôi. Đó là những đoạn văn trong các bài báo đã đăng trên Thời sự Y học vài năm trước đây. Ngạc nhiên hơn, có những đoạn văn của tôi đăng trên báo phổ thông (như Tuổi trẻ) cũng được đưa vào luận án!

Cảm giác đầu tiên là tôi vui, vì thấy những công trình ở VN của mình được chú ý và tham khảo (nói theo tiếng Anh là có citation). Nhưng ngay sau đó là cảm giác buồn, vì em ấy không hề đề nguồn, không theo đúng với qui ước khoa học. Nói cách khác, em ấy đã "phạm tội" đạo văn. Cảm giác buồn dâng cao hơn khi sáng nay đọc một bài báo về một luận án tiến sĩ khác cũng đạo văn, và người đạo văn nay đã là một phó giáo sư đang giữ trọng trách trong một đại học. Những câu chuyện đạo văn và thăng quan tiến chức như thế xảy ra rất thường xuyên, với mật độ càng ngày càng cao hơn trên báo chí, làm cho người ta cảm thấy đạo văn đã trở thành một vấn nạn ở VN.

Đạo văn, theo cách hiểu của giới học thuật, được định nghĩa là sử dụng ý tưởng hay câu văn của người khác một cách không thích hợp. “Không thích hợp” ở đây có nghĩa chính là không ghi rõ nguồn gốc. Đặc biệt là việc trình bày những ý tưởng và từ ngữ của người khác trước các diễn đàn khoa học và công cộng như là ý tưởng và từ ngữ của chính mình. Ở đây, “Ý tưởng và từ ngữ của người khác” có nghĩa là: sử dụng công trình hay tác phẩm của người khác, lấy ý tưởng của người khác, sao chép nguyên bản từ ngữ của người khác mà không ghi nguồn, sử dụng cấu trúc và cách lí giải của người khác mà không ghi nhận họ, và lấy những thông tin chuyên ngành mà không đề rõ nguồn gốc.

Chẳng riêng gì ở VN, đạo văn còn rất phổ biến ở China. Mức độ phổ biến đến nổi giới học thuật Mĩ và China xem đó là một vấn nạn, làm cho China khó có thể sánh vai cùng các cường quốc khoa học và giáo dục trên thế giới. Ngay cả các nước tiên tiến, nạn đạo văn cũng khá phổ biến. Theo tập san Nature, trong một số ngành khoa học, nạn đạo văn (kể cả tự đạo văn) có thể lên đến 20% trong các bài báo đã công bố. Trước đây có người xem xét 660 bài báo đã công bố trên 3 tập san hàng đầu trong ngành phẫu thuật và phát hiện khoảng 12% bài báo có cấu trúc giống nhau, 3% sử dụng từ ngữ hoàn toàn giống nhau, và khoảng 8% sử dụng từ ngữ rất giống nhau. Hai tác giả còn phát hiện khoảng 14% các công trình nghiên cứu này thuộc vào loại “tự đạo văn” hay “tự đạo số liệu”.

Vấn đề đạo văn ở VN, theo tôi, còn có một chiều kích khác: thầy cô và hiểu biết. Có thể nói rằng một số thầy cô trung học và đại học ở VN không biết đạo văn là gì, và cũng chẳng am hiểu qui ước trích dẫn. Điển hình cho hiểu lầm về trích dẫn là phát biểu sau đây trên báo Người lao động: “Nguyên tắc nghiên cứu khoa học, khi đã sử dụng dù chỉ một từ vẫn phải có trích dẫn chữ dùng của ai.” Thật ra, không có nguyên tắc nào đòi hỏi người ta phải trích dẫn nếu sử dụng chỉ 1 từ cả, ngoại trừ đó là một thuật ngữ đặc biệt chưa được nhiều người biết đến. Tuy nhiên, có qui ước: khi dùng hay sao chép hơn 3 hay 4 từ liên tục từ một nguồn thì cần phải để trong ngoặc kép hoặc đề nguồn.

Một hiểu lầm khác về “giai tầng” học thuật và đạo văn. Có ý kiến cho rằng “Trong nghiên cứu khoa học, ai cũng biết một luật bất thành văn là luận án tiến sĩ không thể nào trích dẫn, tham khảo tài liệu ở những công trình có học vị thấp hơn. Một luận án tiến sĩ mà dựa trên nghiên cứu, quan điểm của sinh viên thì khó chấp nhận.” Thật ra, không có qui định thành văn hay bất thành văn nào như thế. Rất nhiều tập san khoa học quốc tế không cho phép tác giả đề học vị và chức danh. Do đó, một công trình nghiên cứu trên tập san khoa học như thế, làm sao chúng ta biết tác giả đó có bằng cử nhân hay tiến sĩ? Thật ra, khoa học rất bình đẳng trong tri thức, và trích dẫn trong khoa học không phân biệt đẳng cấp và học vị của tác giả của nguồn thông tin.

Thầy cô mà còn chưa am hiểu vấn đề đạo văn thì chúng ta khó trách trò. Quay lại trường hợp tôi nêu trên, điều làm tôi ngạc nhiên là em bác sĩ ấy đạo văn từ những công trình của tôi, mà chính lại gửi cho tôi đọc! Điều này có thể nói lên rằng em ấy không hiểu đạo văn là gì, hay nghĩ tôi không để ý. Nhìn một cách rộng lượng hơn, có thể em ấy chẳng hiểu đạo văn là gì, nên phạm lỗi. Cũng có người thành thật hơn, nói rằng vì câu văn gốc của tác giả (tiếng Anh) hay quá nên không biết viết lại sao cho đủ ý. Dĩ nhiên, sự khó khăn đó không thể biện minh cho đạo văn, vì đạo văn được xem là một scientific fraud.

Đối với những người than phiền không có cách nào diễn giải ý tưởng của người trước tốt hơn, tôi thường chỉ ra vài mẹo. Những mẹo này chưa chắc làm cho câu văn tốt hơn, nhưng sẽ không vướng phải tội đạo văn. Thông thường tôi khuyên đương sự vài mẹo diễn tả ý tưởng như sau:

(a) Thay đổi vị trí từ ngữ trong câu văn. Chẳng hạn như nếu người ta dùng chữ before, thì mình thay thế bằng những chữ có nghĩa gần với chữ gốc, như previously, beforehand, prior, in the past, v.v.

(b) Thay đổi thể văn chủ động (active) sang thụ động (passive), hay ngược lại. Nếu người ta viết “Optimizing peak bone mass during the early years is thought to be a key factor in preventing osteoporosis later in life” thì mình có thể viết lại theo thể chủ động “To prevent postmenopausal osteoporosis, several experts consider that it is important to build bone mass during adolescence”, và dĩ nhiên không quên đề nguồn.

(c) Nếu câu văn gốc hơi dài, thì mình chia câu văn thành nhiều câu văn ngắn, và viết lại theo ý tác giả.

Mặc dù ở đâu cũng có đạo văn, cái khác nhau là cách giải quyết và xử lí vấn đề. Nếu là bài báo khoa học đã công bố thì tập san có thể rút bài báo xuống. Nếu là luận án thì nghiên cứu sinh phải viết lại. Nhưng cũng có vài trường hợp có kết quả xấu. Năm 2004, một trường hợp đạo văn gây sự chú ý trong giới khoa bảng vì thủ phạm là một giáo sư thuộc một trường đại học danh giá nhất thế giới: Đại học Harvard. Sultan là một giáo sư miễn dịch học tại trường y thuộc Đại học Harvard đạo văn từ 4 bài báo của các nhà khoa học khác, và bị phát hiện khi bài báo của ông được bình duyệt. Sau khi điều tra, ông bị cấm làm chuyên gia bình duyệt (reviewer) các báo cáo khoa học trong vòng 3 năm. Tất nhiên, sự việc cũng gây ảnh hưởng đến sự nghiệp của ông. Một trường hợp gần đây nhất cũng làm xôn xao dư luận báo chí vì sự việc lại xảy ra tại Đại học Harvard. Kaavya Viswanathan là một sinh viên gốc Ấn Độ, 19 tuổi, có tài viết văn, và được xem là một ngôi sao đang lên với đầy triển vọng qua cuốn tiểu thuyết “How Opal Mehta Got Kissed, Got Wild, and Got a Life”. Nhưng ngay sau khi xuất bản, người ta phát hiện cuốn tiểu thuyết có nhiều đoạn “trùng hợp” hay lấy từ hai cuốn tiểu thuyết “Sloppy Firsts” (in năm 2001) cuốn “Second Helpings” (in năm 2003) của Nhà văn Megan F. McCafferty. Hệ quả là cô nhà văn trẻ tuổi này mất một hợp đồng 500.000 USD với một nhà xuất bản khác, và không cần phải nói thêm, sự nghiệp viết văn của cô coi như chấm dứt.

Còn ở nước ta trong mấy năm gần đây, nạn đạo văn cũng được giới báo chí nhắc đến rất nhiều lần, nhưng phần lớn các trường hợp này thường xảy ra trong lĩnh vực văn học. Trong nghiên cứu khoa học, nạn đạo văn có liên quan đến những giảng viên và giáo sư cũng được nhiều nghiên cứu sinh đồn đại qua lại, nhưng chưa có bằng chứng hiển nhiên. Có trường hợp đạo văn khá hi hữu vì sự đạo văn cực kì trắng trợn và … thô. Năm 2000, hai tác giả nguyên là nghiên cứu sinh Việt Nam tại Nhật và một tác giả người Nhật công bố bài báo có tựa đề là “Ship’s optimal autopilot with a multivariate auto-regressive eXogenous model” trong hội nghị về ứng dụng tối ưu hóa tại Nga. Đến năm 2004 bài báo đó được xuất hiện trong một hội nghị cũng về ứng dụng tối ưu hóa tại Nhật nhưng với một tựa đề na ná “An optimal ship autopilot using a multivariate auto-regressive exogenous model” với 10 tác giả từ Việt Nam! Điều khó tin là 99% câu chữ, 100% các số liệu, thậm chí hình ảnh con tàu Shioji Maru trong bài báo năm 2004 lấy nguyên vẹn từ bài báo năm 2000. Khi tác giả bài báo gốc liên lạc với các tác giả bài báo năm 2004 để tìm hiểu thêm nguyên do và lời giải thích, thì sự việc rơi vào im lặng. Báo chí hôm nay lại nêu một nghi án đạo văn liên quan đến một phó giáo sư, nhưng hình như vấn đề cũng chẳng có ai giải quyết và có thể lại rơi vào im lặng.

Riêng trường hợp của em bác sĩ, tôi chỉ viết thư riêng cho em ấy nhắc nhở em nên ghi nguồn dữ liệu và cố gắng viết lại ý tưởng bằng câu chữ của em. Tôi thấy không cần phải gây ồn ào làm gì, vì em ấy còn nhiều cơ hội để học hỏi. Không ai biết tình trạng đạo văn trong các đại học ở VN phổ biến như thế nào, nhưng chắc chắn là nhiều (trên 10% luận văn và luận án?). Nếu VN muốn trở thành một “actor” trên trường khoa học quốc tế thì cần phải có biện pháp và chiến lược ngăn ngừa đạo văn ngay từ bậc tiểu học.
 
Read more ...

Thêm một bộ trưởng Đức đạo văn?

Thứ Hai, 29 tháng 10, 2012
http://www.mpq.mpg.de/cms/mpq/en/departments/quanten/homepage_cms/projects/qip/pics/phdhat.jpgMột bản tin ngắn trên tập san Science tuần qua cho biết bà Annette Schavan, Bộ trưởng Bộ Giáo dục Đức đang bị điều tra vì nghi vấn đạo văn trong luận án tiến sĩ của bà hơn 30 năm trước. Thế là thêm một bộ trưởng Đức có nguy cơ bị mất chức vì đạo văn. Sự việc có ý nghĩa đến chính sách đào tạo tiến sĩ và hình thức thích hợp cho một luận án tiến sĩ.


Mấy năm gần đây, việc truy tìm luận án của các chính khách Đức và Âu châu trở thành một loại thể thao học thuật của giới báo chí. Theo báo chí, đã có hơn 6 chính trị gia Đức phải rời chức vụ vì đạo văn. Còn nhớ trước đây cựu bộ trưởng Bộ Quốc phòng Karl-Theodor zu Guttenberg cũng phạm tội đạo văn, và từ chức vì tội này. Một số chính khách khác cũng chịu sự săm soi của các “activist” (qua trang web VroniPlag) về nạn đạo văn và đã kết cục xấu. Chẳng hạn như Jorgo Chatzimarkakis và Silvana Koch-Mehrin, cả hai là thành viên của Hạ nghị viện Châu Âu và là đảng viên của Đảng tự do, cũng bị cáo buộc đạo văn. Riêng Koch-Mehrin phải từ chức phó chủ tịch Hạ nghị viện Đức sau khi Đại học Heidelberg rút lại bằng tiến sĩ vì luận án có quá nhiều đạo văn.

Nay thì đến trường hợp của bà Annette Schavan. Bà là đương kim bộ trưởng Bộ Giáo dục Đức, chức vụ bà giữ từ năm 2005 cho đến nay. Bà tốt nghiệp tiến sĩ năm 1980 với luận án “Person and conscience – studies on conditions, need and requirements of today’s conscience” từ Đại học Dusseldorf. Chuyên ngành của bà là khoa học giáo dục, triết học và thần học. Bà được xem là một bộ trưởng có tài, và được Đại học Free trao tặng chức danh giáo sư danh dự. Luận án của bà được đồng nghiệp đánh giá là một “formidable accomplishment.” 

Tuy nhiên, vào tháng 5/2012, có người qua một trang web cáo buộc rằng luận án tiến sĩ của bà có dấu hiệu đạo văn. Website vừa đề cập liệt kê 50 ví dụ trong luận án 351 trang mà tác giả cho là không được trích dẫn hay ghi nhận một cách thích hợp. Đại học Dusseldorf lập tức mở cuộc điều tra, nhưng không nói bao giờ sẽ công bố kết quả. Bà Bộ trưởng thì tuyên bố dứt khoát rằng bà không đạo văn, và sẽ bảo vệ quan điểm đó đến cùng. Tuy nhiên, Science tiết lộ rằng một nguồn tin riêng cho biết có lẽ đại học sẽ có quyết định bất lợi cho bà bộ trưởng.

Tuy nhiên, theo Science, trường hợp của bà Annette Schavan có lẽ không nghiêm trọng như của zu Guttenberg. Nhưng sự việc vẫn có thể gây tổn hại đến sự nghiệp của bà. Tạp chí Der Spiegel cho biết trường đại học đã thẩm định xong luận án và có đề nghị rút lại văn bằng tiến sĩ của bà, nhưng trường chưa quyết định sẽ tuyên bố vào lúc nào. 

Qua những vụ việc này, có lẽ bài học là luận án tiến sĩ nên công bố quốc tế để tránh tình trạng cáo buộc đạo văn. Một khi nội dung nghiên cứu của luận án được công bố thì đó cũng là hình thức acid test để cộng đồng khoa học đánh giá. Còn không công bố thì rất khó biết luận án có nội dung gì mới hay xứng đáng với văn bằng được trao. Nhớ ngày xưa khi còn mài ghế nhà trường làm nghiên cứu, tôi rất bận tâm đến luận án, nhưng thầy hướng dẫn tôi không bao giờ nghĩ đến luận án. Ông nói (và tôi dịch nôm na): lo công bố kết quả đi, luận án mày viết ra để ai đọc hả? Nó ở trên cái giá sách đó kìa, mà chính mày cũng chẳng thèm đọc. Cứ mỗi lần có nghiên cứu sinh mới vào thì ông lại nói câu này. Không cần lâu tôi đã nhận ra ngay là công bố bài báo khoa học quan trọng hơn luận án. 

Hiện nay, các trường đại học Úc có 3 xu hướng chính về luận án tiến sĩ. Xu hướng thứ nhất mang tính cổ điển trong giới khoa học xã hội, mà theo đó nghiên cứu sinh viết một monograph vài trăm trang mà không công bố quốc tế.  Xu hướng thứ hai là nửa monograph, nửa papers. Theo xu hướng này, nghiên cứu sinh công bố vài bài báo khoa học và dùng đó như là những chương trong phần kết quả, cộng với những nghiên cứu chưa công bố làm thành một luận án. Xu hướng thứ ba là theo phong cách Bắc Âu, tức là nghiên cứu sinh tập hợp 4 bài (ít nhất là 3 bài) thành một luận án và đệ trình để bảo vệ. Xu hướng 2 và 3 là phổ biến nhất, đặc biệt là trong các ngành khoa học tự nhiên và y sinh học; còn xu hướng 1 thì chỉ tồn tại phần lớn trong các ngành “soft science”. Phần lớn những chính khách làm nghiên cứu xã hội học, và luận án của họ ít khi nào được công bố, nên dẫn đến tình trạng như hiện nay. 

Read more ...