Một đề tài ứng dụng thường cam kết sản phẩm như quy trình công nghệ, mẫu thiết bị, phần mềm, giống cây con hay mô hình trình diễn. Ở buổi nghiệm thu, hội đồng thường nhận được báo cáo tổng kết, bản mô tả quy trình, vài tấm ảnh thiết bị, biên bản thử nghiệm do chính nhóm lập, đôi khi một đoạn video. Với những thứ đó, hội đồng có thể xác nhận rằng sản phẩm đã được làm ra. Điều khó xác nhận hơn nhiều là sản phẩm có chạy được trong điều kiện của người sẽ dùng nó hay không.
Khoảng cách giữa hai câu hỏi đó giải thích vì sao nhiều sản phẩm đạt nghiệm thu nhưng không ai dùng. Bài này bàn về cách đánh giá sản phẩm ứng dụng sao cho nó trả lời được câu hỏi thứ hai.
Bốn câu hỏi một đánh giá tốt phải trả lời
- Sản phẩm có đạt thông số đã cam kết không, đo bằng phương pháp nào, ai đo?
- Trong điều kiện nào? Phòng thí nghiệm, xưởng thử của nhóm, hay cơ sở của người dùng thật?
- Có ổn định không? Chạy một lần đạt hay chạy liên tục nhiều ngày, nhiều mẻ vẫn đạt?
- Người khác có làm lại được không khi không có nhóm nghiên cứu đứng bên cạnh?
Phần lớn hồ sơ nghiệm thu trả lời tốt câu thứ nhất, trả lời mơ hồ câu thứ hai, và gần như không trả lời câu thứ ba, thứ tư.
Mức độ sẵn sàng: nói rõ sản phẩm đang ở đâu
Một công cụ hữu ích là thang mức độ sẵn sàng công nghệ (TRL), được nhiều tổ chức quốc tế dùng. Không cần áp dụng máy móc, nhưng nó giúp hai bên nói cùng một ngôn ngữ:
| Nhóm mức | Ý nghĩa | Bằng chứng phù hợp |
|---|---|---|
| Nguyên lý | Ý tưởng đã được chứng minh trên lý thuyết hoặc thí nghiệm nhỏ | Số liệu thí nghiệm, bài báo |
| Phòng thí nghiệm | Mẫu chạy được trong điều kiện kiểm soát | Biên bản thử, số liệu lặp lại |
| Môi trường liên quan | Mẫu chạy được trong điều kiện gần thực tế | Thử tại cơ sở người dùng, có đo độc lập |
| Môi trường thật | Hệ thống hoàn chỉnh vận hành trong điều kiện sử dụng thực tế | Vận hành liên tục, ý kiến người dùng, số liệu nhiều chu kỳ |
Vấn đề không phải đề tài phải đạt mức cao nhất. Vấn đề là thuyết minh cam kết mức nào thì nghiệm thu phải kiểm đúng mức đó. Cam kết “quy trình sản xuất” mà chỉ có bằng chứng ở mức phòng thí nghiệm là một khoảng hở hội đồng nên chỉ ra.
Đánh giá từng loại sản phẩm
Quy trình công nghệ
Quy trình được viết ra phải đủ chi tiết để một kỹ thuật viên khác, không thuộc nhóm, làm theo được. Cách kiểm tra mạnh nhất là cho một đơn vị khác chạy thử quy trình theo tài liệu và so kết quả. Nếu không làm được, ít nhất cần biên bản các mẻ chạy với đủ thông số đầu vào, đầu ra, và tỷ lệ mẻ đạt trên tổng số mẻ, kể cả mẻ hỏng.
Thiết bị, máy móc
Thông số cần được đo bởi đơn vị có năng lực kiểm định, không chỉ do nhóm tự đo. Cần thông tin về thời gian vận hành liên tục, các sự cố đã gặp và cách khắc phục, chi phí vận hành ước tính. Một chiếc máy đạt công suất trong ba giờ chạy thử trước hội đồng chưa nói lên nhiều về một mùa vụ.
Phần mềm
Ngoài danh sách chức năng, cần biết phần mềm đã được người dùng thật dùng bao lâu, bao nhiêu người, các lỗi đã ghi nhận, và ai sẽ duy trì sau khi đề tài kết thúc. Phần mềm không có người duy trì thường ngừng chạy trong vòng một hai năm vì thay đổi hạ tầng, hệ điều hành, thư viện.
Giống cây trồng, vật nuôi
Đây là lĩnh vực đã có quy trình khảo nghiệm, công nhận tương đối chặt theo quy định chuyên ngành. Đề tài cần nói rõ giống đang ở bước nào của quy trình đó, thay vì dùng từ “giống mới” cho một dòng mới qua vài vụ thử tại trại.
Mô hình trình diễn
Mô hình chỉ có ý nghĩa nếu người dân, doanh nghiệp tự vận hành được sau khi nhóm rút đi. Câu hỏi then chốt: mô hình có còn chạy sau một mùa không có hỗ trợ không, và chi phí người dân phải bỏ ra là bao nhiêu.
Ai nên ngồi trong hội đồng đánh giá sản phẩm
Hội đồng nghiệm thu đề tài ứng dụng thường gồm chủ yếu nhà khoa học cùng chuyên ngành. Họ đánh giá tốt phần phương pháp và tính mới, nhưng không phải lúc nào cũng là người phù hợp nhất để trả lời câu hỏi sản phẩm có dùng được không. Một cơ cấu cân bằng hơn có thêm:
- Một người từ phía sử dụng: kỹ sư của doanh nghiệp trong ngành, cán bộ khuyến nông, người quản lý cơ sở y tế, tuỳ sản phẩm. Họ hỏi những câu nhà khoa học ít nghĩ tới: bảo trì thế nào, phụ tùng mua ở đâu, công nhận cần học bao lâu.
- Một người hiểu đo lường, kiểm định để đánh giá phương pháp đo trong biên bản thử nghiệm có đáng tin không.
- Một người hiểu chi phí khi sản phẩm nhắm tới thương mại hoá, để biết giá thành ước tính có thực tế không.
Không cần cả ba trong mọi hội đồng, nhưng ít nhất một người không phải nhà nghiên cứu sẽ làm câu hỏi chạy được hay không trở thành câu hỏi thật.
Dấu hiệu sản phẩm chỉ tồn tại trên giấy
Thành viên hội đồng có kinh nghiệm thường để ý những dấu hiệu sau:
- Mọi số liệu thử nghiệm đều đạt, không có mẻ hỏng nào được ghi lại. Nghiên cứu thật hiếm khi đẹp như vậy.
- Biên bản thử nghiệm chỉ có chữ ký của thành viên nhóm và của đơn vị hợp tác có lợi ích trực tiếp.
- Ảnh và video đều chụp trong cùng một ngày, cùng một bối cảnh.
- Tài liệu quy trình ngắn, chung chung, không có thông số dung sai, không có hướng dẫn xử lý sự cố.
- Không nêu được ai sẽ tiếp tục sử dụng, sản xuất hay duy trì sản phẩm.
Những dấu hiệu này không chứng minh có sai phạm. Chúng cho thấy bằng chứng chưa đủ để kết luận sản phẩm chạy được, và đó là lý do để yêu cầu bổ sung.
Thiết kế từ đầu để đánh giá được
Đánh giá tốt bắt đầu từ thuyết minh, không phải từ buổi nghiệm thu. Chủ nhiệm đề tài ứng dụng nên:
- Ghi rõ mức sẵn sàng hiện tại và mức sẽ đạt khi kết thúc.
- Đưa vào dự toán chi phí kiểm định độc lập và chi phí thử tại cơ sở người dùng.
- Xác định từ đầu đơn vị sử dụng thử, có văn bản hợp tác, và để họ tham gia đánh giá.
- Lên kế hoạch thời gian thử nghiệm đủ dài cho câu hỏi ổn định, không dồn vào tháng cuối.
- Ghi chép trung thực mọi mẻ, mọi lần chạy, kể cả lần thất bại. Một bảng có tỷ lệ đạt chín trên mười thuyết phục hơn một bảng mười trên mười.
Cách tổ chức buổi kiểm tra thực tế cho có giá trị
Nhiều hội đồng đã đi thăm mô hình hay xưởng thử trước khi nghiệm thu, nhưng buổi thăm thường được chuẩn bị như một sự kiện trình diễn: máy chạy sẵn, sản phẩm bày sẵn, mọi thứ hoàn hảo trong hai giờ. Một buổi kiểm tra có giá trị hơn có vài đặc điểm:
- Báo lịch nhưng không báo kịch bản. Hội đồng chọn tại chỗ những gì muốn xem: một mẻ chạy từ nguyên liệu thô, sổ vận hành của tuần trước, kho thành phẩm.
- Để người dùng vận hành. Nếu sản phẩm là thiết bị cho nông hộ, để một người dân đã được tập huấn chạy máy, không phải kỹ sư của nhóm.
- Hỏi người dùng khi nhóm nghiên cứu không có mặt. Mười phút trò chuyện riêng với chủ cơ sở thử nghiệm thường nói nhiều hơn cả bộ hồ sơ: máy hỏng mấy lần, ai sửa, có định tiếp tục dùng không, nếu phải tự bỏ tiền thì có mua không.
- Lấy mẫu mang về. Với sản phẩm như chế phẩm, phân bón, thực phẩm, lấy mẫu niêm phong gửi đơn vị kiểm nghiệm độc lập.
- Ghi lại bằng biên bản riêng do hội đồng lập, không dùng biên bản soạn sẵn của nhóm.
Cách làm này không nhằm bắt lỗi. Nhóm có sản phẩm thật sẽ được lợi vì có bằng chứng mạnh hơn; nhóm chưa tới đích sẽ có danh sách cụ thể những gì cần hoàn thiện.
Gợi ý cho cơ quan quản lý
Muốn đánh giá sản phẩm ứng dụng nghiêm túc hơn mà không làm thủ tục nặng thêm, có thể bắt đầu bằng ba việc: yêu cầu nêu mức sẵn sàng trong thuyết minh và kiểm tra đúng mức đó khi nghiệm thu; mời ít nhất một thành viên hội đồng là người dùng tiềm năng, như doanh nghiệp hay cán bộ khuyến nông; và với sản phẩm quan trọng, tổ chức kiểm tra tại hiện trường thay vì chỉ xem hồ sơ. Ngoài ra, một lần hỏi lại sau một hai năm, sản phẩm đang được ai dùng, là phép thử đơn giản mà hiếm khi được làm.
Câu hỏi thường gặp
Thang mức độ sẵn sàng công nghệ có bắt buộc dùng không?
Không nhất thiết bắt buộc, tuỳ quy định của từng chương trình. Nhưng nó rất hữu ích để hai bên thống nhất sản phẩm đang ở mức phòng thí nghiệm hay đã chạy được trong điều kiện thật.
Nhóm tự đo thông số thiết bị có được chấp nhận không?
Có thể được chấp nhận ở một số mức, nhưng kết quả đo của đơn vị kiểm định độc lập luôn có giá trị cao hơn. Nên đưa chi phí kiểm định vào dự toán từ đầu.
Có nên ghi lại các mẻ thử thất bại trong báo cáo?
Nên. Tỷ lệ đạt trên tổng số mẻ, kể cả mẻ hỏng, cho hội đồng thấy sản phẩm ổn định tới đâu và làm báo cáo đáng tin hơn.
Làm sao biết một mô hình trình diễn có bền không?
Kiểm tra xem mô hình còn vận hành sau ít nhất một mùa không có hỗ trợ của nhóm nghiên cứu, và chi phí người dân phải tự bỏ ra có chấp nhận được không.
Phần mềm là sản phẩm đề tài cần gì để không chết sau nghiệm thu?
Cần có người hoặc đơn vị chịu trách nhiệm duy trì, mã nguồn và tài liệu được bàn giao đầy đủ, và kế hoạch kinh phí vận hành sau khi đề tài kết thúc.
