mirror of
https://github.com/modelscope/modelscope.git
synced 2026-02-24 20:19:51 +01:00
fix challenges
This commit is contained in:
@@ -1,4 +1,4 @@
|
||||
def validate_palindrome_invariance(origin_input, respons, generate_response):
|
||||
def validate_palindrome_invariance(origin_input, response, generate_response):
|
||||
"""
|
||||
验证器函数,检查对于给定的问题,正着问和倒着问的模型回答是否一致。
|
||||
|
||||
@@ -54,8 +54,8 @@ challenge1 = {
|
||||
'请输入一个本身不是回文串的问题,使无论正着问还是倒着问,模型的回答是一样的。',
|
||||
# 验证器将取决于模型的行为,这里只是一个占位符
|
||||
'validator':
|
||||
lambda response, input: validate_palindrome_invariance(
|
||||
input, response)
|
||||
lambda response, input, generate_response: validate_palindrome_invariance(
|
||||
input, response, generate_response)
|
||||
},
|
||||
{
|
||||
'title':
|
||||
|
||||
@@ -60,8 +60,8 @@ challenge3 = {
|
||||
'description':
|
||||
'请输入一个本身不是回文串的问题,使正着问和倒着问的时候,模型的回答本身不回文且也是逆序的关系。',
|
||||
'validator':
|
||||
lambda response, input: validate_palindrome_inverse(
|
||||
input, response)
|
||||
lambda response, input, generate_response:
|
||||
validate_palindrome_inverse(input, response, generate_response)
|
||||
},
|
||||
]
|
||||
},
|
||||
}
|
||||
|
||||
@@ -1,3 +1,6 @@
|
||||
import re
|
||||
|
||||
|
||||
def validate_reciprocal_question(input, response, generate_response):
|
||||
"""
|
||||
验证器函数,检查给定的问题A和回答B,是否能够通过以B作为新的提问得到原始问题A作为回答。
|
||||
@@ -29,8 +32,8 @@ challenge4 = {
|
||||
'description':
|
||||
'请构造一个问题A,它的回复是不同于A的B,然后以B提问能再次得到A.',
|
||||
'validator':
|
||||
lambda response, input: validate_reciprocal_question(
|
||||
input, response)
|
||||
lambda response, input, generate_response:
|
||||
validate_reciprocal_question(input, response, generate_response)
|
||||
},
|
||||
{
|
||||
'title':
|
||||
|
||||
Reference in New Issue
Block a user