店匠是类似于shopify的独立站SAAS。我们要为基于店匠的独立站（一般为跨境电商独立站）做搜索SAAS。


## 商品数据 - 数据源 - mysql
店匠的商品结构如下：

数据库配置：

## mysql数据源
host: 120.79.247.228
port: 3316
username: saas
password: P89cZHS5d7dFyc9R


### 店匠主表
shoplazza_product_sku
shoplazza_product_spu

主表sku表的结构为：
id	bigint(20)
spu_id	bigint(20)
shop_id	bigint(20)
shoplazza_id	varchar(64)
shoplazza_product_id	varchar(64)
shoplazza_image_id	varchar(64)
title	varchar(500)
sku	varchar(100)
barcode	varchar(100)
position	int(11)
price	decimal(10,2)
compare_at_price	decimal(10,2)
cost_price	decimal(10,2)
option1	varchar(255)
option2	varchar(255)
option3	varchar(255)
inventory_quantity	int(11)
weight	decimal(10,2)
weight_unit	varchar(10)
image_src	varchar(500)
wholesale_price	json
note	text
extend	json
shoplazza_created_at	datetime
shoplazza_updated_at	datetime
tenant_id	bigint(20)
creator	varchar(64)
create_time	datetime
updater	varchar(64)
update_time	datetime
deleted	bit(1)

所有租户共用这个主表

### 每个租户的辅表
各个租户，有自己的扩展表。 入索引的时候，商品主表 shoplazza_product_sku 的 id + shopid，拼接租户自己单独的扩展表（比如可以放一些自己的属性体系、各种语言的商品名、品牌名、标签、分类等）

但是，各个租户，可能有不一样的业务数据，比如不同租户有不同的属性的体系、不同语言的商品标题（一般至少有中英文两种满足跨境的搜索需求），有不同的权重（提权）字段、业务过滤和聚合字段。
能够统一的 只能是 sku表 按照一套配置规范、做一个配置文件，按照配置文件建设ES mapping结构以及做数据的入库。

## SearchEngine

### IndexerConfig
 @阿里opensearch电商行业.md， 有两套配置
1. 应用结构配置 ： 定义了ES的输入数据有哪些字段、关联mysql的哪些字段.
2. 索引结构配置 : 定义了ES的字段，每个字段的索引mapping配置，支持各个域的查询，包括默认的域的查询。索引配置预定一号了一堆分析方式 由 @商品数据源入ES配置规范.md 定义。



### 测试数据灌入

灌入数据、mysql到ES的自动同步，不在本项目的范围内，另外有java项目负责。
但是，该项目 为了提供测试数据，需要 构造一个实例 tenant1.
我们为他构造一套应用配置和索引配置。
灌入一批测试数据，可以些一个简单的 全量灌入的实现。
数据源地址在：data/tenant1/goods_with_pic.5years_congku.csv.shuf.1w
请根据这里面的字段，建设辅助表（注意看哪些字段在主表有，哪些需要放到辅表）
然后写一个程序，将数据分别灌入主表和辅表。


### queryParser
query分析，做以下几个事情：

1. 查询改写。 配置词典的key是query，value是改写后的查询表达式，比如。比如品牌词 改写为在brand|query OR name|query，类别词、标签词等都可以放进去。纠错、规范化、查询改写等 都可以通过这个词典来配置。
2. 翻译。配置需要得到的几种目标语言。 在tenant1测试案例中，我们配置 zh en两种语言。先对query做语言检测，如果query是中文那么要翻译一下en，如果是en那么要翻译zh，如果两者都不是那么zh en都需要翻译。
3. 如果配置打开了text_embedding查询，并且query 包含了default域的查询，那么要把default域的查询词转向量，后面searcher会用这个向量参与查询。
翻译代码参考：
```
import requests
api_url = "https://api.deepl.com/v2/translate"
headers = {
    "Authorization": "DeepL-Auth-Key YOUR_AUTH_KEY",
    "Content-Type": "application/json",
}
payload = {
    "text": ["要翻译的文本"],
    "target_lang": "ZH",  # 中文
}

response = requests.post(api_url, headers=headers, json=payload, timeout=10)

if response.status_code == 200:
    data = response.json()
    translation = data["translations"][0]["text"]
    print(translation)
```

### searcher

支持多种检索表达式：
支持多种匹配方式，如AND、OR、RANK、NOTAND以及()，优先级从高到低为()，ANDNOT，AND，OR，RANK。

default域的相关性，是代码里面单独计算，是特定的深度定制优化的，暂时不做配置化。

暂时具体实现为 bm25()+0.2*text_embedding_relevence（也就是knn检索表达式的打分）
bm25() 包括多语言的打分：内部需要通过配置翻译为多种语言（配置几种目标语言 默认中文、英文，并且设置对应的检索域），然后分别到对应的字段搜索，中文字段到配置的中文title搜索，英文到对应的英文title搜索。
bm25打分（base_query）：
"multi_match": {
    "query": search_query,
    "fields": match_fields,
    "minimum_should_match": "67%",
    "tie_breaker": 0.9,
    "boost": 1.0,  # Low boost for auxiliary keyword query
    "_name": "base_query"
}

text_embedding_relevence:
        knn_query = {
            "knn": {
                "field": text_embedding_field,
                "query_vector": query_vector.tolist(),
                "k": KNN_K,
                "num_candidates": KNN_NUM_CANDIDATES
            }
        }

支持配置化的排序打分：
default域 支持配置的排序方式：
| 场景 | 表达式 | 含义 |
|------|--------|------|
| 电商 | `text_re()+general_score*2+timeliness(end_time)` | 文本分、宝贝综合分值、过期时间 |


有一个配置，是否按照spu聚合，如果打开spu聚合，那么 要配置spu_id的字段，检索表达上需要加上：
es_query["aggs"]["unique_count"] = {
    "cardinality": {
        "field": spu_id_field_name
    }
}
es_query["collapse"]["inner_hits"] = {
    "_source": False,
    "name": "top_docs",
    "size": INNER_HITS_SIZE
}


## 相关配置

ES_CONFIG = {
    'host': 'http://localhost:9200',
    'username': 'essa',
    'password': '4hOaLaf41y2VuI8y'
}

REDIS_CONFIG = {
    'host': 'localhost',
    'port': 6479,
    'password': 'BMfv5aI31kgHWtlx'
}

DEEPL_AUTH_KEY = "c9293ab4-ad25-479b-919f-ab4e63b429ed"