
ignore_repeated_source 기능은 데이터 처리에서 중복된 소스를 무시하는 기능입니다.
이 기능을 사용하면 중복된 데이터는 제거되며, 데이터 처리가 더 효율적으로 진행됩니다.
예를 들어, 위의 데이터를 사용할 때, ignore_repeated_source를 사용하면 중복된 id 1과 name John의 데이터는 제거되어 다음과 같이 처리됩니다.
| id | name | score |
| --- | --- | --- |
| 2 | Jane | 80 |
| 3 | Joe | 70 |
반면, ignore_repeated_source를 사용하지 않으면 중복된 데이터가 포함되어 다음과 같이 처리됩니다.
| id | name | score |
| --- | --- | --- |
| 1 | John | 90 |
| 2 | Jane | 80 |
| 1 | John | 90 |
| 3 | Joe | 70 |
이러한 예시를 통해 ignore_repeated_source 기능의 역할과 장점을 확인할 수 있습니다.
2025-05-30 17:03