1. 벤치마크 설정 작업에 대해 타이머 작동법

초기 설정 작업이 긴 경우

func BenchmarkFoo1(b *testing.B) {
	expensiveSetup() // 초기 설정 작업
	b.ResetTimer()   // 벤치마크 타이머를 재설정함
	for i := 0; i < b.N; i++ {
		functionUnderTest()
	}
}

• ResetTimer()
  • 지금까지 경과된 벤치마크 시간과 테스트 시작부터 기록된 메모리 할당 카운터를 0으로 초기화
  • 초기 설정 작업이 긴 경우 테스트 결과에 영향을 미치지 않게 만들 수 있음

그렇다면 다음과 같이 긴 초기 설정 작업이 한 번이 아니라 루프 안에서 매번 수행된다면?

 func BenchmarkFoo2(b *testing.B) {
	for i := 0; i < b.N; i++ {
		b.StopTimer() // 벤치마크 타이머를 일시 정지함
		expensiveSetup()
		b.StartTimer() // 벤치마크 타이머를 다시 이어서 실행
		functionUnderTest()
	}
}

• 초기 설정 작업 전에 벤치마크 타이머를 정시하고 설정 후에 타이머를 다시 실행하면 됌

2. 마이크로 벤치마크의 결론 잘못 내리기

마이크로 벤치마크: 매우 작은 연산 단위로 측정하는 벤치마크, 결론을 잘못 내리기 쉬움

마이크로 벤치마크에서는 결과에 영향을 미치는 요인이 많음

• 벤치마크를 수행하는 동안 머신의 동작
• 전원 관리
• 캐시 정렬 등등…

대안

• -benchtime 옵션을 이용해 벤치마크 시간을 늘리는 것
  • 큰 수의 법칙처럼 벤치마크를 실행하는 횟수가 많을수록 기댓값에 가까워짐
• 외부 도구를 함께 사용하는 것
  • benchstat: 벤치마크 실행에 대한 통계를 계산하고 비교하는 기능을 제공