libhb/work.c

   1 /* $Id: work.c,v 1.43 2005/03/17 16:38:49 titer Exp $
   2
   3    This file is part of the HandBrake source code.
   4    Homepage: <http://handbrake.fr/>.
   5    It may be used under the terms of the GNU General Public License. */
   6
   7 #include "hb.h"
   8 #include "a52dec/a52.h"
   9 #include "dca.h"
  10 #include "libavformat/avformat.h"
  11
  12 typedef struct
  13 {
  14     hb_list_t * jobs;
  15     hb_job_t  ** current_job;
  16     int         cpu_count;
  17     int       * error;
  18     volatile int * die;
  19
  20 } hb_work_t;
  21
  22 static void work_func();
  23 static void do_job( hb_job_t *, int cpu_count );
  24 static void work_loop( void * );
  25
  26 #define FIFO_LARGE 32
  27 #define FIFO_LARGE_WAKE 16
  28 #define FIFO_SMALL 16
  29 #define FIFO_SMALL_WAKE 15
  30
  31 /**
  32  * Allocates work object and launches work thread with work_func.
  33  * @param jobs Handle to hb_list_t.
  34  * @param cpu_count Humber of CPUs found in system.
  35  * @param die Handle to user inititated exit indicator.
  36  * @param error Handle to error indicator.
  37  */
  38 hb_thread_t * hb_work_init( hb_list_t * jobs, int cpu_count,
  39                             volatile int * die, int * error, hb_job_t ** job )
  40 {
  41     hb_work_t * work = calloc( sizeof( hb_work_t ), 1 );
  42
  43     work->jobs      = jobs;
  44     work->current_job = job;
  45     work->cpu_count = cpu_count;
  46     work->die       = die;
  47     work->error     = error;
  48
  49     return hb_thread_init( "work", work_func, work, HB_LOW_PRIORITY );
  50 }
  51
  52 static void InitWorkState( hb_handle_t * h )
  53 {
  54     hb_state_t state;
  55
  56     state.state = HB_STATE_WORKING;
  57 #define p state.param.working
  58     p.progress  = 0.0;
  59     p.rate_cur  = 0.0;
  60     p.rate_avg  = 0.0;
  61     p.hours     = -1;
  62     p.minutes   = -1;
  63     p.seconds   = -1;
  64 #undef p
  65
  66     hb_set_state( h, &state );
  67
  68 }
  69
  70 /**
  71  * Iterates through job list and calls do_job for each job.
  72  * @param _work Handle work object.
  73  */
  74 static void work_func( void * _work )
  75 {
  76     hb_work_t  * work = _work;
  77     hb_job_t   * job;
  78
  79     hb_log( "%d job(s) to process", hb_list_count( work->jobs ) );
  80
  81     while( !*work->die && ( job = hb_list_item( work->jobs, 0 ) ) )
  82     {
  83         hb_list_rem( work->jobs, job );
  84         job->die = work->die;
  85         *(work->current_job) = job;
  86         InitWorkState( job->h );
  87         do_job( job, work->cpu_count );
  88         *(work->current_job) = NULL;
  89     }
  90
  91     *(work->error) = HB_ERROR_NONE;
  92
  93     free( work );
  94 }
  95
  96 hb_work_object_t * hb_get_work( int id )
  97 {
  98     hb_work_object_t * w;
  99     for( w = hb_objects; w; w = w->next )
 100     {
 101         if( w->id == id )
 102         {
 103             hb_work_object_t *wc = malloc( sizeof(*w) );
 104             *wc = *w;
 105             return wc;
 106         }
 107     }
 108     return NULL;
 109 }
 110
 111 hb_work_object_t * hb_codec_decoder( int codec )
 112 {
 113     switch( codec )
 114     {
 115         case HB_ACODEC_AC3:  return hb_get_work( WORK_DECA52 );
 116         case HB_ACODEC_DCA:  return hb_get_work( WORK_DECDCA );
 117         case HB_ACODEC_MPGA: return hb_get_work( WORK_DECAVCODEC );
 118         case HB_ACODEC_LPCM: return hb_get_work( WORK_DECLPCM );
 119         case HB_ACODEC_FFMPEG: return hb_get_work( WORK_DECAVCODECAI );
 120     }
 121     return NULL;
 122 }
 123
 124 hb_work_object_t * hb_codec_encoder( int codec )
 125 {
 126     switch( codec )
 127     {
 128         case HB_ACODEC_FAAC:   return hb_get_work( WORK_ENCFAAC );
 129         case HB_ACODEC_LAME:   return hb_get_work( WORK_ENCLAME );
 130         case HB_ACODEC_VORBIS: return hb_get_work( WORK_ENCVORBIS );
 131         case HB_ACODEC_CA_AAC: return hb_get_work( WORK_ENC_CA_AAC );
 132         case HB_ACODEC_AC3:    return hb_get_work( WORK_ENCAC3 );
 133     }
 134     return NULL;
 135 }
 136
 137 /**
 138  * Displays job parameters in the debug log.
 139  * @param job Handle work hb_job_t.
 140  */
 141 void hb_display_job_info( hb_job_t * job )
 142 {
 143     hb_title_t * title = job->title;
 144     hb_audio_t   * audio;
 145     hb_subtitle_t * subtitle;
 146     int             i, j;
 147
 148     hb_log("job configuration:");
 149     hb_log( " * source");
 150
 151     hb_log( "   + %s", title->path );
 152
 153     hb_log( "   + title %d, chapter(s) %d to %d", title->index,
 154             job->chapter_start, job->chapter_end );
 155
 156     if( title->container_name != NULL )
 157         hb_log( "   + container: %s", title->container_name);
 158
 159     if( title->data_rate )
 160     {
 161         hb_log( "   + data rate: %d kbps", title->data_rate / 1000 );
 162     }
 163
 164     hb_log( " * destination");
 165
 166     hb_log( "   + %s", job->file );
 167
 168     switch( job->mux )
 169     {
 170         case HB_MUX_MP4:
 171             hb_log("   + container: MPEG-4 (.mp4 and .m4v)");
 172
 173             if( job->ipod_atom )
 174                 hb_log( "     + compatibility atom for iPod 5G");
 175
 176             if( job->largeFileSize )
 177                 hb_log( "     + 64-bit formatting");
 178
 179             if( job->mp4_optimize )
 180                 hb_log( "     + optimized for progressive web downloads");
 181
 182             if( job->color_matrix )
 183                 hb_log( "     + custom color matrix: %s", job->color_matrix == 1 ? "ITU Bt.601 (SD)" : "ITU Bt.709 (HD)");
 184             break;
 185
 186         case HB_MUX_MKV:
 187             hb_log("   + container: Matroska (.mkv)");
 188             break;
 189     }
 190
 191     if( job->chapter_markers )
 192     {
 193         hb_log( "     + chapter markers" );
 194     }
 195
 196     hb_log(" * video track");
 197
 198     hb_log("   + decoder: %s", title->video_codec_name );
 199
 200     if( title->video_bitrate )
 201     {
 202         hb_log( "     + bitrate %d kbps", title->video_bitrate / 1000 );
 203     }
 204
 205     if( !job->cfr )
 206     {
 207         hb_log( "   + frame rate: same as source (around %.3f fps)",
 208             (float) title->rate / (float) title->rate_base );
 209     }
 210     else
 211     {
 212         static const char *frtypes[] = {
 213             "", "constant", "peak rate limited to"
 214         };
 215         hb_log( "   + frame rate: %.3f fps -> %s %.3f fps",
 216             (float) title->rate / (float) title->rate_base, frtypes[job->cfr],
 217             (float) job->vrate / (float) job->vrate_base );
 218     }
 219
 220     if( job->anamorphic.mode )
 221     {
 222         hb_log( "   + %s anamorphic", job->anamorphic.mode == 1 ? "strict" : job->anamorphic.mode == 2? "loose" : "custom" );
 223         if( job->anamorphic.mode == 3 && job->anamorphic.keep_display_aspect )
 224         {
 225             hb_log( "     + keeping source display aspect ratio");
 226         }
 227         hb_log( "     + storage dimensions: %d * %d -> %d * %d, crop %d/%d/%d/%d, mod %i",
 228                     title->width, title->height, job->width, job->height,
 229                     job->crop[0], job->crop[1], job->crop[2], job->crop[3], job->modulus );
 230         if( job->anamorphic.itu_par )
 231         {
 232             hb_log( "     + using ITU pixel aspect ratio values");
 233         }
 234         hb_log( "     + pixel aspect ratio: %i / %i", job->anamorphic.par_width, job->anamorphic.par_height );
 235         hb_log( "     + display dimensions: %.0f * %i",
 236             (float)( job->width * job->anamorphic.par_width / job->anamorphic.par_height ), job->height );
 237     }
 238     else
 239     {
 240         hb_log( "   + dimensions: %d * %d -> %d * %d, crop %d/%d/%d/%d",
 241                 title->width, title->height, job->width, job->height,
 242                 job->crop[0], job->crop[1], job->crop[2], job->crop[3] );
 243     }
 244
 245     if ( job->grayscale )
 246         hb_log( "   + grayscale mode" );
 247
 248     if( hb_list_count( job->filters ) )
 249     {
 250         hb_log("   + %s", hb_list_count( job->filters) > 1 ? "filters" : "filter" );
 251         for( i = 0; i < hb_list_count( job->filters ); i++ )
 252         {
 253             hb_filter_object_t * filter = hb_list_item( job->filters, i );
 254             if (filter->settings)
 255                 hb_log("     + %s (%s)", filter->name, filter->settings);
 256             else
 257                 hb_log("     + %s (default settings)", filter->name);
 258         }
 259     }
 260
 261     if( !job->indepth_scan )
 262     {
 263         /* Video encoder */
 264         switch( job->vcodec )
 265         {
 266             case HB_VCODEC_FFMPEG:
 267                 hb_log( "   + encoder: FFmpeg" );
 268                 break;
 269
 270             case HB_VCODEC_X264:
 271                 hb_log( "   + encoder: x264" );
 272                 if( job->x264opts != NULL && *job->x264opts != '\0' )
 273                     hb_log( "     + options: %s", job->x264opts);
 274                 break;
 275
 276             case HB_VCODEC_THEORA:
 277                 hb_log( "   + encoder: Theora" );
 278                 break;
 279         }
 280
 281         if( job->vquality >= 0.0 && job->vquality <= 1.0 )
 282         {
 283             hb_log( "     + quality: %.2f", job->vquality );
 284         }
 285         else if( job->vquality > 1 )
 286         {
 287             hb_log( "     + quality: %.2f %s", job->vquality, job->vcodec == HB_VCODEC_X264 ? "(RF)" : "(QP)" );
 288         }
 289         else
 290         {
 291             hb_log( "     + bitrate: %d kbps, pass: %d", job->vbitrate, job->pass );
 292         }
 293     }
 294
 295     for( i=0; i < hb_list_count( title->list_subtitle ); i++ )
 296     {
 297         subtitle =  hb_list_item( title->list_subtitle, i );
 298
 299         if( subtitle )
 300         {
 301             if( subtitle->source == SRTSUB )
 302             {
 303                 /* For SRT, print offset and charset too */
 304                 hb_log( " * subtitle track %i, %s (id %x) %s [%s] -> %s%s, offset: %"PRId64", charset: %s",
 305                         subtitle->track, subtitle->lang, subtitle->id, "Text", "SRT", "Pass-Through",
 306                         subtitle->config.default_track ? ", Default" : "",
 307                         subtitle->config.offset, subtitle->config.src_codeset );
 308             }
 309             else
 310             {
 311                 hb_log( " * subtitle track %i, %s (id %x) %s [%s] -> %s%s%s", subtitle->track, subtitle->lang, subtitle->id,
 312                         subtitle->format == PICTURESUB ? "Picture" : "Text",
 313                         hb_subsource_name( subtitle->source ),
 314                         job->indepth_scan ? "Foreign Audio Search" :
 315                         subtitle->config.dest == RENDERSUB ? "Render/Burn in" : "Pass-Through",
 316                         subtitle->config.force ? ", Forced Only" : "",
 317                         subtitle->config.default_track ? ", Default" : "" );
 318             }
 319         }
 320     }
 321
 322     if( !job->indepth_scan )
 323     {
 324         for( i = 0; i < hb_list_count( title->list_audio ); i++ )
 325         {
 326             audio = hb_list_item( title->list_audio, i );
 327
 328             hb_log( " * audio track %d", audio->config.out.track );
 329
 330             if( audio->config.out.name )
 331                 hb_log( "   + name: %s", audio->config.out.name );
 332
 333             hb_log( "   + decoder: %s (track %d, id %x)", audio->config.lang.description, audio->config.in.track + 1, audio->id );
 334
 335             if( ( audio->config.in.codec == HB_ACODEC_AC3 ) || ( audio->config.in.codec == HB_ACODEC_DCA) )
 336             {
 337                 hb_log( "     + bitrate: %d kbps, samplerate: %d Hz", audio->config.in.bitrate / 1000, audio->config.in.samplerate );
 338             }
 339
 340             if( (audio->config.out.codec != HB_ACODEC_AC3_PASS) && (audio->config.out.codec != HB_ACODEC_DCA_PASS) )
 341             {
 342                 for (j = 0; j < hb_audio_mixdowns_count; j++)
 343                 {
 344                     if (hb_audio_mixdowns[j].amixdown == audio->config.out.mixdown) {
 345                         hb_log( "   + mixdown: %s", hb_audio_mixdowns[j].human_readable_name );
 346                         break;
 347                     }
 348                 }
 349             }
 350
 351             if ( audio->config.out.dynamic_range_compression && (audio->config.out.codec != HB_ACODEC_AC3_PASS) && (audio->config.out.codec != HB_ACODEC_DCA_PASS))
 352             {
 353                 hb_log("   + dynamic range compression: %f", audio->config.out.dynamic_range_compression);
 354             }
 355
 356             if( (audio->config.out.codec == HB_ACODEC_AC3_PASS) || (audio->config.out.codec == HB_ACODEC_DCA_PASS) )
 357             {
 358                 hb_log( "   + %s passthrough", (audio->config.out.codec == HB_ACODEC_AC3_PASS) ?
 359                     "AC3" : "DCA" );
 360             }
 361             else
 362             {
 363                 hb_log( "   + encoder: %s",
 364                     ( audio->config.out.codec == HB_ACODEC_FAAC ) ?  "faac" :
 365                     ( ( audio->config.out.codec == HB_ACODEC_LAME ) ?  "lame" :
 366                     ( ( audio->config.out.codec == HB_ACODEC_CA_AAC ) ?  "ca_aac" :
 367                     ( ( audio->config.out.codec == HB_ACODEC_AC3 ) ?  "ffac3" :
 368                     "vorbis"  ) ) ) );
 369                 hb_log( "     + bitrate: %d kbps, samplerate: %d Hz", audio->config.out.bitrate, audio->config.out.samplerate );
 370             }
 371         }
 372     }
 373 }
 374
 375 /* Corrects framerates when actual duration and frame count numbers are known. */
 376 void correct_framerate( hb_job_t * job )
 377 {
 378     int real_frames;
 379
 380     hb_interjob_t * interjob = hb_interjob_get( job->h );
 381
 382     if( ( job->sequence_id & 0xFFFFFF ) != ( interjob->last_job & 0xFFFFFF) )
 383         return; // Interjob information is for a different encode.
 384
 385     /* Cache the original framerate before altering it. */
 386     interjob->vrate = job->vrate;
 387     interjob->vrate_base = job->vrate_base;
 388
 389     real_frames = interjob->frame_count - interjob->render_dropped;
 390
 391     job->vrate = job->vrate_base * ( (double)real_frames * 90000 / interjob->total_time );
 392 }
 393
 394 /**
 395  * Job initialization rountine.
 396  * Initializes fifos.
 397  * Creates work objects for synchronizer, video decoder, video renderer, video decoder, audio decoder, audio encoder, reader, muxer.
 398  * Launches thread for each work object with work_loop.
 399  * Loops while monitoring status of work threads and fifos.
 400  * Exits loop when conversion is done and fifos are empty.
 401  * Closes threads and frees fifos.
 402  * @param job Handle work hb_job_t.
 403  * @param cpu_count number of CPUs found in system.
 404  */
 405 static void do_job( hb_job_t * job, int cpu_count )
 406 {
 407     hb_title_t    * title;
 408     int             i, j;
 409     hb_work_object_t * w;
 410     hb_work_object_t * sync;
 411     hb_work_object_t * muxer;
 412     hb_interjob_t * interjob;
 413
 414     hb_audio_t   * audio;
 415     hb_subtitle_t * subtitle;
 416     hb_attachment_t * attachment;
 417     unsigned int subtitle_highest = 0;
 418     unsigned int subtitle_highest_id = 0;
 419     unsigned int subtitle_lowest = -1;
 420     unsigned int subtitle_lowest_id = 0;
 421     unsigned int subtitle_forced_id = 0;
 422     unsigned int subtitle_hit = 0;
 423
 424     title = job->title;
 425     interjob = hb_interjob_get( job->h );
 426
 427     if( job->pass == 2 && !job->cfr )
 428     {
 429         correct_framerate( job );
 430     }
 431
 432     job->list_work = hb_list_init();
 433
 434     hb_log( "starting job" );
 435
 436     if( job->anamorphic.mode )
 437     {
 438         hb_set_anamorphic_size(job, &job->width, &job->height, &job->anamorphic.par_width, &job->anamorphic.par_height);
 439
 440         if( job->vcodec == HB_VCODEC_FFMPEG )
 441         {
 442             /* Just to make working with ffmpeg even more fun,
 443                lavc's MPEG-4 encoder can't handle PAR values >= 255,
 444                even though AVRational does. Adjusting downwards
 445                distorts the display aspect slightly, but such is life. */
 446             while ((job->anamorphic.par_width & ~0xFF) ||
 447                    (job->anamorphic.par_height & ~0xFF))
 448             {
 449                 job->anamorphic.par_width >>= 1;
 450                 job->anamorphic.par_height >>= 1;
 451             }
 452         }
 453     }
 454
 455     /* Keep width and height within these boundaries,
 456        but ignore for anamorphic. For "loose" anamorphic encodes,
 457        this stuff is covered in the pixel_ratio section above.    */
 458     if ( job->maxHeight && ( job->height > job->maxHeight ) && ( !job->anamorphic.mode ) )
 459     {
 460         job->height = job->maxHeight;
 461         hb_fix_aspect( job, HB_KEEP_HEIGHT );
 462         hb_log( "Height out of bounds, scaling down to %i", job->maxHeight );
 463         hb_log( "New dimensions %i * %i", job->width, job->height );
 464     }
 465     if ( job->maxWidth && ( job->width > job->maxWidth ) && ( !job->anamorphic.mode ) )
 466     {
 467         job->width = job->maxWidth;
 468         hb_fix_aspect( job, HB_KEEP_WIDTH );
 469         hb_log( "Width out of bounds, scaling down to %i", job->maxWidth );
 470         hb_log( "New dimensions %i * %i", job->width, job->height );
 471     }
 472
 473     if ( job->cfr == 0 )
 474     {
 475         /* Ensure we're using "Same as source" FPS */
 476         job->vrate_base = title->rate_base;
 477     }
 478
 479     job->fifo_mpeg2  = hb_fifo_init( FIFO_LARGE, FIFO_LARGE_WAKE );
 480     job->fifo_raw    = hb_fifo_init( FIFO_SMALL, FIFO_SMALL_WAKE );
 481     job->fifo_sync   = hb_fifo_init( FIFO_SMALL, FIFO_SMALL_WAKE );
 482     job->fifo_render = hb_fifo_init( FIFO_SMALL, FIFO_SMALL_WAKE );
 483     job->fifo_mpeg4  = hb_fifo_init( FIFO_LARGE, FIFO_LARGE_WAKE );
 484
 485     /*
 486      * Audio fifos must be initialized before sync
 487      */
 488     if( !job->indepth_scan )
 489     {
 490     // if we are doing passthru, and the input codec is not the same as the output
 491     // codec, then remove this audio from the job. If we're not doing passthru and
 492     // the input codec is the 'internal' ffmpeg codec, make sure that only one
 493     // audio references that audio stream since the codec context is specific to
 494     // the audio id & multiple copies of the same stream will garble the audio
 495     // or cause aborts.
 496     uint8_t aud_id_uses[MAX_STREAMS];
 497     memset( aud_id_uses, 0, sizeof(aud_id_uses) );
 498     for( i = 0; i < hb_list_count( title->list_audio ); )
 499     {
 500         audio = hb_list_item( title->list_audio, i );
 501         if( ( ( audio->config.out.codec == HB_ACODEC_AC3_PASS ) && ( audio->config.in.codec != HB_ACODEC_AC3 ) ) ||
 502             ( ( audio->config.out.codec == HB_ACODEC_DCA_PASS ) && ( audio->config.in.codec != HB_ACODEC_DCA ) ) )
 503         {
 504             hb_log( "Passthru requested and input codec is not the same as output codec for track %d",
 505                     audio->config.out.track );
 506             hb_list_rem( title->list_audio, audio );
 507             free( audio );
 508             continue;
 509         }
 510         if( audio->config.out.codec != HB_ACODEC_AC3_PASS &&
 511             audio->config.out.codec != HB_ACODEC_DCA_PASS &&
 512             audio->config.out.samplerate > 48000 )
 513         {
 514             hb_log( "Sample rate %d not supported.  Down-sampling to 48kHz.",
 515                     audio->config.out.samplerate );
 516             audio->config.out.samplerate = 48000;
 517         }
 518         if( audio->config.out.codec == HB_ACODEC_AC3 &&
 519             audio->config.out.bitrate > 640 )
 520         {
 521             hb_log( "Bitrate %d not supported.  Reducing to 640Kbps.",
 522                     audio->config.out.bitrate );
 523             audio->config.out.bitrate = 640;
 524         }
 525         if ( audio->config.in.codec == HB_ACODEC_FFMPEG )
 526         {
 527             if ( aud_id_uses[audio->id] )
 528             {
 529                 hb_log( "Multiple decodes of audio id %d, removing track %d",
 530                         audio->id, audio->config.out.track );
 531                 hb_list_rem( title->list_audio, audio );
 532                 free( audio );
 533                 continue;
 534             }
 535             ++aud_id_uses[audio->id];
 536         }
 537         /* Adjust output track number, in case we removed one.
 538          * Output tracks sadly still need to be in sequential order.
 539          */
 540         audio->config.out.track = i++;
 541     }
 542
 543     int requested_mixdown = 0;
 544     int requested_mixdown_index = 0;
 545     int best_mixdown = 0;
 546     int requested_bitrate = 0;
 547     int best_bitrate = 0;
 548
 549     for( i = 0; i < hb_list_count( title->list_audio ); i++ )
 550     {
 551         audio = hb_list_item( title->list_audio, i );
 552
 553         best_mixdown = hb_get_best_mixdown( audio->config.out.codec,
 554                                             audio->config.in.channel_layout, 0 );
 555
 556         /* sense-check the current mixdown options */
 557
 558         /* sense-check the requested mixdown */
 559         if( audio->config.out.mixdown == 0 &&
 560             !( audio->config.out.codec & HB_ACODEC_PASS_FLAG ) )
 561         {
 562             /*
 563              * Mixdown wasn't specified and this is not pass-through,
 564              * set a default mixdown
 565              */
 566             audio->config.out.mixdown = hb_get_default_mixdown( audio->config.out.codec,
 567                                                                 audio->config.in.channel_layout );
 568             for (j = 0; j < hb_audio_mixdowns_count; j++)
 569             {
 570                 if (hb_audio_mixdowns[j].amixdown == audio->config.out.mixdown)
 571                 {
 572                     hb_log("work: mixdown not specified, track %i setting mixdown %s", i, hb_audio_mixdowns[j].human_readable_name);
 573                     break;
 574                 }
 575             }
 576         }
 577
 578         /* log the requested mixdown */
 579         for (j = 0; j < hb_audio_mixdowns_count; j++) {
 580             if (hb_audio_mixdowns[j].amixdown == audio->config.out.mixdown) {
 581                 requested_mixdown = audio->config.out.mixdown;
 582                 requested_mixdown_index = j;
 583                 break;
 584             }
 585         }
 586
 587         if ( !( audio->config.out.codec & HB_ACODEC_PASS_FLAG ) )
 588         {
 589             if ( audio->config.out.mixdown > best_mixdown )
 590             {
 591                 audio->config.out.mixdown = best_mixdown;
 592             }
 593         }
 594
 595         if ( audio->config.out.mixdown != requested_mixdown )
 596         {
 597             /* log the output mixdown */
 598             for (j = 0; j < hb_audio_mixdowns_count; j++)
 599             {
 600                 if (hb_audio_mixdowns[j].amixdown == audio->config.out.mixdown)
 601                 {
 602                     hb_log("work: sanitizing track %i mixdown %s to %s", i, hb_audio_mixdowns[requested_mixdown_index].human_readable_name, hb_audio_mixdowns[j].human_readable_name);
 603                     break;
 604                 }
 605             }
 606         }
 607
 608         /* sense-check the current bitrates */
 609
 610         /* sense-check the requested bitrate */
 611         if( audio->config.out.bitrate == 0 &&
 612             !( audio->config.out.codec & HB_ACODEC_PASS_FLAG ) )
 613         {
 614             /*
 615              * Bitrate wasn't specified and this is not pass-through,
 616              * set a default bitrate
 617              */
 618             audio->config.out.bitrate = hb_get_default_audio_bitrate( audio->config.out.codec,
 619                                                                       audio->config.out.samplerate,
 620                                                                       audio->config.out.mixdown );
 621
 622             hb_log( "work: bitrate not specified, track %d setting bitrate %d",
 623                     i, audio->config.out.bitrate );
 624         }
 625
 626         /* log the requested bitrate */
 627         requested_bitrate = audio->config.out.bitrate;
 628         best_bitrate = hb_get_best_audio_bitrate( audio->config.out.codec,
 629                                                   audio->config.out.bitrate,
 630                                                   audio->config.out.samplerate,
 631                                                   audio->config.out.mixdown );
 632
 633         if ( !( audio->config.out.codec & HB_ACODEC_PASS_FLAG ) )
 634         {
 635             if ( audio->config.out.bitrate != best_bitrate )
 636             {
 637                 audio->config.out.bitrate = best_bitrate;
 638             }
 639         }
 640
 641         if ( audio->config.out.bitrate != requested_bitrate )
 642         {
 643             /* log the output bitrate */
 644             hb_log( "work: sanitizing track %d audio bitrate %d to %d",
 645                     i, requested_bitrate, audio->config.out.bitrate);
 646         }
 647
 648         if (audio->config.out.codec == HB_ACODEC_VORBIS)
 649             audio->priv.config.vorbis.language = audio->config.lang.simple;
 650
 651         /* set up the audio work structures */
 652         audio->priv.fifo_in   = hb_fifo_init( FIFO_LARGE, FIFO_LARGE_WAKE );
 653         audio->priv.fifo_raw  = hb_fifo_init( FIFO_SMALL, FIFO_SMALL_WAKE );
 654         audio->priv.fifo_sync = hb_fifo_init( FIFO_SMALL, FIFO_SMALL_WAKE );
 655         audio->priv.fifo_out  = hb_fifo_init( FIFO_LARGE, FIFO_LARGE_WAKE );
 656     }
 657
 658     }
 659     /* Synchronization */
 660     sync = hb_sync_init( job );
 661
 662     /* Video decoder */
 663     int vcodec = title->video_codec? title->video_codec : WORK_DECMPEG2;
 664 #if defined(USE_FF_MPEG2)
 665     if (vcodec == WORK_DECMPEG2)
 666     {
 667         vcodec = WORK_DECAVCODECV;
 668         title->video_codec_param = CODEC_ID_MPEG2VIDEO;
 669     }
 670 #endif
 671     hb_list_add( job->list_work, ( w = hb_get_work( vcodec ) ) );
 672     w->codec_param = title->video_codec_param;
 673     w->fifo_in  = job->fifo_mpeg2;
 674     w->fifo_out = job->fifo_raw;
 675
 676     /* Video renderer */
 677     hb_list_add( job->list_work, ( w = hb_get_work( WORK_RENDER ) ) );
 678     w->fifo_in  = job->fifo_sync;
 679     if( !job->indepth_scan )
 680         w->fifo_out = job->fifo_render;
 681     else
 682         w->fifo_out = NULL;
 683
 684     if( !job->indepth_scan )
 685     {
 686
 687         /* Video encoder */
 688         switch( job->vcodec )
 689         {
 690         case HB_VCODEC_FFMPEG:
 691             w = hb_get_work( WORK_ENCAVCODEC );
 692             break;
 693         case HB_VCODEC_X264:
 694             w = hb_get_work( WORK_ENCX264 );
 695             break;
 696         case HB_VCODEC_THEORA:
 697             w = hb_get_work( WORK_ENCTHEORA );
 698             break;
 699         }
 700         w->fifo_in  = job->fifo_render;
 701         w->fifo_out = job->fifo_mpeg4;
 702         w->config   = &job->config;
 703
 704         hb_list_add( job->list_work, w );
 705     }
 706
 707     /*
 708      * Look for the scanned subtitle in the existing subtitle list
 709      * select_subtitle implies that we did a scan.
 710      */
 711     if ( !job->indepth_scan && interjob->select_subtitle &&
 712          ( job->pass == 0 || job->pass == 2 ) )
 713     {
 714         /*
 715          * Disable forced subtitles if we didn't find any in the scan
 716          * so that we display normal subtitles instead.
 717          */
 718         if( interjob->select_subtitle->config.force &&
 719             interjob->select_subtitle->forced_hits == 0 )
 720         {
 721             interjob->select_subtitle->config.force = 0;
 722         }
 723         for( i=0; i < hb_list_count(title->list_subtitle); i++ )
 724         {
 725             subtitle =  hb_list_item( title->list_subtitle, i );
 726
 727             if( subtitle )
 728             {
 729                 /*
 730                 * Remove the scanned subtitle from the subtitle list if
 731                 * it would result in an identical duplicate subtitle track
 732                 * or an emty track (forced and no forced hits).
 733                 */
 734                 if( ( interjob->select_subtitle->id == subtitle->id ) &&
 735                     ( ( interjob->select_subtitle->forced_hits == 0 &&
 736                         subtitle->config.force ) ||
 737                     ( subtitle->config.force == interjob->select_subtitle->config.force ) ) )
 738                 {
 739                     *subtitle = *(interjob->select_subtitle);
 740                     free( interjob->select_subtitle );
 741                     interjob->select_subtitle = NULL;
 742                     break;
 743                 }
 744             }
 745         }
 746
 747         if( interjob->select_subtitle )
 748         {
 749             /*
 750              * Its not in the existing list
 751              *
 752              * Must be second pass of a two pass with subtitle scan enabled, so
 753              * add the subtitle that we found on the first pass for use in this
 754              * pass.
 755              */
 756             hb_list_add( title->list_subtitle, interjob->select_subtitle );
 757             interjob->select_subtitle = NULL;
 758         }
 759     }
 760
 761
 762     for( i=0; i < hb_list_count(title->list_subtitle); i++ )
 763     {
 764         subtitle =  hb_list_item( title->list_subtitle, i );
 765
 766         if( subtitle )
 767         {
 768             subtitle->fifo_in   = hb_fifo_init( FIFO_SMALL, FIFO_SMALL_WAKE );
 769             subtitle->fifo_raw  = hb_fifo_init( FIFO_SMALL, FIFO_SMALL_WAKE );
 770             subtitle->fifo_sync = hb_fifo_init( FIFO_SMALL, FIFO_SMALL_WAKE );
 771             subtitle->fifo_out  = hb_fifo_init( FIFO_SMALL, FIFO_SMALL_WAKE );
 772
 773             if( (!job->indepth_scan || job->select_subtitle_config.force) &&
 774                 subtitle->source == VOBSUB ) {
 775                 /*
 776                  * Don't add threads for subtitles when we are scanning, unless
 777                  * looking for forced subtitles.
 778                  */
 779                 w = hb_get_work( WORK_DECVOBSUB );
 780                 w->fifo_in  = subtitle->fifo_in;
 781                 w->fifo_out = subtitle->fifo_raw;
 782                 w->subtitle = subtitle;
 783                 hb_list_add( job->list_work, w );
 784             }
 785
 786             if( !job->indepth_scan && subtitle->source == CC608SUB )
 787             {
 788                 w = hb_get_work( WORK_DECCC608 );
 789                 w->fifo_in  = subtitle->fifo_in;
 790                 w->fifo_out = subtitle->fifo_raw;
 791                 hb_list_add( job->list_work, w );
 792             }
 793
 794             if( !job->indepth_scan && subtitle->source == SRTSUB )
 795             {
 796                 w = hb_get_work( WORK_DECSRTSUB );
 797                 w->fifo_in  = subtitle->fifo_in;
 798                 w->fifo_out = subtitle->fifo_raw;
 799                 w->subtitle = subtitle;
 800                 hb_list_add( job->list_work, w );
 801             }
 802
 803             if( !job->indepth_scan && subtitle->source == UTF8SUB )
 804             {
 805                 w = hb_get_work( WORK_DECUTF8SUB );
 806                 w->fifo_in  = subtitle->fifo_in;
 807                 w->fifo_out = subtitle->fifo_raw;
 808                 hb_list_add( job->list_work, w );
 809             }
 810
 811             if( !job->indepth_scan && subtitle->source == TX3GSUB )
 812             {
 813                 w = hb_get_work( WORK_DECTX3GSUB );
 814                 w->fifo_in  = subtitle->fifo_in;
 815                 w->fifo_out = subtitle->fifo_raw;
 816                 hb_list_add( job->list_work, w );
 817             }
 818
 819             if( !job->indepth_scan && subtitle->source == SSASUB )
 820             {
 821                 w = hb_get_work( WORK_DECSSASUB );
 822                 w->fifo_in  = subtitle->fifo_in;
 823                 w->fifo_out = subtitle->fifo_raw;
 824                 w->subtitle = subtitle;
 825                 hb_list_add( job->list_work, w );
 826             }
 827
 828             if( !job->indepth_scan &&
 829                 subtitle->format == PICTURESUB
 830                 && subtitle->config.dest == PASSTHRUSUB )
 831             {
 832                 /*
 833                  * Passing through a subtitle picture, this will have to
 834                  * be rle encoded before muxing.
 835                  */
 836                 w = hb_get_work( WORK_ENCVOBSUB );
 837                 w->fifo_in  = subtitle->fifo_sync;
 838                 w->fifo_out = subtitle->fifo_out;
 839                 w->subtitle = subtitle;
 840                 hb_list_add( job->list_work, w );
 841             }
 842         }
 843     }
 844
 845     if( !job->indepth_scan )
 846     {
 847         for( i = 0; i < hb_list_count( title->list_audio ); i++ )
 848         {
 849             audio = hb_list_item( title->list_audio, i );
 850
 851             /*
 852             * Audio Decoder Thread
 853             */
 854             if ( ( w = hb_codec_decoder( audio->config.in.codec ) ) == NULL )
 855             {
 856                 hb_error("Invalid input codec: %d", audio->config.in.codec);
 857                 *job->die = 1;
 858                 goto cleanup;
 859             }
 860             w->fifo_in  = audio->priv.fifo_in;
 861             w->fifo_out = audio->priv.fifo_raw;
 862             w->config   = &audio->priv.config;
 863             w->audio    = audio;
 864             w->codec_param = audio->config.in.codec_param;
 865
 866             hb_list_add( job->list_work, w );
 867
 868             /*
 869             * Audio Encoder Thread
 870             */
 871             if( audio->config.out.codec != HB_ACODEC_AC3_PASS &&
 872                 audio->config.out.codec != HB_ACODEC_DCA_PASS )
 873             {
 874                 /*
 875                 * Add the encoder thread if not doing AC-3 pass through
 876                 */
 877                 if ( ( w = hb_codec_encoder( audio->config.out.codec ) ) == NULL )
 878                 {
 879                     hb_error("Invalid audio codec: %#x", audio->config.out.codec);
 880                     w = NULL;
 881                     *job->die = 1;
 882                     goto cleanup;
 883                 }
 884                 w->fifo_in  = audio->priv.fifo_sync;
 885                 w->fifo_out = audio->priv.fifo_out;
 886                 w->config   = &audio->priv.config;
 887                 w->audio    = audio;
 888
 889                 hb_list_add( job->list_work, w );
 890             }
 891         }
 892     }
 893
 894     if( job->chapter_markers && job->chapter_start == job->chapter_end )
 895     {
 896         job->chapter_markers = 0;
 897         hb_log("work: only 1 chapter, disabling chapter markers");
 898     }
 899
 900     /* Display settings */
 901     hb_display_job_info( job );
 902
 903     /* Init read & write threads */
 904     job->reader = hb_reader_init( job );
 905
 906
 907     job->done = 0;
 908
 909     /* Launch processing threads */
 910     for( i = 0; i < hb_list_count( job->list_work ); i++ )
 911     {
 912         w = hb_list_item( job->list_work, i );
 913         w->done = &job->done;
 914         w->thread_sleep_interval = 10;
 915         if( w->init( w, job ) )
 916         {
 917             hb_error( "Failure to initialise thread '%s'", w->name );
 918             *job->die = 1;
 919             goto cleanup;
 920         }
 921         w->thread = hb_thread_init( w->name, work_loop, w,
 922                                     HB_LOW_PRIORITY );
 923     }
 924
 925     if ( job->indepth_scan )
 926     {
 927         muxer = NULL;
 928         w = sync;
 929         sync->done = &job->done;
 930     }
 931     else
 932     {
 933         sync->done = &job->done;
 934         sync->thread_sleep_interval = 10;
 935         if( sync->init( w, job ) )
 936         {
 937             hb_error( "Failure to initialise thread '%s'", w->name );
 938             *job->die = 1;
 939             goto cleanup;
 940         }
 941         sync->thread = hb_thread_init( sync->name, work_loop, sync,
 942                                     HB_LOW_PRIORITY );
 943
 944         // The muxer requires track information that's set up by the encoder
 945         // init routines so we have to init the muxer last.
 946         muxer = hb_muxer_init( job );
 947         w = muxer;
 948     }
 949
 950     while ( !*job->die && !*w->done && w->status != HB_WORK_DONE )
 951     {
 952         hb_buffer_t      * buf_in, * buf_out;
 953
 954         buf_in = hb_fifo_get_wait( w->fifo_in );
 955         if ( buf_in == NULL )
 956             continue;
 957         if ( *job->die )
 958         {
 959             if( buf_in )
 960             {
 961                 hb_buffer_close( &buf_in );
 962             }
 963             break;
 964         }
 965
 966         buf_out = NULL;
 967         w->status = w->work( w, &buf_in, &buf_out );
 968
 969         if( buf_in )
 970         {
 971             hb_buffer_close( &buf_in );
 972         }
 973         if ( buf_out && w->fifo_out == NULL )
 974         {
 975             hb_buffer_close( &buf_out );
 976         }
 977         if( buf_out )
 978         {
 979             while ( !*job->die )
 980             {
 981                 if ( hb_fifo_full_wait( w->fifo_out ) )
 982                 {
 983                     hb_fifo_push( w->fifo_out, buf_out );
 984                     break;
 985                 }
 986             }
 987         }
 988     }
 989
 990     hb_handle_t * h = job->h;
 991     hb_state_t state;
 992     hb_get_state( h, &state );
 993
 994     hb_log("work: average encoding speed for job is %f fps", state.param.working.rate_avg);
 995
 996     job->done = 1;
 997     if( muxer != NULL )
 998     {
 999         muxer->close( muxer );
1000         free( muxer );
1001
1002         if( sync->thread != NULL )
1003         {
1004             hb_thread_close( &sync->thread );
1005             sync->close( sync );
1006         }
1007         free( sync );
1008     }
1009
1010 cleanup:
1011     /* Stop the write thread (thread_close will block until the muxer finishes) */
1012     job->done = 1;
1013
1014     /* Close work objects */
1015     while( ( w = hb_list_item( job->list_work, 0 ) ) )
1016     {
1017         hb_list_rem( job->list_work, w );
1018         if( w->thread != NULL )
1019         {
1020             hb_thread_close( &w->thread );
1021             w->close( w );
1022         }
1023         free( w );
1024     }
1025
1026     hb_list_close( &job->list_work );
1027
1028     /* Stop the read thread */
1029     if( job->reader != NULL )
1030         hb_thread_close( &job->reader );
1031
1032     /* Close fifos */
1033     hb_fifo_close( &job->fifo_mpeg2 );
1034     hb_fifo_close( &job->fifo_raw );
1035     hb_fifo_close( &job->fifo_sync );
1036     hb_fifo_close( &job->fifo_render );
1037     hb_fifo_close( &job->fifo_mpeg4 );
1038
1039     for (i=0; i < hb_list_count(title->list_subtitle); i++) {
1040         subtitle =  hb_list_item( title->list_subtitle, i);
1041         if( subtitle )
1042         {
1043             hb_fifo_close( &subtitle->fifo_in );
1044             hb_fifo_close( &subtitle->fifo_raw );
1045             hb_fifo_close( &subtitle->fifo_sync );
1046             hb_fifo_close( &subtitle->fifo_out );
1047         }
1048     }
1049     for( i = 0; i < hb_list_count( title->list_audio ); i++ )
1050     {
1051         audio = hb_list_item( title->list_audio, i );
1052         if( audio->priv.fifo_in != NULL )
1053             hb_fifo_close( &audio->priv.fifo_in );
1054         if( audio->priv.fifo_raw != NULL )
1055             hb_fifo_close( &audio->priv.fifo_raw );
1056         if( audio->priv.fifo_sync != NULL )
1057             hb_fifo_close( &audio->priv.fifo_sync );
1058         if( audio->priv.fifo_out != NULL )
1059             hb_fifo_close( &audio->priv.fifo_out );
1060     }
1061
1062     if( job->indepth_scan )
1063     {
1064         /*
1065          * Before closing the title print out our subtitle stats if we need to
1066          * Find the highest and lowest.
1067          */
1068         for( i=0; i < hb_list_count( title->list_subtitle ); i++ )
1069         {
1070             subtitle =  hb_list_item( title->list_subtitle, i );
1071
1072             hb_log( "Subtitle stream 0x%x '%s': %d hits (%d forced)",
1073                     subtitle->id, subtitle->lang, subtitle->hits,
1074                     subtitle->forced_hits );
1075
1076             if( subtitle->hits == 0 )
1077                 continue;
1078
1079             if( subtitle->hits > subtitle_highest )
1080             {
1081                 subtitle_highest = subtitle->hits;
1082                 subtitle_highest_id = subtitle->id;
1083             }
1084
1085             if( subtitle->hits < subtitle_lowest )
1086             {
1087                 subtitle_lowest = subtitle->hits;
1088                 subtitle_lowest_id = subtitle->id;
1089             }
1090
1091             if( subtitle->forced_hits > 0 )
1092             {
1093                 if( subtitle_forced_id == 0 )
1094                 {
1095                     subtitle_forced_id = subtitle->id;
1096                 }
1097             }
1098         }
1099
1100
1101         if( subtitle_forced_id )
1102         {
1103             /*
1104              * If there are any subtitle streams with forced subtitles
1105              * then select it in preference to the lowest.
1106              */
1107             subtitle_hit = subtitle_forced_id;
1108             hb_log("Found a subtitle candidate id 0x%x (contains forced subs)",
1109                    subtitle_hit);
1110         } else if( subtitle_lowest < subtitle_highest )
1111         {
1112             /*
1113              * OK we have more than one, and the lowest is lower,
1114              * but how much lower to qualify for turning it on by
1115              * default?
1116              *
1117              * Let's say 10% as a default.
1118              */
1119             if( subtitle_lowest < ( subtitle_highest * 0.1 ) )
1120             {
1121                 subtitle_hit = subtitle_lowest_id;
1122                 hb_log( "Found a subtitle candidate id 0x%x",
1123                         subtitle_hit );
1124             } else {
1125                 hb_log( "No candidate subtitle detected during subtitle-scan");
1126             }
1127         }
1128     }
1129
1130     if( job->indepth_scan )
1131     {
1132         for( i=0; i < hb_list_count( title->list_subtitle ); i++ )
1133         {
1134             subtitle =  hb_list_item( title->list_subtitle, i );
1135             if( subtitle->id == subtitle_hit )
1136             {
1137                 subtitle->config = job->select_subtitle_config;
1138                 hb_list_rem( title->list_subtitle, subtitle );
1139                 interjob->select_subtitle = subtitle;
1140                 break;
1141             }
1142         }
1143     }
1144
1145     if( job->filters )
1146     {
1147         for( i = 0; i < hb_list_count( job->filters ); i++ )
1148         {
1149             hb_filter_object_t * filter = hb_list_item( job->filters, i );
1150             hb_filter_close( &filter );
1151         }
1152         hb_list_close( &job->filters );
1153     }
1154
1155     hb_buffer_pool_free();
1156
1157     hb_title_close( &job->title );
1158     free( job );
1159 }
1160
1161 /**
1162  * Performs the work object's specific work function.
1163  * Loops calling work function for associated work object. Sleeps when fifo is full.
1164  * Monitors work done indicator.
1165  * Exits loop when work indiactor is set.
1166  * @param _w Handle to work object.
1167  */
1168 static void work_loop( void * _w )
1169 {
1170     hb_work_object_t * w = _w;
1171     hb_buffer_t      * buf_in, * buf_out;
1172
1173     while( !*w->done && w->status != HB_WORK_DONE )
1174     {
1175         buf_in = hb_fifo_get_wait( w->fifo_in );
1176         if ( buf_in == NULL )
1177             continue;
1178         if ( *w->done )
1179         {
1180             if( buf_in )
1181             {
1182                 hb_buffer_close( &buf_in );
1183             }
1184             break;
1185         }
1186
1187         // Invalidate buf_out so that if there is no output
1188         // we don't try to pass along junk.
1189         buf_out = NULL;
1190         w->status = w->work( w, &buf_in, &buf_out );
1191
1192         // Propagate any chapter breaks for the worker if and only if the
1193         // output frame has the same time stamp as the input frame (any
1194         // worker that delays frames has to propagate the chapter marks itself
1195         // and workers that move chapter marks to a different time should set
1196         // 'buf_in' to NULL so that this code won't generate spurious duplicates.)
1197         if( buf_in && buf_out && buf_in->new_chap && buf_in->start == buf_out->start)
1198         {
1199             // restore log below to debug chapter mark propagation problems
1200             //hb_log("work %s: Copying Chapter Break @ %"PRId64, w->name, buf_in->start);
1201             buf_out->new_chap = buf_in->new_chap;
1202         }
1203
1204         if( buf_in )
1205         {
1206             hb_buffer_close( &buf_in );
1207         }
1208         if ( buf_out && w->fifo_out == NULL )
1209         {
1210             hb_buffer_close( &buf_out );
1211         }
1212         if( buf_out )
1213         {
1214             while ( !*w->done )
1215             {
1216                 if ( hb_fifo_full_wait( w->fifo_out ) )
1217                 {
1218                     hb_fifo_push( w->fifo_out, buf_out );
1219                     break;
1220                 }
1221             }
1222         }
1223     }
1224     // Consume data in incoming fifo till job complete so that
1225     // residual data does not stall the pipeline
1226     while( !*w->done )
1227     {
1228         buf_in = hb_fifo_get_wait( w->fifo_in );
1229         if ( buf_in != NULL )
1230             hb_buffer_close( &buf_in );
1231     }
1232 }